CN116402062B - 一种基于多模态感知数据的文本生成方法及装置 - Google Patents

一种基于多模态感知数据的文本生成方法及装置 Download PDF

Info

Publication number
CN116402062B
CN116402062B CN202310676959.6A CN202310676959A CN116402062B CN 116402062 B CN116402062 B CN 116402062B CN 202310676959 A CN202310676959 A CN 202310676959A CN 116402062 B CN116402062 B CN 116402062B
Authority
CN
China
Prior art keywords
target
graph
node
sound
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310676959.6A
Other languages
English (en)
Other versions
CN116402062A (zh
Inventor
俞菲
刘江
万志国
白孟秋
陈玲慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310676959.6A priority Critical patent/CN116402062B/zh
Publication of CN116402062A publication Critical patent/CN116402062A/zh
Application granted granted Critical
Publication of CN116402062B publication Critical patent/CN116402062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种基于多模态感知数据的文本生成方法及装置，基于目标场景采集的音频数据表征的声音事件之间的原始关系构建初始声音事件图，在获取到的视频文本知识库和音频知识库中搜索到各声音事件之间的补充关系，并以补充关系构建补充场景图，基于从目标场景中采集的视频数据对应的原始描述文本构建语义场景图，将初始声音事件图、补充场景图和语义场景图三者融合，得到目标场景图，进而基于目标场景图得到描述目标场景的目标文本。可见，通过上述方案，使得目标场景图既包含多模态感知数据，也提高了场景的语义理解，从而提高了目标文本描述目标场景的准确性和完整性。

Description

一种基于多模态感知数据的文本生成方法及装置
技术领域
本说明书涉及计算机技术领域，尤其涉及一种基于多模态感知数据的文本生成方法及装置。
背景技术
随着计算机视觉技术的不断发展，针对物理世界中复杂场景（包括室外的交通环境、户外光能方法、室内工业生产环境以及居家环境），人们不在满足于简单地检测和识别场景中的对象，而是期待对复杂场景有更高层次的理解和推理，例如，针对记录场景的视觉感知数据（视频、图像），不仅要检测和识别视觉感知数据中的物体，还希望了解物体之间的关系，即获得视觉关系。为此，进行文本标注的方式得到用于描述复杂场景的描述文本，从而通过描述文本获取复杂场景中各类对象的属性和关系，将用于描述复杂场景的描述文本应用在工业故障排除、视觉问答、视觉数据编辑和检索、机器人、自动驾驶等广泛的领域中。
目前，通常采用人工标注的方法，通过标注人员对视觉感知数据进行观察，由标注人员对视觉感知数据进行文本表述，得到用于描述复杂场景的文本。
但是，上述方案对标注人员的标注水平要求较高，并且，文本数据本身存在主观性，可能会存在对场景描述的不够全面或者错误，导致对复杂场景的理解信息的缺失和错误。
基于此，本说明书提供一种基于多模态感知数据的文本生成方法。
发明内容
本说明书提供一种基于多模态感知数据的文本生成方法及装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种基于多模态感知数据的文本生成方法，包括：
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多模态感知数据的文本生成方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于多模态感知数据的文本生成方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本说明书提供的基于多模态感知数据的文本生成方法中，基于目标场景采集的音频数据表征的声音事件之间的原始关系构建初始声音事件图，在获取到的视频文本知识库和音频知识库中搜索到各声音事件之间的补充关系，并以补充关系构建补充场景图，基于从目标场景中采集的视频数据对应的原始描述文本构建语义场景图，将初始声音事件图、补充场景图和语义场景图三者融合，得到目标场景图，进而基于目标场景图得到描述目标场景的目标文本。可见，以补充场景图作为对初始声音时间图的补充，可扩充各声音事件之间的原始关系，从而提高声音事件之间关系的准确性和合理性，进而，以扩充后的各声音事件之间的关系，校正基于原始描述文本构建的语义场景图中各节点之间的关系，使得目标场景图既包含多模态感知数据，也提高了场景的语义理解，从而提高了目标文本描述目标场景的准确性和完整性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种基于多模态感知数据的文本生成方法的流程示意图；
图2为本说明书中一种基于多模态感知数据的文本生成方法的流程示意图；
图3为本说明书中一种基于多模态感知数据的文本生成方法的流程示意图；
图4为本说明书中一种基于多模态感知数据的文本生成方法的流程示意图；
图5为本说明书提供的一种基于多模态感知数据的文本生成装置的示意图；
图6为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
另外，需要说明的是，本说明书中所有获取信号、信息或数据的动作都是在遵照所在地相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
物理世界中复杂的应用场景（包括室外的交通环境、户外光能方法、室内工业生产环境以及居家环境）的场景理解主要包括对场景中的事件检测、场景中物体的语义标注等。由于在多模态场景理解中主要的模态包括视觉感知数据、听觉感知数据以及文本数据，在多模态感知数据中，文本数据和声音数据均是应对场景中的视觉感知数据。然而，由于文本数据本身具有的人脑的语言理解的复杂性和多样性，所以这些具有主观性的文本标注数据中会存在大量的信息缺失和错误信息的问题，相比主观性的文本标注，听觉感知的数据是一种通过传感器直接从物理环境中感知得到的。
基于此，本说明书提供一种基于多模态感知数据的文本生成方法，以补充场景图作为对初始声音时间图的补充，可扩充各声音事件之间的原始关系，从而提高声音事件之间关系的准确性和合理性，进而，以扩充后的各声音事件之间的关系，校正基于原始描述文本构建的语义场景图中各节点之间的关系，使得目标场景图既包含多模态感知数据，也提高了场景的语义理解，从而提高了目标文本描述目标场景的准确性和完整性。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的一种基于多模态感知数据的文本生成方法的流程示意图。
S100：获取在目标场景中采集的视频数据和音频数据。
本说明书实施例中提供的一种基于多模态感知数据的文本生成方法，该方法的执行过程可由用于生成文本等电子设备执行。另外，在本说明书中，执行基于多模态感知数据的文本生成方法的过程中，还涉及模型的训练过程，用于执行模型训练过程的电子设备和执行基于多模态感知数据的文本生成方法的电子设备可以相同也可以不同，本说明书对此不做限定。
在此步骤中，可以针对需要进行描述的目标场景，通过视觉传感器采集视频数据，以及通过声音传感器采集音频数据。由于需要根据音频数据对视频数据对应的描述文本进行校正，因此，音频数据的采集事件和视频数据的采集时间和采集时长一般是相同的，也可以是音频数据的采集时长相比于视频数据的采集时长较长，即音频数据的采集时间段，覆盖视频数据的采集时间段。视觉传感器可以现有的任一采集视频数据的电子设备，如摄像头，同样的，声音传感器也可以是任一采集声音数据的电子设备，如麦克风。本说明书对在同一目标场景内部署的视觉传感器和声音传感器的数量以及部署位置不做限定。
在本说明书中，目标场景可以是封闭场景，如工厂设备间、室内居家环境、商场、地铁站等，也可以是开放场景，如火车站、十字路口、公园等，本说明书对此不做限定。
另外，在采集目标场景中的感知数据时，视觉感知数据还可以包括目标场景中图像，但是，一般的，图像表征的是静态的信息，可能会存在无法表征动态信息，从而对目标场景的描述存在缺失和错误。因此，在目标场景中采集的图像可以作为视频数据的补充，但一般不采用图像代替视频数据的方案。
S102：确定所述视频数据对应的原始描述文本。
在实际应用中，为了获取目标场景中各对象的属性和关系，可以采用对视频数据进行文本标注的方式，得到视频数据对应的原始描述文本，通过对原始描述文本进行语义分析，确定目标场景中各对象的属性和关系。
在本说明书中，通过音频数据表征的目标场景中各对象的属性和关系，对原始描述文本进行校正，得到准确率高、合理性强、完整的用于描述目标场景的目标文本。
基于此，仍然需要确定视频数据对应的原始描述文本，原始描述文本的获取方式可以是基于人工标注的方式，由描述人员观察视频数据，记录得到原始描述文本；也可以是将视频数据输入预训练的生成式语言模型，得到生成式语言模型输出的原始描述文本，其中，预训练的生成式语言模型的类型本说明书不做限定，如生成式预训练（GenerativePre-Training，GPT），大型语言模型（Large Language Model，LLM）等。
S104：根据所述音频数据表征的所述目标场景中的各声音事件，构建初始声音事件图。
在实际应用中，随着计算机视觉技术的不断发展，对场景的理解不在仅局限于检测和识别场景中的物体。为了更好地理解目标场景，可以进一步挖掘目标场景中各个对象的属性以及各个对象之间的关系。由此，可以通过构建目标场景对应的目标场景图的方式，通过场景图（SceneGragh，SG）这种对场景的结构化表示，清晰地表达场景中的对象、属性和对象之间的关系。
在本说明书中，在S100中针对目标场景采集了视频数据以及音频数据。其中，在S102中从视频数据获得的针对目标场景的原始描述文本是现有的常规方案，该原始描述文本可能存在描述缺失或错误的问题。为此，在本说明书中，采用音频数据表征的目标场景的信息，校正原始描述文本，得到用于描述目标场景的目标文本的方式，针对原始描述文本可能存在的描述缺失进行补充，对存在的错误进行校正，以达到目标文本能够全面准确地描述目标场景的目的。
为了实现采用音频数据表征的目标场景的信息校正原始描述文本的目的，可基于音频数据构建声音场景图。为此，在此步骤中，从音频数据中提取目标场景中的各声音事件，并挖掘各声音事件之间的相关关系，然后基于各声音事件和各声音事件之间的相关关系，构建初始声音事件图。初始声音事件图是由多个节点和各节点之间的边构成的，初始声音事件图中的节点表征声音事件，边表征各声音事件之间的相关关系。
其中，声音事件指的是在连续的音频流中出现的由某种物体不规则震动所引起的声音。声音事件可以包括人类的语音、音乐以及各种类型的环境声音事件，如敲门声、爆炸声、脚步声等。在不同的场景中，声音事件的类型可能存在差异，例如，在工业场景中，音频数据中包含的异常噪音或报警声可能是工业设备故障发出的声音；又如，在十字路口场景中，刹车声和喇叭声可能是事故现场发出的声音。通过对音频数据所包含的声音事件进行检测和识别可以从不同的角度探测和分析目标场景中出现的（人类的）行为。
从音频数据中提取声音事件的方式可以是基于人工标注的方法、基于声音特征的统计方法、基于声音事件检测模型的方法，其中，声音事件检测模型的模型结构可以是基于循环神经网络（Recurrent Neural Network，RNN）、长短期记忆网络（Long short-termmemory，LSTM）等，声音事件检测模型的训练方式可以是有监督学习、半监督学习等，本说明书对声音事件检测模型的训练方式和模型结构不做限定。
进一步地，确定各声音事件之间的相关关系时，可从各声音事件对应的音频片段提取声音事件对应的声音特征，基于各声音事件对应的声音特征之间的相似度，确定各声音事件的相关关系；也可以引入常识图谱，在常识图谱中查找各声音事件，基于常识图谱表征的各声音事件之间的边，确定各声音事件之间的相关关系。另外，还可以基于各声音事件对应的音频片段对应的时间段的关系，将音频片段的时间段相近的各声音事件作为存在相关关系的各声音事件，例如，对于拉窗帘声的声音事件，其音频片段对应的时间段与开窗户声的声音事件的音频片段对应的时间段相近，因此，可将拉窗帘声的声音事件与开窗户声的声音事件作为存在相关关系的声音事件。
S106：获取预先构建的视频文本知识库以及音频知识库，其中，所述视频文本知识库包含视频数据对应的各描述文本以及所述各描述文本之间的相关关系，所述音频知识库包含参考音频数据对应的各参考事件以及各参考事件之间的相关关系。
更进一步地，由于基于步骤S104构建的初始声音事件图所表征的各声音事件之间的相关关系可能会存在缺失和错误的情况，为了提高各声音事件之间相关关系的准确性和完整性，在此步骤中，引入预先构建的视频文本知识库和预先构建的音频知识库，通过在该视频将文本知识库和音频知识库中分别搜索各声音事件，得到各声音事件之间的补充关系，以该补充关系对初始声音时间图表征的各声音事件之间的相关关系进行补充和校正。
其中，知识库是用于指示管理的数据库，可针对相关领域的知识进行采集、整理和提取。知识库中的指示源于相关领域的专家经验，可包括基本事实、规则和其他相关信息。由此，视频文本知识库可基于用于描述视频数据的文本构建，其中包括用于描述视频数据的描述文本以及各描述文本之间的相关关系。音频知识库可以基于参考音频数据表征的各参考（声音）事件以及各参考事件之间的相关关系构建。视频文本知识库和音频知识库也可以采用与知识图谱类似的图结构表征，也可以采用树结构表征，本说明书对此不做限定。
需要说明的是，视频文本知识库可根据目标场景中采集的视频数据构建，也可以基于在其他场景下采集的视频数据构建，但音频知识库是用于确定声音事件之间的补充关系的，补充关系作为初始声音事件图的扩充，因此，音频知识库一般不采用目标场景下采集的音频数据，而采用在其他场景下采集的音频数据。至于是视频文本知识库和音频知识库具体基于在何种场景下采集的数据构建，本说明书对此不做限定。
S108：根据所述各声音事件，在所述视频文本知识库和所述音频知识库中分别进行搜索，得到所述各声音事件之间的补充关系，并根据所述各声音事件之间的补充关系，构建补充场景图。
具体的，为了得到各声音事件之间的补充关系，以该补充关系对初始声音时间图表征的各声音事件之间的相关关系进行补充和校正，可以在视频文本知识库和音频知识库中分别搜索各声音事件，将于各声音事件相同或相似的节点作为搜索到的各节点通过视频文本知识库指示的各描述文本之间的相关关系，以及音频知识库指示的各参考事件之间的相关关系，确定搜索到的各节点之间的相关关系作为各声音事件之间的补充关系。
进一步地，以各声音事件为节点，以各声音事件之间的相关关系为边构建补充场景图。
S110：将所述补充场景图和所述初始声音事件图融合，得到目标声音事件图。
具体的，由于补充场景图表征的是各声音事件之间的补充关系，因此，将补充场景图和初始声音事件图进行融合，以补充场景图表征的补充关系对初始声音事件图表征的相关关系进行补充和校正，可以得到补充和校正后的各声音事件之间的相关关系，从而，基于各声音事件以及补充和校正后的各声音事件之间的相关关系，确定目标声音事件图。
其中，将补充场景图和初始声音事件图融合的方式可以是基于实体对齐的方法，也可以是基于特征统计的方式，本说明书对此不做限定。
S112：根据所述视频数据对应的原始描述文本，构建语义场景图。
具体的，视频数据对应的原始描述文本是步骤S102中基于人工标注或者预训练的生成式模型获得的，虽然原始描述文本可能由于标注人员的主观描述，以及预训练模型并未在描述目标场景的下游任务中微调，存在针对目标场景的描述的缺失和错误，但是，步骤S104~S110构建的目标声音事件图是对原始描述文本的补充和校正，也即，对目标场景描述的准确性较高的目标文本依然需要基于原始描述文本生成，因此，根据原始描述文本构建语义场景图。
其中，根据原始描述文本构建与语义场景图的方法可以是将原始描述文本输入到预先训练的语义识别模型，得到原始描述文本包含的各目标词的语义，将语义相似的各目标词作为存在相关关系的各目标词，以各目标词为节点，以各目标词之间的相关关系为边，构建语义场景图。
也可以采用预先构建的场景图解析工具，从所述视频数据对应的原始描述文本，提取多个目标词，以及各目标词之间的相关关系，根据所述各目标词之间的相关关系，构建以所述各目标词为节点的依赖树，然后，采用预设的语言规则，将所述依赖树转换为语义场景图，本说明书对语义场景图构建的方式不做限定。
其中，各目标词包括：所述视频数据表征的所述目标场景中包含的各对象、所述各对象的属性，以及所述各对象之间的关系。所述对象包括目标场景中的人和/或物体。
S114：将所述目标声音事件图和所述语义场景图进行融合，得到目标场景图。
在此步骤中，与步骤S110类似，目标声音事件图和语义场景图进行融合得到目标场景图的方式也可以是基于实体对齐的方法，也可以是基于特征统计的方式，本说明书对此不做限定。
由于目标声音事件图能够完整、准确地表征各声音事件之间的相关关系，而语义场景图能够表征目标场景中各对象之间的相关关系，因此，将所述目标声音事件图和所述语义场景图进行融合，相当于以目标声音事件图表征的各声音事件之间的相关关系，补充和校正语义场景图中各对象之间的相关关系，得到补充和校正后的目标场景包含的各对象之间的相关关系，从而，基于各对象、各对象的属性以及补充和校正后的各对象之间的相关关系，构建目标场景图。
S116：将所述目标场景图输入到预先训练的自然语义解析模型，得到所述自然语义解析模型输出的目标文本，所述目标文本用于描述所述目标场景。
在此步骤中，预先训练的自然语义解析模型能够基于目标场景图表征的各对象、以及各对象之间的相关关系，生成用于描述目标场景的目标文本，该自然语义解析模型的模型结构以及训练方式本说明书不做限定。
本说明提供的基于多模态感知数据的文本生成方法中，基于目标场景采集的音频数据表征的声音事件之间的原始关系构建初始声音事件图，在获取到的视频文本知识库和音频知识库中搜索到各声音事件之间的补充关系，并以补充关系构建补充场景图，基于从目标场景中采集的视频数据对应的原始描述文本构建语义场景图，将初始声音事件图、补充场景图和语义场景图三者融合，得到目标场景图，进而基于目标场景图得到描述目标场景的目标文本。
可见，以补充场景图作为对初始声音时间图的补充，可扩充各声音事件之间的原始关系，从而提高声音事件之间关系的准确性和合理性，进而，以扩充后的各声音事件之间的关系，校正基于原始描述文本构建的语义场景图中各节点之间的关系，使得目标场景图既包含多模态感知数据，也提高了场景的语义理解，从而提高了目标文本描述目标场景的准确性和完整性。
在本说明书一个或多个实施例中，图1步骤S104中，可对音频数据进行分割，针对多个音频片段分别确定声音事件，从而基于各声音事件的相关关系，构建初始声音事件图，如2所示，具体按照下述步骤执行：
S200：将所述音频数据按照预设的时长进行分割，得到多个音频片段。
具体的，在目标场景中采集的音频数据可包括多个声音事件，因此，可将音频数据分割为多个音频片段，针对每个音频片段，确定该音频片段对应的一个或多个声音事件。其中，用于分割音频数据的预设的时长可以根据经验值确定，也可以在分割音频数据之前根据目标场景的类型动态确定，本说明书对此不做限定。
在本说明书中，分割得到的各音频片段之间的时长相同，也即，音频数据是按照预设的时长均匀分割的，但是，在实际应用中，可能存在声音事件分布不均匀的问题，此时，可以对音频数据进行不均匀的分割，至于每个音频片段对应的时长，可以根据音频数据在每时刻的声音特征确定，本说明书对此不做限定。
S202：将各音频片段分别输入预先训练的音频分类模型，得到所述音频分类模型输出的所述各音频片段分别对应的声音事件，作为所述音频数据表征的所述目标场景中的各声音事件。
具体的，可针对每个音频片段，将该音频片段输入预先训练的音频分类模型，得到该音频片段对应的声音事件。
在实际应用中，音频片段对应的声音事件也可以视为音频片段对应的声音种类。
可选地，音频分类模型可按照下述方案训练得到：
首先，获取参考音频数据，并按照预设的时长，将所述参考音频数据分割为多个参考音频片段；其次，以各参考音频片段为训练样本，并获取所述各参考音频片段对应的参考声音事件作为所述训练样本的标注；然后，根据所述训练样本和所述训练样本的标注，训练音频分类模型。
上述为音频分类模型的一种有监督学习的训练方式，其中，将参考音频数据分割为多个参考音频片段时所采用的预设的时长，与应用音频分类模型确定音频片段对应的声音事件时，所采用的预设的时长通常相同。本说明书对音频分类模型的模型结构不做限定。
S204：确定各声音事件之间的相关关系。
进一步地，构建初始声音事件图还需要确定各声音事件之间的相关关系，可基于人工标注的方式，由标注人员逐一听取各个声音事件对应的音频片段，并记录各声音片段对应的关键词，基于各声音事件对应的关键词之间的关系，确定各声音时间之间的相关关系；另外，还可以构建以基准声音事件为锚样本、与基准声音事件相关的相关事件为正样本，以及与基准声音事件不相关的无关事件为负样本的三元组，基于三元组采用子监督训练的方式预先训练声音事件标注模型，通过训练后的声音事件标注模型确定各声音事件之间的相关关系。本说明书对确定各声音事件之间的相关关系的具体方案不做限定。
S206：根据所述各声音事件之间的相关关系，构建初始声音事件图。
具体的，以各声音事件为节点，以各声音事件之间的关系为边，构建初始声音事件图。
其中，在上述步骤S204中，各声音事件之间的相关关系除了基于人工标注和预先训练的声音事件标注模型确定外，还可以根据基于通用自然语言数据构建的常识图谱，挖掘声音事件之间的关系，具体方案如下：
第一步：将所述音频数据表征的所述目标场景中的各声音事件中任意两个声音事件进行组合，得到所述音频数据对应的各声音事件对。
具体的，在确定各声音事件之间的关系时，可先假定各声音事件中任意两个声音事件之间均存在相关关系，在后续步骤确定任意两个声音事件之间存在的是何种相关关系时，若确定某两个声音事件之间不存在任意类型的相关关系时，则确定该两个声音事件之间不存在相关关系。
为此，在此步骤中，将所述音频数据表征的所述目标场景中的各声音事件中任意两个声音事件进行组合，遍历各声音事件，得到所述音频数据对应的各声音事件对。其中，一个声音事件对包含两个不同的声音事件。
第二步：获取指定图，所述指定图是基于通用自然语言数据构建的通用知识图谱。
在本说明书中，采用通用知识图谱填补声音事件对之间的相关关系。通用知识图谱是基于通用自然语言数据构建的，在通用知识图谱中，以自然语言实体为节点，以各自然语言实体之间的相关关系为边。通用知识图谱可以是百科知识图谱或常识知识图谱，其具体类型本说明书不做限定。
第三步：针对每个声音事件对，根据该声音事件对包含的声音事件，确定该声音事件对的开始节点和结束节点，在所述指定图中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径，作为该声音事件对包含的各声音事件之间的相关关系。
具体的，由于该声音事件对包含的两个声音事件，因此，在确定该声音事件对对应的开始节点和结束节点时，为了充分挖掘两个声音事件之间的相关关系，可将该声音事件对应的两个声音事件分别作为开始节点，从而，该声音事件对中除开始节点外的声音事件，即为结束节点。例如，声音事件对包含声音事件A和声音事件B，则当声音事件A为开始节点时，声音事件B为结束节点。反之，当声音事件B为开始节点时，则声音事件A为结束节点。
进一步地，在所述指定图中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径。
其中，深度优先搜索的方法具体指的是，以开始节点为起始在搜索指定图中搜索，以与开始节点通过边相连的相邻节点的搜索优先级最高，以开始节点的兄弟节点的搜索优先级为次进行路径搜索，直到搜索到结束节点为止。也即，访问指定图中的开始节点，依次从开始节点的未被访问的相邻节点出发，对指定图进深度优先遍历，直至访问到结束节点为止。
基于上述方案得到的从开始节点到结束节点之间的搜索路径，可以确定开始节点和结束节点之间的直接或间接关系。该直接或间接关系即为该声音事件对包含的两个声音事件之间的相关关系。
当然，还可能出现在指定图中搜索不到路径的情况，此时，可确定该声音事件对包含的两个声音事件之间不存在相关关系。
另外，在基于深度优先搜索的方法在指定图中搜索以开始节点为起始，以结束节点为终止的搜索路径时，还可以限定搜索条件，如语言条件、查询跳（hop）数等，本说明书对此不做限定。
基于声音事件对包含的两个声音事件，以及在指定图中搜索得到的路径，即可确定三元组，该三元组可包括头实体、关系以及尾实体，其中，头实体为开始节点对应的声音事件，尾实体为结束节点对应的声音事件，关系时在指定图中搜索得到的以开始节点为起始、以结束节点为终止的搜索路径。
在本说明书一个或多个实施例中，图1步骤S108具体可通过下述方案实施，如图3所示：
S300：将所述各声音事件中的任意两个声音事件组合为声音事件对，遍历所述各声音事件得到各声音事件对。
具体的，本方案是为了确定各声音事件之间的补充关系，该补充关系来源与从视频文本知识库中搜索得到的搜索路径，以及从音频知识库中搜索得到的搜索路径。因此，可先假定各声音事件中任意两个声音事件之间均存在补充关系，在后续步骤确定任意两个声音事件之间存在的是何种补充关系时，若确定某两个声音事件之间不存在任意类型的相关关系时，则确定该两个声音事件之间不存在相关关系。
为此，在此步骤中，将所述音频数据表征的所述目标场景中的各声音事件中任意两个声音事件进行组合，遍历各声音事件，得到所述音频数据对应的各声音事件对。其中，一个声音事件对包含两个不同的声音事件。
S302：针对每个声音事件对，根据该声音事件对包含的各声音事件，确定该声音事件对对应的开始节点和结束节点。
与上述基于指定图确定各声音事件之间的相关关系类似，由于该声音事件对包含的两个声音事件，因此，在确定该声音事件对对应的开始节点和结束节点时，为了充分挖掘两个声音事件之间的相关关系，可将该声音事件对应的两个声音事件分别作为开始节点，从而，该声音事件对中除开始节点外的声音事件，即为结束节点。以便后续在视频文本知识库和音频知识库中分别采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径。
S304：以所述开始节点为起始，以所述结束节点为终止，在所述视频文本知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第一搜索路径，作为该声音事件对包含的各声音事件之间的第一补充关系。
深度优先搜索的方法与上述在指定图中搜索类似，此处不再赘述。
S306：以所述开始节点为起始，以所述结束节点为终止，在所述音频知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第二搜索路径，作为该声音事件对包含的各声音事件之间的第二补充关系。
深度优先搜索的方法与上述在指定图中搜索类似，此处不再赘述。
S308：根据所述各声音事件对分别包含的各声音事件之间的第一补充关系和第二补充关系，确定所述各声音事件之间的补充关系。
具体的，根据各声音事件对包含的两个声音事件之间的第一补充关系和第二补充关系，确定两个声音事件之间的补充关系，遍历各声音事件对即可确定各声音时间之间的补充关系。
在本说明书中，图1步骤S110为补充场景图和初始声音事件图融合得到目标声音事件图，步骤S114是目标声音事件图和语义场景图融合得到目标场景图。实际上，可以理解为补充场景图、初始声音事件图和语义场景图三者之间的融合，但是为了增加可解释性，以及由于补充场景图、初始声音事件图和语义场景图三者所包含的实体存在不对齐，需要依次对齐，因此，采用在S100之后执行S114的方案，以补充场景图作为初始声音事件图包含的各节点之间关系的修正和扩充，以目标声音事件图和语义场景图的融合视为多模态感知数据之间的融合，使得到的目标场景图既包含多模态感知数据，也提高了场景的语义理解，从而提高了目标文本描述目标场景的准确性和完整性，下述分别描述S110和S114的具体实施方案：
对于S110中补充场景图和初始声音事件图融合得到目标声音事件图：
从所述补充场景图中提取各第一候选节点，并从所述初始声音事件图中提取各第二候选节点。
在本说明书中，采用实体对齐的方案对场景图进行融合。具体的，通过确定补充场景图包含的各第一候选节点，和初始声音事件图包含的第二候选节点之间的相似度，将相似度较高的第一候选节点和第二候选节点合并，将相似度较低的第一候选节点和第二候选节点分别保留。并且，在合并节点时，将与合并的第一候选节点和第二候选节点相连的边也合并到同一节点上，遍历各节点，从而将补充场景图和初始场景图进行融合。
分别确定所述各第一候选节点与所述各第二候选节点之间的相似性。
在此步骤中，由于第一候选节点和第二候选节点均表征声音事件，因此，可分别提取第一候选节点和第二候选节点所对应的声音事件的特征，通过声音事件的特征之间的相似性，确定各第一候选节点和各第二和候选节点之间的相似性。
根据所述相似性，将相似性高于阈值的第一候选节点和第二候选节点合并为目标节点，并将相似性高于预设相似性阈值的第一候选节点从所述各第一候选节点中剔除，以及将相似性高于预设相似性阈值的第二候选节点从所述各第二候选节点中剔除。
例如，补充场景图包含第一候选节点x1、x2、x3，初始声音事件图包含第二候选节点y1、y2和y3，确定x1和y2相似，以及x2和y3相似，则将x1和y2合并为目标节点z1，将x2和y3合并为目标节点z2，则融合后的目标声音事件图包含的节点为y1、z1、z2、x3。
根据所述补充场景图表征的所述各第一候选节点之间的相关关系，以及所述初始声音事件图表征的所述第二候选节点之间的相关关系，构建以所述目标节点、剩余的各第一候选节点、剩余的各第二候选节点为节点的目标声音事件图。
对于S114中目标声音事件图和语义场景图融合得到目标场景图：
获取预先训练的特征提取模型，将所述目标声音事件图和所述语义场景图分别输入到所述特征提取模型，得到所述特征提取模型输出的所述目标声音事件图包含的各节点的特征，以及所述语义场景图包含的各节点的特征。
根据所述目标声音事件图包含的各节点的特征，以及所述语义场景图包含的各节点的特征，确定所述目标声音事件图包含的各节点与所述语义场景图包含的各节点之间的相似度。
将相似度高于预设相似度阈值的节点进行合并，并根据所述目标声音事件图表征的各节点之间的相关关系，以及所述语义场景图表征的各节点之间的相关关系，以合并后的节点和剩余的节点为节点，构建目标场景图。
在上述融合得到目标场景图的方案中，采用了预先训练的特征提取模型，该特征提取模型可基于下述方案训练得到：
第一步：预先获取基于参考场景中采集的参考音频数据构建的第一参考图，以及基于参考场景中采集的参考视频数据第二参考图，其中所述第一参考图是以多个描述所述参考音频数据的参考声音事件为节点构建的，所述第二参考图是以多个描述所述参考视频数据的参考词为节点构建的。
第二步：以所述第一参考图和所述第二参考图为训练样本，并获取所述参考场景对应的第三参考图作为所述训练样本的标注，其中，所述第三参考图是基于针对所述参考场景的参考描述文本构建的。
第三步：将所述训练样本输入待训练的特征提取模型，得到所述特征提取模型输出的所述第一参考图包含的各节点的特征，以及所述第二参考图包含的各节点的特征。
第四步：确定所述第一参考图包含的各节点与所述第二参考图包含的各节点之间的相似度。
第五步：将相似度高于预设相似度阈值的节点进行合并，并根据所述第一参考图表征的各节点之间的相关关系，以及所述第二参考图表征的各节点之间的相关关系，以合并后的节点和剩余的节点为节点，构建预测场景图。
第六步：以所述预测场景图和所述训练样本的标签之间的差异的最小化为训练目标，训练所述特征提取模型。
进一步的，图1步骤S116中采用的自然语义解析模型可包括图神经网络编码器、特征提取子网以及解码器，其中，图神经网络编码器用于提取目标场景图所表征的图结构，也就是各节点之间的相关关系，特征提取子网可分别将各节点映射到向量空间，解码器用于综合各节点的特征，因此，S116可如下述方案实施，如图4所示：
S400：将所述目标场景图输入到预先训练的自然语义解析模型，通过所述自然语义解析模型包含的图神经网络编码器，确定所述目标场景图对应的第一特征；其中所述第一特征用于表征所述目标场景图包含的各节点之间的相关关系。
具体的，预先训练的自然语义解析模型能够提取目标场景图包含的各节点之间的相关关系，因此，可通过自然语义解析模型包含的图神经网络编码器从目标场景图中提取该相关关系作为第一特征，该相关关系可以表征目标场景图的图结构，从而确定每个节点与其余节点之间的紧密程度。
S402：将所述目标场景图包含的各节点输入所述自然语义解析模型包含的特征提取子网中，得到所述各节点的第二特征。
具体的，特征提取子网用于提取节点本身的特征作为第二特征。
S404：将所述第一特征和所述各节点的第二特征作为输入，输入到所述自然语义解析模型包含的解码器，得到所述解码器输出的目标文本。
解码器基于输入的第一特征以及各节点的第二特征，即考虑到各节点本身的特征，还考虑到各节点之间的相关关系，从而得到准确率较高的用于描述目标场景的目标文本。
在本说明书一个可选的实施例中，步骤S106和108所涉及的视频文本知识库可根据目标场景中采集的视频数据构建，也可以基于在其他场景下采集的视频数据构建，具体方案如下：
首先，根据预设的语法规则，从所述视频数据对应的原始描述文本中，提取多个目标词。
其中，可根据预设的语法规则和原始描述文本中包含的各词的词性，从原始描述文本中提取主语、谓语和宾语。一般的，主语是动作的发起方，谓语是主语的动作、状态、特征或行为、宾语是动作行为的对象。也即，主语和宾语之间可以通过谓语相关联。
其次，以所述各目标词包含的各主语作为各头实体，以所述各目标词包含的各宾语作为各尾实体，以所述各目标词包含的各谓语作为所述各头实体和所述各尾实体之间的关系。
然后，遍历所述各头实体、所述各尾实体和所述关系，确定各描述文本三元组。
其中，一个描述文本三元组中包含一个头实体、一个尾实体，以及连接该头实体和尾实体的关系，也即谓语。
最后，根据所述各描述文本三元组，构建视频文本知识库。
其中，视频文本知识库可以视为结构化数据库，在视频文本知识库中各实体通过三元组的形式存储。也即，头实体和尾实体通过关系相关联。
在本说明书一个可选的实施例中，步骤S106和108所涉及的音频知识库是用于确定声音事件之间的补充关系的，补充关系作为初始声音事件图的扩充，因此，音频知识库一般不采用目标场景下采集的音频数据，而采用在其他场景下采集的音频数据，具体方案如下：
第一步：获取参考音频数据，并从所述参考音频数据中识别多个参考事件。
在此步骤中，获取的参考音频数据指的是在与目标场景不同的其他场景下采集的音频数据。从参考音频数据中识别多个参考事件的方法可与S104类似，此处不赘述。
第二步：将各参考事件中任意两个参考事件进行组合，得到各参考事件对。
第三步：针对每个参考事件对，根据该参考事件对包含的参考事件，确定该参考事件对的开始节点和结束节点，并在获取到的通用知识图谱中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径，作为该参考事件对包含的各参考事件之间的相关关系。
此步骤与上述S204一种可选的实施例中根据基于通用自然语言数据构建的常识图谱，挖掘声音事件之间的关系类似，此处不赘述。
第四步：根据该参考事件对包含的各参考事件，以及所述各参考事件之间的相关关系，生成各参考事件三元组。
第五步：根据所述各参考事件三元组，构建音频知识库。
在音频知识库中，以参考事件为节点，以各参考事件之间的相关关系为边构建结构化数据库。
图5为本说明书提供的一种基于多模态感知数据的文本生成装置示意图，具体包括：
第一获取模块500，用于获取在目标场景中采集的视频数据和音频数据；
原始描述文本确定模块502，用于确定所述视频数据对应的原始描述文本；
初始声音事件图构建模块504，用于根据所述音频数据表征的所述目标场景中的各声音事件，构建初始声音事件图；
第二获取模块506，用于获取预先构建的视频文本知识库以及音频知识库，其中，所述视频文本知识库包含视频数据对应的各描述文本以及所述各描述文本之间的相关关系，所述音频知识库包含参考音频数据对应的各参考事件以及各参考事件之间的相关关系；
补充场景图构建模块508，用于根据所述各声音事件，在所述视频文本知识库和所述音频知识库中分别进行搜索，得到所述各声音事件之间的补充关系，并根据所述各声音事件之间的补充关系，构建补充场景图；
第一融合模块510，用于将所述补充场景图和所述初始声音事件图融合，得到目标声音事件图；
语义场景图构建模块512，用于从所述视频数据对应的原始描述文本中，提取多个目标词，以及确定各目标词之间的相关关系，并根据所述各目标词之间的相关关系构建语义场景图；
第二融合模块514，用于将所述目标声音事件图和所述语义场景图进行融合，得到目标场景图；
目标文本确定模块516，用于将所述目标场景图输入到预先训练的自然语义解析模型，得到所述自然语义解析模型输出的目标文本，所述目标文本用于描述所述目标场景。
可选地，所述初始声音事件图构建模块504具体用于，将所述音频数据按照预设的时长进行分割，得到多个音频片段；将各音频片段分别输入预先训练的音频分类模型，得到所述音频分类模型输出的所述各音频片段分别对应的声音事件，作为所述音频数据表征的所述目标场景中的各声音事件；确定各声音事件之间的相关关系；根据所述各声音事件之间的相关关系，构建初始声音事件图。
可选地，所述初始声音事件图构建模块504具体用于，将所述音频数据表征的所述目标场景中的各声音事件中任意两个声音事件进行组合，得到所述音频数据对应的各声音事件对；获取指定图，所述指定图是基于通用自然语言数据构建的通用知识图谱；针对每个声音事件对，根据该声音事件对包含的声音事件，确定该声音事件对的开始节点和结束节点，在所述指定图中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径，作为该声音事件对包含的各声音事件之间的相关关系。
可选地，所述装置还包括：
第一训练模块518，具体用于获取参考音频数据；按照预设的时长，将所述参考音频数据分割为多个参考音频片段；以各参考音频片段为训练样本，并获取所述各参考音频片段对应的参考声音事件作为所述训练样本的标注；根据所述训练样本和所述训练样本的标注，训练音频分类模型。
可选地，所述补充场景图构建模块508具体用于，将所述各声音事件中的任意两个声音事件组合为声音事件对，遍历所述各声音事件得到各声音事件对；针对每个声音事件对，根据该声音事件对包含的各声音事件，确定该声音事件对对应的开始节点和结束节点；以所述开始节点为起始，以所述结束节点为终止，在所述视频文本知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第一搜索路径，作为该声音事件对包含的各声音事件之间的第一补充关系；以所述开始节点为起始，以所述结束节点为终止，在所述音频知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第二搜索路径，作为该声音事件对包含的各声音事件之间的第二补充关系；根据所述各声音事件对分别包含的各声音事件之间的第一补充关系和第二补充关系，确定所述各声音事件之间的补充关系。
可选地，所述语义场景图构建模块512具体用于，采用预先构建的场景图解析工具，从所述视频数据对应的原始描述文本，提取多个目标词，以及各目标词之间的相关关系；其中，所述各目标词包括：所述视频数据表征的所述目标场景中包含的各对象、所述各对象的属性，以及所述各对象之间的关系；根据所述各目标词之间的相关关系，构建以所述各目标词为节点的依赖树；采用预设的语言规则，将所述依赖树转换为语义场景图。
可选地，所述第一融合模块510具体用于，从所述补充场景图中提取各第一候选节点，并从所述初始声音事件图中提取各第二候选节点；分别确定所述各第一候选节点与所述各第二候选节点之间的相似性；根据所述相似性，将相似性高于阈值的第一候选节点和第二候选节点合并为目标节点，并将相似性高于预设相似性阈值的第一候选节点从所述各第一候选节点中剔除，以及将相似性高于预设相似性阈值的第二候选节点从所述各第二候选节点中剔除；根据所述补充场景图表征的所述各第一候选节点之间的相关关系，以及所述初始声音事件图表征的所述第二候选节点之间的相关关系，构建以所述目标节点、剩余的各第一候选节点、剩余的各第二候选节点为节点的目标声音事件图。
可选地，所述第二融合模块514具体用于，获取预先训练的特征提取模型，将所述目标声音事件图和所述语义场景图分别输入到所述特征提取模型，得到所述特征提取模型输出的所述目标声音事件图包含的各节点的特征，以及所述语义场景图包含的各节点的特征；根据所述目标声音事件图包含的各节点的特征，以及所述语义场景图包含的各节点的特征，确定所述目标声音事件图包含的各节点与所述语义场景图包含的各节点之间的相似度；将相似度高于预设相似度阈值的节点进行合并，并根据所述目标声音事件图表征的各节点之间的相关关系，以及所述语义场景图表征的各节点之间的相关关系，以合并后的节点和剩余的节点为节点，构建目标场景图。
可选地，所述装置还包括：
第二训练模块520，具体用于预先获取基于参考场景中采集的参考音频数据构建的第一参考图，以及基于参考场景中采集的参考视频数据第二参考图，其中所述第一参考图是以多个描述所述参考音频数据的参考声音事件为节点构建的，所述第二参考图是以多个描述所述参考视频数据的参考词为节点构建的；以所述第一参考图和所述第二参考图为训练样本，并获取所述参考场景对应的第三参考图作为所述训练样本的标注，其中，所述第三参考图是基于针对所述参考场景的参考描述文本构建的；将所述训练样本输入待训练的特征提取模型，得到所述特征提取模型输出的所述第一参考图包含的各节点的特征，以及所述第二参考图包含的各节点的特征；确定所述第一参考图包含的各节点与所述第二参考图包含的各节点之间的相似度；将相似度高于预设相似度阈值的节点进行合并，并根据所述第一参考图表征的各节点之间的相关关系，以及所述第二参考图表征的各节点之间的相关关系，以合并后的节点和剩余的节点为节点，构建预测场景图；以所述预测场景图和所述训练样本的标签之间的差异的最小化为训练目标，训练所述特征提取模型。
可选地，所述目标文本确定模块516具体用于，将所述目标场景图输入到预先训练的自然语义解析模型，通过所述自然语义解析模型包含的图神经网络编码器，确定所述目标场景图对应的第一特征；其中所述第一特征用于表征所述目标场景图包含的各节点之间的相关关系；将所述目标场景图包含的各节点输入所述自然语义解析模型包含的特征提取子网中，得到所述各节点的第二特征；将所述第一特征和所述各节点的第二特征作为输入，输入到所述自然语义解析模型包含的解码器，得到所述解码器输出的目标文本。
可选地，所述装置还包括：
第一构建模块522，具体用于根据预设的语法规则，从所述视频数据对应的原始描述文本中，提取多个目标词；以所述各目标词包含的各主语作为各头实体，以所述各目标词包含的各宾语作为各尾实体，以所述各目标词包含的各谓语作为所述各头实体和所述各尾实体之间的关系；遍历所述各头实体、所述各尾实体和所述关系，确定各描述文本三元组；根据所述各描述文本三元组，构建视频文本知识库。
可选地，所述装置还包括：
第二构建模块524，具体用于获取参考音频数据，并从所述参考音频数据中识别多个参考事件；将各参考事件中任意两个参考事件进行组合，得到各参考事件对；针对每个参考事件对，根据该参考事件对包含的参考事件，确定该参考事件对的开始节点和结束节点，并在获取到的通用知识图谱中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径，作为该参考事件对包含的各参考事件之间的相关关系；根据该参考事件对包含的各参考事件，以及所述各参考事件之间的相关关系，生成各参考事件三元组；根据所述各参考事件三元组，构建音频知识库。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1所示的基于多模态感知数据的文本生成方法。
本说明书还提供了图6所示的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的基于多模态感知数据的文本生成方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (14)

1.一种基于多模态感知数据的文本生成方法，其特征在于，包括：
获取在目标场景中采集的视频数据和音频数据；
确定所述视频数据对应的原始描述文本；
根据所述音频数据表征的所述目标场景中的各声音事件，构建初始声音事件图；
获取预先构建的视频文本知识库以及音频知识库，其中，所述视频文本知识库包含视频数据对应的各描述文本以及所述各描述文本之间的相关关系，所述音频知识库包含参考音频数据对应的各参考事件以及各参考事件之间的相关关系；
根据所述各声音事件，在所述视频文本知识库和所述音频知识库中分别进行搜索，得到所述各声音事件之间的补充关系，并根据所述各声音事件之间的补充关系，构建补充场景图；
将所述补充场景图和所述初始声音事件图融合，得到目标声音事件图；
根据所述视频数据对应的原始描述文本，构建语义场景图；
将所述目标声音事件图和所述语义场景图进行融合，得到目标场景图；
将所述目标场景图输入到预先训练的自然语义解析模型，得到所述自然语义解析模型输出的目标文本，所述目标文本用于描述所述目标场景；
其中，根据所述各声音事件，在所述视频文本知识库和所述音频知识库中分别进行搜索，得到所述各声音事件之间的补充关系，具体包括：
将所述各声音事件中的任意两个声音事件组合为声音事件对，遍历所述各声音事件得到各声音事件对；
针对每个声音事件对，根据该声音事件对包含的各声音事件，确定该声音事件对对应的开始节点和结束节点；
以所述开始节点为起始，以所述结束节点为终止，在所述视频文本知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第一搜索路径，作为该声音事件对包含的各声音事件之间的第一补充关系；
以所述开始节点为起始，以所述结束节点为终止，在所述音频知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第二搜索路径，作为该声音事件对包含的各声音事件之间的第二补充关系；
根据所述各声音事件对分别包含的各声音事件之间的第一补充关系和第二补充关系，确定所述各声音事件之间的补充关系。
2.如权利要求1所述的方法，其特征在于，根据所述音频数据表征的所述目标场景中的各声音事件，构建初始声音事件图，具体包括：
将所述音频数据按照预设的时长进行分割，得到多个音频片段；
将各音频片段分别输入预先训练的音频分类模型，得到所述音频分类模型输出的所述各音频片段分别对应的声音事件，作为所述音频数据表征的所述目标场景中的各声音事件；
确定各声音事件之间的相关关系；
根据所述各声音事件之间的相关关系，构建初始声音事件图。
3.如权利要求2所述的方法，其特征在于，确定各声音事件之间的相关关系，具体包括：
将所述音频数据表征的所述目标场景中的各声音事件中任意两个声音事件进行组合，得到所述音频数据对应的各声音事件对；
获取指定图，所述指定图是基于通用自然语言数据构建的通用知识图谱；
针对每个声音事件对，根据该声音事件对包含的声音事件，确定该声音事件对的开始节点和结束节点，在所述指定图中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径，作为该声音事件对包含的各声音事件之间的相关关系。
4.如权利要求2所述的方法，其特征在于，预先训练音频分类模型，具体包括：
获取参考音频数据；
按照预设的时长，将所述参考音频数据分割为多个参考音频片段；
以各参考音频片段为训练样本，并获取所述各参考音频片段对应的参考声音事件作为所述训练样本的标注；
根据所述训练样本和所述训练样本的标注，训练音频分类模型。
5.如权利要求1所述的方法，其特征在于，根据所述视频数据对应的原始描述文本，构建语义场景图，具体包括：
采用预先构建的场景图解析工具，从所述视频数据对应的原始描述文本，提取多个目标词，以及各目标词之间的相关关系；其中，所述各目标词包括：所述视频数据表征的所述目标场景中包含的各对象、所述各对象的属性，以及所述各对象之间的关系；
根据所述各目标词之间的相关关系，构建以所述各目标词为节点的依赖树；
采用预设的语言规则，将所述依赖树转换为语义场景图。
6.如权利要求1所述的方法，其特征在于，将所述补充场景图和所述初始声音事件图融合，得到目标声音事件图，具体包括：
从所述补充场景图中提取各第一候选节点，并从所述初始声音事件图中提取各第二候选节点；
分别确定所述各第一候选节点与所述各第二候选节点之间的相似性；
根据所述相似性，将相似性高于阈值的第一候选节点和第二候选节点合并为目标节点，并将相似性高于预设相似性阈值的第一候选节点从所述各第一候选节点中剔除，以及将相似性高于预设相似性阈值的第二候选节点从所述各第二候选节点中剔除；
根据所述补充场景图表征的所述各第一候选节点之间的相关关系，以及所述初始声音事件图表征的所述第二候选节点之间的相关关系，构建以所述目标节点、剩余的各第一候选节点、剩余的各第二候选节点为节点的目标声音事件图。
7.如权利要求1所述的方法，其特征在于，将所述目标声音事件图和所述语义场景图进行融合，得到目标场景图，具体包括：
获取预先训练的特征提取模型，将所述目标声音事件图和所述语义场景图分别输入到所述特征提取模型，得到所述特征提取模型输出的所述目标声音事件图包含的各节点的特征，以及所述语义场景图包含的各节点的特征；
根据所述目标声音事件图包含的各节点的特征，以及所述语义场景图包含的各节点的特征，确定所述目标声音事件图包含的各节点与所述语义场景图包含的各节点之间的相似度；
将相似度高于预设相似度阈值的节点进行合并，并根据所述目标声音事件图表征的各节点之间的相关关系，以及所述语义场景图表征的各节点之间的相关关系，以合并后的节点和剩余的节点为节点，构建目标场景图。
8.如权利要求7所述的方法，其特征在于，预先训练所述特征提取模型，具体包括：
预先获取基于参考场景中采集的参考音频数据构建的第一参考图，以及基于参考场景中采集的参考视频数据第二参考图，其中所述第一参考图是以多个描述所述参考音频数据的参考声音事件为节点构建的，所述第二参考图是以多个描述所述参考视频数据的参考词为节点构建的；
以所述第一参考图和所述第二参考图为训练样本，并获取所述参考场景对应的第三参考图作为所述训练样本的标注，其中，所述第三参考图是基于针对所述参考场景的参考描述文本构建的；
将所述训练样本输入待训练的特征提取模型，得到所述特征提取模型输出的所述第一参考图包含的各节点的特征，以及所述第二参考图包含的各节点的特征；
确定所述第一参考图包含的各节点与所述第二参考图包含的各节点之间的相似度；
将相似度高于预设相似度阈值的节点进行合并，并根据所述第一参考图表征的各节点之间的相关关系，以及所述第二参考图表征的各节点之间的相关关系，以合并后的节点和剩余的节点为节点，构建预测场景图；
以所述预测场景图和所述训练样本的标签之间的差异的最小化为训练目标，训练所述特征提取模型。
9.如权利要求1所述的方法，其特征在于，将所述目标场景图输入到预先训练的自然语义解析模型，得到所述自然语义解析模型输出的目标文本，具体包括：
将所述目标场景图输入到预先训练的自然语义解析模型，通过所述自然语义解析模型包含的图神经网络编码器，确定所述目标场景图对应的第一特征；其中所述第一特征用于表征所述目标场景图包含的各节点之间的相关关系；
将所述目标场景图包含的各节点输入所述自然语义解析模型包含的特征提取子网中，得到所述各节点的第二特征；
将所述第一特征和所述各节点的第二特征作为输入，输入到所述自然语义解析模型包含的解码器，得到所述解码器输出的目标文本。
10.如权利要求1所述的方法，其特征在于，预先构建视频文本知识库，具体包括：
根据预设的语法规则，从所述视频数据对应的原始描述文本中，提取多个目标词；
以各目标词包含的各主语作为各头实体，以所述各目标词包含的各宾语作为各尾实体，以所述各目标词包含的各谓语作为所述各头实体和所述各尾实体之间的关系；
遍历所述各头实体、所述各尾实体和所述关系，确定各描述文本三元组；
根据所述各描述文本三元组，构建视频文本知识库。
11.如权利要求1所述的方法，其特征在于，预先构建音频知识库，具体包括：
获取参考音频数据，并从所述参考音频数据中识别多个参考事件；
将各参考事件中任意两个参考事件进行组合，得到各参考事件对；
针对每个参考事件对，根据该参考事件对包含的参考事件，确定该参考事件对的开始节点和结束节点，并在获取到的通用知识图谱中采用深度优先搜索的方法，以所述开始节点为起始，以所述结束节点为终止，确定所述开始节点和所述结束节点之间的搜索路径，作为该参考事件对包含的各参考事件之间的相关关系；
根据该参考事件对包含的各参考事件，以及所述各参考事件之间的相关关系，生成各参考事件三元组；
根据所述各参考事件三元组，构建音频知识库。
12.一种多模态感知数据的文本生成装置，其特征在于，包括：
第一获取模块，用于获取在目标场景中采集的视频数据和音频数据；
原始描述文本确定模块，用于确定所述视频数据对应的原始描述文本；
初始声音事件图构建模块，用于根据所述音频数据表征的所述目标场景中的各声音事件，构建初始声音事件图；
第二获取模块，用于获取预先构建的视频文本知识库以及音频知识库，其中，所述视频文本知识库包含视频数据对应的各描述文本以及所述各描述文本之间的相关关系，所述音频知识库包含参考音频数据对应的各参考事件以及各参考事件之间的相关关系；
补充场景图构建模块，用于根据所述各声音事件，在所述视频文本知识库和所述音频知识库中分别进行搜索，得到所述各声音事件之间的补充关系，并根据所述各声音事件之间的补充关系，构建补充场景图；
第一融合模块，用于将所述补充场景图和所述初始声音事件图融合，得到目标声音事件图；
语义场景图构建模块，用于从所述视频数据对应的原始描述文本中，提取多个目标词，以及确定各目标词之间的相关关系，并根据所述各目标词之间的相关关系构建语义场景图；
第二融合模块，用于将所述目标声音事件图和所述语义场景图进行融合，得到目标场景图；
目标文本确定模块，用于将所述目标场景图输入到预先训练的自然语义解析模型，得到所述自然语义解析模型输出的目标文本，所述目标文本用于描述所述目标场景；
所述补充场景图构建模块，具体用于将所述各声音事件中的任意两个声音事件组合为声音事件对，遍历所述各声音事件得到各声音事件对；针对每个声音事件对，根据该声音事件对包含的各声音事件，确定该声音事件对对应的开始节点和结束节点；以所述开始节点为起始，以所述结束节点为终止，在所述视频文本知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第一搜索路径，作为该声音事件对包含的各声音事件之间的第一补充关系；以所述开始节点为起始，以所述结束节点为终止，在所述音频知识库中采用深度优先搜索的方法，确定所述开始节点和所述结束节点之间的第二搜索路径，作为该声音事件对包含的各声音事件之间的第二补充关系；根据所述各声音事件对分别包含的各声音事件之间的第一补充关系和第二补充关系，确定所述各声音事件之间的补充关系。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~11任一项所述的方法。
14.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1~11任一项所述的方法。
CN202310676959.6A 2023-06-08 2023-06-08 一种基于多模态感知数据的文本生成方法及装置 Active CN116402062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310676959.6A CN116402062B (zh) 2023-06-08 2023-06-08 一种基于多模态感知数据的文本生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310676959.6A CN116402062B (zh) 2023-06-08 2023-06-08 一种基于多模态感知数据的文本生成方法及装置

Publications (2)

Publication Number Publication Date
CN116402062A CN116402062A (zh) 2023-07-07
CN116402062B true CN116402062B (zh) 2023-09-15

Family

ID=87012790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310676959.6A Active CN116402062B (zh) 2023-06-08 2023-06-08 一种基于多模态感知数据的文本生成方法及装置

Country Status (1)

Country Link
CN (1) CN116402062B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116910633B (zh) * 2023-09-14 2024-01-23 北京科东电力控制系统有限责任公司 一种基于多模态知识混合推理的电网故障预测方法
CN117033666B (zh) * 2023-10-07 2024-01-26 之江实验室 一种多模态知识图谱的构建方法、装置、存储介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199933A (zh) * 2014-09-04 2014-12-10 华中科技大学 一种多模态信息融合的足球视频事件检测与语义标注方法
CN109635171A (zh) * 2018-12-13 2019-04-16 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
CN114267347A (zh) * 2021-11-01 2022-04-01 惠州市德赛西威汽车电子股份有限公司 一种基于智能语音交互的多模态拒识方法和系统
CN114547373A (zh) * 2022-02-21 2022-05-27 山东浪潮超高清视频产业有限公司 一种基于音频智能识别搜索节目的方法
CN114817580A (zh) * 2022-05-19 2022-07-29 四川封面传媒科技有限责任公司 基于多尺度内容理解的跨模态媒体资源检索方法
CN114973086A (zh) * 2022-05-25 2022-08-30 北京明略昭辉科技有限公司 视频处理方法、装置、电子设备及存储介质
CN115115984A (zh) * 2022-06-28 2022-09-27 腾讯科技（深圳）有限公司 视频数据处理方法、装置、程序产品、计算机设备和介质
CN115170449A (zh) * 2022-06-30 2022-10-11 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质
WO2023050295A1 (zh) * 2021-09-30 2023-04-06 中远海运科技股份有限公司 一种基于多模态异质特征融合的视频密集事件描述方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199933A (zh) * 2014-09-04 2014-12-10 华中科技大学 一种多模态信息融合的足球视频事件检测与语义标注方法
CN109635171A (zh) * 2018-12-13 2019-04-16 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
WO2023050295A1 (zh) * 2021-09-30 2023-04-06 中远海运科技股份有限公司 一种基于多模态异质特征融合的视频密集事件描述方法
CN114267347A (zh) * 2021-11-01 2022-04-01 惠州市德赛西威汽车电子股份有限公司 一种基于智能语音交互的多模态拒识方法和系统
CN114547373A (zh) * 2022-02-21 2022-05-27 山东浪潮超高清视频产业有限公司 一种基于音频智能识别搜索节目的方法
CN114817580A (zh) * 2022-05-19 2022-07-29 四川封面传媒科技有限责任公司 基于多尺度内容理解的跨模态媒体资源检索方法
CN114973086A (zh) * 2022-05-25 2022-08-30 北京明略昭辉科技有限公司 视频处理方法、装置、电子设备及存储介质
CN115115984A (zh) * 2022-06-28 2022-09-27 腾讯科技（深圳）有限公司 视频数据处理方法、装置、程序产品、计算机设备和介质
CN115170449A (zh) * 2022-06-30 2022-10-11 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Trung Quy Phan ; Palaiahnakote Shivakumara ; Souvik Bhowmick ; Shimiao Li ; Chew Lim Tan ; Umapada Pal ; .Semiautomatic Ground Truth Generation for Text Detection and Recognition in Video Images.IEEE Transactions on Circuits and Systems for Video Technology.2014,第1277-1287页. *
面向语义挖掘的蔬菜病害知识视频场景检测;温皓杰;周婧;傅泽田;张领先;严谨;李鑫星;;农业机械学报(S1);第386-391页 *
黄颖 ; 罗玮 ; 刘金全 ; 熊昆洪 ; 刘苹 ; 卿粼波 ; .基于多模态融合的开放空间个体情绪识别. 计算机应用.2022,第36-41页. *

Also Published As

Publication number Publication date
CN116402062A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN116402062B (zh) 一种基于多模态感知数据的文本生成方法及装置
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN104780388A (zh) 一种视频数据的切分方法和装置
CN111339250B (zh) 新类别标签的挖掘方法及电子设备、计算机可读介质
CN113539304B (zh) 视频拆条方法和装置
CN115600157B (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN112417093B (zh) 一种模型训练的方法及装置
CN115618964B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN110516915B (zh) 业务节点训练、评估方法、装置及电子设备
CN116312480A (zh) 一种语音识别方法、装置、设备及可读存储介质
CN116186330B (zh) 一种基于多模态学习的视频去重方法及装置
CN116343314B (zh) 一种表情识别方法、装置、存储介质及电子设备
CN111144132B (zh) 一种语义识别方法及装置
CN116151355B (zh) 一种模型训练和业务执行的方法、装置、介质及设备
CN113642616B (zh) 一种基于环境数据的训练样本的生成方法及装置
CN112397073A (zh) 一种音频数据处理方法及装置
CN117037046B (zh) 一种视听事件检测方法、装置、存储介质及电子设备
CN113642603B (zh) 一种数据匹配方法、装置、存储介质及电子设备
CN114611517B (zh) 基于深度学习的命名实体识别方法、装置、设备和介质
CN111310069A (zh) 一种针对时效性搜索的评估方法及装置
CN117076650B (zh) 一种基于大语言模型的智能对话方法、装置、介质及设备
CN115599891B (zh) 一种确定异常对话数据方法、装置、设备及可读存储介质
CN116453615A (zh) 一种预测方法、装置、可读存储介质及电子设备
CN115862675B (zh) 一种情感识别方法、装置、设备及存储介质
CN117786417B (zh) 一种模型训练方法、瞬变源的识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant