CN121388198A - 基于多模态大模型的影片系列剧智能动态归集方法、装置 - Google Patents

基于多模态大模型的影片系列剧智能动态归集方法、装置

Info

Publication number
CN121388198A
CN121388198A CN202511487367.5A CN202511487367A CN121388198A CN 121388198 A CN121388198 A CN 121388198A CN 202511487367 A CN202511487367 A CN 202511487367A CN 121388198 A CN121388198 A CN 121388198A
Authority
CN
China
Prior art keywords
series
film
television content
information
multimodal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202511487367.5A
Other languages
English (en)
Inventor
宋泳祥
姚榕斌
郭尚锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN202511487367.5A priority Critical patent/CN121388198A/zh
Publication of CN121388198A publication Critical patent/CN121388198A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于多模态大模型的影片系列剧智能动态归集方法、装置,属于影视内容处理技术领域,包括:提取影视内容的文本信息、音频信息和视觉信息;分别对文本信息分析提取关键语义特征,对音频信息分析提取情感基调特征,对视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;将多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,并将比对结果存储。本发明提高归集效率和准确性,降低人力成本,提升用户观看系列剧的体验。

Description

基于多模态大模型的影片系列剧智能动态归集方法、装置
技术领域
本发明涉及影视内容处理技术领域,尤其涉及的是一种基于多模态大模型的影片系列剧智能动态归集方法、装置、服务器及存储介质。
背景技术
在影视内容处理领域,系列剧的归集与管理对提升用户观看体验、增强平台内容吸引力至关重要。目前,传统的系列剧归集方式依赖人工操作,运营人员需根据影视内容的文本介绍、演员阵容、播出时间等有限信息,手动筛选和整理相关影片,构建系列剧。
现有技术的这种方式存在诸多弊端:首先,人力成本高,面对海量的影视内容,人工筛选和归集需要耗费大量的时间和人力;其次,效率低下,难以快速响应新入库的影视内容,导致系列剧更新滞后;再者,准确性不足,人工判断容易受到主观因素影响,无法精准识别具有潜在关联的系列剧内容,例如一些基于同一IP但采用不同叙事视角或表现形式的衍生剧集,容易被遗漏或错误归集,严重影响用户对系列剧内容的完整获取和观看体验。
因此,现有技术还有待改进和发展。
发明内容
为了解决上述技术问题,本发明提供一种基于多模态大模型的影片系列剧智能动态归集方法、装置、服务器及存储介质,本发明通过融合影视内容的文本、音频、视觉等多模态特征,结合预设的系列剧结构规则库,利用大模型强大的推理和分析能力,实现对影片系列剧的自动化、智能化、动态化归集,提高归集效率和准确性,降低人力成本,提升用户观看系列剧的体验。
本申请的技术方案如下:
一种基于多模态大模型的影片系列剧智能动态归集方法,其中,包括:
获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中。
所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息的步骤之前包括:
预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新。
所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息的步骤包括:
获取影视内容,其中,所述影视内容包括:新发布入库的影视内容、和定期获取的存量系列剧数据库中的所有影视内容;
对获取的所述影视内容进行多模态特征提取、提取影视内容的文本信息、音频信息和视觉信息。
所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量的步骤包括:
利用自然语言处理技术对文本信息进行分词、词性标注、语义分析,提取包括角色名称、故事发生地点、核心情节的关键语义特征;
采用音频情感分析算法对音频信息进行处理,分析对话语气、背景音乐的情感基调特征;
运用计算机视觉技术对视觉信息进行分析,提取画面色调、镜头语言、场景构图视觉风格特征,形成多模态特征向量。
所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述将提取的多模态特征向量输入到预先训练好的人工智能大模型中,并结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别的步骤包括:
将提取的多模态特征向量输入到预先训练好的人工智能大模型中;
所述预先训练好的人工智能大模型根据所述多模态特征向量在所述预设的系列剧结构规则库中的初步匹配,筛选出相关的系列剧规则;
并分析影视内容的特征与规则的契合度,确定影视内容的系列剧归属,推理出影视内容之间的关联关系和所属的系列剧类别。
所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中的步骤包括:
根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧数据库中的存量系列剧进行动态映射比对;
对影视内容本身的特征关联,并引入用户行为反馈数据作为动态调整因子;当用户频繁将某部新剧与现有系列剧进行关联操作,则自动提升该关联的权重;当检测新剧与现有系列剧存在冲突或不合理的归集情况,则根据规则进行调整;完成比对和调整后,将更新后的系列剧信息存储到存量系列剧数据库中。
所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中的步骤之后包括:
设置可视化的人工干预接口,通过人工干预接口接收用户操作指令,对归集结果进行复审;
通过系统界面接收用户操作指令对错误归集案例,进行标注和修正,并自动记录错误案例和修改记录;
将记录的错误案例和修改记录反馈至所述人工智能大模型的训练数据中,对所述人工智能大模型的训练过程进行反向优化。
一种基于多模态大模型的影片系列剧智能动态归集装置,其中,所述装置包括:
系列剧结构规则库模块,用于预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新;
获取与特征提取模块,用于获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
多模态特征提取模块,用于分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
大模型推理与匹配模块,用于将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
动态映射比对与更新模块,用于根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中。
一种服务器,其中,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行中任意一项所述的方法。
一种计算机可读存储介质,其中,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行任意一项所述的方法。
由上可知,本申请提供的一种基于多模态大模型的影片系列剧智能动态归集方法、装置、服务器及存储介质,本发明采用多模态特征提取、大模型推理结合系列剧结构规则库匹配、动态映射比对与更新;本发明具有如下效果:
1)、提高归集准确性:通过融合多模态特征分析和系列剧结构规则库,能够更全面、精准地识别影视内容之间的关联关系,避免因单一信息分析导致的错误归集,相较于传统方法,归集准确率提升约50%。
2)、提升了归集效率:实现自动化的系列剧归集流程,大幅减少人工操作,对海量影视内容的归集处理速度提高约5倍,能够快速响应新入库内容,及时更新系列剧库。
3)、降低了成本:减少了大量的人力投入,降低了影视内容管理的人力成本,提高了企业的运营效益。
4)、优化用户体验:基于用户行为反馈动态调整归集结果,能够更贴合用户的观看需求和偏好,为用户提供更精准、完整的系列剧内容推荐,增强用户对平台的满意度和粘性。
5)、适应性强:系列剧结构规则库可灵活配置和更新,能够适应不同类型、不同风格的影视内容以及不断变化的用户需求和市场趋势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1的基于多模态大模型的影片系列剧智能动态归集方法的流程示意图。
图2是本发明具体应用实施例2的基于多模态大模型的影片系列剧智能动态归集方法的流程示意图。
图3本发明提供的基于多模态大模型的影片系列剧智能动态归集装置实施例的原理框图。
图4是本发明实施例提供的服务器的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明,若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
现有技术,传统的系列剧归集方式依赖人工操作,运营人员需根据影视内容的文本介绍、演员阵容、播出时间等有限信息,手动筛选和整理相关影片,构建系列剧。这种方式存在诸多弊端:首先,人力成本高,面对海量的影视内容,人工筛选和归集需要耗费大量的时间和人力;其次,效率低下,难以快速响应新入库的影视内容,导致系列剧更新滞后;再者,准确性不足,人工判断容易受到主观因素影响,无法精准识别具有潜在关联的系列剧内容,例如一些基于同一IP但采用不同叙事视角或表现形式的衍生剧集,容易被遗漏或错误归集,严重影响用户对系列剧内容的完整获取和观看体验。
虽然现有技术中也出现了部分利用算法实现影视内容分类和关联的方法,但大多仅基于单一的文本或视觉信息进行分析,缺乏对影视内容多维度特征的综合考量,难以有效识别系列剧内容之间复杂的内在联系,无法满足影视内容管理领域对系列剧精准、高效归集的需求。
为了解决上述技术问题,本发明实施例提供了一种基于多模态大模型的影片系列剧智能动态归集方法,具体如下实施例所述。
实施例一
如图1所示,本发明实施例的一种基于多模态大模型的影片系列剧智能动态归集方法,包括以下步骤:
步骤S100、获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
本发明具体实施例中,可以从视频平台(如影视数据库、流媒体平台)获取影视内容,其中,所述影视内容包括:新发布入库的影视内容、和定期获取的存量系列剧数据库中的所有影视内容;
对获取的所述影视内容进行多模态特征提取、提取影视内容的文本信息、音频信息和视觉信息。即本发明实施例中多模态指同时从文本、音频、视觉三个不同维度提取信息,覆盖影视内容的文字信息、声音信息、画面信息。
具体实施时,获取影视内容的文本信息包括如剧情简介、台词脚本等,而音频信息包括如对话语音、背景音乐等,所述视觉信息包括画面图像、镜头切换等。
具体地,本发明关于文本信息提取,是抓取影视内容中与文字相关的关键信息,比如影片的字幕内容(台词、旁白)、片头片尾的文字(片名、演职员表)、画面中的文字元素(如海报上的标题、场景中的路标文字),最终会将这些文字转化为可分析的文本数据。
具体地,本发明关于音频信息提取,是提取影视中的声音相关特征,包括人物对话的声音频率、背景音乐的节奏和旋律和音量、环境音(如雨声、脚步声、爆炸声)等,简单说就是把听到的内容转化为音频参数(如声波频率、分贝值)。
具体地,本发明关于视觉信息提取,是抓取影视画面相关的核心特征,比如人物的面部表情、肢体动作、场景中的物体(如桌椅、建筑)、画面的色彩风格(如冷色调、暖色调)、镜头的运镜方式(如推镜头、拉镜头)等,相当于把看到的内容拆解为可识别的视觉元素数据。
步骤S200、分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
本步骤实施例中,具体地,可以利用自然语言处理(NLP)技术对文本信息进行语义分析,提取关键语义特征;采用音频情感分析算法对音频信息进行处理,分析对话语气、背景音乐的情感基调等特征;运用计算机视觉(CV)技术对视觉信息进行分析,提取画面色调、镜头语言、场景构图等视觉风格特征,形成多模态特征向量。
本发明进一步地实施例中,所述步骤S200具体包括:
S201、利用自然语言处理技术对文本信息进行分词、词性标注、语义分析,提取包括角色名称、故事发生地点、核心情节的关键语义特征;
本步骤实施例中,用语言分析工具自然语言处理(NLP)技术从文本数据中挖掘关键剧情信息,操作和结果包括如下两部分:
一是,基础处理环节,可以对文本信息先做分词,比如把“主角在纽约遇到反派”拆成“主角/在/纽约/遇到/反派”;并进行词性标注,标注每个词的属性,如“主角”是名词、“遇到”是动词,让零散文字变得有结构。
然后进行核心提取环节,可以通过语义分析理解文字背后的含义,最终抓出3类关键信息,角色名称(如“主角:小明、反派:老王”)、故事发生地点(如“纽约、郊外实验室”)、核心情节(如“小明在纽约与老王发生冲突”),形成能概括剧情核心的“语义特征”。
本步骤是将杂乱的影视文字如台词、字幕,转化为清晰的剧情关键信息,方便快速了解影视内容的脉络。
S202、采用音频情感分析算法对音频信息进行处理,分析对话语气、背景音乐的情感基调等特征;
本步骤实施例中,通过声音分析工具的音频情感分析算法判断音频传递的情感,包括两类声音的分析:一是对话语气,具体分析角色说话的语调、语速、音量,比如“语速慢、语调低”分析可能是“悲伤”,“语速快、音量高” 分析可能是“愤怒”;二是背景音乐情感基调:判断配乐的风格和情绪,比如“轻柔的钢琴乐”可能是“温馨”,“急促的鼓点乐”可能是“紧张”。
本步骤实施例中,最终会把这些分析结果整合,形成能体现音频情感的特征,如“这段音频情感基调:紧张”。本步骤通过分析可以实现读懂声音的情绪,通过音频判断影视片段的情感氛围如温馨、紧张、悲伤。
S203、运用计算机视觉技术对视觉信息进行分析,提取画面色调、镜头语言、场景构图等视觉风格特征,形成多模态特征向量。
本发明实施例中,可以采用画面分析工具如计算机视觉技术拆解视觉元素,提取能体现画面风格的特征,包括三类:一是画面色调,具体为判断画面整体的颜色倾向,如“以蓝色为主”是冷色调,“以红色为主”是暖色调;二是镜头语言,具体为识别镜头的拍摄方式,如“镜头慢慢靠近角色”是推镜头(突出角色情绪),“镜头从高处往下拍”是俯拍(展现场景全貌);三是场景构图,具体为分析画面中元素的排列方式,如“角色位于画面中心”(突出主角),“画面左右对称”(营造稳定感)。
本发明实施例中,会把上面提取关键语义特征、情感基调特征,画面色调、镜头语言、场景构图视觉风格特征,转化为计算机能识别的多模态特征向量。
步骤S300、将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
本步骤实施例在具体实施前需要,预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新。
本发明实施例中构建包含多种系列剧结构规则的数据库,包括IP衍生规则(如明确正传、前传、外传、同人创作等不同类型的判断标准和关联关系)、地区性内容规则(如区分不同语言版本、文化背景下影视内容的归集规则)、内容类型规则(如电影特制剧、电视剧集、动画剧集等的分类标准)等。该规则库可根据实际需求进行灵活配置和更新。
然后本发明将提取的多模态特征向量输入到大模型中,大模型基于训练好的算法和模型,结合系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别。具体过程为,大模型首先根据多模态特征向量在规则库中进行初步匹配,筛选出可能相关的系列剧规则;然后进一步分析影视内容的特征与规则的契合度,确定其准确的系列剧归属。
进一步地,所述步骤S300具体包括:
S301、将提取的多模态特征向量输入到预先训练好的人工智能大模型中;
本步骤实施例中,多模态特征向量是前面步骤从影视内容中提取的、涵盖多种维度的数据集合,例如视觉维度的画面色调、场景布局、角色服装风格,音频维度的背景音乐旋律、台词风格,文本维度的剧情梗概关键词、角色关系描述等,这些信息会被转化为计算机可识别的数值向量形式,如[0.23,0.89,0.11,...]。
本实施例的预先训练好的人工智能大模型是经过大量影视数据(包括系列剧、非系列剧作品)训练的模型,具备处理多模态数据的能力,例如基于Transformer架构的多模态大模型(如CLIP的改进版),已学习到特征向量与影视属性(如是否为系列剧、所属类型)的关联规律。
S302、所述预先训练好的人工智能大模型根据所述多模态特征向量在所述预设的系列剧结构规则库中的初步匹配,筛选出相关的系列剧规则;
本发明实施例中,所述预设的系列剧结构规则库是提前构建的、存储系列剧核心特征规则的数据库,包括IP衍生规则(明确正传、前传、外传、同人创作等不同类型的判断标准和关联关系)、地区性内容规则(区分不同语言版本、文化背景下影视内容的归集规则)、内容类型规则(如电影特制剧、电视剧集、动画剧集等的分类标准)等。该规则库可根据实际需求进行灵活配置和更新。
本实施例的预设的系列剧结构规则库还可以包含系列剧的共性结构,例如角色阵容连续(如同一角色贯穿多作品)、剧情时间线连贯(如前作结局为后作开端)、世界观统一(如同一虚构背景,如科幻宇宙、古代王朝)、主题风格一致(如均为悬疑推理、家庭喜剧)等,每个规则都对应着特定的特征向量判断标准。
本步骤中,初步匹配的过程是模型将输入的多模态特征向量与规则库中的每条规则进行比对:例如,若影视A的特征向量中包含角色名称重复率80%、场景重复率60%,模型会匹配规则库中角色阵容连续+场景统一的规则,同时排除角色完全更换、世界观差异大的规则。
本步骤的作用是过滤掉与当前影视内容无关的规则,减少后续分析的计算量,确保后续契合度分析只围绕可能相关的系列剧规则展开,提升判定效率。
S303、并分析影视内容的特征与规则的契合度,确定影视内容的系列剧归属,推理出影视内容之间的关联关系和所属的系列剧类别。
本发明中,分析特征与规则的契合度是对步骤S302筛选出的相关规则进行量化评估,具体地,训练好的人工智能大模型会为每条相关规则设定契合度评分标准(如满分100分),例如针对剧情时间线连贯规则,若影视B与影视C的剧情时间线衔接误差小于10%,则契合度得90分;若存在部分时间线断层,得60分。通过综合所有相关规则的契合度得分(如加权平均),得到影视内容与某系列剧规则集合的整体契合度(如85分,设定80分为符合系列剧归属阈值)。
本发明中,关于确定系列剧归属是基于契合度结果判断,具体为,当影视D与XX系列剧规则集合的整体契合度达到阈值,则判定影视D归属XX系列剧;若未达阈值,则判定为非系列剧或归属其他匹配度更高的系列。
本实施例中,关于推理关联关系与系列剧类别是进一步输出细节结果,具体为,关联关系包括影视E是影视F的前传、影视G与影视H为同系列平行作品等,这是基于时间线、剧情因果的特征分析;而系列剧类别包括连续剧情类(如《甄*传》《如*传》)、单元剧情类(如《名侦探*南》各案件独立但角色连续)、衍生作品类(如《钢*侠》与《复*者联盟》同属漫威电影宇宙衍生系列)等,这是基于规则库中不同类别系列剧的特征差异判断。
本步骤的作用是完成从数据分析到结果输出的闭环,不仅明确影视内容是否属于系列剧,还能清晰呈现其与其他作品的关联逻辑及具体系列类型,为影视分类、推荐、版权管理等场景提供决策依据。
步骤S400、根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中。
本发明实施例中,根据建立的存量系列剧数据库,将新推理出的系列剧与存量系列剧进行动态映射比对。比对过程中,除了考虑影视内容本身的特征关联,还引入用户行为反馈数据(如用户观看时长、收藏记录、评论内容)作为动态调整因子。若用户频繁将某部新剧与现有系列剧进行关联操作,则自动提升该关联的权重;若发现新剧与现有系列剧存在冲突或不合理的归集情况,则根据规则进行调整。完成比对和调整后,将更新后的系列剧信息存储到存量系列剧数据库中。
进一步地,所述步骤S400具体包括:
S401、根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧数据库中的存量系列剧进行动态映射比对;
本发明中,所述存量系列剧数据库是已存储海量历史系列剧信息的核心数据池,包含每部存量系列剧的基础信息(如系列名称、作品列表、首播时间)、核心属性(如所属类别:连续剧情类/单元剧情类)、内部关联关系(如作品A是系列B的第3部、作品C是系列B的前传)等,且数据结构规范,支持按系列类别、关联关系类型等维度快速检索。
本发明中关于动态映射比对是分维度、分层次的精准匹配过程,具体分为两步:
一是系列剧类别映射,具体是将S303推理出的新影视内容所属类别(如衍生作品类)与数据库中存量系列剧的类别标签进行匹配,筛选出同类别下的所有存量系列,例如,若新内容为漫威风格衍生剧,则先定位数据库中衍生作品类下的漫威电影宇宙系列、DC扩展宇宙系列等;
二是关联关系映射,具体是基于新内容的关联关系线索,如新剧D与已推理出的剧E为同世界观续作,在上述同类别存量系列中进一步比对,若数据库中已存在剧E所属的F系列,则验证新剧D的特征(如世界观、角色)与F系列的一致性,确认是否可归入F系列;若数据库中无剧E相关记录,则判断新剧D与剧E是否构成新系列雏形,并与数据库中无关联的存量单部作品进行比对,排除潜在的归属遗漏,如是否有存量作品与新剧D存在未被发现的关联。
本步骤的作用是让新推理出的系列剧信息找到归属,要么归入已有的存量系列,丰富该系列的内容体系;要么识别为新系列,为后续数据库更新奠定基础,同时避免出现同一系列被拆分为多个条目的混乱情况。
S402、对影视内容本身的特征关联,并引入用户行为反馈数据作为动态调整因子;当用户频繁将某部新剧与现有系列剧进行关联操作,则自动提升该关联的权重;当检测新剧与现有系列剧存在冲突或不合理的归集情况,则根据规则进行调整;完成比对和调整后,将更新后的系列剧信息存储到存量系列剧数据库中。
本步骤在步骤S401映射比对的基础上,一方面强化影视内容本身的特征关联验证,再次核对新剧与目标存量系列的核心特征,如画面风格、台词体系、核心角色等的一致性,确保客观特征层面无明显矛盾;
另一方面引入用户行为反馈数据,这类数据包括用户在影视平台的主动操作,如将新剧G标记为系列H的续作、在评论中提及新剧G与系列H的关联,被动行为如观看新剧G后,70%用户会接着观看系列H的作品;这些数据能反映用户对新剧关联关系的主观认知,弥补纯模型推理可能存在的偏差,如模型未识别到的小众剧情关联,用户通过观剧体验发现。
本发明还会以特征关联一致性为基础,以用户行为反馈为动态调整因子,分两种场景优化:一是正向权重提升,即当用户对新剧与某存量系列的关联操作频繁,如一周内有1000+用户标记新剧I属于系列J,且该关联与客观特征无冲突,则自动提升该关联的置信权重,如从初始的60%提升至85%,让该关联在后续推荐、分类中更优先体现;
二是冲突调整,当检测到不合理归集,可能是模型推理偏差,如将古装剧K误归入现代都市系列L,或用户误操作,少数用户标记非关联的剧M属于系列N,则触发规则化调整,先通过特征冲突检测规则,如古装剧K的时代背景特征与系列L的现代背景特征冲突,则判定归集错误,再结合用户反馈权重规则,如误标记用户占比不足5%,自动取消错误关联,或发起人工复核提示,如冲突特征不明显时,提醒管理员确认。
本发明实施例中,当完成调整后,将最终确认的信息按数据库规范格式更新,若新剧归入存量系列,则在该系列的作品列表中添加新剧信息,并补充关联关系,如新剧I为系列J的第5部;若新剧与其他作品构成新系列,则在数据库中新建系列条目,录入系列名称、作品列表、类别、关联关系等信息;同时记录本次更新的来源,如基于模型推理+用户反馈调整,与时间,便于后续追溯与数据审计。
本发明进一步地实施例中,所述的基于多模态大模型的影片系列剧智能动态归集方法,其中,所述步骤S400之后还包括:
S501、设置可视化的人工干预接口,通过人工干预接口接收用户操作指令,对归集结果进行复审;
本发明实施例中,所述可视化人工干预接口是呈现清晰、易懂的操作界面,比如表格展示新剧名称、机器判定的所属系列、关联关系及置信权重,或用图谱直观呈现新剧与存量系列的关联链路。
然后,人工,如平台管理员、专业审核人员通过该接口接收操作指令,如查看待复审列表、标记可疑归集结果,对机器输出的归集结果,如新剧A归入系列B进行二次检查,判断是否符合实际情况,避免机器误判未被系统自动检测的问题。
S502、通过系统界面接收用户操作指令对错误归集案例,进行标注和修正,并自动记录错误案例和修改记录;
本发明实施例中,人工在系统界面发现错误归集,如新剧C误归为系列D,实际应属系列E后,发送操作指令,如标注错误类型为类别混淆、修正所属系列为E,系统会按指令完成标注与修正;同时,自动记录错误案例详情(错误归集内容、错误类型)和修改记录(修改人、修改时间、修正后的内容),形成可追溯的错误档案。
S503、将记录的错误案例和修改记录反馈至所述人工智能大模型的训练数据中,对所述人工智能大模型的训练过程进行反向优化。
本步骤实施例中,将S502记录的错误案例,如新剧C误归案例,和修改记录(正确归属及原因),整理成符合模型训练格式的数据,补充到人工智能大模型的训练数据集中;模型在后续迭代训练时,会学习这些错误案例的特征(如新剧C与系列D的差异特征、与系列E的匹配特征),调整内部判定逻辑,减少同类错误(如类别混淆)的发生,实现反向优化。
由上可见,本发明提供一种基于多模态大模型的影片系列剧智能动态归集方法,通过融合影视内容的文本、音频、视觉等多模态特征,结合预设的系列剧结构规则库,利用大模型强大的推理和分析能力,实现对影片系列剧的自动化、智能化、动态化归集,提高归集效率和准确性,降低人力成本,提升用户观看系列剧的体验。
以下通过具体的应用实施例对本发明做进一步详细说明:
如图2所示,为本具体实施例的基于多模态大模型的影片系列剧智能动态归集系统的结构框图,展示了多模态特征提取、系列剧结构规则库、大模型推理与匹配、动态映射比对与更新、和人工复审与优化之间的连接关系和数据流向,本具体应用实施例2提供的一种基于多模态大模型的影片系列剧智能动态归集方法,以新入库影视内容的归集为例进行说明,包括以下步骤:
步骤S11、当有新的影视内容发布入库时,系统自动触发归集步骤,并进入步骤S12。
步骤S12、获取影视内容,通过多模态特征提取模块获取该影视内容的文本信息、音频信息和视觉信息。例如,对于一部新上映的电视剧,提取其剧情简介、台词脚本作为文本信息,获取剧中的对话语音、背景音乐作为音频信息,截取多个关键画面作为视觉信息。
步骤S13、利用自然语言处理(NLP)技术对文本信息进行语义分析,提取关键语义特征;采用音频情感分析算法对音频信息进行处理,分析对话语气、背景音乐的情感基调等特征;运用计算机视觉(CV)技术对视觉信息进行分析,提取画面色调、镜头语言、场景构图等视觉风格特征,形成多模态特征向量;
具体可以利用自然语言处理(NLP)技术对文本信息进行分词、词性标注、语义分析等处理,提取出如角色名称、故事发生地点、核心情节等关键语义特征;通过音频情感分析算法对音频信息进行处理,分析出对话的紧张程度、背景音乐的欢快或悲伤基调等情感特征;运用CV技术对视觉信息进行处理,提取画面的色调风格(如暖色调、冷色调)、镜头类型(如特写、全景)等视觉风格特征,形成多模态特征向量。
步骤S14、将多模态特征向量输入到人工智能大模型,进行推理与匹配,预先训练好的人工智能大模型结合系列剧结构规则库进行推理。假设该电视剧是某知名IP的衍生作品,大模型根据IP衍生规则,分析其与该IP下其他作品在角色、情节等方面的关联,确定其属于该IP系列剧的外传类别。
步骤S15、进行动态映射比对与更新,具体将新确定的系列剧与存量系列剧数据库进行映射比对。同时,收集用户对该电视剧的观看时长、收藏等行为数据,若发现用户对该电视剧的观看时长较长且有收藏行为,且该电视剧与现有系列剧中的某几部作品关联度较高,则自动提升该关联的权重。
步骤S16、完成比对和调整后,将更新后的系列剧信息存储到存量系列剧数据库中。
步骤S17、然后进行人工复审与优化,通过系统提示运营人员对该归集结果进行复审,运营人员通过可视化界面查看归集情况,若发现归集错误,可直接进行标注和修正,系统将该错误案例反馈至大模型的训练数据中,用于优化大模型。
具体应用实施例3,本具体应用实施例3提供的一种基于多模态大模型的影片系列剧智能动态归集方法,以存量影视内容的重新归集为例,包括以下步骤:
步骤S21、定期对存量系列剧数据库中的所有影视内容进行重新归集操作。
步骤S22、按照上述具体应用实施例2中相同的步骤,对每一部存量影视内容进行多模态特征提取、大模型推理与匹配、动态映射比对与更新。
步骤S23、在比对过程中,根据最新的用户行为数据和系列剧结构规则库的更新内容,对原有的归集结果进行调整。例如,若系列剧结构规则库新增了某种类型的衍生剧判断规则,对于符合该规则的存量影视内容,重新确定其系列剧归属。
步骤S24、同样,经过人工复审与优化模块,由运营人员对重新归集的结果进行检查和修正,确保存量系列剧的归集准确性和完整性。
由上可见,本发明采用了多模态特征融合的创新分析机制,具体包括:
1),采用了跨模态信息深度挖掘,本发明突破传统单一模态分析局限,构建文本语义、音频情感、视觉风格的多模态特征融合体系。通过自然语言处理技术解析影视剧情深层逻辑,利用音频情感分析算法捕捉对话情绪与背景音乐氛围,借助计算机视觉技术提取画面构图、色调变化等视觉元素,形成具有强关联性的多模态特征向量,实现对影视内容全方位、深层次的特征提取。
2)采用了动态权重分配策略,本发明针对不同类型影视内容,设计动态权重分配算法。例如,对于剧情导向的影视作品,提升文本语义特征的权重;对于以视觉特效为亮点的影片,增强视觉风格特征的权重。该策略使大模型在推理过程中,能根据内容特性灵活调整各模态特征的重要程度,提高系列剧关联判断的准确性。
本发明还进行了系列剧结构规则库的智能化构建,具体包括:
1)采用了规则动态更新与扩展,本发明系列剧结构规则库支持基于影视行业动态、用户需求变化进行实时更新。运营人员可通过简易操作界面添加新的系列剧类型规则(如新兴的互动剧系列规则),或修改现有规则参数,使系统始终适应不断变化的影视市场,保持对各类系列剧的准确识别能力。
2)采用了规则冲突解决机制,当系列剧结构规则库中存在多条规则适用于同一影视内容时,引入优先级判定与冲突消解算法。通过设定规则优先级,并结合多模态特征分析结果,自动选择最合理的归集规则,避免因规则冲突导致的错误归集,确保系列剧归集的唯一性和准确性。
并且本发明还采用了大模型推理的优化与强化,包括:
1)采用迁移学习与领域适配,本发明基于通用大模型,通过迁移学习技术将其适配到影视系列剧归集领域。利用大量已标注的影视系列剧数据对模型进行微调,使大模型能够准确理解影视内容之间的系列剧关联逻辑,相比直接使用通用大模型,在系列剧识别任务上具有更高的精度和效率。
2)采用了增量式学习与优化,本发明实施例的人工智能大模型具备增量式学习能力,可将人工复审修正的错误案例、新出现的系列剧类型数据及时纳入训练,不断优化模型参数。随着数据积累和模型训练的持续进行,大模型对系列剧归集的准确性和泛化能力将不断提升,实现自我进化与优化。
并且本发明还采用了动态映射比对的智能决策体系,具体包括:
1)采用了用户行为驱动的关联优化,本发明将用户观看时长、收藏、评论等行为数据深度融入动态映射比对过程。构建用户行为分析模型,通过机器学习算法挖掘用户行为背后的系列剧关联偏好。例如,若大量用户将某两部看似无关的影片频繁连续观看,系统将提升这两部影片的关联权重,自动调整系列剧归集结果,使其更贴合用户实际需求。
2)采用了实时动态更新策略,本发明动态映射比对模块采用实时监测与定期批量更新相结合的方式。一方面,对新入库影视内容进行实时映射比对,确保其快速准确地归入相应系列剧;另一方面,每日对存量系列剧库进行批量动态更新,及时反映用户行为变化和规则库更新对归集结果的影响,保证系列剧库始终处于最新、最准确的状态。
本发明还采用了人机协同的高效复审机制,具体包括:
1)采用了可视化交互界面设计,本发明通过接收人工复审与优化模块提供直观、便捷的可视化交互界面。运营人员可通过界面快速查看系列剧归集结果,利用图形化标注工具直接在界面上对错误归集案例进行标注,操作简单高效。同时,界面支持对系列剧规则进行可视化编辑,方便运营人员根据实际情况调整规则库。
2)采用了复审数据反哺模型训练,本发明通过接收人工复审产生的标注数据、修正意见等信息,经系统整理后直接反馈至大模型训练流程。通过构建数据反馈链路,将人工经验转化为模型训练的有效数据,实现人机协同的闭环优化,使大模型在人工干预下不断提升系列剧归集的准确性和可靠性。
综上可见,通过本发明实施例,可以实现如下效果:
1)提高了归集准确性:通过融合多模态特征分析和系列剧结构规则库,能够更全面、精准地识别影视内容之间的关联关系,避免因单一信息分析导致的错误归集,相较于传统方法,归集准确率提升约50%。
2)提升了归集效率:实现自动化的系列剧归集流程,大幅减少人工操作,对海量影视内容的归集处理速度提高约5倍,能够快速响应新入库内容,及时更新系列剧库。
3)降低了成本:减少了大量的人力投入,降低了影视内容管理的人力成本,提高了企业的运营效益。
4)优化了用户体验:基于用户行为反馈动态调整归集结果,能够更贴合用户的观看需求和偏好,为用户提供更精准、完整的系列剧内容推荐,增强用户对平台的满意度和粘性。
5)增强了适应性:系列剧结构规则库可灵活配置和更新,能够适应不同类型、不同风格的影视内容以及不断变化的用户需求和市场趋势。
示例性设备
如图3所示,本发明实施例提供一种基于多模态大模型的影片系列剧智能动态归集装置,该装置包括:
系列剧结构规则库模块310,用于预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新;
获取与特征提取模块320,用于获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
多模态特征提取模块330,用于分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
大模型推理与匹配模块340,用于将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
动态映射比对与更新模块350,用于根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中,具体如上所述。
基于上述实施例,本发明还提供了一种服务器,其原理框图可以如图4所示。所述服务器包括通过系统总线连接的处理器、存储器、网络接口、显示屏、数据库。
其中存储器存储有一个或多个程序,这些程序被配置为由处理器执行,例如多模态特征提取步骤、大模型推理与匹配步骤、动态映射比对与更新步骤,以及人工复审与优化步骤,以实现上述实施例的基于多模态大模型的影片系列剧智能动态归集方法。
其中,服务器是指具备数据处理能力的智能电视、智能平板等。存储器可以是内存储器,闪存、硬盘或云存储空间,用于存储程序代码及存储预先设置的可适用不同人群的多个智能体形象和存储预设的对话式定制流程等各种数据。处理器可以是中央处理器,用于执行程序中的算法逻辑。程序包含的基于多模态大模型的影片系列剧智能动态归集方法。
在进一步地实施例中,本实施例的一种服务器,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中,具体如上所述。
其中,所述获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息的步骤之前包括:
预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新。
其中,所述获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息的步骤包括:
获取影视内容,其中,所述影视内容包括:新发布入库的影视内容、和定期获取的存量系列剧数据库中的所有影视内容;
对获取的所述影视内容进行多模态特征提取、提取影视内容的文本信息、音频信息和视觉信息。
其中,所述分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量的步骤包括:
利用自然语言处理技术对文本信息进行分词、词性标注、语义分析,提取包括角色名称、故事发生地点、核心情节的关键语义特征;
采用音频情感分析算法对音频信息进行处理,分析对话语气、背景音乐的情感基调等特征;
运用计算机视觉技术对视觉信息进行分析,提取画面色调、镜头语言、场景构图等视觉风格特征,形成多模态特征向量。
其中,所述将提取的多模态特征向量输入到预先训练好的人工智能大模型中,并结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别的步骤包括:
将提取的多模态特征向量输入到预先训练好的人工智能大模型中;
所述预先训练好的人工智能大模型根据所述多模态特征向量在所述预设的系列剧结构规则库中的初步匹配,筛选出相关的系列剧规则;
并分析影视内容的特征与规则的契合度,确定影视内容的系列剧归属,推理出影视内容之间的关联关系和所属的系列剧类别。
其中,所述根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中的步骤包括:
根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧数据库中的存量系列剧进行动态映射比对;
对影视内容本身的特征关联,并引入用户行为反馈数据作为动态调整因子;当用户频繁将某部新剧与现有系列剧进行关联操作,则自动提升该关联的权重;当检测新剧与现有系列剧存在冲突或不合理的归集情况,则根据规则进行调整;完成比对和调整后,将更新后的系列剧信息存储到存量系列剧数据库中。
其中,所述根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中的步骤之后包括:
设置可视化的人工干预接口,通过人工干预接口接收用户操作指令,对归集结果进行复审;
通过系统界面接收用户操作指令对错误归集案例,进行标注和修正,并自动记录错误案例和修改记录;
将记录的错误案例和修改记录反馈至所述人工智能大模型的训练数据中,对所述人工智能大模型的训练过程进行反向优化,具体如上所述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化,例如采用基于联邦学习的分布式大模型协同归集方案,即在原有集中式大模型基础上,引入联邦学习技术,允许影视内容资源分散的多个平台(如不同地区的影视流媒体平台),在不共享原始数据的前提下,协同训练大模型。各平台利用本地数据对模型进行训练,仅上传模型参数更新信息,由中央服务器进行参数聚合,更新全局模型。此变形方案既能保护各平台数据隐私,又能整合多方数据资源,提升大模型对多样化影视内容系列剧归集的准确性和泛化能力,特别适用于影视资源分布广泛、数据敏感的场景等。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,包括:
获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中。
2.根据权利要求1所述的基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,所述获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息的步骤之前包括:
预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新。
3.根据权利要求1所述的基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,所述获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息的步骤包括:
获取影视内容,其中,所述影视内容包括:新发布入库的影视内容、和定期获取的存量系列剧数据库中的所有影视内容;
对获取的所述影视内容进行多模态特征提取、提取影视内容的文本信息、音频信息和视觉信息。
4.根据权利要求1所述的基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,所述分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量的步骤包括:
利用自然语言处理技术对文本信息进行分词、词性标注、语义分析,提取包括角色名称、故事发生地点、核心情节的关键语义特征;
采用音频情感分析算法对音频信息进行处理,分析对话语气、背景音乐的情感基调特征;
运用计算机视觉技术对视觉信息进行分析,提取画面色调、镜头语言、场景构图视觉风格特征,形成多模态特征向量。
5.根据权利要求1所述的基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,所述将提取的多模态特征向量输入到预先训练好的人工智能大模型中,并结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别的步骤包括:
将提取的多模态特征向量输入到预先训练好的人工智能大模型中;
所述预先训练好的人工智能大模型根据所述多模态特征向量在所述预设的系列剧结构规则库中的初步匹配,筛选出相关的系列剧规则;
并分析影视内容的特征与规则的契合度,确定影视内容的系列剧归属,推理出影视内容之间的关联关系和所属的系列剧类别。
6.根据权利要求1所述的基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,所述根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中的步骤包括:
根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧数据库中的存量系列剧进行动态映射比对;
对影视内容本身的特征关联,并引入用户行为反馈数据作为动态调整因子;当用户频繁将某部新剧与现有系列剧进行关联操作,则自动提升该关联的权重;当检测新剧与现有系列剧存在冲突或不合理的归集情况,则根据规则进行调整;完成比对和调整后,将更新后的系列剧信息存储到存量系列剧数据库中。
7.根据权利要求1所述的基于多模态大模型的影片系列剧智能动态归集方法,其特征在于,所述根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中的步骤之后包括:
设置可视化的人工干预接口,通过人工干预接口接收用户操作指令,对归集结果进行复审;
通过系统界面接收用户操作指令对错误归集案例,进行标注和修正,并自动记录错误案例和修改记录;
将记录的错误案例和修改记录反馈至所述人工智能大模型的训练数据中,对所述人工智能大模型的训练过程进行反向优化。
8.一种基于多模态大模型的影片系列剧智能动态归集装置,其特征在于,所述装置包括:
系列剧结构规则库模块,用于预先构建包含多种系列剧结构规则的系列剧结构规则库,所述多种系列剧结构规则包括IP衍生规则、地区性内容规则、内容类型规则;所述系列剧结构规则库可根据实际需求进行灵活配置和更新;
获取与特征提取模块,用于获取影视内容,对所述影视内容进行多模态特征提取,提取影视内容的文本信息、音频信息和视觉信息;
多模态特征提取模块,用于分别对所述文本信息分析提取关键语义特征,对所述音频信息分析提取情感基调特征,对所述视觉信息进行分析提取画面色调、镜头语言、场景构图视觉风格特征,得到多模态特征向量;
大模型推理与匹配模块,用于将提取的多模态特征向量输入到预先训练好的人工智能大模型中,结合预设的系列剧结构规则库,推理出影视内容之间的关联关系和所属的系列剧类别;
动态映射比对与更新模块,用于根据建立的存量系列剧数据库,将推理出的影视内容之间的关联关系和所属的系列剧类别、与存量系列剧进行动态映射比对,将比对更新后的系列剧信息存储到存量系列剧数据库中。
9.一种服务器,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
CN202511487367.5A 2025-10-17 2025-10-17 基于多模态大模型的影片系列剧智能动态归集方法、装置 Pending CN121388198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202511487367.5A CN121388198A (zh) 2025-10-17 2025-10-17 基于多模态大模型的影片系列剧智能动态归集方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202511487367.5A CN121388198A (zh) 2025-10-17 2025-10-17 基于多模态大模型的影片系列剧智能动态归集方法、装置

Publications (1)

Publication Number Publication Date
CN121388198A true CN121388198A (zh) 2026-01-23

Family

ID=98454138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202511487367.5A Pending CN121388198A (zh) 2025-10-17 2025-10-17 基于多模态大模型的影片系列剧智能动态归集方法、装置

Country Status (1)

Country Link
CN (1) CN121388198A (zh)

Similar Documents

Publication Publication Date Title
Pont-Tuset et al. Connecting vision and language with localized narratives
US20230214423A1 (en) Video generation
US20190332937A1 (en) Recurrent neural network architectures which provide text describing images
US20230394854A1 (en) Video-based chapter generation for a communication session
WO2024235271A1 (zh) 虚拟形象的动作生成方法、动作库的构建方法及装置
CN101021855A (zh) 基于内容的视频检索系统
CN101754056A (zh) 支持海量数据自动处理的数字内容编目管理系统及方法
CN114281948B (zh) 一种纪要确定方法及其相关设备
CN119399330B (zh) 基于深度语义分析的文本转视频方法、装置、设备及介质
CN118193850A (zh) 一种基于知识图谱的舆情信息推荐方法
CN119130502B (zh) 一种基于ai的营销商品短视频生成方法、装置、介质及产品
CN118760359B (zh) 多模态多任务智能交互方法、装置、电子设备及存储介质
CN113901263B (zh) 一种视频素材的标签生成方法及装置
CN118660128A (zh) 基于人工智能的会议内容分析方法、系统及会议一体机
CN116977992A (zh) 文本信息识别方法、装置、计算机设备和存储介质
CN118016104A (zh) 基于角色分离的线下会议语音质检方法、设备、存储介质
CN120499474A (zh) 一种视频剪辑方法及相关装置
CN112261321B (zh) 字幕处理方法、装置及电子设备
CN120781939A (zh) 一种智能语义识别与写作素材整合推送的系统及方法
CN113821681A (zh) 视频标签生成方法、装置及设备
TW202109388A (zh) 依據同目標求職者履歷產生履歷修改建議之系統及方法
CN116049479B (zh) 歌单生成方法、介质、装置和计算设备
CN107544978A (zh) 一种基于内容的视频检索方法
CN116955664B (zh) 资源处理方法、装置、电子设备及存储介质
JP7627648B2 (ja) 対話管理装置、対話管理システム及び対話管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination