CN118153564A - 剧本处理方法、装置、计算机设备、存储介质和程序产品 - Google Patents
剧本处理方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN118153564A CN118153564A CN202410313484.9A CN202410313484A CN118153564A CN 118153564 A CN118153564 A CN 118153564A CN 202410313484 A CN202410313484 A CN 202410313484A CN 118153564 A CN118153564 A CN 118153564A
- Authority
- CN
- China
- Prior art keywords
- event
- text
- scenario
- sample
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012512 characterization method Methods 0.000 claims abstract description 312
- 238000012549 training Methods 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 102
- 230000002776 aggregation Effects 0.000 claims abstract description 78
- 238000004220 aggregation Methods 0.000 claims abstract description 78
- 238000013515 script Methods 0.000 claims abstract description 54
- 238000004590 computer program Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims description 56
- 238000000605 extraction Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 44
- 230000003068 static effect Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 15
- 230000008451 emotion Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 235000021167 banquet Nutrition 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本申请涉及一种剧本处理方法、装置、计算机设备、存储介质和计算机程序产品。应用于人工智能领域,方法包括:获取目标剧本所包含的场次文本,按照事件要素对场次文本进行文本重构,得到每一场次文本各自对应的事件描述文本;通过场次事件表征模型分别提取每一事件描述文本的事件表征,场次事件表征模型通过三元样本组训练得到,三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;基于每一事件描述文本各自的事件表征,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;关联每一场次集合各自所表征的事件,得到目标剧本的剧情内容。采用本方法能够有效提高对目标剧本的剧情理解的有效性和完整性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种剧本处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着社会的发展,制片公司根据优秀的影视剧本拍摄影视作品的需求越来越高,由于制片公司每天会收到很多影视剧剧本,对于几十集、共几十万字的剧本,快速理解每个剧本每集的内容,将有助于制片公司快速评价剧本的价值。而在剧本理解层面,重点是需要理解剧本中发生的事件。
在现有的自动化剧情理解的实现方式中,存在剧情理解输出中事件过多、过琐碎的问题,难以保证剧情事件的有效性与完整性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够从事件维度提高对剧本理解的有效性和完整性的剧本处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种剧本处理方法。所述方法包括:
获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
第二方面,本申请还提供了一种剧本处理装置。所述装置包括:
文本重构模块,用于获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
事件表征提取模块,用于通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
场次聚合模块,用于基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
剧情分析模块,用于关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
上述剧本处理方法、装置、计算机设备、存储介质和计算机程序产品,通过按照事件要素对目标剧本的场次文本进行文本重构,得到事件描述文本,实现了对剧本中的场次文本按事件描述方式的表达,为后续实现相同事件中各场次的聚合奠定了基础,通过三元样本组训练得到的场次事件表征模型分别提取每一事件描述文本的事件表征,利用了三元样本组可以组成事件标识相同的正样本对和事件标识不同的负样本的特点进行模型训练,有效提高场次事件表征模型对相同事件的事件表征和不同事件的事件表征的识别度,使得场次事件表征模型能够输出更准确判别所属事件的事件表征,再基于事件表征来对事件描述文本对应的场次进行聚合处理,得到属于同一事件的场次集合,从而按照场次集合表征的事件,按事件维度梳理得到目标剧本的剧情内容,能够有效提高对目标剧本的剧情理解的有效性和完整性。
附图说明
图1为一个实施例中剧本处理方法的应用环境图;
图2为一个实施例中剧本处理方法的流程示意图;
图3为一个实施例中输出的剧情事件看点的示意图;
图4为一个实施例中输出的剧情事件概述的示意图;
图5为一个实施例中的场次文本的示意图;
图6为另一个实施例中场次文本提取的事件要素维度的内容文本的示意图;
图7为一个实施例中剧本处理方法的流程示意图;
图8为一个实施例中BERT模块的微调示例的示意图;
图9为一个实施例中场次事件表征模型的BERT模块的结构示意图;
图10为一个实施例中BERT模块中TRM的结构示意图;
图11为一个实施例中场次事件表征模型的训练过程示意图;
图12为一个实施例中通过模型识别无意义场景的训练过程的示意图;
图13为一个实施例中事件描述文本的示意图;
图14为一个实施例中基于事件描述文本的事件表征进行聚合的示意图;
图15为一个实施例中词典映射的原理示意图;
图16为一个实施例中剧本处理装置的结构框图;
图17为一个实施例中计算机设备的内部结构图;
图18为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案涉及人工智能的自然语言处理等技术,具体通过如下实施例进行说明:
本申请实施例提供的剧本处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。该通信网络可以是有线网络或无线网络。因此,终端102和服务器104可以通过有线或无线通信方式进行直接或间接的连接。比如,终端102可以通过无线接入点与服务器104间接地连接,或者终端102通过因特网与服务器104直接地连接,本申请在此不做限制。
其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。本申请实施例可应用于剧本剧情概述或剧本人设分析等场景。
终端102上可以安装有与剧本处理相关的客户端,该客户端可以包括需要单独安装的应用程序,也可以包括不需要下载即可使用的小程序或网页等。服务器104则是与客户端相对应的后台服务器,或者是专门用于进行剧本处理的服务器。进一步地,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以单独设置,可以集成在服务器104上,也可以放在云上或其他服务器上。
需要说明的是,本申请实施例中的剧本处理方法,可以由终端102或服务器104单独执行,也可以由终端102和服务器104共同执行。服务器104可以接收从客户端102上传的目标剧本,从目标剧本中获取该剧本所包含的场次文本,然后按照事件要素对场次文本进行文本重构,得到每一场次文本各自对应的事件描述文本,再通过场次事件表征模型分别提取每一事件描述文本的事件表征,基于每一事件描述文本各自的事件表征,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合,最后关联每一场次集合各自所表征的事件对目标剧本进行剧情分析,得到目标剧本的剧情内容。其中,场次事件表征模型通过三元样本组训练得到,三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对。
在一个实施例中,如图2所示,提供了一种剧本处理方法,该方法可以由计算机设备执行,该计算机设备可以是图1所示的终端或服务器,在本实施例中,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取目标剧本所包含的场次文本,按照事件要素对场次文本进行文本重构,得到每一场次文本各自对应的事件描述文本。
其中,剧本是由编剧整理好的方便演员进行演绎的、具有特定格式的文档,一般来说,剧本主要以时间、地点、人物、以及人物间对话组成,用于后续进行拍摄指导。目标剧本是指定的某个待分析的具体剧本。可以理解,目标剧本的指定方式可以是多样的,例如目标剧本可以是用户从多个候选的剧本中手动选中的一个剧本,也可以计算机设备通过响应特定的触发事件,自动将该触发事件指示的剧本作为目标剧本,例如服务器响应终端的剧本上传事件,将从终端接收的剧本自动作为目标剧本,以进行后续的分析处理。
针对一个剧本,编剧一般会按照场次对剧情进行拆分来编写剧本。具体来说,剧本可以直接由若干个场次文本构成,例如,剧本A包括300个场次。剧本也可以由若干个分集构成,每一个分集包括若干个场次,例如剧本B包括40分集,每一分集均包括一定数量的场次。不同分集所包含的场次数量可以是相同的,也可以是不同的。每一分集的场次数量,具体可以根据该集所要展示的剧情内容的复杂程度来确定,例如场景切换多的分集包含的场次数量,相较于场景切换少的分集的数量可能会更少。
针对每一场次,剧本中均有相应的场次文本与之对应,场次文本用于指导拍摄该场次的剧情内容。场次文本的内容需要包含时间、地点、人物、以及人物间对话,但以上内容在场次文本中的体现方式可能存在差异,例如有的剧本会在每一场次的场次文本开头部分写明时间、地点、人物,而有的剧本以上内容中的一部分是包含在正文内容中的,例如,需要通过人物对话部分的内容,来确定该场次所包含的人物等。
每一场次文本,均描述的是一个事件或是完整事件中的一部分事件,其中,场次文本包含的时间、地点、人物、以及人物间对话所表征的具体事件,为场次文本的事件要素。为了提高场次文本所表征具体事件的格式一致性,对于每一场次文本,均可以按照事件要素进行文本重构,得到场次文本的事件描述文本。
文本重构,可以是按照事件要素对场次文本重新进行整理后,生成新的文本的过程。通过文本重构得到事件描述文本,可以使得不同的场次文本具有相同格式和内容描述维度,进一步提高场次文本的可读性和不同场次文本之间的可比性,便于后续对事件描述文本进行事件表征的提取和是否属于同一事件的分析。
具体来说,在一些实施例中,文本重构可以先按照事件要素,从场次文本中提取出各个事件要素维度的文本内容,然后按照设定的顺序,对各个事件要素维度对应的文本内容进行拼接,得到事件描述文本。
在其中一个实施例中,各个事件要素维度的文本内容可以直接从场次文本中摘录,也可以通过大语言模型,按照事件要素维度对场次文本进行语义分析得到。例如针对场次文本A,时间、地点、人物可以直接从场次文本A中摘录,事件描述内容可以通过大语言模型,对场次文本A中的人物间对话内容进行分析得到,以使得事件描述内容能够更符合通用的事件描述习惯。
在本实施例中,通过对剧本这类具有特定表达方式的场次文本,按照时间、地点、人物、事件等事件要素进行文本重构,以使得重构得到的事件描述文本相较于场次文本具有更强的可读性。
步骤204,通过场次事件表征模型分别提取每一事件描述文本的事件表征,场次事件表征模型通过三元样本组训练得到,三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对。
其中,场次事件表征模型是用于针对事件描述文本进行事件表征提取,以确定事件描述文本所对应场次所属事件的模型,场次事件表征模型具体可以通过预训练的大语言模型以及在大语言模型基础上增加的事件表征提取模块来实现,其中,通过对预训练的大语言模型进行微调能够准确理解剧本语义,事件表征提取模块能够基于训练实现事件表征的有效提取。
具体地,场次事件表征模型是通过用于构成正负样本对的三元样本组进行训练得到的。三元样本组包括三个具有事件标识的样本,其中两个事件标识相同的样本构成正样本对,基于正样本对中的任一样本,确定与该样本具有不同事件标识的负样本,构成包含该样本和对应负样本的负样本对,通过上述三个样本可以构成三元样本组。
三元样本组中的每一个样本均具有相应的事件标识,事件标识用于表征样本所属的事件。属于相同事件的样本具有相同的事件标识,属于不同事件的样本则具有不同的事件标识。事件标识可以通过对样本剧本中的各个场次进行事件标注得到。
例如,在事件标注过程中,对样本剧本中的每一场次,可以按照以下维度进行信息整理和事件标注:剧本名,分集id,场次id,事件id,事件描述文本。其中,其中事件id为1、2、3等代表不同事件的代号,分集id指1、2、3集等,场次id指1、2、3、4等某集剧本里的不同发生顺序的场次代号。当某场次无事件时,如用来转场的城市空镜,没有人物出现,事件id可以标记为特定字符,如标记为-1,表示无事件。
其中,三元样本组中的正样本对,可以是从样本剧本中具有事件id的场次中选择一部分作为目标样本。再针对每一个目标样本,确定与该目标样本具有相同事件id 的另一个样本来构成的正样本对,然后确定与该目标样本具有不同事件id 的另一个样本来构成的负样本对。
在本实施例中,通过三元样本组对场次事件表征模型进行训练,能够利用三元样本组,充分挖掘属于相同事件的正样本对之间的相似性,以及属于不同事件的负样本对之间的差异性,从而使得充分训练得到的场次事件表征模型,能够实现对于事件描述文本的事件表征的准确表达,有利于提高基于事件表达来提高场次聚类的准确性,有效确定剧本中属于同一事件的各个场次。
步骤206,基于每一事件描述文本各自的事件表征,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合。
通过事件表征提取模块,分别对每一事件描述文本进行事件表征提取后,可以得到每一事件描述文本各自的事件表征。事件表征可以表达其对应场次所属的事件,因此,基于事件表征可以对事件描述文本对应的场次进行聚合处理,得到属于同一事件的场次构成的场次集合。
其中,场次的聚合处理过程包括,将事件表征所属事件相同的场次归集到一起,得到一个场次集合,该场次集合中的各场次表征同一个事件。
对于将剧本直接划分为多个场次的情况,可以直接对全部的场次一起进行聚合,或是按照场次发生顺序,先选择前N个场次进行聚合,然后从第N+1个场次开始,从前往后依次将未确定所属场次集合的场次,与已有的场次集合进行聚合,直至确定最后一个场次所属的场次集合后,得到该剧本的全部场次集合。
对于将剧本先划分为多个分集,再将每一分集划分为多个场次的情况,可以先对第一分集进行场次聚合,得到第一分集中包含的各事件对应的场次集合,然后从第二集开始,依次确定每一场次是属于前一分集所包含的某个场次集合,还是属于新的事件,即新的场次集合,直到判断到最后一个分集结束,得到该剧本的全部场次集合。
在本实施例中,通过事件表征对事件描述文本对应的场次进行聚合处理,能够充分利用场次事件表征模型所输出的能够准确判断场次所属事件的事件表征,构建属于同一事件的场次集合,提高了针对相同事件的不同场次的有效识别,特别是针对非连续场次表征同一事件的场景,相较于传统技术,能够有效提高场次集合的划分准确性。
步骤208,关联每一场次集合各自所表征的事件,得到目标剧本的剧情内容。
其中,剧情内容是指能够清楚表达剧本的剧情,使得剧本具有较好的可读性的输出文本。剧情内容的输出方式可以是多种多样的,例如图3所示,可以分事件进行剧情简单描述,以“看点”的文本输出形式,用一句话描述一个具体的事件的核心内容。再例如图4所示,可以分事件进行剧情详细描述,以“一段话”的文本输出方式,用一段话描述一个具体的事件的剧情概要,以段为分割,可以让剧本具有更清晰的剧情描述,图4中通过2段话来表述剧本中的两个事件。
在一个具体的应用中,可以通过不同的剧情解析需求,对每一场次集合各自所表征的事件进行梳理,输出不同样式的剧情内容描述文本。
比如,在一些具体的应用场景中,剧情解析需求可以预先进行配置,在应用过程中直接基于每一场次集合各自所表征的事件,按照事件关联关系进行剧情分析,输出符合剧情解析需求的剧情内容。
在另一些具体的应用场景中,剧情解析需求可以针对选定的目标剧本实时进行配置,在应用过程中通过对目标剧本的分析,得到目标剧本中每一场次集合各自所表征的事件,然后按照事件关联关系进行剧情分析,输出符合剧情解析需求的剧情内容。
在其中一个实施例中,计算机设备获取针对目标剧本的剧情解析需求,在剧情解析需求为事件简述的情况下,按照每一场次集合各自所表征的事件的关联关系,依次提取目标剧本中每一事件对应的事件看点,在剧情解析需求为事件详述的情况下,按照每一场次集合各自所表征的事件的关联关系,依次生成目标剧本中每一事件对应的剧情概要。
在其中一个实施例中,计算机设备还可以针对每一场次集合各自所表征的事件,进行主角人物识别,得到主角识别结果,计算机设备通过响应于针对目标剧本的主角情绪分析请求,按照每一事件的主角识别结果,对目标剧本中的主角人物进行情绪变化分析,得到主角情绪变化趋势分析结果,此外,计算机设备还可以响应于针对目标剧本的主角人设分析请求,基于对每一事件的剧本事件理解,按照各事件之间的关联关系解析目标剧本中的主角人设变化,得到人设发展分析结果。
上述剧本处理方法,通过按照事件要素对目标剧本的场次文本进行文本重构,得到事件描述文本,实现了对剧本中的场次文本按事件描述方式的表达,为后续实现相同事件中各场次的聚合奠定了基础,通过三元样本组训练得到的场次事件表征模型分别提取每一事件描述文本的事件表征,利用了三元样本组可以组成事件标识相同的正样本对和事件标识不同的负样本的特点进行模型训练,有效提高场次事件表征模型对相同事件的事件表征和不同事件的事件表征的识别度,使得场次事件表征模型能够输出更准确判别所属事件的事件表征,再基于事件表征来对事件描述文本对应的场次进行聚合处理,得到属于同一事件的场次集合,从而按照场次集合表征的事件,按事件维度梳理得到目标剧本的剧情内容,能够有效提高对目标剧本的剧情理解的有效性和完整性。
在具体的应用中,实现场次文本的重构方式有多种,例如通过内容重组、格式优化等方式均可以实现文本的重构。为进一步提高重构的事件描述文本的可读性和事件表征提取的有效性,以下实施例提供了一种场次文本的重构方式。具体重构过程如下:
在一些实施例中,按照事件要素对场次文本进行文本重构,得到每一场次文本各自对应的事件描述文本,包括:
针对场次文本,按预设的事件要素维度进行内容提取,得到每一事件要素维度匹配的文本内容;对同一场次文本中提取出的各文本内容进行内容拼接,得到场次文本对应的事件描述文本。
其中,预设的事件要素维度是根据剧本的事件内容特点来确定的,例如预设的事件要素维度可以包括时间、地点、人物、具体事件内容四个维度。针对不同的事件要素维度,可以采用相应的内容提取方式进行文本内容提取。
例如,针对时间、地点、人物可以通过关键字识别直接从场次文本中提取,再例如,针对具体事件内容可以通过对话文本转换为陈述文本的方式进行文本二次加工实现内容的提取。针对不同版式或是不同风格的剧本,可以配置相应的内容提取方式进行各事件要素维度的内容提取。
具体地,计算机设备可以基于剧本的内容样式,从预先配置的内容提取方式中,自动匹配与之对应的方式进行预设的事件要素维度的内容提取,得到的结果如图5所示为某剧本的一部分场次文本的示例,在场次文本中,包含了景时人事四个事件要素维度的内容。进一步的,如图6所示,通过对四个事件要素维度的内容的分析,可以确定第一集的场次1-4表示的是同一事件,作为场次事件表征模型的训练样本,可以将场次1-4标记上相同的事件标识。
在本实施例中,通过按照预设的事件要素维度,可以从场次文本中提取出每一个事件要素维度对应的文本内容,通过对场次文本进行内容提取的处理方式,能够有针对性地获取每一事件要素维度所需的内容,确保了事件描述文本中每一部分的内容的有效性,通过对按事件要素维度提取出的各文本内容进行内容拼接,一方面能够从事件要素维度上保持了事件描述文本的内容组成部分相同,另一方面能够通过拼接处理的方式实现不同场次的事件描述文本的格式统一,从而提高事件描述文本的准确性和有效性。
进一步地,为了提高每一事件要素维度的文本内容的提取效率,本申请通过以下实施例,提供一种针对场次文本进行内容提取的方式,以对不同样式的场次文本采样不同的方式进行内容提取。
在一些实施例中,针对场次文本,按预设的事件要素维度进行内容提取,得到每一事件要素维度的文本内容,包括:
按照预设的事件要素维度,对场次文本进行要素特征字符识别;在每一事件要素维度均存在要素特征字符的情况下,基于要素特征词,从场次文本中提取每一事件要素维度的文本内容;在至少一个事件要素维度不存在要素特征字符的情况下,基于大语言模型,按事件要素维度对场次文本进行文本分析,得到每一事件要素维度的文本内容。
其中,要素特征字符是指用于标识文本内容中各个事件要素维度对应内容的标识性字符。由于剧本中时间地点人物事情是需要提供的特定要素,以方便进行剧情演绎,因此,部分剧本中会在开头部分直接记录时间地点人物,并通过景、时、人等关键字、人物对话起始标记等标识性字符来突出显示。
针对这一类剧本的场次文本,可以通过对场次文本进行要素特征字符识别,确定每一事件要素维度各自对应的要素特征字符,然后针对每一事件要素维度,通过定位对应的要素特征字符在场次文本中的位置,确定该事件要素维度对应的内容范围,再从该内容范围的文字内容中,提取出该事件要素维度的文本内容。在本实施例中,通过要素特征字符提取文本内容,具有提取效率高且结果准确的优点。
由于行业内对于剧本的格式规范并没有要求要基于完全一样的模板来编写,因此实际业务中,仍然存在部分未通要素特征字符来突出标记事件要素的情况的剧本,或是仅标记了其中一部分事件要素的剧本,例如未在场次文本开头标记时间地点人物的剧本,或是仅表示了时间地点未标记人物的剧本等。
针对这一类剧本,可以借助大语言模型,按事件要素维度对场次文本进行文本分析,直接从场次文本中提取出各个事件要素维度的文本内容。其中,大语言模型可以是能够直接基于指令进行文本分析的预训练模型,如GPT(Generative Pre-TrainedTransformer,生成式预训练Transformer模型)等。
在本实施例中,对于要素特征字符不全的情况,通过大语言模型来提取文本内容,一方面利用大语言模型能够有效避免额外增加应用成本,另一方面,能够利用大语言模型的语言处理优势,提取各事件要素维度的文本内容,弥补场次文本中要素标识字符不全的缺陷,得到全面的事件要素内容文本。
在本实施例中,针对每一事件要素维度均存在要素特征字符、或是至少一个事件要素维度不存在要素特征字符等不同样式的剧本,采用不同的文本内容提取方式进行文本提取处理,从文本内容提取效率和全面性两方面考虑,能够确保不同样式的剧本都能提取到完整的事件要素内容文本。
进一步地,下面以每一事件要素维度均存在要素特征字符的场景为例,进一步说明事件要素维度的文本内容的提取方式。
在一些实施例中,要素特征字符,包括与时间、地点、人物维度各自匹配的特征词、以及与事件维度匹配的剧情起始字符。按照预设的事件要素维度,对场次文本进行要素特征字符识别,包括:
从场次文本的场头内容中,识别时间维度、地点维度、人物维度各自匹配的特征词;从场次文本的剧情内容中,识别事件维度匹配的剧情起始字符。
其中,如图5所示,特征词是指能准确表示具体的事件要素维度的文字、或是文字与符号的组合,例如“时:”“景:”“人:”,可以分别表示时间、地点、人物的事件要素维度。剧情起始字符是指剧本中用于表示具体剧情内容的标识符,例如剧本中每一段人物对话内容开始位置的“△”标识,基于该“△”标识,可以准确识别场次文本中的人物对话内容。
在一个具体的应用中,为了获取到更有效的事件表征,关于需要从场次文本中抽取事件有关的四要素:时间地点人物事情。
针对时间地点人物这三个事件要素维度,如果剧本的版式是具有“景时人”对应的场头内容,时间地点人物这三个事件要素维度的内容可以直接从场头内容中获取。对于没有“景时人”的场头内容的剧本,需要从场次文本的描述内容中抽取时间地点人物这三个事件要素维度。
具体的抽取方法是:采用预训练的大语言模型进行抽取,如提问:“请问以下剧本事件发生的时间、地点、人物分别是什么,以json格式返回,返回样式如下:{‘时间’:‘夜’,‘地点’:‘酒店’,‘人物’:‘小文’},剧本为:xxxx(具体内容为A剧本第1集第5场次的场次文本)”。基于大语言模型的返回结果,即可得到A剧本第1集第5场次的场次文本中时间地点人物这三个事件要素维度的内容。
对于场次文本的具体事件描述,由于剧本没有预先提供,并且在场次文本中是以人物对话等形式描述的。但在整体剧本剧情理解应用系统中,会预先产生每一场次发生的剧情,故可以借助场次剧情作为事件描述,从而在整体应用系统中,不额外增加应用成本。具体地,整体剧本剧情理解应用系统中产生场次剧情,可以采用预训练的大语言模型进行抽取得到,如提问:“以下为某电视剧剧本的第2集第2场次的场次文本,请概述该场次发生的剧情,剧本为:xxxx(具体内容为某电视剧剧本的第2集第2场次的场次文本)” 基于大语言模型的返回结果,即可得到某电视剧剧本的第2集第2场次的场次文本中事件描述这一事件要素维度的内容。
在本实施例中,通过识别特定的要素特征字符,能够准确识别出场次文本中与每一事件要素维度对应的原始文本内容,能够便于快速准确地提取出各个事件要素维度的文本内容。
对于事件表征的提取,依赖于场次事件表征模型来实现,下面介绍场次事件表征模型的训练过程,具体包括:
针对样本剧本中至少一部分场次的事件描述样本,确定三元样本组;基于三元样本组,对初始的场次事件表征模型进行训练,得到场次事件表征模型。
其中,样本剧本是指用于进行模型训练的剧本,事件描述样本是对样本剧本各个场次文本按事件要素进行文本重构得到的事件描述文本。事件描述样本携带有对应场次所属事件的事件标识。三元样本组包括事件描述样本、事件标识与事件描述样本相同的正样本、以及事件标识与事件描述样本不同的负样本,三元样本组中的该正样本与该事件描述样本构成正样本对,三元样本组中的该负样本与该事件描述样本构成负样本对。
用于构建三元样本组的事件描述样本,可以是样本剧本中的全量场次文本对应的事件描述样本,也可以样本剧本中的部分场次文本对应的事件描述样本,例如,部分场次文本可以是剔除样本剧本中无意义事件对应的场次文本后得到的剩余场次文本。
在本实施例中,通过选定的事件描述样本,以该事件描述样本为基准,分别确定事件标识与事件描述样本相同的正样本、以及事件标识与事件描述样本不同的负样本,来构建包含正样本对和负样本对的三元样本组,利用三元样本组来进行初始的场次事件表征模型的训练,能够使得训练得到的场次事件表征模型能够充分挖掘属于相同事件的正样本对之间的相似性,以及属于不同事件的负样本对之间的差异性,从而使得充分训练所得到的场次事件表征模型,能够提高用于表征场次所属事件的事件表征的表达准确性。
每一个选定的事件描述样本,作为三元样本组的组成部分之一,还需要确定与选定的事件描述样本对应的正样本,作为三元样本组中的一个组成部分,来构建正样本对。在一些实施例中,正样本的获取方式包括:
在事件描述样本存在关联样本的情况下,将关联样本确定为事件描述样本的正样本。
其中,关联样本,与事件描述样本所属事件相同。一般情况下,在事件描述样本所属事件包含2个及2个以上的场次时,该事件描述样本会存在与之所属事件相同的关联样本。计算机设备可以从候选事件描述样本中,选择一个与事件描述样本所属事件相同的作为关联样本。候选事件描述样本,是基于样本剧本的场次文本重构得到的事件描述样本。
具体的,在一个具体的应用中,计算机设备可以将需要确定正样本的事件描述样本作为目标样本,从样本剧本中每一场次文本分别重构得到的事件描述样本集合中,选中一个与目标样本具有相同事件标识的其他事件描述样本,作为该目标样本的关联样本。
在另一个具体的应用中,计算机设备可以将需要确定正样本的事件描述样本作为目标样本,确定该目标样本所属的目标事件,然后从目标事件所包含的其他场次中选中一个目标场次,再将基于该目标场次的场次文本重构得到的事件描述样本,作为该目标样本的关联样本。
在另一些实施例中,对于事件描述样本所属事件仅包含1个场次的情况,计算机设备无法直接获取与该事件描述样本具有相同事件标识的正样本,因此,计算机设备可以基于该事件描述样本,构造一个不完全相同但相似度比较高的正样本。具体的构建方式包括:
在事件描述样本不存在关联样本的情况下,对事件描述样本的部分内容按照设定概率进行随机替换,得到事件描述样本的正样本。
其中,事件描述样本的部分内容可以是设定比例的内容,例如,对场次文本描述随机抽取10%~30%文本内容,以50%(或其他概率值)的概率进行随机替换成任意其他文字,例如100个字中随机选择了30个字,对于选择的30个字,有一半的概率会替换为其他文字,剩下一半概率不替换。通过对部分内容按照设定概率进行随机替换,能够得到内容不完全相同但相似度比较高的正样本。
通过以上方式,对于包含场次仅有1个或是大于1个的情况,均能得到相应的正样本来构建正样本对,进而构建相应的三元样本组,能够提高三元样本组的事件覆盖率,提升模型训练结果的有效性。
在一些实施例中,每一个选定的事件描述样本,还需要确定对应的负样本,作为三元样本组中的一个组成部分,来构建负样本对。负样本选择越好模型的事件表征效果越好,不同于常规随机抽取负样本的方式,本申请对每个正样本采用静态负样本+动态负样本+默认负样本的方式产生负样本对,以确保负样本中同时包含难样本和容易样本,提升模型的训练效果。
在其中一些实施例中,静态负样本的获取方式包括:
在样本剧本为多集剧本的情况下,基于事件描述样本在样本剧本中所属的目标分集,以与目标分集的集数差小于集数差阈值的上下集为筛选区间,筛选出与事件描述样本的事件标识不同的事件描述样本,来作为静态负样本。
其中,多集剧本是指将剧本划分为多个分集,再将每个分集划分为多个场次的剧本。每一事件描述样本对应一个场次,在多集剧本中,每一场次均属于其中一个分集,计算机设备可以基于事件描述样本对应场次,确定在样本剧本中所属的目标分集。与目标分集的集数差的集数差阈值,用于表征筛选区间的范围。
假设目标分集为第5集,以集数差阈值为2为例,则上下集为第4集和第6集,以集数差阈值为3为例,则上下集为第3-4集和第6-7集。在一些实施例中,考虑到前后集事件的出现相似人物的概率更高、且前后事件可能存在承接关系,如战争准备、战争进行中、庆功宴属于3个事件,此时人物、场景、事件描述中的某些字眼更可能相似,容易出现易混淆的负样本,因此可以将集数差阈值设为2,从目标分集的相邻分集中抽取负样本,得到关联性强的难样本。
在其中一些实施例中,默认负样本的获取方式包括:
在场次事件表征模型的每轮训练过程中,从每轮的训练样本中,随机抽取出与事件描述样本的事件标识不同的训练样本,来作为默认负样本。
其中,场次事件表征模型的训练是分多轮实现的,全部的训练样本可以分为多个批次,每一轮次对应一批训练样本。在模型的每轮训练过程中,计算机设备可以从这一批次的训练样本中,随机抽取出与目标样本具有不同事件id的样本,作为默认负样本,默认负样本属于与目标样本区别比较大的容易样本。
在其中一些实施例中,动态负样本的获取方式包括:
在场次事件表征模型的每轮训练结束后,基于训练得到的场次事件表征模型对全局事件描述样本进行事件表征提取,并从全局事件描述样本中随机选取出部分事件表征不同于目标事件表征的动态负样本。
其中,目标事件表征为事件描述样本所属事件的事件表征。以事件描述样本所属事件为目标事件为例,该目标事件的事件表征,可以先确定属于该目标事件的各个场次,然后对该各个场次各自对应事件描述文本的事件表征进行均值计算得到。
全局事件描述样本,包括样本剧本的各场次的事件描述文本。通过新一轮次的训练,场次事件表征模型完成了相应的参数更新,具有不同的事件表征提取能力,基于训练得到的场次事件表征模型,对全局事件描述样本进行事件表征提取,是对该轮次训练后的场次事件表征模型的事件表征提取能力的检验。通过提取全局事件描述样本的事件表征,然后从全局事件描述样本中随机选取出部分事件表征不同于目标事件表征事件描述样本,来作为动态负样本,动态负样本属于与目标样本区别比较小的难样本,能够有效对模型的训练过程进行定向的参数优化。
在其中一个实施例中,还可以通过各类负样本的数量控制,实现难易样本的均衡分布。具体地,静态负样本与动态负样本均为难样本,默认样本为容易样本,以静态负样本与动态负样本的数量之和为第一数量,默认负样本的数量为第二数量为例,计算机设备进行样本抽取的过程中,可以限制第一数量与第二数量的差额小于设定阈值,即第一数量与第二数量保持基本相同,从而实现难易样本的均衡分布。
在一个具体的应用中,静态负样本的提取方式,可以是在离线阶段,从正样本所在分集的前后共3集中,确定与正样本所属事件不同的其他事件,然后从其他事件包含的场次中,随机抽取k1(如k1=3)个场次作为负样本,实现从相邻分集的样本中抽取静态负样本。
默认负样本的提取方式是:训练时从每个轮次的训练样本中,随机抽取k2(如k2=6)个不同事件id的样本作为负样本。
动态负样本的提取方式是:在一个轮次的模型训练完成后,用已经训练好的模型对全局所有场次的样本进行事件表征抽取,计算每个事件下所有样本的平均表征,并从全局样本的事件表征中抽取具有不同事件id的其他10个事件id,从这10个事件id的场次中随机抽取k3(如k3=3)个样本作为负样本。
在三类负样本的抽取过程中,可以控制k1、k2、k3的关系大致满足:k1+k3=k2,即保证难样本和容易样本的均衡,上述静态负样本可以在训练之前产生,默认负样本和动态负样本可以在模型训练中一边训练一边产生。
在一些实施例中,如图7所示,场次事件表征模型可以应用在剧本事件的剧情分析场景,具体的,计算机设备通过获取某集的剧本,对剧本中的场次文本按事件要素进行事件信息的抽取后,形成事件描述文本,然后利用场次事件表征模型对各个场次进行事件表征的提取,然后基于提取的事件表征进行场次事件的聚合,从而得到分集事件以及全剧维度事件,最后对事件剧本进行更多需求维度的分析。其中,场次事件表征模型作为进行事件表征提取的主要处理工具,下面结合场次事件表征模型的结构,介绍利用三元样本组来训练场次事件表征模型的过程:
场次事件表征模型包括预训练的文本基础理解模块和事件表征嵌入模块;事件表征嵌入模块的初始化参数,与文本基础理解模块中最后一层的预训练参数相同。
场次事件表征模型的结构主要包括两个模块:分别是文本理解基础模块、事件表征嵌入模块。其中,文本理解基础模块以Chinese-BERT-wwm模型为基础。BERT为一个开源语言模型,采用较大规模的语言数据进行预训练,可以支持多种不同目标的语言理解任务在此基础上进行微调的产生文本学习任务结果。如图8为BERT针对语言任务采用BERT网络结构进行微调的示例,其中,CLS为语句的类别,在一些实施例中,由于仅需要输入特定信息输出事件表征,任务单一,故TOK1~N可以设置为空。Sep用于区分任务提问和具体提问的内容。Paragraph为需要回答问题的回答语段。
具体来说,BERT的具体结构如图9所示,包含从输入文本到产生E的向量嵌入(embedding)处理,BERT以多个编码器层(transformer encoder layer)组成的模型核心,每个编码器层由多个编码器组(transformer block,又称Trm)组成,以T层为目标分类任务输出。为了便于描述,图9仅示出2层编码器层,在一些实际的应用中,BERT编码器层的层数L=12,隐层维度H=768,多头注意力self-attention的头数A=12,图10图9中Trm的具体结构,其中BERT的Trm可以是编码器,其中Multi-head attention为selfattention自注意力模块,FeedForward为中间层模块, Add & Norm表示加和操作和层的归一化。
多头注意力(Multi-head attention)的具体结构中add & Norm层的操作为先对上一层的输入(如FeedForward层或Multi-head attention层)与本层输入求和再算层归一化的过程,具体可以表示为:hidden_states = self.LayerNorm(hidden_states + input_tensor) 。
其中feedforward模块由全连层+激活层组成。
其中,multi-head-attention模块作为通用工具已经集成到BERT中,可以直接调用。以paddle库的调用为例,调用方法为:
MultiHeadAttention(embed_dim=config.hidden_size, num_heads=config.num_attention_heads, dropout=config.attention_probs_dropout_prob)
进一步的,基于三元样本组,对初始的场次事件表征模型进行训练,得到场次事件表征模型,包括:
基于中文词典对三元样本组中的每一样本进行字典映射,得到每一样本各自对应的嵌入向量;基于携带有事件标识的嵌入向量,对初始的场次事件表征模型中文本基础理解模块和事件表征嵌入模块进行训练,得到输出的事件表征;基于事件表征对应的模型损失,对初始的场次事件表征模型进行迭代训练,直至满足训练停止条件,得到场次事件表征模型。
其中,事件表征嵌入模块的初始化参数,与文本基础理解模块中最后一层的预训练参数相同。
具体地,场次事件表征模型的输入为场次文本的事件四要素,针对场次文本,按提取出的时间、地点、人物、事情的顺序首尾进行文本内容拼接,把拼接后的事件描述文本作为句子,将句子输入到中文词典进行字典映射。字典映射可以理解为,对每个词,都在字典空间有一个或多个嵌入向量(称为字典embedding)与之对应。其中,中文词典是基于中文表达的统计学习产生的,在模型训练中直接通过中文词典的字典映射产生句子的字典embedding,不需要再对字典embedding过程的相关参数进行训练。
具体来说,如图11所示,件描述文本对应的句子作为输入,映射到字典embedding的过程包括:先采用词典vocab.txt,把句子中的每个词映射到为对应的字典id(称为tokenid)。为了能有规范的模型输入,使得可以响应长度不同的句子输入,采用token=0作为补全到指定数量个token(如77个),然后把该字典id的embedding作为该词embedding,得到整个句子的嵌入向量embedding。
在一个具体的应用中,如图12所示,为场次事件表征模型的训练过程示意图。首先获取样本剧本的场次文本,对场次文本按照事件要素进行文本重构,得到与场次文本对应的事件描述样本,然后对按照场次所属的事件,对事件描述样本进行事件标识的标注,从而根据事件标识确定正负样本对来构建三元组样本,根据三元组样本进行模型的训练。在训练过程中,先基于中文词典进行字典映射,得到输入文本的嵌入向量,然后基于文本基础理解模块进行文本理解,最后由事件表征嵌入模块输出事件描述样本对应的事件表征,基于三元组之间的事件表征之间的距离,计算出模型损失对模型进行迭代训练。
具体来说,事件表征嵌入模块为本在常规BERT模型上新增的模块,由N层Trm组成。对于本模型中的文本理解基础模块和事件表征嵌入模块,考虑到基础模块有预训练好的参数,而新增加Trm的参数没有训练,为了提升模型收敛性能,采用文本基础理解模块的最后1层Trm预训练参数作为事件表征嵌入模块的Trm参数的初始化参数,其中,事件表征嵌入模块的 Trm结构与文本基础理解模块中最后一层Trm结构相同,事件表征嵌入模块的输出结果可以理解为输入句子的事件表征。
在本实施例中,通过中文词典对输入的三元组样本进行字典映射,得到嵌入向量来对进行模型训练,一方面能够实现输入文本的嵌入向量的快速生成,提高出输入文本的向量化处理速度,加快模型训练过程,另一方面,通过事件表征嵌入模块与文本基础理解模块中预训练参数的统一,能够使得预训练的文本基础理解模块和未训练的事件表征嵌入模块实现有效拼接,提高模型的收敛性能。
在一个具体的应用中,场次事件表征模型的训练,包括参数初始化、设置学习参数、学习过程和迭代更新几个阶段,具体地:
参数初始化过程:对文本基础理解模块采用Chinese-BERT-wwm预训练模型,采用文本基础理解模块的预训练参数,对事件表征嵌入模块以及分类头进行参数初始化。
设置学习参数过程:对文本基础理解模块参数采用lr=0.0005学习率,采用sgd梯度更新方法训练。对事件表征嵌入模块的任务采用0.001学习率,采用sgd梯度更新方法训练,学习率每10个epoch下降为原来的0.1倍。
学习过程:对全量正样本对(共N条数据),每X条数据作为一个批次,共N/X个批次,每完成N/X个批次表示完成一轮(epoch)迭代;对X个正样本对,产生静态三元组数据,并基于本轮的X个正样本对中产生默认负样本组成默认三元组,再根据模型对全量数据的表征效果产生动态三元组,组合3套三元组样本数据,得到最终本批次的训练样本。
迭代过程:每轮迭代处理一次全量样本,直到某epoch下平均epoch loss不再下降。在模型前向传递过程,将每个批次训练把数据输入到模型中,得到最终输出,然后计算对应的三元组损失。在模型后向传递过程,将总损失回传网络计算网络各参数梯度。然后根据各参数梯度,进行模型网络的参数更新。
在其中一个实施例中,模型损失为三元组损失;三元组损失的计算方式包括:
分别获取三元组样本中正样本对各自的事件表征之间的第一距离、以及负样本对各自的事件表征之间的第二距离;基于第一距离和第二距离之间的距离差,确定三元组损失。
其中,三元组样本可以构成正样本对和负样本对,正样本对中的两个样本各自对应事件表征之间的距离应尽可能小,负样本对中的两个样本各自对应事件表征之间的距离应尽可能大。在其中一个实施例中,针对三元组损失,采用triplet loss损失进行计算,triplet 损失的计算公式如下:
其中,α为正样本之间的距离和负样本之间的距离之间的最小间隔。‖Qa-Qp‖表示三元组中正样本对的两个事件表征的距离,‖Qa-Qn‖表示三元组中负样本对的两个事件表征的距离。Triplet-loss的目的是使得正样本对之间的距离与负样本对之间的距离的间隔大于α。
在本实施例中,通过计算三元组损失,以三元组损失作为依据来进行模型的迭代,能够使得训练得到的场次事件表征模型能够通过准确的事件表征,来有效区别属于不同事件的场次,提高场次事件表征模型的应用准确性。
在其中一个实施例中,基于每一事件描述文本各自的事件表征,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合,包括:
基于针对场次事件表征模型的测试集,确定场次事件表征模型的准确率和召回率;基于准确率和召回率,确定场次事件表征模型针对事件表征的判决阈值;基于判决阈值,基于每一事件描述文本各自的事件表征,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合。
具体地,场次事件表征模型获得每一场次的事件表征后,根据事件表征聚合得到事件与场次的关系,如同一事件在同一分集中的场次跨度、以及同一事件在不同分集中的跨度等。在对事件描述文本对应的场次进行聚合处理时,对于事件表征,通过设定判决阈值,可以更为高效地实现对场次的聚合处理。
判决阈值的获取方式可以通过场次事件表征模型的测试集来确定。其中,测试集可以是额外准备的测试集或沿用训练集得到的测试集。针对测试集中的正样本对、以及与静态负样本组成的负样本对,对欧氏距离从0~1,以步长为0.05分割成20个数值,以其中某个数值作为阈值,判断测试集中的样本对是否为同一事件:当两个样本的欧氏距离大于该欧式距离阈值,则表示两个场次事件样本为不同事件,基于判断结果,计算以该数值作为阈值的情况下,判断结果的准确率p与召回率r,并计算F1=1/(1/r+1/p)。通过对20个数值分别计算对应F1,从中选择F1最大的数值作为判决阈值。基于该判决阈值,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合。
在本实施例中,通过测试集中的正负样本对,计算不同候选判决阈值下的准确率和召回率,来筛选得到判决阈值,通过设定判决阈值来区分事件表征所属的事件,可以更高效地对剧本中的场次进行事件维度的聚合处理。在一个实施例中,事件描述文本可以参见图13,基于判决阈值对各个场次进行事件聚合的结果可以参见图14,如针对某剧的第一集,第1至4场属于事件1,第5、8场属于事件2,第9场属于事件3,第10、12场属于事件4,第11场属于事件5,第14至16属于事件6,第17、23场属于事件7,第24至26场属于事件8,第27至29场属于事件9,其中,第6、7、18至22场属于闪回事件。
在其中一个实施例中,目标剧本为包含多个分集的多集剧本。基于每一事件描述文本各自的事件表征,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合,包括:
基于所述场次集合中每一场次各自对应事件表征,确定所述场次集合所表征事件的目标表征;按照所述目标剧本的分集排列顺序,将后一分集所包含事件与前一分集中所包含的事件按照所述目标表征之间的欧式距离进行前向合并,直至完成所述目标剧本的最后一个分集的事件前向合并,得到所述目标剧本中属于同一事件的场次集合。
具体来说,场次的聚合包括针对同一分集的场次聚合以及跨分集的场次聚合,为了进一步提高聚合效率,可以先针对各个分集分别进行场次聚合,得到每一分集所包含的事件,然后通过不同分集所包含的事件进行聚合,即可得到整个目标剧本所包含的全部事件,得到目标剧本中属于同一事件的所有场次集合。
在一个具体的实施例中,对每一分集中由多个场次组成的事件,取属于该事件的所有场次的事件表征的均值作为目标表征。从第二集开始,往上一集追溯进行事件合并,即对第二集的某事件的目标表征,计算其与第一集所有目标表征的欧氏距离,当满足阈值要求时,若有多个事件满足条件时,取欧氏距离最近的第一集事件与该第二集事件合并,直至最后一集与倒数第二集完成事件合并,即可获得目标剧本的所有事件。
在本实施例中,对于分集数量较多、场次数量较多的剧本,可以通过按分集顺序依次聚合的方式,能够有效降低聚合处理的数据量,提高资源利用率和聚合结果的准确性。
在其中一些实施例中,剧本中的事件包括回忆类事件和非回忆类事件。
每一分集所包含的事件的聚合过程,包括:
针对每一分集,识别分集中的回忆场次、非回忆场次以及无意义场次;对无意义场次,进行场次剔除处理;对回忆场次按照事件表征进行聚合处理,得到回忆类事件;对非回忆场次按照事件表征进行聚合处理,得到非回忆类事件。
对于目标剧本中一个分集,根据场次内容长度,确定该场次为有意义场次还是无意义场次,例如当文字内容少于15字时,可以确定该场次为空镜等无意义场次,并对无意义场次进行剔除处理。对于有意义场次,通过识别场头信息中的闪回等类似提示字样,识别该分集中的回忆场次和非回忆场次。具体的,对该分集的非回忆场次,获取到各场次的事件表征后,进行场次事件聚合,得到非回忆类事件。其中,场次事件聚合可以通过以上实施例中的判决阈值确定场次所属的事件。对于该分集的回忆场次或闪回场次,同样进行场次事件合并,得到回忆类事件。
在本实施例中,通过识别回忆场次、非回忆场次以及无意义场次,进行无意义场次的剔除,能够避免无意义事件对于事件聚合结果的干扰,通过识别回忆场次和非回忆场次,能够区别回忆事件和非回忆事件,提高场次聚合的准确性和聚合效率。
在其他实施例中,无意义场次的识别还可以通过其他方式来实现,例如,如图15所示,在上述事件表征嵌入模型中利用事件表征嵌入模块最后一层输出中的[CLS]作为分类头,学习事件描述文本的四要素是否有事件的分类,对于训练集标注中事件id为-1的样本,CLS为0表示无事件,对于事件id非-1的样本,CLS为1表示有有效事件。在训练事件表征时,同时训练有效事件分类头。
训练方法可与上述训练方法一致,但计算损失时需要加上分类损失作为loss2,分类损失具体可以是二分类的交叉熵损失Lclass,损失函数表达式如下:
其中y 为样本标签,为有效事件时标签为1,无效事件标签为0,p为预测的概率,m为样本数量,对于预测为1的样本,项生效,对于预测为0的样本/>生效。
本实施例中,通过在模型中增加分类头来识别无意义场次,能够在同一模型中集成无意义场次的识别功能,简化整个处理过程的流程复杂度。
在其中一个实施例中,关联每一场次集合各自所表征的事件,得到目标剧本的剧情内容,包括:
获取针对目标剧本的剧情解析需求;在剧情解析需求为事件简述的情况下,按照每一场次集合各自所表征的事件的关联关系,依次提取目标剧本中每一事件对应的事件看点;在剧情解析需求为事件详述的情况下,按照每一场次集合各自所表征的事件的关联关系,依次生成目标剧本中每一事件对应的剧情概要。
其中,对于多集剧本,获取到目标剧本的事件后,进行剧本剧情输出,如图4和图5中的分事件看点或分事件剧情概要。对于每个事件,可以通过预训练的大语言模型输出事件描述。在本实施例中,通过剧情解析需求能够按需输出目标剧本中每一事件对应的事件看点以及目标剧本中每一事件对应的剧情概要,从事件维度提升自动化剧本理解效果,从用户看剧的需求出发进行事件维度剧本理解。
在其中一个实施例中,方法还包括:针对每一场次集合各自所表征的事件,进行主角人物识别,得到主角识别结果;响应于针对目标剧本的主角情绪分析请求,按照每一事件的主角识别结果,对目标剧本中的主角人物进行情绪变化分析,得到主角情绪变化趋势分析结果;响应于针对目标剧本的主角人设分析请求,基于对每一事件的剧本事件理解,按照各事件之间的关联关系解析目标剧本中的主角人设变化,得到人设发展分析结果。
例如,采用预训练的大语言模型,输入“以下为某剧本某事件的几个场次剧本文本描述,请用50个字简单概括男主和女主发生的事情”。对于图14中某集,输出样式如下:
回忆剧情:男主因病住院女主悉心照顾,两人相恋。当男主发现女主欺骗自己时与女主分手。
事件1剧情:男主与女主第一次重逢的场景描述。
事件2剧情: 男主与女主第二次遇见的场景描述。
在本实施例中,其中,主角的识别可以从剧本理解基础能力获得,引入主角可以使得剧本理解的内容关注到主角身上,而非任意人物和事件。避免剧本自动化理解输出结果内容堆叠主次不分的情况,采用事件抽取的方式,从剧本最小粒度出发进行事件聚合,并根据事件抽取剧情描述梳理人物情绪变化和人设发展变化,提升最终剧情描述的整体可理解性。
本申请还提供一种应用场景,该应用场景应用上述的剧本处理方法。具体地,该剧本处理方法在该应用场景的应用如下:
制片公司每天会收到很多影视剧剧本,对于动则几十集、共几十万字的剧本,如何快速理解每个剧本每集的内容,将有助于制片公司快速评价剧本的价值。在当今生成式人工智能大语言模型的加持下,创作更容易、更全民化的时代,快速进行自动化剧本每集剧情理解将非常重要。剧本的基础目标是:根据剧本中的事件、主要人物的行为选择及其发展轨迹、阐述剧本的主题思想,而剧本理解层面,需要首先理解剧本发生的事件。在自动化剧情事件理解的目标下,现实存在的问题:各集剧本文字内容过长,难以被有效理解产生分集事件的剧情,若根据剧本最小描述单元——以场次为单位进行剧本事件理解,又将产生过多事件,同时又由于一件事可能跨多个事件、故与人类理解的事件单位有差异,从而导致剧本理解由于场次过于零碎达不到人类理解事件层面,若不用全集场次而是抽取主要场次进行剧本事件理解,又容易导致剧情不连贯,不利于理解。
针对现有剧本分集事件抽取不佳导致的剧本理解问题,本方案设计了一个基于事件表征的剧本事件聚合能力,首先对每集剧本中所有场次进行事件相关信息获取、并针对开集剧本事件表征通过广泛的数据增强进行事件表征模型学习;最终应用事件表征进行各集以及跨集事件聚合,从而得到人类可理解的事件粒度场次聚合,从而在后续剧情理解中通过保证事件的有效性与完整性,避免剧情理解输出中事件过多、过琐碎。其中从多场次文本中进行事件拆分是一大难点,由于场次顺序与事件顺序可能不一致、同时事件定义相当主观故常规剧情事件由人工进行标记,本方案针对剧本事件表征困难的问题设计了一个基于时间、地点、人物、事情信息的事件表征方法,实现高准确率的事件表征;并通过有效的事件表征进行事件聚合,产生分集剧本的事件组织,进而实现分集剧情输出等后续应用。
具体来说,针对对所有场次的剧情进行堆砌造成内容堆叠主次不分的问题:采用事件抽取的方式,从剧本最小粒度出发进行事件聚合,并根据事件抽取剧情描述,从而提升最终剧情描述的整体可理解性。设计更有效的用于场次聚合的事件表征方法,通过剧本事件的时间、人物、事情等重要因素的联合表征学习提升事件表征效果,最终采用联合事件表征对剧本场次按事件聚合划分。
以实际应用场景举例来说,剧本场次按事件聚合的作用主要是为了更好地组织和理解剧本的内容,提高剧本的可读性和制作的效率,如快速理解剧本事件,对每集的事件产生短小精悍的看点描述,或对每个事件输出剧情概要。此外,对多集剧本场次进行事件聚合、并对事件进行关联,可以更有效地管理和调度资源。例如确定哪些场次可以采用相同的场景同时拍摄,如当为多场次合并同一事件,或事件类型都是职场时、可以安排在相同地点同时拍摄,或者哪些场次需要特定的演员或物件配备,如例如某个大街上,不同人物参与的拍摄,如正反派人物,此时可以在拍摄完正派后,直接利用相同场景拍摄反派,针对两场在同一场景同时拍摄不同人物,提升拍摄效率。
第一部分,关于本申请实施例的实现原理:
对每集一个剧本文件的多集剧本,确定每一场次文本内容,获取每场次事件相关信息;然后根据提供的场次事件表征模型进行事件表征抽取,根据事件表征进行场次聚合,得到每集的场次事件以及全剧维度事件,从而实现事件的后续应用。
其中,关于场次时间表征,由于需要解决开放集事件表征问题,即预先无法规范约定会有哪些事件,无法采用闭集事件分类方法对场次事件评估,故需要更通用的事件表征方法,本方案采用场次事件表征模型方案进行事件表征度量学习。以下对涉及的场次事件表征模型进行介绍。
其中本申请对于剧本中的事件,考虑到事件关键是:时间地点人物事情四要素,为提升事件表征的准确性,故在场次文本信息中需要包括该四要素。另外还需对场次事件进行标注——即标注哪些场次属于同一事件等。
第二部分,对模型的输入数据的四要素提取和事件标注。
针对剧本的场次文本,需要确定时间地点人物事情四要素的文本内容。
场次事件信息1抽取: 首先为了获取到更有效的事件表征,关于需要从场次中抽取事件有关的四要素:时间地点人物事情,对于剧本文本,“时间地点人物”可以直接从场头中的时景人的相关内容来获取。考虑到有些剧本没有“景时人”场头信息,此时需要从场次描述中抽取,抽取方法是:采用预训练的大语言模型进行抽取,如提问:“请问以下剧本事件发生的时间、地点、人物分别是什么,以json格式返回,返回样式如下:{‘时间’:‘夜’,‘地点’:‘酒店’,‘人物’:‘小文’},剧本为:xxxx”。
场次事件信息2抽取:关于四要素重的“事情”,由于剧本没有预先提供,并且在整体剧本剧情理解应用系统中,会预先产生每一场发生的剧情,故在进行场次事件产生模块中,可以借助场次剧情作为事件描述,从而在整体应用系统中,不额外增加应用成本。场次剧情采用预训练的大语言模型进行抽取,如提问:“以下为某电视剧剧本的某一场次,请概述该场次发生的剧情,剧本为:xxxx”。
在对模型进行训练时,需要先对训练样本进行事件标注,以明确属于同一事件的场次。
考虑到本方案需要进行开集事件表征的度量学习,由于开集事件无法穷尽故模型采用度量学习,需要收集是否为同一事件的场次作为训练正负样本对,正样本为同一场次样本,负样本为不同场次样本,以正负样本间的度量关系作为训练依据。
为了保证训练与应用的效果时一致,数据标注需要准备单集事件标注和跨集事件标注。其中,单集事件标注是以集为单位,对每集的所有场次的时间地点人物事情这四元素,让标注标记是否为同一事件。跨集事件标注:考虑到剧本中有时候一件事会跨越在前后两集,对前后3集所有事件,若有跨集同一事件的,则进行事件合并,即两个事件中对应的标注记录采用同一事件id。例如如某场战争,第一集某场讲了司令在紧张安排、第二集某场讲了某个士兵在屯粮食和枪支准备逃跑的小动作,则两场次属于同一事件,但跨越了前后两集,需要合并。
在具体的应用中,通过针对场次文本给出事件四要素,也有利于标注人员快速判断两场是否为同一事件。例如当两场为同一事件时,场景一般相同或相似、人物及时间也相似。在一个实施例中,对每一场得到以下标注信息:场次文本信息,事件id,电视剧名字,分集id,场次id,其中事件id为1、2、3等代表不同事件的代号,分集id指1、2、3集等,场次id指1、2、3、4等某集剧本里的事件不同发生顺序的场次代号。当某场次无事件时,如用来转场的城市空镜,没有人物出现,事件id为-1,表示无事件。
第二部分,对模型训练样本、模型结构、训练过程的说明。
首先,介绍模型训练样本的度量学习采样。
由于开集事件无法进行分类,而在采用度量学习对事件表征时,需要获得一个相对通用的事件表征,才能覆盖各种类型事件,如盗墓、出海游泳、医院相遇、路边争夺小孩等事件。度量学习的事件表征非常依赖于正负样本的选择,恰当的正负样本,可以让后期事件聚合更有效,考虑到以下原因:应用中对每一集的所有场次进行事件聚合,事件可能跨前后两集;人工标注了场次事件正样本,一个事件可能包含多个场次;负样本越接近真实情况、难样本越多,则事件表征更准确,对后期事件聚合更有帮助。
在一个实施例中,在产生度量学习三元组中的正样本对时:对有大于1个场次的事件(如某事件有3个场次):每两个场次组成一个正样本对,得到所有正样本对。对仅有1个场次的事件,对场次文本描述随机抽取10%~30%文本内容,以50%的概率进行随机替换成任意其他文字,共得到N个正样本对。如100个字中随机选择了30个字,对前述30个字,有一半的概率会替换为其他文字,剩下一半概率不替换。
负样本选择越好模型的事件表征效果越好,不同于常规随机抽取负样本的方式,本实施例中对每个正样本采用静态+动态+默认的方式产生负样本对。
对产生负样本:静态负样本提取方式是离线阶段,在确定好正样本对后,从正样本所属的同一电视剧、包括前后共3集的其他事件id下的随机k1个(如3个)场次,考虑到前后集事件的出现相似人物的概率更高、且前后事件可能存在承接关系(如战争准备、战争进行中、庆功宴属于3个事件),此时人物、场景、事件描述中的某些字眼更可能相似,故容易出现易混淆的负样本,所以从相邻分集中抽取负样本。
默认负样本的提取方式是:训练时从每个轮次的训练样本中,随机抽取k2(如k2=6)个不同事件id的样本作为负样本。
动态负样本的提取方式是:在一个轮次的模型训练完成后,用已经训练好的模型对全局所有场次的样本进行事件表征抽取,计算每个事件下所有样本的平均表征,并从全局样本的事件表征中抽取具有不同事件id的其他10个事件id,从这10个事件id的场次中随机抽取k3(如k3=3)个样本作为负样本。
在三类负样本的抽取过程中,可以控制k1、k2、k3的关系大致满足:k1+k3=k2,即保证难样本和容易样本的均衡,上述静态负样本可以在训练之前产生,默认负样本和动态负样本可以在模型训练中一边训练一边产生。
其次,介绍模型的结构。
场次事件表征模型的结构主要包括两个模块:分别是文本理解基础模块、事件表征嵌入模块。其中,文本理解基础模块以Chinese-BERT-wwm模型为基础。BERT为一个开源语言模型,采用较大规模的语言数据进行预训练,可以支持多种不同目标的语言理解任务在此基础上进行微调的产生文本学习任务结果。如图8BERT在3个不同的语言任务采用BERT网络结构进行微调的示例,其中,CLS为语句的类别,在一些实施例中,由于仅需要输入特定信息输出事件表征,任务单一,故TOK1~N可以设置为空。Sep用于区分任务提问和具体提问的内容。Paragraph为需要回答问题的语句。
具体来说,BERT的具体结构如图9示,包含从输入文本到产生E的向量嵌入(embedding)处理,BERT以多个编码器层(transformer encoder layer)组成的模型核心,每个编码器层由多个编码器组(transformer block,又称Trm)组成,以T层为目标分类任务输出。为了便于描述,图10仅示出2层编码器层,在一些实际的应用中,BERT编码器层的层数L=12,隐层维度H=768,多头注意力self-attention的头数A=12,图10图9Trm的具体结构,其中BERT的Trm可以是编码器,其中Multi-head attention为selfattention自注意力模块,FeedForward为中间层模块, Add & Norm表示加和操作和层的归一化。
多头注意力(Multi-head attention)的具体结构中add & Norm层的操作为先对上一层的输入(如FeedForward层或Multi-head attention层)与本层输入求和再算层归一化的过程,具体可以表示为:hidden_states = self.LayerNorm(hidden_states + input_tensor) 。
其中feedforward模块由全连层+激活层组成。
其中,multi-head-attention模块作为通用工具已经集成到BERT中,可以直接调用。以paddle库的调用为例,调用方法为:
MultiHeadAttention(embed_dim=config.hidden_size, num_heads=config.num_attention_heads, dropout=config.attention_probs_dropout_prob)
接下来,关于模型的输入和输出数据。
场次事件表征模型的输入为场次文本的事件四要素,针对场次文本,按提取出的时间、地点、人物、事情的顺序首尾进行文本内容拼接,把拼接后的事件描述文本作为句子,将句子输入到中文词典进行字典映射。字典映射可以理解为,对每个词,都在字典空间有一个或多个嵌入向量(称为字典embedding)与之对应。其中,中文词典是基于中文表达的统计学习产生的,在模型训练中直接通过中文词典的字典映射产生句子的字典embedding,不需要再对字典embedding过程的相关参数进行训练。
具体来说,如图11所示,件描述文本对应的句子作为输入,映射到字典embedding的过程包括:先采用词典vocab.txt,把句子中的每个词映射到为对应的字典id(称为tokenid)。为了能有规范的模型输入,使得可以响应长度不同的句子输入,采用token=0作为补全到指定数量个token(如77个),然后把该字典id的embedding作为该词embedding,得到整个句子的嵌入向量embedding。
在一个具体的应用中,如图12所示,为场次事件表征模型的训练过程示意图。首先获取样本剧本的场次文本,对场次文本按照事件要素进行文本重构,得到与场次文本对应的事件描述样本,然后对按照场次所属的事件,对事件描述样本进行事件标识的标注,从而根据事件标识确定正负样本对来构建三元组样本,根据三元组样本进行模型的训练。在训练过程中,先基于中文词典进行字典映射,得到输入文本的嵌入向量,然后基于文本基础理解模块进行文本理解,最后由事件表征嵌入模块输出事件描述样本对应的事件表征,基于三元组之间的事件表征之间的距离,计算出模型损失对模型进行迭代训练。
具体来说,事件表征嵌入模块为本在常规BERT模型上新增的模块,由N层Trm组成。对于本模型中的文本理解基础模块和事件表征嵌入模块,考虑到基础模块有预训练好的参数,而新增加Trm的参数没有训练,为了提升模型收敛性能,采用文本基础理解模块的最后1层Trm预训练参数作为事件表征嵌入模块的Trm参数的初始化参数,其中,事件表征嵌入模块的 Trm结构与文本基础理解模块中最后一层Trm结构相同,事件表征嵌入模块的输出结果可以理解为输入句子的事件表征。
关于场次事件表征模型的训练,包括参数初始化、设置学习参数、学习过程和迭代更新几个阶段,具体地:
参数初始化过程:对文本基础理解模块采用Chinese-BERT-wwm预训练模型,采用文本基础理解模块的预训练参数,对事件表征嵌入模块以及分类头进行参数初始化。
设置学习参数过程:对文本基础理解模块参数采用lr=0.0005学习率,采用sgd梯度更新方法训练。对事件表征嵌入模块的任务采用0.001学习率,采用sgd梯度更新方法训练,学习率每10个epoch下降为原来的0.1倍。
学习过程:对全量正样本对(共N条数据),每X条数据作为一个批次,共N/X个批次,每完成N/X个批次表示完成一轮(epoch)迭代;对X个正样本对,产生静态三元组数据,并基于本轮的X个正样本对中产生默认负样本组成默认三元组,再根据模型对全量数据的表征效果产生动态三元组,组合3套三元组样本数据,得到最终本批次的训练样本。
迭代过程:每轮迭代处理一次全量样本,直到某epoch下平均epoch loss不再下降。在模型前向传递过程,将每个批次训练把数据输入到模型中,得到最终输出,然后计算对应的三元组损失。在模型后向传递过程,将总损失回传网络计算网络各参数梯度。然后根据各参数梯度,进行模型网络的参数更新。
针对三元样本组,采用triplet loss损失进行三元组损失计算,triplet 损失的计算公式如下:
其中,a为正样本之间的距离和负样本之间的距离之间的最小间隔margin。‖Q_a-Q_p ‖表示三元组中正样本对的两个事件表征的距离,‖Q_a-Q_n ‖表示三元组中负样本对的两个事件表征的距离。Triplet-loss的目的是使得正样本对之间的距离与负样本对之间的距离的间隔大于margin。
最后是场次事件表征模型的应用。
通过场次事件表征模型获得每一场次的事件表征后,根据事件表征聚合得到每一集事件与场次的关系,如事件的场次跨度等。
具体地,首先获取判决阈值:额外准备的样本集或沿用训练集作为模型的测试集,针对测试集中的正样本对、以及与静态负样本组成的负样本对,对欧氏距离从0~1,以步长为0.05分割成20个数值,以其中某个数值作为阈值,判断测试集中的样本对是否为同一事件:当两个样本的欧氏距离大于该欧式距离阈值,则表示两个场次事件样本为不同事件,基于判断结果,计算以该数值作为阈值的情况下,判断结果的准确率p与召回率r,并计算F1=1/(1/r+1/p)。通过对20个数值分别计算对应F1,从中选择F1最大的数值作为判决阈值。基于该判决阈值,对事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合。
然后获取场次事件,根据上述判决阈值产生场次事件合并。对某一集,通过场头信息中有闪回等类似提示字样,确定对该集非回忆场次,各场次获取到事件表征后,根据上述判决阈值产生场次事件合并。同理,对某一集回忆场次进行场次事件合并。剔除独立无意义事件:根据场次内容长度,当文字内容少于15字时,去除该场次。
需要说明的是,在有效事件判别时,除了基于经验采用条件逻辑直接判断外,还可以采用模型分类的方法,对有效、无效两类样本分类。且当采用分类模型进行事件有效性判决时,可独立训练一个事件有效性的二分类模型,也可直接在本方案模型上在事件表征模块的输出中把事件有效性分类作为多任务输出,降低应用成本。如在上述场次事件表征模型中利用事件表征模块最后一层输出中的[CLS]作为分类头,学习场次事件四要素是否有事件的分类,对于训练集标注中事件id为-1的样本,CLS为0表示无事件,对于事件id非-1的样本,CLS为1表示有有效事件。在训练事件表征时,同时训练有效事件分类头。训练方法可与上述场次事件表征模型的训练方法一致,但计算损失时需要加上分类损失作为loss2,分类损失具体可以是二分类的交叉熵损失Lclass,损失函数表达式如下:
其中y 为样本标签,为有效事件时标签为1,无效事件标签为0,p为预测的概率,m为样本数量,对于预测为1的样本,项生效,对于预测为0的样本生效。通过在模型中增加分类头来识别无意义场次,能够在同一模型中集成无意义场次的识别功能,简化整个处理过程的流程复杂度。
对每一分集中由多个场次组成的事件,取属于该事件的所有场次的事件表征的均值作为目标表征。从第二集开始,往上一集追溯进行事件合并,即对第二集的某事件的目标表征,计算其与第一集所有目标表征的欧氏距离,当满足阈值要求时,若有多个事件满足条件时,取欧氏距离最近的第一集事件与该第二集事件合并,直至最后一集与倒数第二集完成事件合并,即可获得目标剧本的所有事件。
对于全集剧本,获取到事件后进行剧本剧情输出,如分事件看点或分事件剧情概要。对于每个事件,可以借助大语言模型输出事件描述,如“以下为某剧本某事件的几个场次剧本文本描述,请用50个字简单概括主角a和b发生的事情”。其中,主角a和b可以从剧本理解基础能力获得,引入主角可以使得剧本理解的内容关注到主角身上,而非任意人物和事件。
通过以上方式进行剧本处理,能够从事件维度提升自动化剧本理解效果,从用户看剧的需求出发进行事件维度剧本理解,有限增加资源下,更大限度利用整体剧本理解系统及现有能力提供事件相关信息,使得剧本事件表征更准确。并且,能够从剧本事件独有特点、与开放集事件表征学习的要求出发,产生更有利模型学习的数据收集与模型训练方法。
整体来说,包含上述各实施例的方案,能够解决分集剧情零碎或者重点不足问题,避免剧本自动化理解输出结果内容堆叠主次不分:采用事件抽取的方式,从剧本最小粒度出发进行事件聚合,并根据事件抽取剧情描述,从而提升最终剧情描述的整体可理解性。通过设计更有效的用于场次聚合的有效事件表征模型及学习方法,通过剧本事件的时间、人物、事情等重要因素的联合表征学习提升事件表征效果,最终采用联合事件表征对剧本场次按事件聚合及剧本独有特征进行场次事件归并与去除。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的剧本处理方法的剧本处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个剧本处理装置实施例中的具体限定可以参见上文中对于剧本处理方法的限定,在此不再赘述。
在一个实施例中,如图16所示,提供了一种剧本处理装置,包括:文本重构模块1602、事件表征提取模块1604、场次聚合模块1606和剧情分析模块1608,其中:
文本重构模块1602,用于获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
事件表征提取模块1604,用于通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
场次聚合模块1606,用于基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
剧情分析模块1608,用于关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
在其中一个实施例中,所述文本重构模块,用于针对所述场次文本,按预设的事件要素维度进行内容提取,得到每一所述事件要素维度匹配的文本内容;对同一所述场次文本中提取出的各所述文本内容进行内容拼接,得到所述场次文本对应的事件描述文本。
在其中一个实施例中,所述文本重构模块,用于按照预设的事件要素维度,对所述场次文本进行要素特征字符识别;在每一所述事件要素维度均存在要素特征字符的情况下,基于所述要素特征词,从所述场次文本中提取每一所述事件要素维度的文本内容;在至少一个所述事件要素维度不存在要素特征字符的情况下,基于大语言模型,按所述事件要素维度对所述场次文本进行文本分析,得到每一事件要素维度的文本内容。
在其中一个实施例中,所述要素特征字符,包括与时间、地点、人物维度各自匹配的特征词、以及与事件维度匹配的剧情起始字符;
所述文本重构模块,用于从所述场次文本的场头内容中,识别所述时间维度、所述地点维度、所述人物维度各自匹配的特征词;从所述场次文本的剧情内容中,识别所述事件维度匹配的剧情起始字符。
在其中一个实施例中,所述场次事件表征模型的训练过程,包括:针对样本剧本中至少一部分场次的事件描述样本,确定三元样本组;基于所述三元样本组,对初始的场次事件表征模型进行训练,得到场次事件表征模型。所述三元样本组包括所述事件描述样本、事件标识与所述事件描述样本相同的正样本、以及事件标识与所述事件描述样本不同的负样本;所述正样本与所述事件描述样本构成正样本对,所述负样本与所述事件描述样本构成负样本对。
在其中一个实施例中,所述正样本的获取方式包括:在事件描述样本存在关联样本的情况下,将所述关联样本确定为所述事件描述样本的正样本;在事件描述样本不存在关联样本的情况下,对所述事件描述样本的部分内容按照设定概率进行随机替换,得到所述事件描述样本的正样本;所述关联样本与所述事件描述样本所属事件相同。
在其中一个实施例中,所述负样本包括静态负样本、默认负样本以及动态负样本;所述事件描述样本对应负样本的获取方式包括:基于所述事件描述样本在所述样本剧本中所属的目标分集,以与所述目标分集的集数差小于集数差阈值的上下集为筛选区间,筛选出与所述事件描述样本的事件标识不同的静态负样本;在场次事件表征模型的每轮训练过程中,从每轮的训练样本中,随机抽取出与所述事件描述样本的事件标识不同的默认负样本;在场次事件表征模型的每轮训练结束后,基于训练得到的场次事件表征模型对全局事件描述样本进行事件表征提取,并从所述全局事件描述样本中随机选取出部分事件表征不同于目标事件表征的动态负样本,所述目标事件表征为所述事件描述样本所属事件的事件表征。
在其中一个实施例中,所述静态负样本与所述动态负样本的数量之和为第一数量,所述默认负样本的数量为第二数量;所述第一数量与所述第二数量的差额小于设定阈值。
在其中一个实施例中,所述场次事件表征模型训练方式包括:基于中文词典对所述三元样本组中的每一样本进行字典映射,得到每一样本各自对应的嵌入向量;基于携带有事件标识的所述嵌入向量,对初始的场次事件表征模型中文本基础理解模块和事件表征嵌入模块进行训练,得到输出的事件表征;所述事件表征嵌入模块的初始化参数,与所述文本基础理解模块中最后一层的预训练参数相同;基于所述事件表征对应的模型损失,对所述初始的场次事件表征模型进行迭代训练,直至满足训练停止条件,得到场次事件表征模型。
在其中一个实施例中,所述模型损失为三元组损失;所述三元组损失的计算方式包括:分别获取三元组样本中正样本对各自的事件表征之间的第一距离、以及负样本对各自的事件表征之间的第二距离;基于所述第一距离和第二距离之间的距离差,确定三元组损失。
在其中一个实施例中,所述场次聚合模块,用于基于针对所述场次事件表征模型的测试集,确定所述场次事件表征模型的准确率和召回率;基于所述准确率和所述召回率,确定所述场次事件表征模型针对事件表征的判决阈值;基于所述判决阈值,基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合。
在其中一个实施例中,所述目标剧本为包含多个分集的多集剧本;所述场次聚合模块,用于针对所述目标剧本的每一分集所包含的事件,计算所述事件包含的每一场次各自对应事件表征的均值,作为所述事件的目标表征;
按照所述目标剧本的分集排列顺序,将后一分集所包含事件与前一分集中所包含的事件按照所述目标表征之间的欧式距离进行前向合并,直至完成所述目标剧本的最后一个分集的事件前向合并。
在其中一个实施例中,所述事件包括回忆类事件和非回忆类事件;所述每一分集所包含的事件的聚合过程,包括:针对每一分集,识别所述分集中的回忆场次、非回忆场次以及无意义场次;对所述无意义场次,进行场次剔除处理;对所述回忆场次按照所述事件表征进行聚合处理,得到回忆类事件;对所述非回忆场次按照所述事件表征进行聚合处理,得到非回忆类事件。
在其中一个实施例中,剧情分析模块用于获取针对所述目标剧本的剧情解析需求;在所述剧情解析需求为事件简述的情况下,按照每一所述场次集合各自所表征的事件的关联关系,依次提取所述目标剧本中每一事件对应的事件看点;
在所述剧情解析需求为事件详述的情况下,按照每一所述场次集合各自所表征的事件的关联关系,依次生成所述目标剧本中每一事件对应的剧情概要。
在其中一个实施例中,剧情分析模块用于针对每一所述场次集合各自所表征的事件,进行主角人物识别,得到主角识别结果;响应于针对所述目标剧本的主角情绪分析请求,按照每一所述事件的主角识别结果,对所述目标剧本中的主角人物进行情绪变化分析,得到主角情绪变化趋势分析结果;响应于针对所述目标剧本的主角人设分析请求,基于对每一所述事件的剧本事件理解,按照各所述事件之间的关联关系解析所述目标剧本中的主角人设变化,得到人设发展分析结果。
上述剧本处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图17所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种剧本处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图18所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种剧本处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图17或图18中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请提供的各实施例所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (19)
1.一种剧本处理方法,其特征在于,所述方法包括:
获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
通过场次事件表征模型分别提取每一所述事件描述文本的事件表征;所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
2.根据权利要求1所述的方法,其特征在于,所述按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本,包括:
针对所述场次文本,按预设的事件要素维度进行内容提取,得到每一所述事件要素维度匹配的文本内容;
对同一所述场次文本中提取出的各所述文本内容进行内容拼接,得到所述场次文本对应的事件描述文本。
3.根据权利要求2所述的方法,其特征在于,所述针对所述场次文本,按预设的事件要素维度进行内容提取,得到每一所述事件要素维度匹配的文本内容,包括:
按照预设的事件要素维度,对所述场次文本进行要素特征字符识别;
在每一所述事件要素维度均存在要素特征字符的情况下,基于所述要素特征词,从所述场次文本中提取每一所述事件要素维度的文本内容;
在至少一个所述事件要素维度不存在要素特征字符的情况下,基于大语言模型,按所述事件要素维度对所述场次文本进行文本分析,得到每一事件要素维度的文本内容。
4.根据权利要求3所述的方法,其特征在于,所述要素特征字符,包括与时间、地点、人物维度各自匹配的特征词、以及与事件维度匹配的剧情起始字符;
所述按照预设的事件要素维度,对所述场次文本进行要素特征字符识别,包括:
从所述场次文本的场头内容中,识别所述时间维度、所述地点维度、所述人物维度各自匹配的特征词;
从所述场次文本的剧情内容中,识别所述事件维度匹配的剧情起始字符。
5.根据权利要求1所述的方法,其特征在于,所述场次事件表征模型的训练过程,包括:
针对样本剧本中至少一部分场次的事件描述样本,确定三元样本组;所述三元样本组包括所述事件描述样本、事件标识与所述事件描述样本相同的正样本、以及事件标识与所述事件描述样本不同的负样本;所述正样本与所述事件描述样本构成正样本对,所述负样本与所述事件描述样本构成负样本对;
基于所述三元样本组,对初始的场次事件表征模型进行训练,得到场次事件表征模型。
6.根据权利要求5所述的方法,其特征在于,所述正样本的获取方式包括:
在事件描述样本存在关联样本的情况下,将所述关联样本确定为所述事件描述样本的正样本;
在事件描述样本不存在关联样本的情况下,对所述事件描述样本的部分内容按照设定概率进行随机替换,得到所述事件描述样本的正样本;
所述关联样本与所述事件描述样本所属事件相同。
7.根据权利要求5所述的方法,其特征在于,所述负样本包括静态负样本、默认负样本以及动态负样本;所述事件描述样本对应负样本的获取方式包括:
基于所述事件描述样本在所述样本剧本中所属的目标分集,以与所述目标分集的集数差小于集数差阈值的上下集为筛选区间,筛选出与所述事件描述样本的事件标识不同的静态负样本;
在场次事件表征模型的每轮训练过程中,从每轮的训练样本中,随机抽取出与所述事件描述样本的事件标识不同的默认负样本;
在场次事件表征模型的每轮训练结束后,基于训练得到的场次事件表征模型对全局事件描述样本进行事件表征提取,并从所述全局事件描述样本中随机选取出部分事件表征不同于目标事件表征的动态负样本,所述目标事件表征为所述事件描述样本所属事件的事件表征。
8.根据权利要求7所述的方法,其特征在于,所述静态负样本与所述动态负样本的数量之和为第一数量,所述默认负样本的数量为第二数量;
所述第一数量与所述第二数量的差额小于设定阈值。
9.根据权利要求5所述的方法,其特征在于,所述基于所述三元样本组,对初始的场次事件表征模型进行训练,得到场次事件表征模型,包括:
基于中文词典对所述三元样本组中的每一样本进行字典映射,得到每一样本各自对应的嵌入向量;
基于携带有事件标识的所述嵌入向量,对初始的场次事件表征模型中文本基础理解模块和事件表征嵌入模块进行训练,得到输出的事件表征;所述事件表征嵌入模块的初始化参数,与所述文本基础理解模块中最后一层的预训练参数相同;
基于所述事件表征对应的模型损失,对所述初始的场次事件表征模型进行迭代训练,直至满足训练停止条件,得到场次事件表征模型。
10.根据权利要求9所述的方法,其特征在于,所述模型损失为三元组损失;所述三元组损失的计算方式包括:
分别获取三元组样本中正样本对各自的事件表征之间的第一距离、以及负样本对各自的事件表征之间的第二距离;
基于所述第一距离和第二距离之间的距离差,确定三元组损失。
11.根据权利要求1所述的方法,其特征在于,所述基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合,包括:
基于针对所述场次事件表征模型的测试集,确定所述场次事件表征模型的准确率和召回率;
基于所述准确率和所述召回率,确定所述场次事件表征模型针对事件表征的判决阈值;
基于所述判决阈值,基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合。
12.根据权利要求1所述的方法,其特征在于,所述目标剧本为包含多个分集的多集剧本;
所述基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合,包括:
基于每一所述事件描述文本各自的事件表征,对同一分集中所述事件描述文本对应的场次进行聚合处理,确定每一分集中属于同一事件的场次集合;
基于所述场次集合中每一场次各自对应事件表征,确定所述场次集合所表征事件的目标表征;
按照所述目标剧本的分集排列顺序,将后一分集所包含事件与前一分集中所包含的事件按照所述目标表征之间的欧式距离进行前向合并,直至完成所述目标剧本的最后一个分集的事件前向合并,得到所述目标剧本中属于同一事件的场次集合。
13.根据权利要求12所述的方法,其特征在于,所述事件包括回忆类事件和非回忆类事件;所述每一分集所包含的事件的聚合过程,包括:
针对每一分集,识别所述分集中的回忆场次、非回忆场次以及无意义场次;
对所述无意义场次,进行场次剔除处理;
对所述回忆场次按照所述事件表征进行聚合处理,得到回忆类事件;
对所述非回忆场次按照所述事件表征进行聚合处理,得到非回忆类事件。
14.根据权利要求1所述的方法,其特征在于,所述关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容,包括:
获取针对所述目标剧本的剧情解析需求;
在所述剧情解析需求为事件简述的情况下,按照每一所述场次集合各自所表征的事件的关联关系,依次提取所述目标剧本中每一事件对应的事件看点;
在所述剧情解析需求为事件详述的情况下,按照每一所述场次集合各自所表征的事件的关联关系,依次生成所述目标剧本中每一事件对应的剧情概要。
15.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对每一所述场次集合各自所表征的事件,进行主角人物识别,得到主角识别结果;
响应于针对所述目标剧本的主角情绪分析请求,按照每一所述事件的主角识别结果,对所述目标剧本中的主角人物进行情绪变化分析,得到主角情绪变化趋势分析结果;
响应于针对所述目标剧本的主角人设分析请求,基于对每一所述事件的剧本事件理解,按照各所述事件之间的关联关系解析所述目标剧本中的主角人设变化,得到人设发展分析结果。
16.一种剧本处理装置,其特征在于,所述装置包括:
文本重构模块,用于获取目标剧本所包含的场次文本,按照事件要素对所述场次文本进行文本重构,得到每一所述场次文本各自对应的事件描述文本;
事件表征提取模块,用于通过场次事件表征模型分别提取每一所述事件描述文本的事件表征,所述场次事件表征模型通过三元样本组训练得到,所述三元样本组用于构成事件标识相同的正样本对和事件标识不同的负样本对;
场次聚合模块,用于基于每一所述事件描述文本各自的事件表征,对所述事件描述文本对应的场次进行聚合处理,确定属于同一事件的场次集合;
剧情分析模块,用于关联每一所述场次集合各自所表征的事件,得到所述目标剧本的剧情内容。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
19.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410313484.9A CN118153564A (zh) | 2024-03-18 | 2024-03-18 | 剧本处理方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410313484.9A CN118153564A (zh) | 2024-03-18 | 2024-03-18 | 剧本处理方法、装置、计算机设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118153564A true CN118153564A (zh) | 2024-06-07 |
Family
ID=91299829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410313484.9A Pending CN118153564A (zh) | 2024-03-18 | 2024-03-18 | 剧本处理方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118153564A (zh) |
-
2024
- 2024-03-18 CN CN202410313484.9A patent/CN118153564A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113283551B (zh) | 多模态预训练模型的训练方法、训练装置及电子设备 | |
CN111177569A (zh) | 基于人工智能的推荐处理方法、装置及设备 | |
CN113505204B (zh) | 召回模型训练方法、搜索召回方法、装置和计算机设备 | |
CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
CN106776849A (zh) | 一种以图快速检索景点的方法及导游系统 | |
CN112818995B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
Soltanian et al. | Hierarchical concept score postprocessing and concept-wise normalization in CNN-based video event recognition | |
Khurram et al. | Dense-captionnet: a sentence generation architecture for fine-grained description of image semantics | |
CN115187910A (zh) | 视频分类模型训练方法、装置、电子设备及存储介质 | |
CN110110218A (zh) | 一种身份关联方法及终端 | |
CN117035078A (zh) | 一种多模态知识图谱统一表示学习框架 | |
CN115690276A (zh) | 虚拟形象的视频生成方法、装置、计算机设备和存储介质 | |
CN110491372A (zh) | 一种反馈信息生成方法、装置、存储介质和智能设备 | |
CN113378826B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN118153564A (zh) | 剧本处理方法、装置、计算机设备、存储介质和程序产品 | |
CN114548325A (zh) | 基于对偶对比学习的零样本关系抽取方法和系统 | |
CN117540007B (zh) | 基于相似模态补全的多模态情感分析方法、系统和设备 | |
CN111091198A (zh) | 一种数据处理方法及装置 | |
CN117762499B (zh) | 任务指令构建方法和任务处理方法 | |
CN116860952B (zh) | 基于人工智能的rpa智能应答处理方法及系统 | |
CN110427615B (zh) | 一种基于注意力机制的金融事件修饰时态的分析方法 | |
CN116579350B (zh) | 对话理解模型的鲁棒性分析方法、装置和计算机设备 | |
CN114490996B (zh) | 意图识别方法、装置、计算机设备和存储介质 | |
Fang et al. | Searching human actions based on a multi-dimensional time series similarity calculation method | |
CN118260584A (zh) | 模型训练方法、装置、设备、存储介质和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |