CN117237486B - 一种基于文本内容的动漫场景构建系统及方法 - Google Patents
一种基于文本内容的动漫场景构建系统及方法 Download PDFInfo
- Publication number
- CN117237486B CN117237486B CN202311282827.1A CN202311282827A CN117237486B CN 117237486 B CN117237486 B CN 117237486B CN 202311282827 A CN202311282827 A CN 202311282827A CN 117237486 B CN117237486 B CN 117237486B
- Authority
- CN
- China
- Prior art keywords
- scene
- scenario
- content
- place name
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010276 construction Methods 0.000 title claims description 31
- 238000013515 script Methods 0.000 claims abstract description 86
- 230000003068 static effect Effects 0.000 claims abstract description 40
- 230000007613 environmental effect Effects 0.000 claims description 87
- 230000009471 action Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009469 supplementation Effects 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 239000013589 supplement Substances 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000003607 modifier Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 206010016754 Flashback Diseases 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000012458 free base Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提出了一种基于文本内容的动漫场景构建系统及方法输入目标动漫作品的剧本内容,从所述剧本内容中识别每个剧本场景对应的环境场景,对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景,从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述,从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性,识别每个环境场景中的静态场景元素和动态场景元素,对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充,基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型,能够高效生成与剧情高度契合的动漫场景。
Description
技术领域
本发明涉及立体建模技术领域,特别涉及一种基于文本内容的动漫场景构建系统及方法。
背景技术
动漫场景是为动漫角色提供活动场所的空间环境,用于丰富动漫画面的视觉效果,加强动漫故事的讲述氛围,是用于呈现动漫剧情的重要组成部分之一,动漫场景的设计对整个动漫作品的美术风格、情节发展、角色表演等方面都有着较大的影响。
动漫场景的制作是一个繁琐冗长的过程,首先要按照故事背景和剧本需求绘制符合整体风格和布局的场景概念设计图,然后建模师在概念设计图的基础上制作动漫场景中的各种场景元素的模型,例如地面、建筑和其它实体物品告示,给场景元素的模型添加材质贴图以呈现其色彩和质感,再在动景中添加用于调节场景中的明暗对比和照明效果的不同类型的光源以形成光和影的效果,最后对特效和细节进行优化后输出动漫场景的模型文件供后期渲染和制作,每一个环节都需要长时间的设计、制作和审核,以保证场景内容与剧情相契合。
动漫场景的完整制作流程涉及多个工种的配合与协作,制作流程周期长效率低,且参与制作的任一设计人员对剧情的理解存在偏差都会导致场景设计存在缺陷,例如场景与剧情不匹配或者场景变化不符合逻辑等情况。
发明内容
本发明正是基于上述问题,提出了一种基于文本内容的动漫场景构建系统及方法,能够高效生成与剧情高度契合的动漫场景。
有鉴于此,本发明的第一方面提出了一种基于文本内容的动漫场景构建系统,包括:
剧本内容输入模块,用于输入目标动漫作品的剧本内容,所述剧本内容为包含所述动漫作品中的场景描述、角色对话以及角色动作的文本内容;
环境场景识别模块,用于从所述剧本内容中识别每个剧本场景对应的环境场景,所述剧本场景和所述环境场景具有对应关系;
时间轴构建模块,用于对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景;
描述获取模块,用于从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述;
元素提取模块,用于从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性;
元素识别模块,用于识别每个环境场景中的静态场景元素和动态场景元素;
元素补充模块,用于对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充;
模型生成模块,用于基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型。
本发明的第二方面提出了一种基于文本内容的动漫场景构建方法,包括:
输入目标动漫作品的剧本内容,所述剧本内容为包含所述动漫作品中的场景描述、角色对话以及角色动作的文本内容;
从所述剧本内容中识别每个剧本场景对应的环境场景,所述剧本场景和所述环境场景具有对应关系;
对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景;
从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述;
从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性;
识别每个环境场景中的静态场景元素和动态场景元素;
对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充;
基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型。
进一步的,在上述的基于文本内容的动漫场景构建方法中,从所述剧本内容中识别每个剧本场景对应的环境场景的步骤具体包括:
在所述剧本内容中识别地名名词,所述地名名词是所述剧本内容中用于表示地理位置或者地域范围的名词;
基于所述地名名词在所述剧本内容中的依存关系构建地名树,所述地名树中的每一个节点为一个地名名词;
从所述地名树中提取每一个剧本场景对应的场景地名子树,所述场景地名子树为所述地名树的子集;
将所述地名子树的根节点确定为所述剧本场景对应的环境场景名称。
进一步的,在上述的基于文本内容的动漫场景构建方法中,从所述地名树中提取每一个剧本场景对应的场景地名子树的步骤具体包括:
按照剧本内容与剧本场景的对应关系将所述剧本内容划分为多个场景内容,所述场景内容与所述剧本场景具有一一对应关系;
从所述场景内容的场景描述中提取对应剧本场景的地名列表;
顺序将所述地名列表中的每个地名名词与地名树上的节点进行匹配;
将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点;
在所述地名列表中的每个地名名词均完成匹配之后,在所述节点树上确定匹配节点群组,所述匹配节点群组中的任一节点在同一匹配节点群组中均具有相邻的匹配节点;
确定所述地名列表对应的最大节点群组;
将所述最大节点群组形成的树状结构确定为对应的场景地名子树。
进一步的,在上述的基于文本内容的动漫场景构建方法中,在将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点的步骤之后,还包括:
获取用于确定动漫角色在一个剧情场景中最大活动范围的最小节点深度;
计算每个匹配节点与所述地名树的根节点的距离;
移除与所述地名树的根节点的距离小于所述最小节点深度的匹配节点。
进一步的,在上述的基于文本内容的动漫场景构建方法中,对每一个环境场景构建场景时间轴的步骤具体包括:
基于所述场景内容确定每个剧情场景的场景时间,所述场景时间用于表示所述剧情场景在动漫作品中的时间先后顺序;
根据所述环境场景与所述剧情场景的对应关系生成所述环境场景在所述剧本内容中出现的时间序列Ti,其中i∈[1,nens],nens为所述剧本内容中的环境场景的数量,每个时间序列中Ti包含ni个时间点tij,j∈[1,ni],ni为第i个环境场景对应的剧情场景的数量;
使用所述时间序列Ti生成第i个环境场景的时间轴。
进一步的,在上述的基于文本内容的动漫场景构建方法中,基于所述场景内容确定每个剧情场景的场景时间的步骤具体包括:
从所述场景内容中识别场景时间标签;
将所述场景时间标签中的时间信息确定为对应剧情场景的场景时间;
当所述场景内容中不存在场景时间标签时,从所述场景内容中提取表示时间的时间名词;
从所提取到的时间名词中确定对应剧情场景的场景时间。
进一步的,在上述的基于文本内容的动漫场景构建方法中,在从所提取到的时间名词中确定对应剧情场景的场景时间的步骤之前,还包括:
当任一个场景内容中不存在可以确定为场景时间的时间信息时,将不存在可以确定为场景时间的时间信息的场景内容对应的剧情场景确定为目标剧情场景;
确定在所述剧本内容中位于所述目标剧情场景之前与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第一剧情场景;
确定在所述剧本内容中位于所述目标剧情场景之后与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第二剧情场景;
基于所述第一剧情场景和所述第二剧情场景的场景时间计算所述目标剧情场景的场景时间。
进一步的,在上述的基于文本内容的动漫场景构建方法中,从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性的步骤具体包括:
从所述环境场景描述中提取名词列表;
将所述名称列表中的每个名词与预先构建的物体词库进行匹配以识别出物体名词;
将所述物体名词确定为对应环境场景中的场景元素;
根据所述场景元素对应的物体名词在所述环境场景描述中的依存关系识别所述场景元素的元素属性。
进一步的,在上述的基于文本内容的动漫场景构建方法中,识别每个环境场景中的静态场景元素和动态场景元素的步骤具体包括:
将在每个场景内容中提取得到的场景元素和元素属性关联到所述时间轴上与场景内容相对应的时间点;
在时间轴遍历每一个场景元素的元素属性;
当任一个场景元素的任一元素属性在所述时间轴的不同时间点中存在差异时,将相应的场景元素确定为动态场景元素;
将所述环境场景中的非动态场景元素确定为静态场景元素。
本发明提出了一种基于文本内容的动漫场景构建系统及方法输入目标动漫作品的剧本内容,从所述剧本内容中识别每个剧本场景对应的环境场景,对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景,从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述,从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性,识别每个环境场景中的静态场景元素和动态场景元素,对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充,基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型,能够高效生成与剧情高度契合的动漫场景。
附图说明
图1是本发明一个实施例提供的一种基于文本内容的动漫场景构建系统的示意图;
图2是本发明一个实施例提供的一种基于文本内容的动漫场景构建方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
在本发明的描述中,术语“多个”则指两个或两个以上,除非另有明确的限定,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本说明书的描述中,术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
下面参照附图来描述根据本发明一些实施方式提供的一种基于文本内容的动漫场景构建系统及方法。
如图1所示,本发明的第一方面提出了一种基于文本内容的动漫场景构建系统,包括:
剧本内容输入模块,用于输入目标动漫作品的剧本内容,所述剧本内容为包含所述动漫作品中的场景描述、角色对话以及角色动作的文本内容;
环境场景识别模块,用于从所述剧本内容中识别每个剧本场景对应的环境场景,所述剧本场景和所述环境场景具有对应关系;
时间轴构建模块,用于对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景;
描述获取模块,用于从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述;
元素提取模块,用于从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性;
元素识别模块,用于识别每个环境场景中的静态场景元素和动态场景元素;
元素补充模块,用于对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充;
模型生成模块,用于基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型。
具体的,在所述剧本内容中,除了包含所述动漫作品中的场景描述、角色对话以及角色动作外,还包含有所述动漫作品中的其它必要元素,例如音乐、音效、灯光以及其它说明内容。应当知道的是,本发明所称的动漫场景是指为动漫角色提供活动场所的环境场景,而剧本内容中的场景描述中所称的场景为剧本场景,其可以根据剧本的大纲或者目录分割得到,每一个剧本场景对应所述剧本内容中的一部分文本内容,即为对应剧本场景的场景内容,其除了包含所述环境场景的描述外,往往还包含动漫角色的描述,包括其形象、动作以及心理活动等描述。所述环境场景描述为所述剧本场景的场景描述中关于环境场景的描述。所述剧本场景和所述环境场景具有对应关系具体为一个剧本场景可以对应一个环境场景,而一个环境场景可以对应一个剧本场景或者多个剧本场景,即一个环境场景可能出现在多个剧本场景中,而一个剧本场景中只能有一个环境场景。在一些特殊的剧本写法中,可能会出现在一个场景的呈现过程中发生环境场景的临时切换的情况,例如由于剧情需要的场景切换,或者用插叙的方式临时切换到另一个环境场景中呈现另一关联角色的剧情再切换回来,在这种情况下,不再按照剧本纲目来划分剧本场景,而是根据环境场景的切换将该场景分割为多个剧本场景。
每个环境场景都是由大量的场景元素所组成的,这些场景元素包括地面、天空以及固定或非固定放置在地面上或者漂浮在天空中的物品,例如植物、建筑、云朵以及各种环境道具。场景元素的元素属性是用于描述对应场景元素的位置、形状、姿态、颜色等各种特征的词语。由于环境场景主要起到提供背景画面和烘托环境氛围的作用,同时也为了便于制作,在大多数情况下,环境场景中的各种环境要素的各种属性都是相对固定不发生变化的,因此按照场景元素的元素属性的变化性可以将各个环境场景中的场景元素划分为动态场景元素和静态场景元素,即本发明所称的所述动态场景元素是在所述动漫作品中同一环境场景不同时间点具有不同元素属性的场景元素,所述静态场景元素是所述动态场景元素外的其它场景元素。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述环境场景识别模块包括:
地名名词识别模块,用于在所述剧本内容中识别地名名词,所述地名名词是所述剧本内容中用于表示地理位置或者地域范围的名词;
地名树构建模块,用于基于所述地名名词在所述剧本内容中的依存关系构建地名树,所述地名树中的每一个节点为一个地名名词;
地名子树提取模块,用于从所述地名树中提取每一个剧本场景对应的场景地名子树,所述场景地名子树为所述地名树的子集;
场景名称确定模块,用于将所述地名子树的根节点确定为所述剧本场景对应的环境场景名称。
具体的,在所述剧本内容中识别地名名词的步骤具体为在整个作品的全部剧本内容中识别所有表示地理位置或者地域范围的名词。应当知道的是,除了明确表示地理位置的名词例如XX县、XX城、XX村、XX山之外,在本发明的技术方案中,用于表示特定地域范围的名词也是地名名词,例如“后院”、“凉亭”、“房间”等。
不同的地名名词对应的地理位置覆盖的地域范围各有不同,有的地名名词所覆盖的地域范围是另一个地名名词所覆盖的地域范围的子集,因此两者具有从属关系,例如“客房”所覆盖的地域范围是“客栈”所覆盖的地域范围的子集。基于剧本内容中地名名词在同一句话中的依存关系可以分析得到不同地名名词之间的从属关系,进而基于剧本全文的地名名词之间的从属关系可以逐级构建所述地名树。
地名名词重复是非常常见的情况,即动漫作品的剧本内容中经常出现用同一个地名名词表示多个不同地域范围的情况,在本发明一些实施方式的技术方案中,可以采用同一句话的修饰词来修饰并区分同名地名名词,例如“角色A的客房”、“XX山的山顶”等,也可以采用数字编号的方式来区分无特定修饰词的地名名词,例如“洞穴1”、“洞穴2”等。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述地名子树提取模块包括:
场景内容划分模块,用于按照剧本内容与剧本场景的对应关系将所述剧本内容划分为多个场景内容,所述场景内容与所述剧本场景具有一一对应关系;
地名列表提取模块,用于从所述场景内容的场景描述中提取对应剧本场景的地名列表;
地名名词匹配模块,用于顺序将所述地名列表中的每个地名名词与地名树上的节点进行匹配;
匹配节点确定模块,用于将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点;
节点群组确定模块,用于在所述地名列表中的每个地名名词均完成匹配之后,在所述节点树上确定匹配节点群组,所述匹配节点群组中的任一节点在同一匹配节点群组中均具有相邻的匹配节点;
最大节点群组确定模块,确定所述地名列表对应的最大节点群组;
地名子树确定模块,用于将所述最大节点群组形成的树状结构确定为对应的场景地名子树。
具体的,动漫作品的剧本内容本身就是按照场景来分别进行呈现的,通过所述剧本内容的大纲和章节目录即可将所述剧本内容划分为多个对应不同剧本场景的场景内容。为了清楚呈现剧情中的各个细节,每一个场景内容的场景描述中都会涉及相应的环境场景描述,其中会包含数量不等的当前环境场景或关联环境场景的地名名词,从每一个场景内容中提取出所有的地名名词开成对应剧本场景的地名列表。
所述时间轴的每一个时间点对应一个剧本场景,从剧本内容中获取时间轴上每一个时间点对应的环境场景描述的步骤具体包括从相应剧本场景的场景内容中获取环境场景描述。
所述地名树上与所述地名列表中的地名名词相匹配的节点是指所述地名树上的地名名词与所述地名列表中的地名名词相同的节点。当所述地名树上的两个节点互为父子节点,且两者均为匹配节点时,则称该两个节点为相邻的匹配节点。在本发明的技术方案中,仅考虑具有父子节点关系的节点作为相邻节点,而不考虑同级节点之间的相邻关系,所述同级节点指的是同一个父节点的多个子节点。当一个匹配节点与一个匹配节点群组中的任一个匹配节点均不相邻时,则认为该匹配节点不属于该匹配节点群组。所述最大节点群组是所述地名列表对应的节点群组中包含的节点数最多的节点群组。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述地名子树提取模块还包括:
最小节点深度获取模块,用于获取用于确定动漫角色在一个剧情场景中最大活动范围的最小节点深度;
节点距离计算模块,用于计算每个匹配节点与所述地名树的根节点的距离;
节点移除模块,用于移除与所述地名树的根节点的距离小于所述最小节点深度的匹配节点。
具体的,所述最小节点深度可以为预先配置的数值、由设计人员手动指定的数值或者基于对所述剧本内容的解析得到的数值。在上述实施方式的技术方案中,将所述地名树上的相邻节点之间的距离确定为1,例如A节点为B节点的父节点,则B节点和A节点的距离为1,而B节点为C节点的父节点时,C节点和A节点之间的距离为2,以此类推。在本发明的技术方案中,任一节点往父节点的方向延伸,最终都会与所述地名树的根节点连接,因此不涉及到同级节点的距离计算。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述时间轴构建模块包括:
场景时间确定模块,用于基于所述场景内容确定每个剧情场景的场景时间,所述场景时间用于表示所述剧情场景在动漫作品中的时间先后顺序;
时间序列生成模块,用于根据所述环境场景与所述剧情场景的对应关系生成所述环境场景在所述剧本内容中出现的时间序列Ti,其中i∈[1,nens],nens为所述剧本内容中的环境场景的数量,每个时间序列中Ti包含ni个时间点tij,j∈[1,ni],ni为第i个环境场景对应的剧情场景的数量;
时间轴生成模块,用于使用所述时间序列Ti生成第i个环境场景的时间轴。
由于动漫角色的活动范围在同一个剧本中具有较高的重复性,因此同一个环境场景有可能会反复出现在多个刷情场景当中,本发明采用时间轴的形式呈现每个环境场景在所述剧本内容中的出现时间,进而利用该时间轴来解析所述场景元素的元素属性的变化。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述场景时间确定模块包括:
时间标签识别模块,用于从所述场景内容中识别场景时间标签;
时间信息确定模块,用于将所述场景时间标签中的时间信息确定为对应剧情场景的场景时间;
时间名词提取模块,用于当所述场景内容中不存在场景时间标签时,从所述场景内容中提取表示时间的时间名词;
时间名词确定模块,用于从所提取到的时间名词中确定对应剧情场景的场景时间。
具体的,对于相对规范的剧本内容,其会以特定的标签来标记出当前场景对应的场景时间,根据相应的标签即可识别出剧本内容中的场景时间。对于没有明确标记出场景时间的剧本,需要从其场景内容中识别并提取出每个场景内容中的场景时间,根据动漫作品的故事情节的紧凑程度不同,场景间的时间间隔也会有所差异,因此在剧本内容的场景描述中,有的会以年份来表示场景时间,也有的会以精确到特定时间例如某时某刻某秒的时间来表示场景时间,结合前后场景的场景内容中所记载的时间信息,根据时间格式、时间精度以及时间间隔等参数可以识别并提取出每个场景内容中的场景时间。在本发明一些实施方式的技术方案中,从所提取到的时间名词中确定对应剧情场景的场景时间的步骤具体包括对前后场景内容中的时间名词进行对比,将在前后场景内容中格式、精度以及与相邻场景的时间间隔相近的时间名词确定为所述场景时间。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述场景时间确定模块还包括:
目标剧情场景确定模块,用于当任一个场景内容中不存在可以确定为场景时间的时间信息时,将不存在可以确定为场景时间的时间信息的场景内容对应的剧情场景确定为目标剧情场景;
第一剧情场景确定模块,用于确定在所述剧本内容中位于所述目标剧情场景之前与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第一剧情场景;
第二剧情场景确定模块,用于确定在所述剧本内容中位于所述目标剧情场景之后与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第二剧情场景;
场景时间计算模块,用于基于所述第一剧情场景和所述第二剧情场景的场景时间计算所述目标剧情场景的场景时间。
具体的,每一个动漫作品的剧本内容中的剧情场景的呈现顺序是根据剧情呈现的需要进行确定的,因此剧情场景对应的场景内容在所述剧本内容中的顺序即为其预先确定的呈现顺序,在没有明确指出的情况下,即没有明确给出场景时间的情况下,剧情场景对应的场景内容在剧本内容中一般按照时间顺序放置。因此,在基于所述第一剧情场景和所述第二剧情场景的场景时间计算所述目标剧情场景的场景时间的步骤中,当所述第二剧情场景的场景时间大于所述第一剧情场景的场景时间时,可以将所述目标剧情场景的场景时间确定为所第一剧情场景的场景时间与所述第二剧情场景的场景时间之间的时间,例如当所述第一剧情场景与所述第二剧情场景之间仅包含一个目标剧情场景时,可以将所述目标剧情场景的场景时间确定为所述第一剧情场景与所述第二剧情场景的场景时间的平均值。当所述第一剧情场景与所述第二剧情场景之间包含若干个目标剧情场景时,可以以等间隔排列的方式在所第一剧情场景与所述第二剧情场景的场景时间之间确定所述目标剧情场景的场景时间。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述元素提取模块包括:
名词列表提取模块,用于从所述环境场景描述中提取名词列表;
物体名词识别模块,用于将所述名称列表中的每个名词与预先构建的物体词库进行匹配以识别出物体名词;
场景元素确定模块,用于将所述物体名词确定为对应环境场景中的场景元素;
元素属性识别模块,用于根据所述场景元素对应的物体名词在所述环境场景描述中的依存关系识别所述场景元素的元素属性。
在一些情况下,剧本内容中会针对每个剧情场景给出专门的环境场景描述,通过关键词即可快速在所述场景内容中提取到相应的环境场景描述。在另一些情况下,为了简化剧本结构,有些剧本中会直接将环境场景描述嵌入到剧情当中,对于一些与之前的剧情场景相同的环境场景,可能在剧本内容中会被省略掉。在本发明另一些实施方式的技术方案中,对于难以在所述场景内容中识别出环境场景描述的内容的情况下,可以直接从所述场景内容中提取名词列表。
所述物体词库可以在通用词库的基础上筛选物体名词进行构建,也可以在一些开源词库的基础上微调得到,例如Freebase数据库中的对象词表,包含了大量各类物品、食物、工具等物体名词。
进一步的,在上述的基于文本内容的动漫场景构建系统中,所述元素识别模块包括:
时间轴关联模块,用于将在每个场景内容中提取得到的场景元素和元素属性关联到所述时间轴上与场景内容相对应的时间点;
元素属性遍历模块,用于在时间轴遍历每一个场景元素的元素属性;
动态元素确定模块,用于当任一个场景元素的任一元素属性在所述时间轴的不同时间点中存在差异时,将相应的场景元素确定为动态场景元素;
静态元素确定模块,用于将所述环境场景中的非动态场景元素确定为静态场景元素。
如前所述,有些剧本中并不会在每个剧情场景的场景内容中对环境场景进行完整描述,只会对发生过变化的场景元素进行说明。在本发明一些实施方式的技术方案中,对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充的步骤具体包括:
将同一环境场景中的静态场景元素及其元素属性复制到该环境场景的时间轴的其它时间点;
将所述时间轴上任一时间点的动态场景元素未发生变化的元素属性复制到下一个时间点;
当所述时间轴上任一个时间点上的一个动态场景元素的所有元素属性相比于上一个时间点均没有发生变化时,将上一时间点的动态场景元素及其元素属性复制到该时间点。
基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型的步骤具体包括:
确定剧情场景与环境场景的时间轴上的时间点的对应关系;
获取对应时间点中的静态场景元素、动态场景元素及相应的元素属性;
将静态场景元素、动态场景元素及相应的元素属性输入到预先训练好的环境场景生成模型中生成所述动漫场景模型。
具体的,所述环境场景生成模型可以使用以下方法训练得到:
收集大量的文本描述和对应的立体场景数据作为训练集,所述文本描述涵盖场景元素信息、元素属性信息,所述立体场景数据包含场景元素模型的形状、姿态、位置以及动作;
使用自然语言模型将所述文本描述编码成第一特征向量;
使用图神经网络将所述立体场景数据编码成第二特征向量;
将所第一特征向量和所述第二特征向量输入到生成模型进行训练得到所述环境场景生成模型,所述生成模型可以是GAN(Generative Adversarial Networks,生成式对抗网)模型。
将静态场景元素、动态场景元素及相应的元素属性输入到预先训练好的环境场景生成模型中生成所述动漫场景模型的就骤具体包括:
将静态场景元素、动态场景元素及相应的元素属性编码为第三特征向量;
将所述第三特征向量输入训练好的环境场景生成模型得到其对应的立体场景特征;
将所述立体场景特征解码为具体的立体场景数据,包含场景元素模型的形状、姿态、位置以及动作;
将所述立体场景数据导入渲染工具生成对应的动漫场景模型。
在上述实方式的技术方案中,算法上使用编码器-解码器结构,通过文本描述与立体场景的数据集进行配对训练,学习二者的映射关系,然后利用训练好的生成模型进行立体场景的自动生成。进一步的,可以通过更多的样本数据持续优化所述环境场景生成模型以提高生成效果的逼真度、细节和多样性。
如图2所示,本发明的第二方面提出了一种基于文本内容的动漫场景构建方法,包括:
输入目标动漫作品的剧本内容,所述剧本内容为包含所述动漫作品中的场景描述、角色对话以及角色动作的文本内容;
从所述剧本内容中识别每个剧本场景对应的环境场景,所述剧本场景和所述环境场景具有对应关系;
对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景;
从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述;
从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性;
识别每个环境场景中的静态场景元素和动态场景元素;
对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充;
基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型。
具体的,在所述剧本内容中,除了包含所述动漫作品中的场景描述、角色对话以及角色动作外,还包含有所述动漫作品中的其它必要元素,例如音乐、音效、灯光以及其它说明内容。应当知道的是,本发明所称的动漫场景是指为动漫角色提供活动场所的环境场景,而剧本内容中的场景描述中所称的场景为剧本场景,其可以根据剧本的大纲或者目录分割得到,每一个剧本场景对应所述剧本内容中的一部分文本内容,即为对应剧本场景的场景内容,其除了包含所述环境场景的描述外,往往还包含动漫角色的描述,包括其形象、动作以及心理活动等描述。所述环境场景描述为所述剧本场景的场景描述中关于环境场景的描述。所述剧本场景和所述环境场景具有对应关系具体为一个剧本场景可以对应一个环境场景,而一个环境场景可以对应一个剧本场景或者多个剧本场景,即一个环境场景可能出现在多个剧本场景中,而一个剧本场景中只能有一个环境场景。在一些特殊的剧本写法中,可能会出现在一个场景的呈现过程中发生环境场景的临时切换的情况,例如由于剧情需要的场景切换,或者用插叙的方式临时切换到另一个环境场景中呈现另一关联角色的剧情再切换回来,在这种情况下,不再按照剧本纲目来划分剧本场景,而是根据环境场景的切换将该场景分割为多个剧本场景。
每个环境场景都是由大量的场景元素所组成的,这些场景元素包括地面、天空以及固定或非固定放置在地面上或者漂浮在天空中的物品,例如植物、建筑、云朵以及各种环境道具。场景元素的元素属性是用于描述对应场景元素的位置、形状、姿态、颜色等各种特征的词语。由于环境场景主要起到提供背景画面和烘托环境氛围的作用,同时也为了便于制作,在大多数情况下,环境场景中的各种环境要素的各种属性都是相对固定不发生变化的,因此按照场景元素的元素属性的变化性可以将各个环境场景中的场景元素划分为动态场景元素和静态场景元素,即本发明所称的所述动态场景元素是在所述动漫作品中同一环境场景不同时间点具有不同元素属性的场景元素,所述静态场景元素是所述动态场景元素外的其它场景元素。
进一步的,在上述的基于文本内容的动漫场景构建方法中,从所述剧本内容中识别每个剧本场景对应的环境场景的步骤具体包括:
在所述剧本内容中识别地名名词,所述地名名词是所述剧本内容中用于表示地理位置或者地域范围的名词;
基于所述地名名词在所述剧本内容中的依存关系构建地名树,所述地名树中的每一个节点为一个地名名词;
从所述地名树中提取每一个剧本场景对应的场景地名子树,所述场景地名子树为所述地名树的子集;
将所述地名子树的根节点确定为所述剧本场景对应的环境场景名称。
具体的,在所述剧本内容中识别地名名词的步骤具体为在整个作品的全部剧本内容中识别所有表示地理位置或者地域范围的名词。应当知道的是,除了明确表示地理位置的名词例如XX县、XX城、XX村、XX山之外,在本发明的技术方案中,用于表示特定地域范围的名词也是地名名词,例如“后院”、“凉亭”、“房间”等。
不同的地名名词对应的地理位置覆盖的地域范围各有不同,有的地名名词所覆盖的地域范围是另一个地名名词所覆盖的地域范围的子集,因此两者具有从属关系,例如“客房”所覆盖的地域范围是“客栈”所覆盖的地域范围的子集。基于剧本内容中地名名词在同一句话中的依存关系可以分析得到不同地名名词之间的从属关系,进而基于剧本全文的地名名词之间的从属关系可以逐级构建所述地名树。
地名名词重复是非常常见的情况,即动漫作品的剧本内容中经常出现用同一个地名名词表示多个不同地域范围的情况,在本发明一些实施方式的技术方案中,可以采用同一句话的修饰词来修饰并区分同名地名名词,例如“角色A的客房”、“XX山的山顶”等,也可以采用数字编号的方式来区分无特定修饰词的地名名词,例如“洞穴1”、“洞穴2”等。
进一步的,在上述的基于文本内容的动漫场景构建方法中,从所述地名树中提取每一个剧本场景对应的场景地名子树的步骤具体包括:
按照剧本内容与剧本场景的对应关系将所述剧本内容划分为多个场景内容,所述场景内容与所述剧本场景具有一一对应关系;
从所述场景内容的场景描述中提取对应剧本场景的地名列表;
顺序将所述地名列表中的每个地名名词与地名树上的节点进行匹配;
将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点;
在所述地名列表中的每个地名名词均完成匹配之后,在所述节点树上确定匹配节点群组,所述匹配节点群组中的任一节点在同一匹配节点群组中均具有相邻的匹配节点;
确定所述地名列表对应的最大节点群组;
将所述最大节点群组形成的树状结构确定为对应的场景地名子树。
具体的,动漫作品的剧本内容本身就是按照场景来分别进行呈现的,通过所述剧本内容的大纲和章节目录即可将所述剧本内容划分为多个对应不同剧本场景的场景内容。为了清楚呈现剧情中的各个细节,每一个场景内容的场景描述中都会涉及相应的环境场景描述,其中会包含数量不等的当前环境场景或关联环境场景的地名名词,从每一个场景内容中提取出所有的地名名词开成对应剧本场景的地名列表。
所述时间轴的每一个时间点对应一个剧本场景,从剧本内容中获取时间轴上每一个时间点对应的环境场景描述的步骤具体包括从相应剧本场景的场景内容中获取环境场景描述。
所述地名树上与所述地名列表中的地名名词相匹配的节点是指所述地名树上的地名名词与所述地名列表中的地名名词相同的节点。当所述地名树上的两个节点互为父子节点,且两者均为匹配节点时,则称该两个节点为相邻的匹配节点。在本发明的技术方案中,仅考虑具有父子节点关系的节点作为相邻节点,而不考虑同级节点之间的相邻关系,所述同级节点指的是同一个父节点的多个子节点。当一个匹配节点与一个匹配节点群组中的任一个匹配节点均不相邻时,则认为该匹配节点不属于该匹配节点群组。所述最大节点群组是所述地名列表对应的节点群组中包含的节点数最多的节点群组。
进一步的,在上述的基于文本内容的动漫场景构建方法中,在将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点的步骤之后,还包括:
获取用于确定动漫角色在一个剧情场景中最大活动范围的最小节点深度;
计算每个匹配节点与所述地名树的根节点的距离;
移除与所述地名树的根节点的距离小于所述最小节点深度的匹配节点。
具体的,所述最小节点深度可以为预先配置的数值、由设计人员手动指定的数值或者基于对所述剧本内容的解析得到的数值。在上述实施方式的技术方案中,将所述地名树上的相邻节点之间的距离确定为1,例如A节点为B节点的父节点,则B节点和A节点的距离为1,而B节点为C节点的父节点时,C节点和A节点之间的距离为2,以此类推。在本发明的技术方案中,任一节点往父节点的方向延伸,最终都会与所述地名树的根节点连接,因此不涉及到同级节点的距离计算。
进一步的,在上述的基于文本内容的动漫场景构建方法中,对每一个环境场景构建场景时间轴的步骤具体包括:
基于所述场景内容确定每个剧情场景的场景时间,所述场景时间用于表示所述剧情场景在动漫作品中的时间先后顺序;
根据所述环境场景与所述剧情场景的对应关系生成所述环境场景在所述剧本内容中出现的时间序列Ti,其中i∈[1,nens],nens为所述剧本内容中的环境场景的数量,每个时间序列中Ti包含ni个时间点tij,j∈[1,ni],ni为第i个环境场景对应的剧情场景的数量;
使用所述时间序列Ti生成第i个环境场景的时间轴。
由于动漫角色的活动范围在同一个剧本中具有较高的重复性,因此同一个环境场景有可能会反复出现在多个刷情场景当中,本发明采用时间轴的形式呈现每个环境场景在所述剧本内容中的出现时间,进而利用该时间轴来解析所述场景元素的元素属性的变化。
进一步的,在上述的基于文本内容的动漫场景构建方法中,基于所述场景内容确定每个剧情场景的场景时间的步骤具体包括:
从所述场景内容中识别场景时间标签;
将所述场景时间标签中的时间信息确定为对应剧情场景的场景时间;
当所述场景内容中不存在场景时间标签时,从所述场景内容中提取表示时间的时间名词;
从所提取到的时间名词中确定对应剧情场景的场景时间。
具体的,对于相对规范的剧本内容,其会以特定的标签来标记出当前场景对应的场景时间,根据相应的标签即可识别出剧本内容中的场景时间。对于没有明确标记出场景时间的剧本,需要从其场景内容中识别并提取出每个场景内容中的场景时间,根据动漫作品的故事情节的紧凑程度不同,场景间的时间间隔也会有所差异,因此在剧本内容的场景描述中,有的会以年份来表示场景时间,也有的会以精确到特定时间例如某时某刻某秒的时间来表示场景时间,结合前后场景的场景内容中所记载的时间信息,根据时间格式、时间精度以及时间间隔等参数可以识别并提取出每个场景内容中的场景时间。在本发明一些实施方式的技术方案中,从所提取到的时间名词中确定对应剧情场景的场景时间的步骤具体包括对前后场景内容中的时间名词进行对比,将在前后场景内容中格式、精度以及与相邻场景的时间间隔相近的时间名词确定为所述场景时间。
进一步的,在上述的基于文本内容的动漫场景构建方法中,在从所提取到的时间名词中确定对应剧情场景的场景时间的步骤之前,还包括:
当任一个场景内容中不存在可以确定为场景时间的时间信息时,将不存在可以确定为场景时间的时间信息的场景内容对应的剧情场景确定为目标剧情场景;
确定在所述剧本内容中位于所述目标剧情场景之前与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第一剧情场景;
确定在所述剧本内容中位于所述目标剧情场景之后与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第二剧情场景;
基于所述第一剧情场景和所述第二剧情场景的场景时间计算所述目标剧情场景的场景时间。
具体的,每一个动漫作品的剧本内容中的剧情场景的呈现顺序是根据剧情呈现的需要进行确定的,因此剧情场景对应的场景内容在所述剧本内容中的顺序即为其预先确定的呈现顺序,在没有明确指出的情况下,即没有明确给出场景时间的情况下,剧情场景对应的场景内容在剧本内容中一般按照时间顺序放置。因此,在基于所述第一剧情场景和所述第二剧情场景的场景时间计算所述目标剧情场景的场景时间的步骤中,当所述第二剧情场景的场景时间大于所述第一剧情场景的场景时间时,可以将所述目标剧情场景的场景时间确定为所第一剧情场景的场景时间与所述第二剧情场景的场景时间之间的时间,例如当所述第一剧情场景与所述第二剧情场景之间仅包含一个目标剧情场景时,可以将所述目标剧情场景的场景时间确定为所述第一剧情场景与所述第二剧情场景的场景时间的平均值。当所述第一剧情场景与所述第二剧情场景之间包含若干个目标剧情场景时,可以以等间隔排列的方式在所第一剧情场景与所述第二剧情场景的场景时间之间确定所述目标剧情场景的场景时间。
进一步的,在上述的基于文本内容的动漫场景构建方法中,从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性的步骤具体包括:
从所述环境场景描述中提取名词列表;
将所述名称列表中的每个名词与预先构建的物体词库进行匹配以识别出物体名词;
将所述物体名词确定为对应环境场景中的场景元素;
根据所述场景元素对应的物体名词在所述环境场景描述中的依存关系识别所述场景元素的元素属性。
在一些情况下,剧本内容中会针对每个剧情场景给出专门的环境场景描述,通过关键词即可快速在所述场景内容中提取到相应的环境场景描述。在另一些情况下,为了简化剧本结构,有些剧本中会直接将环境场景描述嵌入到剧情当中,对于一些与之前的剧情场景相同的环境场景,可能在剧本内容中会被省略掉。在本发明另一些实施方式的技术方案中,对于难以在所述场景内容中识别出环境场景描述的内容的情况下,可以直接从所述场景内容中提取名词列表。
所述物体词库可以在通用词库的基础上筛选物体名词进行构建,也可以在一些开源词库的基础上微调得到,例如Freebase数据库中的对象词表,包含了大量各类物品、食物、工具等物体名词。
进一步的,在上述的基于文本内容的动漫场景构建方法中,识别每个环境场景中的静态场景元素和动态场景元素的步骤具体包括:
将在每个场景内容中提取得到的场景元素和元素属性关联到所述时间轴上与场景内容相对应的时间点;
在时间轴遍历每一个场景元素的元素属性;
当任一个场景元素的任一元素属性在所述时间轴的不同时间点中存在差异时,将相应的场景元素确定为动态场景元素;
将所述环境场景中的非动态场景元素确定为静态场景元素。
如前所述,有些剧本中并不会在每个剧情场景的场景内容中对环境场景进行完整描述,只会对发生过变化的场景元素进行说明。在本发明一些实施方式的技术方案中,对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充的步骤具体包括:
将同一环境场景中的静态场景元素及其元素属性复制到该环境场景的时间轴的其它时间点;
将所述时间轴上任一时间点的动态场景元素未发生变化的元素属性复制到下一个时间点;
当所述时间轴上任一个时间点上的一个动态场景元素的所有元素属性相比于上一个时间点均没有发生变化时,将上一时间点的动态场景元素及其元素属性复制到该时间点。
基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型的步骤具体包括:
确定剧情场景与环境场景的时间轴上的时间点的对应关系;
获取对应时间点中的静态场景元素、动态场景元素及相应的元素属性;
将静态场景元素、动态场景元素及相应的元素属性输入到预先训练好的环境场景生成模型中生成所述动漫场景模型。
具体的,所述环境场景生成模型可以使用以下方法训练得到:
收集大量的文本描述和对应的立体场景数据作为训练集,所述文本描述涵盖场景元素信息、元素属性信息,所述立体场景数据包含场景元素模型的形状、姿态、位置以及动作;
使用自然语言模型将所述文本描述编码成第一特征向量;
使用图神经网络将所述立体场景数据编码成第二特征向量;
将所第一特征向量和所述第二特征向量输入到生成模型进行训练得到所述环境场景生成模型,所述生成模型可以是GAN(Generative Adversarial Networks,生成式对抗网)模型。
将静态场景元素、动态场景元素及相应的元素属性输入到预先训练好的环境场景生成模型中生成所述动漫场景模型的就骤具体包括:
将静态场景元素、动态场景元素及相应的元素属性编码为第三特征向量;
将所述第三特征向量输入训练好的环境场景生成模型得到其对应的立体场景特征;
将所述立体场景特征解码为具体的立体场景数据,包含场景元素模型的形状、姿态、位置以及动作;
将所述立体场景数据导入渲染工具生成对应的动漫场景模型。
在上述实方式的技术方案中,算法上使用编码器-解码器结构,通过文本描述与立体场景的数据集进行配对训练,学习二者的映射关系,然后利用训练好的生成模型进行立体场景的自动生成。进一步的,可以通过更多的样本数据持续优化所述环境场景生成模型以提高生成效果的逼真度、细节和多样性。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.一种基于文本内容的动漫场景构建系统,其特征在于,包括:
剧本内容输入模块,用于输入目标动漫作品的剧本内容,所述剧本内容为包含所述动漫作品中的场景描述、角色对话以及角色动作的文本内容;
环境场景识别模块,用于从所述剧本内容中识别每个剧本场景对应的环境场景,所述剧本场景和所述环境场景具有对应关系;
时间轴构建模块,用于对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景;
描述获取模块,用于从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述;
元素提取模块,用于从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性;
元素识别模块,用于识别每个环境场景中的静态场景元素和动态场景元素;
元素补充模块,用于对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充;
模型生成模块,用于基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型;
所述环境场景识别模块包括:
地名名词识别模块,用于在所述剧本内容中识别地名名词,所述地名名词是所述剧本内容中用于表示地理位置或者地域范围的名词;
地名树构建模块,用于基于所述地名名词在所述剧本内容中的依存关系构建地名树,所述地名树中的每一个节点为一个地名名词;
地名子树提取模块,用于从所述地名树中提取每一个剧本场景对应的场景地名子树,所述场景地名子树为所述地名树的子集;
场景名称确定模块,用于将所述地名子树的根节点确定为所述剧本场景对应的环境场景名称。
2.一种基于文本内容的动漫场景构建方法,其特征在于,包括:
输入目标动漫作品的剧本内容,所述剧本内容为包含所述动漫作品中的场景描述、角色对话以及角色动作的文本内容;
从所述剧本内容中识别每个剧本场景对应的环境场景,所述剧本场景和所述环境场景具有对应关系;
对每一个环境场景构建场景时间轴,所述时间轴上的每一个时间点对应所述剧本内容中的一个剧本场景;
从剧本内容中获取时间轴上每一个时间点的场景内容中对应的环境场景描述;
从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性;
识别每个环境场景中的静态场景元素和动态场景元素;
对所述时间轴上的每一个时间点对应的环境场景执行场景元素补充;
基于所述静态场景元素和所述动态场景元素生成每一个环境场景的动漫场景模型;
从所述剧本内容中识别每个剧本场景对应的环境场景的步骤具体包括:
在所述剧本内容中识别地名名词,所述地名名词是所述剧本内容中用于表示地理位置或者地域范围的名词;
基于所述地名名词在所述剧本内容中的依存关系构建地名树,所述地名树中的每一个节点为一个地名名词;
从所述地名树中提取每一个剧本场景对应的场景地名子树,所述场景地名子树为所述地名树的子集;
将所述地名子树的根节点确定为所述剧本场景对应的环境场景名称。
3.根据权利要求2所述的基于文本内容的动漫场景构建方法,其特征在于,从所述地名树中提取每一个剧本场景对应的场景地名子树的步骤具体包括:
按照剧本内容与剧本场景的对应关系将所述剧本内容划分为多个场景内容,所述场景内容与所述剧本场景具有一一对应关系;
从所述场景内容的场景描述中提取对应剧本场景的地名列表;
顺序将所述地名列表中的每个地名名词与地名树上的节点进行匹配;
将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点;
在所述地名列表中的每个地名名词均完成匹配之后,在所述地名树上确定匹配节点群组,所述匹配节点群组中的任一节点在同一匹配节点群组中均具有相邻的匹配节点;
确定所述地名列表对应的最大节点群组;
将所述最大节点群组形成的树状结构确定为对应的场景地名子树。
4.根据权利要求3所述的基于文本内容的动漫场景构建方法,其特征在于,在将所述地名树上与所述地名列表中的地名名词相匹配的节点确定为匹配节点的步骤之后,还包括:
获取用于确定动漫角色在一个剧情场景中最大活动范围的最小节点深度;
计算每个匹配节点与所述地名树的根节点的距离;
移除与所述地名树的根节点的距离小于所述最小节点深度的匹配节点。
5.根据权利要求3所述的基于文本内容的动漫场景构建方法,其特征在于,对每一个环境场景构建场景时间轴的步骤具体包括:
基于所述场景内容确定每个剧情场景的场景时间,所述场景时间用于表示所述剧情场景在动漫作品中的时间先后顺序;
根据所述环境场景与所述剧情场景的对应关系生成所述环境场景在所述剧本内容中出现的时间序列,其中/>,/>为所述剧本内容中的环境场景的数量,每个时间序列中/>包含/>个时间点/>,/>,/>为第/>个环境场景对应的剧情场景的数量;
使用所述时间序列生成第/>个环境场景的时间轴。
6.根据权利要求5所述的基于文本内容的动漫场景构建方法,其特征在于,基于所述场景内容确定每个剧情场景的场景时间的步骤具体包括:
从所述场景内容中识别场景时间标签;
将所述场景时间标签中的时间信息确定为对应剧情场景的场景时间;
当所述场景内容中不存在场景时间标签时,从所述场景内容中提取表示时间的时间名词;
从所提取到的时间名词中确定对应剧情场景的场景时间。
7.根据权利要求6所述的基于文本内容的动漫场景构建方法,其特征在于,在从所提取到的时间名词中确定对应剧情场景的场景时间的步骤之前,还包括:
当任一个场景内容中不存在可以确定为场景时间的时间信息时,将不存在可以确定为场景时间的时间信息的场景内容对应的剧情场景确定为目标剧情场景;
确定在所述剧本内容中位于所述目标剧情场景之前与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第一剧情场景;
确定在所述剧本内容中位于所述目标剧情场景之后与所述目标剧情场景最近的存在可以确定为场景时间的时间信息的第二剧情场景;
基于所述第一剧情场景和所述第二剧情场景的场景时间计算所述目标剧情场景的场景时间。
8.根据权利要求2所述的基于文本内容的动漫场景构建方法,其特征在于,从所述环境场景描述中提取对应环境场景中的场景元素和每个场景元素的元素属性的步骤具体包括:
从所述环境场景描述中提取名词列表;
将所述名词列表中的每个名词与预先构建的物体词库进行匹配以识别出物体名词;
将所述物体名词确定为对应环境场景中的场景元素;
根据所述场景元素对应的物体名词在所述环境场景描述中的依存关系识别所述场景元素的元素属性。
9.根据权利要求8所述的基于文本内容的动漫场景构建方法,其特征在于,识别每个环境场景中的静态场景元素和动态场景元素的步骤具体包括:
将在每个场景内容中提取得到的场景元素和元素属性关联到所述时间轴上与场景内容相对应的时间点;
在时间轴遍历每一个场景元素的元素属性;
当任一个场景元素的任一元素属性在所述时间轴的不同时间点中存在差异时,将相应的场景元素确定为动态场景元素;
将所述环境场景中的非动态场景元素确定为静态场景元素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311282827.1A CN117237486B (zh) | 2023-09-27 | 2023-09-27 | 一种基于文本内容的动漫场景构建系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311282827.1A CN117237486B (zh) | 2023-09-27 | 2023-09-27 | 一种基于文本内容的动漫场景构建系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237486A CN117237486A (zh) | 2023-12-15 |
CN117237486B true CN117237486B (zh) | 2024-05-28 |
Family
ID=89094668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311282827.1A Active CN117237486B (zh) | 2023-09-27 | 2023-09-27 | 一种基于文本内容的动漫场景构建系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237486B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7664313B1 (en) * | 2000-10-23 | 2010-02-16 | At&T Intellectual Property Ii, L.P. | Text-to scene conversion |
US9106812B1 (en) * | 2011-12-29 | 2015-08-11 | Amazon Technologies, Inc. | Automated creation of storyboards from screenplays |
CN107798726A (zh) * | 2017-11-14 | 2018-03-13 | 杭州玉鸟科技有限公司 | 三维漫画的制作方法和装置 |
CN108470367A (zh) * | 2018-04-02 | 2018-08-31 | 宁德师范学院 | 一种基于文字剧本生成动画的方法及系统 |
CN110597086A (zh) * | 2019-08-19 | 2019-12-20 | 深圳元戎启行科技有限公司 | 仿真场景生成方法和无人驾驶系统测试方法 |
CN111353314A (zh) * | 2020-02-28 | 2020-06-30 | 长沙千博信息技术有限公司 | 一种用于动漫生成的故事文本语义分析方法 |
CN113505212A (zh) * | 2021-07-30 | 2021-10-15 | 北京华录新媒信息技术有限公司 | 一种智能化漫画生成系统及方法 |
CN114022596A (zh) * | 2021-11-02 | 2022-02-08 | 上海交通大学 | 动画场景的自动生成系统 |
CN115759048A (zh) * | 2022-11-30 | 2023-03-07 | 北京海马轻帆娱乐科技有限公司 | 一种剧本文本处理方法及装置 |
CN115830191A (zh) * | 2023-01-10 | 2023-03-21 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试场景动画视频生成方法及相关装置 |
CN116361510A (zh) * | 2022-10-24 | 2023-06-30 | 中国传媒大学 | 一种利用影视类作品和剧本建立剧本场景片段视频自动提取和检索的方法和装置 |
CN116401404A (zh) * | 2023-04-07 | 2023-07-07 | 深圳市鼎信鸿达科技有限公司 | 一种视频生成方法及视频生成平台 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101652009B1 (ko) * | 2009-03-17 | 2016-08-29 | 삼성전자주식회사 | 웹 텍스트의 영상화 장치 및 방법 |
-
2023
- 2023-09-27 CN CN202311282827.1A patent/CN117237486B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7664313B1 (en) * | 2000-10-23 | 2010-02-16 | At&T Intellectual Property Ii, L.P. | Text-to scene conversion |
US9106812B1 (en) * | 2011-12-29 | 2015-08-11 | Amazon Technologies, Inc. | Automated creation of storyboards from screenplays |
CN107798726A (zh) * | 2017-11-14 | 2018-03-13 | 杭州玉鸟科技有限公司 | 三维漫画的制作方法和装置 |
CN108470367A (zh) * | 2018-04-02 | 2018-08-31 | 宁德师范学院 | 一种基于文字剧本生成动画的方法及系统 |
CN110597086A (zh) * | 2019-08-19 | 2019-12-20 | 深圳元戎启行科技有限公司 | 仿真场景生成方法和无人驾驶系统测试方法 |
CN111353314A (zh) * | 2020-02-28 | 2020-06-30 | 长沙千博信息技术有限公司 | 一种用于动漫生成的故事文本语义分析方法 |
CN113505212A (zh) * | 2021-07-30 | 2021-10-15 | 北京华录新媒信息技术有限公司 | 一种智能化漫画生成系统及方法 |
CN114022596A (zh) * | 2021-11-02 | 2022-02-08 | 上海交通大学 | 动画场景的自动生成系统 |
CN116361510A (zh) * | 2022-10-24 | 2023-06-30 | 中国传媒大学 | 一种利用影视类作品和剧本建立剧本场景片段视频自动提取和检索的方法和装置 |
CN115759048A (zh) * | 2022-11-30 | 2023-03-07 | 北京海马轻帆娱乐科技有限公司 | 一种剧本文本处理方法及装置 |
CN115830191A (zh) * | 2023-01-10 | 2023-03-21 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试场景动画视频生成方法及相关装置 |
CN116401404A (zh) * | 2023-04-07 | 2023-07-07 | 深圳市鼎信鸿达科技有限公司 | 一种视频生成方法及视频生成平台 |
Non-Patent Citations (2)
Title |
---|
基于剧本及字幕信息的视频分割方法;李松斌;王玲芳;王劲林;;计算机工程;20100805(15);211-213 * |
浅析场景设计在动漫游戏中的运用;张骏申;;商场现代化;20120601(16);43 * |
Also Published As
Publication number | Publication date |
---|---|
CN117237486A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Srinivasan et al. | Biases in generative art: A causal look from the lens of art history | |
CN109614842A (zh) | 用于识别候选视频插入对象类型的机器学习 | |
CN107807986B (zh) | 一种描述地物空间关系语义的遥感影像智能理解的方法 | |
CN111488931A (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
CN110188454A (zh) | 建筑设备与建筑信息模型匹配方法及装置 | |
WO2020136959A1 (ja) | マンガ生成システムおよびマンガ生成方法 | |
CN107748744A (zh) | 一种勾勒框知识库的建立方法及装置 | |
CN108509567B (zh) | 一种数字文化内容库搭建的方法及装置 | |
CN112559676B (zh) | 相似题目的检索方法、装置及计算机存储介质 | |
Mercuriali | Digital art history and the computational imagination | |
CN117077679B (zh) | 命名实体识别方法和装置 | |
CN113901263A (zh) | 一种视频素材的标签生成方法及装置 | |
CN117237486B (zh) | 一种基于文本内容的动漫场景构建系统及方法 | |
CN112507931B (zh) | 一种基于深度学习的信息图表序列检测方法及系统 | |
Adão | Ontology-based procedural modelling of traversable buildings composed by arbitrary shapes | |
CN115836288A (zh) | 用于生成训练数据的方法以及装置 | |
Sra et al. | Deepspace: Mood-based image texture generation for virtual reality from music | |
CN113822521A (zh) | 题库题目的质量检测方法、装置及存储介质 | |
CN114021541A (zh) | 演示文稿生成方法、装置、设备及存储介质 | |
KR20100102515A (ko) | 디지털 액터의 감성을 자동으로 표현하는 방법 및 시스템 | |
CN108536685A (zh) | 信息处理装置 | |
Horáková et al. | Computer Graphic Re-visited | |
Cepeda | Neutrosophic Decision Map for critical success factors prioritization in a museum of religious Art | |
Benefiel et al. | Documenting Ancient Graffiti: Text, Image, Support and Access | |
Nathan et al. | Creative Differences? Measuring creative economy employment in the US and UK using microdata |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |