CN109584354A

CN109584354A - 一种文景转换中交互式场景的生成方法

Info

Publication number: CN109584354A
Application number: CN201811313371.XA
Authority: CN
Inventors: 杨富平; 黄跃川
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2018-11-06
Filing date: 2018-11-06
Publication date: 2019-04-05

Abstract

本发明请求保护一种文景转换中交互式场景的生成方法。该方法包括：步骤一，建立初始场景状态集记录初始场景信息；步骤二，建立高级语义操作集；步骤三，对交互式文本做自然语言处理生成操作序列；步骤四，解析操作序列，确定操作类型、对象的空间关系及其属性等；步骤五，消除交互文本中涉及的指示代词以及集合名词的模糊语义，结合初始场景和空间知识推导交互操作中缺损或隐含的实体和空间关系；步骤六，根据交互操作对初始场景进行重构；步骤七，结合3D模型库和空间知识库生成新的场景。本发明解决了当前文景转换研究中缺乏用户交互和反馈以及场景单一的问题。

Description

一种文景转换中交互式场景的生成方法

技术领域

本发明属于文本可视化领域，尤其涉及一种文景转换中交互式场景生成的方法。

背景技术

文景转换即是指从自然语言的文本描述自动生成可视化场景的过程，宏观上可以分解为文本描述的自然语言处理、文本到场景映射关系的建立和可视化场景生成三个部分。自然语言处理部分，利用自然语言处理的技术让计算机具备识别文本的能力；文本到场景的映射部分，需结合空间知识和场景布局的知识构建场景模型；场景可视化部分，通过搭建3D模型库的思想，借助可视化工具平台可视化文本场景。然而，由于常识事实、空间知识和约束关系等信息很难用自然语言描述，致使计算机对自然语言处理的能力达不到人对文本的理解能力，导致当前的文景转换系统生成的场景粗糙、过度一致化、缺乏用户反馈等问题。

根据国内外对文景转换的相关研究，当前研究主流的方向有如下两种：一、借助自然语言处理的技术，放宽场景描述文本的限制，用更自然的语言输入，处理更丰富的文本，以提取出更多的实体、空间知识和约束关系等可视化信息，进而生成更符合人类审美的场景；二、自动学习的文景转换系统开发，让系统具备学习能力，自动的学习场景布局、空间知识、常识知识以及对象的约束关系等。

本文旨在解决上述场景粗糙、过度单一等问题，提出一种交互式场景生成的方法。在已有文景转换的基础上增加文本交互接口，用于用户和系统交互。交互，不仅可以让用户参与场景生成展示个人的创作性，而且文景转换系统可以学习构建场景的空间知识、常识事实、约束关系，使生成的场景更趋近人类的审美。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种使生成的场景更趋近人类的审美的文景转换中交互式场景的生成方法。本发明的技术方案如下：

一种文景转换中交互式场景的生成方法，其包括以下步骤：

1)、建立用于表示初始场景信息的初始状态集；

2)、基于语法和语用规则分析并归纳常用交互动作的语言描述，针对场景状态构建高级操作语义集；

3)、对交互式文本做自然语言处理生成操作序列；

4)、利用步骤2)中的高级语义操作集解析步骤3)的操作序列得到操作解析序列；

5)、消除交互文本中涉及的指示代词以及集合名词的模糊语义，结合初始场景和空间知识推导交互操作中缺损或隐含的实体和空间关系，修正步骤4)的操作解析序列，确定交互操作集；

6)、利用步骤5)的交互操作集对初始场景进行重构，构建交互后的场景模型；

7)、借助可视化工具和3D模型库将交互后的场景模型可视化，生成交互后的三维场景。

进一步的，所属步骤1)建立初始场景状态集，具体包括：场景信息由一个四元组表示：

Z＝(S,Sel,ViewP,C)

Z表示当前场景的状态，用于记录当前场景信息；S表示候选场景，用于记录当前场景类型、背景信息；Sel表示初始场景中可选的对象，Sel＝{obj₁,…,obj_n},obj_i＝{A,Num}表示场景中一个可操作的实体对象,其中 A(attribute):表示操作对象自身的实体属性，A＝{color,texture,size,shape， orientation}表示颜色、纹理、大小尺寸、形状，Num表示场景中对应实体的个数；ViewP表示当前场景的视点，用于确定当前场景初始视点的方向；C用于表示场景中实体空间布局的约束信息C＝{R,CP}，R：表示实体对象在场景中的空间关系，R＝{up,down,left,right,front,back,in,out,intersect}表示上、下、左、右、前、后、里、外、相交、相离在内表示空间关系的信息,CP：表示实体在三维场景中的坐标位置。

进一步的，所述步骤2)中，建立高级语义操作集，具体包括：根据常用交互动作和功能，以动词为核心进行划分，将交互语义归为两大类：对场景中已有实体对象做操作，包括选择目标对象、移动对象、缩放对象、删除对象、修改对象属性及添加对象；对场景要素的操作，包括场景背景的操作、场景光线的调控、场景视点的控制、场景的重力、风力、磁力在内的物理场的控制。

进一步的，所述步骤3)对交互式文本做自然语言处理生成操作序列，具体包括：

当用户给定交互文本U，利用中文分词工具对文本做分词、词性标注，将交互文本转化为一组对场景操作的序列OS，OS＝{O₁,…,O_n},其中O_i表示对场景做的一个操作。

进一步的，所述步骤4)中，利用步骤2)的高级语义对步骤3)生成的操作序列解析，具体包括：构建交互操作的结构表达式：

O_i＝V(obj_i,obj_j,C,A)

O_i：表示操作序列中一个具体的操作文本的四元组表示，obj_i:表示操作对象或目标实体；obj_j：表示参照对象或在场景中依存的实体；V：表示操作动词的类型V＝{Select,View,Insert,Move,Replace,Remove,Add,Zoom}表示选择、查看、插入、移动、替换、删除、添加、缩放操作；C(constraint)用于表示场景中实体空间布局的约束信息C＝{R,CP}，C.R(relationship)：表示实体对象在场景中的空间关系，R＝{up,down,left,right,front,back,in,out,intersect}表示上、下、左、右、前、后、里、外、相交、相离等表示空间关系的信息,CP(Coordinate position)：表示实体在三维场景中的坐标位置；A(attribute):表示操作对象自身的实体属性， A＝{color,texture,size,shape，orientation}表示颜色、纹理、大小尺寸、形状。

进一步的，所述步骤5)中，结合初始场景对交互操作中的指示代词做推导，还原交互操做中隐含或缺损的具体指代对象；结合初始场景和空间知识库，对交互操作中描述对象的方位介词或对象间依存关系进行推导，确定对象在场景中隐含或缺损的空间关系R。利用上述两方面的推导修正步骤4)的操作解析，确定操作集。

进一步的，所述步骤6)中，利用步骤5)的交互操作集对步骤1)的初始状态集Z＝(S,Sel,ViewP,C)进行修改，建立新的场景状态 Z′＝(S′,Sel′,ViewP′,C′)。

进一步的，步骤7)中，借助可视化工具和3D模型库将步骤6)交互后的场景模型可视化，生成交互后的三维场景。

本发明的优点及有益效果如下：

本发明与现有的技术相比，本发明的创新点是构建可交互的场景状态模型，用户使用文本与计算机交互，迭代修改创作场景。本发明的有益效果是提供文本交互的场景生成接口，降低三维场景创作对专业和技术的要求，让更多的人群可以使用和创建三维场景。交互，不仅可以让用户参与场景生成展示个人的创作性，而且文景转换系统可以学习构建场景的空间知识、常识事实、约束关系，使生成的场景更趋近人类的审美。

附图说明

图1是本发明提供优选实施例一种文景转换中交互式场景生成的方法的流程图。

图2为本申请中文景转换中交互式场景生成的系统实现图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明解决上述问题的技术方案是：

本发明提供一种文景转换中交互式场景生成的方法，包括：

步骤一、建立用于表示初始场景信息的初始状态集；

步骤二、分析并归纳常用交互动作的语言描述，建立高级语义操作集；

步骤三、对交互式文本做自然语言处理生成操作序列；

步骤四、利用步骤2)中的高级语义操作集解析步骤3)的操作序列；

步骤五、消除交互文本中涉及的指示代词以及集合名词的模糊语义，利用步骤1)的初始场景结合空间知识推导交互操作中缺损或隐含的实体或空间关系，修正4)的操作解析，确定交互操作集；

步骤六、利用步骤5)的操作集对初始场景进行重构，构建交互后的场景模型；

步骤七、借助可视化工具和3D模型库将步骤6)交互后的场景模型可视化，生成交互后的三维场景。

所述的文景转换中交互式场景生成的方法，其中步骤一，包括：

根据具体交互场景的情况，构建初始场景四元组：

Z＝(S,Sel,ViewP,C)

Z表示当前场景的状态，用于记录当前场景信息；S表示候选场景，用于记录当前场景类型、背景等信息；Sel表示初始场景中可选的对象，Sel＝{obj₁,…,obj_n},obj_i＝{A,Num}表示场景中一个可操作的实体对象,其中 A(attribute):表示操作对象自身的实体属性，A＝{color,texture,size,shape， orientation}表示颜色、纹理、大小尺寸、形状等，Num(number)表示场景中对应实体的个数；ViewP(view point)表示当前场景的视点，用于确定当前场景初始视点的方向；C(constraint)用于表示场景中的实体空间布局的约束信息C＝{R, CP}，R(relationship)：表示实体对象在场景中的空间关系，R＝{up,down,left,right,front,back,in,out,intersect}表示上、下、左、右、前、后、里、外、相交、相离等表示空间关系的信息,CP(Coordinate position)：表示实体在三维场景中的坐标位置。

例如，可视化文本“每周四我们将在会议室举行会议”生成的初始场景状态集Z＝(S,Sel,ViewP,C)为：

S＝会议室,候选场景为：会议室；

Sel＝{1张会议桌，6把椅子，4个人，1台笔记本电脑，两份文稿}，候选对象集合；

对象集obj_i：实体属性obj_i.A＝NULL，实体数量obj_i.Num＝{1,6,4,1,2}；

ViewP＝forward，场景视点：正面向前；

C.R＝{up(laptop，meeting table)，up(paper，meeting table)，left(laptop，paper)， front(chair₁，meeting table)，front(chair₂，meeting table)，back(chair₃，meeting table)，back(chair₄，meeting table)，left(chair₅，meeting table),left(chair₆，meeting table)，up(person_i,chair_i)}，场景约束中对象间的空间关系集；

所述的文景转换中交互式场景生成的方法，其中步骤二，包括：

收集用户常用交互动作和功能的文本表示语料，以动词为核心进行语料标注，可将交互语义归为两大类：对场景中已有实体对象做操作，包括选择目标对象，移动对象，缩放对象，删除对象，添加对象，修改对象属性(颜色、大小、纹理、朝向以及对象间约束关系等)等；对场景要素的操作，包括场景背景的操作(添加、修改、删除场景背景)、场景光线的调控、场景视点的控制、场景的重力、风力、磁力等物理场的控制等。由于汉语动词词义和语用的多样性，动词的划分可以从不同的角度考虑。目前主流的划分方法是：根据语义，是否带宾语以及语用等方法对动词做语法上的区分。但是由于汉语多意以及汉语语用多变的原因，词义的并没有严格意义的划分。操作语义集主要研究交互语用动词的语义表述及其常见的语法结构，以用于步骤四中的操作序列解析。

例如，交互操作中的“添加”操作的操作语义如下：

交互文本多短文本或动词短语，则可将“添加”的动词的语用分为：短语 (verbphrase)VP,动词+名词短语(noun phrase)NP，名词+动词短语N+VP，名词短语+动词短语NP+VP。通过上述语用的归纳可将“添加”的语用描述为：

OP＝V(AM,AR)

其中OP(operate):表示一个交互操作动作；V：交互动作；AM(action maker)：动作的发出者；AR(action receiver)：动作的接受、响应者。

所述的文景转换中交互式场景生成的方法，其中步骤三，包括：

对交互的文本做自然语言处理，对文本进行分词、词性标注等操作将其转化为带标注的操作序列OS(operate sequence)：OS＝{O₁,…,O_n},其中OP_i表示对场景做的一个操作。

例如，一个交互文本为：“添加一个水杯到会议桌上，把会议桌上的paper 删除一份”，通过NLP生成的操作序列为：

OS＝{O₁,O₂}

O₁＝添加/V一个/m水杯/n到/v会议桌/n上/nd；

O₂＝把/p会议桌/n上/nd的/upaper/n删除/v一/m份/q；

所述的文景转换中交互式场景生成的方法，其步骤四，包括：

利用步骤2)的高级语义对步骤3)生成的操作序列解析，构建交互操作的结构表达式：

O_i＝V(obj_i,obj_j,R,A)

O_i：表示操作序列中一个具体的操作文本的四元组表示，obj_i:表示操作对象或目标实体；obj_j：表示参照对象或在场景中依存的实体；V：表示操作动词的类型V＝{Select,View,Insert,Move,Replace,Remove,Add,Zoom}及选择、查看、插入、移动、替换、删除、添加、缩放等操作；R(relationship)：表示实体对象在场景中的空间关系，R＝{up,down,left,right,front,back,in,out,intersect}及上、下、左、右、前、后、里、外、相交、相离等表示空间关系的信息；A(attribute): 表示操作对象自身的实体属性，A＝{color,texture,size,shape，orientation}及颜色、纹理、大小尺寸、形状等。

例如，对交互文本“添加一个水杯到会议桌上，把会议桌上的paper删除一份”的解析过程如下：

利用步骤3)通过NLP将交互文本生转换为操作序列：OS＝{O₁,O₂}。

O₁＝添加/V一个/m水杯/n到/v会议桌/n上/nd；

O₂＝把/p会议桌/n上/nd的/upaper/n删除/v一/m份/q；

然后利用步骤2)构建的操作语义，借助哈工大研发的LTP句法分析工具对步骤3)产生的操作做语义依存分析。交互操作O₁、O₂的语义依存分析分别如图3、图4所示；

语义依存分析标签的含义为：Root表示句法分析的根节点，Cont(content) 表示客事关系，eSucc(event Successor)表示顺承关系，Loc(location)表示空间角色，mDir(Direction Marker)表示趋向标记，mAux(auxiliary)的字标记，mPrep (preposition)介词标记，mRang(range)范围标记，Prod(product)表示成事关系，Pat(patient)受事关系，Qp(quantity-phrase)数量数组，Quan(quantity)数量角色。

经过步骤2)、步骤3)的处理，将操作序列解析为一个四元组表示的交互动作：O_i＝V(obj_i,obj_j,R,A)。

通过对O₁序列的解析，解析出O₁操作的目标实体obj_i＝水杯，水杯放置位置的接受实体或参考实体obj_j＝会议桌，水杯与会议桌间的空间关系R＝上(水杯，会议桌)及R＝up(obj_i,obj_j)，操作序列中未提到实体的属性，则属性集为空 A＝NULL。则O₁操作的四元组结构表达式为：

O₁＝add(水杯,会议桌,上,obj_i.num＝1)

obj_i.num表示目标实体：水杯的数量。

同理O₂操作的四元组结构表达式为：

O₂＝delete(paper,会议桌,上,obj_i.num＝1)

obj_i.num表示目标paper的数量。

所述的文景转换中交互式场景生成的方法，其步骤五，包括：

消除交互文本中涉及的指示代词以及集合名词的模糊语义，结合初始场景对交互操作中的指示代词做推导，还原交互操做中隐含或缺损的具体指代对象；结合初始场景和空间知识库，对交互操作中对象涉及的空间约束进行推导，确定对象在场景中隐含或缺损的空间关系R。利用上述两方面的推导修正步骤4) 的操作解析，确定操作集。

例如，假设上述操作序列O₁的文本描述为“添加一个水杯”

经过上述步骤2-4)解析出操作O₃的四元组结构表达为：

O₃＝add(水杯,NULL,NULL,obj_i.num＝1)

由于缺乏参考对象obj_j，首先，会影响动词操作语义：OP＝V(AM,AR)的确定。其次，无法确定水杯在场景中的空间位置。最终，将导致步骤4)无法完成对交互操作O₃的解析。对此，需要结合初始场景补全交互操作中缺少的实体。

参考初始场景所包含的实体，即步骤1)生成的初始场景状态:Z＝ (S,Sel,ViewP,C)中Sel元素集合。Sel＝{会议桌，椅子，人，笔记本电脑，文稿}，通过计算水杯与Sel集合中对象同时出现的概率，选取相关性最强的对象作为补充实体。补全上述缺损对象obj_j＝会议桌。同理根据先验概率以及空间常识，可推导出水杯与会议桌的空间关系R＝上(水杯，会议桌)。然后修改操作O₃的四元组结构表达为：

O₃＝add(水杯,会议桌,up(水杯，会议桌),obj_i.num＝1)

所述的文景转换中交互式场景生成的方法，其步骤六，包括：

利用步骤5)的操作集对步骤2)的初始场景状态Z＝(S,Sel,ViewP,C)进行修改，建立新的场景状态Z′＝(S′,Sel′,ViewP′,C′)。

例如，对上述步骤1-5)例子的操作如下：

初始场景状态Z＝(S,Sel,ViewP,C)：

S＝会议室,候选场景为：会议室；

ViewP＝forward，场景视点：正面向前；

经过交互操作“添加一个水杯到会议桌上，把会议桌上的paper删除一份” 后的场景状态Z′＝(S′,Sel′,ViewP′,C′):

S′＝会议室,候选场景为：会议室；

Sel′＝{1张会议桌，6把椅子，4个人，1台笔记本电脑，1份文稿，1个水杯}；

对象集obj_i′：实体属性obj_i′.A＝NULL，实体数量obj_i′.Num＝{1,6,4,1,1,1}；

ViewP′＝forward，场景视点：正面向前；

C′＝{up(laptop，meeting table)，up(paper，meeting table)，left(laptop，paper)， front(chair₁，meeting table)，front(chair₂，meeting table)，back(chair₃，meeting table)，back(chair₄，meeting table)，left(chair₅，meeting table),left(chair₆，meeting table)，up(person_i,chair_i)，up(cup,meeting table)}；

所述的文景转换中交互式场景生成的方法，其步骤七，包括:

借助可视化工具和3D模型库将交互后的场景Z′生成交互后的三维场景。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims

1.一种文景转换中交互式场景的生成方法，其特征在于，包括以下步骤：

1)、建立用于表示初始场景信息的初始状态集；

3)、对交互式文本做自然语言处理生成操作序列；

2.根据权利要求1所述的一种文景转换中交互式场景的生成方法，其特征在于，所属步骤1)建立初始场景状态集，具体包括：场景信息由一个四元组表示：

Z＝(S,Sel,ViewP,C)

Z表示当前场景的状态，用于记录当前场景信息；S表示候选场景，用于记录当前场景类型、背景信息；Sel表示初始场景中可选的对象，Sel＝{obj₁,…,obj_n},obj_i＝{A,Num}表示场景中一个可操作的实体对象,其中A(attribute):表示操作对象自身的实体属性，A＝{color,texture,size,shape，orientation}表示颜色、纹理、大小尺寸、形状，Num表示场景中对应实体的个数；ViewP表示当前场景的视点，用于确定当前场景初始视点的方向；C用于表示场景中实体空间布局的约束信息C＝{R,CP}，R：表示实体对象在场景中的空间关系，R＝{up,down,left,right,front,back,in,out,intersect}表示上、下、左、右、前、后、里、外、相交、相离在内表示空间关系的信息,CP：表示实体在三维场景中的坐标位置。

3.根据权利要求1所述的一种文景转换中交互式场景的生成方法，其特征在于，所述步骤2)中，建立高级语义操作集，具体包括：根据常用交互动作和功能，以动词为核心进行划分，将交互语义归为两大类：对场景中已有实体对象做操作，包括选择目标对象、移动对象、缩放对象、删除对象、修改对象属性及添加对象；对场景要素的操作，包括场景背景的操作、场景光线的调控、场景视点的控制、场景的重力、风力、磁力在内的物理场的控制。

4.根据权利要求3所述的一种文景转换中交互式场景的生成方法，其特征在于，所述步骤3)对交互式文本做自然语言处理生成操作序列，具体包括：

5.根据权利要求4所述的一种文景转换中交互式场景的生成方法，其特征在于，所述步骤4)中，利用步骤2)的高级语义对步骤3)生成的操作序列解析，具体包括：构建交互操作的结构表达式：

O_i＝V(obj_i,obj_j,C,A)

O_i：表示操作序列中一个具体的操作文本的四元组表示，obj_i:表示操作对象或目标实体；obj_j：表示参照对象或在场景中依存的实体；V：表示操作动词的类型V＝{Select,View,Insert,Move,Replace,Remove,Add,Zoom}表示选择、查看、插入、移动、替换、删除、添加、缩放操作；C(constraint)用于表示场景中实体空间布局的约束信息C＝{R,CP}，C.R(relationship)：表示实体对象在场景中的空间关系，R＝{up,down,left,right,front,back,in,out,intersect}表示上、下、左、右、前、后、里、外、相交、相离等表示空间关系的信息,CP(Coordinate position)：表示实体在三维场景中的坐标位置；A(attribute):表示操作对象自身的实体属性，A＝{color,texture,size,shape，orientation}表示颜色、纹理、大小尺寸、形状。

6.根据权利要求1所述的一种文景转换中交互式场景的生成方法，其特征在于，所述步骤5)中，结合初始场景对交互操作中的指示代词做推导，还原交互操做中隐含或缺损的具体指代对象；结合初始场景和空间知识库，对交互操作中描述对象的方位介词或对象间依存关系进行推导，确定对象在场景中隐含或缺损的空间关系R。利用上述两方面的推导修正步骤4)的操作解析，确定操作集。

7.根据权利要求6所述的一种文景转换中交互式场景的生成方法，其特征在于，所述步骤6)中，利用步骤5)的交互操作集对步骤1)的初始状态集Z＝(S,Sel,ViewP,C)进行修改，建立新的场景状态Z′＝(S′,Sel′,ViewP′,C′)。

8.根据权利要求7所述的一种文景转换中交互式场景的生成方法，其特征在于，步骤7)中，借助可视化工具和3D模型库将步骤6)交互后的场景模型可视化，生成交互后的三维场景。