CN103679800A - 一种视频图像虚拟场景生成系统及其框架构造方法 - Google Patents

Abstract

本发明公开了一种视频图像虚拟场景生成系统及其框架构造方法，所述系统包括插件封装模块、插件管理模块、虚拟场景生成流程控制模块、虚拟场景生成工作台模块、虚拟场景生成工程管理模块、以及视频素材访问检索模块。所述方法包括如下步骤：步骤一，对算法工具进行插件式封装，以获得对应的插件；步骤二，构建节点树，并令各被调用的插件对应于节点树上的各个节点；步骤三，遍历节点树中的所有节点，并对每个节点的状态进行保存，以形成视频图像虚拟场景文件。

Description

一种视频图像虚拟场景生成系统及其框架构造方法

技术领域

本发明涉及一种系统及其构造方法，尤其涉及一种视频图像虚拟场景生成系统及其框架构造方法。

背景技术

虚拟现实(Virtual Reality，简称VR)是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。

虚拟现实技术是人类在探索自然、认识自然过程中创造产生，逐步形成的一种用于认识自然、模拟自然，进而改造自然的科学方法和科学技术。随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，人们对虚拟现实技术的研究日益重视，虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域。

虽然虚拟现实技术将真实世界的多维信息映射到可计算的数字空间，使用户能够在虚拟环境中操作各种虚拟对象、突破物理空间和时间的限制、建立基于真实世界信息的虚拟场景；也可以将计算机生成的虚拟场景和虚拟作用反馈到真实世界中，使用户能够获得虚拟环境产生的各种逼真感知，获得亲临等同真实环境的“沉浸”感。但是，传统的虚拟环境强调虚拟场景建模和虚拟场景表现，较少将虚拟环境直接融入到客观存在的真实世界，这在一定程度上影响了虚拟现实技术的发展和应用。所以，人们正在研究：如何利用描绘真实世界的图像或视频，构建和生成更加逼真的虚拟场景？其中，增强现实(Augmented Reality，简称AR)技术是针对这一类典型问题的典型代表之一，它是虚拟现实的进一步拓展，能够使计算机生成的虚拟对象与客观存在的真实世界融为一体。

基于视频素材的虚拟场景生成技术，是另一个利用视频及其图像构建和生成虚拟场景的典型代表。由于传统的虚拟现实一般利用三维几何模型生成虚拟场景，然而难以证明“真实世界的所有事物都是可以几何模型化或者数字化建模”，并且与基于视频素材的虚拟场景相比较，基于三维几何模型的虚拟场景在真实数据采集、几何模型构建、场景逼真绘制等方面存在相对难以克服的问题。另一方面，摄像机已经越来越多地运用于日常工作和生活，描绘真实世界的视频场景、视频对象和视频事件也越来越多，所以人们迫切希望利用日积月累的各种视频素材生成工作和生活需要的视频虚拟场景，从而需要基于视频素材的虚拟场景生成系统及其软件工具。因此，许多科研工作者正在围绕“视频虚拟场景”开展理论、技术和系统研究，无论从虚拟现实的理论技术发展来看，还是从虚拟现实的实用化应用前景来看，基于视频的虚拟场景构建与生成技术正在成为虚拟现实方向的技术发展趋势和典型研究热点。

目前，视频虚拟场景生成已经有非常多的算法工具被开发出来，这些工具和算法仅仅对视频图像进行了部分处理，或是某一方面的处理，如果是通过使用不同的工具和算法进行虚拟场景生成，就需要进行算法工具的集成，而不是单独的使用。因此需要对大量的算法工具进行系统集成，通过各个算法的调用和协作进行虚拟场景的快速生成，需要一种视频图像虚拟场景生成系统框架构造方法。

在影视后期制作领域，有很多后期制作软件，例如after effects，nuke，shake等，这些软件都有对视频图像进行处理的功能，能进行影视后期场景的合成，同时这些软件也集成了大量的视频图像的处理算法和工具。但是这些软件是面向特定领域的，即影视后期制作，对算法的性能、效果以及处理的视频图像素材有着多方面的严格要求，而且其集成方式对大部分的视频图像处理算法工具并不适合。2009年德国的不伦瑞克大学的计算机图形学实验室科学家为虚拟视频摄像机系统添加了视觉特效系统，使得系统可以渲染出运动模糊、冰冻瞬间、长时间曝光、时间模糊、空间模糊、多次曝光等具有照片真实感的特效，提出了一个视觉特效框架。这个框架在整体上是对数据流进行处理，而没有涉及虚拟场景生成中的场景合成。马尔文图像处理框架是一个可扩展的、跨平台的图像处理框架。利用马尔文图像处理框架，研究者可以实现图像处理算法，并以插件的形式发布，软件开发者可以在他们的软件中集成马尔文图像处理插件以提供图像处理功能，最后，普通用户可以直接利用马尔文图像处理应用程序并提供使用反馈促进该框架的迭代开发。因此利用马尔文图像处理框架开发的系统架构一般分成了三个层次：框架层、插件层、应用层。框架层是由马尔文团队开发提供，提供了一些图像、视频预处理机制以及测试、历史记录、图形界面、多线程等。插件层是由第三方利用框架层提供的接口开发的插件。应用层是最终的应用软件，是由第三方利用框架层和插件层提供的接口开发的。但是这个框架仅仅提供了一个底层的实现，并没有提出面向虚拟场景生成的流程方面的设计与实现，以及算法工具间的交互协作。

发明内容

本发明针对现有技术的弊端，提供一种视频图像虚拟场景生成系统及其框架构造方法。

本发明所述的视频图像虚拟场景生成系统，包括插件封装模块、插件管理模块、虚拟场景生成流程控制模块、虚拟场景生成工作台模块、虚拟场景生成工程管理模块、以及视频素材访问检索模块；

其中，所述插件封装模块用于实现算法工具的插件式封装，以获得对应的插件；

所述插件管理模块用于对前述获得的插件的注册、加载、调用以注册表的方式进行管理；

所述视频素材访问检索模块用于导入所述被调用插件所涉及的预先存储的的视频图像信息；

所述虚拟场景生成流程控制模块用于构建节点树，并令各被调用的插件对应于所述节点树上的各个节点；

所述虚拟场景生成工作台模块用于显示前述节点树中被选中节点所对应的视频图像信息；

所述虚拟场景生成工程管理模块用于对节点树中的所有节点进行遍历，并对每个节点进行状态保存，以形成视频图像虚拟场景文件。

本发明所述的视频图像虚拟场景生成系统的框架构造方法，包括如下步骤：

步骤一，对算法工具进行插件式封装，以获得对应的插件；

步骤二，构建节点树，并令各被调用的插件对应于节点树上的各个节点；

步骤三，遍历节点树中的所有节点，并对每个节点的状态进行保存，以形成视频图像虚拟场景文件。

本发明所述的视频图像虚拟场景生成系统的框架构造方法的步骤一中，利用插件注册表实现插件的加载、注册、加载。

本发明所述的视频图像虚拟场景生成系统的框架构造方法的步骤一的对算法工具进行封装中，统一算法工具的数据输入输出、统一视频图像数据格式、以及对视频图像数据的描述属性、定义公共的算法工具插件与系统的接口。

本发明所述的视频图像虚拟场景生成系统的框架构造方法的步骤二中，通过节点列表以及节点连接列表来保存整个节点树。

本发明所述的视频图像虚拟场景生成系统的框架构造方法的步骤三中，通过节点的创建顺序和节点间连接关系构建节点拓扑排序，以对节点列表遍历。

本发明根据虚拟场景生成的处理流程以及视频图像处理算法工具的特点，提出了视频图像虚拟场景生成系统框架构造方法。本发明方法能够快速、灵活的集成视频图像处理算法工具，通过节点式流程控制进行虚拟场景生成。基于此方法构建的虚拟场景生成系统具有很好的扩展性。另外本方法对各种视频图像处理算法工具的集成具有通用性，同时对于视频图像素材库具有很强的适用性。

附图说明

图1为本发明所述视频图像虚拟场景生成系统框架的构造方法的流程示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明所述的视频图像虚拟场景生成系统，包括插件封装模块、插件管理模块、虚拟场景生成流程控制模块、虚拟场景生成工作台模块、虚拟场景生成工程管理模块、以及视频素材访问检索模块。

其中，所述插件封装模块用于实现算法工具的插件式封装，以获得对应的插件。所述插件封装模块的作用在于定义插件的模板，在模板中定义对视频图像信息处理的抽象方法、视频图像的属性、以及支持插件机制的基本接口。具体的插件可从模板类继承，并实现具体的处理方法，实现自己的参数面板，实现自己特有的数据处理逻辑及参数设置，编译生成动态链接库，并放入系统插件库中。

所述插件管理模块用于对前述获得的插件的注册、加载、调用以注册表的方式进行管理。本发明中，通过插件描述文件注册所有的插件信息，所述插件可以被系统识别，注册、调用、加载以获得插件提供的功能。在系统界面会生成插件菜单，并显示插件名称。当用于选择加载插件时，系统会根据插件的描述信息加载插件对应的动态链接库，以得到处理节点对象。

所述视频素材访问检索模块用于导入所述被调用插件所涉及的预先存储的的视频图像信息。所述预先存储的视频图像信息包括了本地的视频素材和素材库中的视频素材，对于上述视频素材的访问检索，可通过插件形式集成到系统界面。本发明中，对视频图像素材库的访问是通过构建一个视频图像素材库访问检索插件实现的，插件实现了针对视频图像语义素材库的访问检索，针对不同的语义描述的视频图像素材库，可以构建特定的素材库访问检索插件，实现素材的导入。

所述虚拟场景生成流程控制模块用于构建节点树，并令各被调用的插件对应于所述节点树上的各个节点。即将在虚拟场景生成中调用的插件以节点的形式展示，视频图像信息在一个节点处理完会流向下一个与其相连接的节点，从而形成节点树的形式。

所述虚拟场景生成工作台模块用于显示前述节点树中被选中节点所对应的视频图像信息。该虚拟场景生成工作台模块可通过预览形式对被选中节点所对应的视频图像信息进行展示。具体而言，可通过添加图形可视化类实现处理节点的可视化，也即数据流的可视化。本发明中，不仅可对节点处理后的场景数据进行预览，还可进行播放、暂停、前一帧、后一帧等控制，实现对视频场景的预览控制。

所述虚拟场景生成工程管理模块用于对节点树中的所有节点进行遍历，并对每个节点进行状态保存，以形成视频图像虚拟场景文件。本发明中，是通过节点列表以及节点连接列表来保存整个节点树，当在虚拟场景生成流程中添加或删除一个节点时，会更新节点列表以及节点连接列表，通过对节点列表遍历，即根据节点的创建顺序和节点间连接关系构建节点拓扑排序，依次保存所有节点的内部状态，通过遍历节点连接列表保存所有的节点连接信息，从而形成虚拟场景的生成。在加载时，按照保存节点列表的顺序依次创建节点，读取相应节点的内部状态，初始化节点，并根据节点的链接信息，构建数据流，即节点之间的链接，同时恢复节点列表和节点连接列表，完成虚拟场景的加载。

本发明还提供一种针对前述视频图像虚拟场景生成系统的框架构造方法，如图1所示，包括如下步骤：

步骤101，对算法工具进行插件式封装，以获得对应的插件。

本步骤中，是构建插件模板的基本类型，也就是定义基本接口以及属性，通过对插件模板的继承，对数据处理接口进行重载，实现自己特有的参数面板，实现自己特有的数据处理逻辑，以及参数设置，编译生成动态链接库，从而放入系统插件库中。

本发明中，对于插件的管理是通过构建插件注册表实现的，插件注册表可实现插件的加载、注册、加载机制，插件可以被系统识别、注册、调用、加载，以获得插件提供的功能。

本发明中，对于算法工具的插件式封装，主要包括三个部分，即构建插件模板类、算法工具插件式封装、和构建插件管理机制。

构建插件模板类的作用是统一算法工具的数据输入输出，统一视频图像数据格式，以及对视频图像数据的描述属性，定义公共的算法工具插件与系统的接口，系统对具体的节点的操作是无差别的。定义统一的参数面板调用接口，使得在虚拟场景生成流程中，方便统一对各个节点进行参数设置。

算法工具插件式封装的作用是针对不同的算法工具进行具体的插件封装，在保证统一的视频图像数据的输入输出条件下，进行特殊数据处理方法的封装，同时定义具体的参数面板，实现具体的业务逻辑。

首先，从插件模板类派生出一个具体插件子类，对视频图像数据的处理接口进行重载，实现具体的特殊数据处理。其次，定义自己的参数面板，参数面板主要包含两个功能：一个是显示该算法工具的数据处理结果，另一个是对处理过程中需要设置的参数提供一个用户设置界面。再次，实现一个当前插件的加载类，加载类会在系统加载插件的时候被调用，同时将该插件的功能信息注册到插件信息注册表中。最后，创建插件描述文件，用来系统对插件的获取，包含插件的名称、功能、加载类名称、以及动态链接库路径，供系统识别插件。

构建插件封装加载管理机制的作用是实现插件在具体操作系统下可以编译成动态链接库，并能够被系统识别、加载、以及实现功能调用。首先，系统维护一个全局唯一的插件信息注册表，记录了所有已经加载的插件类型信息，当系统调用某个具体插件时，可以避免具体插件的重复加载。其次，实现插件调用时注册接口，该模块在集成系统加载具体的插件时会被直接调用，将插件的类型信息注册到系统的插件注册表中，表明这个插件已经被调用成功。

插件的管理包含以下几个组成部分，即

(1)算法工具箱，算法工具箱保存了所有可以被系统识别加载的插件的信息，包括

a)算法名称；

b)插件对应的动态链接库文件路径；

c)注册加载类名称，系统加载插件的时候，会根据注册加载类名称，动态生成注册加载类，用于注册加载插件服务；

d)插件版本号。

(2)插件服务注册表，保存了所有的已经加载的插件服务对象，每一个插件服务对象对应于一个算法名称和版本号，插件服务对象提供了获取节点对象的接口。

(3)插件加载模块，可以根据插件信息加载插件，获取插件服务对象注册到插件服务注册表中，并返回一个节点对象，传递给流程控制。

(4)流程控制则管理插件加载将获取的节点对象，进行虚拟场景生成。

本发明中，插件的调用包括以下几个步骤：

(1)识别插件，每一个插件包括两个文件，一个是插件信息描述文件，文件格式是xml，另一个是动态链接库。

插件信息描述文件向虚拟场景生成系统提供如下信息：

a)算法名称；

b)插件对应的动态链接库文件路径；

c)注册加载类名称；

d)插件版本号。

(2)创建插件触发对象，当需要向系统中添加一个插件时，只需要在插件目录中放置这两个文件即可，系统会读取插件描述文件，将插件信息保存到算法工具箱中，用来进行插件的加载注册。

(3)调用插件，插件触发对象会响应系统界面上的插件菜单项鼠标事件，用户选择指定的插件时，插件触发对象会将相应的插件信息传给算法工具箱，算法工具箱根据具体的插件信息进行插件调用。

(4)判断插件是否已经加载，算法工具箱调用插件加载模块进行插件加载，插件加载模块首先查询插件服务注册表，查找相应的插件服务对象，如果相应的插件服务对象存在，那么就从查找到的插件服务对象获取相应的节点对象；如果没有相应的插件服务对象存在，就说明这个插件还没有被加载，就需要根据插件描述信息加载相应的动态链接库，获取相应的插件服务对象，将插件服务对象注册到插件服务注册表中，并从该插件服务对象获的相应的节点对象。

(5)将上一步获取的节点对象返回给流程控制台，流程控制台维护整个虚拟场景生成的流程节点树，但流程控制台不需要创建一个树结构来保存节点树，只需维护一个节点ID列表和节点列表，节点ID列表根据节点树进行拓扑排序，流程控制台将节点对象放入节点列表中。

(6)绘制节点对象，节点对象被加载到流程控制台上后，会调用自己的图形绘制函数，实现节点可视化，根据不同的节点类型，节点的形状以及颜色会有不同。

步骤102，构建节点树，并令各被调用的插件对应于节点树上的各个节点。

本发明中，被调用的插件以节点的形式进行展示，视频图像数据在一个节点处理完会流向下一个与其相连接的节点，从而形成节点树。

例如，定义一个抽象节点类ViAbstractNode，这个类定义了视频图像数据处理节点的公共操作和属性，公共操作包括获取指定位置的视频图像、连接一个节点、获取节点类型、鼠标响应事件、参数面板调用等操作。为了支持视频图像处理节点的可视化，定义了一个节点可视化类QDiaItem Widget，抽象节点派生自节点可视化类，QDiaItem Widget类定义了节点操作的接口、节点ID、节点的绘制、节点间的连接、节点的孩子节点的操作，支持节点拖动、删除、缩放的鼠标键盘响应事件。这些接口确保了节点树功能的实现。从ViAbstractNode这个抽象节点类，派生出具体的插件节点类，如进行视频图像解码的视频图像素材节点，对视频图像进行处理的算法工具节点如颜色风格转换节点、跟踪节点、场景拼接节点、对生成的虚拟场景进行导出的场景导出节点，实现视频图像的编码。具体的节点子类，需要在抽象节点定义的接口基础上进行扩展，以实现自己的具体的视频图像处理功能，具体的是保护或者私有的，不需要对外公开，这样所有的节点在虚拟场景生成系统中都以抽象节点和其他节点或者系统进行交互。

步骤103，遍历节点树中的所有节点，并对每个节点的状态进行保存，以形成视频图像虚拟场景文件。

本发明中，通过将节点树进行保存，包括节点状态的保存，以数据流的保存即节点间的链接关系保存，实现虚拟场景生成的工程管理。最后，在加载工程文件过程中，通过恢复工程文件中保存的节点状态构建处理节点，根据节点的链接关系，从而构建整个虚拟场景生成的数据流。

本发明中的节点式虚拟场景生成的流程控制主要分成三部分，即节点的可视化与人机交互、数据流的可视化与交互，虚拟场景生成流程控制的工程保存及虚拟场景生成流程的工程加载。

处理节点、数据流的可视化与交互的作用是提供了虚拟场景生成的流程控制交互方式，用户可以很方便的在虚拟场景生成流程中添加一个处理节点或删除一个处理节点，控制节点之间连接关系即对数据流的控制，从而控制整个虚拟场景生成流程。

虚拟场景生成流程控制的工程保存的作用是通过构建一个节点列表以及节点连接列表来保存整个的节点流程树，当在虚拟场景生成流程中添加或删除一个节点时，会更新节点列表以及节点连接列表，通过对节点列表遍历，保存所有节点的内部状态，通过遍历节点连接列表保存所有的节点连接信息，完成虚拟场景生成的工程保存。

虚拟场景生成流程控制的工程加载的作用是加载工程文件，首先按照保存节点列表的顺序依次创建节点，读取工程文件中相应节点的内部状态，初始化节点，并根据节点的链接信息，构建数据流，即节点之间的链接，同时恢复流程控制台的节点列表和节点连接列表，完成工程的加载。

本发明中，利用集成的视频图像处理算法工具插件进行虚拟场景生成的流程具体如下：

(1)导入素材，从算法工具箱中选择视频图像素材节点，在流程控制台上就出现一个素材节点，双击这个节点，打开一个资源管理对话框，选择要导入的素材。可以随时加载多个素材。

(2)添加处理节点，从算法工具箱中选择需要进行的处理插件，在流程控制台上就会加载一个对应的节点，按下连线快捷键，选择素材节点或者其他节点拖动鼠标至目标节点，则建立起一个从起始节点到目标节点的数据流，目标节点就可从上一个节点获取数据进行处理。

(3)设置处理参数进行数据处理，双击目标节点，调出参数面板，根据具体的场景处理设置相应的参数，点击运行。

(4)预览处理结果，选中要预览的节点，按下预览快捷键，在虚拟场景工作台上就会显示当前节点处理后的结果，如果是视频场景，可以通过一些预览控制键进行播放预览，

(5)如果场景没有处理结束，则可以继续添加处理节点进行处理，直到生成最后的虚拟场景。

(6)导出场景，从算法工具箱中选择导出场景插件，在流程控制台上会加载一个导出场景节点，将最后一个处理节点连接到导出场景节点上，会出现一个导出参数设置面板，设置到编码格式等参数，然后点击导出，将虚拟场景以文件形式保存到指定目录中。

保存的工作可包括以下步骤：(1)保存流程控制台维护的节点ID列表，按照顺序保存；(2)按照节点ID列表的顺序依次保存节点的状态，完成工程保存。

对于工程文件的加载可以包括以下步骤：(1)加载节点ID列表，根据工程文件中保存的节点ID列表在流程控制台中创建节点ID列表；(2)根据节点ID列表依次创建节点，并恢复节点状态。根据节点间的连接关系，创建数据流。

本发明根据虚拟场景生成的处理流程以及视频图像处理算法工具的特点，提出了视频图像虚拟场景生成系统框架构造方法。本发明方法能够快速、灵活的集成视频图像处理算法工具，通过节点式流程控制进行虚拟场景生成。基于此方法构建的虚拟场景生成系统具有很好的扩展性。另外本方法对各种视频图像处理算法工具的集成具有通用性，同时对于视频图像素材库具有很强的适用性。

与现有技术相比，本发明的优点在于：

1、本发明根据虚拟场景生成中的视频图像处理算法及工具的数据处理特点，提出了一个面相虚拟场景生生成的视频图像算法工具插件集成方法。

2、本发明中的视频图像插件集成方法具有通用性，适合各种视频图像处理算法工具的集成。

3、本发明根据虚拟场景的素材组合与处理流程，设计构建了节点式的虚拟场景生成流程控制，能够完整的展示出整个虚拟场景的素材组合与处理过程。

4、本发明中的数据库的访问检索具有扩展性和灵活性，以插件的形式提供不同的访问和检索方式。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种视频图像虚拟场景生成系统，其特征在于，包括插件封装模块、插件管理模块、虚拟场景生成流程控制模块、虚拟场景生成工作台模块、虚拟场景生成工程管理模块、以及视频素材访问检索模块；

其中，所述插件封装模块用于实现算法工具的插件式封装，以获得对应的插件；

所述插件管理模块用于对前述获得的插件的注册、加载、调用以注册表的方式进行管理；

所述视频素材访问检索模块用于导入所述被调用插件所涉及的预先存储的的视频图像信息；

所述虚拟场景生成流程控制模块用于构建节点树，并令各被调用的插件对应于所述节点树上的各个节点；

所述虚拟场景生成工作台模块用于显示前述节点树中被选中节点所对应的视频图像信息；

所述虚拟场景生成工程管理模块用于对节点树中的所有节点进行遍历，并对每个节点进行状态保存，以形成视频图像虚拟场景文件。

2.一种对权利要求1所述的视频图像虚拟场景生成系统的框架构造方法，其特征在于，包括如下步骤：

步骤一，对算法工具进行插件式封装，以获得对应的插件；

步骤二，构建节点树，并令各被调用的插件对应于节点树上的各个节点；

步骤三，遍历节点树中的所有节点，并对每个节点的状态进行保存，以形成视频图像虚拟场景文件。

3.如权利要求2所述的视频图像虚拟场景生成系统的框架构造方法，其特征在于，所述步骤一中，利用插件注册表实现插件的加载、注册、加载。

4.如权利要求2所述的视频图像虚拟场景生成系统的框架构造方法，其特征在于，所述步骤一的对算法工具进行封装中，统一算法工具的数据输入输出、统一视频图像数据格式、以及对视频图像数据的描述属性、定义公共的算法工具插件与系统的接口。

5.如权利要求2所述的视频图像虚拟场景生成系统的框架构造方法，其特征在于，所述步骤二中，通过节点列表以及节点连接列表来保存整个节点树。

6.如权利要求2所述的视频图像虚拟场景生成系统的框架构造方法，其特征在于，所述步骤三中，通过节点的创建顺序和节点间连接关系构建节点拓扑排序，以对节点列表遍历。

Images