CN102789348A - 交互式三维图形视频可视化系统 - Google Patents

Abstract

本发明公开了一种交互式三维图形视频可视化系统，包括三维场景创作模块，实时视频和信息模块，实时三维渲染引擎模块和交互式控制模块。三维场景创作模块用于创作各类三维模型和光照，纹理等效果插件，生成场景模板文件；实时视频与信息模块获取播出时所需的多路实时视频和各类文字、数据信息内容，并通过网络传输至实时三维渲染引擎模块；实时三维渲染引擎模块接收场景模板文件和实时视频与各类文字、数据信息，生成实时可替换的多个动态三维可视化场景，并通过HD-SDI和HDMI同步输出到交互式控制模块；交互式控制模块通过手势识别方式对上述动态三维可视化场景进行各个内容和视角的交互式操作。通过本发明方案可实现三维图形环境中多类信息结合展示与交互。

Description

交互式三维图形视频可视化系统

技术领域：

本发明涉及三维可视化领域，特别是涉及一种交互式三维图形视频可视化系统。

背景技术：

随着交互式三维可视化技术的进步，如何满足各行业中对于实时信息和实时视频的交互式三维可视化需求成了急需解决的问题。实时信息包含了气象数据，交通数据，短信数据，金融数据，GIS数据等，实时视频包括摄像头实时视频，交通流量探头视频，视频采集卡实时视频等。各类实时数据都有各自的格式而各类实时视频的来源也有所区别。对于不同行业，应用中所需的三维场景都具有其各自的行业特点，缺乏统一的底层配置系统架构。同时，当前也缺乏应用模块从海量实时信息数据中高效获取所需的数据，并进行根据信息类型生成相应的三维场景进行直观的展示。如果能以通用的方式提供一种对于多种信息和实时视频进行交互式操作的三维图形视频可视化系统，就可以将计算机三维图像与视频和数据完整结合起来，构建更为直观有效和易于调整的应用系统，如电视新闻直播，医疗急救管理，军事演习，工程项目演示，电力系统控制工程等。

在三维可视化系统中，实时信息和实时视频扮演了越来越重要的角色，对于三维场景的展示形式来说，实时信息和实时视频极大的丰富了三维可视化的内容。同时，实时信息和实时视频还具有直观，现场感强，用户认可度高，用户交互性强等众多特点。从画质来看，高清信号具有画面清晰度高，色彩还原度佳等众多特点，高码率意味着需要更高的传输带宽，更快速的计算处理能力和更好的图形渲染能力。而如何根据需要高速处理三维场景与众多实时数据信息和多路的高清实时视频信号的协同工作，也成为了需要解决的难点之一。

对于所展示的内容，系统通过红外触控屏的方式来进行交互式操作。红外触控方式利用在XY方向上的红外扫描网格来获得用户的操作数据，适合于本三维图形视频系统输出的高分辨率，不会产生视差，高清晰度，高耐久性，能在极端情况下工作。同时，为了满足对系统中展示的各类图文信息的操作，如图片的对角拖拽放大，视频的局部放大等，系统引入了多点触摸。在同一个时间点上，系统同时响应多个位置信息反馈，并根据内容做出相应的动作。

现有技术的缺点是尚未有一种交互式三维图形视频可视化系统能够有效对上述技术进行整合，并形成完整的解决方案。

发明内容：

本发明要解决的问题是提供一种交互式三维图形视频可视化系统，解决现有技术中无法对在三维场景中融合多种信息与视频并进行三维可视化交互操作的技术缺陷。

为达到上述目的，本发明提出了一种交互式三维图形视频可视化系统，包括三维场景创作模块，实时视频与信息模块，实时三维渲染引擎模块，和交互式控制模块。

所述三维场景创作模块用于创作各类三维模型和光照，纹理等效果插件，并提供预览视图，生成用于所述实时三维渲染引擎模块的场景模板文件。

所述实时视频与信息模块用于获取播出时所需的多路实时视频以及各类文字信息和数据信息内容，并通过网络传输至实时三维渲染引擎模块。

所述实时三维渲染引擎模块用于根据场景模板文件和实时视频、各类文字信息和数据信息内容，生成实时可替换的多个动态三维可视化场景，并通过HD-SDI和HDMI同步输出到交互式控制模块。

所述交互式控制模块通过手势识别方式对上述实时三维渲染引擎模块生成的多个动态三维可视化场景进行各个内容和视角的交互式操作。

其中，所述三维场景创作模块，用于提供各类三维模型和效果插件，实现预览视图，并通过三维模型和效果插件的组合生成实时三维渲染引擎模块所需的场景模板文件。

其中，所述实时三维渲染引擎模块包括场景生成单元，场景渲染模块，和场景输出模块。所述场景生成单元，用于根据所述三维场景创作模块提交的三维场景创作模板和实时视频与信息模块提交的数据建立带有视频入和图文的三维场景模型。所述场景渲染模块，用于根据三维场景模型，使用预置的光照，纹理和实时视频及信息进行渲染和绘制，生成对应的三维场景缓冲。所述场景输出模块，通过视频输出装置，如显卡或视频输出卡将三维场景缓冲输出至所述交互式控制模块。

其中，所述交互式控制模块根据手势识别方式对实时三维渲染引擎模块生成的多个动态三维可视化场景进行内容和各视角的交互式操作。

本发明实施例的技术方案具有以下优点，本发明实例通过交互式的三维图形视频可视化，不仅能真实地再现实际场景，支持互动的三维图形环境，还能满足对于三维可视化系统对于实时视频和数据信息的定制化需求，可广泛应用于广电，电力，交通，气象等多种行业。

附图说明：

附图1为本发明实施方式中交互式三维图形视频可视化系统的结构示意图；

附图2为本发明实施方式中实时视频与信息模块的处理流程图；

附图3为本发明实施方式中实时三维渲染引擎模块的处理流程图；

附图4为本发明实施方式中交互式控制模块的处理流程图。

具体实施方式：

下面结合附图和具体实施方式对本发明做进一步详细描述。

如附图1所示，为本发明所述的交互式三维图形视频可视化系统的结构示意图。该系统包括三维场景创作模块，实时视频与信息模块，实时三维渲染引擎模块，和交互式控制模块；

三维场景创作模块：利用三维模型和各种特效插件创作实时三维渲染引擎模块所需的三维场景图文模板，其中，三维模型包括基本三维物件、纹理、材质、像素着色器、几何着色器等，而特效插件则包括如光照效果、雾化效果、反射效果、遮罩效果、空间变换、材质、动画轨制作等。并提供预览视图，在创作完成之后，三维场景创作模块将生成的三维模板文件通过网络传输至实时三维渲染引擎模块；

实时视频与信息模块：用于获取播出时所需的多路实时视频以及各类文字信息和数据信息内容；数据信息来源于如专业气象数据库、财经数据库、网络页面、微博信息、文本、图片等，根据各类数据信息的获取接口，实时视频与信息模块通过插件的方式兼容各种协议类型，获取之后按统一的数据格式进行保存，并通过网络传输至实时三维渲染引擎模块；视频信息来源于如高清视频采集卡，网络视频摄像头，交通探头等，实时视频与信息模块通过各类接口获取视频，通过插件的形式获取各类视频内容再传送至实时三维渲染引擎模块。

实时三维渲染引擎模块：用于根据场景模板文件和实时视频、各类文字信息和数据信息内容，生成实时可替换的多个动态三维可视化场景，并通过HD-SDI和HDMI同步输出到交互式控制模块；

交互式控制模块：通过手势识别方式对上述实时三维渲染引擎模块生成的动态三维可视化场景进行各个内容和视角的交互式操作。

如附图2所示，为本发明实施例中实时视频与信息模块的处理流程图。通过网络信息插件、文本信息插件、数据库插件和视频插件等方式，获取外部各种来源的数据，而每种数据的获取方式都有各自的定义，如短信信息采用网络HTTP方式获取，在页面中按照发送号码、时间、短信内容的方式排列，微博信息则采用网络API的方式获取，突发新闻文稿采用文本方式获取，金融股市信息则根据类型采用FOXPRO数据库或WEBSERVICE的方式获取，根据通用方式按字段存储和读取，探测器(如温度、深度、交通流量、放射性物质等)的信息则采用串口通讯获取记录，摄像头视频数据采用网络TCP/IP通讯获得，高清视频信号通过视频采集卡获取。实时视频与信息模块采取多插件多线程的方式进行获取，同时根据情况在不同的时间片进行读取操作，避免了数据拥堵和实时响应迟缓的问题。在获取到数据之后，实时视频与信息模块根据数据的来源、类型、时间对其进行分类处理，根据需要对数据进行保存，并建立描述表和内容表予以表述，描述表记录了内容表的字段属性，内容表则记录具体内容，并发送至实时三维渲染引擎模块。

其中，上述实时三维渲染引擎模块包括场景生成单元，场景渲染单元，和场景输出单元。实时三维渲染引擎模块的具体流程参考附图3，详细步骤如下：在场景生成中，场景生成单元根据所述三维场景创作模块提交的三维场景创作模板与实时视频与信息模块提交的数据生成多个相关的三维场景模型，该三维场景模型由多个三维视频图文对象和交互式对象组合而成，用于进行信息展示和用户交互。场景渲染模块根据场景生成单元生成的三维场景模型，使用预置的光照、纹理和实施视频及信息进行渲染和绘制，生成对应的三维场景缓冲。场景输出单元通过视频输出装置，如显卡或视频输出卡将场景渲染单元生成的三维场景缓冲送至所述交互式控制模块。

如附图4所示，为本发明实施例中交互式控制模块的处理流程图。实时三维渲染引擎模块将处理完成的动态三维可视化场景输出至交互式控制模块后，用户使用多点触摸方式对交互式控制模块的动态三维可视化场景进行操作控制，生成控制指令，交互式控制模块上具有红外触控感应面板，可以通过RS232实时获取触控板上的多点交互指令，如单击，双击，平移，拖拉，缩放等多种手势交互，多点交互指令以简短的16进制表示，用于读取当前各个触控点的X，Y交叉点。交互式控制模块接收到控制指令后，进行解析，并将对应的操作控制信息反馈至实时三维渲染引擎模块，实时三维渲染引擎模块接收到反馈信息后，将对应的二维X，Y交叉点映射到三维空间中，并触发相应的动作，从而进行更新相关三维可视化场景并反馈到交互式控制模块。用户通过手势识别方式即可操控交互式控制模块上的多个三维可视化场景，从中选择需要的信息点进行交互动作。通过不同场景的轮换和更迭，可以满足用户对于不同信息的需求。

经过前面的描述可以看到，系统提供三维场景创作模块，使用户可以根据自身需求进行三维场景展示的创作。各类信息源的实时接入和多路实时视频源的使用，丰富了三维可视化的内容展示。同时，并通过多线程和多核运算处理，满足了大运算量下的三维场景渲染需求。在交互式的触摸操作引入之后，系统可以提供用户最大限度的操作空间。整个系统可以真正满足用户对于大量信息源和实时视频的自定义三维展示需求。

最后说明的是，本发明所述方法包括但不限于具体实施方式中的具体实施内容，熟悉本领域的技术人员在不脱离本发明技术原理的前提下进行变更和修改得出的其他具体实施例，或者根据发明内容得出的等同替代方式或明显变型方式，同样属于本发明权利要求的保护范围。

Claims (3)

1.交互式三维图形视频可视化系统，其特征在于，所述系统包括三维场景创作模块，实时视频与信息模块，实时三维渲染引擎模块，和交互式控制模块；

所述三维场景创作模块用于创作各类三维模型和光照，纹理等效果插件，并提供预览视图，生成用于所述实时三维渲染引擎模块所需的场景模板文件；

所述实时视频与信息模块用于获取播出时所需的多路实时视频以及各类文字信息和数据信息内容，并通过网络传输至实时三维渲染引擎模块；

所述实时三维渲染引擎模块用于根据场景模板文件和实时视频、各类文字信息和数据信息内容，生成实时可替换的多个动态三维可视化场景，并通过HD-SDI和HDMI同步输出到交互式控制模块；

所述交互式控制模块通过手势识别方式对上述实时三维渲染引擎模块生成的动态三维可视化场景进行各个内容和视角的交互式操作。

2.根据权利1要求所述的交互式三维图形视频可视化系统，其特征在于，所述三维场景创作模块，用于提供各类三维模型和效果插件，实现预览视图，并通过三维模型和效果插件的组合生成实时三维渲染引擎所需的场景模板文件。

3.根据权利1要求所述的交互式三维图形视频可视化系统，所述实时三维渲染引擎模块包括场景生成单元，场景渲染单元，和场景输出单元；

所述场景生成单元，用于根据所述三维场景创作模块提交的三维场景模板文件建立多视图的三维场景模型；

所述场景渲染单元，用于根据三维场景模型，使用预置的光照，纹理和实时视频及信息进行渲染和绘制，生成对应的三维场景缓冲；

所述场景输出单元，用于通过视频输出装置，如显卡或视频输出卡将三维场景缓冲输出至所述交互式控制模块。

Images