CN104036534A - 一种基于wp8平台的相机实时特效渲染方法 - Google Patents

Abstract

本发明公开了一种基于WP8平台的相机实时特效渲染方法，本发明技术要点包括：创建和初始化显示容器、显示容器内容提供者、WP8本地相机模型；使用所述相机模型创建相机浏览帧容器，所述相机浏览帧容器用于向所述相机模型提供实时的影像数据流；初始化DirectX3D11设备及上下文环境；将影像数据转换为纹理数据存储到所述纹理数据缓冲区中；并加载特效滤镜脚本；使用所述DirectX3D11设备及上下文环境、所述纹理数据与所述特效滤镜脚本配置移动设备的渲染管线；移动设备的渲染管线完成渲染工作得到实时特效渲染结果；将实时特效渲染结果显示到屏幕上。

Description

一种基于WP8平台的相机实时特效渲染方法

技术领域

本发明涉及相机实时特效渲染技术，尤其是一种基于WP8平台的相机实时特效渲染方法。

背景技术

随着越来越多的开发者加入WP8/WP8.1平台以及Nokia Lumia系列手机具备超凡的摄影摄像能力的原因，高质量的摄影摄像应用显得越来越必要，且将会在WP8平台越来越受欢迎。

作为当前流行一种视觉画面呈现方法——实时特效渲在iOS、Android平台十分受欢迎，所见所得的用户体验为手机摄影摄像带来了巨大生机，区别于iOS平台目前WP8平台的实时特效渲染的摄影应用主要现状是这样的： 1)、实时特效渲染摄影类应用非常稀少； 2)、实时特效渲染应用的画面帧率偏低，预览画面卡顿；3)、实时特效渲染功能导致UI体验不流畅。

发明内容

为了解决上述问题，我们提出了一种可用于WP8平台的相机实时渲染方法，旨在改善现有WP8平台的相机实时渲染应用画面帧率卡顿、UI操作不流畅等问题。

本发明采用的技术方案包括：

步骤1：在Silverlight端创建和初始化显示容器；

步骤2：为所述显示容器创建及初始化显示容器内容提供者；

步骤3：在Silverlight端创建和加载WP8本地相机模型；

步骤4：使用所述相机模型创建相机浏览帧容器，所述相机浏览帧容器用于向所述相机模型提供实时的影像数据流；

步骤5：初始化DirectX3D 11设备及上下文环境；创建纹理数据缓冲区，将影像数据转换为纹理数据存储到所述纹理数据缓冲区中；并加载特效滤镜脚本；

步骤6：使用所述DirectX3D 11设备及上下文环境、所述纹理数据与所述特效滤镜脚本配置移动设备的渲染管线；

步骤7：读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据，完成相机方向适配；

步骤8：将视口尺寸调整为屏幕分辨率尺寸大小，向移动设备的渲染管线发出渲染命令；移动设备的渲染管线完成渲染工作得到实时特效渲染结果；

步骤9：所述显示容器内容提供者控制实时特效渲染结果加载到所述显示容器中；

步骤10：所述显示容器接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上。

进一步，所述步骤6中的配置内容包括：

定义二维渲染平面顶点格式；

创建作为渲染画布的二维渲染平面几何体；

创建用于接收渲染管线输出阶段数据的渲染目标视图对象；

根据所述顶点格式组织并创建顶点着色器，并设置到上下文环境中；

使用步骤5中的特效滤镜脚本创建像素着色器并设置到上下文环境中；根据特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述纹理数据设置到上下文环境中，作为像素着色器的纹理数据输入参数。

本发明还提供了一种基于WP8平台的多特效叠加的相机实时特效渲染方法，包括：

步骤1：在Silverlight端创建和初始化显示容器；

步骤2：为所述显示容器创建及初始化显示容器内容提供者；

步骤3：在Silverlight端创建和加载WP8本地相机模型；

步骤4：使用所述相机模型创建相机浏览帧容器，所述相机浏览帧容器用于向所述相机模型提供实时的影像数据流；

步骤5：初始化DirectX3D 11设备及上下文环境；创建纹理数据缓冲区，将影像数据转换为纹理数据存储到所述纹理数据缓冲区中；并加载第1个特效滤镜脚本；

步骤6：使用所述DirectX3D 11设备及上下文环境、所述纹理数据与所述第1个特效滤镜脚本配置移动设备的渲染管线；

步骤7：根据相机预览帧数据尺寸创建离屏渲染目标视图对象及离屏渲染中间结果对象；向移动设备的渲染管线发出离屏渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到离屏渲染目标视图对象中；

步骤8：将离屏特效渲染结果从离屏渲染目标视图对象拷贝到离屏渲染中间结果对象；使用下一个特效滤镜脚本及离屏渲染中间结果对象作为纹理数据更新渲染管线的配置；调整视口尺寸为纹理尺寸，向移动设备的渲染管线发送离屏渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到离屏渲染目标视图对象中；

重复步骤8直到完成第2个到第n-1个特效滤镜脚本的特效叠加，然后执行以下步骤；

步骤9：使用第n个特效滤镜脚本及重复步骤8得到的n-1个特效叠加的离屏渲染目标视图对象作为纹理数据更新渲染管线的配置；

步骤10：读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据，完成相机方向适配

步骤11：将视口尺寸调整为屏幕分辨率尺寸大小，向移动设备的渲染管线发出渲染命令；移动设备的渲染管线完成渲染工作得到实时特效渲染结果；

步骤12：所述显示容器内容提供者控制实时特效渲染结果加载到所述显示容器中；

步骤13：所述显示容器接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上。

进一步，所述步骤6中的配置内容包括：

定义二维渲染平面顶点格式；

创建作为渲染画布的二维渲染平面几何体；

创建用于接收渲染管线输出阶段数据的渲染目标视图对象；

根据所述顶点格式组织并创建顶点着色器，并设置到上下文环境中；

使用步骤5中的第1个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据第1个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述纹理数据设置到上下文环境中，作为像素着色器的纹理数据输入参数。

进一步，所述步骤8中的使用下一个特效滤镜脚本及离屏渲染中间结果对象作为纹理数据更新渲染管线的配置的步骤进一步包括：

使用所述下一个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据所述下一个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述离屏渲染中间结果对象设置到上下文环境中，作为像素着色器的纹理数据输入参数。

所述步骤9进一步包括：

使用所述第n个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据第n个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将重复步骤8得到的n-1个特效叠加的离屏渲染目标视图对象设置到上下文环境中，作为像素着色器的纹理数据输入参数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明为WP8平台提供了一种实时特效渲染方法，既能使用Silverlight和DirectX3D图形渲染框架技术的优势，又能保证使用到WP8所有的新特性。

2、将DirectX效果框架(Effects FrameWork)思想应用到相机实时多特效(Pass)渲染功能上，保证了流畅帧率同时也克服了传统方法对用户界面造成的严重阻塞影响。

3、使用本地相机预览帧容器方法，充分降低了预览帧数据获取时间，从而提升画面呈现帧率。

4、充分发挥了GPU（图像处理单元）在图像渲染方面的优势，让CPU更加专注于自身用户界面的处理和响应工作，保证了用户界面的操作流畅性。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明基于WP8平台并使用微软DirectX3D 11(简称D3D)及Silverlight开发框架技术提出了一种适用于WP8平台的实时特效渲染方法，主要适用以下几种实施场景。

第一实施例：相机实时特效渲染

1)、在SL(Silverlight)端使用XAML技术创建和初始化显示容器，更具体的说，一种能接受和显示实时特效渲染结果到手机屏幕的容器。

2)、在Native(本地代码，使用C/C++实现)层为显示容器创建和初始化显示容器内容提供者，显示容器内容提供者用于控制实时特效渲染结果加载到显示容器的过程，例如控制实时特效渲染结果的帧率等参数。

3)、在SL端创建和加载WP8本地相机模型。

4）、在Native层使用步骤3)中的本地相机模型来创建相机预览帧容器，该容器用于提供实时的影像数据流，在一个更具体的实施例中该容器以提供原始帧的内存块地址的形式提供实时影像数据流。

5）、初始化D3D设备和上下文环境，创建纹理数据缓冲区，取一帧步骤4)中所述的影像数据，将其转换为纹理数据，存储到纹理数据缓冲区中，加载特效滤镜脚本(HLSL)。

6)、使用D3D设备和上下文环境、纹理数据及特效滤镜脚本配置渲染管线。

7)、读取移动设备的方向传感器数据（手机为横屏或是竖屏），并根据所述方向传感器数据调整渲染平面纹理坐标数据，完成相机方向适配。

8)、调整视口尺寸大小为屏幕分辨率尺寸，向GPU渲染管线发送渲染命令，渲染管线完成渲染工作得到实时特效渲染结果；

9）、所述显示容器内容提供者控制实时特效渲染结果加载到所述显示容器中；

10）、所述显示容器接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上。

在另一个实施例中，所述步骤6）具体的作法是包括：

Step1：定义二维渲染平面顶点格式，设置平面顶点数据(包括纹理坐标和顶点坐标)，创建二维渲染平面几何体，二维渲染平面几何体用作渲染画布。

Step2：创建用于接收渲染管线输出阶段(OM)数据的渲染目标视图（Render Target View）对象，命名为RealTime_RTV，根据Step1中的顶点数据格式组织并创建顶点着色器，并将顶点着色器设置到管线上下文环境中。

Step3：使用步骤5中的特效滤镜脚本创建像素着色器并设置到上下文环境中；

step4：根据特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；

step5：将所述纹理数据设置到上下文环境中，作为像素着色器的纹理数据输入参数。第二实施例：将n个特效叠加的相机实时渲染，n为大于或等于2的自然数

首先执行第一实施例中的步骤1)、2)、3)、4)、5)、6)，然后执行以下步骤：

7)、根据相机预览帧数据尺寸大小创建离屏渲染目标视图对象，命名为OffScreen_RTV，以及创建存放中间结果的离屏渲染中间结果对象，命名为TmpDest_SRV；向移动设备的渲染管线发出离屏渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到OffScreen_RTV中；

8）将离屏特效渲染结果从OffScreen_RTV拷贝到TmpDest_SRV中；使用下一个特效滤镜脚本及TmpDest_SRV作为纹理数据更新渲染管线的配置；调整视口尺寸为纹理尺寸，向移动设备的渲染管线发送离屏渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到OffScreen_RTV中；

重复步骤8直依次将第2个到第n-1个特效滤镜脚本与第一个特效叠加在一起，然后执行以下步骤；

9）使用第n个特效滤镜脚本及重复步骤8得到的n-1个特效叠加的OffScreen_RTV作为纹理数据更新渲染管线的配置；

10）读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据，完成相机方向适配

11）将视口尺寸调整为屏幕分辨率尺寸大小，向移动设备的渲染管线发出渲染命令；移动设备的渲染管线完成渲染工作得到实时特效渲染结果；

12）所述显示容器内容提供者控制实时特效渲染结果加载到所述显示容器中；

13）所述显示容器接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上。

在一个更具体的实施例中，所述步骤8中的使用下一个特效滤镜脚本及离屏渲染中间结果对象作为纹理数据更新渲染管线的配置的步骤进一步包括：

使用所述下一个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据所述下一个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述离屏渲染中间结果对象设置到上下文环境中，作为像素着色器的纹理数据输入参数。

所述步骤9进一步包括：

使用所述第n个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据所述第n个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将重复步骤8得到的n-1个特效叠加的离屏渲染目标视图对象设置到上下文环境中，作为像素着色器的纹理数据输入参数。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种基于WP8平台的相机实时特效渲染方法，其特征在于，包括：

步骤1：在Silverlight端创建和初始化显示容器；

步骤2：为所述显示容器创建及初始化显示容器内容提供者；

步骤3：在Silverlight端创建和加载WP8本地相机模型；

步骤4：使用所述相机模型创建相机浏览帧容器，所述相机浏览帧容器用于向所述相机模型提供实时的影像数据流；

步骤5：初始化DirectX3D 11设备及上下文环境；创建纹理数据缓冲区，将相机预览帧容器提供的影像数据转换为纹理数据存储到所述纹理数据缓冲区中；并加载特效滤镜脚本；

步骤6：使用所述DirectX3D 11设备及上下文环境、所述纹理数据与所述特效滤镜脚本配置移动设备的渲染管线；

步骤7：读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据，完成相机方向适配；

步骤8：将视口尺寸调整为屏幕分辨率尺寸大小，向移动设备的渲染管线发出渲染命令；移动设备的渲染管线完成渲染工作得到实时特效渲染结果；

步骤9：所述显示容器内容提供者控制实时特效渲染结果加载到所述显示容器中；

步骤10：所述显示容器接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上。

2.根据权利要求1所述的一种基于WP8平台的相机实时特效渲染方法，其特征在于，所述步骤6中的配置内容包括：

定义二维渲染平面顶点格式；

创建作为渲染画布的二维渲染平面几何体；

创建用于接收渲染管线输出阶段数据的渲染目标视图对象；

根据所述顶点格式组织并创建顶点着色器，并设置到上下文环境中；

使用步骤5中的特效滤镜脚本创建像素着色器并设置到上下文环境中；根据特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述纹理数据设置到上下文环境中，作为像素着色器的纹理数据输入参数。

3.一种基于WP8平台的多特效叠加的相机实时特效渲染方法，其特征在于，包括：

步骤1：在Silverlight端创建和初始化显示容器；

步骤2：为所述显示容器创建及初始化显示容器内容提供者；

步骤3：在Silverlight端创建和加载WP8本地相机模型；

步骤4：使用所述相机模型创建相机浏览帧容器，所述相机浏览帧容器用于向所述相机模型提供实时的影像数据流；

步骤5：初始化DirectX3D 11设备及上下文环境；创建纹理数据缓冲区，将相机浏览帧容器提供的影像数据转换为纹理数据存储到所述纹理数据缓冲区中；并加载第1个特效滤镜脚本；

步骤6：使用所述DirectX3D 11设备及上下文环境、所述纹理数据与所述第1个特效滤镜脚本配置移动设备的渲染管线；

步骤7：根据相机预览帧数据尺寸创建离屏渲染目标视图对象及离屏渲染中间结果对象；向移动设备的渲染管线发出渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到离屏渲染目标视图对象中；

步骤8：将离屏特效渲染结果从离屏渲染目标视图对象拷贝到离屏渲染中间结果对象；使用下一个特效滤镜脚本及离屏渲染中间结果对象作为纹理数据更新渲染管线的配置；调整视口尺寸为纹理尺寸，向移动设备的渲染管线发送渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到离屏渲染目标视图对象中；

重复步骤8直到完成第2个到第n-1个特效滤镜脚本的特效叠加，然后执行以下步骤；

步骤9：使用第n个特效滤镜脚本及重复步骤8得到的n-1个特效叠加的离屏渲染目标视图对象作为纹理数据更新渲染管线的配置；

步骤10：读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据，完成相机方向适配；

步骤11：将视口尺寸调整为屏幕分辨率尺寸大小，向移动设备的渲染管线发出渲染命令；移动设备的渲染管线完成渲染工作得到实时特效渲染结果；

步骤12：所述显示容器内容提供者控制实时特效渲染结果加载到所述显示容器中；

步骤13：所述显示容器接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上。

4.根据权利要求3所述的一种基于WP8平台的多特效叠加的相机实时特效渲染方法，其特征在于，所述步骤6中的配置内容包括：

定义二维渲染平面顶点格式；

创建作为渲染画布的二维渲染平面几何体；

创建用于接收渲染管线输出阶段数据的渲染目标视图对象；

根据所述顶点格式组织并创建顶点着色器，并设置到上下文环境中；

使用步骤5中的第1个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据第1个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述纹理数据设置到上下文环境中，作为像素着色器的纹理数据输入参数。

5.根据权利要求3所述的一种基于WP8平台的多特效叠加的相机实时特效渲染方法，其特征在于，所述步骤8中的使用下一个特效滤镜脚本及离屏渲染中间结果对象作为纹理数据更新渲染管线的配置的步骤进一步包括：

使用所述下一个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据所述下一个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将所述离屏渲染中间结果对象设置到上下文环境中，作为像素着色器的纹理数据输入参数。

6.根据权利要求3所述的一种基于WP8平台的多特效叠加的相机实时特效渲染方法，其特征在于，所述步骤9进一步包括：

使用所述第n个特效滤镜脚本创建像素着色器并设置到上下文环境中；根据第n个特效滤镜脚本中的常量输入参数结构创建移动设备管线常量缓冲区对象并设置到上下文环境中作为像素着色器的常量输入参数；将重复步骤8得到的n-1个特效叠加的离屏渲染目标视图对象设置到上下文环境中，作为像素着色器的纹理数据输入参数。

7.一种基于WP8平台的相机实时特效渲染系统，其特征在于，包括：

由Silverlight开发端创建和初始化的显示容器，用于接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上；

显示容器内容提供者，用于加载实时特效渲染结果到所述显示容器中；

由Silverlight开发端创建和加载的WP8本地相机模型；

使用本地相机模型创建的相机浏览帧容器，用于提供实时的影像数据流；

DirectX3D 11设备及上下文环境初始化模块，用于初始化DirectX3D 11设备及上下文环境；

由DirectX3D 11开发端创建的纹理数据转换模块，用于将影像数据转换为纹理数据存储到纹理数据缓冲区中；

由DirectX3D 11开发端创建的特效滤镜脚本加载模块；

渲染管线配置模块，用于使用所述DirectX3D 11设备及上下文环境、所述纹理数据与所述特效滤镜脚本配置移动设备的渲染管线；

相机方向适配模块，用于读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据；

视口尺寸调整模块，用于将视口尺寸调整为屏幕分辨率尺寸大小；

渲染命令发送模块，用于向移动设备的渲染管线发出渲染命令；

移动设备的渲染管线，用于完成渲染工作得到实时特效渲染结果；

所述n为大于或等于2的自然数。

8.一种基于WP8平台的多特效叠加的相机实时特效渲染系统，其特征在于，包括：

由Silverlight开发端创建和初始化的显示容器，用于接收实时特效渲染结果，并将实时特效渲染结果显示到屏幕上；

显示容器内容提供者，用于加载实时特效渲染结果到所述显示容器中；

由Silverlight开发端创建和加载的WP8本地相机模型；

使用本地相机模型创建的相机浏览帧容器，用于提供实时的影像数据流；

DirectX3D 11设备及上下文环境初始化模块，用于初始化DirectX3D 11设备及上下文环境；

由DirectX3D 11开发端创建的纹理数据转换模块，用于将影像数据转换为纹理数据存储到纹理数据缓冲区中；

由DirectX3D 11开发端创建的第1个特效滤镜脚本加载模块；

渲染管线配置模块，用于使用所述DirectX3D 11设备及上下文环境、所述纹理数据与所述第1个特效滤镜脚本配置移动设备的渲染管线；

根据相机预览帧数据尺寸创建的离屏渲染目标视图对象及离屏渲染中间结果对象；

离屏渲染命令发送模块，用于向移动设备的离屏渲染管线发出渲染命令；

离屏渲染管线，用于完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到离屏渲染目标视图对象中；

多特效叠加模块，用于重复执行以下步骤直到完成第2个到第n-1个特效滤镜脚本的特效叠加：将离屏特效渲染结果从离屏渲染目标视图对象拷贝到离屏渲染中间结果对象；使用当前特效滤镜脚本及离屏渲染中间结果对象作为纹理数据更新渲染管线的配置；调整视口尺寸为纹理尺寸，向移动设备的渲染管线发送渲染命令，移动设备的渲染管线完成渲染工作得到离屏特效渲染结果，将所述离屏特效渲染结果存储到离屏渲染目标视图对象中；

第n个特效滤镜脚本叠加模块，用于使用第n个特效滤镜脚本及多特效叠加模块输出的离屏渲染目标视图对象作为纹理数据更新渲染管线的配置；

相机方向适配模块，用于读取移动设备的方向传感器数据，并根据所述方向传感器数据调整渲染平面纹理坐标数据； 视口尺寸调整模块，用于将视口尺寸调整为屏幕分辨率尺寸大小；

渲染命令发送模块，用于向移动设备的渲染管线发出渲染命令；

渲染管线，用于完成渲染工作得到实时特效渲染结果。