CN103795925A

CN103795925A - 一种可交互的主副画面实时渲染的拍照方法

Info

Publication number: CN103795925A
Application number: CN201410045766.1A
Authority: CN
Inventors: 张伟; 张长定; 叶志鸿; 傅松林
Original assignee: XIAMEN MEITUWANG TECHNOLOGY Co Ltd
Current assignee: XIAMEN MEITUWANG TECHNOLOGY Co Ltd
Priority date: 2014-02-08
Filing date: 2014-02-08
Publication date: 2014-05-14

Abstract

本发明涉及一种可交互的主副画面实时渲染的拍照方法，其中，图块通过人机交互进行主动地自定义绘制获得，具体为：3.1）用户在窗口中用鼠标或者触摸的方式画出自己想要形状的图块，并自动记录用户划动过程中的点集；3.2）根据用户划动的点集，计算图块外接矩形在窗口中的起始位置和大小，并生成相应的图块形状掩码图。本发明所述的方法对同一个影像经过不同处理以主画面和副画面的形式在同一屏幕上显示；主画面的显示是基于用户通过交互方式画出的图块信息，根据记录点集计算显示的起始位置和大小，根据记录点集信息生成图块形状掩码图并决定显示形状；效果新颖，整体美观，主题突出鲜明。

Description

一种可交互的主副画面实时渲染的拍照方法

技术领域

本发明涉及影像处理方法，更具体地说，涉及一种可交互的主副画面实时渲染的拍照方法。

背景技术

对目前的数码相机拍摄的照片的后期处理，通常都必须复制到电脑上，再用图片处理软件进行影像处理。随着智能移动终端的硬件发展与普及，现有技术也存在一些应用于智能移动终端的图片处理软件，方便实时对智能移动终端的图片进行影像处理，但还是存在不方便之处，比如在网络上分享拍摄的照片，则须拍摄完后，再利用图片处理软件进行影像处理，处理完后再进行分享。为了解决上述不足，现有技术中还存在对摄像头获取的画面进行实时渲染的技术方案，可以对摄像头获取的画面进行简单的实时渲染。

但就目前的现有技术看，只存在对摄像头获取的图像进行单一的渲染处理，从美观层面上看，成像结果效果单调，基本没有任何用于修饰的技术特征。

中国发明专利申请201110328311.7公开了一种具有画中画视频录制播放功能的数码相机，包括：图像拍摄单元，用于实时采集数码相机外部的影像信息；图像存储单元，与图像拍摄单元相连接，用于预先存储至少一张图片；背景图片设置单元，与图像存储单元相连接，用于根据用户输入的背景图片选择指令，从所述图像存储单元选取一张图片作为背景图片；视频显示窗口处理单元，分别与图像拍摄单元、图像存储单元和背景图片设置单元相连接，用于制作带有背景图片的视频文件，并存储到图像存储单元中。上述发明专利申请的技术方案可以制作具有背景图片的视频文件，使用户在播放视频文件时，可以同时看到背景图片和视频信息，实现画中画播放的功能。

但上述发明专利申请的这种影像拼贴技术往往利用某种算法将多张图片已某种固定的布局和模式拼在一起让使用者在有限的布局下选择自己较满意的效果，用户本身的想法在这种技术下无法完全实现，极大的限制了使用者创意的发挥。

为了解决上述问题，中国发明专利申请201310036169.8公开了一种主副画面实时渲染的拍照方法，步骤如下：1)加载主画面数据模板、初始化渲染环境、创建数据缓冲区、加载滤镜脚本；2)获取主画面原始影像，拷贝主画面原始影像生成副画面原始影像；3)主画面数据模板转换成窗口中的图块，将主画面原始影像合成到图块中，生成主画面渲染影像；4)将副画面原始影像加载到数据缓冲区，并通过滤镜脚本进行渲染，生成副画面渲染影像；5)将主画面渲染影像与副画面渲染影像合成，在窗口中显示。

但上述发明专利申请的图块固定，只能使用模版中的预设图块，布局和模式较为死板，用户本身的想法在这种技术下无法完全实现，极大的限制了使用者创意的发挥。

发明内容

本发明的目的在于克服现有技术的不足，提供一种图块通过人机交互自定义的可交互的主副画面实时渲染的拍照方法。

本发明的技术方案如下：

一种可交互的主副画面实时渲染的拍照方法，步骤如下：

1）初始化渲染环境、创建数据缓冲区、加载滤镜脚本；

2）获取主画面原始影像，拷贝主画面原始影像生成副画面原始影像；

3）获取图块，并生成相应的图块形状掩码图；

4)将主画面原始影像合成到图块中，生成主画面渲染影像；

5）将副画面原始影像加载到数据缓冲区，并通过滤镜脚本进行渲染，生成副画面渲染影像；

6）将主画面渲染影像与副画面渲染影像合成，在窗口中显示。

步骤3）中，图块通过人机交互进行主动地自定义绘制获得。

作为优选，步骤3）具体为：

3.1）用户在窗口中用鼠标或者触摸的方式画出自己想要形状的图块，并自动记录用户划动过程中的点集；

3.2）根据用户划动的点集，计算图块外接矩形在窗口中的起始位置和大小，并生成相应的图块形状掩码图。

作为优选，根据点集计算出的图块位置信息，对主画面原始影像进行裁减，截取图块范围内的影像，然后根据图块形状掩码图对图块范围内的影像进行透明度设置，形成与图块形状掩码图的状态对应的可见区域。

作为优选，在实时渲染的过程中，允许更换主画面图块。

作为优选，更换主画面图块的步骤如下：

A1）清除窗口影像；

A2）用户在窗口中用鼠标或者触摸的方式画出自己想要形状的图块，并自动记录用户划动过程中的点集；

A3)根据用户划动的点集，计算图块外接矩形在窗口中的起始位置和大小，并生成相应的图块形状掩码图；

A4）将主画面原始影像合成到图块中，生成新的主画面渲染影像；

A5）将新的主画面渲染影像与副画面渲染影像合成，在窗口中显示。

作为优选，步骤A1）中，清除影像前，先把当前的主画面原始影像保存至影像缓存区，步骤A4）中，读取保存在影像缓存区的主画面原始影像，合成到图块中，生成新的主画面渲染影像。

作为优选，步骤A1）中，清除影像前，先把当前的副画面渲染影像保存至影像缓存区，步骤A5）中，读取保存在影像缓存区的副画面渲染影像，与新的主画面渲染影像合成。

作为优选，步骤A1）中，清除影像前，先把当前的副画面原始影像与对应的滤镜脚本保存至影像缓存区，步骤A5）中，读取保存在影像缓存区的副画面原始影像与对应的滤镜脚本，进行渲染后，与新的主画面渲染影像合成。

作为优选，还允许用户在窗口中添加多个图块。

作为优选，添加图块的步骤如下：

B1）用户在窗口中用鼠标或者触摸的方式画出自己想要形状的图块，并自动记录用户划动过程中的点集；

B2)根据用户划动的点集，计算图块外接矩形在窗口中的起始位置和大小，并生成相应的图块形状掩码图；

B3）将主画面原始影像合成到所有图块中，生成新的主画面渲染影像；

B4）将新的主画面渲染影像与副画面渲染影像合成，在窗口中显示。

作为优选，还允许用户在窗口中删除已经添加的图块。

作为优选，删除图块的步骤如下：

C1)用户在窗口中点击自己想要删除的图块区域，选中图块。

C2）将选中的图块数据清除；

C3）将主画面原始影像逐步的合成到剩余的图块中，生成新的主画面渲染影像。

C4)将新的主画面渲染影像与副画面渲染影像合成，在窗口中显示。

作为优选，更换滤镜脚本的步骤如下：

D1）暂停获取副画面原始影像数据流；

D2）删除当前滤镜脚本，并加载新的滤镜脚本；

D3）加载滤镜脚本所使用的素材；

D4）继续获取副画面原始影像数据流，对副画面原始影像进行渲染。

作为优选，拷贝主画面原始影像生成副画面原始影像后，允许对主画面原始影像进行放缩操作。

作为优选，对获取的每一帧影像，均进行步骤4）至步骤6）操作，并在窗口中实时显示。

本发明的有益效果如下：

本发明所述的方法对同一个影像经过不同处理以主画面和副画面的形式在同一屏幕上显示；主画面的显示是基于用户通过交互方式画出的图块信息，根据记录点集计算显示的起始位置和大小，根据记录点集信息生成图块形状掩码图并决定显示形状；效果新颖，整体美观，主题突出鲜明。

本发明所述的方法在拍照过程中，可以看到副画面跟着主画面实时变化，背景不是静止的，显示实时效果，所见即所得，方便使用。

本发明所述的方法在拍照过程中允许替换幅画面滤镜脚本、允许用户增加和删除自己想要的图块及其形状、允许对主画面进行放缩操作，产生不同效果的副画面、画中画效果，选择多样化，而且用户体验性能优秀，达到易用性最大化。

附图说明

图1是用户在界面上画的形状。

图2是图块形状掩码图的实施例，图中黑白小方格表示具有一定透明度；

图3是本发明的效果图的实施例，图中副画面渲染影像使用了模糊滤镜。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明所述的主副画面实时渲染的拍照方法，将最终影像分为主画面区域以及剩余的副画面区域，对副画面原始影像的处理基于OpenGL ES，D3D等渲染平台。

本发明所述的方法，具体步骤如下：

1）初始化渲染环境、创建数据缓冲区、加载滤镜脚本；

3）如图1、图2所示，获取图块，并生成相应的图块形状掩码图；图块通过人机交互进行主动地自定义绘制获得，具体为：

3.2）根据用户划动的点集，计算图块外接矩形在窗口中的起始位置和大小，并生成相应的图块形状掩码图；

4)将主画面原始影像合成到图块中，生成主画面渲染影像；具体为：根据点集计算出的图块位置信息，对主画面原始影像进行裁减，截取图块范围内的影像，然后根据图块形状掩码图对图块范围内的影像进行透明度设置，形成与图块形状掩码图的状态对应的可见区域；

6）将主画面渲染影像与副画面渲染影像合成，在窗口中显示，如图3所示。

为了达到更易用的效果，与尝试多种不同的显示效果，本发明所述的方法可以在取景过程中用户可以更换想要的图块形状。更换主画面图块的步骤如下：

A1）清除窗口影像；

如果不想改变当前获取的影像，只想进行主画面形状和位置的修改，在步骤A1）清除影像前，先把当前的主画面原始影像保存至影像缓存区，步骤A4）中，读取保存在影像缓存区的主画面原始影像，合成到图块中，生成新的主画面渲染影像。即不改变也不会失去已经获取的影像，只更换主画面的显示效果，不必担心因为更换主画面数据模板而失去当前获取的影像。

步骤A1）清除影像前，先把当前的副画面原始影像与对应的滤镜脚本保存至影像缓存区，步骤A5）中，读取保存在影像缓存区的副画面原始影像与对应的滤镜脚本，进行渲染后，与新的主画面渲染影像合成。即可以节省再进行一次主画面原始影像复制工作，与滤镜脚本加载操作，在一定程序上节省设备的硬件资源，实现硬件性能的优化。

为了更进一步地节省设备的硬件资源，实现硬件性能最优化，在步骤A1）清除影像前，先把当前的副画面渲染影像保存至影像缓存区，步骤A5）中，读取保存在影像缓存区的副画面渲染影像，与新的主画面渲染影像合成。即不需要再对副画面原始影像进行重新渲染，从数据缓冲区读取后，可立即用于画面合成。

本发明还允许对图块进行添加与删除图块的操作，具体如下：

添加图块的步骤如下：

删除图块的步骤如下：

C1)用户在窗口中点击自己想要删除的图块区域，选中图块。

C2）将选中的图块数据清除；

为了达到尝试多种不同的显示效果，本发明所述的方法可以在取景过程中更换滤镜脚本，步骤如下：

B1）暂停获取副画面原始影像数据流；

B2）删除当前滤镜脚本，并加载新的滤镜脚本；

B3）加载滤镜脚本所使用的素材；

B4）继续获取副画面原始影像数据流，对副画面原始影像进行渲染。

拷贝主画面原始影像生成副画面原始影像后，为了使主画面原始影像适应图块形状的限制，或者由于更新主画面数据模块，引起的主画面原始影像显示不全或过小等问题，本发明所述的方法允许对主画面原始影像进行放缩操作，以使得主画面原始影像能够适应各种不同的主画面数据模块。

本发明所述的方法对获取的每一帧影像，均进行步骤5）至步骤7）操作，并在窗口中实时显示。用户可以实时看到主画面原始影像在主画面数据模板下、副画面原始影像在滤镜脚本的渲染下的实时效果，方便用户取舍。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims

1.一种可交互的主副画面实时渲染的拍照方法，步骤如下：

1）初始化渲染环境、创建数据缓冲区、加载滤镜脚本；

3）获取图块，并生成相应的图块形状掩码图；

4)将主画面原始影像合成到图块中，生成主画面渲染影像；

其特征在于，步骤3）中，图块通过人机交互进行主动地自定义绘制获得。

2.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，步骤3）具体为：

3.根据权利要求2所述的可交互的主副画面实时渲染的拍照方法，其特征在于，根据点集计算出的图块位置信息，对主画面原始影像进行裁减，截取图块范围内的影像，然后根据图块形状掩码图对图块范围内的影像进行透明度设置，形成与图块形状掩码图的状态对应的可见区域。

4.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，在实时渲染的过程中，允许更换主画面图块。

5.根据权利要求4所述的可交互的主副画面实时渲染的拍照方法，其特征在于，更换主画面图块的步骤如下：

A1）清除窗口影像；

6.根据权利要求5所述的可交互的主副画面实时渲染的拍照方法，其特征在于，步骤A1）中，清除影像前，先把当前的主画面原始影像保存至影像缓存区，步骤A4）中，读取保存在影像缓存区的主画面原始影像，合成到图块中，生成新的主画面渲染影像。

7.根据权利要求5所述的可交互的主副画面实时渲染的拍照方法，其特征在于，步骤A1）中，清除影像前，先把当前的副画面渲染影像保存至影像缓存区，步骤A5）中，读取保存在影像缓存区的副画面渲染影像，与新的主画面渲染影像合成。

8.根据权利要求5所述的可交互的主副画面实时渲染的拍照方法，其特征在于，步骤A1）中，清除影像前，先把当前的副画面原始影像与对应的滤镜脚本保存至影像缓存区，步骤A5）中，读取保存在影像缓存区的副画面原始影像与对应的滤镜脚本，进行渲染后，与新的主画面渲染影像合成。

9.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，还允许用户在窗口中添加多个图块。

10.根据权利要求9所述的可交互的主副画面实时渲染的拍照方法，其特征在于，添加图块的步骤如下：

11.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，还允许用户在窗口中删除已经添加的图块。

12.根据权利要求11所述的可交互的主副画面实时渲染的拍照方法，其特征在于，删除图块的步骤如下：

C1)用户在窗口中点击自己想要删除的图块区域，选中图块。

C2）将选中的图块数据清除；

13.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，更换滤镜脚本的步骤如下：

D1）暂停获取副画面原始影像数据流；

D2）删除当前滤镜脚本，并加载新的滤镜脚本；

D3）加载滤镜脚本所使用的素材；

14.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，拷贝主画面原始影像生成副画面原始影像后，允许对主画面原始影像进行放缩操作。

15.根据权利要求1所述的可交互的主副画面实时渲染的拍照方法，其特征在于，对获取的每一帧影像，均进行步骤4）至步骤6）操作，并在窗口中实时显示。