CN105120256A - 移动终端及其通过拍摄3d图像合成图片的方法和装置 - Google Patents

Abstract

本发明公开了移动终端及其通过拍摄3D图像合成图片的方法和装置，属于移动终端技术领域。该通过拍摄3D图像合成图片的方法应用于移动终端，该方法包括：采集合成3D图像的原始图像；获取原始图像中的目标区域以及目标区域的图形参数；接收到图形背景的选择指令时，将目标区域以及目标区域的图形参数融合到图形背景中，形成一张新的3D图片。本发明将目标区域与背景部分分离，得到3D素材，并允许用户对3D素材进行添加剪辑得到新的3D图片，使得用户在拍摄3D图像时得到的是一张可以操作的3D图，并允许在一张图上不同的区域可以有不同的操作，拓展了图片展现的形式，起到意想不到的效果。

Description

移动终端及其通过拍摄3D图像合成图片的方法和装置

技术领域

本发明涉及移动终端技术领域，具体涉及移动终端及其通过拍摄3D图像合成图片的方法和装置。

背景技术

随着科学技术的发展，现有技术已经可以通过双摄像头拍摄肉眼3D的图像，例如HTC生产的型号为G17的手机，但是现有技术中对于肉眼3D的图像仅限于拍摄和观赏，当用户想要对拍摄的3D进行编辑时，却很难着手。目前还没有一种比较好的便于普通用户直接编辑3D图像的方法。

发明内容

本发明提供移动终端及其通过拍摄3D图像合成图片的方法和装置，以达到方便用户编辑3D图片的目的，克服上述现有技术无法给普通用户提供3D图片编辑方法的缺陷。

本发明解决上述技术问题的技术方案如下。

根据本发明的一个方面，提供的一种通过拍摄3D图像合成图片的方法，该方法应用于移动终端，该方法包括：

采集合成3D图像的原始图像；

获取原始图像中的目标区域以及目标区域的图形参数；

接收到图形背景的选择指令时，将目标区域以及目标区域的图形参数融合到图形背景中，形成一张新的3D图片。

优选地，该移动终端设有两个摄像头，该方法还包括：

获取两个摄像头在同一时刻拍摄的两张图像；

获取两张图像中目标区域沿X方向平移后的校正图；

通过校正图计算两张图像中目标区域的视差图。

优选地，上述图形参数包括目标区域的景深，通过以下公式计算景深：

$Z=\frac{fT}{d};$

其中，Z表示景深，f表示两个摄像头所在的平面与移动终端的主平面之间的距离，T表示两个摄像头之间的距离，d表示视差图中任一对应像素点的视差。

优选地，该图形参数包括目标区域的亮度，针对上述将获取的目标区域以及目标区域的图形参数融合到图形背景中，该方法还包括：

调整目标区域的色彩显示参数和/或图形背景的色彩显示参数，使得目标区域的色彩显示与图形背景的色彩显示相融合。

优选地，针对上述获取原始图像中的目标区域，该方法还包括：

确定原始图像中的种子像素；

以种子像素为中心，按照区域生长法获取目标区域。

优选地，针对上述获取原始图像中的目标区域，该方法还包括：

对原始图像进行深度图像分割，将图形深度在预设距离范围内的区域选定为目标区域。

根据本发明的另一个方面，提供的一种通过拍摄3D图像合成图片的装置，该装置包括：

原始图像采集模块，用于采集合成3D图像的原始图像；

目标区域获取模块，用于获取原始图像中的目标区域以及目标区域的图形参数；

融合模块，用于接收到图形背景的选择指令时，将目标区域以及目标区域的图形参数融合到图形背景中，形成一张新的3D图片。

优选地，该目标区域获取模块具体包括：

种子像素确定单元，用于确定原始图像中的种子像素；

目标区域获取单元，用于以种子像素为中心，按照区域生长法获取目标区域。

优选地，该目标区域获取模块具体包括：

目标区域选定单元，用于对原始图像进行深度图像分割，将图形深度在预设距离范围内的区域选定为目标区域。

根据本发明的又一个方面，提供的一种移动终端，该移动终端包括上述的通过拍摄3D图像合成图片的装置。

本发明提供了移动终端及其通过拍摄3D图像合成图片的方法和装置，利用景深，使得目标区域与背景分离，得到3D素材，然后允许用户对3D素材进行添加剪辑得到新的3D图片，使得用户在拍摄3D图像时得到的图不仅仅是一张肉眼3D图，还是一张可以操作的3D图，使得一张图上不同的区域可以有不同的操作，拓展了图片展现的形式，起到意想不到的效果。

附图说明

图1为相机的电气结构框图；

图2为根据本发明的一个实施例的通过拍摄3D图像合成图片的方法的流程图；

图3为根据本发明的另一实施例的通过拍摄3D图像合成图片的方法的流程图；

图4为根据本发明的又一实施例的通过拍摄3D图像合成图片的方法的流程图；

图5为根据本发明的一个实施例的通过拍摄3D图像合成图片的装置的示范性结构框图；

图6为根据本发明的一个实施例的目标区域获取模块的示范性结构框图；

图7为根据本发明的一个实施例的移动终端的示范性结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为相机的电气结构框图，如图1所示，摄影镜头1211由用于形成被摄体像的多个光学镜头构成，为单焦点镜头或变焦镜头。摄影镜头1211在镜头驱动器1221的控制下能够在光轴方向上移动，镜头驱动器1221根据来自镜头驱动控制电路1222的控制信号，控制摄影镜头1211的焦点位置，在变焦镜头的情况下，也可控制焦点距离。镜头驱动控制电路1222按照来自微型计算机1217的控制命令进行镜头驱动器1221的驱动控制。

在摄影镜头1211的光轴上、由摄影镜头1211形成的被摄体像的位置附近配置有摄像元件1212。摄像元件1212用于对被摄体像摄像并取得摄像图像数据。在摄像元件1212上二维且呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。

摄像元件1212与摄像电路1213连接，该摄像电路1213在摄像元件1212中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的信号电平。

摄像电路1213与A/D转换器1214连接，该A/D转换器1214对模拟图像信号进行模数转换，向总线1227输出数字图像信号(以下称之为图像数据)。

总线1227是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线1227连接着上述A/D转换器1214，此外还连接着图像处理器1215、JPEG处理器1216、微型计算机1217、SDRAM(SynchronousDynamicrandomaccessmemory，同步动态随机存取内存)1218、存储器接口(以下称之为存储器I/F)1219、LCD(LiquidCrystalDisplay，液晶显示器)驱动器1220。

图像处理器1215对基于摄像元件1212的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器1216在将图像数据记录于记录介质1225时，按照JPEG压缩方式压缩从SDRAM1218读出的图像数据。此外，JPEG处理器1216为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在记录介质1225中的文件，在JPEG处理器1216中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM1218中并在LCD1226上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。

微型计算机1217发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微型计算机1217连接着操作单元1223和闪存1224。

操作单元1223包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作控件，检测这些操作控件的操作状态，。

将检测结果向微型计算机1217输出。此外，在作为显示器的LCD1226的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微型计算机1217输出。微型计算机1217根据来自操作单元1223的操作位置的检测结果，执行与用户的操作对应的各种处理序列。

闪存1224存储用于执行微型计算机1217的各种处理序列的程序。微型计算机1217根据该程序进行相机整体的控制。此外，闪存1224存储相机的各种调整值，微型计算机1217读出调整值，按照该调整值进行相机的控制。

SDRAM1218是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM1218暂时存储从A/D转换器1214输出的图像数据和在图像处理器1215、JPEG处理器1216等中进行了处理后的图像数据。

存储器接口1219与记录介质1225连接，进行将图像数据和附加在图像数据中的文件头等数据写入记录介质1225和从记录介质1225中读出的控制。记录介质1225例如为能够在相机主体上自由拆装的存储器卡等记录介质，然而不限于此，也可以是内置在相机主体中的硬盘等。

LCD驱动器1210与LCD1226连接，将由图像处理器1215处理后的图像数据存储于SDRAM1218，需要显示时，读取SDRAM1218存储的图像数据并在LCD1226上显示，或者，JPEG处理器1216压缩过的图像数据存储于SDRAM1218，在需要显示时，JPEG处理器1216读取SDRAM1218的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD1226进行显示。

LCD1226配置在相机主体的背面进行图像显示。该LCD1226LCD，然而不限于此，也可以采用有机EL等各种显示面板(LCD1226)，然而不限于此，也可以采用有机EL等各种显示面板。

基于上述相机的硬件结构以及通信系统，提出本发明方法各个实施例。

实施例一

图2为根据本发明的一个实施例的通过拍摄3D图像合成图片的方法的流程图，下面结合图2来描述根据本发明的一个实施例的通过拍摄3D图像合成图片的方法，该方法应用于移动终端，如图2所示，该方法包括以下步骤：

S100、采集合成3D图像的原始图像；

S200、获取原始图像中的目标区域以及目标区域的图形参数；

S300、接收到图形背景的选择指令时，将目标区域以及目标区域的图形参数融合到图形背景中，形成一张新的3D图片。

在采集上述用于合成3D图像的原始数据时，选择需要拍摄3D部分的内容，在画面上用手指涂抹或勾选出来；

然后对准物体旋转一定的角度(0°＜旋转度数≤360°)，期间设备会拍摄一定数量的图片满足对物体3D成形的要求，并且多摄像头会同时测不同的对焦点、光源点，保障记录的信息的包含不同亮度、深度。

拍摄完成后把选中物品从背景中分离得到一个单独的含不同信息内容的图形。

其中，用于合成3D图像的原始图像的数据通过移动终端上的摄像头来进行。该移动终端设有两个摄像头，将目标区域以及目标区域的图形参数融合到图形背景中具体如下：

获取两个摄像头在同一时刻拍摄的两张图像I_l和I_r；

获取两张图像中目标区域沿X方向平移后的校正图I′_l和I′_r；

通过校正图和局部立体匹配算法计算两张图像中目标区域的视差图。

然后通过以下公式计算目标区域的景深：

$Z=\frac{fT}{d};$

其中，Z表示景深，f表示两个摄像头所在的平面与移动终端的主平面之间的距离，即小孔成像模型的焦距(这里设定两个摄像头的焦距一样)，T表示两个摄像头之间的距离，d表示视差图中任一对应像素点的视差。上述局部立体匹配算法为现有的算法，此处不做过多描述。

最后将目标区域的像素按照其对应计算的景深，将目标区域的内容融合进图形背景中。由于本方案并不关心I′_l和I′_r中的背景区域，因此视差图D只计算前景区域即可。

其中，该图形参数包括目标区域的亮度，针对上述将获取的目标区域以及目标区域的图形参数融合到图形背景中，该方法还包括：

调整目标区域的色彩显示参数和/或图形背景的色彩显示参数，使得目标区域的色彩显示与图形背景的色彩显示相融合。

本实施例利用景深，使得目标区域与背景分离，得到3D素材，然后允许用户对3D素材进行添加剪辑得到新的3D图片，使得用户在拍摄3D图像时得到的图不仅仅是一张肉眼3D图，还是一张可以操作的3D图，使得一张图上不同的区域可以有不同的操作，拓展了图片展现的形式，起到意想不到的效果。

实施例二

图3为根据本发明的另一实施例的通过拍摄3D图像合成图片的方法的流程图，如图3所示，该通过拍摄3D图像合成图片的方法在包括上述步骤S100和S300的基础上，上述步骤S200具体还包括：

S211、确定原始图像中的种子像素；

S212、以种子像素为中心，按照区域生长法获取目标区域。

根据本实施例的一个示例例如：

使用人脸/人体检测技术。首先使用人脸/人体自动检测技术检测到人物所在大体区域，然后使用区域生长法分割出完整人体区域。区域生长法的种子像素选择人脸/人体区域中心点(质心)作为种子像素。生长准则：在相邻四邻域搜索视差与种子像素景深之差的绝对值小于阈值T的像素，并入种子像素区域中。阈值T的选取在0.1～0.5米时效果较好。区域生长法可以分割出人体区域(目标区域)和背景区域。

根据本实施例的另一个示例例如：

使用人机交互分割图像主体。对于图像主体难于自动检测的情况，使用人机交互方式由用户大致圈选设置一个区域，然后对景深图使用区域生长法分割出完整目标区域。区域生长法的种子像素选择用户选取区域的中心点(质心)作为种子像素，其余处理与上述示例相同。分割后得到目标区域，图像中其他区域作为背景区域。类似的，用户还可以设置多个目标区域S1～Sn，以及一个背景区域Sback。

根据本实施例的一个使用场景例如：拍摄一个人时选择人整体，用3D模式拍摄记录下来，然后分离背景，添加到3D素材库中，在后期拍摄一张风景图，添加素材库中的人像，那么人像也合进了风景里，并且会随着风景的光源调整人像。

根据本实施例的另一个使用场景例如：拍摄一个人物写真，选取头部为要拍摄的3D部分，正面连身体拍摄完成后，对头部进行大范围的不同角度拍摄，然后再合进之前拍摄的图片里，那么得到的是一张正面坐姿的图，但是头部可以轻微左右旋转，这样可以后期调整的时候有更大空间或者包含更多细节内容。一张图包含了不同朝向。

本实施例使得合成后的3D图像看起来更真实，生动，并且在阅览的时候更加真实，有趣。

实施例三

图4为根据本发明的又一实施例的通过拍摄3D图像合成图片的方法的流程图，如图4所示，该通过拍摄3D图像合成图片的方法在包括上述步骤S100和S300的基础上，上述步骤S200具体还包括：

S221、对原始图像进行深度图像分割，将图形深度在预设距离范围内的区域选定为目标区域。

其中，上述预设的距离范围例如将距离摄像装置2米以内的图像区域作为目标区域。

本实施例对于近景总是作为摄像主体的使用场景，可以直接利用景深图的深度信息进行图像分割，方便快捷。

实施例四

图5为根据本发明的一个实施例的通过拍摄3D图像合成图片的装置的示范性结构框图，下面结合图5来具体描述根据本发明的一个实施例的通过拍摄3D图像合成图片的装置11，如图5所示，该装置包括：

原始图像采集模块10，用于采集合成3D图像的原始图像；

目标区域获取模块20，用于获取原始图像中的目标区域以及目标区域的图形参数；

融合模块30，用于接收到图形背景的选择指令时，将目标区域以及目标区域的图形参数融合到图形背景中，形成一张新的3D图片。

其中，上述融合模块30具体包括：

图像获取单元，用于获取两个摄像头在同一时刻拍摄的两张图像；

校正图获取单元，用于获取两张图像中目标区域沿X方向平移后的校正图；

视差图计算单元，用于通过校正图和局部立体匹配算法计算两张图像中目标区域的视差图。

色彩调整单元，用于调整目标区域的色彩显示参数和/或图形背景的色彩显示参数，使得目标区域的色彩显示与图形背景的色彩显示相融合。

图6为根据本发明的一个实施例的目标区域获取模块的示范性结构框图，如图6所示，上述目标区域获取模块20具体包括：

种子像素确定单元21，用于确定原始图像中的种子像素；

目标区域获取单元22，用于以种子像素为中心，按照区域生长法获取目标区域。

作为可选的，如图6所示，该目标区域获取模块20具体包括：

目标区域选定单元23，用于对原始图像进行深度图像分割，将图形深度在预设距离范围内的区域选定为目标区域。

本实施例使得目标区域可以与背景分离，得到3D素材，然后允许用户对3D素材进行添加剪辑得到新的3D图片，使得用户在拍摄3D图像时得到的图不仅仅是一张肉眼3D图，还是一张可以编辑的3D图，使得一张图上不同的区域可以有不同的操作，拓展了图片展现的形式，起到意想不到的效果。

实施例五

图7为根据本发明的一个实施例的移动终端的示范性结构框图，如图7所示的移动终端，该移动终端100包括上述的过拍摄3D图像合成图片的装置11。

其中，该移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

通过本发明使得目标区域与背景分离，然后允许用户对得到的3D素材进行添加剪辑得到新的3D图片，使得用户在拍摄3D图像时得到的图不仅仅是一张肉眼3D图，还是一张可以操作的3D图，使得一张图上不同的区域可以有不同的操作，拓展了图片展现的形式，起到意想不到的效果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种通过拍摄3D图像合成图片的方法，所述方法应用于移动终端，其特征在于，所述方法包括：

采集合成3D图像的原始图像；

获取所述原始图像中的目标区域以及所述目标区域的图形参数；

接收到图形背景的选择指令时，将所述目标区域以及所述目标区域的图形参数融合到所述图形背景中，形成一张新的3D图片。

2.根据权利要求1所述的通过拍摄3D图像合成图片的方法，其特征在于，所述移动终端设有两个摄像头，所述方法还包括：

获取两个摄像头在同一时刻拍摄的两张图像；

获取所述两张图像中目标区域沿X方向平移后的校正图；

通过所述校正图计算所述两张图像中目标区域的视差图。

3.根据权利要求2所述的通过拍摄3D图像合成图片的方法，其特征在于，所述图形参数包括所述目标区域的景深，通过以下公式计算所述景深：

$Z=\frac{fT}{d};$

其中，Z表示景深，f表示所述两个摄像头所在的平面与所述移动终端的主平面之间的距离，T表示所述两个摄像头之间的距离，d表示所述视差图中任一对应像素点的视差。

4.根据权利要求1所述的通过拍摄3D图像合成图片的方法，其特征在于，所述图形参数包括所述目标区域的亮度，针对所述将获取的所述目标区域以及所述目标区域的图形参数融合到所述图形背景中，所述方法还包括：

调整所述目标区域的色彩显示参数和/或所述图形背景的色彩显示参数，使得所述目标区域的色彩显示与所述图形背景的色彩显示相融合。

5.根据权利要求1至4任一项所述的通过拍摄3D图像合成图片的方法，其特征在于，针对所述获取所述原始图像数据中的目标区域，所述方法还包括：

确定所述原始图像中的种子像素；

以所述种子像素为中心，按照区域生长法获取所述目标区域。

6.根据权利要求1至4任一项所述的通过拍摄3D图像合成图片的方法，其特征在于，针对所述获取所述原始图像数据中的目标区域，所述方法还包括：

对所述原始图像进行深度图像分割，将图形深度在预设距离范围内的区域选定为所述目标区域。

7.一种通过拍摄3D图像合成图片的装置，其特征在于，所述装置包括：

原始图像采集模块，用于采集合成3D图像的原始图像；

目标区域获取模块，用于获取所述原始图像中的目标区域以及所述目标区域的图形参数；

融合模块，用于接收到图形背景的选择指令时，将所述目标区域以及所述目标区域的图形参数融合到所述图形背景中，形成一张新的3D图片。

8.根据权利要求7所述的装置，其特征在于，所述目标区域获取模块具体包括：

种子像素确定单元，用于确定所述原始图像中的种子像素；

目标区域获取单元，用于以所述种子像素为中心，按照区域生长法获取所述目标区域。

9.根据权利要求7或8所述的装置，其特征在于，所述目标区域获取模块具体包括：

目标区域选定单元，用于对所述原始图像进行深度图像分割，将图形深度在预设距离范围内的区域选定为所述目标区域。

10.一种移动终端，其特征在于，所述移动终端包括上述权利要求7～9任一项所述的通过拍摄3D图像合成图片的装置。