CN103260042B

CN103260042B - 一种立体图像合成方法及装置

Info

Publication number: CN103260042B
Application number: CN201310150063.0A
Authority: CN
Inventors: 郗宏涛
Original assignee: TCL Commercial Information Technology Huizhou Co Ltd
Current assignee: TCL Commercial Information Technology Huizhou Co Ltd
Priority date: 2013-04-26
Filing date: 2013-04-26
Publication date: 2016-08-10
Anticipated expiration: 2033-04-26
Also published as: CN103260042A

Abstract

本发明适用于移动终端技术领域，提供了一种立体图像合成方法及装置，包括：获取用于合成目标图像的Ｎ幅子图像，所述N为大于等于2的整数；获取目标图像中各像素点包括的各像素分量的定位信息，所述像素分量遵循立体图像中像素分量排列规律，所述像素分量包括红色分量、绿色分量以及蓝色分量，所述定位信息包括子图序号以及定位坐标，所述定位坐标包括宽度坐标和高度坐标，所述子图序号为子图像的序号；在Ｎ幅子图像中根据所述子图序号以及所述定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像。在本发明实施例中，优化了立体图像的画面，提高了立体图像的显示效果。

Description

一种立体图像合成方法及装置

技术领域

本发明属于立体图像技术领域，尤其涉及一种立体图像合成方法及装置。

背景技术

随着立体图像在3D游戏、商业广告、医疗显示、娱乐等领域的广泛应用，用户可以随时随地观看到立体图像，享受立体图像带来的与传统影音图像不一样的视觉体验。立体图像是由多个角度拍摄的图像进行合成的，需要根据立体图像的尺寸将子图图像缩放到固定尺寸大小，例如，合成1920*1080，需要的子图大小为720*360然后遵循立体图像中像素分量排列规律，将几幅图的像素点进行合成。

然而，由于在立体图像合成时，缺乏对目标图像的像素分量的定位，因此需要根据立体图像的尺寸将子图图像缩放到固定尺寸大小，而将图像缩放到固定大小，会使图像的相邻像素点进行合并或填充，导致后续合成的立体图像的清晰度下降。

与此同时，遵循立体图像中像素分量排列规律，像素点会以倾斜的方向排列，存在部分区域没有对应的像素点的情况，由于缺乏对目标图像该部分区域的像素分量的定位，因此该部分区域中像素点不连续，导致后续合成的立体图像拉伸、偏移，从而使得合成的立体图像质量严重下降，出现断层，画面扭曲等现象，影响了立体图像的显示效果。

发明内容

本发明实施例的目的在于提供一种立体图像合成方法，旨在解决现有的技术在立体图像合成时，缺乏对目标图像的像素分量的定位，导致合成后的立体图像的显示效果差的问题。

本发明实施例是这样实现的，一种立体图像合成方法，包括：

获取用于合成目标图像的Ｎ幅子图像，所述N为大于等于2的整数；

获取目标图像中各像素点包括的各像素分量的定位信息，所述像素分量遵循立体图像中像素分量排列规律，所述像素分量包括红色分量、绿色分量以及蓝色分量，所述定位信息包括子图序号以及定位坐标，所述定位坐标包括宽度坐标和高度坐标，所述子图序号为子图像的序号；

在Ｎ幅子图像中根据所述子图序号以及所述定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像。

本发明实施例的另一目的在于提供一种立体图像合成装置，包括：

第一获取单元，用于获取用于合成目标图像的Ｎ幅子图像，所述N为大于等于2的整数；

第二获取单元，用于获取目标图像中各像素点包括的各像素分量的定位信息，所述像素分量遵循立体图像中像素分量排列规律，所述像素分量包括红色分量、绿色分量以及蓝色分量，所述定位信息包括子图序号以及定位坐标，所述定位坐标包括宽度坐标和高度坐标，所述子图序号为子图像的序号；

合成单元，用于在Ｎ幅子图像中根据所述子图序号以及所述定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像。

在本发明实施例中，通过在Ｎ幅子图像中根据子图序号以及定位坐标，提取子图像中各像素点的像素分量值，根据像素分量值合成目标图像的各像素点，以合成所述目标图像，解决了在立体图像合成时，缺乏对目标图像的像素分量的定位的问题，避免了合成的立体图像的清晰度下降的情况，同时避免了立体图像出现断层，画面扭曲的情况，从而优化了立体图像的画面，提高了立体图像的显示效果。

附图说明

图1是本发明实施例1提供的立体图像合成方法的实现流程图；

图2是本发明实施例1提供的获取定位信息中子图序号的具体实现流程图；

图3是本发明实施例1提供的定位信息中定位坐标的具体实现流程图；

图4是本发明实施例1提供的立体图像合成方法步骤S103具体实现流程图；

图5是本发明实施例6提供的立体图像合成装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例 1 ：

图1示出了本发明实施例提供的一种立体图像合成方法的实现流程，详述如下：

在步骤S101中，获取用于合成目标图像的Ｎ幅子图像，所述N为大于等于2的整数。

在本实施例中，N可以为用户自设，也可以系统默认，在此不做限制。

优选地，N为8，以提高合成速度，保证生成目标图像中的实时性。

在本实施例中，获取用于合成目标图像的Ｎ幅子图像，可通过镜头，通过固定的帧速率捕捉图像，将图像的像素的数据保存在缓冲区中，并从中提取数据在屏幕上进行图像预览。用户可在图像预览中选择需要合成的N幅图像，选择的方式，包括但不限于触控选择、按键选择。

可选地，获取用于合成目标图像的Ｎ幅子图像，也可以将多个视度拍摄的图像，以不同的分类标识与图像建立对应关系，并记录存储，在系统中根据不同分类标识直接调用图像，在系统中快速导入图像，从而完成用于合成目标图像的Ｎ幅子图像的获取。

在步骤S102中，获取目标图像中各像素点包括的各像素分量的定位信息，所述像素分量遵循立体图像中像素分量排列规律，所述像素分量包括红色分量、绿色分量以及蓝色分量，所述定位信息包括子图序号以及定位坐标，所述定位坐标包括宽度坐标和高度坐标，所述子图序号为子图像的序号。

在本实施例中，目标图像为将Ｎ幅子图像进行合成而得到的图像。定位坐标为在子图像中定位包括像素分量的像素点的坐标。

在本实施例中，目标图像中各像素点包括的各像素分量遵循立体图像像素分量排列规律，立体图像像素分量排列规律为公知常识，在此不做赘述。

在步骤S103中，在Ｎ幅子图像中根据子图序号以及定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像。

在本实施例中，提取子图像中各像素点的像素分量值，将像素分量值填充至合成目标图像的各像素点中，从而完成了目标图像中像素点的合成，解决了在立体图像合成时，缺乏对目标图像的像素分量的定位的问题，使得目标图像的每个像素点包括各个像素分量均能在N个子图像中提取与其对应的像素分量的像素分量值，保证了目标图像中的像素点连续，避免了后续合成的立体图像拉伸、偏移，导致合成的立体图像质量严重下降，出现断层，画面扭曲等现象的情况，优化了立体图像的画面，提高了立体图像的显示效果。

实施例 2 ：

图2示出了本发明实施例1中获取目标图像中各像素点包括的各像素分量的定位信息中子图序号的具体实施流程，详述如下：

在步骤S201中，获取目标图像的各像素点的定位坐标。

在本实施例中，在一幅图像中获取像素点的定位坐标为现有技术，在此不做赘述。

在步骤S202中，根据所述定位坐标生成各像素点包括的各像素分量的定位信息中的子图序号。

作为本发明的一个优选实施例，所述根据所述定位坐标生成各像素点包括的各像素分量在Ｎ幅子图像中的定位信息中的子图序号，具体为：

建立子图序号模型：

n=（3X+Y+Z）%N+1

其中，所述n为子图序号，所述X为目标图像中像素点的宽度坐标，所述Y为目标图像中像素点的高度坐标，Z为目标图像的像素点中像素分量的序号。

根据所述子图序号模型获取各像素点包括的各像素分量在Ｎ幅子图像中的定位信息中的子图序号。

在本实施例中，读入N幅子图像，对子图像进行编号，其中，n为子图序号，n的取值范围为1至N，例如读入8幅子图像，子图像对应的子图序号分别为（1，2，3，4，5，6，7，8）。X为目标图像中像素点的宽度坐标，Y为目标图像中像素点的高度坐标，Z为目标图像的像素点中像素分量的序号，Z的取值可为相邻的三个整数，三个整数分别对应红色分量、绿色分量以及蓝色分量的序号。优选地，Z的取值为（0，1，2），整数0表示红色分量的序号，整数1表示绿色分量的序号，整数2表示蓝色分量的序号，可选地，也可以整数0表示蓝色分量的序号，整数1表示绿色分量的序号，整数2表示红色分量的序号，只要用唯一的序号进行区分像素分量即可，具体的区分序号，用户可自定义，在此不做限制。

在本实施例中，为便于说明，以获取目标图像中像素点A的各像素分量在8幅子图像中的字图序号为例，8幅子图像中的字图序号编号为（1，2，3，4，5，6，7，8），在目标图像中获取到像素点A的坐标为（100，200），X_A为100，Y_A为200，同时Z的取值为（0，1，2），整数0表示红色分量的序号，根据子图序号模型n=（3X+Y+Z）%N+1，将X_A为100，Y_A为200，Z为0，N为8代入模型计算，可得（300+200+0）%8+1的值为5，也就是表示像素点A的红色分量，应从第五幅子图像中根据定位坐标对像素点进行定位，

同理，Z为1时，将相关数据代入模型计算，n为6，表示像素点A的绿色分量，应从第6幅子图像中根据定位坐标对像素点进行定位。

同理，Z为2时，将相关数据代入模型计算，n为7，表示像素点A的蓝色分量，应从第五幅子图像中根据定位坐标对像素点进行定位。

从而得到了目标图像中像素点A的各像素分量在8幅子图像中的字图序号，便于后续在8幅子图像中，对目标图像的像素分量进行定位，从第5幅子图像中提取定位到的像素点的像素分量中的红色分量值，作为像素点A红色分量的红色分量值，从第6幅子图像中提取定位到的像素点的像素分量中的绿色分量值，作为像素点A绿色分量的绿色分量值，从第7幅子图像中提取定位到的像素点的像素分量中的蓝色分量值，作为像素点A蓝色分量的蓝色分量值。

实施例 3 ：

图3示出了本发明实施例1中获取目标图像中各像素点包括的各像素分量的定位信息中定位坐标的具体实施流程，详述如下：

在步骤S301中，获取目标图像各像素点包括的各像素分量的定位坐标，所述定位坐标包括宽度坐标和高度坐标；

在步骤S302中，获取所述目标图像的宽度和高度；

在步骤S303中，获取Ｎ幅子图像的宽度和高度；

在步骤S304中，根据所述子图像的宽度以及所述目标图像的宽度的比值，生成宽度系数；

在步骤S305中，根据所述子图像的高度以及所述目标图像的高度的比值，生成高度系数；

在步骤S306中，根据目标图像各像素点包括的各像素分量的宽度坐标以及所述宽度系数乘积，生成各像素分量在所述子图像的定位信息中的宽度坐标；

在步骤S307中，根据目标图像各像素点包括的各像素分量的高度坐标以及所述高度系数乘积，生成各像素分量在所述子图像的定位信息中的高度坐标。

在本实施例中，为便于说明，以实际应用为例，其中子图像的宽度为960个像素点时，高度为540个像素点，目标图像的宽度为1920个像素点时，目标图像的高度为1080个像素点，根据子图像的宽度960以及所述目标图像的宽度1920的比值，生成宽度系数为0.5，根据子图像的高度540以及目标图像的宽度1080的比值，生成高度系数为0.5。当获取到目标图像中像素点A的坐标为（800，900）时，根据宽度系数0.5，生成像素分量在子图像的定位信息中的宽度坐标为400，根据高度系数0.5，生成像素分量在子图像的定位信息中的宽度坐标为450，从而后续根据像素分量的定位坐标（400，450），在相应的子图定位像素点，并提取像素点中像素分量的像素分量值。

实施例 4 ：

图4示出了实施例1中步骤S103的具体实施过程，详述如下：

在步骤S401中，在Ｎ幅子图像中根据子图序号确定子图像。

在本实施例中，在Ｎ幅子图像中根据子图序号确定子图像，具体地，预先对N幅子图像记录存储，并对子图像进行编号，从而后续可根据子图序号确定子图像。

在步骤S402中，在步骤S401确定的子图像中根据定位坐标提取各像素点的像素分量值。

在本实施例中，在子图像中根据定位坐标提取各像素点的像素分量值，具体地，根据定位坐标确定子图像中的像素点，并提取子图像中的像素点的像素分量的像素分量值，便于后续进行根据像素分量值合成目标图像的各像素点。

实施例 5 ：

本实施例主要描述了在子图像中根据定位坐标提取各像素点的像素分量值的过程，详述如下：

在所述子图像中根据所述定位坐标提取各像素点的像素分量均值。

在本实施例中，像素分量均值为定位坐标的像素点以及与该像素点相邻的像素点的像素分量值之和的均值。

在本实施例中，采用两次线性缩放算法，获取定位坐标的像素点以及与该像素点相邻的像素点，相邻像素点的个数可以为用户自设，也可以系统根据经验值设定，在此不做限制。优选地，相邻像素点为三个。

在本实施例中，为便于说明，以N=5为例说明，其中5幅子图像的长度、宽度分别为（1000，500）、（1000，800）、（1000，400）、（1000，200）、（1000，600）。目标图像的长度、宽度大小分别为（2000，1000）。Z的取值为（0，1，2），其中整数0表示红色分量的序号，整数1表示绿色分量的序号，整数2表示蓝色分量的序号。

第一步：获取目标图像中像素点的定位坐标，在此，以目标图像中像素点的像素点B举例说明，像素点B的定位坐标为（800，900），也就是表示X=800，Y=900；

第二步：当Z取值为0时，n=（3X+Y+Z）%N+1=1，表示像素点B的红色分量来自第1幅子图像；当Z取值为1时，n=（3X+Y+Z）%N+1=2，表示像素点B的绿色分量来自第2幅子图像；当Z取值为2时，n=（3X+Y+Z）%N+1=3，表示像素点B的蓝色分量来自第3幅子图像；

第三步：获取目标图像各像素点包括的各像素分量的定位坐标。以像素点B中红色分量的定位坐标为例，红色分量在第一幅子图像中，第一幅子图像的大小的长度、宽度分别为（1000，500），目标图像的长度、宽度大小分别为（2000，1000），因此宽度系数zoomX=w/W＝1000/2000=0.5，高度系数zoomY=h/H=500/1000＝0.5，同时像素点B的定位坐标为（800，900），像素分量的宽度坐标与宽度系数的乘积为400，红色分量的高度坐标与高度系数的乘积为450，得到红色分量在第1幅子图像中的定位坐标为（400，450）。

第四步：获取像素分量均值，根据红色分量的定位坐标在子图像中定位像素点，在这个像素点周围采用两次线性缩放算法，可以得到四个点的坐标：（x，y）、（x+1，y）、（x，y+1）、（x+1，y+1），这四个像素点只要其中的红色分量，假设四个像素点中红色分量的为128，129，100，156。通过预设的加权算法，通过这4个值得到一个红色像素分量均值，例如120。

第五步：返回获取到的像素分量均值。具体地，将这个120返回，填充到目标图像中像素点B（800，900）的红色分量中，同理地，在第2幅子图像中，取得绿色分量均值，在第3幅子图像中，取得蓝色分量均值，再将绿色分量均值以及蓝色分量均值填充到像素点B（800，900）中，从而完成了像素点B的合成，同理地，遍历合成目标图像的其它像素点，通过合成目标图像的像素点，完成目标图像的合成。

实施例 6 ：

图5示出了本发明实施例提供的一种立体图像合成装置的结构框图，该装置可以运行于各种终端，包括但不限于移动电话、口袋计算机（Pocket Personal Computer，PPC）、掌上电脑、计算机、笔记本电脑等。为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该立体图像合成装置，包括：

第一获取单元51，用于获取用于合成目标图像的Ｎ幅子图像，所述N为大于等于2的整数。

第二获取单元52，用于获取目标图像中各像素点包括的各像素分量的定位信息，所述像素分量遵循立体图像中像素分量排列规律，所述像素分量包括红色分量、绿色分量以及蓝色分量，所述定位信息包括子图序号以及定位坐标，所述定位坐标包括宽度坐标和高度坐标，所述子图序号为子图像的序号。

合成单元53，用于根据子图序号以及定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像。

进一步地，在该装置中，所述第二获取单元，包括：

第一获取子单元，用于获取目标图像的各像素点的定位坐标。

第一生成子单元，用于根据定位坐标生成各像素点包括的各像素分量的定位信息中的子图序号。

进一步地，在该装置中，所述第一获取子单元521，还包括：

模型建立模块，用于建立子图序号模型：

n=（3X+Y+Z）%N+1

子图序号获取模块，用于根据子图序号模型获取各像素点包括的各像素分量的定位信息中的子图序号。

进一步地，在该装置中，所述第二获取单元52，还包括：

第二获取子单元，用于获取目标图像各像素点包括的各像素分量的定位坐标，所述定位坐标包括宽度坐标和高度坐标。

第三获取子单元，用于获取目标图像的宽度和高度。

第四获取子单元，用于获取Ｎ幅子图像的宽度和高度。

第二生成子单元，用于根据子图像的高度以及所述目标图像的高度的比值，生成高度系数。

第三生成子单元，用于根据子图像的宽度以及所述目标图像的宽度的比值，生成宽度系数。

第四生成子单元，用于根据目标图像各像素点包括的各像素分量的宽度坐标以及宽度系数乘积，生成各像素分量在子图像的定位信息中的宽度坐标。

第五生成子单元，用于根据目标图像各像素点包括的各像素分量的高度坐标以及高度系数乘积，生成各像素分量在子图像的定位信息中的高度坐标。

进一步地，在该装置中，所述合成单元，还包括：

确定子单元，用于根据子图序号确定子图像。

提取子单元，用于在子图像中根据定位坐标提取各像素点的像素分量值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种立体图像合成方法，其特征在于，包括：

获取用于合成目标图像的N幅子图像，所述N为大于等于2的整数；

在N幅子图像中根据所述子图序号以及所述定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像；

其中，所述根据所述子图序号以及所述定位坐标，提取所述子图像中各像素点的像素分量值，包括：

根据所述子图序号确定子图像；

在所述子图像中根据所述定位坐标提取各像素点的像素分量值；

其中，在所述子图像中根据所述定位坐标提取各像素点的像素分量值，具体为：

在所述子图像中根据所述定位坐标提取各像素点的像素分量均值，所述像素分量均值为定位坐标的像素点与该像素点相邻的像素点的像素分量值之和的均值；

其中，根据红色分量的定位坐标在子图像中定位像素点，在这个像素点周围采用两次线性缩放算法，得到四个像素点的坐标，四个像素点要其中的红色分量，通过预设的加权算法以及四个像素点中的红色分量，得到红色分量均值；

其中，对于目标图像中每个像素点中的绿色分量、蓝色分量，均采用与上述获取红色分量均值相同的方式，获取对应的像素分量均值。

2.如权利要求1所述的方法，其特征在于，获取目标图像中各像素点包括的各像素分量的定位信息，包括：

获取目标图像的各像素点的定位坐标；

根据所述定位坐标生成各像素点包括的各像素分量的定位信息中的子图序号。

3.如权利要求2所述的方法，其特征在于，所述根据所述定位坐标生成各像素点包括的各像素分量的定位信息中的子图序号，具体为：

建立子图序号模型：

n＝(3X+Y+Z)％N+1

其中，所述n为子图序号，所述X为目标图像中像素点的宽度坐标，所述Y为目标图像中像素点的高度坐标，Z为目标图像的像素点中像素分量的序号；

根据所述子图序号模型获取各像素点包括的各像素分量的定位信息中的子图序号。

4.如权利要求1或2所述的方法，其特征在于，所述获取目标图像中各像素点包括的各像素分量的定位信息，还包括：

获取目标图像各像素点包括的各像素分量的定位坐标，所述定位坐标包括宽度坐标和高度坐标；

获取所述目标图像的宽度和高度；

获取N幅子图像的宽度和高度；

根据所述子图像的宽度以及所述目标图像的宽度的比值，生成宽度系数；

根据所述子图像的高度以及所述目标图像的高度的比值，生成高度系数；

根据目标图像各像素点包括的各像素分量的宽度坐标以及所述宽度系数乘积，生成各像素分量在所述子图像的定位信息中的宽度坐标；

根据目标图像各像素点包括的各像素分量的高度坐标以及所述高度系数乘积，生成各像素分量在所述子图像的定位信息中的高度坐标。

5.一种立体图像合成装置，其特征在于，包括：

第一获取单元，用于获取用于合成目标图像的N幅子图像，所述N为大于等于2的整数；

合成单元，用于根据所述子图序号以及所述定位坐标，提取所述子图像中各像素点的像素分量值，根据所述像素分量值合成所述目标图像的各像素点，以合成所述目标图像；

其中，所述合成单元，还包括：

确定子单元，用于根据所述子图序号确定子图像；

提取子单元，用于在所述子图像中根据所述定位坐标提取各像素点的像素分量值；

6.如权利要求5所述的装置，其特征在于，所述第二获取单元，包括：

第一获取子单元，用于获取目标图像的各像素点的定位坐标；

第一生成子单元，用于根据所述定位坐标生成各像素点包括的各像素分量的定位信息中的子图序号。

7.如权利要求6所述的装置，其特征在于，所述第一生成子单元，包括：

模型建立模块，用于建立子图序号模型：

n＝(3X+Y+Z)％N+1

子图序号获取模块，用于根据所述子图序号模型获取各像素点包括的各像素分量的定位信息中的子图序号。

8.如权利要求5或6所述的装置，其特征在于，所述第二获取单元，还包括：

第二获取子单元，用于获取目标图像各像素点包括的各像素分量的定位坐标，所述定位坐标包括宽度坐标和高度坐标；

第三获取子单元，用于获取所述目标图像的宽度和高度；

第四获取子单元，用于获取N幅子图像的宽度和高度；

第二生成子单元，用于根据所述子图像的高度以及所述目标图像的高度的比值，生成高度系数；

第三生成子单元，用于根据所述子图像的宽度以及所述目标图像的宽度的比值，生成宽度系数；

第四生成子单元，用于根据目标图像各像素点包括的各像素分量的宽度坐标以及所述宽度系数乘积，生成各像素分量在所述子图像的定位信息中的宽度坐标；

第五生成子单元，用于根据目标图像各像素点包括的各像素分量的高度坐标以及所述高度系数乘积，生成各像素分量在所述子图像的定位信息中的高度坐标。