CN105025215B - 一种终端基于多摄像头实现合照的方法及装置 - Google Patents

Abstract

本发明公开了一种终端基于多摄像头实现合照的方法及装置，涉及(但不限于)互联网移动终端产品、计算机、平板电脑、手机等领域，所述方法包括：终端利用多个摄像头组件分别对多个对象进行拍摄，获得所述多个对象的预览图像；通过在显示器上平铺所述多个对象的预览图像，使所述多个对象的预览图像层叠显示在所述显示器上；对层叠在所述显示器上的多个对象的预览图像进行合成处理，获得合成的多摄像头合照图片。本发明能够同时使用多个摄像头对多个对象进行拍摄，获取合成的多摄像头合照图片，从而提升用户在拍照过程中的使用体验，以及实现拍照功能更加的多元化。

Description

一种终端基于多摄像头实现合照的方法及装置

技术领域

本发明涉及(但不限于)互联网移动终端产品、计算机、平板电脑、手机等领域，特别涉及一种运用多个摄像头实现合照的方法及装置。

背景技术

随着科技发展，手机、拍照摄像设备得到了广泛的普及，拍照质量、用户体验方面不断提升。伴随手机处理器性能的快速提升，拍照已经成为智能手机吸引用户的重要卖点。从最初的10万、30万像素，到现在的500万、800万，甚至是诺基亚4100万像素拍照机皇，即便是千元智能机，其具有的拍照功能也不容小觑。为了提升拍照体验的竞争力，除了升级摄像头硬件外，拍照应用也不断丰富，如最佳群组拍照、面部优选、美肤、去除移动背景、动态图片拍摄、全景拍摄等等，优秀的拍照应用及功能也成为了手机等产品提升的主要目标。

目前手机拍摄已经足够使用，但在当下更新换代这么频繁的基础上，未来我们还能期待手机摄像头的画质表现更加出众，以后手机前后摄像头还将带来更多丰富化的操作。出众画质的进一步提升，拍摄之外的丰富应用，这就是手机摄像头进一步演进的未来。

在硬件配置方面，手机摄像头配置不断升级，像素不断提升，从单摄像头到前后双摄像头再到3D摄像头，闪光灯从无到有，并且不断升级。硬件配置、性能不断提升，对应用开发与提升也起到推动作用。但是，对于多个摄像头合照的理念却是一片空白。

发明内容

本发明的目的在于提供一种终端基于多摄像头实现合照的方法及装置，能够解决现有终端在进行拍摄时，多个摄像头无法通过同时拍摄获取合成的合照图片的问题。

根据本发明的一个方面，提供了一种终端基于多摄像头实现合照的方法，包括：

终端利用多个摄像头组件分别对多个对象进行拍摄，获得所述多个对象的预览图像；

通过在显示器上平铺所述多个对象的预览图像，使所述多个对象的预览图像层叠显示在所述显示器上；

对层叠显示在所述显示器上的多个对象的预览图像进行合成处理，获得合成的多摄像头合照图片。

优选地，所述多个摄像头组件包括前置摄像头组件和后置摄像头组件。

优选地，将所述后置摄像头组件拍摄到的预览图像平铺在所述显示器的底层；

将所述前置摄像头组件拍摄到的预览图像平铺在所述后置摄像头组件拍摄到的预览图像之上，所述前置摄像头组件拍摄到的预览图像的显示区域小于所述后置摄像头组件拍摄到的预览图像的显示区域。

优选地，利用终端处理器对所述层叠显示在所述显示器上的多个对象的预览图像进行对象分离运算，得到相互独立的对象图像和背景图像；

对至少一部分对象图像或/和背景图像进行组合处理，得到合成的多摄像头合照图片。

优选地，所述的对至少一部分对象图像或/和背景图像进行组合处理的步骤包括：

对至少一部分对象图像或/和背景图像进行亮度调整，使所述至少一部分对象图像或/和背景图像的亮度一致；

对至少一部分对象图像数据或/和背景图像进行白平衡调整，使所述至少一部分对象图像数据或/和背景图像的白平衡一致。

优选地，通过读取所述多个对象的预览图像的像素亮度平均值，计算出所述像素亮度平均值差值；

将所述像素亮度平均值差值与预置的第一阈值进行比较；

若所述像素亮度平均值差值大于预置的第一阈值，则对所述至少一部分对象图像或/和背景图像的亮度进行调整。

优选地，通过计算出所述多个对象的预览图像的灰点像素数，得到所述多个对象的预览图像的灰点像素数差值；

将所述灰点像素数差值与预置的第二阈值进行比较，并根据得到的比较结果对所述至少一部分对象图像或/和背景图像的白平衡进行调整。

优选地，若所述多个对象的预览图像的灰点像素数差值大于预置的第二阈值，则根据最大灰点像素数数值计算出最优的白平衡参数，并利用其对所述至少一部分对象图像或/和背景图像的白平衡进行调整；

若所述多个对象的预览图像的灰点像素数差值小于预置的第二阈值，则计算出所述多个对象的预览图像的灰点像素数平均值，并利用其对所述至少一部分对象图像或/和背景图像的白平衡进行调整。

根据本发明的另一方面，提供了一种终端基于多摄像头实现合照的装置，包括：

拍摄模块，用于终端利用多个摄像头组件分别对多个对象进行拍摄，获得所述多个对象的预览图像；

平铺模块，用于通过在显示器上平铺所述多个对象的预览图像，使所述多个对象的预览图像层叠显示在所述显示器上；

合成模块，用于对层叠在所述显示器上的多个对象的预览图像进行合成处理，获得合成的多摄像头合照图片。

优选地，所述的合成模块进一步包括：

亮度子模块，用于对至少一部分对象图像或/和背景图像进行亮度调整，使所述至少一部分对象图像或/和背景图像的亮度一致；

白平衡子模块，用于对至少一部分对象图像或/和背景图像进行白平衡调整，使所述至少一部分对象图像或/和背景图像的白平衡一致。

与现有技术相比较，本发明的有益效果在于：能够同时使用多个摄像头对多个对象进行拍摄，获取合成的合照图片，从而提升用户在拍照过程中的使用体验，以及实现拍照功能更加的多元化。

附图说明

图1是本发明实施例提供的终端基于多摄像头实现合照的方法原理图；

图2是本发明实施例提供的终端基于多摄像头实现合照的装置结构图；

图3是本发明实施例提供的终端基于多摄像头实现合照的装置示意图；

图4是本发明实施例提供的终端基于多摄像头实现合照的手机摄像装置示意图；

图5是本发明实施例提供的终端基于多摄像头实现合照的方法流程图；

图6是本发明实施例提供的终端基于多摄像头实现合照的合成前预览图片示意图；

图7是本发明实施例提供的终端基于多摄像头实现合照的合成预览图片示意图；

图8是本发明实施例提供的终端基于多摄像头实现合照的白平衡灰点选区示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的终端基于多摄像头实现合照的方法原理图，如图1所示，具体步骤如下：

步骤S1：终端利用多个摄像头组件分别对多个对象进行拍摄，获得所述多个对象的预览图像；

在步骤S1中，所述多个摄像头组件包括前置摄像头组件和后置摄像头组件。

步骤S2：通过在显示器上平铺所述多个对象的预览图像，使所述多个对象的预览图像层叠显示在所述显示器上；

在步骤S2中，将所述后置摄像头组件拍摄到的预览图像平铺在所述显示器的底层；

将所述前置摄像头组件拍摄到的预览图像平铺在所述后置摄像头组件拍摄到的预览图像之上，所述前置摄像头组件拍摄到的预览图像的显示区域小于所述后置摄像头组件拍摄到的预览图像的显示区域。

步骤S3：对层叠显示在所述显示器上的多个对象的预览图像进行合成处理，获得合成的多摄像头合照图片；

在步骤S3中，利用终端处理器对所述层叠显示在所述显示器上的多个对象的预览图像进行对象分离运算，得到相互独立的对象图像和背景图像；

对至少一部分对象图像或/和背景图像进行组合处理，得到合成的多摄像头合照图片。

进一步地，所述的对至少一部分对象图像或/和背景图像进行组合处理的步骤包括：

对至少一部分对象图像或/和背景图像进行亮度调整，使所述至少一部分对象图像或/和背景图像的亮度一致；

对至少一部分对象图像数据或/和背景图像进行白平衡调整，使所述至少一部分对象图像数据或/和背景图像的白平衡一致。

进一步地，所述的对至少一部分对象图像或/和背景图像进行亮度调整的步骤包括：

通过读取所述多个对象的预览图像的像素亮度平均值，计算出所述像素亮度平均值差值；

将所述像素亮度平均值差值与预置的第一阈值进行比较；

若所述像素亮度平均值差值大于预置的第一阈值，则对所述至少一部分对象图像或/和背景图像的亮度进行调整。

进一步地，所述的对至少一部分对象图像或/和背景图像进行白平衡调整的步骤包括：

通过计算出所述多个对象的预览图像的灰点像素数，得到所述多个对象的预览图像的灰点像素数差值；

将所述灰点像素数差值与预置的第二阈值进行比较，并根据得到的比较结果对所述至少一部分对象图像或/和背景图像的白平衡进行调整。

进一步地，所述的根据得到的比较结果对所述至少一部分对象图像或/和背景图像的白平衡进行调整的步骤包括：

若所述多个对象的预览图像的灰点像素数差值大于预置的第二阈值，则根据最大灰点像素数数值计算出最优的白平衡参数，并利用其对所述至少一部分对象图像或/和背景图像的白平衡进行调整；

若所述多个对象的预览图像的灰点像素数差值小于预置的第二阈值，则计算出所述多个对象的预览图像的灰点像素数平均值，并利用其对所述至少一部分对象图像或/和背景图像的白平衡进行调整。

图2是本发明实施例提供的多摄像头合照图片的装置结构图，如图2所示，包括：拍摄模块、平铺模块和合成模块。

所述拍摄模块用于终端利用多个摄像头组件分别对多个对象进行拍摄，获得所述多个对象的预览图像。

所述平铺模块用于通过在显示器上平铺所述多个对象的预览图像，使所述多个对象的预览图像层叠显示在所述显示器上。

所述合成模块用于对层叠显示在所述显示器上的多个对象的预览图像进行合成处理，获得合成的多摄像头合照图片。其中，所述合成模块的亮度子模块用于对至少一部分对象图像或/和背景图像进行亮度调整，使所述至少一部分对象图像或/和背景图像的亮度一致。所述合成模块的白平衡子模块用于对至少一部分对象图像或/和背景图像进行白平衡调整，使所述至少一部分对象图像或/和背景图像的白平衡一致。

图3是本发明实施例提供的多摄像头合照图片的装置示意图，如图3所示，包括两个或两个以上的摄像头组件，摄像头与系统可编程(ISP：In-System Programming)相连，每组摄像头经由ISP与处理器相连，处理器连接一个或多个显示器和控制器。其中，控制器可以是触摸板，显示器和控制器可以是合为一体的触摸屏，ISP也可以内嵌于处理器中或摄像头组件中。通过两个或两个以上的摄像头获取对应的预览内容，通过ISP和处理器对预览内容进行处理，然后在显示器上显示。通过处理器中的对象分割算法，将每组摄像头的预览内容中的不同对象与背景进行分割。用户通过控制器可以选择每组摄像头预览内容中的一个或多个任一对象和背景来组合成新的拍摄预览图片，用户也可以从预存的数据中选择对象或背景加入到合成的预览图片中，最后用户通过控制器完成拍照。

图4是本发明实施例提供的多摄像头合照图片的手机摄像装置示意图，如图4所示，以手机为例，前置摄像头和后置摄像头分别通过ISP与处理器连接，触摸屏作为显示器和控制器与处理器相连。通过前置和后置摄像头获取对应的预览内容，通过ISP和处理器对预览内容进行处理，然后在显示器上显示。通过处理器中的对象分割算法，将每组摄像头的预览内容中的不同对象与背景进行分割。用户通过控制器可以选择每组摄像头预览内容中的一个或多个任一对象和背景来组合成新的拍摄预览图片，用户也可以从预存的数据中选择对象或背景加入到合成的摄预览图片中，最后用户通过控制器完成拍照。

图5是本发明实施例提供的多摄像头合照图片的方法流程图，如图5所示，具体步骤包括：开始、启动前置和后置摄像头、摄像头初始化、合成预览图像并显示、对象分割处理、合照对象确认、对焦调整、亮度一致性调整、白平衡一致性调整、完成拍照和图片保存。具体步骤为：

合成预览图像并显示表现为，在初始化后，将前置摄像头、后置摄像头预览图像进行处理，在显示屏上同时显示出来。图6是本发明实施例提供的多摄像头合照图片的合成前预览图片示意图，为本发明实施例提供的一种常用的合照对象确认应用场景，本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。如图6所示，人像B和背景B为后置摄像头预览图片，可以以窗口或图层的形式置于底层；人像A和背景A为前置摄像头预览图片，也可以以窗口或图层的形式置于上层；上层前置摄像头预览图片区域小于底层后置摄像头预览图片区域。其中，所述人像亦可以替换为景物。

对象分割处理表现为，通过使用像素对比确认不同对象的边界，或运动对象捕捉等对象分割方法，对前置和后置摄像头的预览图片进行对象分离运算，将运算后的对象数据单独封装，支持用户选择其中的对象。如图6所示，人像A、人像B、背景A、背景B都支持用户单独选择。其中，对象分割方法可能会出现分割错误或不准确的情况，用户可以通过触摸屏来修正对象分割的结果。

合照对象确认表现为，通过触摸屏，用户可以调整人像A、人像B的大小与位置，也可从预存的图库中选取作为对象或者背景的图片。图7是本发明实施例提供的多摄像头合照图片的合成预览图片示意图，如图7所示，用户将选择的人像A、景物B和背景B组成合成预览图片，实现用户与景物合照的场景效果。其中，人像A为前置摄像头预览区域对象，人像B为后置摄像头预览区域对象，背景可以是前置摄像头预览区域背景或后置摄像头预览区域背景。另外，为保证整个合照质量，可根据合照中分辨率最低的对象调整整个合照图片存储的分辨率。此外，用户也可以从预存的数据中选择对象或背景加入到合成的摄预览图片中。

对焦调整表现为，前置、后置摄像头可以根据各自的取景内容分别进行自动对焦。通过控制器，用户可以选择或更改一个或多个摄像头的对焦区域，通常设置为用户所选对象默认为对焦对象。

除此之外，用户还可以通过控制器对合成的预览图片中对象的位置、大小或变形等进行调整。为了使前置、后置摄像头所拍对象、背景图片更一致，在完成拍摄前还需要对两个摄像头的预览图片进行亮度一致性和白平衡一致性进行调节。

亮度一致性调节表现为，对前置、后置摄像头的预览图片进行比较，如果预览图片的像素亮度平均值差值超过预定阀值，则对某组摄像头拍摄内容进行亮度调节，使所合成的预览图片中不同的对象、背景效果在一定程度上保持一致。具体如下：

读取前置摄像头和后置摄像头预览图片的像素亮度平均值，对比两摄像头预览图片中类似对象或某一区域或整个画面的像素亮度平均值Y。如果前置摄像头预览图片亮度Y1和后置摄像头预览图片亮度Y2相差大于预定阀值D1，即|Y1-Y2|>D1，则对前置摄像头的预览图片或后置摄像头的预览图片亮度进行亮度调制，使预览图片亮度效果一致。此外，用户也可以通过触摸屏选择调整前置或后置摄像头预览图片的亮度。

此外，摄像头拍摄区域可能还会出现某些对象过黑或过亮，影响整体亮度，导致亮度一致性自动调整不准确的情况。所以需增加检查摄像头拍摄区域是否有过黑或过亮的区域。如果拍摄区域存在过黑或过亮的区域，在计算画面的像素亮度平均值时，要考虑该区域的影响，比如，可以在计算画面的像素亮度平均值时不计算该区域的像素。另外，增加用户手动亮度调节，包括对合成预览图片中的单个对象亮度、背景亮度的调节。

此外，用户也可以通过控制器手动调节合成的预览图片中不同的对象、背景亮度。

白平衡一致性表现为，采用先进灰世界算法，白平衡判别条件为取景图像中灰点。通过对前置、后置摄像头取景的白平衡判别条件进行比较，选择其中判别条件较优的摄像头的白平衡判定结果应用于合成的预览图片中。如果两组摄像头取景的白平衡判别条件无明显差异，不超过预设阀值，则平均两组摄像头的白平衡判别条件，并将平均后的白平衡判别条件作为处理结果，应用于合成的预览图片中。

图8是本发明实施例提供的多摄像头合照图片的白平衡灰点选区示意图，如图8所示，为拍摄区域灰色物体的像素区域，计算前置摄像头取景图像中满足条件的灰点像素数M1。以Cr为横坐标，Cb为纵坐标，建立坐标系，则四条直线Cb＝m1Cr+c1，Cr＝m4Cb+c4，Cb＝m3Cr+c3，Cr＝m2Cb+c2围成的区域为灰色对象像素区域。即，满足灰点条件为(YCbCr颜色模型表示)，m3Cr+c3《Cb《m1Cr+c1，m2Cb+c2《Cr《m4Cb+c4的像素区域，像素数为X(sum of graypixels)。而X(sum of gray pixels)中亮度满足Ymin《Y《Yman的，则为满足白平衡判定条件的灰点像素数M。

同理，计算出后置摄像头取景图像中满足条件的灰点像素数M2。与前置摄像头的计算方式和条件相同。

若|M1-M2|>D2(D2为预设阀值)，且M1>M2，则以前置摄像头的白平衡判别条件作为判定结果，根据M1计算出最优白平衡参数，并将其应用于合成的预览图片白平衡处理中；反之，则以后置摄像头的白平衡判别条件作为判定结果，根据M2计算出最优白平衡参数，并将其应用于合成的预览图片白平衡处理中。

若|M1-M2|《D2，则平均两组摄像头的白平衡判别条件，并将平均后的白平衡判别条件作为处理结果，应用于合成的预览图片中。

完成拍照表现为，用户通过触摸屏操作，完成拍照。

综上所述，本发明具有以下技术效果：能够同时使用多个摄像头对多个对象进行拍摄，获取合成的合照图片，从而提升用户在拍照过程中的使用体验，以及实现拍照功能更加的多元化。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (9)

1.一种终端基于多摄像头实现合照的方法，其特征在于，所述方法包括：

终端利用多个摄像头组件分别对多个对象进行拍摄，获得多个对象预览图像；

通过在显示器上平铺所述多个对象预览图像，使所述多个对象预览图像层叠显示在所述显示器上；

利用终端处理器，通过像素对比确认所述层叠显示在所述显示器上的多个对象预览图像的不同对象的边界，分离出多个对象预览图像的相互独立的对象图像和背景图像；

从分离出的多个对象预览图像的相互独立的对象图像和背景图像中选出至少一部分对象图像和背景图像进行组合处理，组合成多摄像头合照图片。

2.根据权利要求1所述的方法，其特征在于，所述多个摄像头组件包括前置摄像头组件和后置摄像头组件。

3.根据权利要求2所述的方法，其特征在于，所述通过在显示器上平铺所述多个对象预览图像，使所述多个对象预览图像层叠显示在所述显示器上的步骤包括：

将所述后置摄像头组件拍摄到的对象预览图像平铺在所述显示器的底层；

将所述前置摄像头组件拍摄到的对象预览图像平铺在所述后置摄像头组件拍摄到的对象预览图像之上，所述前置摄像头组件拍摄到的对象预览图像的显示区域小于所述后置摄像头组件拍摄到的对象预览图像的显示区域。

4.根据权利要求1所述的方法，其特征在于，所述的对至少一部分对象图像和背景图像进行组合处理的步骤包括：

对至少一部分对象图像和背景图像进行亮度调整，使所述至少一部分对象图像和背景图像的亮度一致；

对至少一部分对象图像数据和背景图像进行白平衡调整，使所述至少一部分对象图像数据和背景图像的白平衡一致。

5.根据权利要求4所述的方法，其特征在于，所述的对至少一部分对象图像和背景图像进行亮度调整的步骤包括：

通过读取所述多个对象预览图像的像素亮度平均值，计算出所述像素亮度平均值差值；

将所述像素亮度平均值差值与预置的第一阈值进行比较；

若所述像素亮度平均值差值大于预置的第一阈值，则对所述至少一部分对象图像和背景图像的亮度进行调整。

6.根据权利要求4所述的方法，其特征在于，所述的对至少一部分对象图像和背景图像进行白平衡调整的步骤包括：

通过计算出所述多个对象预览图像的灰点像素数，得到所述多个对象预览图像的灰点像素数差值；

将所述灰点像素数差值与预置的第二阈值进行比较，并根据得到的比较结果对所述至少一部分对象图像和背景图像的白平衡进行调整。

7.根据权利要求6所述的方法，其特征在于，所述的根据得到的比较结果对所述至少一部分对象图像和背景图像的白平衡进行调整的步骤包括：

若所述多个对象预览图像的灰点像素数差值大于预置的第二阈值，则根据最大灰点像素数数值计算出最优的白平衡参数，并利用其对所述至少一部分对象图像和背景图像的白平衡进行调整；

若所述多个对象预览图像的灰点像素数差值小于预置的第二阈值，则计算出所述多个对象预览图像的灰点像素数平均值，并利用其对所述至少一部分对象图像和背景图像的白平衡进行调整。

8.一种终端基于多摄像头实现合照的装置，其特征在于，所述装置包括：

拍摄模块，用于终端利用多个摄像头组件分别对多个对象进行拍摄，获得多个对象预览图像；

平铺模块，用于通过在显示器上平铺所述多个对象预览图像，使所述多个对象预览图像层叠显示在所述显示器上；

合成模块，用于利用终端处理器，通过像素对比确认所述层叠显示在所述显示器上的多个对象预览图像的不同对象的边界，分离出多个对象预览图像的相互独立的对象图像和背景图像，从分离出的多个对象预览图像的相互独立的对象图像和背景图像中选出至少一部分对象图像和背景图像进行组合处理，组合成多摄像头合照图片。

9.根据权利要求8所述的装置，其特征在于，所述的合成模块进一步包括：

亮度子模块，用于对至少一部分对象图像和背景图像进行亮度调整，使所述至少一部分对象图像和背景图像的亮度一致；

白平衡子模块，用于对至少一部分对象图像和背景图像进行白平衡调整，使所述至少一部分对象图像和背景图像的白平衡一致。