CN109361850B - 图像处理方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、终端设备及存储介质，该图像处理方法包括：获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景；获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景；将所述第一图像以及所述第二图像进行合成，得到包括第三背景以及所述目标前景的第三图像，所述第三背景为根据所述第二背景与所述第一背景的匹配区域，将所述第二背景不同于所述第一背景的部分合成于所述第一背景后得到的背景。本方法可以增加拍摄图像中的背景内容，提升拍摄图像的效果。

Description

图像处理方法、装置、终端设备及存储介质

技术领域

本申请涉及终端设备技术领域，更具体地，涉及一种取图像处理方法、装置、终端设备及存储介质。

背景技术

终端设备，例如平板电脑、手机等，已经成为人们日常生活中最常用的消费型电子产品之一。目前，用户经常利用终端设备拍摄图像，特别是利用终端设备进行自拍，对于需求自拍时能拍摄较多背景内容的用户，只能使用自拍杆辅助终端设备进行拍摄，给用户带来了不便。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置、终端设备及计算机可读取存储介质，以增加拍摄图像中的背景内容。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景；获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景；将所述第一图像以及所述第二图像进行合成，得到包括第三背景以及所述目标前景的第三图像，所述第三背景为根据所述第二背景与所述第一背景的匹配区域，将所述第二背景不同于所述第一背景的部分合成于所述第一背景后得到的背景。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：第一图像获取模块、第二图像获取模块以及图像合成模块，其中，所述第一图像获取模块用于获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景；所述第二图像获取模块用于获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景；所述图像合成模块用于将所述第一图像以及所述第二图像进行合成，得到包括第三背景以及所述目标前景的第三图像，所述第三背景为根据所述第二背景与所述第一背景的匹配区域，将所述第二背景不同于所述第一背景的部分合成于所述第一背景后得到的背景。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。

相对于现有技术，本申请提供的方案，获取摄像头在第一视角方向获取的包括目标前景以及第一背景的第一图像，获取摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，第二图像中包括至少部分不同于第一背景的第二背景，最后将第一图像以及第二图像进行合成，得到包括第三背景以及上述目标前景的第三图像，第三背景为根据第二背景与第一背景的匹配区域将第二背景不同于第一背景的部分合成于第一背景后得到的背景，从而实现自动增加拍摄图像中的背景内容，提升拍摄图像的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种场景示意图。

图2示出了根据本申请一个实施例的图像处理方法流程图。

图3示出了根据本申请实施例提供的另一种场景示意图。

图4示出了根据本申请另一个实施例的流程图。

图5示出了根据本申请又一个实施例的流程图。

图6示出了根据本申请实施例提供的图像处理方法中第一图像的示意图。

图7示出了根据本申请实施例提供的图像处理方法中第二图像的一种示意图。

图8示出了根据本申请实施例提供的图像处理方法中第二图像的另一种示意图。

图9示出了根据本申请实施例提供的图像处理方法中第一区域图像的示意图。

图10示出了根据本申请实施例提供的图像处理方法中第二区域图像的示意图。

图11示出了根据本申请实施例提供的图像处理方法中第三区域图像的一种示意图。

图12示出了根据本申请实施例提供的图像处理方法中第三区域图像的另一种示意图。

图13示出了根据本申请实施例提供的图像处理方法中图像合成时的一种示意图。

图14示出了根据本申请实施例提供的图像处理方法中图像合成时的另一种示意图。

图15示出了根据本申请实施例提供的图像处理方法中图像合成时的又一种示意图。

图16示出了根据本申请实施例提供的图像处理方法中背景图像的示意图。

图17示出了根据本申请实施例提供的图像处理方法中第三图像的一种示意图。

图18示出了根据本申请实施例提供的图像处理方法中第三图像的另一种示意图。

图19示出了根据本申请一个实施例的装置的一种框图。

图20示出了根据本申请实施例的装置中图像合成模块的框图。

图21示出了根据本申请一个实施例的装置的又一种框图。

图22是本申请实施例的用于执行根据本申请实施例的的终端设备的框图。

图23是本申请实施例的用于保存或者携带实现根据本申请实施例的方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前，终端设备，例如平板电脑、手机等，其配置和性能的不断提升，终端设备的拍照性能越来越好。并且由于终端设备方便携带的特性，大多用户经常使用终端设备拍摄图像，特别是利用终端设备进行自拍。

在用户利用终端设备进行自拍时，由于前景人物的物距较小，导致得到的自拍图像中背景内容被遮挡的较多,且由于终端设备的摄像头距离用户较近，由于摄像头的视野范围有限，导致拍摄到的背景内容较少。于是用户通常将终端设备安装于自拍杆，通过自拍杆进行拍摄，使自拍图像中的背景内容较多。例如，如图1所示，在未使用自拍杆时，终端设备的摄像头处于位置12处，前景14以及背景15均处于主光轴11所在直线上,此时由于前景14的遮挡，拍摄到的背景15的内容包括图中括弧内容16；在使用自拍杆时，终端设备的摄像头处于位置13处，此时拍摄到的背景15的内容包括括弧内容17，从而在使用自拍杆时拍摄到的背景内容比未使用自拍杆时拍摄到的背景内容多。

但是由于自拍杆不便于携带，使用中容易对他人造成伤害，以及一些场合禁止使用自拍杆，给用户自拍时需要拍摄较多的背景内容时带来不便。

针对上述问题，发明人经过长时间的研究并提出了本申请实施例提供的图像处理方法、装置、终端设备以及计算机可读取存储介质，通过摄像头在第一视角方向获取的包括目标前景以及第一背景的第一图像，获取摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，该第二图像包括至少部分不同于第一背景的第二背景，然后将第一图像以及第二图像进行合成，得到包括第三背景以及目标背景的第三图像，该第三背景为根据第二背景与第一背景的匹配区域，将第二背景不同于第一背景的部分合成于第一背景后得到的背景，从而可以较为方便的得到背景内容较多的拍摄图像，提升拍摄效果。

请参阅图2，本申请实施例提供了一种图像处理方法，可应用于终端设备，该方法可以包括：

步骤S110：获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景。

在用户需要于拍摄场景中拍摄目标前景时，可以利用终端设备以第一视角方向对场景中的目标前景进行图像采集，从而终端设备获取到摄像头在第一视角方向获取的包括目标前景以及第一背景的第一图像，以用于生成最后的拍摄图像。

其中，目标前景可以为人像，也可以为宠物，也可以为玩具等，具体的目标前景在本申请实施例中可以不作为限定。上述第一图像中的第一背景可以为终端设备的摄像头于上述拍摄场景中拍摄到的场景内容，具体的第一背景根据摄像头的视角方向而定。

例如，用户需要在拍摄场景进行自拍时，可以于拍摄场景中想要拍摄的背景前，利用终端设备的摄像头以正对自己的第一视角方向对自己进行拍摄，终端设备拍摄到的第一图像中包括该用户的人像，以及该拍摄场景中的内容。

步骤S120：获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景。

在本申请实施例中，终端设备的摄像头还可以在上述拍摄场景中，以不同于上述第一视角方向的至少一个第二视角方向，对拍摄场景中拍摄上述第一图像的内容进行图像采集，从而终端设备得到至少部分不同于上述第一背景的第二背景，并且得到的第二图像中的第二背景与第一图像中的第一背景会有相同的内容，即第一图像与第二图像存在相同的区域。

可以理解的是，终端设备的摄像头在相同的上述拍摄场景中，以不同于视角方向的至少一个视角方向，对拍摄场景中上述拍摄第一图像时的内容进行图像采集，由于摄像头的视野发生变化，其采集到的图像中的背景也会与上述第一背景不同，因此终端设备获取的第二图像中的第二背景会有至少部分内容不同于上述第一背景，另外由于拍摄的场景中的内容相同，因此第二图像中的第二背景与第一图像中的第一背景会存在相同部分。

在本申请实施例中，终端设备可以在上述拍摄场景中，以一个不同于第一视角方向的第二视角方向对拍摄场景中的内容进行图像采集，得到一张或者多张第二图像。终端设备也可以在上述拍摄场景中，以多个不同于第一视角方向的第二视角方向对拍摄场景中的内容进行图像采集，得到分别在每个不同于第一视角方向的第二视角方向采集的一张或者多张第二图像。

因此，终端设备获取到的第二图像可以是一张，也可以是多张。当然，终端设备的摄像头进行图像采集的第二视角方向的具体数量以及在每个第二视角方向获取的第二图像的数量，在本申请实施例中可以不作为限定，具体可以根据用户需求而设定。另外，在以第二视角方向拍摄第二图像时，第二图像中也可以包括上述目标前景，也可以不包括上述目标前景，还可以包括其他前景内容。

需要说明的是，在本申请实施例中，步骤S110与步骤S120的顺序可以不作为限定，可以是执行步骤S110后执行步骤S120，也可以是执行步骤S120后执行步骤S110，仅需保证摄像头以不同的视角方向采集拍摄场景中的相同内容即可。

步骤S130：将所述第一图像以及所述第二图像进行合成，得到包括第三背景以及所述目标前景的第三图像，所述第三背景为根据所述第二背景与所述第一背景的匹配区域，将所述第二背景不同于所述第一背景的部分合成于所述第一背景后得到的背景。

终端设备在获取到上述第一图像以及第二图像之后，则可以对第一图像以及第二图像进行合成，以得到用于输出结果的第三图像，即最终的拍摄图像。

在本申请实施例中，由于上述获取的第一图像与第二图像中存在部分相同的背景内容，以及部分不同的背景内容，而第二图像中的第二背景不同于第一图像中的第一背景中的部分内容，则是摄像头在第一视角方向获取的第一图像时，未采集到的拍摄场景中的内容。因此，可以将第二图像中的第二背景中不同于第一图像中的第二背景的部分内容，根据第一背景与第二背景的匹配区域，合成到第一背景，以得到最后输出的图像中的第三背景。

作为一种方式，可以从第一图像以及第二图像中分别获取其背景内容，即得到第一图像中去除目标前景后的图像，第二图像中去除前景后的图像。其中，去除图像中的前景方法在本申请实施例中可以不作为限定，例如可以是根据人脸识别方法识别出人脸区域后，将人脸区域去除等。然后将上述得到的图像进行特征点匹配，以获取到上述得到的图像中的匹配区域，即第一背景中与第二背景中的相同内容。然后根据匹配区域的位置，将第二图像中去除前景后的图像中邻近匹配区域的部分(即第二背景不同于第一背景的部分)，拼接到上述第一图像中去除目标前景后的图像中，对于第二背景中的其他不同于第一背景的内容，如果这些内容没有邻近匹配区域，则不将其合成到第一图像中去除目标前景后的图像中。从而，可以获取到第二背景中不同于第一背景的部分，合成到第一图像中去除目标前景后的图像后的图像，该图像可以作为最后输出的拍摄图像中的背景图像。在得到上述背景图像之后，则可以将第一图像中的目标前景的内容合成到该背景图像，例如将其叠加到该背景图像中，具体合成的位置在本申请实施例中可以不作为限定，例如，可以根据第一图像中目标前景相对第一背景的位置确定，也可以合成于设定的位置处。

当然，将第一图像以及第二图像进行合成，使得到的图像中包括目标前景以及上述第三背景的方式在本申请实施例中可以不作为限定。

例如，如图3所示，终端设备的摄像头处于位置17处的视角方向对目标前景14以及背景15进行图像采集，目标前景14以及背景15均处于主光轴11所在直线上，以获取第一图像，并且终端设备的摄像头处于位置18以及位置19处的视角方向对目标前景14以及背景15进行图像采集，以获取第二图像。摄像头在位置18处获取的第二图像中包括不同于摄像头在位置17处获取的第一图像中的第一部分内容20(第一图像中背景被目标前景遮挡的内容)，摄像头在位置19处获取的第二图像中包括不同于摄像头在位置17处获取的第一图像中的第二部分内容21(第一图像中背景被目标前景遮挡的内容)。将第一图像与第二图像合成时，则将上述第一部分内容21以及第二部分内容22合成到第一图像的背景中，且将第一图像中的目标前景内容叠加到合成后的背景，从而得到背景内容较多的第三图像。

从而，通过将上述获得的第一图像以及第二图像进行合成，使第二图像中的第二背景不同于第一图像中的第一背景的内容，根据图像匹配合成到第一背景中，使最后得到的第三图像中不仅包括目标前景，而且第三图像中的背景内容包括有第一背景以及第二背景不同于第一背景的部分，保证最后输出的图像可以有较多的上述拍摄场景中的内容。

本申请实施例提供的图像处理方法，通过获取摄像头在第一视角方向获取的第一图像，该第一图像包括目标前景以及第一背景，并获取摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，该第二图像包括至少部分不同于第一背景的第二背景，最后将第一图像与第二图像进行合成，从而得到包括目标前景以及第三背景的用于输出的第三图像，且该第三背景包括有上述第一图像中的第一背景以及第二背景中不同于第一背景的部分，相比仅采集一张第一图像作为拍摄结果，使得最后作为拍摄结果进行输出的图像中可以包括有较多的拍摄场景中的内容，并且无需使用自拍杆等辅助工具进行拍摄，方便快捷，提升用户体验。

请参阅图4，本申请另一个实施例提供了一种图像处理方法，可应用于终端设备，该方法可以包括：

步骤S210：获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景。

在本申请实施例中，步骤S210的内容可以参阅上述实施例，在此不再一一赘述。

步骤S220：获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景。

在本申请实施例中，终端设备获取摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，可以是通过控制摄像头转动，以使摄像头在不同于第一视角方向的第二视角方向采集图像。

进一步的，终端设备的摄像头可以沿设定方向在预设角度范围内进行旋转。因此，可以控制终端设备的摄像头在预设角度范围内转动，并且在转动时按照预设频率采集图像。

具体的，步骤S210中终端设备的摄像头在第一视角方向对拍摄场景中的目标前景进行图像采集时，可以在摄像头未发生转动时以第一视角方向采集第一图像。终端设备在采集第二图像时，则可以相对摄像头未发生转动时的位置旋转，使摄像头的视角方向发生变化，并且在视角方向发生变化时按照与预设频率采集图像，从而可以得到摄像头的在不同于第一视角方向的至少一个第二视角方向获取的第二图像。

在本申请实施例中，终端设备的摄像头具体转动的方向、转动角度、转动速度以及采集图像的预设频率在本申请实施例中可以不作为限定。

步骤S230：获取所述第一图像中所述目标前景对应的第一区域图像以及所述第一背景对应的第二区域图像。

在本申请实施例中，在获取到上述第一图像以及第二图像之后，对第一图像以及第二图像进行合成，可以获取第一图像中目标前景对应的第一区域图像，以及第一背景对应的第二区域图像。

作为一种实施方式，获取第一图像中目标前景对应的第一区域图像，以及第一背景对应的第二区域图像，可以判断第一图像中是否存在人脸区域，当存在人脸区域时，则可以利用预先存储的人脸识别算法，获取第一图像中的人脸区域作为目标前景区域，第一图像中除人脸区域以外的其他区域作为第一背景的区域。从第一图像中分别获取上述人脸区域的图像以及其他区域的图像，从而得到第一图像中目标前景对应的第一区域图像，以及第一背景对应的第二区域图像。当第一图像中不存在人脸区域时，则计算第一图像中每个像素点的距离值，基于每个像素点的距离值，将第一图像划分为多个连通区域，每个连通区域中的每个像素点之间的距离值在预设范围内，然后计算每个连通区域的平均距离值，将平均距离值最小的连通区域设置为前景区域，将第一图像中的其他区域设置为背景区域。

当然，具体获取第一图像中目标前景对应的第一区域图像以及第一背景对应的第二区域图像的方式，在本申请实施例中可以不作为限定。

步骤S240：获取所述第二图像中所述第二背景对应的第三区域图像。

在本申请实施例中，还可以获取第二图像中第二背景对应的第三区域图像。在获取第二图像中第二背景对应的第三区域图像时，也可以判断第二图像中是否存在人脸区域，当存在人脸区域时，则可以利用预先存储的人脸识别算法，获取第二图像中的人脸区域作为前景区域，第二图像中除人脸区域以外的其他区域作为第二背景的区域，从第一图像中第二背景的区域的图像，从而得到第二背景对应的第三区域图像。当第二图像中不存在人脸区域时，则计算第二图像中每个像素点的距离值，基于每个像素点的距离值，将第二图像划分为多个连通区域，每个连通区域中的每个像素点之间的距离值在预设范围内，然后计算每个连通区域的平均距离值，将平均距离值超过预设阈值的连通区域设置为前景区域，将第二图像中的其他区域设置为背景区域。

当然，具体获取第二图像中第二背景对应的第三区域图像的方式，在本申请实施例中可以不作为限定。

步骤S250：根据所述第三区域图像与所述第二区域图像的匹配区域，将所述第三区域图像中不同于所述第二区域图像的部分区域图像合成于所述第二区域图像，得到用于合成的背景图像。

在本申请实施例中，在得到上述第一图像中第一背景对应的第二区域图像，以及上述第二图像中第二背景对应的第三区域图像之后，则可以获取第三区域图像与第二区域图像的匹配区域。

进一步的，获取第三区域图像与第二区域图像的匹配区域，可以是基于图像中的像素点的匹配，也就是匹配局部图像信息。作为一种方式，可以匹配SIFT特征(Scale-invariant feature transform，尺度不变特征转换)。其中，提取SIFT特征分为两步：侦测与描述(形成特征向量)。可以理解的，上述侦测就是扫描图像所有的尺度下的所有位置(尺度可以理解为局部缩放)，判断一个点作为特征点合不合格，需要计算在这个尺度下的高斯差(DoG，Difference of Gaussians)的局部极值(Local Extrema)。在得到图像的SIFT特征之后，这可以根据SIFT特征进行图像间的匹配，从而可以得到第三区域图像与第二区域图像之间的匹配区域。

在得到第三区域图像与第二区域图像的匹配区域之后，则可以根据第三区域图像不同于第二区域图像的部分图像与第三图像中的匹配区域的位置关系，以及第二区域图像中匹配区域的位置关系，以上述匹配位置关系作为参照，将第三区域图像不同于第二区域图像的部分图像拼接到上述匹配区域，完成第二图像中第二背景不同于第一图像中第一背景的部分合成于第一背景中，得到用于合成的背景图像。并且，使得上述第二背景不同于第一背景的部分与第一背景中的内容无缝衔接，具有真实感。

步骤S260：将所述第一区域图像叠加于所述背景图像中的目标位置，得到第三图像。

在得到用于合成的背景图像之后，这可以将上述从第一图像中获取的目标前景图像叠加于背景图像中的目标位置处，从而得到最后输出的第三图像，第三图像中由于包括有第一图像中的第一背景以及第二图像中第二背景不同于第一背景的部分，因此获得的第三图像中的背景内容较多，可以满足用户的需求。

本申请实施例提供的图像处理方法，通过获取摄像头在第一视角方向获取的第一图像，该第一图像包括目标前景以及第一背景，控制摄像头在一定角度范围内转动并按照预设频率采集图像，而得到摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，该第二图像包括至少部分不同于第一背景的第二背景，最后将第一图像与第二图像进行合成，从而得到包括目标前景以及第三背景的用于输出的第三图像，且该第三背景包括有上述第一图像中的第一背景以及第二背景中不同于第一背景的部分，相比仅采集一张第一图像作为拍摄结果，使得最后作为拍摄结果进行输出的图像中可以包括有较多的拍摄场景中的内容，并且无需使用自拍杆等辅助工具进行拍摄。整个拍摄过程无需用户的过多操作，方便快捷，提升用户体验。

请参阅图5，本申请另一个实施例提供了一种图像处理方法，可应用于终端设备，该方法可以包括：

步骤S310：获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景。

步骤S320：获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景。

步骤S330：获取所述第一图像中所述目标前景对应的第一区域图像以及所述第一背景对应的第二区域图像。

步骤S340：获取所述第二图像中所述第二背景对应的第三区域图像。

在本申请实施例中，步骤S310-步骤S340的内容可以参阅上述实施例的内容，在此不再一一赘述。

步骤S350：根据所述第三区域图像与所述第二区域图像的匹配区域，将所述第三区域图像中不同于所述第二区域图像的部分区域图像合成于所述第二区域图像，得到用于合成的背景图像。

在本申请实施例中，在将第三区域图像中不同于第二区域图像的部分区域图像合成于第二区域图像之前，还可以对第三区域图像中不同于第二区域图像的部分区域图像进行校直，以矫正拍摄第二图像时摄像头的相对旋转。避免由于拍摄图像时摄像头可能存在不在同一水平线上，并且存在不同程度的倾斜，而导致的第三区域图像的部分区域图像合成于第二区域图像后呈现出的波浪形状。

另外，在将上述第三区域图像的部分区域图像合成于第二区域图像时，还可以对上述部分区域图像以及第二区域图像进行图像均衡补偿等处理，以使合成的背景图像的效果较好。

步骤S360：获取所述第一区域图像的缩放比例。

在本申请实施例中，在得到用于合成的背景图像之后，将第一图像中的目标前景的第一区域图像叠加到上述背景图像时，可以获取目标前景对应的第一区域图像需要叠加到背景图像中的目标位置。

作为一种方式，获取目标前景对应的第一区域图像需要叠加到背景图像中的目标位置，可以包括：

获取所述第一图像中所述第一区域图像的第一位置；根据所述第一位置确定所述第一区域图像需要叠加于所述背景图像中的目标位置。

通常用户需要将拍摄图像中的目标前景于背景图像中需要的位置处。作为一种实施方式，可以将目标前景在第一图像中的第一背景中的位置，作为背景图像中需要叠加目标前景的第一区域图像的位置。具体的，根据目标前景对应的第一区域图像在第一图像中的位置，确定第一图像中第一区域图像的边缘的各个像素点，在确定背景图像中的目标位置时，则可以在背景图像中确定与上述确定的各个像素点相同的像素点，从而得到目标前景对应的第一区域图像需要叠加到背景图像中的区域，即得到了第一区域图像需要叠加于背景图像中的目标位置。

在本申请实施例中，当第二图像中存在拍摄第一图像时被目标前景遮挡的背景内容时，则得到的上述背景图像中，此前目标前景的区域中将会有背景内容填充到此处，使得第一图像中被目标前景遮挡的内容可以呈现。由于此前目标前景的区域被填充，则利用上述目标位置将第一区域图像叠加到背景图像时，背景图像中上述填充的内容将会被覆盖，因此为了使最后得到的图像中的背景内容较多，且使得背景内容距离目标前景较远，还可以将目标前景对应的第一区域图像进行缩放，具体进行缩放的缩放比例在本申请实施例中可以不作为限定，例如，可以根据未使用自拍杆时前景的物距和假设使用自拍杆后前景的物距计算得到。

步骤S370：将所述第一区域图像按照所述缩放比例缩放后叠加于所述背景图像中的目标位置，得到第三图像。

在得到上述第一区域图像的缩放比例，以及第一区域图像需要叠加于背景图像中的目标位置之后，则可以将第一区域图像按照上述缩放比例缩放后，得到缩放后的图像，再将缩放后的图像叠加到上述背景图像中的目标位置，从而得到用于输出拍摄结果的第三图像。

在本申请实施例中，在将第一区域图像按照上述缩放比例缩放后叠加于背景图像中的目标位置，得到第三图像之前，还可以对背景图像进行裁剪，以使后续合成的用作拍摄结果的图像的尺寸大小与第一图像一致，即标准尺寸大小。因此，该图像处理方法还可以包括：根据所述第一图像，将所述背景图像裁剪，得到裁剪后的背景图像，所述裁剪后的背景图像的边缘区域与所述第一图像的边缘区域相同。

另外，在将第一区域图像叠加于背景图像中的目标位置之前，还可以对第一区域图像的边缘以及上述目标位置的边缘的图像参数进行调整，以使目标前景叠加到背景图像后能有较好的融入感，以增强图像质量。因此，在本申请实施例中，该图像处理方法还可以包括：

获取所述第一区域图像的边缘的第一图像参数；将所述背景图像中的所述目标位置所在区域的边缘的第二图像参数调整为目标图像参数，其中，所述第一图像参数与所述目标图像参数的差值小于预设阈值。

作为一种实施方式，获取上述第一区域图像的边缘以及目标位置所在区域的边缘，可以通过边缘区域特征法，边界区域特征法通过对边界特征的描述来获取图像的形状，例如Hough变换检测平行直线方法和边界方向直方图方法是经典方法导等。

进一步的，上述第一图像参数以及第二图像参数可以为亮度、对比度、饱和度、颜色等表征图像特征的量化值的一种。上述颜色特征的提取方法可以为颜色直方图、颜色集、颜色矩、颜色聚合向量、颜色相关图等。当然，具体的图像参数以及图像参数的获取方法在本申请实施例中可以不作为限定。

作为一种应用场景，在用户需要于拍摄场景拍摄目标前景和拍摄场景中的背景内容时，终端设备可以提示用户拍摄一张用作主拍摄图像的第一图像，使用户能够了解到以需求的姿态和角度拍摄，保证第一图像中的目标前景对应内容的拍摄质量以及用户需要拍摄的主体背景。例如，如图6所示，拍摄得到第一图像22，第一图像22中包括目标前景23以及第一背景24。然后，终端设备可以提示用户将终端设备移动一定距离拍摄图像，例如提示移动的方向以及距离等，具体的移动距离可以根据后续目标前景对应的区域图像的缩放比例而定。当用户将终端设备移动到一定位置后，终端设备可以提示用户是否移动到合适的位置，当移动到合适的位置后则可以控制摄像头采集图像。例如，如图7及图8所示，在移动终端设备后，拍摄得到第二图像25以及27，第二图像25包括目标前景23以及第二背景26，第二图像27包括目标前景23以及第二背景28。

例如，如图9以及图10所示，在得到上述第一图像22，第二图像25以及27之后，则可以获取第一图像22中的目标前景23对应的第一区域图像29，以及第一背景24对应的第二区域图像30。请参见图11及图12，获取第二图像25以及27中背景对应的区域图像，得到第二图像25中第二背景26对应的第三区域图像31，得到第二图像27中第二背景28对应的第三区域图像32。请参见图13，将第二区域图像30与第三区域图像31进行合成时，第三区域图像31不同于第二区域图像30的内容包括第一部分内容33以及第二部分内容34。请参见图14，将第二区域图像30与第三区域图像32进行合成时，第三区域图像32不同于第二区域图像30的内容包括第三部分内容35以及第四部分内容36。然后，请参见图15，将上述第一部分内容3、第二部分内容34、第三部分内容35以及第四部分内容36，拼接到第二区域图像30。最后得到用于合成的背景图像37，如图16所示。在得到用于合成的背景图像之后，则可以根据目标前景对应的第一区域图像29在第一图像24中的位置，确定背景图像37中的目标位置，然后将第一区域图像29叠加到背景图像37，得到用作拍摄结果的第三图像38，如图17所示。另外，可以将第一区域图像29进行缩放后叠加到背景图像37，并对得到叠加后的图像进行裁剪，得到与第一图像以及第二图像的尺寸大小一致的图像，如图18所示，以用作标准尺寸大小的拍摄图像，最终获得的图像中相较第一图像以及第二图像，背景内容增多，且可以使目标前景相对背景较小，以体现出目标前景距离拍摄场景中的背景内容较远。

本申请实施例提供的图像处理方法，通过获取摄像头在第一视角方向获取的第一图像，该第一图像包括目标前景以及第一背景，获取摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，该第二图像包括至少部分不同于第一背景的第二背景，最后将第一图像与第二图像进行合成，从而得到包括目标前景以及第三背景的用于输出的第三图像，且该第三背景包括有上述第一图像中的第一背景以及第二背景中不同于第一背景的部分，相比仅采集一张第一图像作为拍摄结果，使得最后作为拍摄结果进行输出的图像中可以包括有较多的拍摄场景中的内容，并且无需使用自拍杆等辅助工具进行拍摄。

请参阅图19，其示出了本申请实施例提供的一种图像处理装置600的结构框图，该图像处理装置600应用于终端设备，该图像处理装置600可以包括：第一图像获取模块610、第二图像获取模块620以及图像合成模块630。其中，所述第一图像获取模块610用于获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景；所述第二图像获取模块620用于获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景；所述图像合成模块630用于将所述第一图像以及所述第二图像进行合成，得到包括第三背景以及所述目标前景的第三图像，所述第三背景为根据所述第二背景与所述第一背景的匹配区域，将所述第二背景不同于所述第一背景的部分合成于所述第一背景后得到的背景。

在本申请实施例中，请参见图20，图像合成模块630可以包括：第一区域图像获取单元631、第二区域图像获取单元632、背景合成单元633以及图像叠加单元635。其中，第一区域图像获取单元631用于获取所述第一图像中所述目标前景对应的第一区域图像以及所述第一背景对应的第二区域图像；第二区域图像获取单元632用于获取所述第二图像中所述第二背景对应的第三区域图像；背景合成单元633用于根据所述第三区域图像与所述第二区域图像的匹配区域，将所述第三区域图像中不同于所述第二区域图像的部分区域图像合成于所述第二区域图像，得到用于合成的背景图像；图像叠加单元635用于将所述第一区域图像叠加于所述背景图像中的目标位置，得到第三图像。

在本申请实施例中，请参见图20，该图像合成模块630还可以包括：叠加位置确定单元634。在所述将所述第一区域图像叠加于所述背景图像中的目标位置，得到第三图像之前，叠加位置确定单元634可以用于：获取所述第一图像中所述第一区域图像的第一位置；根据所述第一位置确定所述第一区域图像需要叠加于所述背景图像中的目标位置。

在本申请实施例中，图像叠加单元635可以具体用于：获取所述第一区域图像的缩放比例；将所述第一区域图像按照所述缩放比例缩放后叠加于所述背景图像中的目标位置，得到第三图像。

在本申请实施例中，请参见图20，该图像合成模块630还可以包括：图像裁剪单元636。图像裁剪单元636用于根据所述第一图像，将所述背景图像裁剪，得到裁剪后的背景图像，所述裁剪后的背景图像的边缘区域与所述第一图像的边缘区域相同。

在本申请实施例中，请参见图21，该图像处理装置600还可以包括：图像参数获取模块640以及图像参数调节模块650。其中，图像参数获取模块640用于获取所述第一区域图像的边缘的第一图像参数；图像参数调节模块650用于将所述背景图像中的所述目标位置所在区域的边缘的第二图像参数调整为目标图像参数，其中，所述第一图像参数与所述目标图像参数的差值小于预设阈值。

在本申请实施例中，第二图像获取模块620可以具体用于：控制所述摄像头在预设角度范围内转动并按照预设频率采集图像，得到所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请提供的方案，获取摄像头在第一视角方向获取的包括目标前景以及第一背景的第一图像，获取摄像头在不同于第一视角方向的至少一个第二视角方向获取的第二图像，第二图像中包括至少部分不同于第一背景的第二背景，最后将第一图像以及第二图像进行合成，得到包括第三背景以及上述目标前景的第三图像，第三背景为根据第二背景与第一背景的匹配区域将第二背景不同于第一背景的部分合成于第一背景后得到的背景，从而实现自动增加拍摄图像中的背景内容，提升拍摄图像的效果。

请参考图22，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图23，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种图像处理方法，其特征在于，所述方法包括：

获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景；

获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景；

获取所述第一图像中所述目标前景对应的第一区域图像以及所述第一背景对应的第二区域图像；

获取所述第二图像中所述第二背景对应的第三区域图像；

对所述第三区域图像中不同于所述第二区域图像的部分区域图像进行校正，以校正拍摄所述第二图像时摄像头的相对旋转；

根据所述第三区域图像与所述第二区域图像的匹配区域，将所述第三区域图像中不同于所述第二区域图像的部分区域图像合成于所述第二区域图像，得到用于合成的背景图像；

获取所述第一图像中所述第一区域图像的第一位置；

根据所述第一位置确定所述第一区域图像需要叠加于所述背景图像中的目标位置；

获取所述第一区域图像的缩放比例；

将所述第一区域图像按照所述缩放比例缩放后叠加于所述背景图像中的目标位置，得到第三图像，其中，所述背景图像中所述目标位置所在区域的边缘的图像参数与所述第一区域图像的边缘的图像参数的差值小于预设阈值。

2.根据权利要求1所述的方法，其特征在于，在所述将所述第一区域图像按照所述缩放比例缩放后叠加于所述背景图像中的目标位置，得到第三图像之前，所述方法还包括：

根据所述第一图像，将所述背景图像裁剪，得到裁剪后的背景图像，所述裁剪后的背景图像的边缘区域与所述第一图像的边缘区域相同。

3.根据权利要求2所述的方法，其特征在于，在将所述第一区域图像叠加于所述背景图像中的目标位置，得到第三图像之前，所述方法还包括：

获取所述第一区域图像的边缘的第一图像参数；

将所述背景图像中的所述目标位置所在区域的边缘的第二图像参数调整为目标图像参数，其中，所述第一图像参数与所述目标图像参数的差值小于预设阈值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，包括：

控制所述摄像头在预设角度范围内转动并按照预设频率采集图像，得到所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像。

5.一种图像处理装置，其特征在于，所述装置包括：第一图像获取模块、第二图像获取模块以及图像合成模块，所述图像合成模块包括第一区域图像获取单元、第二区域图像获取单元、背景合成单元、叠加位置确定单元以及图像叠加单元，其中，

所述第一图像获取模块用于获取摄像头在第一视角方向获取的第一图像，所述第一图像包括目标前景以及第一背景；

所述第二图像获取模块用于获取所述摄像头在不同于所述第一视角方向的至少一个第二视角方向获取的第二图像，所述第二图像包括至少部分不同于所述第一背景的第二背景；

所述第一区域图像获取单元用于获取所述第一图像中所述目标前景对应的第一区域图像以及所述第一背景对应的第二区域图像；

所述第二区域图像获取单元用于获取所述第二图像中所述第二背景对应的第三区域图像；对所述第三区域图像中不同于所述第二区域图像的部分区域图像进行校正，以校正拍摄所述第二图像时摄像头的相对旋转；

所述背景合成单元用于根据所述第三区域图像与所述第二区域图像的匹配区域，将所述第三区域图像中不同于所述第二区域图像的部分区域图像合成于所述第二区域图像，得到用于合成的背景图像；

所述叠加位置确定单元用于获取所述第一图像中所述第一区域图像的第一位置；

所述叠加位置确定单元还用于根据所述第一位置确定所述第一区域图像需要叠加于所述背景图像中的目标位置；

所述图像叠加单元用于获取所述第一区域图像的缩放比例；

所述图像叠加单元还用于将所述第一区域图像按照所述缩放比例缩放后叠加于所述背景图像中的目标位置，得到第三图像，其中，所述背景图像中所述目标位置所在区域的边缘的图像参数与所述第一区域图像的边缘的图像参数的差值小于预设阈值。

6.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-4任一项所述的方法。

7.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-4任一项所述的方法。

Images