CN110213476A - 图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理方法及装置，所述图像处理方法包括：获取多帧图像，所述多帧图像是对同一拍摄场景中主体和背景进行连续拍摄所生成的，每一帧图像包含所述拍摄场景中主体对应的主体区域和背景对应的背景区域；由所述多帧图像中选取待处理图像；根据所述待处理图像中的主体区域和背景区域确定待优化目标区域；为待优化目标区域在所述多帧图像中遍历查找最优目标区域；将查找到的最优目标区域合成至所述待处理图像，生成由最优主体区域和最优背景区域构成的合成图像。采用本发明所提供的图像处理方法及装置解决了现有技术中拍摄效率低下的问题。

Description

图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

在诸如智能手机、平板电脑、掌上电脑等电子设备上大都具有拍摄照片的功能。用户针对同一拍摄场景进行照片拍摄时，尤其是拍摄场景中存在可变因素时，例如，可变因素可以是多个人各不相同的表情，又或者对风景造成干扰的外界环境，时常会遇到照片中的大部分拍摄效果很好，但少部分拍摄效果欠佳的情况，此时，用户只能重新拍摄。

由上可知，对于存在可变因素的拍摄场景而言，往往一次性拍摄出的照片难以满足用户希望照片中整体拍摄效果好的要求，使得用户需要进行重复拍摄，费时费力，导致拍摄效率低下。

发明内容

为了解决上述技术问题，本发明的一个目的在于提供一种图像处理方法及装置。

其中，本发明所采用的技术方案为：

一种图像处理方法，包括：获取多帧图像，所述多帧图像是对同一拍摄场景中主体和背景进行连续拍摄所生成的，每一帧图像包含所述拍摄场景中主体对应的主体区域和背景对应的背景区域；由所述多帧图像中选取待处理图像；根据所述待处理图像中的主体区域和背景区域确定待优化目标区域；为待优化目标区域在所述多帧图像中遍历查找最优目标区域；将查找到的最优目标区域合成至所述待处理图像，生成由最优主体区域和最优背景区域构成的合成图像。

一种图像处理装置，包括：图像获取模块，用于获取多帧图像，所述多帧图像是对同一拍摄场景中主体和背景进行连续拍摄所生成的，每一帧图像包含所述拍摄场景中主体对应的主体区域和背景对应的背景区域；图像选取模块，用于由所述多帧图像中选取待处理图像；区域确定模块，用于根据所述待处理图像中的主体区域和背景区域确定待优化目标区域；区域获取模块，用于为待优化目标区域在所述多帧图像中遍历查找最优目标区域；图像合成模块，用于将查找到的最优目标区域合成至所述待处理图像，生成由最优主体区域和最优背景区域构成的合成图像。

一种图像处理装置，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的图像处理方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法。

在上述技术方案中，由包含了拍摄场景中主体所对应主体区域和背景所对应背景区域的多帧图像中选取待处理图像，并根据待处理图像中的主体区域和背景区域确定待优化目标区域，进而为待优化目标区域在多帧图像中遍历查找最优目标区域，从而将查找到的最优目标区域合成至待处理图像，生成由最优主体区域和最优背景区域构成的合成图像，也就是说，随着待优化目标区域被优化为最优目标区域，由此生成的合成图像能够满足用户希望照片中整体拍摄效果好的要求，从而向用户提供最佳拍摄效果的图片,极大的提高了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种电子设备的硬件结构框图。

图2是根据一示例性实施例示出的一种图像处理方法的流程图。

图3是根据一示例性实施例示出的另一种图像处理方法的流程图。

图4是图2对应实施例中步骤330在一个实施例的流程图。

图5是图2对应实施例中步骤390在一个实施例的流程图。

图6是根据一示例性实施例示出的另一种图像处理方法的流程图。

图7是一应用场景中一种图像处理方法的具体实现示意图。

图8是图7应用场景所涉及的图像处理应用程序的功能模块框图。

图9为图7应用场景所涉及的图像帧序列中多帧图像的示意图；

图10为图7应用场景所涉及的合成图像的示意图；

图11是根据一示例性实施例示出的另一种图像处理装置的框图。

图12是图11对应实施例中图像选取模块930在一个实施例的框图。

图13是根据一示例性实施例示出的另一种图像处理装置的框图。

图14是图11对应实施例中图像选取模块930在另一个实施例的框图。

图15是图11对应实施例中图像合成模块990在一个实施例的框图。

图16是根据一示例性实施例示出的另一种图像处理装置的框图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

如前所述，对于存在可变因素的拍摄场景而言，用户往往需要进行重复拍摄，造成拍摄效率低下。

举例来说，集体照拍摄时，人数有时会达到几十个甚至上百个。大部分人表情到位，但总存在小部分人在拍摄瞬间出现眨眼、晃动、表情不自然等情况，用户发现后则需要重新拍摄。

或者，对孩子们或者动物们进行的拍摄，由于孩子和动物难以长时间保持静止，同样会造成用户进行重复拍摄。

再者，拍摄大型集体活动时，例如广播操、集体舞等，动作转瞬即逝且难以整齐划一，一次性拍摄根本保证不了整体拍摄效果。

又或者，人物造型因风大而容易变化、风景因自然光线变幻莫测而明暗差异等等，都可能造成用户的重新拍摄。

由上可知，就存在可变因素的拍摄场景来说，需要一次性拍摄出满足用户要求的照片，不仅受限于主体(例如人物)进行拍摄时的状态，而且对拍摄环境(例如风、自然光线等)的要求也比较高，这都将导致拍摄效率难以提高。

为此，本发明特提出了一种能够避免用户重复拍摄的图像处理方法，该种图像处理方法由计算机程序实现，与之相对应的，所构建的图像处理装置可存储于配备了摄像模块的电子设备中，以在该电子设备中执行，进而实现图像处理方法，以提高拍摄效率。例如，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、台式电脑等等，在此并未加以限定。

请参阅图1，图1是根据一示例性实施例示出的一种电子设备的框图。需要说明的是，该电子设备只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图1中示出的示例性的电子设备100中的一个或者多个组件。

如图1所示，电子设备100包括存储器101、存储控制器103、一个或多个(图1中仅示出一个)处理器105、外设接口107、射频模块109、定位模块111、摄像模块113、音频模块115、触控屏幕117以及按键模块119。这些组件通过一条或多条通讯总线/信号线121相互通讯。

其中，存储器101可用于存储计算机程序以及模块，如本发明示例性实施例中的图像处理方法及装置对应的计算机可读指令及模块，处理器105通过运行存储在存储器101内的计算机可读指令，从而执行各种功能以及数据处理，即完成图像处理方法。

存储器101作为资源存储的载体，可以是随机存储器、例如高速随机存储器、非易失性存储器，如一个或多个磁性存储装置、闪存、或者其它固态存储器。存储方式可以是短暂存储或者永久存储。

外设接口107可以包括至少一有线或无线网络接口、至少一串并联转换接口、至少一输入输出接口以及至少一USB接口等，用于将外部各种输入/输出装置耦合至存储器101以及处理器105，以实现与外部各种输入/输出装置的通信。

射频模块109用于收发电磁波，实现电磁波与电信号的相互转换，从而通过通讯网络与其他设备进行通讯。通信网络包括蜂窝式电话网、无线局域网或者城域网，上述通信网络可以使用各种通信标准、协议及技术。

定位模块111用于获取电子设备100的当前所在的地理位置。定位模块111的实例包括但不限于全球卫星定位系统(GPS)、基于无线局域网或者移动通信网的定位技术。

摄像模块113隶属于摄像头，用于拍摄图片或者视频。拍摄的图片或者视频可以存储至存储器101内，还可以通过射频模块109发送至上位机。

音频模块115向用户提供音频接口，其可包括一个或多个麦克风接口、一个或多个扬声器接口以及一个或多个耳机接口。通过音频接口与其它设备进行音频数据的交互。音频数据可以存储至存储器101内，还可以通过射频模块109发送。

触控屏幕117在电子设备100与用户之间提供一个输入输出界面。具体地，用户可通过触控屏幕117进行输入操作，例如点击、触摸、滑动等手势操作，以使电子设备100对该输入操作进行响应。电子设备100则将文字、图片或者视频任意一种形式或者组合所形成的输出内容通过触控屏幕117向用户显示输出。

按键模块119包括至少一个按键，用以提供用户向电子设备100进行输入的接口，用户可以通过按下不同的按键使电子设备100执行不同的功能。例如，声音调节按键可供用户实现对电子设备100播放的声音音量的调节。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或更少的组件，或者具有与图1所示不同的组件。

此外，通过硬件电路或者硬件电路结合软件也能同样实现本发明，因此，实现本发明并不限于任何特定硬件电路、软件以及两者的组合。

请参阅图2，在一示例性实施例中，一种图像处理方法适用于电子设备，该电子设备的结构可以如图1所示。

该种图像处理方法可以由电子设备执行，可以包括以下步骤：

步骤310，获取多帧图像。

首先说明的是，多帧图像，可以来源于电子设备所配备的摄像模块对同一拍摄场景中主体和背景进行连续拍摄所生成的多帧图像，也可以是来源于电子设备所配备的存储器中预先存储的多帧图像。也就是说，在摄像模块连续地拍摄多帧图像之后，电子设备可以对该多帧图像预先存储了再执行图像处理过程，也可以进行实时的图像处理。

连续拍摄，可以指对同一拍摄场景中主体和背景连续拍摄多张照片，也可以是指对该同一拍摄场景中主体和背景录制了一个视频片段，相应地，多帧图像所描述的可以是照片集合，也可以是视频片段。

也可以理解为，多帧图像在时间上连续，在一实施例中，多帧图像是一个视频片段，在另一实施例中，多帧图像是指时间上连续的多张照片。

其中，主体是指拍摄场景中的任意对象，例如，拍摄场景中的某个人物、某个动物、某个山川等等，在此并未进行限定。背景则是指拍摄场景中除去主体之外的任意对象，例如，拍摄场景中人物背后的风景等等，在此也不加以限定。进一步地，拍摄场景中，可以仅存在一个主体，也可以包括多个主体，在此也不加以限定。

由此，在多帧图像的获取中，可以是摄像模块当前连续拍摄的多帧图像，也可以是存储器中预先存储的多帧图像，即通过调取一历史时间由摄像模块连续拍摄的多帧图像，在此不进行限定。简而言之，获取到的多帧图像，均是由摄像模块对同一拍摄场景中主体和背景进行连续拍摄所生成的。

其次说明的是，每一帧图像包含拍摄场景中主体对应的主体区域和背景对应的背景区域。

由上可知，主体是指拍摄场景中的任意对象，例如，拍摄场景中的某个人物、某个动物、某个山川等等。背景则是指拍摄场景中除去主体之外的任意对象，例如，拍摄场景中人物背后的风景等等。

相应地，主体区域是图像中对主体的部分或者全部进行唯一地标识，也可以理解为，主体区域以图像形式实现了对拍摄场景中主体的部分或者全部的准确描述。例如，主体是人物或者动物时，主体区域为脸部区域，通过脸部区域即可唯一地标识该人物或者动物的全部。又或者，主体是山川时，主体区域可以是山谷区域，还可以是山峰区域，以此对山川的部分进行唯一地标识。

由于拍摄场景中除去主体之外的任意对象均视为背景，可以理解为背景是一个整体，因此，背景区域是图像中对背景整体进行唯一地标识，也就是说，背景区域以图像形式实现了对拍摄场景中背景整体的准确描述。

进一步地，针对拍摄场景所包含的主体数量不同，主体对应的主体区域，可以是同一个主体对应于多个主体区域，也可以指多个主体与多个主体区域一一对应。

具体而言，如果拍摄场景中仅存在一个主体，则多个主体区域均对应于该主体，以通过不同主体区域对主体的不同部分进行唯一地标识，进而使得后续的图像处理针对同一个主体所对应的多个主体区域，以此实现照片中该同一主体的整体拍摄效果好。

倘若拍摄场景中包括多个主体，则多个主体区域分别与多个主体一一对应，以通过不同主体区域唯一地标识不同的主体，进而使得后续的图像处理针对多个主体所分别对应的多个主体区域，以此实现照片中该多个主体的整体拍摄效果好。

更进一步地，图像中主体区域和背景区域的获取均是通过图像目标识别技术实现的。

例如，对于主体区域为脸部区域而言，图像目标识别技术包括但不限于人脸识别、动物面部识别等等。

在一实施例的具体实现中，调用图像目标识别模型对多帧图像中的一帧图像进行图像目标识别，得到一帧图像中对应于拍摄场景中主体的主体区域。

其中，图像目标识别模型包括但不限于人脸识别模型、动物面部识别模型等。

步骤330，由多帧图像中选取待处理图像。

待处理图像可以是多帧图像中最能够满足用户要求的一帧图像，也可以是电子设备在多帧图像中随机选取的，也可以是默认时间上连续的多帧图像中的某一帧图像(例如第一帧图像)，还可以由用户手动选取，本实施例不对待处理图像的选取方式作具体限定。

换而言之，在一实施例中，待处理图像适用于自动选取场景，在另一实施例中，待处理图像适用于手动选取场景，以此增强待处理图像选取的灵活性，进而提高图像处理方法的适用性和兼容性。

在选取得到待处理图像之后，便能够基于该待处理图像生成满足用户要求的图像，以此避免用户进行重复拍摄。

需要说明的是，如果多帧图像是一个视频片段，则进行待处理图像选取之前，将首先对该视频片段进行分帧处理，进而由该视频片段中获得多帧图像。

步骤350，根据待处理图像中的主体区域和背景区域确定待优化目标区域。

如前所述，主体是指拍摄场景中的任意对象，例如，拍摄场景中的某个人物、某个动物、某个山川等等。相应地，主体区域则可以是脸部区域、外形区域等等。

可以理解，对于待处理图像包含的对应于拍摄场景中主体的多个主体区域而言，可能有的主体区域满足用户要求的拍摄效果，而有的主体区域不满足用户要求的拍摄效果。背景区域也同理，待处理图像中对应于拍摄场景中背景的背景区域未必满足用户要求的拍摄效果。为此，待优化目标区域是指不满足用户要求的拍摄效果的主体区域和/或背景区域。

应当说明的是，用户要求的拍摄效果，不仅可以关注主体的脸部，还可以关注主体和/或背景的外形、出境比例、清晰程度等等。具体地，用户要求的拍摄效果包括但不限于：微笑表情、搞怪表情、正脸、未闭眼、无阴阳脸、无抖动、清晰等等。也就是说，用户要求的拍摄效果可以自定义，本实施例中并未对此加以限定。

进一步补充说明的是，由待处理图像确定的待优化目标区域可能只有一个，也可能不止一个，因此，图像处理过程将基于待优化目标区域进行遍历，即对待处理图像中的每一个待优化目标区域进行图像处理，进而使得所生成图像中的主体区域和背景区域均满足用户要求的拍摄效果，以此保证用户希望的整体拍摄效果好。

待优化目标区域的确定，既可以由电子设备自动执行，例如，待处理图像中所有不满足用户要求的拍摄效果的主体区域和/或背景区域均视为待优化目标区域，还可以由用户手动选取，即用户所选取的主体区域或者背景区域才确定是待优化目标区域。

也就是说，在一实施例中，待优化目标区域适用于自动确定场景，在另一实施例中，待优化目标区域适用于手动确定场景，使得待优化目标区域更加符合用户的需求，有利于优化图像处理的结果。

步骤370，为待优化目标区域在多帧图像中遍历查找最优目标区域。

最优目标区域，实质上反映的是目标区域在多帧图像中所具有的最佳拍摄效果。目标区域是指主体区域或者背景区域。相应地，最优目标区域可以是最优主体区域，也可以是指最优背景区域。

具体地，最优目标区域是通过对多帧图像中同一目标区域进行的目标区域效果比较而获得的。其中，目标区域效果是指目标区域的拍摄效果。

以主体为人物A进行说明，假设人物A在图像a中的人脸区域A’清晰、未微笑、未闭眼，将图像a中对应于人物A的人脸区域A’确定为待优化目标区域，如果在图像b中的人脸区域A’模糊、微笑、未闭眼，在图像c中的人脸区域A’清晰、微笑、未闭眼，则通过目标区域效果比较，人物A所对应的人脸区域A’在图像c中具有最佳拍摄效果，即清晰、微笑、未闭眼，因此，图像c中对应于人物A的人脸区域A’，即视为人脸区域A’在图像a、b、c中的最优目标区域。

相应地，为该人脸区域A’在多帧图像中进行最优目标区域的遍历查找，便能够得到人脸区域A’在图像a、b、c中的最优目标区域，即图像c中对应于人物A的人脸区域A’。

基于此，在查找得到最优目标区域之后，便能够由最优目标区域所在的图像中获得该最优目标区域，以供后续图像合成。

在一实施例的具体实现中，最优目标区域获取中，先由最优目标区域所在的图像中识别出最优目标区域所在位置，进而根据该最优目标区域所在位置对该图像进行裁剪，即得到最优目标区域。

步骤390，将查找到的最优目标区域合成至待处理图像，生成由最优主体区域和最优目标区域构成的合成图像。

在获得最优目标区域与待处理图像之后，便可进行图像合成，以生成由最优主体区域和最优目标区域构成的合成图像。

图像合成过程，在一实施例中，可以创建一张空白图片，依次置入进行图片大小匹配处理后的最优目标区域与待处理图像，在另一实施例中，可以直接将最优目标区域叠加至待处理图像，本实施例并未对此进行限定。

进一步地，待合成图像生成之后，合成图像可以进行本地存储，以供后续使用，还可以进行显示以供用户预览。

通过如上所述的过程，针对存在可变因素的拍摄场景，将为用户生成由最优主体区域和最优背景区域构成的合成图像，很好地满足了用户的要求，从而避免用户进行重复拍摄，简单快捷，有效地提高了拍摄效率。

在一示例性实施例中，步骤330可以包括以下步骤：

根据图像所包含最优目标区域的数量在多帧图像之间进行图像效果比较，以多帧图像中图像效果最佳的图像作为待处理图像。

其中，图像效果最佳指示图像所包含最优目标区域的数量最多。

在此，有必要对最优目标区域的形成过程加以说明。

如图3所示，在一实施例的具体实现中，如上所述的方法还可以包括以下步骤：

步骤410，进行图像中目标区域的遍历，比较同一目标区域分别在多帧图像中的目标区域效果。

其中，目标区域为主体区域或者背景区域。

目标区域效果，是指目标区域的拍摄效果，具体而言，是指主体区域的拍摄效果或者背景区域的拍摄效果，可以是满足用户要求的拍摄效果，例如，微笑表情、正脸、未闭眼、清晰等，也可以是指不满足用户要求的拍摄效果，例如，阴阳脸、抖动、模糊等。

应当理解，拍摄场景中的主体或者背景在不同图像中分别对应的主体区域或者背景区域所具有的拍摄效果不尽相同，势必存在一帧图像中主体所对应的主体区域或者背景所对应的背景区域具有最佳拍摄效果。

因此，通过同一目标区域分别在多帧图像中进行的目标区域效果比较，便能够为该同一目标区域获得在多帧图像中目标区域效果最佳的目标区域，亦即最佳拍摄效果的目标区域。

步骤430，在目标区域效果最佳的目标区域所在图像中标记目标区域，得到目标区域在多帧图像中的最优目标区域。

在获得目标区域效果最佳的目标区域之后，即可进一步获得目标区域效果最佳的目标区域所在图像，并基于该图像标记目标区域效果最佳的目标区域，以此形成该目标区域在多帧图像中的最优目标区域。

在一实施例的具体实现中，目标区域所进行的标记可以是对目标区域画圈、添加星标等方式，进而使得图像中被画圈或者被添加星标的目标区域即为最优目标区域。

由上可知，最优目标区域，是对图像中目标区域效果最佳的目标区域进行标记形成的，实质上反映了多帧图像中具有最佳拍摄效果的目标区域，以此为后续的目标区域优化提供了准确的依据。

可以理解，每一帧图像包含多个目标区域，一个背景区域和至少一个主体区域，每一个目标区域在多帧图像中均存在一个最优目标区域，而对于每一帧图像来说，有的图像可能不存在最优目标区域，还有的图像可能存在多个最优目标区域。换而言之，有的图像中可能并不存在进行标记的目标区域，也有的图像中标记的目标区域有多个。

因此，通过图像中目标区域的标记数量便能够确定图像所包含的最优目标区域数量，并以此进行多帧图像之间的图像效果比较，从而获得图像效果最佳的图像。其中，图像效果是指图像的整体拍摄效果，也可以理解为，图像效果反映了图像中多个目标区域的拍摄效果。

具体地，对每一帧图像中目标区域的标记数量进行统计，目标区域标记数量最多的图像则表示该图像所包含的最优目标区域数量最多，也就是说，该图像中包含了数量最多的具有最佳拍摄效果的目标区域，故而，该图像即为图像效果最佳的图像。

在上述实施例的作用下，为图像中的多个目标区域找到了具有最佳拍摄效果的目标区域，即最优目标区域，进而为待处理图像按照图像效果最佳进行自动选取提供了充分的依据。

相应地，在一示例性实施例中，步骤350可以包括以下步骤：

将待处理图像中未标记的目标区域作为待优化目标区域。

如前所述，待处理图像是多帧图像中图像效果最佳的图像，其所包含的目标区域标记数量最多，可以理解，对于待处理图像中的多个目标区域来说，包括进行标记的目标区域，即最优目标区域，以及未进行标记的目标区域。

基于此，待优化目标区域，是指待处理图像中未进行标记的目标区域。

换而言之，待处理图像中的最优目标区域已经是具有最佳拍摄效果的目标区域了，无需优化，而不具有最佳拍摄效果的目标区域才是需要执行优化的目标区域，即未标记的目标区域，进而有利于后续实现合成图像中包含最优目标区域。

通过上述过程，实现了待优化目标区域的自动确定，由此，图像处理过程即可完全由电子设备自动执行，避免人工参与，有利于提高图像处理效率。

请参阅图4，在一示例性实施例中，步骤330可以包括以下步骤：

步骤331，检测得到针对多帧图像触发进行的图像选择操作。

为了方便用户手动选取待处理图像，在获得图像帧序列中的多帧图像之后，电子设备将按照指定形式对多帧图像进行展示，例如，指定形式可以是列表、缩略图等等。

基于此，电子设备在进行多帧图像展示时，将向用户提供与图像相关联的图像选择入口。当用户希望手动选取待处理图像时，便可通过在与图像相关联的图像选择入口触发进行的图像选择操作，而选取该图像作为待处理图像。

其中，图像选择入口与图像相关联，是指每一帧图像均对应一个图像选择入口，相应地，在通过该图像选择入口触发进行的图像选择操作，待处理图像即为与该图像选择入口相关联的图像。

例如，图像选择入口可以是电子设备所配备触控屏幕中显示出的虚拟对话框，当用户勾选了该虚拟对话框，即视为与该图像选择入口关联的图像被触发进行了图像选择操作，进而将该图像选取为待处理图像。

步骤333，将图像选择操作指示选取的图像作为待处理图像。

在上述实施例的配合下，待处理图像不仅可以自动选取，还可以手动选取，用户可以根据实际需求进行选择，从而增强了图像处理方法的灵活性。

进一步地，在一示例性实施例中，步骤350可以包括以下步骤：

根据待处理图像中触发目标区域选取的目标区域选择操作获得待优化目标区域。

待处理图像中，存在着多个目标区域，一个背景区域和至少一个主体区域，对于用户，其可在待处理图像中触发目标区域的选取，由此选择出不满足其要求的目标区域，即为待优化目标区域。

举例来说，电子设备所配备的触控屏幕进行待处理图像的显示，用户则可在触控屏幕所显示的待处理图像中，针对不满足其要求的目标区域触发目标区域选择操作，例如，在触控屏幕上通过对待处理图像中的目标区域点击、画圈等方式，即可触发目标区域选择操作，此时，将被触发目标区域选取的目标区域设置为待优化目标区域。

在上述过程中，图像处理过程还同时为用户提供手动实施方式，以此真实地反映出用户的处理需求，有利于后续生成符合用户处理需求的合成图像，而且能够满足用户在手动、自动之间相互切换的需求，大大提高了图像处理方法的适用性和兼容性。

请参阅图5，在一示例性实施例中，步骤390可以包括以下步骤：

步骤391，获取待优化目标区域在待处理图像中的位置。

在一实施例的具体实现中，将待处理图像输入至图像目标识别模型进行图像目标识别，输出得到待处理图像中待优化目标区域所在位置。

步骤393，将最优目标区域叠加至待处理图像中待优化目标区域所在位置。

对于多帧图像来说，是针对同一拍摄场景进行连续拍摄所生成的，而最优目标区域是指图像中进行了标记的目标区域，因此，无论是否被标记，目标区域在多帧图像中将具有相同的位置。

也就是说，在最优目标区域所在图像和待处理图像中，最优目标区域所在位置和待优化目标区域所在位置相同。

基于此，在查找到最优目标区域之后，即可将最优目标区域叠加至待处理图像中与最优目标区域所在位置相同的位置，即待优化目标区域所在位置。

进一步地，为了保证最优目标区域与待处理图像的合成效果，在叠加之前，将对待处理图像中待优化目标区域所在位置进行高斯模糊。

步骤395，在待优化目标区域与相邻区域之间进行图像拼接，得到合成图像。

可以理解，叠加后，待优化目标区域所在位置上即是最优目标区域，其可能会对待优化目标区域所在位置的相邻区域产生影响，进而影响合成效果。

由此，为了使图像合成的更为自然，合成之前，将进行待优化目标区域与相邻区域之间的图像拼接，以实现待优化目标区域到相邻区域的过渡融合。在一实施例的具体实现中，图像拼接包括但不限于依次执行：图像映射、光照补偿、图像融合。

通过如上所述的过程，便实现了合成图像的生成，并且通过高斯模糊、图像拼接等充分地保障了最优目标区域与待处理图像的完美结合。

请参阅图6，在一示例性实施例中，如上所述的方法还可以包括以下步骤：

步骤610，获取进行了目标区域标注的图像样本。

图像样本是图像目标识别模型的训练基础，进而通过获取大量的图像样本进行指定模型的模型训练，才能够得到准确的图像目标识别模型，并以此实现准确地图像目标识别。其中，指定模型包括但不限于卷积神经网络模型(Convolutional Neural Networks，CNN)。

进一步地，图像样本是进行了目标区域标注的图像，以此标识出主体所对应目标区域及所在位置。

步骤630，根据图像样本对指定模型的模型参数进行优化。

模型训练是指对指定模型的模型参数进行优化。

首先，对指定模型的模型参数执行随机初始化，然后针对随机初始化的模型参数进行迭代优化。

具体地，将其中一个图像样本输入指定模型，若模型参数使得指定模型收敛或者迭代次数尚未达到，则对随机初始化的模型参数进行优化，即更新该随机初始化的模型参数，并基于优化后的模型参数继续执行模型训练。

将另一个图像样本再次输入指定模型，若模型参数仍未能使得指定模型收敛或者迭代次数仍未达到，则继续优化模型参数并执行后续的模型训练。

循环执行上述模型参数的迭代优化过程，直至优化后的模型参数使得指定模型收敛或者迭代次数达到，则跳转执行步骤650。

其中，衡量模型参数是否使得指定模型收敛，可以采用最大期望算法，也可以基于余弦损失函数，在此并未进行限定。

步骤650，由指定模型收敛得到图像目标识别模型。

当优化后的模型参数使得指定模型收敛或者迭代次数达到，则收敛的指定模型即为图像目标识别模型，进而便能够基于该图像目标识别模型对图像进行图像目标识别，以此得到图像中对应于拍摄场景中主体的目标区域。

需要说明的是，根据实际需要，也可以理解为，当迭代次数达到时，则优化后的模型参数使得指定模型收敛，在此不加以限定。

通过上述过程，实现了一种高效的图像目标识别方法，进而为后续图像处理中目标区域的获取提供了可靠的保障。

图7是一应用场景中一种图像处理方法的具体实现示意图。该应用场景中，拍摄场景中主体为人物，背景为空白图像，相应地，主体区域为人脸区域，背景区域为图像中除去人脸区域的空白区域。下面结合该应用场景和上述实施例来说明上述图像处理方法。

在该应用场景举例说明中，电子设备被配备了摄像模块，例如，配备了摄像头的智能手机等。相应地，智能手机中运行图像处理应用程序，以便于能够为用户自动合成满足其要求的图像。

如图8所示，图像应用程序700包括图像获取模块710、图像识别模块720、图像比较模块730、图像分割模块740和图像合成模块750等功能模块，分别实现图像帧序列的获取、图像的人脸识别、图像效果最佳的确定、最优目标区域的获取、以及合成图像的生成等功能。

具有摄像头的智能手机中，图像处理应用程序700启动运行后，图像获取模块710通过执行步骤701，将提示用户进行图像帧序列的获取，进而根据用户触发的操作，调用摄像头对拍摄场景中的多个人物进行连续拍摄，即执行步骤702，或者，由智能手机所配置的相册中选取一组时间上连续的照片，即执行步骤703，以此形成多帧图像{801,802,803}，如图9所示。

在获得多帧图像之后，图像识别模块720通过执行步骤704，智能识别出该多帧图像中的人脸区域。

基于图像的自动合成，图像比较模块730、图像分割模块740通过分别执行步骤705、706，完成待处理图像的自动选取、待优化目标区域的自动确定、以及最优目标区域的自动遍历查找，进而提供给图像合成模块750生成合成图像，即执行步骤707。

具体而言，如图9所示，图像801中人物A微笑闭眼、人物B非正脸、人物C微笑未闭眼；图像802中人物A微笑未闭眼、人物B微笑未闭眼、人物C微笑闭眼；图像803中人物A未微笑未闭眼、人物B微笑闭眼、人物C微笑闭眼。

由此，通过图像比较模块730执行图像效果最佳的确定，分别为人物A、人物B、人物C所对应的人脸区域确定最优目标区域：图像802中对应于人物A的人脸区域、图像802中对应于人物B的人脸区域、图像801中对应于人物C的人脸区域，并由此获得图像802为图像效果最佳的图像，进而基于该图像802确定待优化目标区域为人物C所对应的人脸区域。其中，由于背景区域为图像中除去人脸区域的空白区域，因此，对于每一图像而言，背景区域均为最优目标区域，不必进行优化。

通过图像分割模块740执行最优目标区域的获取，由图像801裁剪出人物C所对应的人脸区域C’。

最后，通过图像合成模块750执行合成图像的生成，将人物C所对应的人脸区域C’合成至图像802，生成合成图像804，如图10所示，在该合成图像804中，人物A、人物B、人物C均微笑未闭眼，满足了用户所希望整体拍摄效果好的要求。

进一步地，通过执行步骤708，即可对合成图像804进行存储，以供后续使用。

通过执行步骤709，如果用户不再继续图像处理，即可退出图像处理应用程序，反之，则为用户返回步骤701。

在本应用场景中，采用人脸识别和图像合成的图像处理过程，自动为用户合成各方面都完美的图像，既不受限于人物进行拍摄时的状态，也对拍摄环境不作要求，不仅能够有效地降低用户拍摄照片的难度系数，提高拍摄效率，而且大幅度提升了存在可变因素拍摄场景中的拍摄效果。

此外，上述图像处理过程不仅限于人物为主体的拍摄场景，也同样适用于动物、风景为主体的拍摄场景、主体运动的拍摄场景、以及拍摄环境比较恶劣的拍摄场景，上述拍摄场景中均可以输出满足用户要求的照片，充分地保障了图像处理的适用性和兼容性。

下述为本发明装置实施例，可以用于执行本发明所涉及的图像处理方法。对于本发明装置实施例中未披露的细节，请参照本发明所涉及的图像处理方法的方法实施例。

请参阅图11，在一示例性实施例中，一种图像处理装置900包括但不限于：图像获取模块910、图像选取模块930、区域确定模块950、区域获取模块970、图像合成模块990。

其中，图像获取模块910用于获取多帧图像，多帧图像是对同一拍摄场景中主体和背景进行连续拍摄所生成的，每一帧图像包含拍摄场景中主体对应的主体区域和背景对应的背景区域。

图像选取模块930用于由多帧图像中选取待处理图像。

区域确定模块950用于根据待处理图像中的主体区域和背景区域确定待优化目标区域。

区域获取模块970用于为待优化目标区域在多帧图像中遍历查找最优目标区域。

图像合成模块990用于将查找到的最优目标区域合成至待处理图像，生成由最优主体区域和最优背景区域构成的合成图像。

请参阅图12，在一示例性实施例中，图像选取模块930包括但不限于：图像比较单元931和图像选取单元933。

其中，图像比较单元931用于根据图像所包含最优目标区域的数量在多帧图像之间进行图像效果比较。

图像选取单元933用于以多帧图像中图像效果最佳的图像作为待处理图像。

请参阅图13，在一示例性实施例中，如上所述的装置900还包括但不限于：区域比较模块1010和区域标识模块1030。

其中，区域比较模块1010用于进行图像中目标区域的遍历，比较同一目标区域分别在多帧图像中的目标区域效果。

区域标识模块1030用于在目标区域效果最佳的目标区域所在图像中标记目标区域，得到目标区域在多帧图像中的最优目标区域。

在一示例性实施例中，目标确定模块950包括但不限于：目标选取单元。

其中，目标选取单元用于将待处理图像中未标记的目标区域作为待优化目标区域。

请参阅图14，在一示例性实施例中，图像选取模块930包括但不限于：操作获取单元932和操作指示单元934。

其中，操作获取单元932用于检测得到针对多帧图像触发进行的图像选择操作。

操作指示单元934用于将图像选择操作指示选取的图像作为待处理图像。

在一示例性实施例中，目标确定模块950包括但不限于：操作触发单元。

其中，操作触发单元用于根据待处理图像中触发目标区域选取的目标区域选择操作获得待优化目标区域。

请参阅图15，在一示例性实施例中，图像合成模块990包括但不限于：位置获取单元991、区域叠加单元993和图像拼接单元995。

其中，位置获取单元991用于获取待优化目标区域在待处理图像中的位置。

区域叠加单元993用于将最优目标区域叠加至待处理图像中待优化目标区域所在位置。

图像拼接单元995用于在待优化目标区域与相邻区域之间进行图像拼接，得到合成图像。

在一示例性实施例中，如上所述的装置900还包括但不限于：模型调用模块。

其中，模型调用模块用于调用图像目标识别模型对多帧图像中的一帧图像进行图像目标识别，得到一帧图像中对应于拍摄场景中主体或者背景的目标区域。

请参阅图16，在一示例性实施例中，如上所述的装置900还包括但不限于：样本获取模块1110、模型训练模块1130和模型获得模块1150。

其中，样本获取模块1110用于获取进行了目标区域标注的图像样本。

模型训练模块1130用于根据图像样本对指定模型的模型参数进行优化。

模型获得模块1150用于当优化后的模型参数使得指定模型收敛时，由指定模型收敛得到图像目标识别模型。

需要说明的是，上述实施例所提供的图像处理装置在进行图像处理处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即图像处理装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例所提供的图像处理装置与图像处理方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

在一示例性实施例中，一种图像处理装置，包括处理器及存储器。

其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现上述各实施例中的图像处理方法。

在一示例性实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的图像处理方法。

上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取多帧图像，所述多帧图像是对同一拍摄场景中主体和背景进行连续拍摄所生成的，每一帧图像包含所述拍摄场景中主体对应的主体区域和背景对应的背景区域；

由所述多帧图像中选取待处理图像；

根据所述待处理图像中的主体区域和背景区域确定待优化目标区域；

为待优化目标区域在所述多帧图像中遍历查找最优目标区域；

将查找到的最优目标区域合成至所述待处理图像，生成由最优主体区域和最优背景区域构成的合成图像。

2.如权利要求1所述的方法，其特征在于，所述由所述多帧图像中选取待处理图像，包括：

根据图像所包含最优目标区域的数量在所述多帧图像之间进行图像效果比较；

以所述多帧图像中图像效果最佳的图像作为所述待处理图像。

3.如权利要求1所述的方法，其特征在于，所述由所述多帧图像中选取待处理图像之前，所述方法还包括：

进行图像中目标区域的遍历，比较同一目标区域分别在所述多帧图像中的目标区域效果，所述目标区域为主体区域或者背景区域；

在目标区域效果最佳的所述目标区域所在图像中标记所述目标区域，得到所述目标区域在所述多帧图像中的最优目标区域。

4.如权利要求3所述的方法，其特征在于，所述根据所述待处理图像中的主体区域和背景区域确定待优化目标区域，包括：

将所述待处理图像中未标记的目标区域作为所述待优化目标区域。

5.如权利要求1所述的方法，其特征在于，所述由所述多帧图像中选取待处理图像，包括：

检测得到针对所述多帧图像触发进行的图像选择操作；

将所述图像选择操作指示选取的图像作为所述待处理图像。

6.如权利要求1所述的方法，其特征在于，所述根据所述待处理图像中的主体区域和背景区域确定待优化目标区域，包括：

根据所述待处理图像中触发目标区域选取的目标区域选择操作获得所述待优化目标区域。

7.如权利要求1所述的方法，其特征在于，所述将查找到的最优目标区域合成至所述待处理图像，生成由最优主体区域和最优背景区域构成的合成图像，包括：

获取所述待优化目标区域在所述待处理图像中的位置；

将所述最优目标区域叠加至所述待处理图像中所述待优化目标区域所在位置；

在所述待优化目标区域与相邻区域之间进行图像拼接，得到所述合成图像。

8.如权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

调用图像目标识别模型对所述多帧图像中的一帧图像进行图像目标识别，得到所述一帧图像中对应于所述拍摄场景中主体或者背景的目标区域。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

获取进行了目标区域标注的图像样本；

根据所述图像样本对指定模型的模型参数进行优化；

当优化后的模型参数使得所述指定模型收敛时，由所述指定模型收敛得到所述图像目标识别模型。

10.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取多帧图像，所述多帧图像是对同一拍摄场景中主体和背景进行连续拍摄所生成的，每一帧图像包含所述拍摄场景中主体对应的目标区域和背景对应的背景区域；

图像选取模块，用于由所述多帧图像中选取待处理图像；

区域确定模块，用于根据所述待处理图像中的主体区域和背景区域确定待优化目标区域；

区域获取模块，用于为待优化目标区域在所述多帧图像中遍历查找最优目标区域；

图像合成模块，用于将查找到的最优目标区域合成至所述待处理图像，生成由最优主体区域和最优背景区域构成的合成图像。

11.如权利要求10所述的装置，其特征在于，所述图像选取模块包括：

图像比较单元，用于根据图像所包含最优目标区域的数量在所述多帧图像之间进行图像效果比较；

图像选取单元，用于以所述多帧图像中图像效果最佳的图像作为所述待处理图像。

12.如权利要求11所述的装置，其特征在于，所述装置还包括：

区域比较模块，用于进行图像中目标区域的遍历，比较同一目标区域分别在所述多帧图像中的目标区域效果，所述目标区域为主体区域或者背景区域；

区域标识模块，用于在目标区域效果最佳的所述目标区域所在图像中标记所述目标区域，得到所述目标区域在所述多帧图像中的最优目标区域。

13.如权利要求12所述的装置，其特征在于，所述区域确定模块包括：

目标选取单元，用于将所述待处理图像中未标记的目标区域作为所述待优化目标区域。

14.如权利要求10所述的装置，其特征在于，所述图像合成模块包括：

位置获取单元，用于获取所述待优化目标区域在所述待处理图像中的位置；

区域叠加单元，用于将所述最优目标区域叠加至所述待处理图像中所述待优化目标区域所在位置；

图像拼接单元，用于在所述待优化目标区域与相邻区域之间进行图像拼接，得到所述合成图像。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。