CN105451090A - 图像处理方法和图像处理装置 - Google Patents

Abstract

本发明公开了一种图像处理方法和装置，所述方法用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像，而所述最后图像是在结束执行所述变形处理时的图像，所述方法包括：在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸；确定用于所述当前对象区域的当前变形模型；以及使用所述当前变形模型来对所述当前对象区域进行变形处理。因此，可以根据用户的需求来提供局部的变形效果，使得仅仅对视频图像中的一部分执行变形处理，从而充分满足用户的个性化需求。

Description

图像处理方法和图像处理装置

技术领域

本发明涉及计算机技术领域，更具体地，本发明涉及一种图像处理方法和图像处理装置。

背景技术

随着互联网的发展，网络即时通信(IM)工具越来越普及。IM工具通过点对点的技术实现了互联网上两个用户之间的即时沟通，甚至是多个用户之间的实时交互。其已经成为大多数互联网用户所使用的沟通工具，其不仅使用于平时的休闲娱乐，而且在工作学习中也得到了广泛的使用。

在即时通信工具中，已经提供了越来越多的沟通方式，例如文字聊天、语音聊天、视频聊天等。其中，视频聊天借助一个连接到电子设备的摄像头，实时地获取使用者的形象及周边环境，从而使得空间上相隔非常遥远的双方彼此见到对方，增加了沟通的效果。

在当前的互联网视频聊天系统中，用户愈发希望能够在视频窗口中添加一些趣味特效，以增加互动效果，从而改变生硬的视频聊天感受。为此，市场上的视频聊天系统一般提供有以下特效：场景特效、边框特效、风格化特效、附件特效、卡通头像特效、以及变形特效等。在此之中，变形特效是最为重要且常用的一大类。

然而，目前的变形特效只能提供全局的变形效果(例如，哈哈镜效果)。也就是说，视频图像的变形区域是始终固定的，即整个图像都参与变形。显然，这样的变形方式难以满足用户的个性化需求。

发明内容

为了解决上述技术问题，根据本发明的一个方面，提供了一种图像处理方法，所述方法用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像而所述最后图像是在结束执行所述变形处理时的图像，所述方法包括：在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸；确定用于所述当前对象区域的当前变形模型；以及使用所述当前变形模型来对所述当前对象区域进行变形处理。

此外，根据本发明的另一方面，提供了一种图像处理装置，所述装置用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像，而所述最后图像是在结束执行所述变形处理时的图像，所述装置包括：区域确定单元，用于在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸；模型确定单元，用于确定用于所述当前对象区域的当前变形模型；以及区域变形单元，用于使用所述当前变形模型来对所述当前对象区域进行变形处理。

与现有技术相比，采用根据本发明实施例的图像处理方法和装置，可以根据用户输入的图像变形命令来确定视频图像中的一部分区域及其变形模型，并且使用该变形模型来对视频图像中的该部分区域进行变形处理。因此，在本发明的实施例中，可以根据用户的需求来提供局部的变形效果，使得仅仅对视频图像中的一部分执行变形处理，从而充分满足用户的个性化需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1图示了根据本发明实施例的应用架构。

图2图示了根据本发明实施例的图像处理方法。

图3图示了根据本发明实施例具体示例的图像处理方法。

图4图示了根据本发明实施例具体示例的在第一电子设备中显示的多媒体通信的图像用户界面。

图5图示了根据本发明实施例具体示例的在第一电子设备中显示的候选图像变形动作。

图6A到图6C图示了根据本发明实施例具体示例的基准位置确定过程。

图7A和图7B图示了根据本发明实施例具体示例的初始变形模型和最终变形模型。

图8图示了根据本发明实施例具体示例的变形模型随时间的变化过程。

图9图示了根据本发明的图像处理装置。

图10图示了根据本发明实施例的电子设备。

具体实施方式

将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

图1图示了根据本发明实施例的应用架构。

如图1所示，根据本发明实施例的图像处理方法可以应用于通信系统40。该通信系统40至少包括第一电子设备10和第二电子设备20。该第一电子设备10可以通过任何方式来与第二电子设备20进行多媒体通信。

例如，该第一电子设备10与该第二电子设备20可以通过无线网络或有线网络而点对点地直接连接在一起，并且按照约定的数据格式来传输多媒体通信数据。此示例包括移动电话通信、对讲机通信、蓝牙通信等通信场景。

替换地，该通信系统40还可以包括通信服务器30，并且该第一电子设备10可以经由该通信服务器30而与该第二电子设备20建立多媒体通信连接。此示例包括即时通信等通信场景。

在上述任一情况下，通过两个电子设备10和20之间的双向通信，第一电子设备10的第一用户可以与第二电子设备20的第二用户进行多媒体通信，诸如视频聊天等。

例如，第一电子设备10可以采集第一电子设备10侧的第一用户的音频、视频等信息，并传送给第二电子设备20；同样地，第二电子设备20也可以采集第一电子设备20侧的第二用户的音频、视频等信息，并传送给第一电子设备10。

具体地，在第一电子设备10或第二电子设备20中，可以利用图像采集装置(例如，摄像头)来采集图像信号，利用声音采集装置(例如，麦克风)来采集声音信号，利用命令输入装置(例如，触摸屏、键盘、手写笔等)来输入图像变形命令等。

显然，在通信系统中，第一电子设备和第二电子设备中的任何一个可以是多媒体通信连接的发起方，用于发出用于建立与该多媒体通信相关的通信请求；并且第一电子设备和第二电子设备中的另外一个可以是多媒体通信连接的响应方，用于响应该通信请求，使得在两者之间建立用于该多媒体通信的通信连接。

此外，与多媒体通信连接的发起和响应无关地，第一电子设备和第二电子设备中的任何一个可以是图像变形操作的发起方，用于发出图像变形操作的变形请求，以对第一用户和第二用户中的任何一个的采集数据进行变形处理。

图2图示了根据本发明实施例的图像处理方法。

图2所示的图像处理方法可以用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像，而所述最后图像是在结束执行所述变形处理时的图像。

在一个实施例中，所述图像处理方法可以应用于图1所图示的通信系统40。具体地，该方法可以应用于通信系统40中的第一电子设备10和第二电子设备20中的任一个。替换地，该方法也可以应用于通信系统40中的通信服务器30。

在一个实施例中，所述图像变形命令可以是在第一电子设备10中从第一用户接收到的，或者也可以是在第二电子设备20中从第二用户接收到的。

在一个实施例中，所述图像序列可以是在第一电子设备10中对于第一用户所采集到的图像序列，或者也可以是在第一电子设备10中显示的、从第二电子设备20接收到的、由第二电子设备20对于第二用户所采集到的图像序列。

如图2所图示的，所述图像处理方法包括：

在步骤S110中，在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸。

在一个实施例中，所述当前图像可以是在开始执行所述变形处理时的第一图像，或是在结束执行所述变形处理时的最后图像，或者是所述第一图像和所述最后图像之间的中间图像。

在第一情况下，在所述当前图像是所述第一图像时，在当前图像中确定当前对象区域的基准位置可以包括：在检测到所述图像变形命令时，根据所述图像变形命令来在第一图像中确定操作位置；以及根据所述操作位置来确定所述当前对象区域的基准位置。

具体地，根据所述操作位置来确定所述当前对象区域的基准位置可以包括：检测在所述第一图像中存在的至少一个特征点；以及将距离所述操作位置最近的特定特征点的第一位置确定为所述当前对象区域的基准位置。

在第二情况下，在所述当前图像是除了所述第一图像之外的其他图像时，在当前图像中确定当前对象区域的基准位置可以包括：检测所述特定特征点在所述当前图像中的当前位置；以及将所述当前位置确定为所述当前对象区域的基准位置。

在步骤S120中，确定用于所述当前对象区域的当前变形模型。

在一个实施例中，确定用于所述当前对象区域的当前变形模型可以包括：确定所述当前图像与所述第一图像之间的时间间隔；以及至少根据所述时间间隔来确定所述当前变形模型。

在一个实施例中，至少根据所述时间间隔来确定所述当前变形模型可以包括：获得初始变形模型；根据所述图像变形命令来确定最终变形模型；使用所述时间间隔、所述初始变形模型、和所述最终变形模型来确定所述当前变形模型。

具体地，可以通过以下公式来确定所述当前变形模型：

$M_t=\frac{t}{T/2}\×M_1+\frac{(T/2-t)}{T/2}\×M_0,$ 当0≤t≤T/2时；

$M_t=\frac{t-T/2}{T/2}\&times;M_0+\frac{T-t}{T/2}\&times;M_1,$ 当T/2<t≤T时；

其中，t是当前时间，T是所述最后图像与所述第一图像之间的时间间隔，M₀是所述初始变形模型，M₁是所述最终变形模型，并且M_t是所述当前变形模型。

在步骤S130中，使用所述当前变形模型来对所述当前对象区域进行变形处理。

在一个实施例中，所述变形处理可以包括：拉伸、收缩、凹陷、凸起、扭曲、挤压等变形处理。

由此可见，采用根据本发明实施例的图像处理方法，可以根据用户输入的图像变形命令来确定视频图像中的一部分区域及其变形模型，并且使用该变形模型来对视频图像中的该部分区域进行变形处理。因此，在本发明的实施例中，可以根据用户的需求来提供局部的变形效果，使得仅仅对视频图像中的一部分执行变形处理，从而充分满足用户的个性化需求。

在下文中，将参考图3到图8来描述根据本申请实施例的图像处理方法的具体示例。

图3图示了根据本发明实施例具体示例的图像处理方法。

在本申请实施例的具体示例中，将在以下应用场景中进行说明，在该应用场景中，根据本申请实施例的图像处理方法实现在通信系统40的第一电子设备10中，图像变形命令是在第一电子设备10中从第一用户接收到的，并且所述图像变形命令用于对在第一电子设备10中显示的、从第二电子设备20接收到的、并且由第二电子设备20对于第二用户所采集到的图像序列进行变形处理。

需要说明的是，本发明不限于此。例如，该图像变形命令也可以是在第二电子设备20中从第二用户接收到、并且从第二电子设备20传送到第一电子设备10的。此外，该命令也可以用于对在第一电子设备10中显示的、并且由第一电子设备10对于第一用户所采集到的图像序列进行变形处理。

并且，无论该图像变形命令是在哪一个电子设备中获取的，也无论该命令用于对哪一个图像序列进行变形，根据本申请实施例的图像处理方法都可以在通信系统40的任一个设备中实现。

如图3所图示的，所述图像处理方法包括：

在步骤S210中，接收第二用户的图像序列。

在通过与多媒体通信相关的通信请求和通信响应而在第一电子设备10和第二电子设备20之间建立起用于该多媒体通信的通信连接之后，第一电子设备10的第一用户可以与第二电子设备20的第二用户可以进行多媒体通信，诸如视频聊天。

这时，以第一电子设备10侧为例，在第一电子设备10中，可以利用图像采集装置(例如，摄像头)来采集图像信号，并且可以通过通信装置来将由在不同时间处所采集的图像信号所组成的第一用户的图像序列(视频流)传送到第二电子设备20。

同时地，在第一电子设备10中，也可以通过通信装置来从第二电子设备20接收第二用户的图像序列(视频流)。该第二用户的图像序列同样可以由图像信号所组成，该图像信号可以是在第二电子设备20中利用图像采集装置(例如，摄像头)在不同时间处所采集的。

显然，该图像序列除了可以包括图像信号之外，还可以包括声音信号。因此，在第一电子设备10和第二电子设备20中，可以利用声音采集装置(例如，麦克风)来采集该声音信号，并且在进行传送之前，可以将在不同时间处所采集的该图像信号和该声音信号对应地组成音视频流。

在步骤S220中，显示第二用户的图像序列。

在接收到该图像序列之后，该第一电子设备10可以通过显示装置来向第一用户显示该第二用户的图像序列。

在第一电子设备10的显示装置中，可以显示出从第二电子设备20接收到的关于第二用户的图像序列，该图像序列通常包括有第二用户的头部区域，以便第一用户能够轻易地观察到第二用户的容貌和表情，以促使更好地进行交流。

可选地，为了让第一用户能够在与第二用户交谈的同时，了解到自己的状况，在第一电子设备10的显示装置中，也可以同时地显示出在本地获取的关于第一用户的图像序列。

图4图示了根据本发明实施例具体示例的在第一电子设备中显示的多媒体通信的图像用户界面。

如图4所图示的，通常来说，在第一电子设备10的显示装置中，以较大的面积来向第一用户(男士)显示第二用户(女士)的图像(主要是脸部区域)，而以较小的面积来向第一用户(男士)显示自己的图像，以合理地区别第一用户关注内容的主次。

在步骤S230中，获取图像变形命令。

为了在视频窗口中添加趣味特效，以增加互动效果，改变生硬的视频聊天感受，在第一电子设备10的显示装置中，可以进一步向第一用户显示候选的图像变形动作，以便第一用户选择并向第二用户的图像施加自己期望的变形动作，以实现一种局部的、动态的变形效果。

例如，可以通过菜单、图标、命令行等多种方式，向第一用户显示候选的图像变形动作，以供选择。

图5图示了根据本发明实施例具体示例的在第一电子设备中显示的候选图像变形动作。

在图5中，以图标的形式，向第一用户显示了多个候选图像变形动作(候选特效)，例如其中包括“掐”、“戳”、“扇”等特效动作，并且以静态或者动态图标的方式向用户形象地示出这些特效动作的效果。

这时，用户可以根据自己的需求(例如，依据当时的心情)来选择希望使用的特效动作。

替换地，也可以通过其他的方式来提示用户输入不同的变形动作。例如，可以通过文字描述的方式进行提示。也可以通过定义不同的鼠标或触摸动作来获取第一用户希望执行的图像变形动作。

例如，以鼠标为例，可以将“掐”这个特效动作定义为鼠标左键在用户图像中进行单击；可以将“戳”这个特效动作定义为鼠标左键在用户图像中进行双击；并且可以将“扇”这个特效动作定义为鼠标左键在用户图像中进行双击并进行拖动等。

在接收到第一用户选择的特效动作之后，可以将这时正在显示的图像序列中的图像定义为第一图像。此外，由于可以预先地定义每一个特效动作的操作时长，所以可以对图像序列之中从该第一图像开始、经过该操作时长之内的所有图像进行图像变形处理。这时，可以将最后图像定义为在结束执行该图像变形处理时的图像。显然，该最后图像与该第一图像之间的时间间隔等于该操作时长。

在步骤S240中，确定当前对象区域的基准位置。

接下来，可以对图像序列之中第一图像到最后图像中的任何一个图像(例如，可以称之为当前图像)来确定当前对象区域的基准位置。

例如，首先，可以确定第一图像的对象区域的基准位置。例如，这个基准位置可以是该对象区域的中心点、重心点、角点、顶点等。

在第一情况下，可以捕捉鼠标或触摸动作在第一图像中的点击或触摸位置，并且直接将该点击或触摸位置确定为该第一图像对象区域的基准位置。

在第二情况下，可以使用人脸特征点跟踪技术来跟踪视频中人脸的关键特征点，并且捕捉鼠标或触摸动作在第一图像中的点击或触摸位置，最终根据该特征点的位置和该点击或触摸位置来确定该第一图像对象区域的基准位置。

接下来，随着时间的经过，可以继续地确定第一图像以后的其他图像的对象区域的基准位置。

图6A到图6C图示了根据本发明实施例具体示例的基准位置确定过程。

例如，在视频通话中，可以使用主动形状模型(ASM)来实时地跟踪人脸上的特征点。如图6A所示，可以在所显示的第二用户的头像中检测到多个特征点，其例如位于眉毛、鼻子、嘴部、眼角等部分处。然后，当鼠标点击要触发的区域时，初始地选择离该鼠标点最近的人脸特征点作为对象区域的中心点，并在随后的一段时间里始终跟随该特征点。这样，当在视频聊天过程中人脸位置变化时，该对象区域的基准位置也随之移动。如图6B所示，在图像序列中的第一帧图像中，当鼠标点击在第二用户的嘴角附近时，将捕捉距离该嘴角位置最近的特征点作为初始的基准位置。然后，如图6C所示，在第一帧图像以后的其他图像(例如，第二帧图像)中，持续地追踪表示该嘴角的特征点，以作为其他图像对象区域的基准位置，直到变形操作对最后图像处理完毕为止。

在步骤S250中，确定当前变形模型。

接下来，可以对图像序列之中第一图像到最后图像中的任何一个图像(例如，可以称之为当前图像)来确定当前对象区域的变形模型。

为此，在第一用户输入图像变形命令之后，可以首先获取预先为每个特征动作(或称之为，交互动作)定义的一个初始变形模型M₀和最终变形模型M₁。为了实现局部的变形效果，它们的尺寸都小于图像序列中每一幅图像的尺寸。

例如，可以按照网格的形式来定义该初始变形模型M₀和该最终变形模型M₁。

具体地，为了实现不同的显示特效，可以为每一个特效动作定义不同形状和/或尺寸的源网格，作为该初始变形模型M₀，并且为每一个特效动作定义不同形状和/或尺寸的最大幅度目标网格，作为该最终变形模型M₁。

替换地，简单起见，可以将所有特效动作的源网格都定义为完全相同的均匀网格，而使得最大幅度目标网格形状各不一样。

图7A和图7B图示了根据本发明实施例具体示例的初始变形模型和最终变形模型。

如图7A和图7B所示，为三个特效动作“戳”、“揪”和“拧”定义了完全相同的源网格，并且根据这三个动作的不同特性，为它们分别定义了三个不同的最大幅度目标网格。

在本步骤中，例如，首先，可以确定第一图像的对象区域的初始变形模型。例如，这个初始变形模型可以是源网格M₀的形状。也就是说，在动作的开始时，对象区域并没有被施加任何变形，而是仅仅确定了该对象区域的形状和尺寸。

接下来，取决于不同的变形特效，随时间的进行，目标网格拉伸程度逐渐加大，也就是说，从源网格M₀逐渐达到最大幅度目标网格M₁。相反地，当网格拉伸幅度达到最大时，随时间的继续进行，目标网格逐步还原，也就是说，从最大幅度目标网格M₁逐渐恢复为源网格M₀。

图8图示了根据本发明实施例具体示例的变形模型随时间的变化过程。

假设用户所选择的变形动作是“戳”，并且假设该变形动作在特效加强过程(即，从没有变形的初始状态到幅度最大的显著状态)和特效消失(即，从该显著状态到该初始状态)的过程中所占用的时间是相同的，即状态变化是线性的。

这时，该当前变形模型的变化过程如图8所示。在时间t₀处，使用的目标网格为源网格M₀，即当前的变形幅度为零，并且在时间t₁-t₄处，网格的变形幅度逐渐加大，并且在时间t₄处，达到最大，即使用的目标网格为最大幅度目标网格M₁。相反地，在时间t₅处，使用的目标网格为最大幅度目标网格M₁，即当前的变形幅度为最大，并且在时间t₆-t₉处，网格的变形幅度逐渐减小，并且在时间t₉处，恢复为零，即使用的目标网格为源网格M₀。

在步骤S260中，对当前对象区域变形处理。

在获得了用于当前对象区域的变形模型之后，可以使用变形模型来对源网格所定义的区域进行拉伸、收缩、凹陷、凸起、扭曲、挤压等变形处理，以实现第一用户期望的显示特效。

在步骤S270中，显示变形后的图像序列。

在进行了上述变形处理之后，可以在第一电子设备10的本地，向第一用户显示自己刚刚执行的对于第二用户图像的变形特效，以便第一用户直观地体会到自己对第二用户的图像序列所执行的变形特征。

在步骤S280中，发送变形后的图像序列。

接下来，可选地，为了使得第二用户能够同样地观看到第一用户对于自己的特效动作，可以通过用于该多媒体通信的通信连接，而将变形后的第二用户的图像序列发送到第二电子设备20。

在步骤S290中，显示变形后的图像序列。

在接收到从第一用户传送来的关于第二用户的变形后的图像序列之后，可以在第二电子设备20中停止显示本地直接获取的第二用户的原始图像，而是显示从第一用户传送来的关于第二用户的变形后的图像序列，以使得第二用户也能够直观地感受到第一用户对于自己的变形动作，从而加强用户之间的交互体验。

尽管上面通过将变形后的图像序列直接从第一电子设备10发送到第二电子设备20为例说明了根据本发明实施例的具体示例，但是，本发明不限于此。替换地，为了节省在第一电子设备10和第二电子设备20之间的数据流量，可以仅仅将图像变形命令传送到第二电子设备20中，以便在第二电子设备20中实现与在第一电子设备10中相同的变形处理，即，使用相同的变形模型和基准位置来对相同的对象区域进行变形，以供第二用户查看。

此外，可选地，为了更好地体现一种弹性变化效果，在步骤S260中可以使用源网格和目标最大幅度网格来多次执行该变形处理，并且随着变形处理执行次数的增多，该目标最大幅度网格的变化幅度逐渐减小，并且最终归于源网格。

由此可见，采用根据本发明实施例具体示例的图像处理方法，可以提供一种定制化使用网格图像变形技术的方法，其中，首先，可以为每个交互动作定义一个源网格M₀和目标最大幅度网格M₁，且它们的尺寸都小于图像的尺寸；其次，可以使用人脸特征点跟踪技术跟踪视频中人脸的关键特征点，并当视频聊天过程中人脸位置变化时，网格位置也可以随之移动；再次，从动作触发到形变幅度达到最大的时间里，目标网格M(t)从源网格M₀向最大幅度网格M₁变化；而从最大幅度到还原的时间里，目标网格M(t)又从M₁向M₀过渡。

因此，根据本发明实施例具体示例的图像处理方法提供了局部的、动态的变形效果，即视频图像的变形区域、变形方式和变形程度是动态可变的。这样的变形方式使得能够模拟自然的人与人之间的交互动作(例如，拧脸、戳脸、打脸等等)所产生的效果，从而通过定制化图像变形的使用方式，来实现对图像的局部区域进行动态变形的功能。

也就是说，采用上述方法后，可以逼真地合成富有弹性且效果逼真的交互动作。例如，当用户的脸被“打”之后，可以显示出用户被打的面部区域先是逐渐凹陷进去，之后又反弹回原来的状态。此外，视频聊天过程中的变形可以只发生在脸部接受动作的区域，且当用户移动脸的时候，变形效果也随之跟随。

显然，对象区域基准位置的获取操作不仅限于上述ASM人脸特征点跟踪算法，而是还可以采用其他各种可能的算法，例如，尺度不变特征转换(SIFT)算法、加速鲁棒特征(SURF)等。并且，网格随时间的变化不仅限于线性插值，还可以采用非线性插值，即从初始状态变化到显著状态所用的时间与从显著状态返回到初始状态所用的时间可以不同。此外，预先定义的网格变形可以不仅限于四边形，并且变形的特效动作也可以不仅限于掐、戳、打、扇等。

图9图示了根据本发明的图像处理装置，并且图10图示了根据本发明实施例的电子设备。

图2所图示的根据本发明实施例的图像处理方法可以通过图9所图示的图像处理装置100来实现，并且该图像处理装置100可以应用于图10所图示的一个或多个电子设备1000。

例如，所述电子设备1000能够借助于诸如基站、接入点、通信服务器等中间设备而与其他的对等设备进行无线通信，替换地，所述电子设备1000也可以直接与其他的对等设备进行无线通信，以便在两个设备之间进行多媒体通信。例如，所述电子设备100可以是图1所示的通信系统中的第一电子设备10、第二电子设备20、或通信服务器30。

如图10所图示的，该电子设备1000可以包括：图像处理装置100、图像采集装置200、声音采集装置300、命令输入装置400、和通信装置500。

该图像处理装置100可以用于根据用户输入的图像变形命令来确定视频图像中的一部分区域及其变形模型，并且使用该变形模型来对视频图像中的该部分区域进行变形处理。

该图像采集装置200可以用于采集图像信号。

该声音采集装置300可以用于采集声音信号。

该命令输入装置400可以用于接收来自用户的输入信号，例如，图像变形命令等。

该通信装置500可以用于与其他电子设备或服务器进行通信，以向其他电子设备发送图像序列，和/或从其他电子设备接收图像序列等。例如，该无线通信装置200可以是用于通过无线局域网(WLAN)通信标准而连接到因特网的无线通信模块，或用于通过移动通信标准而连接到因特网的移动通信模块、或用于通过近距离通信标准而连接到其他设备的蓝牙通信模块或近场通信模块等。

此外，该图像处理装置100可以通过任何方式与电子设备1000进行通信。

在一个示例中，该图像处理装置100可以作为一个软件模块和/或硬件模块而集成到该电子设备1000中，换言之，该电子设备1000可以包括该图像处理装置100。例如，当电子设备1000是移动电话时，该图像处理装置100可以是该移动电话的操作系统中的一个软件模块，或者可以是针对于该移动电话所开发的一个应用程序；当然，该图像处理装置100同样可以是该移动电话的众多硬件模块之一。

替换地，在另一示例中，该图像处理装置100与该电子设备1000也可以是分离的设备，并且该图像处理装置100可以通过有线和/或无线网络连接到该电子设备1000，并且按照约定的数据格式来传输交互信息。

图9所示的图像处理装置可以用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像，而所述最后图像是在结束执行所述变形处理时的图像。

在一个实施例中，所述图像处理装置100可以应用于图1所图示的通信系统40。具体地，该装置可以应用于通信系统40中的第一电子设备10和第二电子设备20中的任一个。替换地，该装置也可以应用于通信系统40中的通信服务器30。

在一个实施例中，所述图像变形命令可以是在第一电子设备10中从第一用户接收到的，或者也可以是在第二电子设备20中从第二用户接收到的。

在一个实施例中，所述图像序列可以是在第一电子设备10中对于第一用户所采集到的图像序列，或者也可以是在第一电子设备10中显示的、从第二电子设备20接收到的、由第二电子设备20对于第二用户所采集到的图像序列。

如图9所图示的，根据本发明实施例的图像处理装置100可以包括：区域确定单元110、模型确定单元120、和区域变形单元130。

该区域确定单元110可以用于在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸。

该模型确定单元120可以用于确定用于所述当前对象区域的当前变形模型。

该区域变形单元130可以用于使用所述当前变形模型来对所述当前对象区域进行变形处理。

在一个实施例中，所述当前图像可以是在开始执行所述变形处理时的第一图像，是在结束执行所述变形处理时的最后图像，或者是所述第一图像和所述最后图像之间的中间图像。

在第一情况下，在所述当前图像是所述第一图像时，所述区域确定单元可以通过以下操作实现在当前图像中确定当前对象区域的基准位置：在检测到所述图像变形命令时，根据所述图像变形命令来在第一图像中确定操作位置；以及根据所述操作位置来确定所述当前对象区域的基准位置。

具体地，所述区域确定单元可以通过以下操作实现根据所述操作位置来确定所述当前对象区域的基准位置：检测在所述第一图像中存在的至少一个特征点；以及将距离所述操作位置最近的特定特征点的第一位置确定为所述当前对象区域的基准位置。

在第二情况下，在所述当前图像是除了所述第一图像之外的其他图像时，所述区域确定单元可以通过以下操作实现在当前图像中确定当前对象区域的基准位置：检测所述特定特征点在所述当前图像中的当前位置；以及将所述当前位置确定为所述当前对象区域的基准位置。

在一个实施例中，所述模型确定单元可以通过以下操作实现确定用于所述当前对象区域的当前变形模型：确定所述当前图像与所述第一图像之间的时间间隔；以及至少根据所述时间间隔来确定所述当前变形模型。

在一个实施例中，所述模型确定单元可以通过以下操作实现至少根据所述时间间隔来确定所述当前变形模型：获得初始变形模型；根据所述图像变形命令来确定最终变形模型；使用所述时间间隔、所述初始变形模型、和所述最终变形模型来确定所述当前变形模型。

具体地，所述模型确定单元可以通过以下公式来确定所述当前变形模型：

$M_t=\frac{t}{T/2}\&times;M_1+\frac{(T/2-t)}{T/2}\&times;M_0,$ 当0≤t≤T/2时；

$M_t=\frac{t-T/2}{T/2}\&times;M_0+\frac{T-t}{T/2}\&times;M_1,$ 当T/2<t≤T时；

其中，t是当前时间，T是所述最后图像与所述第一图像之间的时间间隔，M₀是所述初始变形模型，M₁是所述最终变形模型，并且M_t是所述当前变形模型。

在一个实施例中，所述变形处理可以包括：拉伸、收缩、凹陷、凸起、扭曲、挤压等变形处理。

由此可见，采用根据本发明实施例的图像处理装置，可以根据用户输入的图像变形命令来确定视频图像中的一部分区域及其变形模型，并且使用该变形模型来对视频图像中的该部分区域进行变形处理。因此，在本发明的实施例中，可以根据用户的需求来提供局部的变形效果，使得仅仅对视频图像中的一部分执行变形处理，从而充分满足用户的个性化需求。

此外，尽管此处将上述的各个单元作为各个步骤的执行主体来说明本发明的各个实施例，但是，本领域技术人员能够理解的是，本发明不限于此。各个步骤的执行主体可以由其他的一个或多个设备、装置、单元、甚至模块来担任。

例如，上述的区域确定单元110、模型确定单元120、和区域变形单元130所执行的各个步骤可以统一地由电子设备中的中央处理单元(CPU)来实现。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助于软件加必需的硬件平台的方式来实现，当然也可以全部通过软件、或硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁盘、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

在上面详细描述了本发明的各个实施例。然而，本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像，而所述最后图像是在结束执行所述变形处理时的图像，所述方法包括：

在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸；

确定用于所述当前对象区域的当前变形模型；以及

使用所述当前变形模型来对所述当前对象区域进行变形处理。

2.根据权利要求1的方法，其特征在于，在所述当前图像是所述第一图像时，在当前图像中确定当前对象区域的基准位置包括：

在检测到所述图像变形命令时，根据所述图像变形命令来在第一图像中确定操作位置；以及

根据所述操作位置来确定所述当前对象区域的基准位置。

3.根据权利要求2的方法，其特征在于，根据所述操作位置来确定所述当前对象区域的基准位置包括：

检测在所述第一图像中存在的至少一个特征点；以及

将距离所述操作位置最近的特定特征点的第一位置确定为所述当前对象区域的基准位置。

4.根据权利要求3的方法，其特征在于，在所述当前图像是除了所述第一图像之外的其他图像时，在当前图像中确定当前对象区域的基准位置包括：

检测所述特定特征点在所述当前图像中的当前位置；以及

将所述当前位置确定为所述当前对象区域的基准位置。

5.根据权利要求1的方法，其特征在于，确定用于所述当前对象区域的当前变形模型包括：

确定所述当前图像与所述第一图像之间的时间间隔；以及

至少根据所述时间间隔来确定所述当前变形模型。

6.根据权利要求5的方法，其特征在于，至少根据所述时间间隔来确定所述当前变形模型包括：

获得初始变形模型；

根据所述图像变形命令来确定最终变形模型；

使用所述时间间隔、所述初始变形模型、和所述最终变形模型来确定所述当前变形模型。

7.根据权利要求6的方法，其特征在于，通过以下公式来确定所述当前变形模型：

$M_t=\frac{t}{T/2}\&times;M_1+\frac{(T/2-t)}{T/2}\&times;M_0,$ 当0≤t≤T/2时；

$M_t=\frac{t-T/2}{T/2}\&times;M_0+\frac{T-t}{T/2}\&times;M_1,$ 当T/2<t≤T时；

其中，t是当前时间，T是所述最后图像与所述第一图像之间的时间间隔，M₀是所述初始变形模型，M₁是所述最终变形模型，并且M_t是所述当前变形模型。

8.一种图像处理装置，其特征在于，所述装置用于根据图像变形命令来对图像序列执行变形处理，所述图像序列包括从第一图像到最后图像的一系列图像，所述第一图像是在开始执行所述变形处理时的图像，而所述最后图像是在结束执行所述变形处理时的图像，所述装置包括：

区域确定单元，用于在当前图像中确定当前对象区域的基准位置，其中，所述当前图像属于所述图像序列，并且所述当前对象区域的尺寸小于或等于所述当前图像的尺寸；

模型确定单元，用于确定用于所述当前对象区域的当前变形模型；以及

区域变形单元，用于使用所述当前变形模型来对所述当前对象区域进行变形处理。

9.根据权利要求8的装置，其特征在于，在所述当前图像是所述第一图像时，所述区域确定单元通过以下操作实现在当前图像中确定当前对象区域的基准位置：

在检测到所述图像变形命令时，根据所述图像变形命令来在第一图像中确定操作位置；以及

根据所述操作位置来确定所述当前对象区域的基准位置。

10.根据权利要求9的装置，其特征在于，所述区域确定单元通过以下操作实现根据所述操作位置来确定所述当前对象区域的基准位置：

检测在所述第一图像中存在的至少一个特征点；以及

将距离所述操作位置最近的特定特征点的第一位置确定为所述当前对象区域的基准位置。

11.根据权利要求10的装置，其特征在于，在所述当前图像是除了所述第一图像之外的其他图像时，所述区域确定单元通过以下操作实现在当前图像中确定当前对象区域的基准位置：

检测所述特定特征点在所述当前图像中的当前位置；以及

将所述当前位置确定为所述当前对象区域的基准位置。

12.根据权利要求8的装置，其特征在于，所述模型确定单元通过以下操作实现确定用于所述当前对象区域的当前变形模型：

确定所述当前图像与所述第一图像之间的时间间隔；以及

至少根据所述时间间隔来确定所述当前变形模型。

13.根据权利要求12的装置，其特征在于，所述模型确定单元通过以下操作实现至少根据所述时间间隔来确定所述当前变形模型：

获得初始变形模型；

根据所述图像变形命令来确定最终变形模型；

使用所述时间间隔、所述初始变形模型、和所述最终变形模型来确定所述当前变形模型。

14.根据权利要求13的装置，其特征在于，所述模型确定单元通过以下公式来确定所述当前变形模型：

$M_t=\frac{t}{T/2}\&times;M_1+\frac{(T/2-t)}{T/2}\&times;M_0,$ 当0≤t≤T/2时；

$M_t=\frac{t-T/2}{T/2}\&times;M_0+\frac{T-t}{T/2}\&times;M_1,$ 当T/2<t≤T时；

其中，t是当前时间，T是所述最后图像与所述第一图像之间的时间间隔，M₀是所述初始变形模型，M₁是所述最终变形模型，并且M_t是所述当前变形模型。