CN104396234B - 视频传输和重构 - Google Patents

Abstract

本文中描述用于减少传输与面部有关的视频流所必需的带宽的系统和方法。在一些方面中，在传输装置处俘获来自面部辨识技术的轮廓信息，并且向接收装置发送所述轮廓信息。可以使用所述轮廓信息在所述接收装置处重构所述面部，而不需要发送所述面部的整个视频帧。

Description

视频传输和重构

技术领域

本申请总体上涉及视频俘获装置，并且更具体来说涉及用于减少传输与面部有关的视频流所必需的带宽的系统和方法。

背景技术

视频会议用来帮助人们在远程位置通信。使用视频会议，可以在一个位置俘获用户的图像和声音并且将图像和声音传输到另一位置。举例来说，许多应用程序设计成配合例如网络摄像头等标准视频俘获装置工作以经由网络从一个装置向另一装置流式传输视频和/或音频。因此，装置的用户可以参与视频电话呼叫或者视频会议。所述应用程序通常设置成特别从网络摄像头获取视频，并且整体传输视频帧。这可能必需很大的带宽来传输视频帧，尤其是如果视频帧具有高分辨率的话。

发明内容

本发明的系统、方法和装置各自具有若干方面，其中没有单独一个方面单独地负责其期望属性。现在将简要论述一些特征，但并不限制随附权利要求书所表达的本发明的范围。在审阅本论述后，并且尤其是在阅读了标题为“具体实施方式”的部分之后，将了解本发明的特征如何提供包含用于利用更少的带宽传输与面部有关的视频帧的系统和方法的优势。

本发明的一个方面提供一种用于重构视频数据的方法。所述方法包括在接收装置处存储关键帧。所述方法进一步包括在接收装置处和从传输装置接收用于一或多个帧的轮廓信息。所述方法进一步包括基于关键帧和轮廓信息产生一或多个额外帧。

本发明的另一方面提供一种设备。所述设备包括处理器和与处理器通信的存储器。所述存储器包括当被处理器执行时使得处理器存储关键帧的指令。所述指令当被处理器执行时进一步使得处理器从传输装置接收用于一或多个帧的轮廓信息。所述指令当被处理器执行时进一步使得处理器基于关键帧和轮廓信息产生一或多个额外帧。

本发明的另一方面提供一种设备。所述设备包括用于存储关键帧的装置。所述设备进一步包括用于从传输装置接收用于一或多个帧的轮廓信息的装置。所述设备进一步包括用于基于关键帧和轮廓信息产生一或多个额外帧的装置。

本发明的另一方面提供一种用于处理用于经配置以从至少一个俘获装置接收视频输入的程序的数据的计算机程序产品。所述计算机程序产品包括非暂时性计算机可读媒体。所述计算机可读媒体上存储有用于使得计算机存储关键帧的代码。所述计算机可读媒体上存储有用于使得计算机从传输装置接收用于一或多个帧的轮廓信息的代码。所述计算机可读媒体上存储有用于使得计算机基于关键帧和轮廓信息产生一或多个额外帧的代码。

附图说明

图1A图解说明示范性计算装置。

图1B图解说明另一示范性计算装置。

图2是计算装置的功能框图。

图3是视频俘获装置的功能框图。

图4是具有图像俘获装置的计算系统的功能框图。

图5图解说明可以提取的轮廓信息的实例。

图6A图解说明关键帧的实例。

图6B图解说明使用轮廓信息和图6A的关键帧重构的图像的实例。

图7图解说明图4的应用程序的实例的框图。

图8是用于俘获图像和传输图像数据的过程的实例的流程图。

图9是用于接收图像数据和重构图像的过程的实例的流程图。

具体实施方式

词语“示范性”在本文中用于表示“充当实例、例子或说明”。本文中被描述为“示范性的”任何实施例不必须被理解为比其它实施例优选或有利。呈现下面的描述是为了让所属领域的技术人员能够制作和使用本发明。下面的描述中为了解释的目的阐述了一些细节。应明白，所属领域的技术人员将认识到，可以不使用这些特定细节来实践本发明。在其它例子中，为了不用不必要的细节来模糊对本发明的描述，不阐述众所周知的结构和过程。因此，本发明不打算受到所展示的实施例的限制，而是将被赋予与本文中揭示的原理和特征一致的最广范围。

本文中描述的系统和方法涉及用于减少传输与面部和其它具有可提取特征的所定义的对象相关的视频流所必需的带宽的技术。虽然本发明具体地论述了面部，但是本文中的系统和方法可以类似地与其它具有可提取特征的所定义的对象一起使用。

在一些方面中，第一装置(例如，膝上型计算机、台式计算机、平板、电话、计算装置等)可以经配置以经由网络(例如，因特网、内联网等)向第二装置传输图像和/或视频。在一些方面中，图像俘获装置(例如，照相机、摄像机、网络摄像头等)可以用于俘获图像和/或由一系列图像组成的视频。因此，第二装置可以接收在第一装置处俘获的图像，并且显示俘获到的图像。

在一些情况下，俘获到的图像可包含一或多个人和一背景(例如，桌子、椅子、房间、户外等)。在一些方面中，面部辨识技术(例如，欧姆龙的OKAO视觉面部感应技术)可以用于检测一或多个人的面部并且提取一或多个人的面部的轮廓信息。轮廓信息可包含所述一或多个人的面部的特征(例如，眉毛、眼睛、鼻子、嘴和其它面部轮廓信息)的位置(例如，地点、坐标等)。第一装置不是传输整个俘获到的图像，而是可以只向第二装置传输面部轮廓信息，使得可以在第二装置处重构所述一或多个人的面部。由于只向第二装置传输面部轮廓信息而不是整个图像，所以减少了传输图像所必需的带宽。

第二装置可以使用面部轮廓信息来操纵关键帧以便在第二装置处产生图像。在一些方面中，关键帧可以是从第一装置向第二装置发送的帧，所述帧是图像俘获装置所俘获到的图像，或者是在第二装置处的面部的某个其它图像(例如，本地静态图片)(其不一定必须是第一装置的用户的面部(例如，蒙娜丽莎))。接着，当第二装置从第一装置接收到面部轮廓信息时，第二装置可以操纵关键帧图像以改变关键帧图像的面部的表情以与从第一装置传输的轮廓信息匹配。

图1A图解说明可以与本文中描述的实施例一起使用的示范性计算装置。计算装置100a可以是任何众所周知的计算系统。众所周知的计算系统、环境和/或配置的实例包含但不限于个人计算机、服务器计算机、手持或膝上型计算机装置、多处理器系统、基于微处理器的系统、可编程消费型电子器件、网络PC、微型计算机、主机计算机、包含任何上述系统或装置的分布式计算环境等等。如图所示，计算装置100a包含照相机105a。照相机105a被展示为构建到计算装置100a的外壳中的集成照相机。照相机105a可包括视频俘获装置，例如数字照相机、数字摄像机、网络摄像头等。

图1B图解说明可以与本文中描述的实施例一起使用的另一示范性计算装置。计算装置100b也可以是任何众所周知的计算系统。如图所示，计算装置100b包含照相机105b。照相机105b展示为连接到计算装置100b的外部照相机。照相机105b可以经由合适的接口连接到计算装置100b，所述合适的接口例如是通用串行总线(USB)、火线、雷电接口、光峰(LightPeak)、数字视频接口(DVI)、高清多媒体接口(HDMI)、视频图形阵列(VGA)等。照相机105b可包括视频俘获装置，例如数字照相机、数字摄像机、网络摄像头等。

图2是计算装置的功能框图。计算装置200可以对应于计算装置100a、计算装置100b或另一类似计算装置中的任何一个。计算装置200包含处理器210，其与存储器220和输入/输出接口230数据通信。输入/输出接口230进一步与显示器240和图像俘获装置205数据通信。图像俘获装置205可以对应于照相机105a、照相机105b或另一类似图像俘获装置中的任何一个。处理器210进一步与网络接口260数据通信。虽然是分开描述的，但是应明白，相对于计算装置100所描述的功能块不需要是分开的结构元件。举例来说，处理器210和存储器220可以体现在单个芯片中。类似地，处理器210和网络接口260中的两个或更多个可以体现在单个芯片中。计算装置200可以经配置以执行本文中描述的功能。举例来说，处理器210可以经配置以执行存储在存储器220中的指令，所述指令使得计算机装置200执行本文中描述的功能。

处理器210可为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文所描述的功能的任何合适组合。处理器还可以实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器配合DSP核心或任何其它此配置。

处理器210可以经由一或多个总线耦合以从存储器220读取信息和向存储器220写入信息。处理器可以另外或替代地包含存储器，例如处理器寄存器。存储器220可包含处理器高速缓存，包含多等级层级式高速缓存，其中不同等级具有不同容量和存取速度。存储器220还可以包含随机存取存储器(RAM)、其它易失性存储装置或非易失性存储装置。存储装置可包含硬驱动器、光盘(例如压缩光盘(CD)或数字视频光盘(DVD))、快闪存储器、软盘、磁带和压缩驱动器。

处理器210还耦合到输入/输出接口230用于从连接到计算装置100的装置接收输入和向其提供输出。此些装置的实例包含但不限于键盘、按钮、按键、开关、指向装置、鼠标、控制杆、遥控器、红外检测器、图像俘获装置(例如，图像俘获装置205)、DVD播放器、蓝光播放器、运动检测器、麦克风(可能耦合到音频处理软件以例如检测语音命令)、视觉输出装置(例如，显示器240)(包含显示器和打印机)、音频输出装置(包含扬声器、头戴耳机、耳机和警报)和触觉输出装置，包含力反馈游戏控制器和振动装置。

处理器210进一步耦合到网络接口260。网络接口260可包括一或多个调制解调器。网络接口260准备由处理器210产生的数据以供向网络传输。收发器260还对经由网络接收到的数据进行解调。网络接口260可包含发射器、接收器或这两者。在其它实施例中，发射器和接收器是两个分开的组件。网络接口260可以体现为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文所描述的功能的任何合适组合。

图3是视频俘获装置的功能框图。视频俘获装置305可以对应于照相机105a、照相机105b、图像俘获装置205或另一类似视频俘获装置中的任何一个。视频俘获装置305包含处理器310，其与存储器320和输入/输出接口330数据通信。处理器310进一步与传感器350数据通信。虽然是分开描述的，但是应明白，相对于视频俘获装置105所描述的功能块不需要是分开的结构元件。举例来说，处理器310和存储器320可以体现在单个芯片中。

处理器310可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文所描述的功能的任何合适组合。处理器还可以实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器配合DSP核心或任何其它此配置。

处理器310可以经由一或多个总线耦合以从存储器320读取信息和向存储器320写入信息。处理器可以另外或替代地包含存储器，例如处理器寄存器。存储器320可包含处理器高速缓存，包含多等级层级式高速缓存，其中不同等级具有不同容量和存取速度。存储器320还可以包含随机存取存储器(RAM)、其它易失性存储装置或非易失性存储装置。存储装置可包含硬驱动器、光盘(例如压缩光盘(CD)或数字视频光盘(DVD))、快闪存储器、软盘、磁带和压缩驱动器。

处理器310还耦合到输入/输出接口330，用于从例如计算装置200等计算装置接收输入和向其提供输出。输入/输出接口330可包括USB接口、火线接口等。

处理器310还耦合到传感器350，用于俘获图像/视频。传感器350可包括CCD、CMOS或其它合适类型的传感器。

图4是具有图像俘获装置的计算系统的功能框图。计算系统400的组件可以对应于计算装置200或另一合适的计算装置。举例来说，图像俘获装置470可以对应于图像俘获装置205，显示器465对应于显示器240，图像俘获装置驱动器430，操作系统405，网络驱动器425，应用程序420和视频驱动器415对应于存储在存储器220中并且由处理器210执行的软件，视频卡415对应于I/O 230，并且网络接口卡(NIC)450对应于网络接口260。

系统400包含操作系统405、应用程序410、视频驱动器415、图像俘获装置驱动器430和网络驱动器425，其可以个别地或者共同地包括一或多个软件模块，所述一或多个软件模块可以存储在存储器中并且由处理器执行，例如计算装置200的存储器220和处理器210。

应用程序410可包括用于处理俘获到的图像并且经由网络(例如因特网455)传输俘获到的图像的视频应用程序。应用程序410经配置以从图像俘获装置(例如图像俘获装置470)接收图像/视频数据。举例来说，图像俘获装置驱动器430可以经配置以与图像俘获装置470(例如，图像俘获装置205)通信。举例来说，应用程序410可以通过图像俘获装置470俘获图像数据。应用程序410可以例如通过API与操作系统405交互以俘获图像数据。操作系统405可以利用图像俘获装置驱动器430与图像俘获装置470通信，并且从图像俘获装置470接收图像数据，例如从图像俘获装置470上的传感器接收图像数据。操作系统405可以接着将接收到的图像数据引导到应用程序410。

应用程序410可以接着使用面部辨识技术(例如，欧姆龙的OKAO视觉面部感应技术)确定图像数据中是否存在一或多个面部。进而，如果图像数据中存在一或多个面部，则应用程序410可以使用面部辨识技术(例如，欧姆龙的OKAO视觉面部感应技术)提取面部的轮廓信息。轮廓信息可包含所述一或多个人的面部的特征(例如，眉毛、眼睛、鼻子、嘴和其它面部轮廓信息)的位置。举例来说，图5图解说明可以提取的轮廓信息的实例。提取到的轮廓信息包含指示各种面部特征的位置/轮廓的多个坐标。

网络驱动器425可以经配置以从网络接口卡(NIC)450传输/接收输入，网络接口卡450可以进一步经配置以与例如因特网455等因特网协议网络等网络通信。举例来说，操作系统405可以用于有助于执行应用程序410。应用程序410可以产生数据(例如，轮廓信息)并且例如通过API与操作系统405交互，以经由因特网455向连接到因特网455的另一装置传输数据。操作系统405可以向网络驱动器425发送数据，网络驱动器425控制NIC 450以经由因特网455传输数据。类似地，NIC 450、网络驱动器425、操作系统405和应用程序410可以用于在(举例来说)应用程序410处从因特网455接收轮廓。

应用程序410当接收到轮廓信息时可以经配置以基于轮廓信息重构图像。举例来说，应用程序410可以经配置以使用轮廓信息操纵关键帧以重构图像。关键帧可以是包含一或多个面部的图像。另外，关键帧可包含一或多个背景对象。关键帧的每一面部可以与用于面部的接收到的轮廓信息相关联。可以使用接收到的轮廓信息来操纵关键帧的相关联的面部。举例来说，关键帧可以在某些坐标处具有面部特征(例如，眉毛、眼睛、鼻子、嘴和其它面部轮廓信息)。所述轮廓信息可以指示对于新的视频帧，面部特征的坐标应当在不同位置。因此，应用程序410可以使用图像操纵技术(例如，拉伸、移动、缩放等)来操纵关键帧以移动关键帧的面部特征，使得这些面部特征与来自轮廓信息的坐标对准。

在一些方面中，可以基于接收到的轮廓信息来改变关键帧的眼睛/眉毛/嘴的量值以调整这些特征的位置。在一些方面中，可以基于用户离图像俘获装置470的距离(通过轮廓信息指示)来调整关键帧的面部的大小。在一些方面中，轮廓信息包括嘴框，其罩住嘴的嘴唇开口。因此，为了重构图像，在通过轮廓信息指示的嘴框的位置中绘制牙齿。接着可以在牙齿上面绘制来自关键帧的面部，而不绘制关键帧的嘴唇开口。可以依据通过轮廓信息指示的嘴的开口和/或所指示的表情(微笑、皱眉、说话等)给上牙和下牙绘制不同的大小。进而，用于绘制的牙齿是用户可选择的。可以操纵牙齿的照明以匹配通过轮廓信息指示的环境的亮度。

因此，对于包括多个帧的视频，不需要针对每一帧发送整个视频帧，但是可以仅传输用于下一个帧的面部轮廓信息，并且基于面部轮廓信息更新先前帧(例如关键帧)。

图6A图解说明关键帧的实例，并且图6B图解说明使用轮廓信息和关键帧重构的图像的实例。如图所示，对关键帧进行操纵，使得关键帧的面部特征匹配轮廓信息。

在一个方面中，图像俘获装置470俘获到第一帧，并且经由因特网455传输第一帧，且由应用程序410接收到第一帧以用作关键帧。在另一方面中，关键帧是应用程序410存储和检索的本地静态图片。本地静态图片可以是与俘获轮廓信息的对象的人不同人的、同一人在不同环境中的、同一人穿着不同衣服或佩戴不同物件(例如，正装而不是休闲装，戴上眼镜或者摘掉眼镜等)、同一人的增强版本(例如，去斑、化妆等)的图片。在一些方面中，在重构期间，应用程序410可以经配置以对重构的图像进行额外的改变(例如，改变人的衣服、化上妆、移除/增加物件、隐藏识别信息等)。进而，在一些方面中，在重构期间，应用程序410可以考虑用于重构图像的额外信息。举例来说，可以基于轮廓信息、关键帧和额外图像信息(例如，提取轮廓信息的来源图像数据的压缩帧)来重构图像。

举例来说，在一些方面中，运行应用程序410的第一装置除了经由网络传输面部轮廓信息之外，还可以发送额外帧的低位速率压缩的视频。运行应用程序410的第二装置可以接收低位速率压缩的视频，并且配合面部轮廓信息和关键帧使用低位速率压缩的视频以产生对应于每一额外帧的帧。在一些方面中，第一装置可以尝试和发送额外帧而不是面部轮廓信息以便在第二装置处再现，然而，如果传输速率下降到低于阈值(例如，每秒30帧)，则第一装置可以改为发送面部轮廓信息。因此，运行应用程序410的第二装置可以显示完整地发送的额外帧，或者依据接收到的数据基于轮廓信息来操纵关键帧。进而，可以更新关键帧。举例来说，第一装置可以向第二装置发送经更新的关键帧，或者可以使用新的本地存储的关键帧。在一些方面中，第一装置的用户选择关键帧。在一些方面中，第二装置的用户选择关键帧。

视频驱动器415可以经配置以与视频卡460通信，视频卡460进一步与显示器465通信。举例来说，如上所述，应用程序410可以接收或产生视频数据以供在显示器465上显示。应用程序410可以例如通过API与操作系统405交互，以便在显示器465上显示视频数据。操作系统405可以向视频驱动器415发送视频数据，视频驱动器415控制视频卡460以向显示器465传输视频数据。显示器465接着显示视频数据。举例来说，可以在显示器465上显示由图像俘获装置470俘获的图像和/或从应用程序410重构的图像。

应注意，可以实时地或接近实时地执行应用程序410的功能性。

图7图解说明应用程序410的实例的框图。在图7中展示的方面中，将图像数据输入到面部辨识模块705中。面部辨识模块705可以经配置以在图像数据中定位面部，并且如上所述提取用于面部的轮廓信息。接着向面部变换模块720发送轮廓信息，面部变换模块720经配置以如上所述基于轮廓信息操纵关键帧。面部变换模块可以经配置以从图像数据库725接收关键帧。可以自动地或者由用户执行从数据库中选择关键帧。向选择器模块730输出经操纵的关键帧。

进而，将图像数据和/或轮廓信息输入到所关注区域(ROI)处理模块710中。ROI处理模块710可以经配置以从来自图像数据的某些所关注区域移除特征或者向其增加特征(例如，移除或增加例如眼镜等物件，换衣服等)。可以部分地基于轮廓信息识别所关注区域。可以从ROI处理模块710向面部化妆模块715发送经处理的图像。面部化妆模块715可以经配置以增强图像中的人的图像(例如，去斑、化妆等)。可以从面部化妆模块715向选择器模块730发送增强的图像。选择器模块730可以在经操纵的关键帧与增强的图像之间进行选择，以便经由网络输出到显示器或另一装置。可以自动地或者由用户进行选择。应注意，在一些方面中，使用第一装置中的面部辨识模块705从图像数据中提取轮廓信息，并且向第二装置发送轮廓信息。运行应用程序410的第二装置接着可以不使用面部辨识模块705产生图像。而是，将接收到的轮廓信息输入到面部变换模块720中。进而，可以将面部变换模块720的输出作为“图像数据”输入而输入到ROI处理模块710中。

图8是用于俘获图像和传输图像数据的过程的实例的流程图。可以举例来说通过计算系统400或任何其它合适的装置来执行过程800。在框810处，图像俘获装置470俘获图像。在框820处，应用程序410从俘获到的图像中提取轮廓信息。在框830处，应用程序410经由网络向另一装置传输轮廓信息。

图9是用于接收图像数据和重构图像的过程的实例的流程图。举例来说可以通过计算系统400执行过程900。在框910处，应用程序存储关键帧。在框920处，应用程序410经由网络从另一装置接收轮廓信息。在框930处，应用程序420基于关键帧和轮廓信息产生帧。

所属领域的技术人员应了解，过程800-900只是说明性的。可以去掉过程800-900的一些步骤，可以增加额外步骤，和/或可以改变步骤的次序，同时仍然与本文中揭示的原理和新颖特征一致。在另一方面中，流程图的每一框可以是经配置以执行相对于流程图所描述的功能的“模块”。

本文中描述的功能性(例如，关于附图中的一或多个)在一些方面中可以对应于所附权利要求书中类似地表示为“用于……的装置”的功能性。图2-4的模块的功能性可以用与本文中的教示一致的各种方式来实施。在一些方面中，这些模块的功能性可以实施为一或多个电组件。在一些方面中，这些块的功能性可以实施为包含一或多个处理器组件的处理系统。在一些方面中，可以使用(举例来说)一或多个集成电路(例如，ASIC)的至少一部分来实施这些模块的功能性。如本文中所述，集成电路可包含处理器、软件、其它相关组件或其某种组合。这些模块的功能性还可以用本文中教示的某种其它方式来实施。

应理解，本文中使用例如“第一”、“第二”等等名称来指代一个元件并不会总体上限制那些元件的数量或次序。而是，本文中可以使用这些名称作为方便的方法来区分两个或更多个元件或元件的例子。因此，提到第一和第二元件并不意味着那里只能使用两个元件，或者第一元件必须以某种方式在第二元件前面。而且，除非另有声明，否则一组元件可包括一或多个元件。此外，描述或权利要求书中使用的“A、B或C中的至少一个”的形式的术语是意味着“A或B或C或这些元件的任何组合”。

所属领域的技术人员将理解，可使用各种不同技艺和技术中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述各处提到的数据、指令、命令、信息、信号、位、符号和码六。

所属领域的技术人员将进一步了解，结合本文所揭示的实例所描述的各种说明性逻辑块、模块、电路、方法和算法可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性，在上文已大体上按功能性来描述各种说明性组件、块、模块、电路、方法和算法。所述功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施方案决定不应被解释为会导致脱离本发明的范围。

结合本文所揭示的实例所描述的各种说明性逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器配合DSP通信或任何其它此配置。

结合本文中所揭示的实例而描述的方法或算法可直接以硬件、由处理器执行的软件模块，或两者的组合来体现。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息，和将信息写入到存储媒体。在替代方案中，存储媒体可以与处理器形成一体。处理器和存储媒体可以驻留在ASIC中。

在一或多个示范性实施例中，可以在硬件、由处理器执行的软件或固件或其任何组合中实施所描述的功能。如果在软件中实施，则可以将功能作为一或多个指令或代码在计算机可读媒体上存储或传输。计算机可读媒体包含计算机存储媒体与包含促进计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由计算机存取的任何可用媒体。举例来说，并且并非限制，此些计算机可读媒体可包括非暂时性计算机可读存储媒体，例如RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、或可用于以指令或数据结构的形式携带或存储期望的程序代码并且可以由计算机存取的任何其它媒体。此外，任何连接都可以恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或例如红外、无线电和微波等无线技术从网站、服务器或其它远程源是传输软件，那么可以将同轴电缆、光纤电缆、双绞线、DSL或例如红外、无线电和微波等无线技术包含在媒体的定义中。本文中使用的磁盘和光盘包含快闪存储器存储装置、压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上述各项的组合也应包含在计算机可读媒体的范围内。

提供所揭示的实例的先前描述以使得任何所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易显而易见对这些实例的各种修改，且可在不脱离本发明的精神或范围的情况下将本文中所定义的一般原理应用于其它实例。因此，本发明不打算限于本文中所展示的实例，而应被赋予与本文所揭示的原理和新颖特征一致的最广范围。

Claims (22)

1.一种用于重构视频数据的方法，所述方法包括：

在接收装置处存储表示面部的关键帧；

在所述接收装置处和从传输装置接收用于一或多个帧的轮廓信息，所述轮廓信息包括与一或多个面部有关的数据，所述数据包括指示面部上的表情的数据；

在所述接收装置处和从所述传输装置接收对应于所述一或多个帧的低位速率压缩的视频；和

通过基于所述表情和所述低位速率压缩的视频两者调整所述关键帧而产生一或多个额外帧。

2.根据权利要求1所述的方法，其中所述与一或多个面部有关的数据包括所述一或多个面部的特征的位置。

3.根据权利要求1所述的方法，其进一步包括从所述传输装置接收所述关键帧。

4.根据权利要求1所述的方法，其中所述一或多个额外帧包括一或多个面部图像。

5.根据权利要求4所述的方法，其中产生一或多个额外帧包括从所述一或多个面部图像移除一或多个特征。

6.根据权利要求4所述的方法，其中产生一或多个额外帧包括向所述一或多个面部图像添加化妆。

7.根据权利要求1所述的方法，其中产生一或多个额外帧进一步包括改变与所述关键帧中包含的一或多个人相关联的衣服。

8.一种用于重构视频数据的设备，其包括：

处理器；和

存储器，其与所述处理器通信，所述存储器包括当被所述处理器执行时使得所述处理器执行下列操作的指令：

存储表示面部的关键帧；

从传输装置接收用于一或多个帧的轮廓信息，所述轮廓信息包括与一或多个面部有关的数据，所述数据包括指示面部上的表情的数据；

从所述传输装置接收对应于所述一或多个帧的低位速率压缩的视频；和

通过基于所述表情和所述低位速率压缩的视频两者调整所述关键帧而产生一或多个额外帧。

9.根据权利要求8所述的设备，其中所述与一或多个面部有关的数据包括所述一或多个面部的特征的位置。

10.根据权利要求8所述的设备，其中所述指令当被所述处理器执行时进一步使得所述处理器从所述传输装置接收所述关键帧。

11.根据权利要求8所述的设备，其中所述一或多个额外帧包括一或多个面部图像。

12.根据权利要求11所述的设备，其中产生一或多个额外帧包括从所述一或多个面部图像移除一或多个特征。

13.根据权利要求11所述的设备，其中产生一或多个额外帧包括向所述一或多个面部图像添加化妆。

14.根据权利要求8所述的设备，其中产生一或多个额外帧进一步包括改变与所述关键帧中包含的一或多个人相关联的衣服。

15.一种用于重构视频数据的设备，其包括：

用于存储表示面部的关键帧的装置；

用于从传输装置接收用于一或多个帧的轮廓信息的装置，所述轮廓信息包括与一或多个面部有关的数据，所述数据包括指示面部上的表情的数据；

用于在所述设备处和从所述传输装置接收对应于所述一或多个帧的低位速率压缩的视频的装置；和

用于通过基于所述表情和所述低位速率压缩的视频两者调整所述关键帧而产生一或多个额外帧的装置。

16.根据权利要求15所述的设备，其中所述与一或多个面部有关的数据包括所述一或多个面部的特征的位置。

17.根据权利要求15所述的设备，其进一步包括用于从所述传输装置接收所述关键帧的装置。

18.根据权利要求15所述的设备，其中所述一或多个额外帧包括一或多个面部图像。

19.根据权利要求18所述的设备，其中所述用于产生一或多个额外帧的装置包括用于从所述一或多个面部图像移除一或多个特征的装置。

20.根据权利要求18所述的设备，其中所述用于产生一或多个额外帧的装置包括用于向所述一或多个面部图像添加化妆的装置。

21.根据权利要求15所述的设备，其中所述用于产生一或多个额外帧的装置进一步包括用于改变与所述关键帧中包含的一或多个人相关联的衣服的装置。

22.一种非暂时性计算机可读媒体，其上存储有指令，当所述指令由处理器执行时致使计算机执行以下操作：

存储表示面部的关键帧；

从传输装置接收用于一或多个帧的轮廓信息，所述轮廓信息包括与一或多个面部有关的数据，所述数据包括指示面部上的表情的数据；

从所述传输装置接收对应于所述一或多个帧的低位速率压缩的视频；和

通过基于所述表情和所述低位速率压缩的视频两者调整所述关键帧而产生一或多个额外帧。