CN104380701A - 通信系统 - Google Patents

Abstract

一种用户终端具有：输入端，其用于接收视频信号；以及显示器，其用于将从所述视频信号得到的视频图像显示给用户。选择输入端被提供用于从所述用户接收用于增强从所述视频信号得到的所述视频图像的至少一个效果。所述用户终端具有渲染设备，所述渲染设备用于将由所选效果所增强的从所述视频信号得到的所述视频图像渲染在所述显示器上。

Description

通信系统

背景技术

基于分组的通信系统允许设备(诸如个人计算机)的用户跨越诸如因特网之类的计算机网络进行通信。基于分组的通信系统包括网际协议(IP)视频通信系统，其允许用户通过因特网交换实况视频流。这些系统对于用户而言是有利的，因为它们与固定线或移动网络相比通常具有显著更低的成本。对于长距离通信来说情况可能特别是这样的。为了使用IP视频系统，用户必须在他们的设备上安装和执行客户端软件。客户端软件提供视频IP连接以及诸如注册和认证这样的其他功能。除视频通信之外，客户端还可以提供另外的特征，诸如音频、即时消息传送(“IM”)、SMS消息传送以及语音邮件。

用户因此能够通过交换从安装在他们相应的计算机终端中的每一个上的网络摄像机(web-cam)取得的视频图像来进行面对面视频呼叫。

能够通过使用增强或更改视频图像的“特殊效果”来增强视频通信。目前这限于在传送端处的用户，其能够选择将增强他的在接收端处渲染的图像的效果。这个的一个示例被示出在web地址http://www.logitech.com/en-us/webcam-communications/video-software-services/video-effects。

发明内容

本发明内容被提供来以简化形式引入在下面在具体实施方式中被进一步描述的构思的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，它也不旨在被用来限制所要求保护的主题的范围。

在下文中描述了用户终端，其具有：输入端，其用于接收视频信号；以及显示器，其用于将从所述视频信号得到的视频图像显示给用户。选择输入端被提供用于从所述用户接收用于增强从所述视频信号得到的视频图像的至少一个效果。所述用户终端具有渲染设备，所述渲染设备用于将由所选效果所增强的从所述视频信号得到的所述视频图像渲染在所述显示器上。

计算机程序产品包括程序代码，所述程序代码当由处理器执行时实现对视频图像进行渲染的方法。根据所述方法，在用户终端处接收所选效果的指示。在用户终端处捕获用户的图像，并且在用户终端的显示器处渲染在用户终端处捕获到的图像，从而通过所选效果来增强图像。

附图说明

为了更好地理解所描述的实施例，并且为了示出所描述的实施例如何可以被付诸实施，现在将通过示例的方式对附图进行参考：

图1是依照一个或多个实施例的通信系统的示意框图；

图2是依照一个或多个实施例的在近端用户终端处的功能块的示意框图；

图3至图7图示了依照一个或多个实施例的所选效果的屏幕快照；

图8是依照一个或多个实施例的在远端终端处的功能块的示意框图；以及

图9是依照一个或多个实施例张贴的社交媒体的屏幕快照。

具体实施方式

在以下描述的实施例中，用户能够对他们的视频应用视频效果“照相亭”风格。用户能够在呼叫中对另一方(远程用户)应用视频效果。例如，如果Alice正在呼叫Bob，则Alice能够对Bob的视频应用效果并且在该效果被应用情况下看见Bob。Bob能够在他的自我视图中看见对他自己应用的这个效果，并且被通知它。在一个或多个实施例中，能够给予Bob用来对Alice应用该效果的选项。

在一个或多个实施例中，Bob或Alice能够取得具有这些效果的屏幕快照并且张贴到社交媒体环境，例如，脸谱(Facebook)墙。在被张贴后，点击该张贴物，给予第三方获取效果的机会。

效果可以是例如跟踪用户的头部或眼睛的静态图像。动画效果也是可能的。

图1是通信系统的示意框图，其中第一用户终端2被布置成经由通信网络(例如，诸如因特网6之类的基于分组的网络)与第二用户终端4交换视频数据。第二用户终端4在双向通信事件(视频呼叫)中接收视频数据并且传送视频数据。从一个终端视角看，附图标记70表示接收的视频数据并且附图标记72表示传送的视频数据。

一种基于分组的通信系统使用在专有协议上构建的对等(“P2P”)拓扑。为了实现对对等系统的访问，用户必须在他的计算机上执行由P2P软件提供商所提供的P2P客户端软件，并且向P2P系统注册。当用户向P2P系统注册时客户端软件被提供有来自服务器的数字证书。在客户端软件已被提供有证书后，能够随后在没有服务器的进一步使用的情况下在P2P系统的用户之间建立和路由通信。特别地，用户能够通过P2P系统基于一个或多个数字证书(或用户身份证书“UIC”)的交换来建立他们自己的通信路由，这实现对P2P系统的访问。在用户之间交换数字证书提供对用户的身份的证明并且他们在P2P系统中被适当地授权和认证。因此，数字证书的呈现提供了对用户的身份的信任。因此不使用服务器而是直接地从端用户到端用户路由通信是对等通信的特性。

通信网络的其他形式是可能的，诸如IMS(因特网多媒体子系统)和其他基于服务器的系统。

每个用户终端2、4分别包括显示器8、10和用于捕获运动图像的摄像机12、14，所述运动图像能够被作为视频显示在近端显示器8上和/或传送至终端4以用于显示在远程显示器10上。每个显示器示出了近端用户的自我图像2a、4a和远端用户的图像2b、4b (在图3至图7中更清楚地示出)。在这种情况下，我们假定Alice在第一用户终端(近端)处并且Bob在第二用户终端(远端)处。应当了解，图1是高度示意性的并且不旨在准确地表示任何特定设备。一般类型的用户终端能够包括诸如移动电话之类的移动手机终端、膝上型计算机、平板、台式计算机、电视机或带机顶盒的电视以及许多其他类型的设备。在一个实施例(例如，智能电话或平板)中，显示器8、10构成使用触摸屏技术的用户接口，但是应当了解，能够利用其他用户接口，例如键盘、鼠标等。

一般地，本文所描述的功能中的任一个能够使用软件、固件、硬件(例如，固定逻辑电路)或这些实施方式的组合加以实现。如本文所使用的术语“模块”、“功能性”、“组件”以及“逻辑”一般地表示软件、固件、硬件或其组合。在软件实施方式的情况下，模块、功能性或逻辑表示当在处理器(例如，一个或多个CPU)上被执行时执行特定任务的程序代码。程序代码能够被存储在一个或多个计算机可读存储器设备中。在下面所描述的技术的特征是平台无关的，意味着可以在具有各种处理器的各种商用计算机平台上实现这些技术。

例如，用户终端还可以包括使用户终端的硬件(例如处理器、功能块等等)执行操作的实体(例如，软件)。例如，用户终端可以包括计算机可读介质，所述计算机可读介质可以被配置成维护使用户终端并且更特别地用户终端的操作系统和相关联的硬件执行操作的指令。因此，指令用来将操作系统和相关联的硬件配置成执行操作并且以这种方式导致操作系统和相关联的硬件执行功能的变换。指令可以由计算机可读介质通过各种不同的配置提供给用户终端。

计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置成诸如经由网络将指令(例如，作为载波)传送至计算设备。计算机可读介质还可以被配置为计算机可读存储介质并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、快速存储器、硬盘存储器，和可以使用磁、光学以及其他技术来存储指令和其他数据的其他存储器设备。

例如，在用户终端2处，在用户终端2处的接收用户(Alice)的控制下，各种实施例许可将“相册”风格视频效果添加到所接收到的视频数据。能够随着经由通信网络6从用户终端2向用户终端4传送的视频数据一起传送这些效果的指示，使得传送用户(Bob)能够查看他的具有特殊效果的自我图像4a。特别地，实施例允许近端用户确定哪一个特殊效果要应用于从远端接收到的视频数据。她使用用户接口例如通过点击(采用鼠标/光标接口)或者触摸效果(采用触摸屏技术)从在显示器8上显示给他的一组效果中选择一个效果。

图2是在用户终端2处的功能块的示意框图。假定了从终端4接收到的视频正在显示器8上作为图像2b被显示给用户。附图标记18表示用户能够采用其在显示器8上选择特殊效果的选择装置。选择装置18被连接至效果存储器13，所述效果存储器13将所选效果32供应给连接至解码器16的输出端的张贴处理块17，所述解码器16接收形式为分组流的视频信号70。解码器16接收视频数据的分组70并且对它们进行解码。张贴处理块17添加所选特殊效果32并且生成用于将Bob的增强视频图像2b渲染在显示器8上的显示控制信号25。在一个实施例中，关于所选效果的信息被同样供应给编码器15的张贴处理块19。编码器14将来自摄像机12的图像数据编码成视频信号的分组72以用于传输到终端4。张贴处理块插入标识特殊效果32的信息EI32，使得它能够在远端显示器处被渲染在自我图像4a上。还能够包括通知42。

替代方法是将建议什么效果将被应用的单独的控制消息流发送回到其他侧。以这种方式，系统能够在对于用户来说不存在编码器的情况下作用于单向视频。

图8是在用户终端4处的功能块的示意框图。假定了用户终端4接收到形式为现在包括效果信息EI32和通知42的分组流的视频信号。提取功能33提取效果信息EI32并且使用它来访问效果存储器13。视频信号的其余部分被供应给解码器16，所述解码器16像正常那样对它进行解码以生成用于生成Alice的图像4b的显示控制信号。在效果信息被应用在单独的控制消息中的情况下，无需从视频流中提取它。实际上能够在不用发送视频流的情况下应用它。来自效果存储器13的效果32被供应给从本地摄像机14接收数据的混合功能35。以这种方式，效果32与来自摄像机14的本地图像数据混合以提供用于渲染Bob的已增强的自我图像4a的显示控制信号25。摄像机14同样将图像数据供应给编码器15，所述编码器15生成分组流以用于供应给远程终端。如在下文中更全面地描述的，如果Bob决定他希望使所选效果应用于Alice，则他能够操纵显示器10上的图标44，这然后使应用效果指示符76被并入要被发送回到Alice的终端的视频信号72中。这使所选效果被以与它被应用于在终端2处的Bob的图像相同的方式应用于在终端4处的Alice的图像。此外，应用效果指示符76由在终端2处的提取功能33来提取，以使效果在与35类似的混合功能中与本地摄像机混合以便生成Alice的增强的自我图像。用于这个的功能块在图8中未被示出，仅在图2中被示出。

应当容易地了解，尽管为了便于关于在近端终端和远端终端处正在发生什么的说明图2和图8已作为单独的图被示出，但是实际上，每个用户终端将并入近端功能性和远端功能性这二者。尽管效果存储器13作为终端的本地存储器被示出，但是应当容易地了解，能够在本地或从远程服务器(可能在通信系统6中)远程地访问特殊效果。

现在将参考图3-7来更详细地描述所选效果的应用。图3是第一用户终端2的示意图。附图标记2b表示在远程终端4处的第二用户的已被捕获到并且通过视频信号供应给第一终端2的视频图像。为了便于参考，我们将把这个称为“Bob的图像”，Bob是在远程终端4处的第二用户。附图标记2a表示在第一终端处的第一用户的自我图像，我们将把所述第一用户称为“Alice”。这是由在第一终端2处的摄像机所捕获到的图像。Alice决定对Bob的图像2b应用视频效果。为了这样做，她选择了显示多个视频效果的功能18。在图4中，通过示例的方式，图示了一组假鼻子30。这些鼻子例如可以来自不同的动物，诸如猪鼻子32、大象鼻子34、猫鼻子36以及鸭嘴兽38。这些效果被存储在效果存储器13中。当效果功能被用户选择时，这些效果的图像被从存储器(无论是本地的还是远程的)召回并且显示在终端2的显示器上，如图4中所图示的。

如图5中所示，在这种情况下，Alice决定选择猪鼻子32。这能够通过经由鼠标和光标或任何其他方式在触摸屏上轻击该鼻子而完成。在猪鼻子32已被选择后，Bob的图像像上面参考图2所说明的那样被渲染，以便包括鼻子32。如上面参考图2所进一步描述的，关于所选效果的信息EI32被传送至Bob的终端4，其被图示在图6中。在Bob的终端处，主要显示的图像4b是Alice的。当Alice选择了效果32时，关于该效果的信息被传送至Bob的终端4并且两个通知42、44被显示给Bob。第一通知标识已被选择的效果，例如，“Alice已使你有猪鼻子”，并且第二通知形成为允许Bob对Alice应用所选效果(例如，“猪鼻子回敬”)的可操纵按钮或图标。这些通知基于在由Bob的终端4所接收到的视频信号中被传送至Bob的终端4的信息被以人类可读文本的形式渲染在显示器上。此外，Bob能够看见他如何出现在Alice的终端处，因为他自己的自我图像4a基于在Bob的终端4处接收到的信息用所选效果加以渲染。如果Bob决定对Alice应用相同的效果，则他选择通知按钮44并且此结果是对他看见的Alice的图像4b应用所选效果。这在图中未被示出，但是从图5将容易地显而易见，图5示出了在Alice的终端处关于这个如何将在Bob的终端处被感知到的效果，猪鼻子被应用于Alice的图像。此外，应用效果指示符76随着视频信号被返回到Alice的终端，使得她的自我图像2a同样地用所选效果32加以渲染。此外，通知78用人类可读文本(例如，“Bob已回敬你猪鼻子”)显示。

特征识别可以被用来在正确位置中对视频应用所选效果。例如，特征识别软件可以检测用户的鼻子位于在图像内哪里并且允许鼻子图像被重叠在那个区域中。可替换地，效果可以在由用户所选择的位置中相对于用户的检测到的面部位置被定位在显示器上。

应当了解，每个用户终端包括用于执行适合的软件以便实现上面提到的功能的处理器。功能能够酌情用硬件、固件或软件的任何组合加以实现。尽管未图示，但是很显然，每个终端作为其处理器执行建立双向视频呼叫的通信客户端应用。上面所描述的功能能够形成这个通信客户端应用的一部分，或者能够被提供在由处理器所执行的单独的软件应用中。

各种实施例允许附加的可能性以将如应用于图像的所选效果张贴到社交媒体环境，例如，张贴到属于效果已被应用于的用户(在这种情况下为Bob)的脸谱墙。为了这样做，Alice能够在她的终端处选择召集标识例如Bob的脸谱墙、Alice的脸谱墙以及电子邮件选项的许多共享可能性的共享功能。Alice能够选择适当的选项，例如张贴到Bob的脸谱墙，以及具有如果做出则应用的所选效果的Bob的图像到他的脸谱墙的张贴，如例如图9中所图示的。第三方能够通过点击它或通过任何其他方式来选择该张贴物，并且在这样做时能够访问效果以用于他们自己的使用。

视频效果的社交性质对与社交网络的不同交互有利。例如通过点击视频app图标以得到效果，能够给用户用电子学方法给用户的终端提供效果。当被启动时，视频app将提示用户例如通过使用URL(统一资源定位符)来访问基于web的存储位置(诸如服务器)来获得所期望的效果。

根据一个实施例，提供了一种对视频图像进行渲染的方法，其包括：

在第一终端处接收从第二终端传送的视频信号；

从在所述第一终端处的用户接收对用于增强从所接收到的视频信号得到的视频图像的至少一个效果的选择；以及

将由所选效果所增强的从所述视频信号得到的视频图像渲染在所述第一终端处的显示器上。另一实施例提供了一种用户终端，其包括：

用于接收从远程终端传送的视频信号的装置；

显示器，其用于将从所述视频信号得到的视频图像显示给在所述用户终端处的用户；

选择装置，其用于从在所述用户终端处的所述用户接收用于增强从所述视频信号得到的所述视频图像的至少一个效果；以及

用于将由所选效果所增强的从所述视频信号得到的所述视频图像渲染在所述显示器上的装置。

尽管已经用特定于结构特征和/或方法学行为的语言描述了本主题，但是应当理解，所附权利要求中所限定的本主题未必限于上面所描述的特定特征或行为。相反地，上面所描述的特定特征和行为作为实现权利要求的示例形式被公开。

Claims (10)

1. 一种用户终端，其包括：

输入端，其用于接收视频信号；

显示器，其用于将从所述视频信号得到的视频图像显示给在所述用户终端处的用户；

选择输入端，其用于从在所述用户终端处的所述用户接收用于增强从所述视频信号得到的所述视频图像的至少一个效果；以及

渲染设备，其用于将由所选效果所增强的从所述视频信号得到的所述视频图像渲染在所述显示器上。

2. 根据权利要求1的用户终端，其中所述渲染设备包括解码器，所述解码器被布置成对所接收到的视频信号进行解码并且布置成生成用于将所述视频图像渲染在所述显示器上的显示控制信号，所述显示控制信号并入所选效果。

3. 根据权利要求1的用户终端，包括用于将所选效果的指示从所述用户终端传送至远程终端的装置。

4. 根据权利要求3的用户终端，包括可操作来对待从所述用户终端传送至所述远程终端的视频图像进行编码的编码器，所述编码器可操作来将所述指示插入到待从所述用户终端传送的视频信号中。

5. 根据权利要求1的用户终端，包括用于捕获在所述用户终端处的用户的图像的摄像机，所述显示器可操作来渲染所捕获到的图像。

6. 根据权利要求1的用户终端，其中在所述用户终端处接收到的所述视频信号指示由在远程终端处的用户所选择的效果，所述用户终端包括被配置成显示采用在所述远程终端处选择的所述效果增强的由所述摄像机所捕获到的所述图像的混合功能。

7. 一种对视频图像进行渲染的方法，其包括：

在用户终端处接收所选效果的指示；

捕获在所述用户终端处的用户的图像；以及

将在所述用户终端处捕获到的所述图像渲染在所述用户终端的显示器处，其中所述渲染包括通过所选效果来增强所述图像。

8. 根据权利要求7的方法，包括在所述用户终端处捕获用户的图像并且在所述视频信号中将该图像传送至远程终端的步骤，由此在所述远程终端处的所述显示器上渲染的在所述用户终端处的所述用户的视频图像通过所选效果被增强。

9. 根据权利要求7的方法，包括将由所选效果所增强的在所述用户终端处的所述用户的捕获到的图像显示在社交网络站点上的步骤。

10. 一种包括程序代码的计算机程序产品，所述程序代码当由处理器执行时，实现对视频图像进行渲染的方法，其包括：

在第一终端处接收视频信号，所述第一终端从在所述第一终端处的用户接收对用于增强从所接收到的视频信号得到的视频图像的至少一个效果的选择；以及

将由所选效果所增强的从所述视频信号得到的视频图像渲染在所述第一终端处的显示器上。