CN1819648B - 处理视频效果的方法和系统 - Google Patents

处理视频效果的方法和系统 Download PDF

Info

Publication number
CN1819648B
CN1819648B CN2006100592438A CN200610059243A CN1819648B CN 1819648 B CN1819648 B CN 1819648B CN 2006100592438 A CN2006100592438 A CN 2006100592438A CN 200610059243 A CN200610059243 A CN 200610059243A CN 1819648 B CN1819648 B CN 1819648B
Authority
CN
China
Prior art keywords
video
effect
image
instant message
device driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006100592438A
Other languages
English (en)
Other versions
CN1819648A (zh
Inventor
杰弗里·唐纳德·斯托恩
恩春外
威利·平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Technology Ltd
Original Assignee
Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Technology Ltd filed Critical Creative Technology Ltd
Publication of CN1819648A publication Critical patent/CN1819648A/zh
Application granted granted Critical
Publication of CN1819648B publication Critical patent/CN1819648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/45—Aspects of automatic or semi-automatic exchanges related to voicemail messaging
    • H04M2203/4536—Voicemail combined with text-based messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种处理视频即时消息(IM)的系统和方法。该方法可以包括接收来自图像捕获设备的捕获到的视频流以及从多个视频效果中选择至少一个视频效果。然后包括视频效果的经修改的视频流(例如利用数字滤波器)被生成，然后作为视频即时消息被传输到查看位置。IM应用可以是遗留IM应用，并且经由IM应用生成图形用户接口以允许用户选择视频效果。捕获到的视频流可以是从网络摄像头接收到的，并且经修改的视频流可以经由因特网被传输到查看位置。该方法可以在设备驱动器中执行，该设备驱动器以接口方式将图像捕获设备连接到与设备驱动器相关联的即时消息传递应用。

Description

处理视频效果的方法和系统
技术领域
本发明一般涉及处理捕获到的视频流以包括视频效果的领域，更具体地说，在一个实施例中，涉及一种在设备驱动器中处理捕获到的视频流的方法和系统。
背景技术
随着因特网的出现，视频会议或即时消息传递对于具有宽带连接和个人计算机的用户已经变得广泛可用。在计算机系统中，设备驱动器以接口方式将硬件设备连接到应用程序。驱动器充当硬件设备和使用该设备(例如特定打印机)的应用程序(例如Microsoft Office)之间的翻译器。每个硬件设备一般具有它自己的一组专用命令，所述命令为它专用的驱动器所知从而控制该设备的操作。同样地，大部分应用程序需要通过使用不是硬件设备专用的通用命令访问设备。为了使所述应用程序利用通用命令和设备通信，驱动器接受来自应用程序的通用命令并且把它们翻译成为该设备所理解的专用命令。同样地，设备驱动器可以接收来自设备的特定命令(例如打印机中墨量低)并且把它们翻译成为应用程序所理解的通用命令。许多驱动器，诸如键盘驱动器是与操作系统一起提供的。对于其它设备，当将该设备连接到计算机系统时可能需要加载新的驱动器。设备驱动器本质上可能包含若干文件。例如，在DOS系统中，驱动器是具有.SYS扩展名的文件；在Windows环境中，驱动器经常具有.DRV扩展名。
将会理解，当新的硬件设备将被添加到计算机系统时，不必修改驻留在计算机系统上的应用程序，而只需要新的设备驱动器来以接口方式将新的硬件连接到已有的应用程序。
发明内容
根据本发明，提供一种在设备驱动器中处理数字图像数据(例如数字视频流或流)的方法和系统。
在一个典型实施例中，提供了一种处理即时消息的方法，该方法包括：
接收来自图像捕获设备的捕获到的图像；
从多个图像效果中选择至少一个图像效果；
生成包括所述至少一个图像效果的经修改的图像；以及
将经修改的图像作为即时消息传输到查看位置。
在一个典型实施例中，该方法是在设备驱动器中执行的，该设备驱动器用于以接口方式将图像捕获设备连接到与设备驱动器相关联的即时消息传递应用。捕获到的图像可以是数字视频流。
本发明还延伸到一种包含指令序列的机器可读介质，所述指令序列在被机器执行时促使机器执行这里所描述的方法中的任何一种或多种，或者被配置为实现这里所描述的系统中的任何一种或多种。
从附图和随后的描述中将易于看出本发明的其他特征。
附图说明
本发明是通过附图中的示例的方式说明的，而不是以限制方式说明的，除非另有指示，否则在附图中类似的标号指示相同的或类似的特征。
在附图中，
图1示出根据本发明的计算机系统中的典型硬件和软件层的示意性方框图；
图2示出根据本发明的用于处理数字图像的视频设备驱动器的实施例的典型功能单元的示意性方框图；
图3示出根据本发明的典型图形用户接口，它是由即时消息传递(IM)应用使用视频设备驱动器生成的；
图4A示出用于显示由网络摄像头捕获到的不包含任何特殊效果的图像的典型图形用户接口；
图4B示出根据本发明的典型图像，它是经由计算机网络发送到远程查看者的，其中包括由视频设备驱动器添加的特殊效果；
图4C示出根据本发明的典型图像，它是经由计算机网络发送到远程查看者的，其中插入了由视频设备驱动器添加的绘画/涂鸦(drawing/doodling)子模块的效果；
图5示出根据本发明的典型图形用户接口，它是由即时消息传递应用生成的，以允许用户选择IM偏好设置；
图6A示出根据本发明的典型图形用户接口，它是由即时消息传递应用生成的，以允许用户选择特定的特殊效果；
图6B示出根据本发明的典型图形用户接口，它是由即时消息传递应用生成的，以允许用户通过绘画/涂鸦子模块选择特定效果；
图7示出根据本发明的在设备驱动器中处理视频即时消息的方法的示意性的流程图；
图8示出根据本发明的实施例的典型的基于因特网的视频即时消息传递系统；
图9示出根据本发明的由图8的系统生成的典型图形用户接口；
图10示出图9的图形用户接口的典型供替换的下拉式菜单；以及
图11示出采取典型的计算机系统形式的机器的图示，在该计算机系统内，执行用于促使机器执行这里所论述的方法中的任何一种的一组指令。
具体实施方式
描述了一种处理数字图像数据(例如数字视频图像或流)的方法和系统。在以下描述中，为了说明起见，阐明了许多具体细节以便提供对本发明的彻底了解。然而，对于本领域的技术人员来说显而易见的是，本发明可以在没有这些具体细节的情况下被实践。是以示例方式参考处理视频即时消息传递(IM)环境中的数字视频流来描述的本发明。然而，应当理解本发明可应用于任何设备驱动器环境和/或任何数字数据处理环境中。从而，本发明不局限于视频流，而是也可能在静止图像或数字照片方面得到应用。
在一个典型实施例中，所选择的视频效果先被自动添加到捕获到的视频流，然后才生成经修改的视频流以便被传输到位于远程查看位置处的显示设备。因此，在此示例性实施例中，不需要对视频效果进行进一步的效果处理来显示经修改的视频流。如下面更详细描述的，视频效果可以模拟所选择的捕获被成像的视频的环境。例如，特定捕获位置，天气条件，特殊效果等等可能在捕获位置处被模拟。例如，诸如雪之类的天气条件可以通过把雪效果添加到捕获到的图像中来模拟。在一个典型实施例中，视频效果是模拟噱头性的视频捕获环境的噱头(gimmick)效果或有趣效果。在另一个典型实施例中，视频效果是插入手动绘制的图、和/或带格式的字、和/或辅助图像和/或改变视频捕获屏外观的预定义的形状。针对本说明书的目的，术语“噱头”是想要包括特技效果、伪造的或模拟的环境、有趣效果等等。然而应当理解效果并不局限于这样的效果。当本发明应用于IM环境中时，模拟的视频效果可以在捕获位置处或查看位置处被添加。
在一个典型或示例性实施例中，提供了可被部署在即时消息传递(IM)环境中的视频设备驱动器。正如本领域技术人员所公知的，即时消息传递是一种通信方法，其允许用户与一个或多个其它个体创建一种私密的通信或聊天室。通信可能是实时(或接近实时)发生的文本通信、语音通信和/或视频通信。此外，视频和文本IM可以利用任何计算机设备(例如个人计算机(PC)，个人数字助理(PDA)等等)来利用诸如因特网之类的通信网络进行，利用蜂窝电话网络(例如利用蜂窝电话)进行或利用任何其它的通信网络进行。
目前存在多种可供经由因特网下载的IM应用程序，其提供视频和文本即时消息传递或会议。这种应用程序的示例是Yahoo即时消息传递器、MSN即时消息传递器和AIM(AOL即时消息传递器)。这些应用程序允许用户使用诸如网络摄像头之类的相对便宜的视频捕获设备来进行视频IM(视频会议)。应当理解这些典型IM应用程序中的每一种都允许这个功能，而不管使用的视频捕获设备的实际类型如何(例如是网络摄像头还是视频摄像机)。每个视频捕获设备具有相关的设备驱动器，以便以接口方式将特定捕获设备连接到不同IM应用程序中的任何一种。IM应用程序的改变(例如软件升级)一般不需要用于视频捕获设备的设备驱动器的任何改变。
设备驱动器一般充当计算机应用程序(和计算机操作系统)与几乎所有不在计算机主板上的硬件之间的翻译器。在视频IM应用程序中，视频捕获设备的设备驱动器充当IM应用程序(例如Yahoo即时消息传递器、MSN即时消息传递器以及AIM)和视频捕获设备之间的翻译器。
参考附图，计算机系统10被示为分别包括典型硬件和软件层12、14。硬件层14示出视频捕获设备16，但是应当理解，可以提供若干其它硬件设备(例如打印机、声卡、图形卡、CD读取器/记录器、DVD读取器/记录器等等)。软件层12被示为包括IM应用程序18、操作系统20和视频设备驱动器22，该视频设备驱动器22根据本发明还与视频捕获设备16相关联。正如下面更详细描述的，在一个实施例中，视频设备驱动器22在传输过程中(on-the-fly)向由视频捕获设备16捕获到的视频图像或流添加特殊效果。
IM应用程序18可以是诸如Yahoo即时消息传递器、MSN即时消息传递器、AOL即时消息传递器之类的多个不同IM应用程序(包括遗留应用程序)中的任何一种。所述操作系统20例如可以是基于Windows的操作系统(例如Windows XP)、UNIX系统、Apple的Macintosh操作系统、Linux或任何其它操作系统。在一个典型实施例中，系统10经由因特网传输视频和文本即时消息。因此，视频捕获设备16可以是网络摄像头(例如可以从Creative Labs有限公司、Logitech、Labtech、D-Link获得的网络摄像头或任何其它图像捕获设备)。然而，应当理解，系统10的软件层12和硬件层14仅仅是示例性的层，并且在不同的实施例中，可以忽略或组合一个或多个软件层12，并且可以提供其他软件层12。同样地，可以提供多个设备驱动器(例如用于打印机、声卡、图形卡等等)。
视频设备驱动器22可以是由视频捕获设备16的制造商写入的适当的设备驱动器。如上所述，视频设备驱动器22可以充当IM应用程序18和视频捕获设备16之间的翻译器，并且可以包括多个文件(例如.dll文件、.sys文件、.drv文件等等)。视频设备驱动器22还被示为包括各种功能层24、26、28(参见图2)。每个功能层24、26、28可以对从视频捕获设备16接收到的视频流30执行各种操作。在一个典型实施例中，视频设备驱动器22包括两个典型处理模块，即视频处理模块32和效果处理模块34。虽然处理模块32、34被示为分离的模块，但是应当理解，它们的功能可以被集成到单个模块中，并且因此模块32和34可以形成一个集成的软件单元。然而，应当要理解，这些模块也可以是位于视频设备驱动器22内的相分离的功能模块或软件单元。在一个典型实施例中，效果处理模块34定义与IM应用程序18和可包括传统网络摄像头设备的驱动器视频处理模块32联合操作的虚拟驱动器。
在一个典型实施例中，视频处理模块32包括硬件接口模块，该硬件接口模块与视频捕获设备接口，而效果处理模块34可以定义选择模块，该选择模块选择用于对捕获到的视频图像进行滤波从而引入特殊效果的滤波器。
视频处理模块32可以包括传统的视频处理功能(多个驱动器文件)以处理从网络摄像头接收到的视频流。视频处理模块32例如被示为包括脸部跟踪功能36、运动检测功能38以及本领域技术人员已知的多种其它功能40。然而，与现有技术的视频设备驱动器不同，视频设备驱动器22在设备驱动器本身中包括效果处理功能，该功能例如可以由效果处理模块34执行。因此，从视频捕获设备16接收到的视频流30也被馈送到效果处理模块34，然后效果处理模块34取得数字数据并且处理该数据以包括一个或多个选择的效果。
在一个典型实施例中，效果处理是实时地且在传输过程中执行的，然后经处理的视频流31被馈送到例如功能层26中。功能层26可以包括网络摄像头设备驱动器中常用的功能，例如亮度调整、饱和度调整、对比度调整等等。然而，除上述控制之外，功能层26还可以允许效果选择功能42。效果选择功能42允许IM应用程序18(例如Yahoo IM)与视频设备驱动器22交互，以便用户可以定义被包括在视频流30中的效果。可以提供一个或多个其他功能层，以处理捕获到的视频流，其然后作为经处理或经修改的视频流33被馈送给IM应用程序18。
应当注意，在所说明的典型实施例中，效果是在视频设备驱动器22本身中而不是在IM应用程序18或计算机系统10上的任何其它应用程序中被引入视频流中的。因此，处理视频流30以包括效果不取决于运行在系统10上的特定IM应用程序。例如，在IM应用程序18被更新或改变的情况下，效果处理功能不受影响。
此外，效果处理模块34还可以包括绘画/涂鸦子模块35，其允许在视频流被IM应用程序18接收之前，向视频流30添加手动绘制的图和/或带格式的字和/或辅助图像。这种效果的添加改变视频捕获屏的外观。
效果处理模块34可以包括效果库44中提供的多个不同的效果。效果库44被示为例如包括重影效果46、火焰效果48、雪效果50、水效果52、时代广场效果54以及多个其它效果56。在使用中，正如更详细描述的，用户可以经由IM应用程序18从效果库44中选择至少一个效果，然后该效果在视频流30被IM应用程序18接收之前被添加到视频流30。从而视频效果可以模拟图像捕获位置处的环境。
在一个典型实施例中，效果库44包括多个数字滤波器。例如，一个数字滤波器可以提供重影效果46，另一个数字滤波器可以提供火焰效果48，另一个数字滤波器可以提供雪效果50，等等。应当理解，可以用不同的数字滤波器(例如在一个或多个驱动器文件上定义)创建多种不同的效果。因此，在一个典型实施例中，效果处理模块34使用一个或多个所选择的滤波器来对视频设备驱动器22中的视频流30进行滤波，从而实时地或在传输过程中引入效果。引入的效果可能是幽默的、平常的等等(噱头性的)，以增强/改变由发送者正与之进行即时消息传递或视频会议的远程查看者所接收和看到的视频图像。
图3示出根据本发明的典型图形用户接口50，其由IM应用程序18响应于取得视频设备驱动器22中提供的文件而生成。GUI50包括工具栏52，以允许用户执行编辑功能、查看功能、联系人功能和帮助功能。GUI50还包括单选按钮54，以允许用户选择网络摄像头IM56、文本IM58、语音IM60、照片IM62、会议IM64以及执行搜索功能66。应当理解，在不同实施例中，可提供各种其它字段和单选按钮。应当理解，视频效果也可被应用到诸如照片IM62之类的静止图像。
典型GUI50包括文本输入字段68、已发送文本字段70和发送按钮72。例如，在用户希望开始视频IM会话的情况下，用户可以使用诸如鼠标之类的指示设备来选择网络摄像头IM56以启动会话。响应于此，典型图形用户接口80(参见图4A)可以在显示窗口82中显示由视频捕获设备16捕获到的图像。正如传统视频IM的情况那样，GUI80允许用户通过激活广播按钮84来广播视频流；使用暂停按钮86来暂停广播；或使用典型按钮88提供有关的功能。GUI80还包括工具栏90，以允许用户执行传统的IM功能。图4B示出典型的经处理或经修改的视频流或图像100，其包括已被添加到由设备驱动器22所接收的视频流30中的一个或多个特殊效果(例如雪效果50)。在另一个例子中，图4C示出典型的经处理或经修改的视频流或图像101，其包括已被添加到由设备驱动器22所接收的视频流30中的一个或多个绘画/涂鸦印记，例如手绘的心51和带格式的文本53。从而，参与视频IM会话的人会看到包括特殊效果的由视频捕获设备16捕获到的图像，该特殊效果是在传输过程中包括进来的。在示例性实施例中，特殊效果可被添加到图像本身。例如，使用IM应用程序18的交谈方可以将效果添加到图像。例如，当网络摄像头正对准第一用户的脸时，IM应用程序18可以允许第二用户向第一用户的脸添加(从而向接收自第一用户的图像添加)胡须/胡茬(或任何其它效果)。经修改的图像随后可被传输给第一用户，以便所述效果对于第一用户来说可见。在示例性实施例中，由第二用户添加的效果可以被第一用户实时地看到。应当理解，添加到图像的效果可能得自效果库，或者是由第二用户在传输过程中创建的。
为了允许用户选择由视频设备驱动器22提供的不同效果，IM应用程序18提供IM偏好设置图形用户接口110(参见图5)。一般地，在诸如Yahoo即时消息传递器、MSN即时消息传递器、AIM之类的传统的IM应用程序中，当用户选择偏好设置或高级标签时，IM应用程序18从视频设备驱动器22取得特定的高级细节。例如，视频设备驱动器22可以包括一个或多个文件，IM应用程序18取得这些文件以生成高级或消息传递器偏好设置显示屏。这种显示屏或GUI的示例是GUI110。GUI110被示为包括典型摄像头设置按钮112、摄像头源按钮114以及允许用户定义高级或用户偏好设置的各种其它复选框116以及单选按钮118。然而，除上述按钮外，根据本发明，GUI110还包括效果设置按钮120以及绘画/涂鸦功能按钮121。正如下面更详细描述的，效果设置按钮120以及绘画/涂鸦功能按钮121允许用户选择由视频设备驱动器22提供的一个或多个效果，这些效果随后被包括在从视频捕获设备(例如网络摄像头)接收到的视频流30中。
图6A示出典型图形用户接口130，其是在选择(例如用鼠标点击)GUI110的效果设置按钮120时被呈现给用户的(参见图5)。可由用户利用GUI130随意选择的各种视频效果对应于视频设备驱动器22的效果库44中提供的那些效果。例如，为了在图像100中包括雪效果(参见图4B)，用户将选择雪按钮132，其于是将被设置为效果处理模块34中的被请求效果。因此，在一个典型实施例中，效果处理模块34随后将利用视频设备驱动器22中提供的数字滤波器来将雪效果创建或包括到视频流30中，该视频流随后被传输到IM应用程序18，如图2中的箭头33所示。典型按钮134、136、138、140、142允许用户指示效果处理模块34分别包括重影效果46、火焰效果48、水效果52、时代广场效果54及其它效果56。应当注意，由于效果功能可以用传统IM应用程序中的高级或偏好设置菜单来选择，因此要想允许传统或遗留IM应用程序包括由视频设备驱动器22提供的功能，并不需要对其做出软件改变。
图6B示出典型图形用户接500，其是在选择(例如鼠标点击)GUI110的绘画/涂鸦功能按钮121时被呈现给用户的(参见图5)。例如，为了在图像101中包括手绘的心51(参见图4C)，用户将会选择绘线按钮502，其于是将被设置为效果处理模块34中的被请求效果。因此，在一个典型实施例中，效果处理模块34随后将利用视频设备驱动器22中提供的数字滤波器来将手绘的心51创建或包括到视频流30中，该视频流随后被传输到IM应用程序18，如图2中的箭头33所示。典型按钮504、506、508、510、512、514允许用户指示效果处理模块34分别包括喷雾绘画、辅助图像、带格式的文本、预定义的形状、擦除功能以及填充功能。在典型实施例中，调色板516可以被用户用来选择线/喷雾/填充颜色。线和喷雾的浓度可以由用户定义。选择按钮506可以激活辅助图像的图库，以供用户选择辅助图像，或者用户可以选择要结合到图像101中的特定图像文件。辅助图像例如可以是星星、心、蛋糕、动物、笑脸等等。选择按钮508可以激活另一个菜单，以便选择要使用的字体类型和字体大小。选择按钮510可以允许用户选择预先选择的将被结合到图像101中的常见形状，比如星形、三角形、正方形、五边形等等。应当注意，由于效果功能可以用传统IM应用程序中的高级或偏好设置菜单来选择，因此要想允许传统或遗留IM应用程序包括由视频设备驱动器22提供的功能，并不需要对其做出软件改变。
在图7中，标号150示出根据本发明的图像处理方法的示意性流程图，所述图像处理方法是在诸如设备驱动器22之类的设备驱动器中执行的。尽管是参考设备驱动器22来描述方法150的，但是应当理解，所述方法也可以被部署在以接口方式将图像捕获设备(静止和视频图像两者)连接到任何应用程序的任何设备驱动器中。
如操作152处所示，方法150接收来自诸如视频捕获设备16的图像的视频流30。然后，在判定操作154处，确定是否要将一个或多个效果包括或添加到视频流30中。如果不添加效果，则方法可以如操作156处所示对视频流执行传统处理功能，并且返回到操作152。应当注意，效果包括利用绘画/涂鸦子模块35进行的插入。
然而，如果选择包括效果，则方法150前进到操作158，在这里识别所选择的效果。当所选择的效果是用一个或多个数字滤波器来实现的时，方法150取得用于所选择的效果的滤波器参数(参见操作160)。用于所选择的效果的滤波器参数可以由设备驱动器16的一个或多个文件提供。如操作162处所示，然后例如由效果处理模块34利用所选择的滤波器来处理视频流30。
应当理解，方法150既可对视频流30执行效果处理(参见操作158-162)，又可对其执行传统处理功能(参见操作156)。此外，可以按任何顺序执行效果处理和传统处理功能。
然而，应当理解，每个用于生成相关的特殊效果的滤波器可以具有不同的转移函数，并且上述转移函数仅仅是这种函数的一个示例。
图8示出根据本发明的实施例的典型的基于因特网的视频即时消息传递系统170。系统170包括网络摄像头172，其捕获图像并且将图像数据传输到微型流式驱动器174(例如Windows Driver Model(WDM))，该微型流式驱动器174在典型实施例中将视频数据传输到DirectShow滤波器176。由DirectShow滤波器176输出的视频数据被馈送到多个特殊效果滤波器178。特殊效果滤波器178可以引入如上所述的特殊效果。一旦所选择的特殊效果已经被引入到捕获到的图像中，视频数据就被馈送到虚拟的网络摄像头模块180，该模块例如将包括一个或多个特殊效果的视频流传输到一个或多个其它应用182、AOL IM应用184、MSN IM应用186、Yahoo IM应用188或任何其它应用。
图9示出由系统170生成的示例性图形用户接口200。GUI200包括视频效果选项窗格，其提供“关闭”单选按钮204，以允许在捕获位置处捕获视频的用户禁止在视频IM中包括任何视频效果。“打开”单选按钮206允许用户启用一个或多个视频效果。对一个或多个视频效果的选择可以用下拉式菜单208来完成。尽管下拉式菜单208仅仅示出一个典型视频效果(背景-时代广场)，但是应当理解，在菜单中可以提供任何数目的视频效果选项，就像图10中示例性地示出地那样。此外，GUI200可以包括升级按钮210，以取得更多的视频效果，然后这些视频效果例如可以经由因特网连接被下载。
在一个典型实施例中，视频设备驱动器22是USB驱动器(例如USB1.1或USB2.0)、Firewire驱动器(IEEE1394)或使用任何其它通信协议的任何其它驱动器。还应当理解，视频设备驱动器的效果功能可以被包括在蜂窝电话或任何其它能够捕获静止和运动图像的移动设备中。在某些实施例中，经修改的图像可以被加密。
图11示出采取典型的计算机系统300的形式的机器的图示，在该计算机系统内，执行用于促使机器执行这里所论述的方法中的任何一种的一组指令。在另一种实施例中，机器充当独立的设备，或者可以被连接(例如联网)到其它机器。在联网部署中，机器可以作为服务器-客户机网络环境中的服务器或者客户端工作，或者作为对等(或分布式)网络环境中的对等机器工作。该机器可以是服务器计算机、客户端计算机，个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web设备、网络路由器、交换机或网桥或者任何能够执行指定将由该机器采取的动作的一组指令(顺序的或其他方式的)的机器。此外，虽然仅仅举例说明了单个机器，但是术语“机器”应当也被理解为包括独立地或联合地执行一组(或多组)指令以执行这里所论述的方法中的任何一种或多种的机器的任何集合。
典型计算机系统300包括处理器302(例如中央处理器(CPU)、图形处理单元(GPU)，或两者)、主存储器304和静态存储器306，它们经由总线308彼此通信。计算机系统300还可以包括视频显示单元310(例如液晶显示器(LCD)或阴极射线管(CRT))。计算机系统300还包括字母数字输入设备312(例如键盘)、光标控制设备314(例如鼠标)、盘驱动单元316、信号生成设备318(例如扬声器)和网络接口设备320。
盘驱动单元316包括机器可读介质322，其上存储了体现这里所描述的方法或功能中的任何一个或多个的一组或多组指令(例如软件324)。软件324在被计算机系统300执行期间，也可以完全地或至少部分地驻留在主存储器304内和/或处理器302内，主存储器304和处理器302也构成机器可读介质。
软件324还可以经由网络接口设备320通过网络326被发送或接收。
虽然机器可读介质322在典型实施例中被示为单个介质，但术语“机器可读介质”应被理解为包括单个介质或多个介质(例如集中式或分布式数据库，和/或相关的缓存和服务器)，它们存储一组或多组指令。术语“机器可读介质”还应当被理解为包括能够存储、编码或携带供机器执行且促使机器执行本发明的方法中的任何一种或多种的一组指令的任何介质。因此术语“机器可读介质”应当被理解为包括但不局限于固态存储器、光和磁介质以及载波信号。
从而，已经描述了处理诸如视频流之类的数字图像的方法和系统。尽管已经参考特定的典型实施例描述了本发明，但是很明显，在没有脱离本发明的更宽的精神和范围的情况下，可以对这些实施例进行各种的修改和改变。因此，应当从说明意义而不是限制意义上来看待说明书和附图。

Claims (28)

1.一种由设备驱动器执行的处理即时消息的方法，该方法包括：
接收来自图像捕获设备的捕获到的图像；
从多个图像效果中选择至少一个图像效果；
生成包括所述至少一个图像效果的经修改的图像；以及
将所述经修改的图像作为所述即时消息传输到查看位置，
其中，所述经修改的图像的生成使得不需要对该图像效果进行进一步的效果处理来显示所述经修改的图像。
2.如权利要求1所述的方法，其中所述捕获到的图像是捕获到的视频流，所述至少一个图像效果是从多个视频效果中选择出来的视频效果。
3.如权利要求2所述的方法，其包括经由即时消息传递应用生成图形用户接口以允许用户从所述多个视频效果中选择所述至少一个视频效果。
4.如权利要求2所述的方法，其包括接收来自网络摄像头的捕获到的视频流，并且经由因特网将所述经修改的图像作为经修改的视频流传输到所述查看位置。
5.如权利要求4所述的方法，其包括在所述查看位置处将附加视频效果添加到所述捕获到的视频流，并且将具有附加视频效果的捕获到的视频流重新发送给用户。
6.如权利要求4所述的方法，其包括利用下载设备将附加视频效果添加到所述多个视频效果。
7.如权利要求3所述的方法，其中所述方法是在设备驱动器中执行的，该设备驱动器用于以接口方式将所述图像捕获设备连接到与所述设备驱动器相关联的即时消息传递应用。
8.如权利要求7所述的方法，其中所述设备驱动器被配置为与从AOL即时消息传递器、MSN即时消息传递器和Yahoo即时消息传递器中选择出来的即时消息传递应用进行通信。
9.如权利要求7所述的方法，其中所述设备驱动器包括所述多个视频效果，每个视频效果是可以经由与所述设备驱动器相关联的所述即时消息传递应用来选择的。
10.如权利要求2所述的方法，其中所述视频效果是用于模拟图像捕获位置处的环境的噱头效果。
11.如权利要求2所述的方法，其中所述视频效果是结合至少一个对象以改变所述捕获到的图像的外观，其中所述对象是从包括以下对象的群组中选择出来的：绘画、辅助图像、预定义的形状以及带格式的文本。
12.如权利要求2所述的方法，其中生成所述经修改的图像包括通过利用与所选择的至少一个视频效果相对应的滤波器处理所述捕获到的图像来生成经修改的视频流。
13.如权利要求12所述的方法，其中在图像捕获位置提供生成所述多个视频效果的多个数字滤波器，所述方法包括：
选择所述多个数字滤波器中的一个，从而选择所述至少一个视频效果；以及
利用所选择的数字滤波器对所述捕获到的图像进行滤波，以提供所述经修改的视频流。
14.如权利要求2所述的方法，其中所述即时消息是由即时消息传递应用生成的视频即时消息，所述方法包括在将所述捕获到的视频流传输到所述即时消息传递应用之前，将所述至少一个视频效果添加到所述视频流中。
15.一种处理即时消息的图像处理系统，该系统包括：
硬件接口模块，用于接收来自图像捕获设备的捕获到的图像；
选择模块，用于从多个图像效果中选择至少一个图像效果；以及
处理模块，用于生成包括所述至少一个图像效果的经修改的图像，所述经修改的图像用于作为所述即时消息被传输到查看位置，
其中，所述经修改的图像的生成使得不需要对该图像效果进行进一步的效果处理来显示所述经修改的图像。
16.如权利要求15所述的系统，其中所述捕获到的图像是视频流，所述至少一个图像效果是从多个视频效果中选择出来的视频效果。
17.如权利要求16所述的系统，其中所述处理模块将所述经修改的视频流传输到即时消息传递应用，该即时消息传递应用生成图形用户接口以允许用户从所述多个视频效果中选择所述至少一个视频效果。
18.如权利要求16所述的系统，其中所述处理模块是在设备驱动器中提供的，该设备驱动器用于以接口方式将所述图像捕获设备连接到与所述设备驱动器相关联的即时消息传递应用。
19.如权利要求18所述的系统，其中所述设备驱动器包括多个特殊效果，每个特殊效果是可以经由与所述设备驱动器相关联的所述即时消息传递应用来选择的。
20.如权利要求16所述的系统，其中所述视频效果是用于模拟图像捕获位置处的环境的噱头效果。
21.如权利要求16所述的系统，所述视频效果是结合至少一个对象以改变所述捕获到的图像的外观，其中所述对象是从包括以下对象的群组中选择出来的：绘画、辅助图像、预定义的形状以及带格式的文本。
22.如权利要求16所述的系统，其包括多个数字滤波器，每个数字滤波器对应于可选择的视频效果，其中所述处理模块利用与所选择的至少一个视频效果相对应的数字滤波器对所述捕获到的图像进行滤波以生成所述经修改的视频流。
23.一种处理即时消息的处理系统，该系统包括：
用于接收来自图像捕获设备的捕获到的图像的装置；
用于从多个图像效果中选择至少一个图像效果的装置；
用于生成包括所述至少一个图像效果的经修改的图像的装置；以及
用于将所述经修改的图像作为所述即时消息传输到查看位置的装置，
其中，所述经修改的图像的生成使得不需要对该图像效果进行进一步的效果处理来显示所述经修改的图像。
24.一种处理视频流的方法，该方法包括：
在视频捕获位置处捕获所述视频流；
在将所述视频流传输到查看位置之前，
生成提供多个视频效果选项的用户接口；
监视用户对所述视频效果选项中的至少一个的选择；
处理所述视频流以引入由所选择的至少一个视频效果所标识的视频效果；以及
将所述经修改的视频流传输到所述查看位置，
其中，所述经修改的图像的生成使得不需要对该视频效果进行进一步的效果处理来显示所述经修改的视频流。
25.如权利要求24所述的方法，其包括在所述查看位置处将附加视频效果添加到所述经修改的视频流，并且将具有附加视频效果的经修改的视频流重新发送给用户。
26.如权利要求24所述的方法，其中所述视频效果是用于模拟图像捕获位置处的环境的噱头效果。
27.如权利要求24所述的方法，其中所述视频效果是结合至少一个对象以改变所述捕获到的视频流的外观，其中所述对象是从包括以下对象的群组中选择出来的：绘画、辅助图像、预定义的形状以及带格式的文本。
28.如权利要求24所述的方法，其中，所述视频流是由一视频捕捉设备在所述视频捕获位置处捕获的，并且
其中所述方法是在设备驱动器中执行的，该设备驱动器用于以接口方式将所述视频捕获设备连接到与所述设备驱动器相关联的应用。
CN2006100592438A 2005-02-02 2006-02-01 处理视频效果的方法和系统 Active CN1819648B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US64922905P 2005-02-02 2005-02-02
US60/649,229 2005-02-02

Publications (2)

Publication Number Publication Date
CN1819648A CN1819648A (zh) 2006-08-16
CN1819648B true CN1819648B (zh) 2011-12-14

Family

ID=36406846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100592438A Active CN1819648B (zh) 2005-02-02 2006-02-01 处理视频效果的方法和系统

Country Status (5)

Country Link
US (1) US8850319B2 (zh)
EP (1) EP1689155B1 (zh)
CN (1) CN1819648B (zh)
AU (1) AU2006200425B2 (zh)
SG (3) SG124415A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724287B2 (en) * 2006-07-31 2010-05-25 Hewlett-Packard Development Company, L.P. Sketch effect for digital photographs
US7839434B2 (en) * 2006-08-04 2010-11-23 Apple Inc. Video communication systems and methods
US8954851B2 (en) * 2006-09-15 2015-02-10 Microsoft Corporation Adding video effects for video enabled applications
TWI335178B (en) * 2006-12-20 2010-12-21 Asustek Comp Inc Apparatus, system and method for remotely opearting multimedia streaming
CN101212677B (zh) * 2006-12-29 2010-09-29 华硕电脑股份有限公司 多媒体串流操作装置及多媒体串流传输方法
US20080193100A1 (en) * 2007-02-12 2008-08-14 Geoffrey King Baum Methods and apparatus for processing edits to online video
US20080201420A1 (en) * 2007-02-20 2008-08-21 William Wong Digital media frame with peer to peer networking
TW200838228A (en) * 2007-03-14 2008-09-16 Imagetech Co Ltd Virtual camera system and real-time communication method thereof
US20080256591A1 (en) * 2007-04-10 2008-10-16 Arcsoft, Inc. Virtual webcam and method thereof
WO2008138253A1 (fr) * 2007-05-16 2008-11-20 Tencent Technology (Shenzhen) Company Limited Appareil et procédé pour la saisie d'image de messagerie instantanée
US10269388B2 (en) * 2007-08-21 2019-04-23 Adobe Inc. Clip-specific asset configuration
TW200919365A (en) * 2007-10-30 2009-05-01 Sercomm Corp Image processing system and method thereof applied with instant messaging program
US8099462B2 (en) * 2008-04-28 2012-01-17 Cyberlink Corp. Method of displaying interactive effects in web camera communication
US8217985B2 (en) * 2008-06-06 2012-07-10 Creative Technology Ltd Method and apparatus for a recipient to adjust a video stream
US8639086B2 (en) 2009-01-06 2014-01-28 Adobe Systems Incorporated Rendering of video based on overlaying of bitmapped images
US10320857B2 (en) * 2009-01-16 2019-06-11 International Business Machines Corporation Hybrid synchronous/asynchronous means for sharing user interactions across multiple devices
US20100247062A1 (en) * 2009-03-27 2010-09-30 Bailey Scott J Interactive media player system
CN101631170B (zh) * 2009-08-11 2012-05-23 中兴通讯股份有限公司 一种座席模块、客户服务系统及客户服务实现方法
US20120287224A1 (en) * 2011-05-12 2012-11-15 Nicholaz F. Paris Video chat within a webpage and video instant messaging
US9411506B1 (en) * 2011-06-28 2016-08-09 Google Inc. Providing additional functionality for a group messaging application
US9030571B2 (en) 2012-07-11 2015-05-12 Google Inc. Abstract camera pipeline for uniform cross-device control of image capture and processing
WO2014093713A1 (en) * 2012-12-12 2014-06-19 Smule, Inc. Audiovisual capture and sharing framework with coordinated, user-selectable audio and video effects filters
US9459768B2 (en) 2012-12-12 2016-10-04 Smule, Inc. Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters
US9648274B2 (en) * 2014-01-21 2017-05-09 Avaya, Inc. Coordinated video-phone overlay on top of PC desktop display
US9258516B2 (en) * 2014-03-14 2016-02-09 Tribune Broadcasting Company, Llc News production system with display controller
US10083414B1 (en) * 2014-04-01 2018-09-25 Tribune Broadcasting Company, Llc News production system with device control using multiple protocols
CN105245948B (zh) * 2014-06-26 2019-02-05 北京新媒传信科技有限公司 视频处理方法和装置
EP2975841A1 (en) * 2014-07-17 2016-01-20 HTC Corporation Method for performing a video talk enhancement function and an electric device having the same
US10147160B2 (en) * 2015-09-30 2018-12-04 Ricoh Company, Ltd. Image management apparatus and system, and method for controlling display of captured image
US10622021B2 (en) * 2016-02-19 2020-04-14 Avcr Bilgi Teknolojileri A.S Method and system for video editing
US11019305B2 (en) * 2018-01-12 2021-05-25 Facebook, Inc. Coordinated effects in videos
US11372698B2 (en) 2018-01-12 2022-06-28 Meta Platforms, Inc. Coordinated effects in experiences
US11102264B2 (en) 2018-01-12 2021-08-24 Facebook, Inc. Methods and systems for initiating a coordinated effect
US11089238B2 (en) * 2019-01-18 2021-08-10 Snap Inc. Personalized videos featuring multiple persons
US11604562B2 (en) 2020-06-10 2023-03-14 Snap Inc. Interface carousel for use with image processing software development kit

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020916A (en) * 1997-12-31 2000-02-01 At&T Corp Videophone multimedia interactive on-hold information menus
US20040260669A1 (en) * 2003-05-28 2004-12-23 Fernandez Dennis S. Network-extensible reconfigurable media appliance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703995A (en) * 1996-05-17 1997-12-30 Willbanks; George M. Method and system for producing a personalized video recording
AU6515600A (en) * 1999-08-03 2001-02-19 Videoshare, Inc. Instant video messenger
JP2001306342A (ja) * 2000-04-20 2001-11-02 Victor Co Of Japan Ltd ネットワークでのデジタルデータのエフェクト処理方法およびシステム、エフェクトサーバおよびユーザ端末とデジタルデータのエフェクト処理プログラムを記録した記録媒体、エフェクトサーバおよびユーザ端末における処理プログラムを記録した記録媒体
US7779117B2 (en) * 2002-05-31 2010-08-17 Aol Inc. Monitoring digital images
US20040039934A1 (en) * 2000-12-19 2004-02-26 Land Michael Z. System and method for multimedia authoring and playback
WO2003001770A2 (en) * 2001-06-22 2003-01-03 Emblaze Systems, Ltd. Mms system and method with protocol conversion suitable for mobile/portable handset display
JP2003091347A (ja) * 2001-09-18 2003-03-28 Sony Corp 情報処理装置、並びに画面表示方法、画面表示プログラム及び画面表示プログラムが記録された記録媒体
US20030189581A1 (en) * 2002-04-08 2003-10-09 Nasoff David G. Content based window filtering for simultaneous display of multiple high-quality video and graphics windows
US7917935B2 (en) * 2004-10-01 2011-03-29 Logitech Europe S.A. Mechanical pan, tilt and zoom in a webcam

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020916A (en) * 1997-12-31 2000-02-01 At&T Corp Videophone multimedia interactive on-hold information menus
US20040260669A1 (en) * 2003-05-28 2004-12-23 Fernandez Dennis S. Network-extensible reconfigurable media appliance

Also Published As

Publication number Publication date
AU2006200425B2 (en) 2011-03-31
US20060195786A1 (en) 2006-08-31
SG124415A1 (en) 2006-08-30
EP1689155A1 (en) 2006-08-09
SG193150A1 (en) 2013-09-30
CN1819648A (zh) 2006-08-16
SG145687A1 (en) 2008-09-29
US8850319B2 (en) 2014-09-30
EP1689155B1 (en) 2018-05-02
AU2006200425A1 (en) 2006-08-17

Similar Documents

Publication Publication Date Title
CN1819648B (zh) 处理视频效果的方法和系统
US10607382B2 (en) Adapting content to augumented reality virtual objects
KR100854253B1 (ko) 리치 미디어 툴들을 포함하는 통신 방법 및 장치
CN1988516B (zh) 控制应用于即时消息发送会话的保密级别的方法和系统
CN102368196A (zh) 客户端内容发送窗口中编辑动态图片的方法、终端及系统
CN108370323A (zh) 经由网络进行的会议
US9563876B2 (en) Control options for instant message display and notification
CN106846040A (zh) 一种直播间中虚拟礼物显示方法和系统
CN102368749B (zh) 即时通信联系人列表中呈现个性图样的方法及系统
CN106534875A (zh) 弹幕显示控制方法、装置及终端
CN105207886B (zh) 即时通信消息的发送、显示方法及发送、显示装置和系统
AU2001241645A1 (en) Communication system and method including rich media tools
US20060200517A1 (en) Method and apparatus for real time multi-party conference document copier
EP3074858A1 (en) Terminal device, screen sharing method, and screen sharing system
CN106789581A (zh) 即时通讯方法、装置及系统
JP6861287B2 (ja) 映像のための効果共有方法およびシステム
CN104023272A (zh) 一种视频画面编辑方法及装置
CN106134134A (zh) 即时消息传递
CN110019058A (zh) 文件操作的共享方法和装置
CN115567471A (zh) 用于会话消息呈现的方法、装置、设备和存储介质
CN107038201A (zh) 个人主页的显示方法、装置、终端及服务器
US8201098B1 (en) Sending application captures in personal communication
US20150007054A1 (en) Capture, Store and Transmit Snapshots of Online Collaborative Sessions
CN114221923B (zh) 消息处理方法、装置和电子设备
US20100292003A1 (en) Method, maker, server, system and recording medium for sharing and making game image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant