CN115562540A - 在视频通信会话中应用视频效果的方法 - Google Patents

在视频通信会话中应用视频效果的方法 Download PDF

Info

Publication number
CN115562540A
CN115562540A CN202110743213.3A CN202110743213A CN115562540A CN 115562540 A CN115562540 A CN 115562540A CN 202110743213 A CN202110743213 A CN 202110743213A CN 115562540 A CN115562540 A CN 115562540A
Authority
CN
China
Prior art keywords
video
participant
effect
effects
video effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110743213.3A
Other languages
English (en)
Inventor
J·朴
A·巴拉吉
A·邓
C·傅
A·李
李强
林文崇
B·凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zuma Video Communications
Original Assignee
Zuma Video Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zuma Video Communications filed Critical Zuma Video Communications
Priority to CN202110743213.3A priority Critical patent/CN115562540A/zh
Priority to US17/390,909 priority patent/US20230007189A1/en
Priority to PCT/US2022/035880 priority patent/WO2023278808A1/en
Priority to EP22748578.6A priority patent/EP4364403A1/en
Publication of CN115562540A publication Critical patent/CN115562540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种通信系统，包括一个或多个处理器，配置为执行以下操作：为视频通信会话内的多个参与者显示至少参与者子集和用户界面(UI)中的每一个的视频，该UI包括可选择的视频效果UI元素：接收参与者对视频效果UI元素的选择；响应于接收到该选择，显示用于修改与参与者对应的视频的外观和/或修改视频内的参与者的视觉表示的多个视频效果选项；接收参与者从多个视频效果中选择的视频效果；接收用于自定义至少要应用的视频效果量的子选择；和实时或基本实时地将所选量的所选视频效果应用到与参与者对应的视频。

Description

在视频通信会话中应用视频效果的方法
技术领域
本发明一般地涉及数字通信，并且更具体地，涉及用于将视频效果应用于视频通信会话内的参与者的视频的系统和方法。
背景技术
数字通信工具和平台对于为个人和组织提供远程通信和协作的能力至关重要，例如通过互联网。特别是，已经大量采用视频通信平台，允许在多个参与者之间进行远程视频会话。用于休闲友好对话(“聊天”)、网络研讨会、大型团体会议、工作会议或聚会、异步工作或个人对话等的视频通信应用程序已经大受欢迎。
随着远程视频对话的普遍性和普遍性，此类视频通信平台的用户经常发现自己处于背靠背的预定会议中，通常涉及同一参与者在一天中的多个会议中互相见面。对于那些在远程工作期间严重依赖此类视频平台的人来说，这一点尤其明显。一些用户报告说，经常在会议中看到相同的用户会感到单调，有时会持续很长时间。在某些情况下，某些用户也不愿意在此类会话期间播放他们自己的视频。
在一些基于视频的社交媒体网络中，用户可以在上传并在社交媒体网络中共享的视频中改变他们的外貌。例如，用户可能能够“佩戴”一副虚拟眼镜，它会出现在其他人观看的视频中。用户还可以将各种过滤器应用于视频，例如应用于整个视频的棕褐色调。这些修改和调整是针对其他用户稍后上传和观看的视频，因此不存在要求其他人实时或基本实时看到修改的处理限制。
另外，大部分的内容在这些服务被设计成短表内容(例如，1分钟的视频)或者说不会无限期封存，但短暂的内容意于成为不可用一段时间后。因此，这些努力应用了一种非常明显和大胆的效果，专为短视频内容而设计。它们也不允许用户进行更大程度的定制，包括调整所应用效果的强度或不透明度、调整颜色和/或样式以及其他方面的能力。它们也不允许用户采用更微妙的效果，这可能会让用户在会话期间通过提供轻微的增强而不是大胆的、粗鲁的效果来更舒适地启用他们的视频。
因此，数字通信工具和平台领域需要创建一种新的有用的系统和方法，用于将视频效果应用于视频通信会话中参与者的视频。正如发明人所发现的，问题的根源在于缺乏提供实时或基本上实时应用在实时视频馈送中的视频效果的能力，同时为用户提供定制和调整效果的各个方面的能力提供更微妙的整体效果，适合长时间观看。
发明内容
本发明通过使视频通信会话中的参与者能够将视频效果应用到他们的视频以向其他参与者展示而克服了现有问题。此类视频效果可以是应用于视频的过滤器、应用于参与者头部的附件、参与者面部的特征变化、应用于视频周边的框架或边框等。视频通信平台的用户可以进入设置界面以调整他们向视频会话内的其他参与者广播的视频的各种设置。在这些设置中，用户可以选择调整视频过滤器、工作室效果和/或其他效果。对于某些效果，然后会为用户提供辅助选项以沿滑块UI元素调整效果的不透明度或强度。
在一个实施例中，系统为视频通信会话内的多个参与者显示至少参与者子集和用户界面(UI)中的每一个的视频，该UI包括可选择的视频效果UI元素。该系统接收地上课由视频效果UI元素的参与者的选择。我N响应于接收到所述选择，所述系统显示
Figure RE-GDA0003278677840000021
一个品种的视频效果选项用于修改对应于参与者的视频和/或修改所述视频内的参加者的视觉表示的外观。然后，该系统接收地上课的选择通过从所述多个视频效果选项的视频效果选项的参与者，并且进一步接收地上课至少部分选定为定制待施加的视频效果的量。然后，该系统申请IES，实时或基本上实时的，在所选择的数量对选择的视频效果对应于参与者的视频。
附图说明
本发明总体上涉及数字通信，更具体地，涉及在通信或消息传递平台内提供敏感数据的包含的系统和方法。
从详细描述和附图中可以更好地理解本公开，其中：
图1是图示可以在一些实施例中执行的示例性方法的流程图；和
图2是图示根据一些实施例的包括视频通信会话内的不透明度滑块的工作室效果的一个示例实施例的图。
具体实施方式
在本说明书中，详细参考了本发明的具体实施例。在附图中示出了一些实施例或其方面。
举例来说，远程工作环境中的同事可能已经安排了整个下午的背靠背会议，在这些会议上，他们都将互相见面并进行互动。当这种充满会议的日子发生时，一些同事开玩笑说要连续第4个小时再次见面，而另一些同事则希望他们能穿些不同的东西，或者希望他们准备得更多一些，以便在整个视频中看起来更像样那天。苏珊后悔早上没有足够的时间来正确地整理她的头发，而彼得在第二次会议后停止启用他的视频，因为他没有看到保持视频的意义。
然而，通过本方法，每个同事都能够从各种不同的选项中选择视频效果。这些视频效果用于修改参与者从他们的设备流式传输的视频的外观，修改参与者在流式视频中的视觉表示，或两者兼而有之。此外，参与者可以通过滑块或类似的UI元素选择要在视频中显示的修改量，这允许从微妙的视频效果到夸张的视频效果(如果需要)或介于两者之间的任何效果。然后实时或基本实时地应用这些效果，从而在同事看到时立即生效。
图1是图示可以在一些实施例中执行的示例性方法的流程图。
在步骤2-10，系统显示视频通信会话内多个参与者中的每一个的UI，以及参与者的至少一个子集的每一个的视频。UI包括至少一个可选择的视频效果UI元素。在一些实施例中，UI还包括与参与者对应的参与者窗口。在一些实施方案中，V为每个至少参与者的子集的记意被相应参与者窗口内显示第在参与者。
在步骤220，系统接收参与者对视频效果UI元素的选择。在视频通信会话的参与者点击该UI元素或以其他方式选择该元素时，系统接收该选择。
在步骤230，系统显示多个视频效果选项，用于修改对应于参与者的视频的外观和/或修改视频内的参与者的视觉表示。
在步骤240，系统接收参与者从多个视频效果选项中选择的视频效果选项。参与者可以通过与参与者相关联的客户端设备来选择视频效果选项。
在步骤250，系统接收用于定制至少要应用的视频效果的量的子选择。在一些实施例中，要应用的效果量是实时或基本实时应用的视频效果的效果深度和/或不透明度量。在一些实施例中，这可以采用不透明度滑块UI 元素或类似UI元素的形式。此滑块允许用户在一系列值上滑动以拨入精确值，其中最低值相当于视频效果的无效果深度或零不透明度—即视频效果在视频中根本不可见—并且其中最高值等于视频效果的全效果深度或 100％全不透明度—即，视频效果在视频中可见并以全强度呈现。
在步骤260，系统实时地或基本上实时地将所选量的所选视频效果应用于与参与者对应的视频。
图2是图示根据一些实施例的包括视频通信会话内的不透明度滑块的工作室效果的一个示例实施例的图。参与者选择了特定样式的眉毛484，其自动出现在参与者的预览窗口中。眉毛选择了黑色。在颜色选项下方，出现不透明度滑块486，这是参与者可以选择的子选择以便选择要在视频内显示的效果量。参与者当前已将不透明度滑块设置在距最右侧设置(即完全应用视频效果的设置)距离的大约3/5处。因此，眉毛将在视频屏幕上出现3/5不透明。当参与者向左或向右拖动滑块UI元素到不同的值时，视频效果实时或基本实时地增加或减少不透明度。

Claims (20)

1.一种通信系统，包括一个或多个处理器，配置为执行以下操作：
为视频通信会话内的多个参与者显示至少参与者子集和用户界面(UI)中的每一个的视频，该UI包括可选择的视频效果UI元素；
接收参与者对视频效果UI元素的选择；
响应于接收到该选择，显示用于修改与参与者对应的视频的外观和/或修改视频内的参与者的视觉表示的多个视频效果选项；
接收参与者从多个视频效果中选择的视频效果；
接收用于自定义至少要应用的视频效果量的子选择；和
实时或基本实时地将所选量的所选视频效果应用到与参与者对应的视频。
2.根据权利要求1所述的系统，其特征在于，所述多个视频效果选项中的一个或多个还包括围绕与所述参与者对应的视频的周边插入框架和/或边界。
3.根据权利要求1所述的系统，其特征在于，所述多个视频效果选项中的一个或多个包括向视频内的参与者的视觉表示添加一个或多个附件或特征。
4.根据权利要求1所述的系统，其中要应用的视频效果的量包括实时或基本实时应用的视频效果的效果深度和/或不透明度量。
5.根据权利要求1所述的系统，还被配置为执行以下作：
在所应用的视频效果前面检测参与者的至少一只手；和
实时或基本实时地调整所选视频效果，使得手出现在视频效果上。
6.根据权利要求1所述的系统，其特征在于，所述参与者可以选择所应用的视频效果以应用于所有未来视频通信会话或应用于一系列重复视频通信会话中的所有未来重复视频通信会话。
7.根据权利要求1所述的系统，还被配置为执行以下作：
接收参与者对多个视频效果中的一个或多个附加视频效果的一个或多个附加选择；
接收一个或多个子选择，用于至少自定义要应用的一种或多种附加视频效果的数量；和
实时或基本上实时地将选定数量的一个或多个选定附加视频效果应用到与参与者对应的视频，使得附加视频效果与选定视频效果同时呈现。
8.根据权利要求1所述的系统，其特征在于，所述多个视频效果选项包括超出基本或默认视频效果组的一个或多个添加的视频效果选项。
9.根据权利要求8所述的系统，其特征在于，所述一个或多个添加的视频效果选项的至少一个子集已由第三方生成。
10.根据权利要求8所述的系统，其中所述一个或多个添加的视频效果选项的至少一个子集已经由所述参与者提交。
11.根据权利要求1所述的系统，其特征在于，所述多个视频效果选项中的一个或多个包括向与所述参与者对应的视频应用颜色或色调过滤器。
12.根据权利要求1所述的系统，其特征在于，可以在视频通信会话内跨对应于参与者的多个视频显示多个应用的视频效果。
13.根据权利要求1所述的系统，其中，在增强现实(AR)或虚拟现实(VR)环境中应用所述视频效果。
14.根据权利要求1所述的系统，还被配置为执行以下操作：
基于视频通信会话的设置，确定允许在视频通信会话内显示视频效果。
15.根据权利要求1所述的系统，还被配置为执行以下操作：
基于视频通信会话的设置，确定将在视频通信会话内禁用一个或多个视频效果选项；和
从多个视频效果选项中移除一个或多个视频效果选项。
16.根据权利要求1所述的系统，还被配置为执行以下操作：
基于显示UI的参与者客户端设备的设备设置，确定将在视频通信会话中禁用一个或多个视频效果选项；和
从参与者的UI内的多个视频效果选项而不是其他参与者的UI中移除一个或多个视频效果选项。
17.一种将视频效果应用于与视频通信会话内的参与者相对应的视频的方法，包括：
为视频通信会话内的多个参与者显示至少参与者子集和用户界面(UI)中的每一个的视频，该UI包括可选择的视频效果UI元素；
接收参与者对视频效果UI元素的选择；
响应于接收到该选择，显示用于修改与参与者对应的视频的外观和/或修改视频内的参与者的视觉表示的多个视频效果选项；
接收参与者从多个视频效果中选择的视频效果；
接收用于自定义至少要应用的视频效果量的子选择；和
实时或基本实时地将所选量的所选视频效果应用到与参与者对应的视频。
18.根据权利要求17所述的方法，还包括：
接收参与者对多个视频效果中的一个或多个附加视频效果的一个或多个附加选择；
接收一个或多个子选择，用于至少自定义要应用的一种或多种附加视频效果的数量；和
实时或基本上实时地将选定数量的一个或多个选定附加视频效果应用到与参与者对应的视频，使得附加视频效果与选定视频效果同时呈现。
19.根据权利要求17所述的方法，其特征在于，所述多个视频效果选项包括超出基本或默认视频效果组的一个或多个添加的视频效果选项。
20.根据权利要求17所述的方法，其中所述一个或多个添加的视频效果选项的至少一个子集已经由所述参与者提交。
CN202110743213.3A 2021-07-01 2021-07-01 在视频通信会话中应用视频效果的方法 Pending CN115562540A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110743213.3A CN115562540A (zh) 2021-07-01 2021-07-01 在视频通信会话中应用视频效果的方法
US17/390,909 US20230007189A1 (en) 2021-07-01 2021-07-31 Applying video effects within a video communication session
PCT/US2022/035880 WO2023278808A1 (en) 2021-07-01 2022-06-30 Applying video effects within a video communication session
EP22748578.6A EP4364403A1 (en) 2021-07-01 2022-06-30 Applying video effects within a video communication session

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110743213.3A CN115562540A (zh) 2021-07-01 2021-07-01 在视频通信会话中应用视频效果的方法

Publications (1)

Publication Number Publication Date
CN115562540A true CN115562540A (zh) 2023-01-03

Family

ID=84737027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110743213.3A Pending CN115562540A (zh) 2021-07-01 2021-07-01 在视频通信会话中应用视频效果的方法

Country Status (2)

Country Link
US (1) US20230007189A1 (zh)
CN (1) CN115562540A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510645B (zh) * 2020-04-27 2022-09-27 北京字节跳动网络技术有限公司 视频处理方法、装置、计算机可读介质和电子设备
US20230300176A1 (en) * 2022-03-17 2023-09-21 Snap Inc. Web calling system
US11825184B1 (en) * 2022-05-09 2023-11-21 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of accessories

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9207857B2 (en) * 2014-02-14 2015-12-08 EyeGroove, Inc. Methods and devices for presenting interactive media items
US10845982B2 (en) * 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US20160202882A1 (en) * 2015-01-14 2016-07-14 Lumyer Inc. Method and apparatus for animating digital pictures
US11120495B2 (en) * 2016-09-15 2021-09-14 GlamST LLC Generating virtual makeup products
US10085064B2 (en) * 2016-12-28 2018-09-25 Facebook, Inc. Aggregation of media effects
US11722764B2 (en) * 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11169675B1 (en) * 2019-06-28 2021-11-09 Snap Inc. Creator profile user interface
US20220157342A1 (en) * 2021-07-08 2022-05-19 Facebook Technologies, Llc Video Enhancements

Also Published As

Publication number Publication date
US20230007189A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
CN115562540A (zh) 在视频通信会话中应用视频效果的方法
US11444990B1 (en) System and method of enabling a non-host, participant-initiated breakout session in a videoconferencing system utilizing a virtual space, and simultaneously displaying a session view of a videoconferencing session and the participant-initiated breakout session
CN105849685B (zh) 用于图像区域的编辑选项
EP1314132B1 (en) Make-up and fashion accessory display method and system
US20020120674A1 (en) System and method for web presentation utilizing voice, voice-over, text, streaming images and escorted browsing, in real time
US20090033737A1 (en) Method and System for Video Conferencing in a Virtual Environment
US20020002586A1 (en) Methods and apparatus for creating and hosting customized virtual parties via the internet
US10979767B2 (en) Audio-visual content monitoring and quarantine system and method
US11722639B2 (en) Method and apparatus for capturing a group photograph during a video conference session
US20050172001A1 (en) Mobile shared group interaction
US20130305167A1 (en) Presenting data to electronic meeting participants
AU2001241645A1 (en) Communication system and method including rich media tools
WO2001067759A2 (en) Communication system and method including rich media tools
US6539099B1 (en) System and method for visual chat
US11140202B2 (en) Method and device for managing a conference
US11558563B2 (en) Systems and methods for immersive scenes
US20160349965A1 (en) Collaboration content sharing
US20050125505A1 (en) Picture providing service system and the method thereof
EP4324191A1 (en) Systems and methods for immersive scenes
Venolia et al. Wish you were here: being together through composite video and digital keepsakes
US20120240199A1 (en) Confidential presentations in virtual world infrastructure
WO2023278808A1 (en) Applying video effects within a video communication session
WO2008111085A2 (en) A method and system for blind dating in an electronic dating service
RU2218593C2 (ru) Способ телекоммуникаций в компьютерных сетях
US11489683B2 (en) System and method of dating through video profiles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication