CN113055628A - 显示视频通话数据 - Google Patents

显示视频通话数据 Download PDF

Info

Publication number
CN113055628A
CN113055628A CN202110308116.1A CN202110308116A CN113055628A CN 113055628 A CN113055628 A CN 113055628A CN 202110308116 A CN202110308116 A CN 202110308116A CN 113055628 A CN113055628 A CN 113055628A
Authority
CN
China
Prior art keywords
user
interface window
user interface
display
video call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110308116.1A
Other languages
English (en)
Inventor
A·乌斯贝戈
D·皮齐科尼
A·C·瓦斯英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN113055628A publication Critical patent/CN113055628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

一种设备，包括显示器、接口、存储器和处理器，所述接口被配置为在所述设备的用户与至少一个另一用户之间进行视频通话期间在设备与网络之间交换视频数据，所述存储器存储用于标识至少一个显示单元的信息，每个显示单元与至少一个另一用户中的一个相关联，所述处理器配置为在通话期间运行客户端应用程序可操作为：在所述显示器上的第一UI窗口中显示所接收到的视频；检测用户导航到包括至少一个显示单元中的一个的第二UI窗口；查询所述存储器以确定用于显示所接收到的视频的位置，并且作为回应，显示第二UI窗口以及控制从与第二用户接口窗口的显示单元相关联的所述另一用户接收到的视频以使其显示在所述显示单元的位置处。

Description

显示视频通话数据
本申请是申请号为201580019971.3的中国专利申请的分案申请。
背景技术
基于分组的通信系统允许设备(例如，个人计算机)的用户使用例如互联网协议(IP)的分组协议跨计算机网路进行通信。基于分组的通信系统能够用于各种类型的通信事件。能够建立的通信事件包括语音通话、视频通话、即时消息传递、语音信箱，文件传输等等。这些系统对用户是有益的，因为它们时常比起固网或移动网络显著地降低了成本。这特别是在远距离通信的情况。为了使用基于分组的系统，用户在他们的设备上安装和执行客户端软件。客户端软件提供基于分组的连接以及如注册和认证的其他功能。
通信系统允许设备的用户跨计算机网络，例如互联网，进行通信。能够建立的通信事件包括语音通话、视频通话、即时消息传递、语音信箱，文件传输等等。利用视频呼叫，除了语音信息外呼叫者能够查看对方的视频图像。这使得双方能够更自然地通信，因为面部表情也能够被传送，从而使视频通话更能够与面对面对话相媲美。
发明内容
视频通话期间，在设备上执行的客户端软件在设备的显示器上的用户接口窗口(例如，主视频呈现屏)中显示所接收到的视频数据。
发明人已经意识到已知的视频通话的问题。特别是由于当设备的用户导航离开主视频呈现屏时，已知的解决方案在覆盖屏幕上的主视图的浮动窗口中渲染接收到的视频，在这种情况下，窗口的位置可能掩盖用户想要在屏幕上查看的UI单元的用户视图。这在其中可用屏幕尺寸通常受到限制的移动设备上特别存在问题。已知的解决方案也是受限的，因为在多方视频通话期间浮动窗口只显示从活跃发言人接收的视频数据。
根据本公开的一方面，提供了一种用户设备，包括：显示器、网络接口、存储器以及一个或多个处理器，所述网络接口被配置为在所述用户设备的用户与至少一个另一用户之间进行视频通话期间在用户设备与通信网络之间发送和接收视频数据；所述存储器存储标识至少一个显示单元的信息，每一个显示单元与所述至少一个另一用户中的一个相关联；所述一个或多个处理器被配置为运行在所述视频通话期间可操作的通信客户端应用程序以：在所述显示器上的第一用户接口窗口中显示接收到的视频数据；检测所述用户设备的用户的导航到第二用户接口窗口的输入选择，所述第二用户接口窗口包括所述至少一个显示单元中的一个；查询所述存储器以确定用于显示所接收到的视频数据的位置，并且响应于所述查询在所述显示器上显示第二用户接口窗口，以及控制从与所述第二用户接口窗口的所述显示单元相关联的所述另一用户接收到的视频数据以使其显示在所述显示单元的位置。
根据本公开的另一方面，提供了一种在用户设备上实施的方法，所述方法包括：在经由所述用户设备的网络接口与所述至少一个另一用户进行视频通话期间，通过通信网络从所述至少一个另一用户接收视频数据；在所述用户设备的显示器上的第一用户接口窗口中显示所接收到的视频数据；检测所述用户设备的用户的导航到第二用户接口窗口的输入选择，所述第二用户接口窗口包括与所述至少一个另一用户中的一个相关联的显示单元；以及查询存储标识至少一个显示单元的信息的存储器，每一个所述显示单元与所述至少一个另一用户中的一个相关联，并且响应于所述查询在所述显示器上显示第二用户接口窗口，以及控制从与所述第二用户接口窗口的显示单元相关联的所述另一用户接收到的视频数据以使其显示在所述显示单元的位置。所述显示单元可以是图形图像。
根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序产品实施在非暂时性计算机可读介质上并且被配置为以使得当在用户设备的处理器上执行时在所述用户设备的用户与至少一个另一用户之间进行视频通话期间实施本文所述的任何方法。
提供本发明内容以简化形式引入下文在具体实施方式中将进一步描述的概念的选择。本发明内容不旨在识别权利要求主题的主要特征或关键特征，也不旨在用于限制权利要求主题的范围。
附图说明
为了更好地理解本公开以及示出如何将本公开付诸实施，现在将以示例的方式参考如下附图，在附图中：
图1示出通信系统；
图2示出用户终端示意图；
图3是显示接收到的视频通话数据的处理的流程图；
图4示出在第一用户接口窗口中显示接收到的视频通话数据的用户终端；
图5示出在第二用户接口窗口中显示接收到的视频通话数据的用户终端；
图6示出在第二用户接口窗口中显示接收到的视频通话数据的用户终端；以及
图7示出在第二用户接口窗口中显示接收到的视频通话数据的用户终端。
具体实施方式
图1示出通信系统100，包括与用户终端102相关联的第一用户104(用户A)和与用户终端108相关联的第二用户110(用户B)。用户终端102和108能够通过通信网络106在通信系统100中进行通信，从而允许用户104和110通过通信网络106彼此通信。通信网络106可以是具有提供用户终端102与第二用户终端108之间的通信信道的能力的任何适当的网络。例如，通信网络106可以是互联网或其他类型的网络，例如高数据速率移动网络，例如第三代(“3G”)移动网络。
应注意在可替代的实施例中，用户终端能够经由图1中未示出的另外的中介网络连接到通信网络106。例如，如果用户终端102是移动设备，那么它能够经由蜂窝移动网络(图1中未示出)，例如GSM或UMTS网络，连接到通信网络106。
用户终端102可以是，例如，移动电话、个人数字助理(“PDA”)、个人计算机(“PC”)(包括，例如WindowsTM、Mac OSTM和LinuxTM PC)、平板计算机、游戏设备或其他能够连接到通信网络106的嵌入式设备。用户终端102被布置为从用户A 104接收信息以及输出信息到用户A 104。
用户终端102执行通信客户端应用程序112，该程序由与通信系统100相关联的软件提供商提供。通信客户端应用程序112是在用户终端102中的本地处理器上执行的软件程序。通信客户端应用程序112在用户终端102处执行所需的处理，以便于用户终端102通过通信系统100发送和接收数据。在用户终端102处执行的通信客户端应用程序112可以被认证以通过呈现数字证书(例如，证明用户104是通信系统的真实订户——在WO2005/009019中进行了更详细的描述)而通过通信系统进行通信。
用户终端108可以对应于用户终端102。用户终端108在本地处理器上执行通信客户端应用程序114，通信客户端应用程序114对应于在用户终端102上执行的通信客户端应用程序112。用户终端108处的通信客户端应用程序114执行允许用户110通过网络106进行通信所需的处理，以与用户终端102处的通信客户端应用程序112执行允许用户A 104通过网络106进行通信所需的处理同样的方式。用户终端102和108是通信系统的端点。为清楚起见，图1只示出了两个用户(104和110)以及两个用户终端(102和108)，但本领域技术人员可知，通信系统100可以包括更多的用户和用户设备，以及可以使用在相应用户设备上执行的相应的通信客户端通过通信系统100进行通信。
图2示出了用户终端102的详细视图，在用户终端102上执行通信客户端应用程序以用于通过通信系统100进行通信。用户终端102包括中央处理单元(“CPU”)202，其上连接有：显示器204，诸如屏幕或者触摸屏；输入设备，诸如键板206、摄像机208以及触摸屏204。音频输出设备210(例如扬声器)和音频输入设备212(例如麦克风)连接到CPU 202。如图2所示，显示器204、键板206、摄像机208、音频输出设备210以及音频输入设备212可以被集成到用户终端102。在可替代的用户终端中，显示器204、键板206、摄像机208、音频输出设备210以及音频输入设备212中的一个或多个可以不被集成到用户终端102，而可以经由相应的接口连接到CPU 202。这样的接口的一个示例是USB接口。CPU 202连接到网络接口224，诸如用于与通信网络106通信的调制解调器。如图2所示，网络接口224可以集成到用户终端102。在可替代的用户终端中，网络接口224没有集成到用户终端102。用户终端102还包括存储器226，以用于存储本领域中已知的数据。存储器226可以是永久性存储器，诸如ROM。存储器226可替代地可以是暂时性存储器，诸如RAM。
用户终端102安装有通信客户端应用程序112，其中通信客户端应用程序112存储在存储器226中并且被布置为在CPU 202上执行。图2也示出了在CPU 202上执行的操作系统(“OS”)214。运行在OS 214顶部的是上面提到的通信客户端应用程序112的软件堆栈216。该软件堆栈示出了I/O层218、客户端引擎层220以及客户端用户接口层(“UI”)222。每一层负责特定的功能。由于通常每一层与另外两个层进行通信，所以如图2所示它们被布置在堆栈内。操作系统214管理计算机的硬件资源并且处理经由网络接口224发送到通信网络106以及来自通信网络106的数据。I/O层218包括音频编解码器和/或视频编解码器，其接收输入的编码流并且对他们进行解码视情况而输出到扬声器210和/或显示器204，以及其接收来自麦克风212和/或摄像机208的未编码的音频和/或视频数据并且对他们进行编码以作为流传输到通信系统100的其他最终用户终端。客户端引擎层220处理如上讨论的VoIP系统的连接管理功能，诸如通过基于服务器或P2P地址查询和认证建立通话或者其他连接。客户端引擎还可以负责本文未讨论的其他辅助功能。客户端引擎220还与客户端用户接口层222进行通信。客户端引擎220可以被布置为控制客户端用户接口层222以经由客户端的用户接口给用户终端102的用户呈现显示在显示器204上的信息，以及经由用户接口从用户终端102的用户接收信息。
通信系统100的用户能够选择“头像(avatar)”，它是由用户选择用来向通信系统100的其他用户代表他们自身的静态图像。由用户选择的头像可以是他们自己的照片虽然它不一定是，头像可以是任意的静态图像。如果用户选择不选择他们自己的头像，可以使用由提供通信客户端应用程序的软件提供商创建的默认头像来代表用户。
在由用户A 104启动用户终端102上的通信客户端应用程序112之后，用户A 104可以使用用户终端102的输入设备(例如，通过使用键板206，接触触摸屏204，使用麦克风212发送语音命令或者使用计算机鼠标(图1中未示出))通过由通信客户端应用程序112提供的各种用户接口窗口进行导航。由通信客户端应用程序112提供的用户接口窗口可以被配置为显示与用户A的联系人相关联的一个或多个头像，用户A 104可以与其联系人建立通信事件。
例如，用户A 104可以导航到由通信客户端应用程序112提供的用户接口窗口，该窗口显示与用户A 104相关联的联系人列表。联系人列表中的联系人是通信系统100的其他远程用户，这些用户具有安装在他们各自终端内的他们自身的相应的客户端应用程序的实例。联系人列表由客户端引擎220管理，并且可以或者本地地存储在用户终端102本身的存储器226中或者更优选地存储在提供通信客户端实例的软件提供商的服务器(图1中未示出)的存储介质上(在服务器上存储联系人列表有利地允许联系人列表即使在用户A登录到不同的终端和/或通信客户端应用程序的实例的情况下也可用)。为了成为另一个远程用户的联系人，用户A必须或者(i)发送联系请求给远程用户的通信客户端应用程序，远程用户之后选择接受该请求，或者(ii)接收来自远程用户的联系请求，用户A选择接受该请求。联系人列表显示与用户A的联系人相关联的名字(例如，真名或用户名)。用户名由通信系统100的用户选择以向通信系统100的其他用户唯一地标识他们自身。
联系人列表显示用户A的联系人的头像。联系人列表还可以包括附加信息，诸如每个联系人的存在信息，例如表示用户离线，在线，忙碌，离开等等。联系人列表还可以包括用户A的联系人中的一个或多个的“心情消息”，该“心情消息”给出由用户创作的简单陈述以总结他或她当前的状态等等。
在另一个示例中，用户A 104可以导航到由通信客户端应用程序112提供的用户接口窗口，该窗口显示与远程用户(例如，用户B 110)相关联的简档页。简档页显示远程用户的头像。简档页可以包括远程用户的其他简档信息，可以包括用户名、真名、心情消息、当前地理位置、时间、性别、语言、年龄和/或出生日期等等。
在又一示例中，用户A 104可以导航到由通信客户端应用程序112提供的用户接口窗口，该窗口显示关于在通信系统100中用户A最近的活动(在预定时间段内的活动)的信息。特别是该用户接口窗口显示关于与用户A的联系人的最近交互的信息。最近活动信息包括用户A 104最近交互的那些联系人的头像和关于交互的信息，例如，接收到的上次IM信息、接受联系、错过的电话等等。
使用用户终端102上执行的通信客户端应用程序112，用户A 104能够通过通信网络与在用户终端108上的用户B 110进行视频通话。用户A或者(i)发送视频通话建立请求到用户B的第二用户终端108上执行的通信客户端应用程序114，用户B 110之后选择接受该请求，或者(ii)接收来自用户B的第二用户终端108上执行的通信客户端应用程序114的视频通话建立请求，用户A104选择接受该请求。
现在将参考图3描述一种在与用户终端102相关联的用户A 104和与用户终端108相关联的用户B 110之间通过通信网络106进行视频通话期间实施的方法，图3是用于显示所接收到的视频通话数据的过程300的流程图。
还将参考图4-7，图4-7示出了在各种实施例中作为过程300的一部分由通信客户端应用程序112的客户端用户接口层222提供的示例性的客户端用户接口。
在步骤S302处，在用户终端102上执行的通信客户端应用程序112，在显示器204上的第一用户接口窗口(例如主视频呈现)401中显示从用户终端108接收到的视频数据。该视频数据是由用户终端108的摄像机208捕获的并且通过网络106从用户终端108发送到用户终端102。如图4所示，第一用户接口窗口401包括显示区域402，用于显示通过网络106从与用户B 110相关联的用户终端108接收到的视频数据。
第一用户接口窗口401可以进一步在视频通话期间显示可供用户A 104选择的可选按钮404，用于使用适当的输入设备控制所述视频通话。可选按钮404可以包括用于结束视频通话的按钮，静音音频以使得在视频期间接收到的音频数据不从扬声器210输出的按钮，控制从扬声器210输出的音频音量的按钮，以及涉及到视频通话的其他功能。
第一用户接口窗口401显示一个或多个可选单元，可选单元使得用户B110能够响应于用户B 110选择该可选单元而导航到第二用户接口窗口。也即，响应于检测到对可选单元的选择，通信客户端应用程序112被配置为显示适当的第二用户接口窗口。
上面提到的可选单元可以是显示的视频通话中对方(例如，用户B 110)的标识(例如，真名或用户名)406。另外地或可替代地，上面提到的可选单元可以是可选按钮408。
如果在步骤S304处通信客户端应用程序112检测到用户A 104的输入选择以导航到第二用户接口窗口，则过程300进行到步骤S306。通信客户端应用程序112通过检测到对在第一用户接口窗口中显示的可选单元的选择而检测到用户A 104的输入选择以导航到第二用户接口窗口。
在用户A 104没有选择在第一用户接口窗口中显示的可选单元时，通信客户端应用程序112继续在显示器204上显示第一用户接口窗口401，这通过在过程300的步骤S302与S304之间的循环在图4中示出。
在步骤S306处，通信客户端应用程序112确定用于显示通过网络106从与用户B110相关联的用户终端108接收到的视频数据的位置，该位置。
用于显示通过网络106从与用户B 110相关联的用户终端108接收到的视频数据的、当用户(例如，用户A 104)导航离开第一用户接口窗口401时将使用的位置是由通信客户端应用程序112的提供商预先确定的，并且标识该显示位置的信息跟随第一用户终端上的通信客户端应用程序112的安装存储在存储器226中。在本公开的实施例中，该显示位置是视频通话中与远程用户(例如，用户B 110)相关联的头像(显示单元)的位置。
在步骤S306处，通信客户端应用程序112查询存储器226，并且确定如果第二用户接口窗口包括用于显示用户B的头像的位置，那么应当显示通过网络106从与用户B 110相关联的用户终端108接收到的视频数据以替代用户B的头像，否则用户B的头像会显示在第二用户接口窗口中(当不执行视频通话时如果用户A 104访问第二用户接口窗口)。
在步骤S308处，通信客户端应用程序112确定第二用户接口窗口(用户A 104已经选择在视频通话期间导航到该窗口)是否包括分配用于显示用户B的头像的位置。如果在步骤S308处确定第二用户接口窗口包括用于显示用户B的头像的位置，则过程300进行到步骤S310。
在步骤S310处，通信客户端应用程序112在显示器204上显示第二用户接口窗口(第一用户A 104已经选择在视频通话期间导航到该窗口)，并且进一步控制通过网络106从与用户B 110相关联的用户终端108接收到的视频数据以使其显示在第二用户接口窗口的位置处，否则该位置会用于显示用户B的头像(当不执行视频通话时如果用户A访问第二用户接口窗口)。
也即，通信客户端应用程序112显示第二用户接口窗口，但是，不是将代表用户B的静态图像(用户B的头像)显示在其指定的位置，而是通信客户端应用程序112利用通过网络106从与用户B 110相关联的用户终端108处接收到的视频数据来替代该静态图像。
如果在步骤S308处确定第二用户接口窗口不包括用于显示用户B的头像的位置，则过程300进行到步骤S312。在步骤S312处，通信客户端应用程序112将通过网络106从与用户B 110相关联的用户终端108处接收到的视频数据显示在覆盖第二用户接口窗口的窗口中。
参考图5-7，进一步示出过程300的步骤S310。
图5示出了第二用户接口窗口500，该窗口显示与用户B 110相关联的简档页。与用户B 110的视频通话期间，用户A 104可以导航到第二用户接口窗口500。例如，用户A 104可以选择在第一用户接口窗口401中显示的用户B 110的标识(例如，真名或用户名)406，以导航到第二用户接口窗口500。可替代地，用户A 104可以选择在第一用户接口窗口401中显示的可选按钮408，以导航(直接或间接)到第二用户接口窗口500。
如图5所示，第二用户接口窗口500包括分配用于显示用户B的头像的位置502(当没有与用户B 110进行视频通话时如果用户A访问第二用户接口窗口500，该位置将显示用户B的头像)。
根据本公开的实施例，在步骤S310处通信客户端应用程序112显示第二用户接口窗口500，并且在位置502处显示通过网络106从与用户B 110相关联的用户终端108处接收到的视频数据。
显示在第二用户接口窗口500中的简档页可以包括用户B 110的档案信息504，例如，用户名、真名、当前地理位置、时间、性别、语言、年龄和/或出生日期等等。显示在第二用户接口窗口500中的简档页另外可以包括由用户B 110设定的心情消息506。
本公开的实施例有利地使得用户A104能够查看用户B 110的简档页信息，而该简档页信息没有被通过网络106从与用户B 110相关联的用户终端108接收到的视频数据遮住(当接收到的视频数据显示在位置502处以替代用户B的头像时)。
图6示出了第二用户接口窗口600，其显示与用户A 104相关联的联系人列表。用户A 104在与用户B 110进行视频通话期间可以导航到第二用户接口窗口600。例如，用户A104可以选择在第一用户接口窗口401中显示的可选按钮408，以导航(直接或间接地)到第二用户接口窗口600。
如图6所示，第二用户接口窗口600包括分配用于显示用户B的头像的位置602(当不进行与用户B 110的视频通话时如果用户A 104访问第二用户接口窗口500，则将显示用户B的头像)。
根据本公开的实施例，在步骤S310处通信客户端应用程序112显示第二用户接口窗口600并且在位置602处显示通过网络106从与用户B 110相关联的用户终端108接收到的视频数据。
本公开的实施例有利地使得用户A 104能够查看他的联系人列表(例如，查看一个或多个联系人的当前状态)，而联系人列表信息没有被通过网络106从与用户B 110相关联的用户终端108接收到的视频数据遮住(当接收到的视频数据显示在位置602处以替代用户B的头像时)。
通过网络106从与用户B 110相关的用户终端108接收到的视频数据的位置相对于在第二用户接口窗口600中显示的其他用户接口单元的位置是固定的。因此，如果用户A滚动联系人列表，如果该滚动动作使得位置602不显示在第二用户接口窗口600中，则该滚动动作可能使得通过网络106从与用户B 110相关联的用户终端108接收到的视频数据不显示在显示器204上。
图7示出第二用户接口窗口700，该窗口显示出关于通信系统100中用户A的最近的活动信息。在与用户B 110的视频通话期间，用户A 104可以导航到第二用户接口窗口700。例如，用户A 104可以选择在第一用户接口窗口401中显示的可选按钮408，以导航到(直接或间接)第二用户接口窗口700。
如图7所示，第二用户接口窗口700包括分配用于显示用户B的头像的位置702(当不进行与用户B 110的视频通话时如果用户A 104访问第二用户接口窗口700，则将显示用户B的头像)，这可能是由于例如用户A 104与用户B 110有最近的IM会话。
根据本公开的实施例，在步骤S310处通信客户端应用程序112显示第二用户接口窗口700并且在位置702处显示通过网络106从与用户B 110相关联的用户终端108接收到的视频数据。
本公开的实施例有利地使得用户A 104能够查看他的最近活动(例如，查看的与用户D的IM会话中接收到的最后一条信息“开始日期是2014年6月27日”)，而该最近活动信息没有被通过网络106从与用户B 110相关联的用户终端108接收的视频数据遮住(当接收到的视频数据显示在位置702处以替代用户B的头像时)。
通过网络106从与用户B 110相关联的用户终端108接收的视频数据的位置相对于显示在第二用户接口窗口700中的其他用户接口单元的位置是固定的。因此，如果用户A滚动最近活动信息，如果该滚动动作使得位置702不显示在第二用户接口窗口700中，则该滚动动作可能使得通过网络106从与用户B 110相关联的用户终端108接收到的视频数据不显示在显示器204上。
尽管为了简单起见上文参考两个用户之间的视频通话对本公开的实施例进行描述，但本公开的实施例可以扩展为“多方”视频通话(本文使用的对“多方”视频通话的引用指的是三个或更多个用户之间进行的视频通话)。
如果用户A 104进行与两个其他用户的视频通话，例如，用户B 110和用户C(图1中未示出)，则通信客户端应用程序112在第一用户接口窗口401中显示从用户B 110和用户C接收的视频数据。如果视频通话期间，用户A 104导航到包括用于显示用户B的头像和用户C的头像的位置的第二用户接口窗口(例如，图6中示出的第二用户接口窗口600和图7中示出的第二用户接口窗口700)，则根据本公开的实施例，通信客户端应用程序112显示第二用户接口窗口并且进一步控制通过通信网络106从与用户B 110相关联的用户终端108接收到的视频数据以使其显示在第二用户接口窗口的位置，否则该位置被用来显示用户B的头像(当不进行视频通话时如果用户A访问第二用户接口窗口)，以及进一步控制通过通信网络106从与用户C相关联的用户终端接收到的视频数据以使其显示在第二用户接口窗口的位置，否则该位置被用于显示用户C的头像(当不进行视频数据时如果用户A访问第二用户接口窗口)。
与在多方视频通话期间显示仅示出从活跃发言人接收到视频数据的浮动窗口的现有技术的解决方案相比，本公开的实施例使得用户A 104能够查看在第二用户接口窗口中显示的信息而该信息没有被遮住。此外，如果第二用户接口窗口包括分配的用于显示多个参与者的各自头像的位置，则从视频通话中的多个参与者接收的视频数据将显示在第二用户接口窗口中。这使得用户A 104能够保持与当显示第一用户接口窗口410时的体验相似的视频通话体验，同时还能够查看在第二用户接口窗口上呈现的信息。
如果多方视频通话期间用户A 104导航到包括用于显示其他视频通话参与者中的仅一个参与者(例如，用户B 110)的头像的位置的第二用户接口窗口，则根据本公开的实施例，通信客户端应用程序112显示第二用户接口窗口并且进一步控制通过与用户B 110相关联的用户终端108接收到的视频数据以使其显示在第二用户接口窗口的位置，否则该位置被用来显示用户B的头像(当不进行视频通话时如果用户A 104访问第二用户接口窗口)，在这种场景下，从与用户C相关联的终端接收到的视频数据将不显示在第二用户接口窗口中。
本公开的实施例有利地允许用户(例如，用户A)在多方视频通话期间通过导航到包括与视频通话中的特定参与者相关的信息的第二用户接口窗口，选择渲染的视频以查看从该特定参与者接收到的视频数据。例如在与用户B 110和用户C进行视频通话期间，用户A能够导航到显示与用户B 110相关联的简档页的第二用户接口500，该简档页包括分配用于显示用户B的头像的位置502。根据本公开的实施例，通信客户端应用程序112显示第二用户接口窗口500并且在位置502处显示通过网络106从与用户B 110相关联的用户终端108接收到的视频数据。由于第二用户接口500不包括分配用于显示用户C的头像的位置，从与用户C相关联的终端接收到的视频数据不会显示在第二用户接口窗口500中。
在视频通话期间，用户A然后可能导航到显示与用户C相关联的的简档页、包括分配用于显示用户C的头像的位置的第二用户接口。根据本公开的实施例，通信客户端应用程序112显示第二用户接口窗口并且在分配用于显示用户C的头像的位置处显示通过网络106从与用户C相关联的用户终端接收到的视频数据。由于第二用户接口窗口不包括分配用于显示用户B的头像的位置，从与用户B 110相关联的终端接收到的视频数据不会显示在第二用户接口窗口中。
这与已知的当用户导航远离主视频呈现屏时只显示从活跃发言人接收的视频数据的显示浮动窗口的解决方案形成对比。
尽管参考特定示例性第二用户接口窗口(包括简档页、联系人列表、最近活动)对本公开实施例进行了描述，但这些只是在与用户B 110视频通话期间在用户A 104可以导航到的第二用户接口窗口中可以显示的信息的示例。本公开的实施例不限制于这些示例，并且可适用于被配置为显示视频通话中的至少一个远程参与者的头像的任何第二用户接口窗口。
由通信客户端应用程序112提供的客户端用户接口在显示器204的可用区域400中显示内容。如图4-7所示，显示器的可用区域为整个显示器204。然而，可以设想显示器的可用区域(也就是可用于客户端112的区域)可以只构成显示器的一部分，例如，使得显示器的其余部分由操作系统214和/或在其上执行的其他应用程序使用以显示其他内容。
图3分别示出的步骤可以或者不可以当作单独的步骤来实施。
概括地，本文描述的任何功能能够使用软件、固件、硬件(例如，固定逻辑电路)来实施，或者使用这些实施方式的组合来实施。本文使用的术语“控制器”、“功能”、“组件”和“应用程序”通常代表软件、固件、硬件或其组合。在软件实施方式的情况下，控制器、功能、组件或应用程序代表当在处理器(例如一个CPU或多个CPU)上执行时执行特定任务的程序代码。程序代码能够存储在一个或多个计算机可读存储器设备中。本文描述的技术的特征是平台无关的，意味着技术可以在具有各种处理器的多种商业计算平台上实施。
例如，用户终端还可以包括使得用户终端的硬件执行操作的实体(例如，软件)，例如，处理器功能块等等。例如，用户终端可以包括计算机可读介质，该介质可以被配置为保持指令，所述指令使得用户终端以及更具体地操作系统和相关联的用户终端的硬件执行操作。因此，指令功能配置操作系统以及相关联的硬件执行操作，通过这种方式使得操作系统和相关联的硬件转化到执行功能。通过各种不同的配置由计算机可读介质向用户终端提供指令。
计算可读介质的一种这样的配置为信号承载介质，并因此被配置为发送指令(例如，作为载波)给计算设备，诸如经由网络。计算机可读介质还可以被配置为计算机可读存储介质，并因此不是信号承载介质。计算机可读存储介质的例子包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器、以及其他可以使用磁、光以及其他存储指令和其他数据的技术的存储器设备。
虽然以特定于结构特征和/或方法动作的语言描述了本主题，但应当理解的是在附加的权利要求中定义的主题不必限于上述特定特征或动作。相反，上述具体的特征和动作被公开作为实施权利要求的示例形式。

Claims (5)

1.一种用户设备，包括：
显示器；
网络接口，所述网络接口被配置为在所述用户设备的用户与多个另一用户之间进行多方视频通话期间在所述用户设备与通信网络之间发送和接收视频数据；
存储器，所述存储器存储标识多个头像图像的信息，每个头像图像表示所述多个另一用户中的一个另一用户；以及
一个或多个处理器，所述一个或多个处理器被配置为运行通信客户端应用程序，所述通信客户端应用程序能够操作为在所述用户设备处执行所需的处理以便于所述用户设备通过所述通信网络进行通信并且还能够在所述多方视频通话期间操作为：
在所述显示器上的第一用户接口窗口中显示从所述多个另一用户接收到的作为视频通话的一部分的视频数据；
在所述多方视频通话期间检测所述用户设备的用户导航离开所述第一用户接口窗口到所述通信客户端应用程序的第二用户接口窗口的输入选择，其中，所述第二用户接口窗口包括显示位置以用于显示表示所述多个另一用户中的一个另一用户的一个头像图像，并且其中，当所述用户在不进行视频通话时访问所述第二用户接口窗口时，在所述位置处显示所述一个头像图像；以及
查询所述存储器以确定用于显示从所述多个另一用户接收到的视频数据的显示位置，并且响应于所述查询，在所述显示器上显示所述第二用户接口窗口，以及控制从所述多个另一用户中由所述第二用户接口窗口的所述一个头像图像表示的所述一个另一用户接收到的视频数据以使其显示在所述一个头像图像的显示位置处，代替所述用户在不进行视频通话时如果访问所述第二用户接口窗口时将在所述第二用户接口窗口中显示的头像图像。
2.根据权利要求1所述的用户设备，其中，所述第二用户接口窗口包括所述多个另一用户中由所述一个头像图像表示的所述一个另一用户的简档信息。
3.根据前述任一权利要求所述的用户设备，其中，所述第一用户接口窗口包括可选单元，并且所述通信客户端应用程序能够操作为：通过检测对所述可选单元的选择，检测所述用户设备的用户的导航到所述第二用户接口窗口的所述输入选择。
4.一种计算机程序产品，所述计算机程序产品实施在非暂时性计算机可读介质上并包括指令，所述指令提供通信客户端应用程序，所述通信客户端应用程序能够操作为在用户设备处执行所需的处理以便于所述用户设备通过通信网络进行通信，并且所述通信客户端应用程序在所述用户设备的用户与多个另一用户之间进行多方视频通话期间在所述用户设备的处理器上被执行时能够操作为：
在所述用户设备的显示器上的第一用户接口窗口中显示作为所述视频通话的一部分从所述多个另一用户接收到的视频数据；
在所述多方视频通话期间检测所述用户设备的用户导航离开所述第一用户接口窗口到第二用户接口窗口的输入选择，其中，所述第二用户接口窗口包括显示位置以用于显示表示所述多个另一用户中的一个另一用户的一个头像图像，并且其中，当所述用户在不进行通话时访问所述第二用户接口窗口时，在所述位置处显示所述一个头像图像；以及
查询存储标识一个头像图像的显示位置的信息的存储器，所述一个头像图像表示所述多个另一用户中的一个另一用户，并且响应于所述查询，在所述显示器上显示所述第二用户接口窗口，以及控制从所述多个另一用户中由所述第二用户接口窗口的所述一个头像图像表示的所述一个另一用户接收到的视频数据以使其显示在所述一个头像图像的位置处，代替所述用户在不进行视频通话时访问所述第二用户接口窗口时将在所述第二用户接口窗口中显示的头像图像。
5.一种在用户设备处实现的方法，所述方法包括：
在与多个另一用户进行多方视频通话期间经由所述用户设备的网络接口通过通信网络从所述多个另一用户接收视频数据；
在所述多方视频通话期间在所述用户设备的一个或多个处理器上运行通信客户端应用程序，所述通信客户端应用程序能够操作为在所述用户设备处执行所需的处理以便于所述用户设备通过所述通信网络进行通信并且在所述多方视频通话期间能够操作以用于：
在所述用户设备的显示器上的第一用户接口窗口中显示从所述多个另一用户接收到的作为所述视频通话的一部分的视频数据；
在所述多方视频通话期间检测所述用户设备的用户导航离开所述第一用户接口窗口到所述通信客户端应用程序的第二用户接口窗口的输入选择，其中，所述第二用户接口窗口包括显示位置以用于显示表示所述多个另一用户中的一个另一用户的一个头像图像，并且其中，当所述用户在不进行通话时访问所述第二用户接口窗口时，在所述位置处显示所述一个头像图像；以及
查询存储标识多个头像图像的显示位置的信息的存储器，每个头像图像表示所述多个另一用户中的一个另一用户，并且响应于所述查询，在所述显示器上显示所述第二用户接口窗口，以及控制从所述多个另一用户中由所述第二用户接口窗口的所述一个头像图像表示的所述一个另一用户接收到的视频数据以使其显示在所述一个头像图像的显示位置处，代替所述用户在不进行视频通话时访问所述第二用户接口窗口时将在所述第二用户接口窗口中显示的头像图像。
CN202110308116.1A 2014-04-15 2015-04-06 显示视频通话数据 Pending CN113055628A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1406789.6 2014-04-15
GBGB1406789.6A GB201406789D0 (en) 2014-04-15 2014-04-15 Displaying video call data
US14/459,247 2014-08-13
US14/459,247 US9325942B2 (en) 2014-04-15 2014-08-13 Displaying video call data
CN201580019971.3A CN106233718A (zh) 2014-04-15 2015-04-06 显示视频通话数据

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580019971.3A Division CN106233718A (zh) 2014-04-15 2015-04-06 显示视频通话数据

Publications (1)

Publication Number Publication Date
CN113055628A true CN113055628A (zh) 2021-06-29

Family

ID=50845052

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580019971.3A Pending CN106233718A (zh) 2014-04-15 2015-04-06 显示视频通话数据
CN202110308116.1A Pending CN113055628A (zh) 2014-04-15 2015-04-06 显示视频通话数据

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580019971.3A Pending CN106233718A (zh) 2014-04-15 2015-04-06 显示视频通话数据

Country Status (6)

Country Link
US (2) US9325942B2 (zh)
EP (1) EP3114832B1 (zh)
KR (1) KR102327571B1 (zh)
CN (2) CN106233718A (zh)
GB (1) GB201406789D0 (zh)
WO (1) WO2015160545A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9804759B2 (en) 2012-05-09 2017-10-31 Apple Inc. Context-specific user interfaces
GB201406789D0 (en) 2014-04-15 2014-05-28 Microsoft Corp Displaying video call data
AU2015279545B2 (en) 2014-06-27 2018-02-22 Apple Inc. Manipulation of calendar application in device with touch screen
US10135905B2 (en) 2014-07-21 2018-11-20 Apple Inc. Remote user interface
KR101685466B1 (ko) * 2014-08-28 2016-12-12 삼성에스디에스 주식회사 다자간 영상 회의 서비스의 참여자 확장 방법
WO2016036541A2 (en) 2014-09-02 2016-03-10 Apple Inc. Phone user interface
GB201520509D0 (en) * 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
US10304103B2 (en) 2016-02-23 2019-05-28 Brillio LLC Method for providing recommendations for data item by collaborative video server
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
CN108024087B (zh) * 2016-10-31 2019-05-03 视联动力信息技术股份有限公司 一种视频调度的方法及系统
CN110809879B (zh) * 2017-06-28 2021-04-27 株式会社OPTiM 一种Web会议声音辅助系统、方法及程序
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN111050109B (zh) * 2019-12-24 2021-09-17 维沃移动通信有限公司 电子设备控制方法及电子设备
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11671697B2 (en) 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
US11360634B1 (en) 2021-05-15 2022-06-14 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502088A (zh) * 2006-10-11 2009-08-05 思科技术公司 基于对会议参与者的脸部识别的交互
KR20110087025A (ko) * 2010-01-25 2011-08-02 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
US20120098919A1 (en) * 2010-10-22 2012-04-26 Aaron Tang Video integration
KR20120126531A (ko) * 2011-05-12 2012-11-21 삼성전자주식회사 화자 표시 방법 및 이를 구현하는 영상 통화 단말기
US20140036027A1 (en) * 2012-08-01 2014-02-06 Eric HC Liu Using an avatar in a videoconferencing system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145610A1 (en) 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
US8352983B1 (en) 2002-07-11 2013-01-08 Tvworks, Llc Programming contextual interactive user interface for television
JP4016388B2 (ja) 2003-01-21 2007-12-05 日本電気株式会社 テレビ電話機能付き携帯電話端末
EP1649676B1 (en) 2003-07-16 2014-11-05 Skype Peer-to-peer telephone system and method
NO326770B1 (no) 2006-05-26 2009-02-16 Tandberg Telecom As Fremgangsmate og system for videokonferanse med dynamisk layout basert pa orddeteksjon
KR100799670B1 (ko) 2006-06-30 2008-01-30 삼성전자주식회사 휴대단말을 이용한 방송수신 중 화면분할 방법 및 장치
JP4719644B2 (ja) 2006-08-11 2011-07-06 富士通東芝モバイルコミュニケーションズ株式会社 携帯端末装置
KR101339499B1 (ko) 2007-08-16 2013-12-10 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 제어방법
NO331338B1 (no) 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
US8379077B2 (en) 2010-11-24 2013-02-19 Cisco Technology, Inc. Automatic layout and speaker selection in a continuous presence video conference
CN103718545B (zh) 2011-07-29 2017-12-01 思科技术公司 用于修改由视频合成单元用来生成合成视频信号的布局的方法、设备及装置
US20130106988A1 (en) 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams
US20140280530A1 (en) * 2013-03-13 2014-09-18 John Torres Fremlin Live Faces
KR101799293B1 (ko) * 2013-05-29 2017-11-20 삼성전자주식회사 디스플레이 장치, 디스플레이 장치 제어 방법 및 컴퓨터 판독 가능한 기록 매체
GB201406789D0 (en) 2014-04-15 2014-05-28 Microsoft Corp Displaying video call data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502088A (zh) * 2006-10-11 2009-08-05 思科技术公司 基于对会议参与者的脸部识别的交互
KR20110087025A (ko) * 2010-01-25 2011-08-02 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
US20120098919A1 (en) * 2010-10-22 2012-04-26 Aaron Tang Video integration
KR20120126531A (ko) * 2011-05-12 2012-11-21 삼성전자주식회사 화자 표시 방법 및 이를 구현하는 영상 통화 단말기
US20140036027A1 (en) * 2012-08-01 2014-02-06 Eric HC Liu Using an avatar in a videoconferencing system

Also Published As

Publication number Publication date
KR102327571B1 (ko) 2021-11-16
US9628753B2 (en) 2017-04-18
WO2015160545A1 (en) 2015-10-22
KR20160144479A (ko) 2016-12-16
GB201406789D0 (en) 2014-05-28
US20160212374A1 (en) 2016-07-21
US9325942B2 (en) 2016-04-26
EP3114832B1 (en) 2020-05-06
EP3114832A1 (en) 2017-01-11
CN106233718A (zh) 2016-12-14
US20150296179A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
KR102327571B1 (ko) 영상 통화 데이터의 디스플레이
US10135965B2 (en) Use of a digital assistant in communications
TWI650976B (zh) 即時通訊過程中的視頻通訊方法及系統
US9569752B2 (en) Providing parameterized actionable communication messages via an electronic communication
KR102285107B1 (ko) 컨텐츠 공유
US11558437B2 (en) Communication system and method of using the same
US10812661B2 (en) User controlled call management
US20120173622A1 (en) Social screen casting
US20160261648A1 (en) Communication system and method of using the same
WO2018215132A1 (en) Communication event
CN103733185A (zh) 多数据类型通信系统
KR20150032674A (ko) 통신 시스템
US10320977B2 (en) Telephone user interface providing enhanced call blocking
US20130198635A1 (en) Managing Multiple Participants at the Same Location in an Online Conference
US20150049157A1 (en) Seamless call transitions with pinpoint call escalation
US20220150295A1 (en) Methods and systems for initiating a coordinated effect
GB2552583A (en) Communication event
US9071681B1 (en) Inbound telephony orchestrator for hangout-based contact center platform
US10868842B2 (en) Automatic responses to incoming calls based on user activity
CN107104935B (zh) 用于通信隐私保护的方法、服务器和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination