CN107950021A - 视频通信设备及其操作 - Google Patents

视频通信设备及其操作 Download PDF

Info

Publication number
CN107950021A
CN107950021A CN201680050146.4A CN201680050146A CN107950021A CN 107950021 A CN107950021 A CN 107950021A CN 201680050146 A CN201680050146 A CN 201680050146A CN 107950021 A CN107950021 A CN 107950021A
Authority
CN
China
Prior art keywords
equipment
user
data
paired device
head portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680050146.4A
Other languages
English (en)
Other versions
CN107950021B (zh
Inventor
D.M.伊塞尔哈特
G.米勒
K.布罗克赫斯特
M.塔纳比安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107950021A publication Critical patent/CN107950021A/zh
Application granted granted Critical
Publication of CN107950021B publication Critical patent/CN107950021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

实施例可以包括设备。该设备可以包括被配置为从配对设备接收设备数据的通信电路以及耦合到该通信电路的处理器。处理器可以被配置为使用设备数据确定环境条件,该环境条件包括配对设备的用户相对于配对设备的物理存在。该设备还可以包括耦合到处理器的屏幕。屏幕可以被配置为显示配对设备的用户的头像,并且响应于物理存在而调整头像的视觉特性。

Description

视频通信设备及其操作
技术领域
本公开涉及视频通信,并且更具体地涉及提供对环境条件的提示的视频通信设备。
背景技术
视频通话已经变得越来越流行。视频通话的增长已经超过了大多数其他形式的通信。然而,可用的视频通话的硬件解决方案对用户来说,操作起来往往是困难和尴尬的。结果,许多潜在的视频通话用户转向其他更老的、更身临其境的和更熟悉的通信形式,诸如电话通话等。
视频通话的一个障碍已经在于许多常规用于进行视频通话的设备是多用途设备或其主要功能不是进行视频通话的设备。作为示例,大多数用户使用智能电话、平板电脑、膝上型计算机或其他多用途计算设备进行视频通话。这意味着设备经常需要大量的设置(诸如软件安装、用户注册、硬件调整、搜索与其进行通信的其他设备等)。视频通话的另一障碍在于这类设备往往具有尴尬的形式因素。这导致在用户使用期间不良的人体工程学。在进行视频通话的同时,这些设备握持和使用起来很不舒服。可用的设备不能够提供令人满意的、身临其境的视频通话体验。
发明内容
技术方案
实施例可以包括设备。该设备可以包括被配置为从配对设备接收设备数据的通信电路以及耦合到该通信电路的处理器。处理器可以被配置为使用设备数据确定环境条件,其中该环境条件包括配对设备的用户相对于配对设备的物理存在。该设备还可以包括耦合到处理器的屏幕。触摸(屏)可以被配置为显示配对设备的用户的头像,并且响应于物理存在来调整头像的视觉特性。
发明的有益效果
本公开为用户提供令人满意的、身临其境的视频通话体验。
附图说明
附图示出了一个或多个实施例;然而,附图不应被认为是将本发明仅限于所示的实施例。通过阅读下面的详细描述并参考附图,各个方面和优点将变得清楚。
图1是示出示例性视频通话平台的框图。
图2是示出用于视频通信设备的示例性架构的框图。
图3是示例性视频通信设备的透视图。
图4是图3的视频通信设备的一部分的视图。
图5是图3的视频通信设备的一部分的另一视图。
图6是示出图1的视频通话平台的设备之间的数据交换的示例的信号流图。
图7是示出调整头像的视觉特性以指示环境条件的示例性方法的流程图。
图8是示出使用用户的角度进行视频通话的示例性方法的流程图。
图9是示出用户的视觉角度的示意图。
图10是示出在视频通话期间使用用户的视觉角度的框图。
图11A和图11B共同示出响应于用户的视觉角度而移动窗口位置的示例。
图12是可以呈现在视频通信设备的屏幕上的示例性图形用户界面(graphicaluser interface,GUI)。
图13示出图12的GUI的另一视图。
图14是可以呈现在视频通信设备的屏幕上的另一示例性GUI。
具体实施方式
实施例可以包括设备。该设备可以包括被配置为从配对设备接收设备数据的通信电路以及耦合到该通信电路的处理器。该处理器可以被配置为使用设备数据确定环境条件,其中该环境条件包括配对设备的用户相对于配对设备的物理存在。该设备还可以包括耦合到处理器的屏幕。该屏幕可以被配置为显示配对设备的用户的头像,并且响应于物理存在而调整头像的视觉特性。
在一个实施例中,物理存在指示配对设备的用户与配对设备之间的距离的改变,并且
屏幕响应于距离的改变,调整头像的视觉特性。
在一个实施例中,视觉特性指示配对设备的用户接受通信的可能性。
在一个实施例中,处理器还根据设备数据确定配对设备的第二环境条件,并且
屏幕响应于第二环境条件,调整头像的进一步的视觉特性。
在一个实施例中,处理器确定第二环境条件的分类,并且进一步的视觉特性指示第二环境条件的分类。
在一个实施例中,第二环境条件包括声音水平。
在一个实施例中,第二环境条件包括环境光。
在一个实施例中,设备还可以包括被配置为捕获所述设备周围环境的视觉数据的相机,并且通信电路还被配置为将该视觉数据发送到配对设备。
在一个实施例中,处理器被配置为在视频通话期间,至少部分地根据视觉数据来确定设备的用户的视觉角度,并且响应于设备的用户的视觉角度,在屏幕上所显示的、从配对设备接收到的视频的视野内调整窗口的位置。
在一个实施例中,屏幕在视频通话期间显示从配对设备接收到的视频,并响应于从配对设备的用户检测到的用户输入,在视频通话期间将图形叠加在视频上,并且该图形由用户输入指定。
另一实施例可以包括通信方法。该方法可以包括使用第一设备的处理器从与第一设备配对的第二设备接收设备数据,并且使用处理器来使用设备数据确定环境条件,其中该环境条件包括第二设备的用户相对于第二设备的物理存在。该方法可以包括在第一设备的屏幕上显示第二设备的用户的头像,并且响应于物理存在来调整屏幕上的头像的视觉特性。
在一个实施例中,设备数据指定用户与第二设备之间的距离的改变,并且调整视觉特性还包括响应于距离的改变来调整头像的视觉特性。
在一个实施例中,头像的视觉特性指示配对设备的用户接受通信的可能性。
在一个实施例中,该方法还可以包括根据设备数据确定配对设备的第二环境条件,以及响应于第二环境条件调整头像的进一步的视觉特性。
在一个实施例中,该方法还可以包括确定第二环境条件的分类,并且进一步的视觉特性指示第二环境条件的分类。
在一个实施例中,第二环境条件包括声音水平。
在一个实施例中,第二环境条件包括环境光。
在一个实施例中,该方法还可以包括:使用相机捕获设备周围环境的视觉数据,并将视觉数据发送到配对设备。
在一个实施例中,该方法还可以包括:在视频通话期间,至少部分地根据视觉数据来确定设备的用户的视觉角度,并且响应于设备的用户的视觉角度,在屏幕上所显示的、从配对设备接收到的视频的视野内调整窗口的位置。
在一个实施例中,该方法还可以包括:在视频通话期间显示从配对设备接收到的视频,并且响应于从配对设备的用户检测到的用户输入,在视频通话期间将图形叠加在视频上,其中该图形由用户输入指定。
一种计算机程序产品,包括计算机可读存储介质,该计算机可读存储介质具有存储在其上的程序代码。程序代码可以由处理器运行以执行包括本文所描述的各种操作的方法。
发明方式
虽然本公开以定义新颖的特征的权利要求作为结论,但相信从结合附图的描述考虑,将更好地理解本文描述的各种特征。在本公开中描述的(多个)过程、(多个)机器、(多个)制造和它们的任何变形被提供用于说明的目的。所描述的任何特定的结构和功能细节不应被解释为限制性的,而仅仅作为权利要求的基础和作为用于教导本领域技术人员在几乎任何适当的详细结构中以各种方式采用所描述的特征的代表性基础。此外,在本公开中使用的术语和短语不旨在是限制性的,而是提供所描述的特征的可理解的描述。
本公开涉及视频通信,并且更具体地涉及提供对环境条件的提示的视频通信设备。根据本文公开的发明布置,提供了一种视频通信设备,其能够提供指示包括其他配对设备的用户的物理存在的环境条件的提示。视频通信设备还可以提供指示本文将要描述的、其他配对设备周围的其他环境条件的提示。由视频通信设备提供的提示指示其他配对设备的用户可进行视频通话和/或将参与视频通话的可能性。
在一个方面,视频通信设备可以专用于进行视频通话。在一个示例性布置中,视频通信设备可以与至少一个其他视频通信设备预先配对。彼此预先配对的视频设备可以以两个或更多个的组出售,例如成对出售。当每个视频通信设备被通电时,预先配对的视频通信设备可以自动地与彼此建立通信链路,而视频通信设备的用户不必执行任何配对设置。
在又一方面,视频通信设备可以保持在“始终开启”状态。视频通信设备可以保持在通电状态,以促进用户的方便使用。当视频通信设备与配对设备建立通信链路时,配对的视频通信设备可以交换与环境条件相关的信息,诸如围绕视频通信设备中的每一个的用户存在。数据可以通过通信链路交换,而无需建立视频通话。响应于交换的数据,每个相应的配对的视频通信设备可以传送与针对另一配对的视频通信设备所检测到的环境条件相关的提示。将参考以下的附图更详细地描述本发明布置的进一步方面。
图1是示出示例性视频通话平台(平台)100的框图。如图所示,平台100可以包括视频通信设备(设备)105和视频通信设备(设备)110。为了描述的目的,设备105与用户X相关联;并且,设备110与用户B相关联。设备105和设备110可以通过网络115通信地链接。平台100还可以包括通信服务器120。
网络115是用于提供平台100内连接在一起的各种设备和数据处理系统之间的通信链路的介质。网络115可以包括诸如有线通信链路、无线通信链路或光纤电缆的连接。网络115可以被实施为或包括,诸如WAN、LAN、无线网络、移动网络、虚拟专用网络(VirtualPrivate Network,VPN)、因特网、公共交换电话网络(Public Switched TelephoneNetwork,PSTN)等的各种不同通信技术的任何一种。应该理解的是,设备105和设备110可以通过无线连接、有线连接和/或无线和有线连接的组合耦合到网络115。
通信服务器120可以被实施为运行诸如操作系统和一个或多个其他计算机程序的合适的软件的数据处理系统。通信服务器120可以被配置为提供诸如认证和验证的功能,以支持设备105与设备110之间的通信链路的建立、数据交换和/或视频通话。
设备105和设备110可以彼此配对。通常,配对是在通信网络中使用的过程,在该通信网络中设备之间的初始连接被建立以允许配对设备之间的通信。例如,配对可用于点对点(peer to peer)网络中。参考图1,设备105和设备110可以被配置为在制造时或者在制造时附近,或者在制造之后并且在对于用户(诸如用户X和/或用户B)可用(例如,销售)之前彼此配对。当设备105和设备110都被通电时,设备105和设备110中的每一个可以加入网络(例如,本地网络),并自动地通过网络115建立通信链路125。然而,应该理解的是,如可能期望的那样,设备105和/或设备110可以被手动配置为与一个或多个其他设备配对。
在一种布置中,设备105和设备110可以利用诸如通用即插即用(Universal Plugand Play,UPnP)、多播域名服务(Multicast Domain Name Service,mDNS)、简单服务发现协议(Simple Service Discovery Protocol,SSDP)等的技术来促进快速、简单和/或自动的设置。因此,用户X和用户B不必为了建立通信链路125而设置用于配对的设备105或者设备110。设备105和设备110每个都可以是需要很少配置或者不需要配置的即插即用(方式),以执行本文描述的操作。应该理解的是,在一些情况下,设备的用户可能需要为设备105和/或110提供密码以加入本地网络。在其他情况下,用户可以选择作为他自己和/或她自己的表示的头像。
在一种布置中,即使当不参与视频通话时,设备105和设备110也可保持“始终开启”状态。这样,设备105和设备110中的每一个可以连续地检测环境数据。例如,设备105可以捕获环境数据并且将环境数据作为设备数据或者作为设备数据的一部分发送到设备110。设备110可以捕获环境数据并且将环境数据作为设备数据或者作为设备数据的一部分发送到设备105。由设备105从设备110接收的数据可以在设备105的屏幕上可视化。类似的,由设备110从设备105接收的数据可以在设备110的屏幕上可视化。
如本公开所描述的交换的环境数据的可视化提供在配对设备的用户(例如,朋友、家庭成员等)当中的快速和即时连接,特别是当不参与视频通话时。通过配对设备连接的家人和朋友能够通过环境数据的可视化(例如,本文描述的邻近可视化和其他可视化)来更自然地“感觉”彼此的存在,促进共享的数字空间。
图2是示出视频通信设备的示例性架构200的框图。架构200可以用来实施图1的设备105和/或设备110。
如图所示,架构200包括至少一个处理器,例如,通过系统总线215或其他合适的电路耦合到存储器元件210的中央处理单元(central processing unit,CPU)205。架构200可以在存储器元件210内存储程序代码。处理器205可以运行经由系统总线215从存储器元件210访问的程序代码。存储器元件210可以包括一个或多个物理存储器设备,诸如,例如本地存储器220和一个或多个大容量存储设备225。本地存储器220是指在程序代码的实际运行期间通常使用的随机存取存储器(random access memory,RAM)或(多个)其他非永久性存储器设备。大容量存储设备225可以被实施为硬盘驱动器(hard disk drive,HDD),固态驱动器(solid state drive,SSD)或其他永久性数据存储设备。架构200还可以包括提供至少一些程序代码的临时存储,以便减少在运行期间必须从大容量存储设备225检索程序代码的次数的一个或多个高速缓存存储器(未示出)。
架构200可以包括一个或多个输入/输出(input/output,I/O)设备。I/O设备可以直接或通过中间I/O控制器耦合到架构200。例如,I/O设备还可以包括屏幕235、相机240、一个或多个麦克风245或(多个)其他音频输入换能器(transducer)、一个或多个扬声器250或(多个)其他音频输出换能器以及可选的一个或多个附加的传感器255。在一个方面,屏幕235可以是能够检测用户触摸和/或触笔接触(stylus contact)的触敏屏幕。示例性传感器255可以包括,但不限于,全球定位系统接收器、加速度计、陀螺仪、诸如环境光传感器或其他光学电子设备的光传感器等。光传感器可以被实施为相机240或者被实施为单独且独立的传感器。
I/O设备还可以包括通信电路,该通信电路包括,但不限于网络适配器260和/或无线网络适配器265。网络适配器260和/或无线网络适配器265(后文一起称为“(多个)网络适配器”)也可以耦合到架构200,以使得架构200能够通过中间私人或公共网络而耦合到其他系统、计算机系统、远程打印机和/或远程存储设备。调制解调器,电缆调制解调器和以太网卡是可以与体系结构200一起使用的不同类型的网络适配器260的示例。诸如远程收发器(例如,移动收发器)和短程收发器(例如,蓝牙兼容收发器、802.11x兼容收发器等)的无线电设备是可以被包括的无线网络适配器265的示例。
在一些布置中,架构200可以仅包括网络适配器260。在其他布置中,架构200可以仅包括无线网络适配器265。在又一其他布置中,如图所示,架构200可以包括网络适配器260和无线网络适配器265两者。
架构200可以包括电源,无论是意图插入插座或其他电连接器的电源、电池,还是电池和也可以被配置为对电池充电的电源两者。为了便于说明,图2中未示出电源。
如图2所示,存储器元件210可以存储操作系统270和一个或多个应用275。在一个方面,以可运行的程序代码的形式实施的操作系统270和应用275由架构200运行,即由处理器205运行。这样,操作系统270和应用275可被认为是架构200的集成部分。操作系统270、应用275以及由架构200使用的、生成的和/或操作的任何数据项是功能性数据结构,当被用作使用架构200实施的系统的一部分时,该功能性数据结构发放(impart)功能。
如所指出的,在一个方面,设备105和/或设备110可以是专用的视频通信设备。在这样的实施例中,除了实施在本公开中描述的各种操作的应用和/或程序代码之外,设备可以不包括任何其他应用或程序代码。
如在本公开中所定义的,术语“环境”意味着或关于诸如设备105和/或设备110的参考点的直接的周围环境。环境数据包括诸如由相机240捕获的图像和/或视频的视觉数据。环境数据可以包括由相机240和/或麦克风245捕获的视听数据。环境数据可以包括由麦克风245捕获的音频。环境数据还可以包括从设备的一个或多个其他传感器生成的数据。环境数据的其他示例可以包括,但不限于从相机240和/或一个或多个传感器255确定的特定量的光(无论是低(暗淡)还是高(明亮))等。设备数据包括环境数据。然而,设备数据还可以包括一个或多个附加数据项。
图3是示例性视频通信设备(设备)300的透视图。在一个方面,设备300可以与图1的设备105和/或设备110类似或相同。设备300可以用具有基座部分310的外壳(case)305来实施。在外壳305中,设备300可以包括如参照图2所描述的架构。外壳305可以围绕或包围屏幕315。如图所示,设备300可以被实施为能够以免提方式使用的独立式设备,因为用户在进行视频通话时不需要握持设备300。
屏幕315可以是触敏屏幕。外壳305可以形成有开口320。相机325可以安装在开口320的后面,通过开口320面向外壳305。相机325可以具有从开口320和屏幕315向外延伸的视野,以便捕获用户和/或定位成观看屏幕315的对象。在一种布置中,相机325可以被实施为广角相机或配备有广角镜头的相机。
在另一布置中,设备300可以包括手动操作的镜头盖330。镜头盖330可以可移动地安装在照相机325的前面。在一个方面,镜头盖330可以使用机械开关(诸如轮、滑块等)来控制。机械开关可以定位在外壳305的背侧上。例如,机械开关可以与开口320相对。然而,应当理解的是,机械开关可以位于外壳305的顶部,例如,正好位于镜头盖330的上方、在外壳305的前表面上(例如,在开口320旁边或邻近开口320)。
在任何情况下,镜头盖330可以移动到不阻挡或以其他方式挡住相机325的开口位置。镜头盖330也可以移动到阻挡和/或挡住相机325的闭合位置。如所指出的,设备300可能保持处于“始终开启”的操作状态。在该状态下,相机325可以连续地监视相机325的视野内的事件。例如,相机325可以在未发生视频通话时连续地捕获用于处理和/或发送到配对设备的视觉数据。在一种布置中,当未发生视频通话时,设备300可以连续捕获任何和/或所有形式的环境数据,并将环境数据作为设备数据发送到另一配对设备。
在一种布置中,闭合镜头盖330可防止相机325捕获视觉数据,例如,视频和/或图像。在那种情况下,相机325可能被完全阻挡并且不能捕获视觉数据。例如,镜头盖330可以由完全不透明的材料制成。在另一布置中,闭合镜头盖330也可以去激活(deactivate)相机325和/或麦克风。在又一布置中,闭合镜头盖330还可以防止设备300收集环境数据和/或将环境数据发送到其他配对设备。打开镜头盖330可激活相机325和/或麦克风。打开镜头盖330还可以激活收集环境数据和/或向其他配对设备发送环境数据。
使用可以由用户手动打开和/或闭合的镜头盖330可以在以下方面使用户满意:在镜头盖330闭合的同时知道没有环境(例如,视觉)数据可以被设备300捕获和/或被通信传达到另一设备。这种布置可能是特别有益的,因为设备300可以保持在始终开启状态。
图4是图3的设备300的一部分的视图。更具体地,图4示出了设备300的区域335。图4示出了镜头盖330打开的区域335,由此显现相机325。在一种布置中,当镜头盖330打开时,设备300可以被打开或激活。例如,屏幕315可以是激活的,并且在没有发生视频通话的同时显示与任何配对设备和/或配对设备的用户相关的信息。此外,设备300可以将环境数据发送到配对设备。设备300也可以从配对设备接收环境数据。
图5是图3的区域335的另一视图。图5示出了镜头盖330闭合的区域335,由此阻挡相机325。在一种布置中,当镜头盖330闭合时,设备300可以处于睡眠或非激活模式。在一个方面,例如,屏幕315可以被关闭或是空白的。当处于睡眠模式或非激活模式时,设备300可以不收集和/或发送环境数据。此外,当处于睡眠模式或非激活模式时,设备300可以不从任何配对设备接收环境数据。
图6是示出图1的设备105和设备110之间的数据交换的示例的信号流图。如所指出的,设备105和设备110可以是预先配对的。设备105和设备110中的每一个的用户可以对设备通电。设备105可经历开机过程605。类似的,设备110可经历开机过程610。虽然示出为同时发生或大约同时发生,但是设备105和设备110不需要同时通电,尽管并发操作是必需的。
随着设备105和设备110被通电,设备105和设备110可以建立通信链路615。设备105和设备110可以通过通信链路615交换设备数据。应当理解,虽然设备105和设备110可以通过通信链路615交换设备数据,但是通信链路615的存在本身并不指示激活的或正在进行的视频通话。框620可以表示由设备105执行的数据收集操作。框625可以表示由设备110执行的数据收集操作。因此,设备105可以在没有建立视频通话的情况下将在框620中收集的设备数据630发送到设备110。如所指出的,设备数据630可以包括环境数据。设备110可以在没有建立视频通话的情况下将在框625收集的设备数据635发送到设备105。设备数据635可以包括环境数据。如所指出的,环境数据可以包括,但不限于由设备105和/或设备110收集的图像、视频数据、视听数据、音频数据、光数据和/或其他传感器数据。
框640示出了由设备105响应于接收设备数据635而执行的操作。框645表示由设备110响应于接收设备数据630而执行的处理。例如,设备105可以使用设备数据635来确定环境条件,诸如相对于设备110的用户B的物理存在。此外,设备105可以根据设备数据635确定一个或多个其他环境条件。设备110可以使用设备数据630来确定环境条件,诸如相对于设备105的用户X的物理存在。此外,设备110可以根据设备数据630确定一个或多个其他环境条件。
图7是示出调整头像的视觉特性以指示环境条件的示例性方法700的流程图。图7示出了这些视觉特性的调整如何提供对诸如用户存在的环境条件的提示。方法700可以使用如参照图1所描述的平台来执行。为了说明的目的,从一组配对设备的第一设备(例如,设备105)的角度来描述方法700。
在框705中,设备被通电。配对设备也可以被通电或已经处于通电状态。在框710中,设备可以自动与配对设备建立通信链路。应该理解,虽然设备可能已经与配对设备建立了通信链路,但是视频通话没有建立。响应于通电和建立通信链路,设备可以显示表示配对设备的用户的头像。在一个方面,设备可以在通电之后立即显示在默认状态下的头像。
在框715中,设备可以捕获环境数据。环境数据可以包括图像、视频、视听数据和/或来自一个或多个传感器的数据。在框720中,设备可以将环境数据作为设备数据发送到配对设备。在框725中,设备可以从配对设备接收设备数据。从配对设备接收的设备数据可以是由配对设备捕获和发送的如所描述的环境数据。
在框730中,设备可以监视从配对设备接收到的、针对用户的物理存在的设备数据。如所指出的,用户的物理存在是环境条件的一个示例。例如,设备105可以分析从设备110接收到的配对设备数据,以确定相对于设备110的用户B的物理存在。如本公开所定义的,术语“物理存在”意味着设备的用户在设备周围的特定范围和/或区域内被检测到。在一种布置中,物理存在可以意味着用户在配对设备的预定距离内。在另一布置中,物理存在可以是用户在设备的相机的视野内以便被检测到。
例如,设备可以通过分析从配对设备接收到的视觉数据来确定用户的物理存在。该设备可以应用图像处理来确定用户是否存在于所捕获的图像和/或视频内。设备可以使用图像处理来在用户(例如,人)和不是用户的对象之间进行区分。在另一示例中,该设备可以检测对象的运动。在另一示例性布置中,设备可以被配置为利用面部识别技术来从可能或可能不被确定为物理地存在的多个潜在用户当中确定用户的身份。面部识别技术在设备位于具有多个用户的环境中的情况下可能是有用的。因此,该设备能够确定多个潜在用户中的哪一个是相对于配对设备的物理存在。
在使用面部识别技术的另一示例中,设备可以确定用户是否为设备所知。例如,每个家庭成员可以建立头像或将自己注册为设备的用户。在设备检测到未知的人的情况下,设备可以实时地捕获未知用户的图像,并将该图像发送到任何配对设备,以用作在配对设备上的用户的头像。
在又一布置中,设备可以分析从配对设备接收到的设备数据内的音频。该设备可以区分不同类型的音频。例如,设备可以确定在音频数据内的用户的语音是否是可检测的。对音频数据中的人的语音的检测可以是用户的物理存在的指示。此外,音频数据内的语音的声音水平可以指示用户与配对设备的接近度。
在框735中,设备可以确定是否已经检测到用户。可以使用本文所描述的任何技术和/或这些技术的组合来检测用户。如果检测到用户,则方法700可以前进到框740。如果未检测到用户,则方法700可以继续到框745。在框740中,设备可以确定用户与配对设备的距离。例如,设备可以使用图像处理来估计用户与配对设备的距离。该设备可以用配对设备的相机的属性预先编程,从而允许设备计算在视觉数据内检测到的用户与配对设备之间的距离的估计。另一方面,该设备可以根据检测到的用户语音的声音水平来估计距离。语音的更响亮(louder)的声音水平指示用户与配对设备之间的距离更短,而更柔和(softer)的声音水平则指示用户与配对设备之间的距离更大。
在框745中,设备可以监视从配对设备接收的、针对配对设备周围的一个或多个其他环境条件的设备数据。对特定环境条件和/或环境条件的组合的检测可以被用来指示用户可以进行视频通话的可能性。环境条件的另一示例是检测诸如用户的语音和/或音乐。环境条件的另一示例是配对设备中及其周围的光水平。如将被更详细地描述的,用户的物理存在的检测可以与一个或多个其他环境条件结合使用,以确定用户可以进行视频通话的可能性。
在框750中,设备可以可选地对环境条件进行分类。例如,设备可以按照指示声音水平的标度对接收到的音频进行分类。设备可以进一步对音频的类型进行分类。音频的示例性类型可以包括,但不限于音乐、用户的语音等。
在框755中,响应于在从配对设备接收到的设备数据中检测到的环境条件,设备可以修改表示配对设备的用户的头像的视觉特性。在一个示例中,设备可以响应于如框735和/或框740中所确定的、由头像表示的用户(例如,配对设备的用户)的物理存在来修改头像的视觉特性。如所指出的,设备可以在其屏幕上显示表示配对设备的用户的头像。在一个方面,可以根据用户与配对设备的距离来修改在设备的屏幕上的头像的显示。例如,如设备上显示的用户的头像可以被移动、调整尺寸、改变颜色等。当用户未被确定为物理地存在时,用户的头像可以被显示在默认位置。响应于根据来自配对设备的设备数据确定的用户的物理存在,用户的头像可以被实时地、连续地修改,例如移动和/或调整尺寸。
在框760中,设备可以响应于根据设备数据确定的一个或多个其他环境条件来可选地修改头像的一个或多个进一步的视觉特性。进一步的视觉特性提供指示从配对设备接收的设备数据中检测到的环境条件和/或(多个)环境条件的分类的提示。在一个方面,声音水平(例如,以分贝测量的)可以被可视化为链接到和/或围绕在显示在设备的屏幕上的配对设备的用户的头像的脉冲环。随着声音水平在来自配对设备的设备数据内增加和/或减少,提示可以实时地增加尺寸并减小尺寸。本文描述的头像的视觉特性可以响应于检测到的设备数据中的环境条件而彼此被同时修改。
在另一布置中,环的颜色或其他视觉特性可以基于环境条件的分类而改变。作为示例,围绕用作配对设备处检测到音乐的提示的头像的环可以与用于指示在配对设备处检测到用户语音的环的颜色不同。在又一示例中,围绕用作配对设备周围的光水平的提示的头像的环也可以具有另一种颜色。环可以连续地被调整尺寸,以实时指示环境条件的改变水平。此外,可以同时叠加指示多个环境条件的环。这允许设备的用户具有在配对设备处发生的活动水平的感觉以及在配对设备处发生的活动类型的感觉。
在框765中,设备可以确定视频通话是否已经发起。视频通话可以由设备发起(例如,在用户控制下),或者由配对设备在配对设备的用户的控制下发起。在一个方面,设备和配对设备可以支持单击视频通话发起。例如,设备的用户可以通过简单地触摸配对设备的用户的头像来向配对设备发起视频通话。如果发起视频通话,则方法700可以继续到框770以执行视频通话处理。如果未发起视频通话,则方法700可以循环回到框715以如所描述的那样继续捕获和/或处理环境数据。在框770之后,方法700继续到框775以确定视频通话是否已经结束。如果视频通话已经结束,则方法700可以前进到框715。如果视频通话未结束,则方法700可以循环回到框770并继续处理,直到视频通话结束。
图8是示出使用用户的角度进行视频通话的示例性方法800的流程图。方法800可以在正在进行的视频通话期间由诸如设备105和/或设备110的设备执行。例如,可以由诸如设备105的设备将方法800实施为框770的一部分或将方法800在框770期间实施。
在框805中,设备可以根据视觉数据确定用户的视觉角度。例如,设备105可以捕获将被传输到配对设备的视觉数据。在视频通话期间,设备105可以分析所捕获的视觉数据并且估计用户X正在看的方向。例如,设备可以确定用户X是在向上看、向下看、向左看、向右看还是在向所指出的四个主要方向之间的方向上看。
在框810中,响应于用户的视觉角度,设备可以在从配对设备接收到的视频的视野内选择和/或调整窗口位置。窗口可以定义在视频通话期间在设备的屏幕上显示的、从配对设备接收到的视频的视野的一部分。例如,设备110可以使用具有比在设备105的屏幕上向用户显示的视野更大的视野的广角相机来捕获视频。设备105可以仅显示从设备110接收到的视频的整个视野的一部分。所显示的视频的一部分可以是窗口内的部分,该窗口可以响应于用户X的视觉角度而在视野内移动或调整。
在框815中,设备可以在设备的屏幕上显示窗口内的视图的视野的一部分。当视频通话正在进行时,方法800可以继续循环和操作。
图9是示出用户的视觉角度的示图。如图所示,使用相机910的设备905可以捕获包括用户915的视觉数据。设备905可以使用图像处理来确定用户915相对于设备905和相机910的视觉角度。在一个方面,设备905可以确定在进行视频通话时用户的面部的方向和/或方位。例如,设备905可以检测用户915是否具有指向上、下、中、左、右或者指向它们之间的点的视觉角度。此外,设备905可以确定用户915的面部向上、向下、向左和/或向右指向的程度。在另一方面,设备905可确定用户915是否在特定方向上移动了他或她的身体和/或头部。设备905可以检测这样的移动发生的程度。
尽管用于确定用户915的视觉角度的特定技术,但是设备905可以在视频通话期间继续确定随着时间推移用户的视觉角度的改变。用户915的视觉角度和/或检测到的用户915的视觉角度的改变,可用于在屏幕920上显示的、从配对设备接收到的视频的视野内移动窗口。
图10是示出在视频通话期间使用用户的视觉角度的框图。图10示出了从配对设备接收到的视频的视野1005。例如,设备110的广角相机可以捕获具有如图10所示的视野1005的视频。如在本公开中使用的,术语“视野”是指从配对设备接收的全尺寸视频帧。在没有建立视频通话时,设备105可以不显示从配对设备接收的任何视觉数据(例如,图像和/或视频)。然而,如所讨论的,设备105可以分析接收到的视觉数据以用于检测环境条件(诸如,配对设备的用户的物理存在以及配对设备周围的其他环境条件)。
在视频通话期间,具有视野1005的视频作为来自设备110的视觉数据被发送到设备105。当视频通话建立时,设备105可以仅显示在窗口1010内的、从设备110接收到的视频的视野1005的一部分。因为窗口1010的尺寸小于视野1005的尺寸,所以设备105可以响应于用户X的改变的视觉角度来调整视野1005内的窗口1010的位置。例如,响应于确定用户X将视觉角度移动到右侧,设备105可以将窗口1010的位置在视野1005内向右移动。如所指出的,仅窗口1010内的视频的一部分被显示在设备105的屏幕上。响应于确定用户X将视觉角度移动到左侧,设备105可以将窗口1010在视野1005内向左移动。响应于确定用户X将视觉角度移动到上侧,设备105可以将窗口1010在视野1005内向上移动。响应于确定用户X将视觉角度移动到下侧,设备105可以将窗口1010在视野1005内向下移动。
在图10的示例中,设备105可以确定用户X的视觉角度已经沿着箭头1015的方向(例如,右上)移动。因此,设备105已经确定用户已经改变了视觉角度,并且现在正在看向比之前更靠右和更高的位置。因此,设备105可以将窗口1010的位置在视野1005内移动到位置1020。移动和/或调整窗口1010的位置改变了显示在屏幕上的视频的一部分,从而模拟当看向窗口外部时将获得的改变的视图。在这点上,应该理解的是,用户可以在将人的身体向左移动的同时将人的头部向右移动,这将被设备105解释为指向右的视觉角度,从而导致窗口1010的位置在视野1005内向右移动。该示例示出了身体运动可以在与所确定的方向相反或大致相反的方向上发生,其中所确定的方向是以确定用户的视觉角度为目的的人脸所指向的方向。
设备105可以响应于检测到的用户X的视觉角度和/或用户X的视觉角度的改变,将窗口1010在视频的视野1005周围移动。此外,用户X的视觉角度的移动的程度或改变的角度可以与窗口移动的量相关联。视觉角度的更大改变可能转化为窗口1010的更大移动。视觉角度的更快改变可能转化为窗口1010的更大移动。
图11A和图11B共同示出响应于用户视觉角度而移动窗口位置。图11A示出在设备105的屏幕上显示的窗口1105的初始位置。如所指出的,窗口1105小于在视频通话期间由设备105从配对设备110接收到的视频的视野。在这个示例中,设备105确定用户X的视觉角度已经向左移动。用户X已经移动了位置和/或移动了他或她的面部,以指示他或她正看向比之前更靠近设备105的屏幕上的左侧。响应于检测到的用户X的视觉角度的移动,设备105将窗口1105的位置在从配对设备110接收到的视频的视野内向左移动,如图11B所示。
图12是可以呈现在设备105的屏幕上的示例性图形用户界面(GUI)1200。当设备105没有参与视频通话但是仍然是激活的(例如,相机的镜头盖打开)时,可以显示GUI1200。GUI 1200示出对应于用户A、用户B和用户C的三个头像。用户A、用户B和用户C可以通过他们的头像来识别,头像可以由每个相应的用户定制。用户A、用户B和用户C中的每一个还与配对设备相关联。例如,如果GUI 1200由设备105呈现,则每个用户A、用户B和用户C与不同的配对设备相关联。为了讨论的目的,用户A的设备被称为设备A,用户B的设备被称为设备B,并且用户C的设备被称为设备C。如所讨论的,设备105可以从配对的设备A、设备B和设备C中的每一个接收设备数据。
在一种布置中,设备105可以基于头像所表示的用户与其相应设备的相机的接近度来增加和减小头像的尺寸。例如,响应于从配对的设备A、设备B和设备C中的每一个接收设备数据,设备105可以调整用户A、用户B和用户C的头像以表示每个用户与他或她的相应设备的距离。在这个示例中,当用户靠近他或她的设备移动或者根据设备数据被确定为更近时,该用户的头像可以被放大和/或移动到更靠近设备105的屏幕上的GUI 1200的中心。在该示例中,用户A被确定为相对于设备A物理地存在。用户B被确定为相对于设备B物理地存在。用户C被确定为相对于设备C物理地存在。用户A和设备A之间的距离小于用户C和设备C之间的距离。此外,用户C和设备C之间的距离被确定为小于用户B和设备B之间的距离。
在另一布置中,当由头像表示的用户被确定为相对于配对设备并非物理地存在时,配对设备的用户的头像可以显示在默认位置。例如,头像可以以小的或者更小的尺寸被显示并且被定位在GUI的底部。此外,在被确定为相对于他们的设备并非物理地存在的用户的头像被显示的情况下,这样的头像可以与被确定为相对于他们的设备物理地存在的用户的头像在视觉上区分开来。
图13示出了GUI 1200的另一视图。如图所示,表示用户A的头像已经更多地移动到GUI 1200的中心,并且比图12中的情况更大。用户A的头像的视觉特性(例如,在这个示例中的尺寸和位置)的修改指示用户A现在比在图12中的情况更靠近设备A。
设备105可以根据环境数据来修改头像的一个或多个进一步的视觉特性。可通过颜色和/或形状来调整头像的视觉特性,以指示音频的特性、音频的性质、特定声音、随机噪声、人们说话等。在图12和图13的示例中,进一步的视觉特征被示为围绕每个相应头像的环。如所讨论的,响应于从设备A、设备B和设备C接收的环境数据,可以动态地在尺寸、颜色等方面调整环。环的颜色和/或尺寸可以指示检测到的声音的音量和/或检测到的声音的种类、光的水平等。
例如,从设备A接收到的音频的声音水平越响亮,环从用户A的头像向外扩展就越多。类似地,可以调整环的颜色以指示检测到的音频的类型。一种颜色可以指示音乐,而另一种颜色可以指示用户的语音。这样,设备105的用户X可以实时地确定在设备A、设备B和/或设备C的位置处发生的活动的水平。设备105的用户X可被提示为高水平的活动,如由用户A的头像的较大尺寸、较大尺寸的环、颜色等所指示的。环的尺寸可以扩大或缩小,以指示设备的周围环境是明亮或黑暗。视觉特性的组合指示配对设备的用户是否或多或少地可能进行通信和/或参与视频通话。
在说明中,设备105的用户X可以查看用户A的头像,并且可以看到在设备A的位置处音乐正在播放,或者已经检测到高水平的声音。此外,由于用户A的头像较大,所以设备105的用户可以断定用户A非常靠近设备A。高水平的声音和分类可以向设备105的用户指示庆祝或派对正在发生,并且作为结果,使设备105的用户发起视频通话。在另一示例中,用户的头像的位置和/或大小可以指示用户在他或她的设备附近,这可以促使设备105的用户仅基于从设备105获得的提示而开始视频通话以用于快速聊天。本文公开的发明布置帮助移除通常在视频会议中发现的摩擦点,以允许更自然和自发地使用视频通话。
图14是可以呈现在设备B的屏幕上的另一示例性GUI 1400。可以在设备B参与视频通话的同时显示GUI 1400。在图14的示例中,设备A和设备B的用户A和用户B分别参与视频通话。用户B能够查看在窗口1405中示出的、由设备B的相机捕获的场景的画中画视图,或其一部分。在图14的示例中,用户A已经通过在设备A的屏幕上绘制心形来提供用户输入。与视频通话同时地,设备A可以将检测到的用户输入发送到设备B。设备B响应于从设备A接收用户输入,可以在设备B的屏幕上呈现以图形(在这个示例中为心形)示出的用户输入1410。例如,设备B可以在视频通话期间将图形叠加在从设备A接收到的视频上。
在一种布置中,图形1410可以在预定量的时间之后从设备B的屏幕上被移除。在一个方面中,设备B可以显示图形1410并且在第一预定量的时间之后开始淡化图形1410,并且在第二预定量的时间之后,图形1410最终完全从设备B的显示器消失。
应当理解的是,尽管从向设备B提供在设备A处接收的图像的角度来描述,但该过程也可以以相反的方向来操作。例如,设备B可以检测来自用户B的用户输入,并且将用户输入与视频通话同时提供给设备A,使得设备A可以如所描述的那样叠加由来自用户B的用户输入所指定的图像。此外,用户A和用户B都可以向其各自的设备提供输入,其中各自的设备可以在彼此进行视频通话时而彼此同时交换。
在另一布置中,可以使用手势将图从一个设备发送到另一配对设备。如本公开中所定义的,术语“手势”意味着身体或身体的一部分的预定运动。手势可以是检测到的手、手臂或用户的整个身体以预定方式的运动。手势可以使用相机来检测。还可以使用触敏屏幕或其他触敏输入设备(其中运动模式、接触点的数量或两者都被检测为手势)来检测手势。一个或多个手势中的每一个可以与图像或图形相关联。响应于设备A检测到用户A做出手势,设备A可以在视频通话期间将与检测到的手势相关联的图形发送给设备B。
在另一布置中,可以将设备置于视频通话保持建立的模式中,以便提供视频监视和/或安全相机功能。在这种操作模式中,例如,设备A可以连续地从设备B接收并显示视听信息。
本文使用的术语仅仅是为了描述特定实施例的目的,而不是旨在限制。尽管如此,现在将呈现应用于该整个文件的几个定义。
如本文所定义的,除非上下文另外清楚地指示,否则单数形式“一”和“该”旨在还包括复数形式。
如本文所定义的,术语“另一”意味着至少第二个或更多个。
如本文所定义的,除非另有明确说明,术语“至少一个”、“一个或多个”和“和/或”是在操作中既连接又分离的开放式表达。例如,表达“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”、“A、B和/或C”中的每一个意味着:A单独、B单独、C单独、A和B一起、A和C一起、B和C一起、或A、B和C一起。
如本文所定义的,术语“自动地”意味着没有用户干预。
如本文所定义的,术语“头像”意味着表示用户的图标、图形或图像。
如本文所定义的,术语“计算机可读存储介质”意味着包含或存储由指令运行系统、装置或设备使用或与其结合使用的程序代码的存储介质。如本文所定义的,“计算机可读存储介质”本身不是瞬时的、本身传播信号。计算机可读存储介质可以是,但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。如本文所述的存储器元件是计算机可读存储介质的示例。计算机可读存储介质的更具体示例的非穷尽列表可以包括:便携式计算机软磁盘、硬盘、随机存取存储器(RAM),只读存储器(read-only memory,ROM),可擦除可编程只读存储器((erasable programmableread-only memory,EPROM)或闪存)、静态随机存取存储器(static random accessmemory,SRAM),便携式光盘只读存储器(compact disc read-only memory,CD-ROM)、数字多功能盘(digital versatile disk,DVD)、记忆棒、软盘、机械编码设备(诸如在其上记录有指令的凹槽中的穿孔卡或凸起结构)以及前述的任何合适的组合。
如本文所定义的,除非另有指示,否则术语“耦合”意味着连接,无论是没有任何中间元件的直接还是有一个或多个中间元件的间接。两个元件可以通过通信信道、通路、网络或系统机械地、电气地或通信地链接。
如本文所定义的,术语“可运行的操作”或“操作”是由数据处理系统或数据处理系统内的处理器执行的任务,除非上下文另外指示。可运行的操作的示例包括,但不限于“处理”、“计算(computing)”、“计算(calculate)”、“确定”、“显示”、“比较”等。在这点上,操作是指数据处理系统(例如,计算机系统或类似的电子计算设备)的动作和/或过程,该动作和/或过程将被表示为在计算机系统的寄存器和/或存储器内的物理(电子)量的数据操纵和转换成类似地被表示为在计算机系统存储器和/或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
如本文所定义的,术语“包括”指定所说明的特征、完整物、步骤、操作、元件和/或组件的存在,但不排除一个或多个其他特征、完整物、步骤、操作、元件和/或组件和/或它们的组合的存在或添加。
如本文所定义的,取决于上下文,术语“如果”意味着“当...时”或“在...时”或“响应于...”或“对...响应”。因此,取决于上下文,可以将短语“如果确定”或“如果检测到[所说明的条件或事件]”解释为意味着“在确定时”或“响应于确定”或“在检测到[所说明的条件或事件]时”或“响应于检测到[所说明的条件或事件]”或“对检测到[所说明的条件或事件]响应”。
如本文所定义的,术语“一个实施例”、“实施例”或类似的语言意味着结合该实施例描述的特定特征、结构或特性被包括在本公开内所描述的至少一个实施例中。因此,贯穿本公开的短语“在一个实施例中”、“在实施例中”以及类似的语言的出现可以,但不一定都指相同的实施例。
如本文所定义的,术语“输出”意味着存储在物理存储器元件(例如,设备)中,写入显示器或其他外围输出设备,发送或传输到另一系统,输出等。
如本文所定义的,术语“多个”意味着两个或多于两个。
如本文所定义的,术语“处理器”意味着被配置为执行包含在程序代码中的指令的至少一个硬件电路。硬件电路可以是集成电路。处理器的示例包括,但不限于中央处理单元(CPU)、阵列处理器、矢量处理器、数字信号处理器(digital signal processor,DSP),现场可编程门阵列(field-programmable gate array,FPGA),可编程逻辑阵列(programmablelogic array,PLA),专用集成电路(application specific integrated circuit,ASIC)、可编程逻辑电路和控制器。
如本文所定义的,术语“程序代码”、“软件”、“应用”和“可运行代码”意味着以任何语言、代码或符号形式的指令集的任何表达,其中该指令集旨在使数据处理系统直接或在以下任意一项或两项之后执行特定功能:a)转换为另一语言、代码或符号;b)以不同的材料形式再现。程序代码的示例可以包括,但不限于子程序、函数、过程、对象方法、对象实现、可运行应用、小应用、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计用于在计算机系统上运行的其他指令序列。
如本文所定义的,术语“实时”意味着用户或系统感觉到足以立即进行特定处理或做出确定的处理响应性的水平,或者使处理器能够跟上一些外部处理的水平。
如本文所定义的,术语“响应于”意味着对动作或事件容易做出响应或反应。因此,如果“响应于”第一动作而执行第二动作,则在第一动作的发生和第二动作的发生之间存在因果关系。术语“响应于”指示因果关系。
如本文所定义的,术语“用户”意味着人。
本文可以使用术语第一、第二等来描述各种元件。这些元件不应受这些术语的限制,因为这些术语仅用于将一个元件与另一个元件区分开,除非另有说明或者上下文另有清楚的指示。
计算机程序产品可以包括在其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备,或者经由网络(例如,因特网、LAN,WAN和/或无线网络)被下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或包括边缘服务器的边缘设备。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令,并将计算机可读程序指令转发以将其存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本文描述的本发明布置的操作的计算机可读程序指令可以是汇编指令、指令集架构(instruction-set-architecture,ISA)指令、机器指令、基于机器的指令、微码、固件指令、状态设置数据或者以一种或多种程序设计语言(包括面向对象的编程语言和/或过程编程语言)的任意组合的方式编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上且部分在远程计算机上、或者完全在远程计算机或服务器上运行。在后一种情景下,远程计算机可以通过任何类型的网络(包括LAN或WAN)连接到用户计算机,或者可以连接到外部计算机(例如,通过使用互联网服务提供商的互联网)。在一些情况下,包括例如可编程逻辑电路、FPGA或PLA的电子电路可以通过利用计算机可读程序指令的状态信息来运行计算机可读程序指令以个性化电子电路,以便执行本文描述的发明布置的各个方面。
本文参照方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本发明布置的某些方面。应当理解的是,流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合可以通过计算机可读程序指令(例如程序代码)来实施。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机(machine),使得经由计算机或其他可编程数据处理装置的处理器运行的指令创建用于实施在流程图和/或框图的一个或多个框中指定的功能/动作的工具(means)。这些计算机可读程序指令还可以被存储在计算机可读存储介质中,该计算机可读存储介质可以指向计算机、可编程数据处理装置和/或其他设备以特定方式运转,使得其中存储有指令的计算机可读存储介质包括制造物品,该制造物品包括实施在流程图和/或框图的一个或多个框中指定的操作的各个方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上,以使得在计算机、其他可编程装置或其他设备上执行一系列操作以产生计算机实施的过程,使得在计算机、其他可编程装置或其他设备上运行的指令实施在流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本发明布置的各个方面的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这点上,流程图或框图中的每个框可以表示包括用于实施指定的操作的一个或多个可运行指令的指令的模块、段或部分。在一些替代的实施方式中,框中标注的操作可以不按照附图中标注的顺序发生。例如,取决于所涉及的功能,连续示出的两个框可以基本上同时运行,或者框有时可以以相反的顺序运行。还要注意的是,框图和/或流程图说明中的每个框、以及框图和/或流程图说明中的框的组合可以由执行指定功能或动作、或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施。
为了说明的简单和清楚的目的,附图中示出的元件不一定按比例绘制。例如,为了清楚起见,一些元件的尺寸可能相对于其他元件被夸大。此外,在认为合适的情况下,附图中重复的附图标记表示相应的、类似的或相似的特征。
可以在以下权利要求中找到的所有工具或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于与具体声明的其他要求保护的元件一起执行功能的任何结构、材料或动作。
实施例可以包括设备。该设备可以包括:通信电路,其被配置为从配对设备接收设备数据;处理器,其耦合到通信电路并且被配置为使用设备数据确定包括配对设备的用户相对于配对设备的物理存在的第一环境条件;以及屏幕,其耦合到所述处理器并且被配置为显示配对设备的用户的头像,并响应于物理存在而调整所述头像的视觉特性。屏幕可以是触敏屏幕。
物理存在可以指示配对设备的用户与配对设备之间的距离的改变。屏幕可以响应于距离的改变来调整头像的视觉特性。
视觉特性可以指示配对设备的用户接受通信的可能性。
处理器可以根据设备数据确定配对设备的第二环境条件。屏幕可以响应于第二环境条件来调整头像的进一步的视觉特性。
处理器可以确定第二环境条件的分类。进一步的视觉特性可以指示第二环境条件的分类。在一个方面,第二环境条件可以包括声音水平。另一方面,第二环境条件可以包括环境光。
该设备可以包括被配置为捕获设备周围环境的视觉数据的相机。通信电路还可以被配置为将视觉数据发送到配对设备。
在另一布置中,在视频通话期间,处理器可以被配置为至少部分地根据视觉数据来确定设备的用户的视觉角度,并且响应于设备的用户的视觉角度,在屏幕上显示的、从配对设备接收到的视频的视野内调整窗口的位置。
在又一布置中,屏幕可以在视频通话期间显示从配对设备接收到的视频,并且响应于从配对设备的用户检测到的用户输入,在视频通话期间将图形叠加在在视频上。该图形可以由用户输入指定。
另一实施例可以包括通信方法。该方法可以包括:使用第一设备的处理器从与第一设备配对的第二设备接收设备数据;使用处理器来使用设备数据确定第一环境条件,其中该第一环境条件包括第二设备的用户相对于第二设备的物理存在;在第一设备的屏幕上显示第二设备的用户的头像;以及响应于物理存在而调整屏幕上的头像的视觉特性。屏幕可以是触敏屏幕。
设备数据可以指定用户与第二设备之间的距离的改变。调整视觉特性可以包括响应于距离的改变来调整头像的视觉特性。
头像的视觉特性可以指示配对设备的用户接受通信的可能性。
该方法可以包括根据设备数据确定配对设备的第二环境条件,并且响应于第二环境条件调整头像的进一步的视觉特性。
该方法可以包括确定第二环境条件的分类。视觉特性可以指示第二环境条件的分类。在一个方面,第二环境条件可以包括声音水平。另一方面,第二环境条件可以包括环境光。
该方法可以包括使用相机捕获设备的周围环境的视觉数据,并将视觉数据发送到配对设备。
该方法还可以包括:在视频通话期间,至少部分地根据视觉数据来确定设备的用户的视觉角度,并且响应于设备的用户的视觉角度,在屏幕上显示的、从配对设备接收到的视频的视野内调整窗口的位置。
该方法还可以包括:在视频通话期间显示从配对设备接收到的视频,并且响应于从配对设备的用户检测到的用户输入,在视频通话期间将图形叠加在视频上,其中该图形由用户输入指定。
本文提供的对本发明布置的描述是为了说明的目的,而不旨在穷举或被限制于所公开的形式和示例。选择本文使用的术语是为了解释本发明布置的原理、实际应用或对市场上找到的技术的技术改进,和/或是为了使其他本领域的普通技术人员能够理解本文公开的实施例。修改和改变对于本领域普通技术人员来说可能是清楚的,而不脱离所描述的发明布置的范围和精神。因此,应该以下面的作为指示这些特征和实施的范围的权利要求而不是前述的公开为参考。

Claims (15)

1.一种设备,包括:
通信电路,被配置为从配对设备接收设备数据;
处理器,被耦合到所述通信电路,并且被配置为使用所述设备数据确定第一环境条件,所述第一环境条件包括所述配对设备的用户相对于所述配对设备的物理存在;以及
屏幕,被耦合到所述处理器,并且被配置为显示所述配对设备的用户的头像,并且响应于所述物理存在来调整所述头像的视觉特性。
2.如权利要求1所述的设备,其中:
所述物理存在指示所述配对设备的用户与所述配对设备之间的距离的改变;并且
所述屏幕响应于距离的改变,调整所述头像的视觉特性。
3.如权利要求1所述的设备,其中,所述视觉特性指示所述配对设备的用户接受通信的可能性。
4.如权利要求1所述的设备,其中:
所述处理器还根据所述设备数据确定所述配对设备的第二环境条件;并且
所述屏幕响应于所述第二环境条件,调整所述头像的进一步的视觉特性。
5.如权利要求4所述的设备,其中:
所述处理器确定所述第二环境条件的分类;以及
所述进一步的视觉特性指示第二环境条件的分类。
6.如权利要求1所述的设备,还包括:
相机,被配置为捕获所述设备周围环境的视觉数据;
其中,所述通信电路还被配置成将所述视觉数据发送到所述配对设备。
7.如权利要求6所述的设备,其中:
处理器被配置为在视频通话期间至少部分地根据所述视觉数据来确定设备的用户的视觉角度,并且响应于设备的用户的视觉角度,在屏幕上显示的、从配对设备接收到的视频的视野内调整窗口的位置。
8.如权利要求1所述的设备,其中:
所述屏幕在视频通话期间显示从所述配对设备接收到的视频,并响应于从所述配对设备的用户检测到的用户输入,在视频通话期间将图像叠加在视频上;并且
所述图形由用户输入指定。
9.一种通信的方法,包括:
使用第一设备的处理器从与所述第一设备配对的第二设备接收设备数据;
使用所述处理器来使用所述设备数据确定第一环境条件,所述第一环境条件包括所述第二设备的用户相对于所述第二设备的物理存在;
在所述第一设备的屏幕上显示所述第二设备的用户的头像;以及
响应于所述物理存在,调整所述屏幕上的头像的视觉特性。
10.如权利要求9所述的方法,其中,所述设备数据指定所述用户与所述第二设备之间的距离的改变,并且调整视觉特性还包括:
响应于距离的改变调整头像的视觉特性。
11.如权利要求9所述的方法,还包括:
根据设备数据确定所述配对设备的第二环境条件;以及
响应于第二环境条件调整头像的进一步的视觉特性。
12.如权利要求11所述的方法,还包括:
确定所述第二环境条件的分类;以及
其中,所述进一步的视觉特性指示所述第二环境条件的分类。
13.如权利要求9所述的方法,还包括:
使用相机捕获设备周围环境的视觉数据;以及
将视觉数据发送给配对设备。
14.如权利要求13所述的方法,还包括:
在视频通话期间,至少部分地根据所述视觉数据来确定所述设备的用户的视觉角度;以及
响应于设备的用户的视觉角度,在屏幕上显示的、从所述配对设备接收到的视频的视野内调整窗口的位置。
15.如权利要求9所述的方法,还包括:
在视频通话期间显示从所述配对设备接收到的视频;以及
响应于从所述配对设备的用户检测到的用户输入,在视频通话期间将图形叠加在视频上,其中所述图形由用户输入指定。
CN201680050146.4A 2015-08-28 2016-08-26 视频通信设备及其操作 Active CN107950021B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562211639P 2015-08-28 2015-08-28
US62/211,639 2015-08-28
US14/944,424 2015-11-18
US14/944,424 US9843766B2 (en) 2015-08-28 2015-11-18 Video communication device and operation thereof
PCT/KR2016/009551 WO2017039250A1 (en) 2015-08-28 2016-08-26 Video communication device and operation thereof

Publications (2)

Publication Number Publication Date
CN107950021A true CN107950021A (zh) 2018-04-20
CN107950021B CN107950021B (zh) 2020-04-07

Family

ID=58097152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050146.4A Active CN107950021B (zh) 2015-08-28 2016-08-26 视频通信设备及其操作

Country Status (5)

Country Link
US (1) US9843766B2 (zh)
EP (1) EP3342159B1 (zh)
KR (1) KR102379070B1 (zh)
CN (1) CN107950021B (zh)
WO (1) WO2017039250A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843766B2 (en) 2015-08-28 2017-12-12 Samsung Electronics Co., Ltd. Video communication device and operation thereof
US11991220B2 (en) 2022-10-04 2024-05-21 Samsung Electronics Co., Ltd. Electronic device performing call with user of metaverse and method for operating the same
KR20240047109A (ko) * 2022-10-04 2024-04-12 삼성전자주식회사 메타버스의 사용자와 콜을 수행하는 전자 장치 및 그 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281059A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Immersive Remote Conferencing
US8601379B2 (en) * 2006-05-07 2013-12-03 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
US8725113B2 (en) * 2012-03-12 2014-05-13 Google Inc. User proximity control of devices
US20150172599A1 (en) * 2013-12-13 2015-06-18 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CN104767963A (zh) * 2015-03-27 2015-07-08 华为技术有限公司 视频会议中的与会人信息呈现方法和装置
US20150215739A1 (en) * 2012-06-06 2015-07-30 Qualcomm Incorporated Visualization of Network Members Based on Location and Direction
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
CN104871528A (zh) * 2012-08-01 2015-08-26 谷歌公司 在视频会议系统中使用化身

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004349851A (ja) * 2003-05-20 2004-12-09 Ntt Docomo Inc 携帯端末、画像通信プログラム、及び画像通信方法
JP4079121B2 (ja) 2004-06-07 2008-04-23 ソニー株式会社 双方向コミュニケーションシステムにおけるグラフィカルユーザインタフェース装置及び接続方法
US20060123150A1 (en) * 2004-11-24 2006-06-08 Sharp Kabushiki Kaisha Electronic apparatus and status information presenting apparatus
KR100703364B1 (ko) 2005-01-10 2007-04-03 삼성전자주식회사 화상 통화 이미지 출력 방법
US8269822B2 (en) 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
JP2008270911A (ja) 2007-04-16 2008-11-06 Ntt Docomo Inc 制御装置、移動通信システム及び通信端末
US8159519B2 (en) 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
US8063929B2 (en) 2007-05-31 2011-11-22 Eastman Kodak Company Managing scene transitions for video communication
CN103442201B (zh) 2007-09-24 2018-01-02 高通股份有限公司 用于语音和视频通信的增强接口
KR101529222B1 (ko) 2008-01-07 2015-06-29 엘지전자 주식회사 상대 단말기의 상태를 표시할 수 있는 휴대 단말기 및 그제어방법
US20110292181A1 (en) 2008-04-16 2011-12-01 Canesta, Inc. Methods and systems using three-dimensional sensing for user interaction with applications
WO2010023963A1 (ja) 2008-09-01 2010-03-04 日本電気株式会社 アバター表示方法、アバター表示装置および記憶媒体
GB2463110B (en) 2008-09-05 2013-01-16 Skype Communication system and method
US20110004481A1 (en) 2008-09-19 2011-01-06 Dell Products, L.P. System and method for communicating and interfacing between real and virtual environments
US10356136B2 (en) * 2012-10-19 2019-07-16 Sococo, Inc. Bridging physical and virtual spaces
US8466952B2 (en) 2009-10-27 2013-06-18 Hewlett-Packard Development Company, L.P. Analysis of video composition of participants in a video conference
US8514263B2 (en) 2010-05-12 2013-08-20 Blue Jeans Network, Inc. Systems and methods for scalable distributed global infrastructure for real-time multimedia communication
US20120092441A1 (en) 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing a paring mechanism in a video environment
US8935613B1 (en) 2010-10-28 2015-01-13 Google Inc. Communication initiation control
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US20120216129A1 (en) 2011-02-17 2012-08-23 Ng Hock M Method and apparatus for providing an immersive meeting experience for remote meeting participants
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US8963986B2 (en) 2012-07-26 2015-02-24 Cisco Technology, Inc. System and method for scaling a video presentation based on presentation complexity and room participants
US9485459B2 (en) 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
KR101464431B1 (ko) 2013-04-03 2014-11-21 주식회사 엘지유플러스 감성 표현 전달 방법 및 감성 표현 전달 장치
CN105247877A (zh) * 2013-05-30 2016-01-13 索尼公司 显示控制器、显示控制方法以及计算机程序
US9843766B2 (en) 2015-08-28 2017-12-12 Samsung Electronics Co., Ltd. Video communication device and operation thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8601379B2 (en) * 2006-05-07 2013-12-03 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
US20120281059A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Immersive Remote Conferencing
US8725113B2 (en) * 2012-03-12 2014-05-13 Google Inc. User proximity control of devices
US20150215739A1 (en) * 2012-06-06 2015-07-30 Qualcomm Incorporated Visualization of Network Members Based on Location and Direction
CN104871528A (zh) * 2012-08-01 2015-08-26 谷歌公司 在视频会议系统中使用化身
US20150172599A1 (en) * 2013-12-13 2015-06-18 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
CN104767963A (zh) * 2015-03-27 2015-07-08 华为技术有限公司 视频会议中的与会人信息呈现方法和装置

Also Published As

Publication number Publication date
WO2017039250A1 (en) 2017-03-09
EP3342159A1 (en) 2018-07-04
US9843766B2 (en) 2017-12-12
KR20170026271A (ko) 2017-03-08
KR102379070B1 (ko) 2022-03-25
EP3342159B1 (en) 2021-01-06
US20170064250A1 (en) 2017-03-02
CN107950021B (zh) 2020-04-07
EP3342159A4 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
CN103914142B (zh) 在电子装置中使用头跟踪技术提供控制服务的设备和方法
CN105259654B (zh) 眼镜式终端及其控制方法
US11194437B2 (en) Information processing device and information processing method
CN107071136A (zh) 移动终端及其控制方法
CN108475507A (zh) 信息处理设备、信息处理方法和程序
US20140294254A1 (en) Display apparatus for performing user certification and method thereof
CN106104650A (zh) 经由凝视检测进行远程设备控制
CN108604172A (zh) 多屏幕移动设备和操作
US20220224735A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and method
CN108406776B (zh) 安全交互方法、安全交互装置及服务机器人
CN103677252A (zh) 姿势识别装置、其控制方法、显示器
CN104699250A (zh) 显示控制方法及装置、电子设备
CN107692997A (zh) 心率检测方法及装置
CN106101629A (zh) 输出图像的方法及装置
CN107078917A (zh) 托管电话会议
EP3328062A1 (en) Photo synthesizing method and device
CN103353826B (zh) 一种显示设备及其信息处理方法
CN114846433A (zh) 指定子显示屏的基于手势的方法和系统
CN107950021A (zh) 视频通信设备及其操作
CN107529699A (zh) 电子设备控制方法及装置
CN109688253A (zh) 一种拍摄方法及终端
CN106464976A (zh) 显示设备、用户终端设备、服务器及其控制方法
CN106612370A (zh) 移动设备及其控制方法
US10389947B2 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
US20200301398A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant