CN108781271A - 用于提供图像服务的方法和装置 - Google Patents

用于提供图像服务的方法和装置 Download PDF

Info

Publication number
CN108781271A
CN108781271A CN201780016569.9A CN201780016569A CN108781271A CN 108781271 A CN108781271 A CN 108781271A CN 201780016569 A CN201780016569 A CN 201780016569A CN 108781271 A CN108781271 A CN 108781271A
Authority
CN
China
Prior art keywords
electronic equipment
video
various embodiments
service
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780016569.9A
Other languages
English (en)
Other versions
CN108781271B (zh
Inventor
李元植
申宗均
H.李
P.拉托雷
权良姬
金暎琳
金俊锡
宋珍浩
元志仁
李东旿
李善贞
李镇求
李择宪
林完洙
田升彬
郑丞娟
崔圭炯
朴泰建
廉东铉
尹洙夏
郑义昌
郑哲虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108781271A publication Critical patent/CN108781271A/zh
Application granted granted Critical
Publication of CN108781271B publication Critical patent/CN108781271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/15Setup of multiple wireless link connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的各种示例涉及用于在电子设备之间执行语音通话的同时发送图像的方法和装置。根据本发明的各种示例,一种电子设备包括:相机;显示器;通信单元,被配置为通过使用至少一个协议与另一电子设备建立无线通信;和处理器,功能性地连接到相机、显示器和通信单元,其中处理器可以被配置为:基于第一网络执行与另一电子设备的语音通话;在执行与另一电子设备的语音通话的同时,检测用于执行与另一电子设备的视频通话的用户输入;根据用户输入,基于第二网络来连接视频通话,并在显示器上显示与视频通话相关的用户界面;以及通过用户界面显示从相机获取的图像,并将要通过第二网络显示的图像发送到另一电子设备。各种示例都是可能的。

Description

用于提供图像服务的方法和装置
技术领域
本公开涉及用于在电子设备之间执行语音通话的同时共享视频的方法和装置。
背景技术
近来,随着数字技术的发展,各种类型的电子设备,诸如移动通信终端、智能电话、平板个人计算机(personal computer,PC)、个人数字助理(personal digital assistant,PDA)、电子记事本、笔记本、可穿戴设备、物联网(Internet of Things,IoT)设备、音响设备等,已被广泛使用。
近年来,随着电子设备的迅速普及,专注于简单语音通话的现有语音通信服务已被转换为专注于数据通信的数据通信服务,并且已经提出了各种类型的服务。例如,在电子设备中,使用互联网可以浏览网页或者可以安装应用,使得用户可以在无论何处经由电子设备接收期望的服务(例如,视频服务{例如,视频共享、视频通话服务等})。
传统上,主要通过移动通信网络来执行诸如视频共享服务或视频通话服务的视频服务。在大多数情况下,通过按下单独的视频通话按钮来执行视频通话。然而,传统的视频服务具有必须通过提供视频通话服务的移动通信网络的限制。因此,例如,在通过移动通信网络执行语音通话时,不可能同时提供诸如视频通话或视频共享的视频服务。
传统上,必须单独提供视频服务和语音通话服务,使得在执行语音通话时不能同时提供视频服务。例如,在具有内置相机的电子设备中,语音通话以及视频捕获和发送功能是分开的。因此,为了使用户捕获视频并将视频发送到另一方,当用户不在语音通话中时,通话者自己必须在激活相机后执行用于捕获、存储和发送视频的各种处理,这是不方便的。此外,当在移动环境中交换视频数据和音频数据时,可以使用诸如Wi-Fi或同一公司的网络的稳定数据网络来提供传统视频服务,因此,由于传统视频服务主要是针对简单的视频和音频数据交换,它不能支持用户之间的各种交互。
发明内容
技术问题
各种实施例公开了一种方法、装置和系统,其可以在电子设备中执行语音通话的同时提供诸如视频共享或视频通话服务的视频服务。
各种实施例公开了一种方法、装置和系统,其可以在语音通话期间将视频发送到通话伙伴时增强用于视频发送的通信连接的稳定性。
各种实施例公开了一种方法、装置和系统,其可以考虑不同的网络和网络条件来提供动态数据发送和接收,使得可以在不同的通信供应商之间无缝地提供视频和音频的共享。
各种实施例公开了一种方法、装置和系统,其可以确定用于确定与语音通话的通话伙伴的数据通信是否为可能的数据通信连接方法,当数据通信为可能时识别与通话伙伴的数据通信质量,并且基于所识别的结果在语音通话期间发送视频。
各种实施例公开了一种方法、装置和系统,其可以在电子设备中执行语音通话的同时执行视频服务相关功能。
各种实施例公开了一种方法、装置和系统,其可以向用户动态地共享与视频服务相关的情境。
各种实施例公开了一种方法、装置和系统,其可以在电子设备中的语音通话期间捕获要发送的视频,将所捕获的视频发送(共享)到另一方而不执行单独的发送操作,并且在相应电子设备上显示所发送的视频。
各种实施例公开了一种方法、装置和系统,其中可以使用通信装置将实时输入的视频(例如,视频或图像)发送到其他设备,并且多个设备可以共享所发送的视频并提供基于所共享的视频而互动的视频服务。
各种实施例公开了一种方法、装置和系统,其可以包括用户界面,该用户界面能够基于在多个电子设备中共享的视频数据和音频数据而在用户之间提供各种交互的。
各种实施例公开了一种方法、装置和系统,其可以实现多媒体处理和远程控制,以用于在用户之间的语音通话期间发生的各种情境下捕获和共享视频。
技术方案
根据本公开的一方面,提供了一种电子设备,包括:相机;显示器;通信单元,被配置为使用至少一个协议与另一电子设备建立无线通信;和处理器,被配置为功能性地连接到相机、显示器和通信单元,其中,处理器被配置为基于第一网络执行与另一电子设备的语音通话,在执行与另一电子设备的语音通话时检测用于执行与另一电子设备的视频通话的用户输入,响应于用户输入来基于第二网络连接视频通话,并在显示器上显示与视频通话相关联的用户界面,以及通过用户界面显示使用相机获取的视频,并通过第二网络将所显示的视频发送到另一电子设备。
根据本公开的另一方面,提供了一种电子设备的操作方法,包括:基于第一网络执行与另一电子设备的语音通话;在执行与另一电子设备的语音通话的同时,检测用于执行与另一电子设备的视频通话的用户输入;响应于用户输入来基于第二网络来连接视频通话,并在显示器上显示与视频通话相关联的用户界面;以及通过用户界面显示使用相机获取的视频,并通过第二网络将所显示的视频发送到另一电子设备。
为了解决上述问题,本公开的各种实施例可以包括记录用于在处理器中运行方法的程序的计算机可读记录介质。
根据本公开各种实施例的记录介质可以包括记录程序的计算机可读记录介质,该程序用于运行基于第一网络执行与另一电子设备的语音通话的操作,响应于在执行与另一电子设备的语音通话的同时执行与另一电子设备的视频通话的用户输入而基于第二网络连接视频通话、并且在显示器上显示与视频通话相关的用户界面的操作,通过用户界面显示使用相机获取的视频并且通过第二网络将所显示的视频发送到另一电子设备的操作。
有益效果
为了解决上述问题,根据各种实施例的电子设备及其操作方法可以基于比在语音通话期间发送或共享相机视频时更稳定的连接向另一方提供相机视频。根据各种实施例,电子设备可以通过与语音通话的网络(例如,第一通信)分离的网络(例如,第二通信)来提供视频服务(诸如视频共享或视频通话)。
根据各种实施例,即使在通过移动通信网络(例如,蜂窝网络)的语音通话期间使用不同的通信网络时,也可以提供视频发送和接收,并且通过用户输入支持各种远程控制。根据各种实施例,用户可以经由视频共享他或她的情境,可以将其上传到社交服务(例如,SNS),或者可以根据用户单独管理它。根据各种实施例,可以基于用户的设备和网络条件来实现有效的视频编码和发送。根据各种实施例,可以基于手势来预测用户的姿势,从而可以确定合适的通话模式(例如,视频服务模式或语音服务模式),并且可以基于确定结果来分配电子设备的资源。
根据各种实施例,可以在语音通话期间向用户提供视频服务,从而提高用户的便利性并引起用户的兴趣。根据各种实施例,当期望在语音通话期间发送视频时,用户可以通过电子设备中所设置的单个用户输入(例如,使用电子设备的按钮选择、语音命令输入或手势(运动)输入)在语音通话期间执行相机激活、视频捕获以及视频处理和发送,从而改善了用户使用电子设备的可及性及其便利性。
附图的简要说明
图1是示出根据各种实施例的包括电子设备的网络环境的图;
图2是示出根据各种实施例的电子设备的框图;
图3是示出根据各种实施例的程序模块的框图;
图4是示出根据本公开的各种实施例的系统的图;
图5是示出根据本公开的各种实施例的电子设备的配置的示意图;
图6是示出根据本公开的各种实施例的包括电子设备的系统的示例的图;
图7是示出根据本公开的各种实施例的包括电子设备的系统的另一示例的图;
图8是示出根据本公开的各种实施例的电子设备中的视频处理操作的图;
图9是示出根据本公开的各种实施例的系统中的视频服务的注册操作的图;
图10是示出根据本公开的各种实施例的系统中的视频服务的激活操作的图;
图11是示出根据本公开的各种实施例的系统中的视频服务的激活操作的图;
图12是示出根据本公开的各种实施例的电子设备中的在通话期间连接视频服务的操作的图;
图13是示出根据本公开的各种实施例的电子设备中的在通话期间连接视频服务的操作的图;
图14A、图14B和图14C是示出根据本公开的各种实施例的电子设备的用户界面的示例的图;
图15和图16是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图17、图18和图19是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图20是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图21和图22是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图23是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图24是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图25是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图26是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图27是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图28是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图29是示出根据本公开的各种实施例的在电子设备中用于在视频服务连接时显示视频通话待机状态的屏幕的示例的图;
图30是示出根据本公开的各种实施例的在电子设备中用于在视频服务连接时显示视频通话待机状态的屏幕的示例的图;
图31是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图32是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图33是示出根据本公开的各种实施例的在电子设备中用于在视频服务连接时显示视频通话待机的屏幕的示例的图;
图34是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图35A、图35B、图35C和图35D是示出根据本公开各种实施例的电子设备中的视频服务连接失败的处理的示例的图;
图36是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图37是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图38是示出根据本公开的各种实施例的在电子设备之间执行视频服务的方法的图;
图39是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图40是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图41是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图42是示出根据本公开的各种实施例的电子设备的用户界面的示例的图;
图43是示出根据本公开的各种实施例的电子设备的用户界面的示例的图;
图44是示出根据本公开的各种实施例的电子设备的用户界面的示例的图;
图45、图46和图47是示出根据本公开的各种实施例的电子设备的用户界面的示例的图;
图48和图49是示出根据本公开各种实施例的在电子设备中执行视频服务的屏幕的示例的图;
图50是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图;
图51A、图51B、图52和图53是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图54和图55是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图56和图57是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图58和图59是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图60是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图61是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图62和图63是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图64是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图;
图65是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图66是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图67是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图;
图68A和图68B是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图69A和图69B是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图70是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图;
图71是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图;
图72和图73是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图74和图75是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;
图76和图77是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图;和
图78是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
具体实施方式
在下文中,将参考附图描述本公开的各种示例实施例。然而,应该理解的是,并不意图将本公开限制于本文公开的特定形式;相反,本公开应该被理解为涵盖本公开的实施例的各种修改、等同物和/或替代。在描述附图时,类似的附图标记可用于表示类似的组成元素。
如本文所使用的,表述“具有”、“可具有”、“包括”或“可以包括”是指存在相应的特征(例如,数字、功能、操作或诸如组件的组成元素),并且不排除一个或多个附加的特征。
在本公开中,表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可以包括所列项目的所有可能组合。例如,表述“A或B”、“A和B中的至少一个”或“A或B中的至少一个”是指所有下列各项:(1)包括至少一个A,(2)包括至少一个B,或(3)包括至少一个A和至少一个B中的所有。
在本公开的各种实施例中使用的表述“第一”、“第二”、“所述第一”或“所述第二”可以修饰各种组件而不管顺序和/或重要性,但并不限制相应的组件。例如,第一用户设备和第二用户设备指示不同的用户设备,尽管它们都是用户设备。例如,第一元素可以被称为第二元素,并且类似地,第二元素可以被称为第一元素而不脱离本公开的范围。
应该理解的是,当元素(例如,第一元素)被称为(可操作地或通信地)“连接”或“耦合”到另一元素(例如,第二元素)时,它可以直接连接或直接耦合到另一元素,或者他们之间可以介入任意其他元素(例如,第三元素)。相反,可以理解的是,当元素(例如,第一元素)被称为“直接地连接”或“直接地耦合”到另一元素(第二元素)时,没有元素(例如,第三元素)介于它们之间。
在本公开中使用的表述“被配置为”可以根据情境与例如“适合于”、“具有……的能力”、“被设计为”、“被适配为”、“被用来”或“能够……”互换地使用。术语“被配置为”可能不一定暗示在硬件中“被专门设计为”。替代地,在一些情境下,表述“设备被配置为……”可以指代设备与其他设备或组件“能够……”的情境。例如,短语“被适配(或被配置)为执行A、B和C的处理器”可以指,例如,仅用于执行相应操作的专用处理器(例如,嵌入式处理器)或可以通过运行存储在存储器设备中的一个或多个软件程序来执行相应操作的通用处理器(例如,中央处理单元(central processing unit,CPU)或应用处理器(applicationprocessor,AP))。
本公开中使用的术语仅用于描述特定实施例,并不旨在限制本公开。如本文所使用的,除非上下文另有明确指示,否则单数形式也可以包括复数形式。除非另外定义,否则本文使用的所有术语,包括技术和科学术语,具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通常使用的字典中定义的那些术语可以被解释为具有与相关领域中的上下文含义等同的含义,并且除非在本公开中明确定义,否则不应被解释为具有理想或过度正式的含义。在一些情况下,即使在本公开中定义该术语的情况下,也不应将其解释为不包括本公开的实施例。
根据本公开的各种示例实施例的电子设备可以包括以下各项中的至少一个:例如,智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book reader)、台式PC、膝上型PC、笔记本计算机、上网本计算机、工作站、服务器、个人数字助理(PersonalDigital Assistant,PDA)、便携式多媒体播放器(Portable Multimedia Player,PMP)、MPEG-1音频层3(MP3)播放器、移动医疗设备、相机和可穿戴设备等,但不限于此。根据各种示例实施例,可穿戴设备可以包括以下各项中的至少一个:附件类型(例如,手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式设备(Head-Mounted Device,HMD))、织物或衣服集成类型(例如,电子服装)、身体安装类型(例如,皮肤垫或纹身)和生物可植入类型(例如,可植入电路)等,但不限于此。
根据一些示例实施例,电子设备可以是家用电器。家用电器可以包括以下各项中的至少一个:例如,电视、数字视频盘(Digital Video Disk,DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒子(例如,Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如,XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机和电子相框等,但不限于此。
根据另一示例实施例,电子设备可以包括以下各项中的至少一个:各种医疗设备(例如,各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影(Magnetic Resonance Angiography,MRA)、磁共振成像(Magnetic Resonance Imaging,MRI)、计算机断层扫描(Computed Tomography,CT)机和超声波机器)、导航设备、全球定位系统(Global Positioning System,GPS)接收器、事件数据记录器(Event Data Recorder,EDR)、飞行数据记录器(Flight Data Recorder,FDR)、车载信息娱乐设备、船舶电子设备(例如,船舶导航设备和陀螺罗盘)、航空电子设备、安全设备、汽车主机、家用或工业机器人、银行自动提款机(automatic teller’s machine,ATM)、商店销售点(point of sales,POS)或物联网设备(例如,灯泡、各种传感器、电表或气表、洒水设备、火灾报警器、恒温器、街灯、烤面包机、体育用品、热水箱、加热器、锅炉等)等,但不限于此。
根据一些示例实施例,电子设备可以包括以下各项中的至少一个:家具或建筑/建筑物的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如,水表、电表、气表和无线电波计)等,但不限于此。根据本公开的各种示例实施例的电子设备可以是前述各种设备中的一个或多个的组合。根据本公开的一些实施例的电子设备可以是柔性设备。此外,根据本公开的示例实施例的电子设备不限于前述设备,并且可以包括根据技术发展的新电子设备。
在下文中,将参考附图描述根据各种实施例的电子设备。在该文档中,术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如,人工智能电子设备)。
图1是示出根据各种实施例的包括电子设备的网络环境的图。
将参考图1描述根据各种实施例的网络环境100内的电子设备101。电子设备101可以包括总线110、处理器(例如,包括处理电路的处理器)120、存储器130、输入/输出接口(例如,包括输入/输出电路)150、显示器160和通信接口(例如,包括通信电路)170。根据本公开的示例实施例,电子设备101可以省略上述组件中的至少一个或可以进一步包括其他组件。
总线110可以包括例如互连组件110至170并在组件110至170之间传递通信(例如,控制消息和/或数据)的电路。
处理器120可以包括各种处理电路,诸如,例如但不限于以下各项中的一个或多个:专用处理器、中央处理单元(CPU)、应用处理器(AP)和通信处理器(CommunicationProcessor,CP)。处理器120可以执行例如与电子设备101的至少一个其他组件的控制和/或通信有关的计算或数据处理。下面将参考附图详细地描述根据各种示例实施例的处理(或控制)处理器120的操作。
存储器130可以包括易失性存储器和/或非易失性存储器。存储器130可以存储例如与电子设备101的至少一个其他组件相关的命令或数据。根据本公开的实施例,存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(Application Programming Interface,API)145、和/或应用程序(或“应用”)147。内核141、中间件143和API 145中的至少一些可以被指代为操作系统(Operating System,OS)。存储器130可以包括计算机可读记录介质,其上记录有程序以在处理器120中运行根据各种示例实施例的方法。
内核141可以控制或管理系统资源(例如,总线110、处理器120或存储器130)用于执行在其他程序(例如,中间件143、API 145或应用程序147)中实施的操作或功能。此外,内核141可以提供接口,中间件143、API 145或应用程序147可以通过该接口访问电子设备101的各个组件以控制或管理系统资源。
中间件143,例如,可以充当用于允许API 145或应用程序147与内核141通信来交换数据的中介。
此外,中间件143可以根据从应用程序147接收到的一个或多个任务请求的优先级来处理一个或多个任务请求。例如,中间件143可以将用于使用电子设备101的系统资源(例如,总线110、处理器120、存储器130等)的优先级分配给应用程序147中的至少一个。例如,中间件143可以通过根据分配给一个或多个任务请求的优先级来处理一个或多个任务请求,以对一个或多个任务请求执行调度或负载平衡。
API 145是应用147可以通过其控制从内核141或中间件143提供的功能的接口,并且可以包括,例如,用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如,指令)。
输入/输出接口150,例如,可以包括各种输入/输出电路和功能,作为可以将从用户或另一外部设备输入的命令或数据传送到电子设备101的其他(多个)元素的接口。此外,输入/输出接口150可以将从电子设备101的其他(多个)元素接收的命令或数据输出到用户或另一外部设备。
显示器160的示例可以包括液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light-Emitting Diode,LED)显示器、有机发光二极管(Organic Light-EmittingDiode,OLED)显示器、微机电系统(MicroElectroMechanical Systems,MEMS)显示器以及电子纸显示器等,但不限于此。显示器160可以向用户显示例如各种类型的内容(例如,文本、图像、视频、图标或符号)。显示器160可以包括触摸屏,并且可以使用电子笔或用户的身体部位来接收例如触摸、手势、接近或悬停输入。
通信接口170可以包括各种通信电路,并且可以例如在电子设备101和外部设备之间(例如,第一外部电子设备102、第二外部电子设备104或服务器106)建立通信。例如,通信接口170可以通过无线或有线通信连接到网络162,并且可以与外部设备(例如,第二外部电子设备104或服务器106)通信。
无线通信可以使用以下各项中的至少一个作为蜂窝通信协议:例如,长期演进(Long Term Evolution,LTE)、先进LTE(LTE-Advance,LTE-A)、码分多址(Code DivisionMultiple Access,CDMA)、宽带CDMA(Wideband CDMA,WCDMA)、通用移动电信系统(Universal Mobile Telecommunications System,UMTS)、无线宽带(WirelessBroadband,WiBro)和全球移动通信系统(Global System for Mobile Communications,GSM)。此外,无线通信可以包括例如短程通信164。短程通信164可以包括例如Wi-Fi、蓝牙、近场通信(Near Field Communication,NFC)和全球导航卫星系统(Global NavigationSatellite System,GNSS)中的至少一个。GNSS可以包括基于位置、带宽等的,例如全球定位系统(global positioning system,GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(北斗)或伽利略以及欧洲全球卫星导航系统中的至少一个。在下文中,在本公开中,“GPS”可以与“GNSS”互换地使用。有线通信可以包括例如通用串行总线(Universal SerialBus,USB)、高清晰度多媒体接口(High Definition Multimedia Interface,HDMI)、推荐标准232(Recommended Standard 232,RS-232)和普通老式电话服务(Plain Old TelephoneService,POTS)中的至少一个。
网络162可以包括电信网络中的至少一个,诸如计算机网络(例如,LAN或WAN)、互联网和电话网络。
第一外部电子设备102和第二外部电子设备104中的每一个可以是与电子设备101相同或不同的类型。根据本公开的实施例,服务器106可以包括一个或多个服务器的群组。根据本公开的各种示例实施例,在电子设备101中执行的所有或一些操作可以在另一电子设备或多个电子设备(例如,电子设备102和104或服务器106)中运行。根据本公开的实施例,当电子设备101必须自动地或响应于请求来执行一些功能或服务时,电子设备101可以请求另一设备(例如,电子设备102或104或服务器106),代替自动执行功能或服务或者除了自动执行功能或服务之外,执行至少一些与其相关的功能。另一电子设备(例如,电子设备102或104或服务器106)可以运行所请求的功能或附加功能,并且可以将运行的结果传递给电子设备101。电子设备101可以原样或另外处理接收的结果,并且可以提供所请求的功能或服务。为此,例如,可以使用云计算、分布式计算或客户端-服务器计算技术。
图2是示出根据本公开的各种示例实施例的示例电子设备的框图。
电子设备201可以包括,例如,图1中示出的电子设备101的全部或一部分。电子设备201可以包括一个或多个处理器(例如,包括处理电路的处理器)210(例如,应用处理器(AP))、通信模块(例如,包括通信电路的通信模块)220、订户识别模块(SubscriberIdentification Module,SIM)224、存储器230、传感器模块240、输入设备(例如,包括输入电路)250、显示器260、接口(例如,包括接口电路)270、音频模块280、相机模块(例如,包括相机)291、电力管理模块295、电池296、指示器297和发动机298。
处理器210可以包括各种处理电路,其被配置为通过驱动操作系统或应用程序来控制连接到处理器210的多个硬件或软件组件,并执行各种数据和计算的处理。处理器210可以体现为例如片上系统(System on Chip,SoC)。根据本公开的实施例,处理器210还可以包括图形处理单元(Graphic Processing Unit,GPU)和/或图像信号处理器。处理器210可以包括图2中所示的组件中的至少一些(例如,蜂窝模块221)。处理器210可以将从其他组件中的至少一个(例如,非易失性存储器)接收的命令或数据加载到易失性存储器中,并且可以处理加载的命令或数据,并且可以将各种数据存储在非易失性存储器中。
通信模块220可以具有与图1的通信接口170等同或相似的配置。通信模块220可以包括各种通信电路,诸如,例如但不限于,蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227(例如,GPS模块227、Glonass模块、北斗模块或伽利略模块)、NFC模块228和射频(Radio Frequency,RF)模块229。
蜂窝模块221,例如,可以通过通信网络提供语音通话、视频通话、文本消息服务或互联网服务。根据本公开的实施例,蜂窝模块221可以使用订户识别模块224(例如,SIM卡)来区分和认证通信网络中的电子设备201。根据本公开的实施例,蜂窝模块221可以执行AP210可以提供的至少一些功能。根据本公开的实施例,蜂窝模块221可以包括通信处理器(communication processor,CP)。
例如,Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的每一个可以包括用于处理通过相应模块发送/接收的数据的处理器。根据本公开的实施例,可以在一个集成芯片(Integrated Chip,IC)或IC封装中包括蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一些(例如,两个或更多个)。
RF模块229,例如,可以发送/接收的通信信号(例如,RF信号)。RF模块229可以包括,例如,收发器、功率放大器模块(Power Amplifier Module,PAM)、频率滤波器、低噪声放大器(Low Noise Amplifier,LNA)和天线。根据本公开的另一实施例,蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一个可以通过单独的RF模块来发送/接收RF信号。
订户识别模块224可以包括,例如,包括订户身份模块和/或嵌入式SIM的卡,并且可以包含唯一标识信息(例如,集成电路卡标识符(Integrated Circuit CardIdentifier,ICCID))或订户信息(例如,国际移动订户身份(International MobileSubscriber Identity,IMSI))。
存储器230(例如,存储器130)可以包括,例如,嵌入式存储器232和/或外部存储器234。嵌入式存储器232可以包括易失性存储器(例如,动态随机存取存储器(DynamicRandom Access Memory,DRAM)、静态RAM(Static RAM,SRAM)、同步动态RAM(SynchronousDynamic RAM,SDRAM)等)和非易失性存储器(例如,一次性可编程只读存储器(One TimeProgrammable Read Only Memory,OTPROM)、可编程ROM(Programmable ROM,PROM)、可擦除可编程ROM(Erasable and Programmable ROM,EPROM)、电可擦除可编程ROM(ElectricallyErasable and Programmable ROM,EEPROM)、掩模ROM、闪存ROM、闪存(例如,NAND闪存或NOR闪存)、硬盘驱动器、固态硬盘(Solid State Drive,SSD)等)中的至少一个。
外部存储器234还可以包括闪存驱动器,例如,紧凑式闪存(Compact Flash,CF)、安全数字(Secure Digital,SD)、微型安全数字卡(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(eXtreme Digital,xD)、多媒体卡(MultiMediaCard,MMC)、记忆棒等。外部存储器234可以通过各种接口功能性地和/或物理地连接到电子设备201。
传感器模块240,例如,可以测量物理量或检测电子设备201的操作状态,并且可以将测量或检测到的信息转换为电信号。传感器模块240可以包括,例如,以下各项中的至少一个:手势传感器240A、陀螺仪传感器240B、大气压力传感器(气压计)240C、磁性传感器240D、加速度传感器240E、手柄传感器240F、接近传感器240G、颜色传感器240H(例如,红色、绿色和蓝色(RGB)传感器)、生物测定传感器(医疗传感器)240I、温度/湿度传感器240J、照度(例如,光)传感器240K以及紫外线(Ultra Violet,UV)传感器240M。另外地或替代地,传感器模块240可以包括例如电子鼻传感器、肌电图(electromyography,EMG)传感器、脑电图(electroencephalogram,EEG)传感器、心电图(electrocardiogram,ECG)传感器、红外(Infrared,IR)传感器、虹膜扫描传感器和/或手指扫描传感器。传感器模块240还可以包括用于控制其中包括的一个或多个传感器的控制电路。根据本公开的实施例,电子设备201还可以包括作为处理器210的一部分或者与处理器210分开的处理器,该处理器被配置为控制传感器模块240,并且可以在处理器处于睡眠状态的同时控制传感器模块240。
输入设备250可以包括各种输入电路,诸如,例如但不限于,触摸面板252、(数字)笔传感器254、按键256或超声波输入装置258。触摸面板252可以使用,例如,电容型、电阻型、红外型和超声波型中的至少一个。触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层,并向用户提供触觉反应。
(数字)笔传感器254可以包括,例如,作为触摸面板的一部分或从触摸面板分离的识别片材。按键256可以包括例如物理按钮、光学按键或小键盘。超声波输入设备258可以通过麦克风(例如,麦克风288)检测由输入工具生成的超声波,并识别与检测到的超声波相对应的数据。
显示器260(例如,显示器160)可以包括面板262、全息图设备264或投影仪266。
面板262可以包括与图1中所示的显示器160相同或者类似的配置。面板262可以被实施为,例如,柔性的、透明的或可穿戴的。面板262可以体现为具有触摸面板252的单个模块。全息图设备264可以通过使用光的干涉在空气中显示三维(3D)图像。投影仪266可以将光投射到屏幕上以显示图像。屏幕可以位于例如电子设备201的内部或外部。根据本公开的实施例,显示器260还可以包括用于控制面板262的控制电路、全息图设备264或投影仪266。
接口270可以包括各种接口电路,诸如,例如但不限于,高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或超小型接口(D-sub)278。接口270可以被包括在,例如,图1中所示的通信接口170中。另外地或替代地,接口270可以包括,例如,移动高清链路(Mobile High-definition Link,MHL)接口、安全数字(SD)卡/多媒体卡(Multi-Media Card,MMC)接口、或红外数据协会(Infrared Data Association,IrDA)标准接口。
音频模块280,例如,可以双向地转换声音和电信号。音频模块280的至少一些组件可以被包括在例如图1中所示的输入/输出接口150中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286或麦克风288输入或输出的语音信息。
相机模块291可以包括各种电路,包括,例如但不限于,可以拍摄静止图像和视频的相机等。根据本公开的实施例,相机模块291可以包括一个或多个图像传感器(例如,前置传感器或后置传感器)、镜头、图像信号处理器(Image Signal Processor,ISP)或闪光灯(例如,LED或氙气灯)。
电力管理模块295可以管理例如电子设备201的电力。根据本公开的实施例,电力管理模块295可以包括电力管理集成电路(Power Management Integrated Circuit,PMIC)、充电器集成电路(IC)、或电池量表或燃油量表。PMIC可以使用有线和/或无线充电方法。无线充电方法的示例可以包括,例如,磁共振方法、磁感应方法、电磁波方法等。可以进一步包括用于无线充电的附加电路(例如,线圈回路、谐振电路、整流器等)。电池量表可以测量,例如,电池296的剩余量以及充电时的电压、电流或温度。电池296可以包括例如可充电电池和/或太阳能电池。
指示器297可以显示电子设备201或电子设备201的一部分(例如,处理器210)的特定状态(例如,启动状态、消息状态、充电状态等)。发动机298可以将电信号转换为机械振动,并且可以生成振动、触觉效果等。虽然未示出,但是电子设备201可以包括用于支持移动TV的处理设备(例如,GPU)。用于支持移动TV的处理设备可以根据诸如数字多媒体广播(Digital Multimedia Broadcasting,DMB)、数字视频广播(Digital VideoBroadcasting,DVB)或mediaFLOTM的特定标准来处理例如媒体数据。
根据本公开的硬件的上述组件元素中的每一个可以配置有与一个或多个组件,并且相应组件元素的名称可以基于电子设备的类型而变化。在各种实施例中,电子设备可以包括至少一个上述元素。可以从电子设备中省略一些上述元素,或者电子设备可以进一步包括附加元素。而且,根据各种实施例的一些硬件组件可以组合为一个实体,其可以执行与组合前的相关组件的功能相同的功能。
图3是示出了根据本公开的各种示例实施例的示例程序模块的框图。
根据本公开的实施例,程序模块310(例如,程序140)可以包括用于控制与电子设备(例如,电子设备101)和/或在操作系统(OS)中运行的各种应用(例如,应用程序147)相关的资源的操作系统。操作系统可以是例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM、BadaTM等。
程序模块310可以包括内核320、中间件330、API 360和/或应用370。程序模块310中的至少一些可以在电子设备上预加载,或者可以从外部电子设备(例如,电子设备102或电子设备104或服务器106)下载。
内核320(例如,内核141)可以包括,例如,系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或收集系统资源。根据本公开的实施例,系统资源管理器321可以包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动器323可以包括,例如,显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(Inter-Process Communication,IPC)驱动程序。
例如,中间件330可以提供应用370共同需要的功能,或者可以通过API 360向应用370提供各种功能,以使应用370能够有效地使用电子设备中有限的系统资源。根据本公开的示例实施例,中间件330(例如,中间件143)可以包括以下各项中的至少一个:运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电力管理器345、数据库管理器346、分组管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351和安全性管理器352。
运行时库335可以包括库模块,编译器使用该库模块以便在正运行应用370时通过编程语言添加新的函数。运行时库335可以执行输入/输出管理、存储器管理、算术函数的功能等。
应用管理器341可以管理,例如,应用370中的至少一个的生命周期。窗口管理器342可以管理由屏幕使用的图形用户界面(Graphical User Interface,GUI)资源。多媒体管理器343可以识别各种媒体文件的再现所需的格式,并且可以通过使用适合于相应格式的编解码器来执行媒体文件的编码或解码。资源管理器344可以管理应用370中的至少一个的源代码、存储器和存储空间的资源。
电力管理器345可以与,例如,基本输入/输出系统(Basic Input/Output System,BIOS)等一起操作,以管理电池或电源,并且可以提供电子设备的操作所需的电力信息等。数据库管理器346可以生成、搜索和/或改变要由应用370中的至少一个使用的数据库。分组管理器347可以管理以分组文件的形式分发的应用的安装或更新。
例如,连接性管理器348可以管理诸如Wi-Fi或蓝牙的无线连接性。通知管理器349可以以这种不干扰用户的方式显示或通知诸如到达消息、承诺、接近通知等的事件。位置管理器350可以管理电子设备的位置信息。图形管理器351可以管理将提供给用户的图形效果,或者与图形效果相关的用户界面。安全性管理器352可以提供系统安全性、用户认证等所需的所有安全性功能。根据本公开的实施例,当电子设备(例如,电子设备101)具有电话通话功能时,中间件330还可以包括电话管理器,用于管理电子设备的语音通话功能或视频通话功能。
中间件330可以包括形成的上述组件的各种功能的组合的中间件模块。中间件330可以提供专用于每种类型的OS的模块,以便提供差异化的功能。此外,中间件330可以动态地去除一些现有组件或添加新组件。
API 360(例如,API 145)是,例如,API编程功能的集合,并且可以根据OS提供有不同的配置。例如,在AndroidTM或iOSTM的情况下,可以为每个平台提供一个API集。在TizenTM的情况下,可以为每个平台提供两个或更多个API集。
应用370(例如,应用程序147)可以包括,例如,一个或多个应用,其可提供诸如主页371、拨号器372、SMS(Short Messaging Service,短消息服务)/MMS(MultimediaMessaging Service,多媒体消息服务)373、即时消息(Instant Message,IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、手表384。根据各种示例实施例,应用370可以包括用于提供健康护理(例如,用于测量锻炼量或血糖等)或环境信息(例如,提供大气压力、湿度或温度信息)的应用。
根据实施例,应用370可以包括支持电子设备(例如,电子设备101)和外部电子设备(例如,电子设备102或104)之间的信息交换的应用(在下文中为了便于描述称为“信息交换应用”)。信息交换应用可以包括,例如,用于将特定信息传送到外部电子设备或管理外部电子设备的设备管理应用的通知中继应用。
例如,通知中继应用可以包括向外部电子设备(例如,电子设备102或104)传送由电子设备101的其他应用生成的通知信息(例如,SMS/MMS应用、电子邮件应用、医疗保健应用、环境信息应用等)的功能。此外,通知中继应用程序可以,例如,从外部电子设备接收通知信息并且可以向用户提供所接收的通知信息。
设备管理应用可以管理(例如,安装、删除或更新),例如,与电子设备通信的外部电子设备(例如,电子设备102或电子设备104)的至少一个功能(例如,打开/关闭外部电子设备本身(或其某些组件)的功能或调整显示器的亮度(或分辨率)的功能),在外部电子设备中操作的应用,或者由外部电子设备提供的服务(例如,通话服务、消息服务等)。
根据实施例,应用370可以包括根据外部电子设备(例如,电子设备102或电子设备104)的属性而指定的应用(例如,移动医疗器具的健康护理应用等)。根据实施例,应用370可以包括从外部电子设备(例如,服务器106或电子设备102或104)接收的应用。根据实施例,应用370可以包括预加载的应用或者可以从服务器下载的第三方应用。根据附图中所示的实施例,程序模块310的元素的名称可根据操作系统的类型而变化。
根据实施例,应用370可以包括从外部电子设备接收到的应用。程序模块310的至少一部分可以由软件、固件、硬件(例如,处理器210)或它们中的至少两个或更多个的组合来实施(例如,运行),并且可以包括用于执行一个或多个功能、程序、例程、指令集或进程的模块。
本文所使用的术语“模块”可以,例如,意味着包括硬件、软件和固件之一或它们中的两个或更多个的组合的单元。“模块”可以与,例如,术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换地使用。“模块”可以是集成组件元素的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械地或电子地实施。例如,根据本公开的“模块”可以包括专用集成电路(Application-Specific IntegratedCircuit,ASIC)芯片、现场可编程门阵列(Field-Programmable Gate Arrays,FPGA)和用于执行下文中已知或将要开发的操作的可编程逻辑设备中的至少一个。
根据各种实施例,根据本公开的设备(例如,模块或其功能)或方法(例如,操作)中的至少一些可以通过以编程模块形式存储在计算机可读存储介质中的指令来实施。当由处理器(例如,处理器120)运行时,该指令可以使一个或多个处理器运行与该指令相对应的功能。计算机可读存储介质可以是例如存储器130。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如,磁带)、光学介质(例如,光盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光介质(例如,光盘)、硬件设备(例如,只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。此外,程序指令可以包括高级语言代码(其可以通过使用解释器在计算机中运行)以及由编译器产生的机器代码。前述硬件电子设备可以被配置为作为一个或多个软件模块操作,以便执行本公开的操作,反之亦然。
根据本公开的编程模块可以包括前述组件中的一个或多个,或者可以进一步包括其他附加组件,或者可以省略前述组件中的一些。由根据本公开的各种实施例的模块、编程模块或其他组件元素运行的操作可以顺序地、并行地、重复地或以启发式方式运行。此外,一些操作可以以不同的次序运行或者可以省略,或者可以添加其他操作。提供本文公开的各种实施例仅仅是为了容易地描述本公开的技术细节并且帮助理解本公开,并且不旨在限制本公开的范围。因此,应该理解的是,基于本公开的技术构思的所有修改和改变或者修改和改变的形式都落入本公开的范围内。
各种实施例公开了一种方法、装置和系统,其可以在电子设备中执行语音通话的同时提供视频服务,诸如视频共享或视频通话服务。各种实施例公开了一种方法、装置和系统,其可以在语音通话期间将视频发送到通话伙伴时增强用于视频发送的通信连接的稳定性。各种实施例公开了一种方法、装置和系统,其可以考虑不同的网络和网络条件来提供动态数据发送和接收,使得可以在不同的通信供应商之间无缝地提供视频和音频的共享。各种实施例公开了一种方法、装置和系统,其可以在电子设备中执行语音通话的同时执行视频服务相关功能。
根据本公开的各种实施例的电子设备支持通信功能和/或相机功能,并且可以包括使用AP(应用处理器)、CP(通信处理器)、GPU(图形处理单元)和CPU(中央处理单元)中的一个或多个的任何设备。例如,根据本公开的各种实施例的电子设备可以包括支持通信功能和/或相机功能或其任何应用设备的任何数据发送设备、多媒体设备、可穿戴设备、IoT(物联网)设备。
在下文中,参考附图描述根据本公开的各种实施例的电子设备和操作方法。然而,本公开的各种实施例不限于下面描述的内容。在下文中,可以将本申请的公开的各种实施例描述为具有硬件处理方法的示例。然而,本申请的公开的各种实施例包括使用硬件和软件两者的技术,因此,所描述的实施例不排除软件处理方法。
图4是示出根据本公开的各种实施例的系统的图。
如图4所示,根据本公开的各种实施例的系统可以包括电子设备500(例如,第一电子设备500A或第二电子设备500B)、至少两个网络(例如,第一网络400和第二网络600)以及一个或多个服务器650(650A和650B)。根据各种实施例,电子设备500可以包括用于发起侧操作的第一电子设备500A和用于接收侧操作的第二电子设备500B。
根据各种实施例的网络400可以被划分为用于第一通信(例如,语音通话)的第一网络400和用于第二通信(例如,视频服务)的第二网络600。根据各种实施例,第一网络400可以是用于移动通信服务的移动通信网络(或蜂窝网络),并且可以包括基站450。根据各种实施例,第二网络600可以是用于对等(peer to peer,P2P)连接的数据通信网络,并且可以包括接入服务器650A和消息服务器650B。
参考图4,第一电子设备500A和第二电子设备500B可以经由第一网络400执行语音通话,并且可以经由第二网络(例如,PS(packet switch,分组交换)网络或Wi-Fi网络)执行与彼此的数据通信。
第一电子设备500A可以在与第二电子设备500B的语音通话期间将视频(例如,经由相机接收或存储的运动图像或静止图像)发送到第二电子设备500B。在下文中,该功能将被称为视频服务。根据各种实施例,第一电子设备500A和第二电子设备500B以P2P方式连接,以在电子设备500A和电子设备500B之间发送和接收视频,但是本公开不限于此。根据一个实施例,第一电子设备500A和第二电子设备500B可以以服务器-客户端方式发送和接收视频。根据另一实施例,第一电子设备500A和第二电子设备500B可以使用多媒体服务器(未示出)互相发送和接收视频。根据另一实施例,第一电子设备500A和第二电子设备500B可以使用数据通信来发送和接收语音。
在各种实施例中,电子设备500(例如,第一电子设备500A或第二电子设备500B)可以包括其内部或外部的相机。例如,电子设备500可以包括物理地连接的内部相机或功能性地连接的外部相机。
在各种实施例中,在第一电子设备500A和第二电子设备500B之间发送和接收的视频可以包括使用相机实时地捕获的摄像视频,或者可以包括存储(例如,记录)的视频。根据各种实施例,存储的视频可以存储在电子设备500(例如,可穿戴设备、服务器等)的内部或外部。
在各种实施例中,稍后将参考附图详细地描述在语音通话期间发送和接收视频服务的视频的电子设备500的操作的示例。
服务器650可以以P2P方式连接第一电子设备500A和第二电子设备500B,并且可以被配置为一个或多个。例如,根据各种实施例,将描述服务器650被配置为接入服务器650A和消息服务器650B的示例。
在各种实施例中,接入服务器650A可以提供域名系统(domain name system,DNS)功能,以用于第一电子设备500A和第二电子设备500B的会话连接。在各种实施例中,接入服务器650A可以以P2P方式连接第一电子设备500A和第二电子设备500B。
根据各种实施例,通过消息服务器650B,第一电子设备500A可以将用于启动视频发送和接收的开始请求消息发送到第二电子设备500B。
在各种实施例中,服务器650(例如,接入服务器650A或消息服务器650B)可以管理用户帐户、简档信息和服务订购信息。
在各种实施例中,不管请求(例如,发起)语音通话连接或接收语音通话连接请求的主体如何,希望在语音通话期间发送视频的电子设备可以成为通话终端,而接收视频的电子设备可以成为接收终端。在各种实施例中,可以取决于通话终端和接收终端不同地提供用于语音通话期间的视频服务的用户界面,这将参考稍后描述的附图进行详细描述。
图5是示出根据本公开的各种实施例的电子设备的配置的示意图。
参考图5,根据本公开的各种实施例的电子设备500可以包括,例如,无线通信单元510(例如,包括通信电路的通信单元)、用户输入单元520(例如,包括输入电路的输入单元)、触摸屏530、音频处理单元540(例如,包括输出电路的输出单元)、存储器550、接口单元560、相机模块570、控制器580(例如,包括处理电路的处理器120或210)和电源单元590。本公开的各种实施例中的电子设备500不需要具有图5中所示的组件,从而电子设备500可以被实施为具有比图5中所示的组件更多或者更少的组件。
无线通信单元510可以具有,例如,与图2的通信模块220相同的或相似的配置。无线通信单元510可以包括在电子设备500和外部电子设备(例如,另一电子设备102或104,或者服务器106或650)之间启用无线通信的一个或多个模块。例如,无线通信单元510可以包括移动通信模块511、无线局域网(wireless local area network,WLAN)模块513、短程通信模块515和位置计算模块517。在各种实施例中的无线通信单元510可以包括用于与周围的外部电子设备通信的模块(例如,短程通信模块或远程通信模块)。
移动通信模块511可以具有,例如,与图2的蜂窝模块221相同或相似的配置。移动通信模块511可以在移动通信网络上向基站、外部电子设备(例如,另一电子设备104)和各种服务器(例如,应用服务器、管理服务器、集成服务器、供应商服务器、内容服务器、互联网服务器、云服务器等)中的至少一个发送无线信号,和从其中接收无线信号。无线信号可以包括语音信号、数据信号或各种类型的控制信号。移动通信模块511可以响应于用户请求将电子设备500的操作所需的各种数据发送到外部设备(例如,服务器106或另一电子设备104)。
WLAN模块513可以具有,例如,与图2的Wi-Fi模块223相同或相似的配置。WLAN模块513可以指示用于建立与另一外部电子设备(例如,另一电子设备102或服务器106)的无线互联网连接和无线LAN链路的模块。WLAN模块513可以安装在电子设备500的外部或内部。可以使用无线保真(Wi-Fi)、无线宽带(Wibro)、世界微波接入互操作性(worldInteroperability for microwave access,WiMax)、高速下行链路分组接入(high speeddownlink packet access,HSDPA)、毫米波(mmWave)等作为无线互联网技术。WLAN模块513可以结合经由网络(例如,无线互联网网络)(例如,网络162)连接到电子设备500的另一外部电子设备(例如,另一电子设备104),向外部发送电子设备500的各种数据,和从外部接收电子设备500的各种数据。WLAN模块513可以始终保持在开启状态,或者可以根据电子设备500的设置或用户输入而开启。
短程通信模块515可以指示用于执行短程通信的模块。可以使用蓝牙、蓝牙低功耗(Bluetooth low energy,BLE)、射频识别(radio frequency identification,RFID)、红外数据协会(IrDA)、超宽带(ultra wideband,UWB)、Zigbee、近场通信(NFC)等作为短程通信技术。短程通信模块515可以结合经由网络(例如,短程通信网络)连接到电子设备500的另一外部电子设备(例如,另一电子设备102),向外部电子设备发送电子设备500的各种数据,和从外部电子设备接收电子设备500的各种数据。短程通信模块515可以始终保持在开启状态,或者可以根据电子设备500的设置或用户输入而开启。
位置计算模块517可以具有,例如,与图2的GNSS模块227相同或相似的配置。位置计算模块517可以是用于获取电子设备500的位置的模块,并且可以包括全球定位系统(GPS)模块作为代表性示例。位置计算模块517可以基于三角测量原理来测量电子设备500的位置。
用户输入单元520可以生成用于响应于用户输入来控制电子设备500的操作的输入数据。用户输入单元520可以包括用于检测各种用户输入的至少一个输入设备。例如,用户输入单元520可以包括键盘、圆顶开关、物理按钮、触摸板(电阻型/电容型)、步进&变速、传感器(例如,传感器模块240)等。
用户输入单元520可以以位于电子设备500的外部的按钮的形式来实施,或者用户输入520的一些或全部可以以触摸面板的形式来实施。用户输入单元520可以接收用于启动电子设备500的操作(例如,音频再现功能、电子设备连接功能、视频发送或共享功能等)的用户输入,并且可以根据用户输入生成输入信号。
触摸屏530可以指示同时执行输入功能和显示功能的输入/输出设备,并且可以包括显示器531(例如,显示器160或260)和触摸检测单元533。触摸屏530可以具有中介角色以在电子设备500和用户之间提供输入/输出界面,将用户的触摸输入发送到电子设备500,并且向用户显示来自电子设备500的输出。触摸屏530可以向用户显示视觉输出。视觉输出可以是文本、图形、视频或其组合。
显示器531可以显示(输出)在电子设备500中处理的各种类型的信息。例如,显示器531可以在语音通话期间显示与视频服务相关的用户界面(UI)或图形用户界面(GUI)。可以使用各种显示器(例如,显示器160)作为显示器531。在各种实施例中,可弯曲显示器可以用作显示器531。
在各种实施例中,在液晶显示器(LCD)、发光二极管(LED)、有机LED(OLED)、有源矩阵OLED(active matrix OLED,AMOLED)等中,显示器531可以用塑料薄膜代替液晶周围的玻璃基板,以赋予折叠和展开的灵活性。在各种实施例中,显示器531可以延伸到电子设备500的至少一侧(例如,左侧、右侧、顶侧和底侧中的至少一个),使得可弯曲显示器可以折叠为可操作曲率半径(例如,5cm、1cm、7.5mm、5mm、4mm等的曲率半径)以下,并固定在壳体的侧面。
触摸检测单元533可以安置在显示器531上,并且可以检测与触摸屏530的表面接触或接近的用户输入。用户输入可以包括触摸事件或接近事件,即基于单点触摸、多点触摸、悬停和空中手势中的至少一个的输入。触摸检测单元533可以接收用于启动与电子设备500的使用相关的操作的用户输入,并且可以根据用户输入生成输入信号。根据各种实施例,触摸检测单元533可以被配置为:将施加到显示器531的特定部分的压力改变或者在显示器531的特定部分处生成的静电电容的改变转换为电输入信号。触摸检测单元533可以检测输入装置(例如,用户的手指、电子笔等)接触或接近的显示器531的表面的位置和区域。触摸检测单元533可以被实施为还根据所应用的触摸类型来检测进行触摸时的压力(例如,力感触摸)。
音频处理单元540可以具有,例如,与图2中的音频模块280相同的或相似的配置。音频处理单元540可以执行将从控制器580接收的音频信号发送到扬声器(SPK)541并将诸如语音等从麦克风543接收的音频信号传送到控制器580。音频处理单元540可以基于控制器580的控制,通过扬声器541将语音/声音数据转换为可听见的声音,可以输出可听见的声音,可以将诸如语音等从麦克风543接收的音频信号转换为数字信号,并且可以将数字信号传送到控制器580。
扬声器541可以输出从无线通信单元510接收的或存储在存储器550中的音频数据。扬声器541可以输出与由电子设备500运行的各种操作(功能)相关联的声音信号。
麦克风543可以接收外部声音信号,并且可以将其处理为电语音数据。可以在麦克风543中实施各种降噪算法,以去除在接收外部声音信号的过程中所生成的噪声。麦克风543可以用于输入音频流,诸如语音命令(例如,用于启动诸如音频播放、电子设备连接或视频发送或共享的功能的语音命令)。
存储器550(例如,存储器130或230)可以存储由控制器580运行的一个或多个程序,并且还执行临时存储输入/输出数据的功能。输入/输出数据可以包括例如视频、图像、照片和音频文件以及网络信息(或通信质量信息)。存储器550可以用于存储所获取的数据,并且可以将在临时存储设备中实时获取的数据和决定要存储的数据存储在可以长时间存储数据的存储设备中。
根据本公开的各种实施例,存储器550可以执行与另一电子设备的基于第一网络的语音通话,可以在执行与另一电子设备的语音通话的同时检测用于执行与另一电子设备的视频通话的用户输入,可以响应于用户输入,基于第二网络连接视频通话并在显示器上显示与视频通话相关联的用户界面,以及可以通过用户界面显示使用相机获取的视频,并且存储与经由第二网络将所显示的视频发送到另一电子设备有关的一个或多个程序以及数据或指令。
在各种实施例中,存储器550可以基于与另一电子设备的第一通信确定执行语音通话的操作,可以基于与另一电子设备的第二通信的数据通信是否为可能和响应于语音通话期间的服务运行请求的数据通信质量的至少一部分,确定是否建立服务连接,以及可以在确定服务连接时在显示器531上显示使用相机(例如,相机模块570)获取的视频,并且可以存储与基于第二通信将视频发送到另一电子设备有关的一个或多个程序以及数据或指令。
在各种实施例中,第一通信可以利用蜂窝通信协议,并且第二通信可以利用短程通信协议。例如,在各种实施例中,第一通信可以是基于蜂窝通信协议的电路交换的,并且第二通信可以是基于蜂窝通信协议的分组交换的。
在各种实施例中,当服务连接被确定时,存储器550可以另外存储与将语音通话从第一通信改变为第一通信并将改变的语音通话发送到另一电子设备相关的一个或多个程序以及数据或指令。例如,根据各种实施例,当确定服务连接时,存储器550可以终止第一通信,或者可以仅向另一电子设备发送和从另一电子设备接收用于保持连接的数据,可以另外存储与被改变为要基于第二通信发送和接收的语音通话的操作相关的一个或多个程序以及数据和指令。
根据各种实施例,在服务连接时,音频和视频可以使用不同的通信或相同的通信。根据一个实施例,当语音使用蜂窝通信协议的分组交换时,可以使用视频或蜂窝通信协议的分组交换来发送语音。根据另一实施例,当切换语音和视频以使用相同的通信时,可以终止用于语音的通信的连接。可替换地,可以仅保持用于语音的通信的最小连接,此后,用于语音的通信可以在视频终止(例如,服务连接终止)时再次用于语音通话。根据另一实施例,在视频通信结束之后,仅保持最小连接的第一通信可以自动支持语音通话。根据一个实施例,可以发送诸如保持活动分组(keep alive packet)的虚拟分组(dummy packet)以仅保持最小连接。例如,当不存在分组发送时,通信实体(例如,电子设备)可以确定不再存在通信,并且可以断开通信连接。因此,为了防止这种情况,可以发送保持活动分组。
存储器550可以包括一个或多个应用模块(或软件模块)。在各种实施例中,存储器550可以包括计算机可读记录介质。
根据各种实施例,记录介质可以包括记录有程序的计算机可读记录介质,该程序用于运行:执行基于第一网络的与另一电子设备的视频通话的操作,响应于用于在与另一电子设备的语音通话期间执行与另一电子设备的视频通话的用户输入、连接基于第二网络的语音通话并在显示器上显示与视频通话相关联的用户界面的操作,以及通过用户界面显示使用相机获取的视频并经由第二网络将所显示的视频发送到另一电子设备的操作。
接口单元560可以具有,例如,与图2的接口270相同或相似的配置。接口单元560可以从另一电子设备接收数据或电力,并且可以将其传送到包括在电子设备500中的每个组件。接口单元560可以使电子设备500内的数据能够被发送到另一电子设备。例如,接口单元560可以包括有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储器卡端口、音频输入/输出端口、视频输入/输出端口、耳机端口等。
相机模块570(例如,相机模块291)可以指示支持电子设备500的拍摄功能的配置。相机模块570可以根据控制器580的控制来拍摄任意对象,并且可以将所拍摄的数据(例如,视频或图像)传送到显示器531和控制器580。虽然在本公开的各种实施例中未示出,但是相机模块570可以包括安装在电子设备500上的内部相机模块或通过有线或无线接口连接(例如,电缆连接或蓝牙连接)到电子设备500的外部相机模块。例如,相机模块570可以包括通过蓝牙连接到电子设备500的外围相机设备(例如,虚拟现实(virtual reality,VR)设备、360相机{或者360度相机}或包括相机的另一电子设备{例如,机器人清洁器、TV、监控器等})。根据各种实施例,相机模块570可以包括可附接和可拆卸的相机模块。
控制器580不限于此,而是可以包括各种处理电路,诸如专用处理器、中央处理单元(CPU)、应用处理器(AP)、通信处理器(CP)等。控制器580可以控制电子设备500的整体操作。在各种实施例中,控制器580可以具有,例如,与图2的处理器210相同或相似的配置。在各种实施例中,控制器580可以处理:基于第一网络执行与另一电子设备的语音通话的操作,在执行与另一电子设备的语音通话的同时检测用于执行与另一电子设备的视频通话的用户输入的操作,响应于用户输入、连接基于第二网络的视频通话并在显示器531上显示与视频通话相关联的用户界面的操作,以及通过用户界面显示使用相机(例如,相机模块570)获取的视频并经由第二网络将所显示的视频发送到另一电子设备的操作。
根据各种实施例,控制器580可以处理:基于第一通信执行与另一电子设备的语音通话的操作,基于通过第二通信的数据通信是否为可能和响应于语音通话期间的服务运行请求的数据通信质量的至少一部分、确定是否建立服务连接的操作,当确定服务连接时、在显示器531上显示使用相机(例如,相机模块570)获取的视频并将所显示的视频发送到基于第二通信的另一电子设备的操作。
控制器580可以包括用于控制电子设备500的操作的一个或多个处理器。在各种实施例中,控制器580可以控制诸如音频处理单元540、接口单元560、显示器531、相机模块570等的硬件模块的操作。将参考附图详细描述根据本公开的各种实施例的控制器580的控制操作。
根据本公开的各种实施例,可以通过运行存储在存储器550中的一个或多个程序,将控制器580实施为根据本公开的各种实施例的控制电子设备500的操作的一个或多个处理器。
根据本公开的各种实施例,控制器580可以包括用于在语音通话期间处理与视频服务相关的服务连接的服务处理模块585。根据各种实施例,服务处理模块585可以包括,例如,第一通信处理单元585A、第二通信处理单元585B、交互处理单元585C等。
根据各种实施例,第一通信处理单元585A可以处理与执行基于第一通信(例如,电路交换(circuit switch,CS)通信,例如,3G通信)(例如,第一网络400)的电子设备之间的语音通话相关的操作。
根据各种实施例,第二通信处理单元585B可以处理与执行基于第二通信(例如,分组交换(PS)通信,例如,数据通信)(例如,第二网络600)的电子设备之间的视频服务相关的操作。根据各种实施例,第二通信处理单元585B可以,基于通过第二通信与另一电子设备的数据通信是否为可能和响应于在通过第一通信的语音通话期间的服务运行请求的数据通信质量的至少一部分,来确定是否建立服务连接;可以在确定服务连接时在显示器531上显示获取的视频;并且可以基于第二通信将获取的视频发送到另一电子设备。
根据各种实施例,控制器580可以将从基于第二通信的另一电子设备接收的或者在确定服务连接时由麦克风543获取的语音输出到扬声器541,并且可以基于第二通信将获取的语音发送到另一电子设备。
根据各种实施例,控制器580可以在确定服务连接时控制第一通信处理单元585A和第二通信处理单元585B,以将语音通话从第一通信改变为第二通信,并且将改变的语音通话发送到另一电子设备。例如,当确定服务连接时,控制器580可以终止第一通信,或者可以仅发送和接收用于保持与另一电子设备的连接的最小数据,并且可以控制要基于第二通信发送和接收的语音通话。
根据各种实施例,交互处理单元585C可以处理与在语音通话期间提供与视频服务相关联的用户界面的操作。根据各种实施例,交互处理单元585C可以处理在语音通话期间基于与视频服务相关联的用户界面而输入的用户交互。根据各种实施例,交互处理单元585C可以在语音通话期间检测手势,并且可以响应于检测到的手势来处理模式(例如,语音服务模式和视频服务模式)之间的实时转换。
电源单元590可以在控制器580的控制下接收外部电力和内部电力,并且可以供应每个组件的操作所需的电力。在本公开的各种实施例中,电源单元590可以在控制器580的控制下对显示器531、相机模块570等供应或切断电力。
如上所述,根据本公开的各种实施例的电子设备500可以包括相机(例如,相机模块570),显示器531,被配置为使用至少一个协议建立与另一电子设备的无线通信的通信电路(例如,无线通信单元510),以及功能上连接到相机570、显示器531和通信电路510的处理器(例如,控制器580)。处理器可以被配置为:执行基于第一网络的与另一电子设备的语音通话,在执行与另一电子设备的语音通话的同时检测用于执行与另一电子设备的视频通话的用户输入,响应于用户输入、连接基于第二网络的视频通话并在显示器上显示与视频通话相关联的用户界面,以及通过用户界面显示使用相机获取的视频并经由第二网络将所显示的视频发送到另一电子设备。
根据各种实施例,用户输入可以包括电子设备的姿势状态改变、接近状态改变、手势输入、情境识别或语音命令输入。
根据各种实施例,用户输入可以包括经由第二网络从另一电子设备接收的状态改变信号。
根据各种实施例,处理器可以被配置为:监控用户输入,并且响应于用户输入的改变来切换通话模式。
根据各种实施例,处理器可以被配置为:切换通话模式,并且根据通话模式的切换向另一电子设备请求视频通话连接或视频通话连接终止。
根据各种实施例,处理器可以被配置为:在由语音通话模式保持与另一电子设备的语音通话时根据用户输入来检测向视频通话模式的转换,并且在保持语音通话时根据视频通话模式来处理视频通话。
根据各种实施例,当检测到转换到电子设备的视频通话模式时,处理器可以被配置为通过显示在显示器上的用户界面来显示关于另一电子设备的通话模式的信息。
根据各种实施例,处理器可以被配置为:在视频通话模式下,在用户界面上显示与附加功能运行相关联的至少一个对象。
根据各种实施例,处理器可以被配置为:检测与对于对象或用户界面的功能运行相关联的用户输入,并且响应于用户输入来处理相机转换、视频暂停、定点、缩放、捕获和记录中的至少一个。
根据各种实施例,该过程可以被配置为:在视频通话模式下,根据第一输入来暂停视频,并根据第二输入在已暂停的视频上显示指针。
根据各种实施例,第一输入和第二输入可以由电子设备和另一电子设备中的至少一个输入。
根据各种实施例,处理器可以被配置为:在视频被暂停的状态下,响应于第三输入来恢复已暂停的视频。
根据各种实施例,处理器可以被配置为:通过用户界面来显示关于与另一电子设备的视频通话是否为可能的指示(例如,服务对象)。
根据各种实施例,处理器可以被配置为:监控与另一电子设备的视频通话是否为可能,并且改变(例如,激活/停用)和显示根据与另一电子设备的视频通话是否为可能的指示。
根据各种实施例,该处理器可以被配置为确定语音通话期间与其他电子设备的视频通话是否为可能。
根据各种实施例,当确定转换到视频通话模式时,处理器可以被配置为:在将视频发送到另一电子设备之前,基于电子设备和另一电子设备的容量或状态信息来确定视频通话是否为可能。
根据各种实施例,基于确定结果,处理器可以被配置为:当视频通话为可能时显示激活指示,并且当视频通话为不可能时显示停用指示。
根据各种实施例,处理器可以被配置为:在切换视频通话模式时,将相机的电力模式切换到相机驱动模式或相机待机模式。
根据各种实施例,另一电子设备可以被配置为:在与电子设备的语音通话期间检测到用户输入时执行到视频通话模式的转换,并且接收和显示从电子设备经由第二网络发送的视频。
根据各种实施例,另一电子设备可以被配置为:在电子设备请求视频通话模式时自动允许视频接收,并且自动接收从电子设备发送的视频。
图6是示出根据本公开的各种实施例的包括电子设备的系统的示例的图。
参考图6,根据本公开的各种实施例的电子设备500可以包括提供(发送)视频的发起侧操作的第一电子设备610(发送电子设备,发送端)和提供有(接收)视频的接收侧操作的第二电子设备620(例如,接收电子设备,接收端)。根据各种实施例,第一电子设备610和第二电子设备620中的每一个可以包括与图5相对应的配置。例如,第一电子设备610和第二电子设备620中的每一个可以包括应用处理器、显示器模块、相机模块、音频模块和通信模块。第一电子设备610和第二电子设备620还可以包括根据电子设备500的类型的传感器模块。
如在图6中所示,第一电子设备610可以包括图像接收单元(捕获)611、音频接收单元(音频源)612、视频编码器613、音频编码器614、复用器(多路复用器)615、打包器616、网络适配617和应用618。
捕获611可以由一个或多个相机组成,并且可以通过相机接收视频(例如,运动图像或图像{静止图像})。捕获611可以从应用618接收控制信号,并且可以响应于控制信号来控制相机功能。
为了存储经由捕获611接收的视频或者为了将其发送到另一电子设备(例如,第二电子设备620),视频编码器613可以生成根据诸如比特率、帧率、丢失率、编码编解码器类型、分辨率、图像从横比、像素纵横比等的设置而编码的视频数据。根据一个实施例,视频编码器613可以生成针对静止图像编码的静止图像(例如,JPEG),并且可以向其添加元数据。视频编码器613可以通过应用618接收控制信号以调整各种设置。
音频源612可以通过一个或多个麦克风接收音频(例如,语音、音乐等)信号。
为了存储接收到的音频信号或为了将其发送到另一电子设备(例如,第二电子设备),音频编码器614可以生成根据所支持的公用载波网络的比特率、帧率、丢失率、编码编解码器类型和特性(例如,支持的编解码器、网络策略等)中的一个或多个设置而编码的音频数据。
复用器615可以包括用于将音频数据和视频数据合成为一个数据格式的设备或软件模块。复用器615可以合成相同类型的数据。
根据一个实施例,复用器615可以合成经编码的音频数据和经编码的视频数据,以生成包括视频层和音频层一起的文件或数据流。例如,F4V文件可以指示使用H.264视频编解码器和AAC音频编解码器合成的文件格式。
根据一个实施例,复用器615可以在将每条数据编码之前合成音频数据和视频数据。
打包器616可以打包经编码的数据(例如,分组数据),以使经编码的数据(例如,视频数据和音频数据)中的一个或多个能够通过网络630被发送到另一电子设备,并且可以将打包的数据发送到网络适配617。
网络适配617可以用于发送和接收数据,以及可以监控网络630的状态并且相应地控制第一电子设备610的功能。
根据一个实施例,网络适配617可以通过网络630将经编码的数据和控制信号中的一个或多个发送到另一电子设备(例如,第二电子设备)。经编码的数据可以包括经编码的视频和经编码的音频中的一个或多个。控制信号可以包括,例如,用于视频通话的请求信号、消息发送相关信号、相机控制请求信号、设备状态相关信息、视频处理信号和网络设置信息中的至少一个。
根据一个实施例,网络适配617可以通过应用618的控制设置或改变比特率、帧率、丢失率等。例如,网络适配617可以监控网络630的状态,并且可以经由应用618将监控状态作为控制信号发送到相机、编码器613或614、或网络适配617,从而改变或设置比特率、帧率、丢失率、编码编解码器类型、分辨率、图像纵横比和像素纵横比中的至少一个。
应用618可以指示用于控制构成第一电子设备610的模块和处理用户输入的模块。
根据一个实施例,应用618可以确定设备状态。例如,应用618可以检查相应设备的内部状态,诸如可用存储器容量、处理器性能、电池容量、电力模式等,从而可以处理以控制构成该设备的模块。
根据一个实施例,应用618可以控制相机和编码器功能。例如,可以监控相机启动、通过相机的视频输入、相机的视频处理控制以及网络630的状态,并且可以根据网络630的状态来控制相机、编码器和数据发送。
根据一个实施例,应用618可以根据用户输入来执行处理。例如,应用618可以执行用于提供用于以视觉、听觉和/或触觉方式执行视频通话的用户界面的处理。例如,应用618可以驱动相机功能、电话功能等,可以监控电话的通信状态,并且可以生成用于处理视频或音频的控制信号,从而可以控制整体多媒体处理和发送/接收并且可以控制显示器、存储器和音频输入/输出设备。
如图6中所示,第二电子设备620可以包括视频渲染器621、音频渲染器622、视频解码器623、音频解码器624、解复用器(解多路复用器)625、拆包器626、网络适配627和应用628。
网络适配627可以从另一电子设备(例如,第一电子设备610)接收经编码的数据(例如,视频数据和音频数据)或控制信号中的至少一个,并且可以将接收到的经编码的数据发送到解码器623或624,以便可以解码经编码的数据。根据一个实施例,网络适配627可以从另一电子设备(例如,第一电子设备610)接收控制信号,并且可以将接收到的控制信号发送到应用628,从而可以被操作以控制第二电子设备620。
拆包器626可以对通过网络630从网络适配627发送的打包的数据(例如,分组数据)进行拆包,并且可以将经拆包的数据发送到解复用器625。根据一个实施例,拆包器626可以接收通过网络630发送的打包的数据,并且可以提取相应的打包的数据的经编码的数据(例如,视频数据和音频数据),并将所提取的数据发送到解复用器625。
当通过网络630接收到的数据包括音频数据和视频数据时,解复用器625可以用于将音频数据和视频数据分离,以提取经编码的视频数据和经编码的音频数据。
视频解码器623可以对通过网络适配627接收的经编码的视频(例如,视频或图像)进行解码,并且可以将经解码的视频发送到视频渲染器621,从而通过视频输出设备(例如,显示器)输出(显示)的经解码的数据。
音频解码器624可以对接收的经编码的音频信号进行解码,并且可以将经解码的信号发送到音频渲染器622,使得经解码的信号可以通过音频输出设备(例如,扬声器)输出。
渲染器(例如,视频渲染器621或音频渲染器622)可以执行视频处理或音频处理,以便由解码器(例如,视频解码器623或音频解码器624)解码的视频数据或音频数据可以输出到输出设备(例如,诸如显示器、扬声器等的输出设备)。根据一个实施例,渲染器621或622可以通过应用628接收控制信号,并且可以控制分辨率、颜色、对比度、音量、声场效果和再现功能控制中的一个或多个(例如,再现速度、倒带、快进、暂停、停止、恢复等)。
如图6中所示,可以以分组的形式生成通过第一电子设备610的网络适配617发送的数据,并且可以经由网络630将其发送到一个或多个服务器640(例如,简单注册(easysign up,ESU)服务器、连接服务器{例如,SCS服务器}、消息服务器、联系人服务器等)或另一电子设备(例如,第二电子设备620)。例如,其中组合视频数据和音频数据的数据分组可以使用蜂窝网络(例如,LTE、CDMA、WCDMA、3GPP等)或网络630(例如Wi-Fi、BT、Zigbee等)来发送。根据一个实施例,可以使用可听见频率、超声波或光信号来发送其中合成了视频数据和音频数据的数据的分组。
电子设备500(例如,第一电子设备610或第二电子设备620)可以通过经由网络630与服务器640交换信息来执行各种服务。根据一个实施例,电子设备500可以使用每个电子设备或用户的ID(例如,电话号码、序列号和帐号中的至少一个)来执行认证,使得电子设备500连接到ESU服务器以基于每个电子设备或用户生成用于视频服务的唯一ID,并且可以输入用于服务订购的信息。根据一个实施例,服务订户可以在联系人服务器中注册诸如电话号码或电子邮件地址的信息,并且可以通过与电子设备相关的有关信息确定另一用户是否订购了相应的服务、是否安装了应用程序(或应用)等。根据一个实施例,在消息服务器的情况下,它可以用于向另一个服务订户发送诸如视频接收请求的消息。根据一个实施例,连接服务器可以用于信息交换,该信息交换用于连接多个电子设备之间的通信会话以用于视频或控制信号发送。
如上所述,根据各种实施例,第一电子设备610可以获得捕获或存储的视频(例如,视频或图像),并且可以经由网络630将通过对所获得的视频进行编码而获得的经编码的数据发送到第二电子设备620。第二电子设备620可以经由网络630接收由第一电子设备610编码的数据,可以对接收到的数据进行解码,并且可以将经解码的数据输出到第二电子设备620。下面将描述根据各种实施例的基本过程。
根据各种实施例,第一电子设备610可以通过一个或多个相机来实时地接收图像,并且可以通过音频设备接收音频。第一电子设备610可以通过视频编码器613执行视频编码,以将接收到的视频发送到第二电子设备620,从而生成经编码的视频数据。根据一个实施例,第一电子设备610可以基于H.264、3gpp、AVI、WMV、VP9、MPEG2、QuickTime电影和FLV中的至少一个来对视频流或视频文件进行编码。根据一个实施例,第一电子设备610可以将接收到的图像存储为JPEG、BMP、TIFF和PNG中的一种或多种静止图像格式。
根据各种实施例,第一电子设备610可以通过音频编码器614将接收到的音频转换成AMR、QCELP、MP3、WMA、AAC和FLAC格式中的至少一个。
根据各种实施例,第一电子设备610可以对经编码的数据(例如,视频或音频数据)中的一个或多个进行打包,并且可以通过经由网络630将打包的数据发送到第二电子设备620。根据一个实施例,第一电子设备610可以在经由网络630发送经编码的数据之前通过复用器615合成视频数据和音频数据。
根据各种实施例中,第二电子设备620可以经由网络630接收经编码的数据(例如,视频数据和音频数据)中的一个或多个,可以对接收到的数据进行解码,并且可以通过相应的输出设备(例如,显示器或音频输出设备(例如,扬声器))输出经解码的数据。
根据各种实施例,第一电子设备610与第二电子设备620中的每一个可以将控制信号发送到另一电子设备,以执行控制相应的电子设备、服务请求、消息发送和设备状态信息交换中的至少一个,并且可以响应于此发送/接收相关数据。
图7是示出根据本公开的各种实施例的包括电子设备的系统的另一示例的图。
参考图7,在各种实施例中示出了处理数据的示例。例如,示出了将通信信道(例如,视频通信信道和音频通信信道)分离以处理数据的示例。根据各种实施例,图7示出了使用用于视频数据和音频数据中的每一个的单独通信装置(例如,通信信道、通信端口和通信路径中的至少一个)来发送和接收数据的情况。
根据各种实施例,下面将描述使用图6的复用器615为例来处理数据的操作示例。
根据各种实施例,视频数据和音频数据可以分别通过不同的通信信道或通信端口进行发送。在这种情况下,如图7中所示,可能不需要用于合成视频数据和音频数据的复用器615。
根据一个实施例,复用器615还可以用于合成相同类型的数据。例如,当从两个或更多个相机接收到两个视频时,可以通过视频复用器来合成这两个视频。举另一示例来说,当通过麦克风输入的语音数据和在电子设备500中存储或正在再现的音频数据(例如,MP3文件、背景音乐流等)被合成时,可以通过音频复用器来合成两个音频数据。根据各种实施例,多路复用器615可以用作视频合成器和音频合成器。
根据一个实施例,除了视频复用器和音频流复用器之外,还可以提供与一个或多个音频数据合成的合成视频数据以及具有一个或多个视频数据的合成音频数据的另一复用器。以这种方式,根据各种实施例,多路复用器(或复用器)可以包括用于合成不同类型的媒体的模块。
根据各种实施例,如下将描述使用合成器(例如,视频合成器或音频合成器)为例处理数据的操作示例。
根据一个实施例,视频合成器可以包括合成视频(例如,图像)以输出到显示器的屏幕的各种方法。例如,视频合成器可以分层地合成多个视频,可以为特定视频分配透明度,使得特定视频可以与布置在较低层中的视频一起被查看,可以提供画中画(picture inpicture,PIP)或双画面(picture by picture,PBP)功能,或者可以提供与用户的交互相关联的GUI,使得GUI可以与视频或静止图像一起被查看。
根据一个实施例,音频合成器可以用于合成多个声源,以生成单个音频流,或可被用于向多个声源提供音频效果。例如,可以添加效果,诸如增加相对于通过两个或更多个麦克风输入的声源的特定声源的声压、执行合成以产生立体声效果、调整声源的均衡器、去除噪声、增加特定范围的清晰度、赋予空间感等。
根据各种实施例,如下将描述使用网络为例的处理数据的操作示例。
如图7中所示,可以使用不同的通信网络发送视频数据和音频数据。例如,可以使用Wi-Fi网络将在第一电子设备610中经编码的视频数据发送到第二电子设备620,并且可以使用蜂窝网络将在第一电子设备610中经编码的音频数据发送到第二电子设备620。根据一个实施例,当要求第一电子设备610和第二电子设备在经由蜂窝网络执行互相的语音通话的同时共享视频数据时,用户可以操作相机以对捕获的视频或静止图像进行编码,并且可以将经编码的数据发送到Wi-Fi网络。在另一实施例中,网络可以单独操作以用于控制信号或文件的发送。
根据另一实施例,视频数据和音频数据可以使用相同的通信网络,例如,蜂窝网络,并且可以使用不同的端口号来发送。例如,可以单独设置用于视频通信的端口号、用于音频通信的端口号、用于控制信号的端口号等,并且每个电子设备可以根据要发送的数据的类型使用相应的端口来发送数据。
根据另一实施例,可以使用相同的端口号对(pair of port numbers)来发送不同类型的数据,而不管数据类型如何。例如,当生成包括与分组的数据类型相对应的原始端口号对的分组时,使用相同的端口号来发送所生成的分组,然后在接收端的电子设备(例如,第二电子设备620)中将所发送的分组进行拆包,可以与相应的数据一起获得相应的端口号,并且可以使用获得的端口号发送与对应端口对应的数据,从而提供与根据数据类型将相应的分组发送到不同的端口相同的效果。根据一个实施例,第一电子设备610可以对经编码的视频、经编码的音频和控制信号进行复用,以生成以RTP流形式的分组并将生成的分组发送到第二电子设备620。第二电子设备620可以通过解复用来重建每条数据,解复用使用端口号字段将数据的类型和端口号映射在RTP流的内部数据结构中。根据另一实施例,可以跟踪或监控原始端口号对,同时将每条数据打包并发送到一个端口,从而可以在第二电子设备620接收数据时处理相应的数据。
图8是示出根据本公开的各种实施例的电子设备中的视频处理操作的图。
参考图8,虚线可以指示控制信号的传播路径,并且实线可以指示数据的传播路径。
参考图8,根据各种实施例的视频处理操作可以包括:处理通过一个或多个相机810和820接收的Bayer数据(例如,原始数据)以将经处理的Bayer数据存储在相机缓冲器812中、将存储的数据进行编码以生成为静止图像或视频的形式、以及将经编码的数据存储在存储器(例如,存储器550)中或者经由网络850将其发送到另一电子设备。此外,相机810和820可以将用于显示的经处理的预览图像发送到显示器830的显示缓冲器(未示出),以在显示器830上显示所发送的预览图像。电子设备500可以经由网络850接收从另一电子设备接收的数据,并且可以对所接收的数据进行解码,以经由显示器830和音频输出模块880(例如,扬声器或耳机)输出经解码的数据。根据各种实施例,可以通过媒体处理器840的控制来执行视频处理操作。
参考图8,在各种实施例中,通过相机810和820的过程,例如,通过图像传感器(IMG传感器)811生成的Bayer数据可以被存储在相机缓冲器812(例如,环形缓冲器)中,可以经受相机810和820内部的处理器(例如,相机控制器815或相机IMG处理器813)的图像处理,然后其可以被发送到显示缓冲器或编码器846。可替换地,根据一个实施例,Bayer数据可以首先经受图像处理,可以被存储在相机缓冲器812中,然后可以被发送到显示缓冲器或编码器846。
根据各种实施例,相机810和820可以包括IMG传感器811、相机缓冲器812(例如,环形缓冲器)、相机IMG处理器813、缩放器814、相机控制器815等。在各种实施例中,相机控制器815可以通过媒体处理器840或相机IMG处理器813来接收控制信号,从而可以控制相机810和820的组件。
IMG传感器811可以使用CCD、CMOS和IR光学传感器中的一个或多个,通过相机传感器来收集Bayer数据。根据一个实施例,IMG传感器811可以由相机控制器815控制,并且可以根据电力开/关接收或不接收视频。根据一个实施例,多个IMG传感器可以合并在一个电子设备中。根据一个实施例,电子设备500可以包括前置摄像头(例如,摄像头A 810)和后置摄像头(例如,摄像头B 820),使得它们彼此面对。根据另一实施例,电子设备500可以在其中并入RGB相机以及在其一个平面上的相邻位置处并入IR相机。根据各种实施例,电子设备500可以通过RGB相机和IR相机来测量对象和相机之间的距离以及对象的视频。在各种实施例中,电子设备500可以通过在同一平面上设置多个RGB相机,根据相机的方向或所接收的视频的区域的差异来获取不同的视频,因此所获取的视频可以用作生成立体图像或3D图像的基本信息。
相机缓冲器812可以存储由IMG传感器811接收到的视频。根据一个实施例,由IMG传感器811接收到的视频可以经受相机IMG处理器813的视频处理,然后可以被存储。存储在相机缓冲器813中的图像可以被发送到相机IMG处理器813或媒体处理器840以经受图像处理。根据一个实施例,存储在相机缓冲器812中的图像可以被发送到显示器830并显示在显示器830上。
根据一个实施例,相机缓冲器812可以是线形阵列型缓冲器或帧缓冲器。例如,线形阵列缓冲器可以存储构成Bayer图像或YUV/RGB图像的像素(该像素以一维方式构成图像)。例如,帧缓冲器可以存储构成Bayer图像或YUV/RGB图像的像素(该像素以一维方式构成图像)。根据一个实施例,相机缓冲器812被提供为环形缓冲器,以按时间顺序存储多个视频,使得当缓冲器全部被填充时,可以去除最旧的视频并且可以在其中填充新图像。相应地,因为可以从存储当前接收的图像的位置到第n个位置中确定先前的图像存储位置,所以可以根据需要来搜索和使用先前接收的图像。
根据一个实施例,一个或多个相机缓冲器812可以被布置为专用于一个相机传感器,或者多个相机可以被共同使用。例如,在图8的情况下,对于每个相机传感器存在专用的缓冲器。例如,其中包含两个或更多个相机810和820的电子设备500中的相机缓冲器812可以可替换地存储通过相应的相机传感器接收的视频,或者可以将其存储在每个单独的存储区域中。
根据各种实施例,可以通过相机控制器815的控制信号来设置图像被接收并存储在相机缓冲器812中或发送到相机IMG处理器813的间隔。例如,可以通过调整垂直消隐间隔(vertical blanking interval,VBI)来调整帧率。VBI是从相机传感器(例如,IMG传感器811)接收到图像的最后一行到接收到下一图像的第一行的时间间隔,或者上一接收的图像帧和下一接收的图像帧之间的时间间隔。根据一个实施例,即使当从多个相机传感器接收的图像共享相机缓冲器812或相机IMG处理器813时,也可以通过调整VBI来单独存储或发送从各个IMG传感器811接收的图像。可以通过相机控制器815来设置或改变VBI,使得可以确定通过相机810和820接收的每个相机传感器的帧率,并且因此在相机IMG处理器813和相机缓冲器812中可以发生同步接收和处理图像。根据各种实施例,相机缓冲器812还可以包括每个像素或一组预定像素的深度信息或透明度信息。
相机IMG处理器813可以将通过相机传感器(例如,IMG传感器811)接收到的Bayer图像转换为颜色空间(例如,YUV、RGB或RGBA),以将转换后的结果发送到相机缓冲器812或媒体处理器840。根据一个实施例,相机IMG处理器813可以执行与校正所接收的图像的误差或失真、改变颜色或大小等相关的视频处理。相机IMG处理器813可以使用流水线顺序地处理每个视频处理功能或者仅选择性地驱动必需的功能,并且可以考虑先前处理的结果来改变或设置特定功能的参数。
根据各种实施例,由相机IMG处理器813处理的图像处理功能可以包括,例如:坏像素校正(bad pixel correction,BPC)、镜头阴影(lens shading,LS)、去马赛克、白平衡(white balance,WB)、伽马校正、颜色空间转换(color space conversion、CSC)、色调、饱和度、对比度(hue,saturation,contrast,HSC)、大小转换、滤波器(例如,高通滤波器或低通滤波器)、视频分析模块等。
BPC是一种用于在像素单元中发生误差时使用周围其他像素的颜色值来校正误差的技术,LS是用于校正在图像的外边缘处由于透镜而发生的图像失真的技术,去马赛克(或去Bayer)是一种用于将Bayer图像转换为RGB图像的技术,WB是一种用于校正由图像的照度引起的失真的颜色恒常性技术,伽马校正是一种用于校正受相机传感器811或显示器830影响的颜色的技术,HSC是一种用于使用颜色空间模型来改善颜色、亮度和对比度的技术,以及CSC是一种颜色模型转换技术(例如,从RGB到YUV颜色模型的转换)。
视频分析模块可以分析经处理的图像,并且可以根据分析结果将信号发送到相机控制器815,从而调整图像处理的类型和强度。例如,可以分析像素的模糊或亮度信息以提供诸如自动曝光或自动聚焦的功能,并且可以基于深度信息来控制所分析的信息。
缩放器814可以通过相机IMG处理器813来执行,并且可以被配置为单独的模块。缩放器814可以指示用于设置或控制通过相机IMG处理器813处理的图像或者存储在相机缓冲器812中的图像的大小或分辨率的模块。例如,缩放器814可以转换通过IMG传感器811接收到的最大图像数据以便具有特定分辨率,或者可以提取最大图像数据的一部分并根据特定分辨率转换所提取的图像数据。缩放器814可以设置运动图像、静止图像或预览图像中的至少一个的大小或区域。缩放器814可以设置要在发送电子设备的显示器上显示的图像的大小或区域。缩放器814可以设置或改变要编码的图像的分辨率或像素区域。缩放器814可以设置或改变要编码的静止图像的分辨率或像素区域。当输入用于缩放(例如,放大/缩小)操作的控制信号时,缩放器814可以设置要在显示器830上显示或编码的图像的大小或分辨率。根据一个实施例,缩放器814可以结合数字缩放来操作。
相机控制器815可以经由媒体处理器840或相机IMG处理器813来接收控制命令,并且可以控制相机810和820的组件。相机控制器815可以控制用于多个相机的捕获命令时间的交织调整(例如,VPI)和相机功能(例如,帧率、缩放级别、曝光级别、聚焦和照明控制中的一个)。相机控制器815可以通过相机IMG处理器813来控制图像处理功能(例如,BPC、LS、去马赛克、WB、伽马校正、CSC、HSC、大小转换、滤波器和图像分析模块)。
相机控制器815可以控制相机IMG处理器813以改变或设置所选择的特定功能的参数。例如,相机控制器815可以通过根据滤波函数的算法改变参数来执行诸如图像转换和降噪的操作。根据一个实施例,相机控制器815可以经由相机IMG处理器813来接收关于图像分析结果的反馈,从而可以对相机IMG处理器813执行控制。例如,为了执行自动聚焦,相机IMG处理器813可以获得用于聚焦的参考像素周围的相邻像素的方差值,可以通过获得的方差值来确定模糊级别,然后可以确定聚焦级别以将所确定的聚焦级别发送到相机IMG处理器813。
相机控制器815可以控制相机电力模式。例如,相机控制器815可以控制相机关闭模式(例如,IMG传感器811断电)、待机模式(例如,IMG传感器811通电或者图像接收或处理关闭)、相机驱动模式(例如,IMG传感器811通电或者图像接收和处理开启)等。相机控制器815可以控制通过IMG传感器811接收的图像以将其发送到媒体处理器840。相机控制器815可以提取存储在相机缓冲器812中的一个或多个图像,并且可以控制所提取的图像以将其发送到媒体处理器840。例如,可以基于存储在相机缓冲器812中的图像当中的由媒体处理器840发送的时间信息来选择一个或多个图像,并且可以将所选择的图像发送到媒体处理器840或相机IMG处理器813。为此,相机控制器815可以通过缩放器814来改变图像的分辨率、大小或比例,然后发送该图像。
相机控制器815可以控制多个图像传感器和相关模块。例如,相机控制器815可以包括用于在媒体处理器840的控制下控制相机810和820的子模块的相机驱动器(未示出)。根据一个实施例,可以通过一个相机控制器815来控制多个IMG传感器、多个相机缓冲器、多个相机IMG处理器和多个缩放器中的一个或多个。相机控制器815可以控制多个IMG传感器和与IMG传感器相关联的模块的电力模式。相机控制器815可以使用图像处理器813控制每个相机的功能和图像处理功能中的一个或多个。相机控制器815可以控制混合通过多个IMG传感器接收的多个图像以生成混合图像,诸如PIP或PBP。
参考图8,在各种实施例中,媒体处理器840可以包括用于执行收集、处理、存储和发送视频数据、音频数据和控制信号中的一个或多个的模块。例如,媒体处理器840可以包括单独芯片、片上系统(SOC)和软件模块中的一个或多个。
媒体处理器840可以从相机810和820接收图像,可以对接收到的图像执行预定的视频处理,可以将经视频处理的图像发送到编码器846,可以接收经编码的视频或经编码的静止图像(其由编码器846处理和生成),并且可以将接收到的视频或图像输出到显示器830或者通过网络850发送它。根据各种实施例,可以根据视频服务接收电子设备的网络连接属性(例如,速度)和设备属性(例如,分辨率、显示类型、窗口大小等)来确定编码设置信息。
媒体处理器840可以通过解码器847对经编码的媒体进行解码,该经编码的媒体是从另一电子设备发送并通过网络850接收的,并且媒体处理器840可以控制经解码的媒体以通过显示器830和音频输出模块880(例如,扬声器、耳机等)中的一个或多个输出。
媒体处理器840可以基于通过传感器890、客户端860(例如,应用)、网络850或音频输入模块870(例如,麦克风)接收到的信号,来控制相机810和820、编码器846、解码器847、音频输出模块880、传感器890、网络850、客户端860和显示器830中的一个或多个。
根据各种实施例,媒体处理器840可以包括媒体处理管理模块843、图像处理模块844、合成器模块842、音频处理模块845、网络处理模块841等。
媒体处理管理模块843可以执行对媒体处理器840的每个模块的控制。例如,媒体处理管理模块843可以控制用于视频服务的各种功能(例如,视频应用和指令交换、经由网络的数据发送/接收控制、图像处理等)。
媒体处理管理模块843可以控制相机810和820。例如,媒体处理管理模块843可以将控制信号发送到一个或多个相机模块的相机控制器815,从而可以处理相机模块启动、相机电力模式控制、相机功能控制、相机缓冲器812的处理(例如,缓冲区内图像检索或VBI控制)、捕获图像处理、大小控制、相机功能暂停和恢复中的一个或多个。
当控制多个相机810和820时,媒体处理管理模块843可以选择性地驱动多个相机810和820,或者可以将用于合成来自多个相机810和820的图像的控制命令发送到一个或多个相机控制器815。媒体处理管理模块843可以向相机控制器815发送诸如用于图像控制的区域(例如,感兴趣区域(region of interest,ROI))或者相机功能的级别设置的命令。
媒体处理管理模块843可以控制相机控制器815,从而控制相机图像拍摄和处理要控制的功能。例如,媒体处理管理模块843可以控制自动聚焦、自动曝光、分辨率、比特率、帧率、相机电力模式控制、垂直消隐间隔(VBI)、缩放、伽马和白平衡中的一个或多个。
媒体处理管理模块843可以控制图像处理。例如,媒体处理管理模块843可以将经由相机810和820接收的图像发送到图像处理模块844,并且可以控制要执行的图像处理。
媒体处理管理模块843可以控制音频处理。例如,媒体处理管理模块843可以接收由音频输入模块870(例如,麦克风)、网络(例如,无线麦克风)或媒体播放器(未示出)生成的音频数据,并且可以控制音频处理模块845和音频输出模块880(例如,扬声器或耳机)以处理降噪、产生声音效果、声压控制、声场感觉、均衡器调整等。
媒体处理管理模块843可以将图像和音频中的一个或多个发送到编码器846,并且可以控制编码器846以执行媒体的编码。媒体处理管理模块843可以将经编码的视频或静止图像或者经编码的音频发送到网络850,以控制网络850将所发送的图像或音频发送到另一电子设备。
媒体处理管理模块843可以控制对经由网络850接收的视频的视频处理。例如,媒体处理管理模块843可以控制解码器847(例如,视频解码器)、图像处理模块844、网络处理模块841和显示器830对经由网络接收的经编码的视频进行解码,并将经解码的视频发送到显示器830。
媒体处理管理模块843可以控制解码器847(例如,音频解码器)、音频处理模块845、网络处理模块841和音频输出模块(例如,扬声器、耳机、头戴式耳机等),对经由网络接收的经编码的音频进行解码,并将经解码的音频发送到音频输出模块(例如,扬声器、耳机、头戴式耳机等)。
媒体处理管理模块843可以基于从用户界面或网络、传感器890、或相机810和820接收的信号,将与媒体处理相关联的控制信号发送到另一连接的模块。根据一个实施例,可以通过传感器890检测电池状态、温度、处理资源占用率和存储器状态中的一个或多个,并且可以基于测量值控制与媒体处理和媒体发送/接收相关联的模块。例如,可以通过传感器890检测资源的改变,并根据检测到的改变来改变视频或音频的帧率、比特率和丢失率。
媒体处理管理模块843可以将媒体和音频的一个或多个数据发送到合成器模块842,并且可以合成所发送的数据。
图像处理模块844可以包括,例如,图形处理模块。图像处理模块844可以控制图像处理,诸如二维(2D)或三维(3D)图像处理、降噪、滤波、图像合成、颜色校正、颜色转换、视频变换、3D建模、图像绘制、增强现实(augmented reality,AR)或虚拟现实(VR)处理、动态范围调整、透视、共享、变换、缩放、边缘提取、感兴趣区域(ROI)、图像匹配、图像分割等。
图像处理模块844可以执行未由相机IMG处理器813处理的单独功能。例如,可以基于由每个相机810或820执行的图像处理的结果,在需要后处理时使用图像处理模块844,诸如合成从多个相机810和820接收的图像、立体图像生成、基于深度的全景图像生成或者合成另一图像(例如,由应用提供的GUI图像或由用户选择或绘制的图像)以及诸如AR或VR的相机图像。
根据一个实施例,图像处理模块844可以执行生物识别(例如,虹膜、指纹、面部、基于姿势的活动识别等)、字符识别、手写识别、图像代码识别(例如,条形码、快速响应(quickresponse,QR)代码、PDF-417、颜色代码等)、诸如对象识别的机器视觉、人工智能、机器学习和决策树功能。图像处理模块844可以与执行各种功能的外部设备的数据库或学习引擎互锁。
音频处理模块845可以接收由音频输入模块870(例如,麦克风)、网络(例如,无线麦克风)或客户端860(例如,媒体播放器)生成的音频以处理降噪、产生声音效果、声压控制、声场感觉、均衡器调整等,并且可以将经处理的音频发送到编码器846(例如,音频编码器)。
当经由网络接收的经编码的音频由解码器847(例如,音频解码器)解码时,音频处理模块845可以控制经解码的音频以将其发送到音频输出模块(例如、扬声器、耳机或头戴式耳机)以对应于通过客户端860或媒体处理管理器(例如,媒体处理管理模块843)输入的控制信号。根据一个实施例,可以通过应用来接收控制信号,从而可以控制音量、声场效果、均衡器和再现功能控制(例如,再现速度、倒带、快进、暂停、停止、恢复等)中的一个或多个功能。
音频处理模块845可以包括音频编码器和音频解码器。
音频处理模块845可以执行与语音识别功能相关的功能。为此,音频处理模块845可以经由网络将音频数据发送到服务器,然后可以经由网络850接收识别的结果。可替换地,音频处理模块845可以结合本地设备(例如,电子设备500)的语音识别引擎执行功能(未示出)。根据一个实施例,音频处理模块845可以提供语音到文本(speech-to-text,STT)或文本到语音(text-to-speech,TTS)功能。
网络处理模块841可以执行用于建立、维护和控制本地设备(例如,电子设备)与远程设备(例如,另一电子设备)之间的通信会话的功能。网络处理模块841可以用各种协议当中的合适的协议来支持数据发送。例如,可以使用RTP、UDP、TCP和HTTP中的一个或多个来建立与远程设备或服务器通信的通信。
网络处理模块841可以将所接收的远程设备的网络状态信息或资源状态信息发送到媒体处理管理器,以控制媒体处理器840的一个或多个子模块,例如,相机810和820、编码器846和网络850,从而确定媒体规格(例如,帧率或分辨率、比特率、丢失率、VBI、缩放级别和低位编码中的一个或多个)。例如,网络处理模块841可以通过网络状态预测上传带宽的适当值,可以根据预测值计算可用数据发送量,并且可以将计算的量发送到媒体处理管理器。媒体处理管理器可以确定与数据发送量相对应的媒体规格,并且可以将确定的媒体规格发送到编码器846、网络处理模块841或相机810和820,从而控制数据生成、编码和发送中的一个或多个。
根据一个实施例,网络处理模块841可以使用网络850来监控网络的状态,并且可以根据网络状态动态地确定和处理媒体的规格。网络处理模块841可以控制经处理的媒体被打包并被发送到远程设备(例如,另一电子设备)。根据另一实施例,网络处理模块841可以根据网络状态的监控结果来确定是否要将媒体发送到远程设备(例如,另一电子设备)。在各种实施例中,网络状态可以包括单向延迟、分组丢失、往返延迟、基于带宽的比特率估计值的计算以及通话服务状态(例如,在通话、拨号、来电、去电、保持通话或P2P连接状态期间)中的一个或多个。
根据一个实施例,网络处理模块841可以接收从远程设备(例如,另一电子设备)发送的远程设备的资源状态信息,并且可以控制与本地设备(例如,电子设备)的视频或音频发送/接收有关的模块以对应于接收到的信息。例如,网络处理模块841可以动态地确定媒体的规格以将媒体发送到远程设备或者接收远程设备的媒体。
网络处理模块841可以控制网络850,并且网络850可以根据网络处理模块841的控制来调整要发送的数据量。例如,网络850可以确定经编码的视频帧的丢失率或者是否发送了经编码的视频帧,从而减少数据量。
网络处理模块841可以根据媒体类型来控制发送。根据一个实施例,网络处理模块841可以通过单个虚拟通信信道来复用和发送/接收多种数据类型。例如,当向远程设备(例如,另一电子设备)发送视频数据、音频数据和控制信号时,网络处理模块481可以根据相应的数据类型分配不同的端口号,并且可以打开本地设备(例如,电子设备)和远程设备的端口,以建立每个单独的信道,从而发送视频数据、音频数据和控制信号。根据各种实施例,网络处理模块841可以在不为每种数据类型建立信道的情况下执行网络的复用,并且经由一个信道发送复用的数据,并且接收复用的数据的远程设备可以通过解复用来识别和处理每个数据类型的原始的端口号对。
在各种实施例中,通过复用,可以为每个数据类型分配和打包定界符(或标识符),以经由一个信道发送视频数据、音频数据和控制信号,使得可以通过一个信道(例如,相同的端口号对)发送视频数据、音频数据和控制信号。在各种实施例中,通过解复用,可以使用来自所接收的分组的定界符来划分数据类型,并且可以为每个划分的数据类型分配原始端口号对以执行拆包。因此,可以使用一个信道来发送和接收音频数据、视频数据和控制信号(例如,远程控制)。
根据一个实施例,远程设备可以基于发送到远程设备的控制信号来控制媒体处理管理模块843或网络处理模块841,从而控制相机810和820、媒体处理器840和客户端860中的一个或多个。根据各种实施例,可以经由网络处理模块841提取(例如,解复用)包括电子设备500经由网络50接收的控制信号(例如,远程控制)的数据,并且相机810和820、媒体处理器840、网络850和客户端860中的一个或多个可以通过基于所提取的控制信号控制媒体处理管理模块843或网络处理模块841来控制。
网络处理模块841可以单独管理音频(例如,语音)通信和视频通信。例如,可以经由蜂窝网络执行音频通信(或音频发送),并且可以经由Wi-Fi网络将视频通信(或视频发送)发送到远程设备。
在接收和处理数据时,网络处理模块841可以在本地设备的网络850接收到经编码的视频数据、经编码的音频数据和从远程设备发送的控制命令中的一个或多个时处理接收到的数据。例如,网络处理模块841可以将接收到的数据发送到控制解码媒体并控制对接收到的数据的解复用和拆包的解码器847。根据一个实施例,网络处理模块841可以接收请求发送和对其的响应,以根据其时间和带宽监控当前网络状况。根据一个实施例,网络处理模块841可以检查本地设备的资源状态,并且可以控制解码器847,以通过媒体处理管理模块843来确定再现的比特率、帧率、是否执行再现等。
根据一个实施例,网络处理模块841可以基于接收到的数据的媒体类型之间的时间戳来执行同步。网络处理模块841可以确定本地设备和远程设备的订购的服务网络,从而可以确定是否发送和接收视频数据以及视频发送/接收方法。
合成器模块842可以用作用于执行媒体(例如,视频和音频)的合成的模块,其不同于由网络处理模块841执行的复用。合成器模块842可以被划分为混合相同数据类型的复用器和混合不同数据类型的多路复用器。根据各种实施例,合成器模块842可以包括图像合成器、音频混合器和多路复用器中的至少一个。
合成器模块842可以执行,例如,图像合成、透明处理、每个图像的层处理、音频混合、音频和视频复用以及音频路径处理。例如,合成器模块841可以充当Android操作系统(OS)的Android Surface flinger或Audio flinger。
合成器模块842(例如,图像合成器)可以合成多个图像。例如,可以合成从多个相机接收的图像,或者可以合成从不同设备接收的图像。例如,合成器模块842可以将通过相机接收的图像与通过本地设备或远程设备的应用提供的GUI进行合成。根据一个实施例,合成器模块842可以以叠加形式合成和显示相应的图像,使得合成的图像可以在一个屏幕上显示,可以以PIP或PBP形式合成,或者可以以屏幕划分的形式将其合成。
合成器模块842可以对每种情况执行合成,以分别生成要在本地设备的显示器830上绘制的图像和要发送到远程设备的图像。根据一个实施例,合成器模块842可以合成相应的图像以在本地设备的显示器830上显示:基于从本地设备的相机接收的预览图像从本地设备的应用提供的另一GUI、通过本地设备的应用选择的GUI、以及通过远程设备接收的控制信号。例如,合成器模块842可以合成预览图像、本地GUI和基于远程控制的GUI。例如,合成器模块842可以合成预览视频、本地GUI和基于远程控制的GUI。根据一个实施例,合成器模块842可以仅合成本地设备的视频图像和通过本地设备的应用选择的GUI,用于要发送到远程设备的视频流。例如,合成器模块842可以合成预览图像和本地GUI。
根据各种实施例,预览图像和视频图像的分辨率或大小可以彼此不同。例如,当本地设备的分辨率是四分之一视频图形阵列(quarter video graphic array,QVGA)时,合成器模块842可以根据QVGA大小将显示器830的相应大小生成为每个图形元素的大小。可替换地,当要发送到远程设备的视频的分辨率是FHD(Full High Definition,全高清)时,合成器模块842可以根据FHD的对象大小来调整本地GUI的大小的比例。这是因为远程设备的显示器830的分辨率可以与本地设备的显示器的分辨率不同,所请求的分辨率可以不同,或者可以根据存储应用而改变远程设备的显示器830的分辨率。
合成器模块842可以包括用于合成要显示在屏幕上的图像的各种方法。例如,可以分层地合成多个图像,或者可以将透明度分配给特定图像,使得可以一起观看布置在低层中的图像与特定图像。
合成器模块842(例如,音频合成器)可以用于合成多个声源以产生一个音频流,或者为多个声源提供音频效果。例如,合成器模块842可以将通过两个或更多个麦克风输入的声源合成为一个,可以在合成期间增加特定声源的声压,或者可以合成它以产生立体声效果。此外,合成器模块842可以添加诸如调整声源的均衡器、降噪、增强特定范围内的清晰度或产生空间感的效果。
根据各种实施例,至于声源,可以将使用本地设备的媒体播放器以及音频输入模块而再现的音频与输入到音频输入模块870(例如,麦克风)的声源进行合成,或者可以将其与不同于通过音频输出模块880(例如,扬声器、耳机等)输出的音频的声源进行合成。
根据各种实施例,合成器模块842可以被包括在图像处理模块844或音频处理模块845中。
编码器846可以根据比特率、帧率、丢失率、编码编解码器类型等执行编码。根据各种实施例,编码器846可以包括例如视频编码器、音频编码器和图像编码器中的一个或多个。由编码器846编码的结果可以以流或文件的形式生成。
解码器847可以执行对视频流、音频流、媒体文件等的解码。根据各种实施例,解码器847可以包括例如视频解码器、音频解码器和图像解码器中的一个或多个。
根据各种实施例,编码器846和解码器847可以是单独的硬件或软件模块。
网络850可以包括用于发送和接收数据的有线或无线调制解调器或者连接到蜂窝网络(诸如GSM、CDMA或LTE)、本地网络(诸如Wi-Fi或蓝牙)和有线网络中的至少一个的天线。
网络850可以执行对要发送的数据的打包和对接收到的数据的拆包。此外,网络850可以分离或收集接收到的每种数据类型的数据。
网络850可以将经由网络接收到的数据发送到网络处理模块841。网络850可以在网络处理模块841的控制下执行电力开/关或发送/接收控制。
网络850可以包括用于存储经编码的视频、经编码的音频或用于拆包的控制命令中的一个或多个的网络缓存(未示出)。根据各种实施例,可以使用存储在网络缓冲器中的数据和网络处理模块841的控制来调整要发送的数据量。例如,网络850可以确定经编码的视频帧的丢失率或者是否发送经编码的视频帧,可以根据确定的信息来处理存储在网络缓冲器中的数据,并且可以根据处理结果对数据进行打包,以将打包的数据发送到另一电子设备,从而调整数据量。
根据一个实施例,网络850可以包括在网络处理模块841中,或可被实施为在单独的芯片(例如,通信处理器(CP))中执行网络处理模块841的功能。
客户端860(或应用)可以是用于提供通话和媒体发送/接收服务并接收用于执行本地和远程控制命令的用户输入的软件模块,并且可以是,例如,独立应用或应用子模块。
客户端860可以接收用户输入(例如,定点、位置、手势、语音输入、视线跟踪等),并且可以将接收到的用户输入发送到媒体处理器840,从而可以控制相机810和820、媒体处理器840、网络850、编码器846和解码器847中的一个或多个。
客户端860可以包括用于显示信息的各种GUI元素,并且各种GUI元素可以根据用户输入、远程设备的命令和媒体处理器840的控制来显示。根据一个实施例,客户端860可以是能够进行视频通信的电话应用。根据一个实施例,客户端860可以是能够在视频发送和接收期间按照需要控制屏幕操作的通信应用。根据一个实施例,客户端860可以是能够在本地设备上控制远程设备的功能的远程控制应用。
传感器890可以包括用于传感器运动识别的传感器(例如,加速度传感器或陀螺仪传感器)、用于电子设备的姿势识别的传感器(例如,陀螺仪传感器或地磁传感器)、用于接近识别的传感器(例如,接近传感器或触摸传感器)、光学传感器和生物传感器(例如,心率传感器、心电图传感器、血压传感器、指纹传感器或虹膜传感器)中的至少一个。
根据各种实施例,电子设备500可以包括各种输入和输出设备。例如,电子设备500可以包括显示器830、音频输入模块870、音频输出模块880等,并且还可以包括TSP(未示出)、鼠标(未示出)、视线跟踪设备(未示出)等。
图9是示出根据本公开的各种实施例的系统中的视频服务的注册操作的图。
如图9中所示,在各种实施例中,服务注册过程的示例被示出为用于电子设备之间的视频服务的视频服务初始建立操作。在各种实施例中,视频服务可以表示经由网络连接的服务,以包括实时视频通信或静止图像共享和相关功能。图9示出了用于通过在第一电子设备610和第二电子设备620经由第一网络400执行语音通话的同时,通过第二网络600的服务器650对视频服务执行数据通信连接(例如,P2P连接),来启动视频服务的服务注册过程。
在各种实施例中,通话应用601是用于配置并显示用户的输入和输出的应用,并且可以与其他模块相关联,以处理诸如一般电话连接、视频服务电话连接、音频输出模式(例如,接收器模式或扬声器模式)、键盘输入、静音(例如,静音处理)等的功能。根据各种实施例,用于处理上述功能的模块可以包括视频服务组件603、帐户管理器605(例如,Android帐户管理器)、电话簿607等。
在各种实施例中,视频服务组件603是用于视频服务电话连接的模块,并且可以向存在于电子设备500外部的服务器650(例如,简单注册(ESU)服务器910)、联系人服务器920、连接服务器930(例如,SCS服务器)等发送控制消息和从其接收控制消息。此外,视频服务组件603可以请求和更新电话簿607和地址信息(未示出)作为视频服务的初始建立过程。视频服务组件603可以是通话应用601的部分软件模块、单独的应用(应用程序)或包括操作系统(OS)的模块。根据一个实施例,视频服务组件603可以包括媒体处理器840,或者可以在功能上与其连接以进行操作。
在各种实施例中,电子设备500可以使用帐户管理器605以获得电子设备500中注册的帐户。根据一个实施例,帐户管理器605可以在取得特定的帐户信息(例如,谷歌账户信息)时被利用,也可以在请求另一已安装的应用的帐户信息时被使用。根据一个实施例,账户管理器605可以使用电子设备制造商或服务公司的账户。
在各种实施例中,电话簿607是当用户在先前注册的电话簿中注册电话号码或更新附加信息时所使用的模块。在各种实施例中,电话簿607可以在注册和更新视频服务的朋友时发送和接收消息。根据一个实施例,电话簿607可以包括另一用户的联系人和视频服务订购信息中的一个或多个。
在各种实施例中,服务器650可以包括,例如,ESU服务器910、联系人服务器920、连接服务器930等。
ESU服务器910可以表示用于使用视频服务来管理和更新来自电子设备500的订户信息的服务器。
联系人服务器920可以表示其中电子设备500的电话簿607的地址簿由外部服务器中存储和管理的服务器。
连接服务器930可以表示用于建立与另一用户的电子设备的P2P连接以用于视频服务连接的单独的服务器。根据各种实施例,通过连接服务器930,可以在用于视频通信的电子设备(例如,第一电子设备610和第二电子设备620)之间进行连接。根据一个实施例,可以处理由第一电子设备610发送的媒体并将其发送到第二电子设备620。根据一个实施例,连接服务器930、联系人服务器920和ESU服务器910中的至少两个或更多个服务器功能可以包括在一个服务器中。
在下文中,将参考图9描述根据各种实施例的服务注册过程。在各种实施例中,服务注册过程可以包括五个操作,诸如电话号码认证(操作901)、账户注册(操作903)、请求检查联系人的视频服务可用性(操作905)、对联系人的视频服务的可用性检查(操作907)、朋友同步(sync.)(操作909)。
参考图9,在操作901中,作为一个实施例,电子设备610和620可以执行电话号码认证。例如,当安装视频服务应用程序时,电子设备610和620可以向ESU服务器910发送消息以通过视频服务组件603来认证视频服务订户。在各种实施例中,消息可以包括用于视频服务注册和认证的电子设备的标识符(例如,一个或多个电话号码、MAC地址、电子设备序列号和/或电子邮件地址)。在各种实施例中,电话号码认证不需要单独的帐户,这可以为加入视频服务提供便利。
在操作903中,电子设备610和620可以执行账户注册。根据一个实施例,可以发送电子设备的标识符以用于电子设备的账户注册。例如,已经从电子设备610和620接收到电话号码认证请求消息的ESU服务器910可以基于用户的电话号码,对电子设备610和620执行认证操作。当完成对电子设备610和620的认证并且在服务器650中注册账户时,ESU服务器910可以将认证结果发送到电子设备610和620的账户管理器605。在各种实施例中,账户注册消息可以包括与订购视频服务相关的信息。在各种实施例中,账户注册消息可以包括与用于提供视频服务的电子设备相关联的附加信息,例如,软件(例如,OS或安装的视频服务应用)、可支持的规格(例如,安装的相机信息、支持的通信类型或多媒体编解码器)和通信信息(例如,SIM、eSIM或公共运营商信息)中的一个或多个。
在操作905中,电子设备610和620可以执行对于检查联系人的视频服务可用性的请求。例如,当账户管理器605接收到账户注册消息时,视频服务组件603可以基于视频服务账户注册信息和电子设备610和620的标识符(例如,电话号码),向外部联系人服务器920发送视频服务的可用确认消息。联系人服务器920在接收到消息时可以执行是否已经执行了简单注册过程。在各种实施例中,消息可以包括请求确定其他用户是否订购视频服务的内容。
在操作907中,电子设备610和620可以对联系人执行视频服务可用性检查。例如,联系人服务器920可以确定是否运行了由用户设备请求的视频服务订购和可用性,并且可以将确定结果发送到视频服务组件603。例如,使用用于提供视频服务的电子设备相关的附加信息,可以确定是否运行了视频服务订购和可用性。根据一个实施例,联系人服务器920可以使用由电子设备610和620的账户管理器605发送的电子设备相关附加信息,或者结合ESU服务器910,确定是否运行了视频服务可用性。根据一个实施例,当确定电子设备订购的公共运营商的服务不许可视频服务时,联系人服务器920可以向电子设备的视频服务组件603发送指示视频服务的使用为不可能的信息。
在操作909中,电子设备610和620可以执行朋友同步。例如,可以使用从外部服务器650接收的视频服务用户的服务订购以及关于是否安装视频服务应用的信息来改变电话簿607。根据一个实施例,可以在电话簿607上显示是否针对在电话簿607中注册的每个用户来使用视频服务。在各种实施例中,关于是否执行订购和安装的信息可以在服务器650上的数据改变时经由图像服务组件603周期性地或非周期性地更新。
在各种实施例中,将描述安装视频服务的应用、诱导应用的更新以及删除应用的方法。
在各种实施例中,有可能在语音通话运行状态下诱导应用的安装和/或更新。
例如,在发送端(例如,第一电子设备610)和接收端(例如,第二电子设备620)在视频服务切换之前运行语音通话的状态下,诸如SMS、MMS、推送消息等的消息可以响应于发送端的请求被发送到接收端。当接收到消息时,接收端可以显示能够安装应用的地址链接(例如,存储地址、URL等)。在各种实施例中,地址链接可以包括能够安装各种类型的应用的单独的应用,诸如商店应用(应用程序)。此外,地址链接可以包括能够直接下载应用的服务器(例如,商店服务器、市场、内容服务器等)的访问地址。
在各种实施例中,接收端(例如,第二电子设备620)可以确定应用安装请求的许可或拒绝,并且可以以相同的方式将确定结果重新发送到发送端。
在各种实施例中,有可能在运行语音通话之前诱导应用的安装和/或更新。
例如,在运行语音通话之前,用户可以进行运行语音通话,包括安装视频服务的应用。根据一个实施例,发送端(例如,第一电子设备610)可以发送针对视频服务的应用安装请求以及电话连接请求。当用户接受通话时,接收端(例如,第二电子设备620)可以在相应的时间点自动安装视频服务的应用。根据一个实施例,当接收端(例如,第二电子设备620)的用户没有接收到通话时,可以不安装应用。
在各种实施例中,安装在接收端中的应用(例如,第二电子设备620)可以是诸如安装在发送端(例如,第一电子设备610)的应用的相同版本的应用(例如,开发目的、服务用途等),或者可以是最新版本的应用。根据各种实施例,当安装在接收端中的应用是最新版本的应用时,更新过程可以被包括在发送端和接收端中。
在各种实施例中,当根据视频服务的视频通话被终止时,可以响应于用户的请求或自动地运行删除相应的应用(例如,已安装的视频服务的应用)的操作。在各种实施例中,删除操作在用户的电子设备中省略,并且可以不包括在服务器650(例如,ESU服务器910、联系人服务器920、连接服务器930等)中。
如上参考图9所述,根据各种实施例,在发送消息“检查联系人的视频服务可用性的请求”之前,电子设备500的(例如,作为通话者设备的第一电子设备610)的视频服务组件603(例如,聊天代理)可以识别电子设备内的联系人DB,以确定是否运行了服务订购。根据一个实施例,视频服务组件603可以包括在视频服务应用、用于语音通话的电话应用或媒体处理器840中。
根据各种实施例,其中存在没有订购视频服务的用户,电子设备500可以将消息“检查联系人的视频服务可用性的请求”发送到联系人服务器920,以进一步确定用户是否订购了视频服务。
在各种实施例中,为了确定先前已经订购视频服务的用户是否一样离开,电子设备500可以将消息“检查联系人的视频服务可用性的请求”发送到联系人服务器920,以进一步更新改变。
根据各种实施例,电子设备500可以诱导不订购视频服务的用户安装和/或更新应用,并且还可以提供所安装的应用的删除功能。
根据各种实施例,针对用电子设备标识符(例如,相同的电话号码或相同的电子邮件)认证的多个电子设备,应用是否安装了视频服务的应用可以被分类以更新最近已经在联系人服务器920中更新的联系人列表,从而可以匹配同步。为此,另外,可以基于电子设备的唯一标识符(例如,MAC地址等)来识别多个电子设备中的每一个,并且使用联系人服务器920来同步它们之间的联系人列表。
根据各种实施例,在电子设备500发送消息“对联系人的视频服务可用性检查”之前,联系人服务器920可以部分地过滤用户是否订购、安装或注册视频服务,并且可以发送过滤信息。根据各种实施例,可以通过由用户的请求所指定的号码来过滤要过滤的对象。根据各种实施例,可以针对除了用户的请求所指定的号码之外的号码来过滤要过滤的对象。根据各种实施例,当电子设备500的通信订户信息改变(例如,安装的SIM卡改变或eSIM的信息改变)时,可以重新执行上述服务订购过程。
图10是示出根据本公开的各种实施例的系统中的视频服务的激活操作的图。
如图10中所示,在各种实施例中,示出了激活作为电子设备(例如,第一电子设备610与第二电子设备620)之间的视频服务的连接操作的视频通信功能的示例。图10示出了其中第一电子设备610和第二电子设备620在经由第一网络400执行语音通话的同时经由第二网络600的服务器650执行视频服务的数据通信连接(例如,P2P连接)以连接视频服务的示例。例如,在第一电子设备610中,示出了数据通信连接到通过第一网络400连接并且处于语音通话中的第二电子设备520的示例。
在各种实施例中,可以在语音通话期间执行连接操作。
参考图10,在操作1001中,电子设备500可以执行账户检查操作。例如,第一电子设备610的通话应用601可以通过账户管理器605来执行账户检查操作。根据各种实施例,账户检查操作可以独立于通话来执行。在各种实施例中,账户检查操作可以由视频服务组件603执行。在各种实施例中,账户检查操作可以包括识别电子设备制造商或服务公司的订购信息以使用视频服务或视频服务的应用的操作,以及确定是否可以使用相应电子设备的操作。为此,可以使用联系人服务器920或ESU服务器910来识别视频服务订购信息,并且可以识别两个电子设备910和620与连接服务器930之间的网络质量,或者可以通过联系人服务器920来确定是否安装了客户端或者是否有可能进行视频通信。
在操作1003中,电子设备500可以执行接收端的视频服务可用性检查操作。例如,第一电子设备610的视频服务组件603可以使用电话簿607中的视频服务来执行伙伴用户(例如,第二电子设备620)是否为用户(或电子设备)的检查。
在操作1005中,电子设备500可以基于检查结果来激活视频服务的对象。例如,第一电子设备610可以通过视频服务组件603来接收检查结果,以将接收到的结果发送到通话应用601,或者通话应用601可以用其中通话应用601直接接收检查结果的方法(示出)来获得相应的结果值(操作1005)。在各种实施例中,通话应用601可以激活或停用视频服务功能,使得可以通过基于检查结果的视频服务的对象(例如,服务按钮、服务图标(例如,视频通信图标))(以下称为服务对象)来接收用户输入,并且可以通过服务对象(例如,服务按钮、文本、视频通信图标)显示激活或停用的视频服务功能。
在操作1007中,电子设备500可以执行与是否使用服务对象运行用户输入相对应的操作。例如,用户可以以各种方式(例如,触摸、点击、语音输入、手势识别等)向激活的服务对象提供输入。在各种实施例中,可以将用户输入发送到视频服务组件603。在各种实施例中,可以将其他信号(例如,通话应用驱动信号、视频服务图标激活信号等)发送到视频服务组件603,代替用户输入。
在操作1009中,电子设备500可以检查另一方的在线状态。例如,当发送用户输入时,第一电子设备610的视频服务组件603可以经由连接服务器930检查第二电子设备620的网络状态。在各种实施例中,关于检查状态,可以检查:第二电子设备620是否处于数据通信启用状态、是否保持适合于视频通信的网络质量、第二电子设备620是否处于在线保持状态等。例如,可以检查第一电子设备610和第二电子设备620之间的P2P通信信道状态是否适合于视频通信以及第二电子设备620接收由第一电子设备601发送的视频数据的网络状态(例如,第一电子设备610的上行链路状态或第二电子设备620的下行链路状态)中的一个或多个。根据各种实施例,为了检查在线状态,第一电子设备610的视频服务组件603可以经由服务器650(例如,连接服务器930和多媒体流服务器{未示出}中的一个或多个)检查网络质量,以便通过连接服务器930将视频信息从第一电子设备610发送到第二电子设备620。
在操作中1101中,电子设备500可以基于检查结果请求来自另一方的连接。例如,基于检查结果,当第二电子设备620的服务连接成为可能时,第一电子设备610的视频服务组件603可以请求来自第二电子设备620的连接。
在操作1013和1015中,电子设备500可以在另一方接受连接时开始视频服务。例如,在操作1013中,第二电子设备620可以根据用户输入发送对接受第一电子设备610的连接请求的响应。因此,在操作1015中,第一电子设备610和第二电子设备620可以彼此连接。当第一电子设备610连接到第二电子设备620时,第一电子设备610可以处于能够发送视频的状态。
如上参考图10所述,根据各种实施例,可以在连接语音通话时(而不是在按压服务对象时)预先进行检查是否运行了订购视频服务的过程。例如,在图10中,可以在连接语音通话(例如,拨入或拨出)时或者在连接语音通话之后发送消息“接收端的视频服务可用性检查”。
在各种实施例中,当数据通信在语音通话期间不可用,例如,在图10中,当由于公共运营商的策略(例如,视频通信不可用性、带宽限制等)或通信网络(例如,CDMA 2000或3G通信)性能中的问题(例如,带宽、通信速度等)而使得消息“检查接收端的在线状态”的发送被禁用时,根据服务对象的用户输入,可以通过在通过自动重新拨号重新连接语音通话时发送消息“检查接收端的在线状态”来检查是否运行了订购视频服务。
图11是示出根据本公开的各种实施例的系统中的视频服务的激活操作的图。
如图11中所示,在各种实施例中,示出了激活作为电子设备(例如,第一电子设备610与第二电子设备620)之间的视频服务的连接操作的视频通信功能的另一示例。
在操作1101中,第一电子设备610(例如,视频发送电子设备)可以检查第二电子设备620(例如,视频接收电子设备)的服务可用性,并且可以驱动视频服务功能模式。例如,仅当确定并启用服务可用性时,可以激活服务对象(例如,服务按钮或视频通信图标),从而可以接收用户输入。
根据各种实施例,可以在连接语音通话时(而不是在按压服务对象时)预先进行检查是否运行了订购视频服务的过程。例如,在图11中,可以在连接语音通话(例如,拨入或拨出)时或者在连接语音通话之后发送消息“接收端的视频服务可用性检查”或消息“检查接收端的在线状态”。在操作1103中,第一电子设备610可以接收来自用户的视频发送请求。根据各种实施例,来自用户输入的视频发送请求可以通过经由GUI的输入、经由语音的输入、经由手势的输入等来执行。根据各种实施例,已经接收到用于视频发送请求的用户输入的第一电子设备610可以切换到扬声器电话模式。
在操作1105中,第一电子设备610可以经由连接服务器930(例如,SCS服务器)执行第二电子设备620的在线状态检查(例如,P2P连接可用性检查或网络状态检查)。在各种实施例中,关于检查状态,可以检查第二电子设备620是否处于数据通信启用状态、是否保持了适合于视频通信的网络质量、第二电子设备620是否处于在线保持状态等。例如,可以检查第一电子设备610和第二电子设备620之间的P2P通信信道状态是否适合于视频通信以及第二电子设备620接收由第一电子设备601发送的视频数据的网络状态(例如,第一电子设备610的上行链路状态或第二电子设备620的下行链路状态)中的一个或多个。根据各种实施例,为了检查在线状态,第一电子设备610的视频服务组件603可以经由服务器650(例如,连接服务器930和多媒体流服务器{未示出}中的一个或多个)检查网络质量,以便通过连接服务器930将视频信息从第一电子设备610发送到第二电子设备620。
在操作中1107中,第一电子设备610可以基于检查结果和视频发送请求接收中的一个或多个,请求来自连接服务器930的与第二电子设备620的视频通信(例如,视频服务连接)(例如,操作1103)。在各种实施例中,第一电子设备610可以包括发送视频的第一电子设备610的信息(例如,设备信息、用户信息等)、接收视频的第二电子设备620的信息(例如,设备信息、用户信息等)、应用ID(例如,Android应用分组名称、应用认证密钥、令牌值、应用版本和应用注册信息)等,作为对视频通信连接的请求信号。
在操作中1109中,第一电子设备610可以将请求视频通信的消息发送到消息服务器950,以便发送要发送到第二电子设备620的视频通信相关信息(例如,邀请消息),或者将视频通信相关消息发送到第二电子设备620。在各种实施例中,如在上述过程中,视频通信相关消息可以包括第一电子设备610的信息、第二电子设备620的信息、应用ID等。在各种实施例中,在操作1113中,视频通信相关消息可以通过消息服务器950中继到第二电子设备620。
在操作中1111中,第一电子设备610可以发送视频通信相关消息,并且可以显示视频通信待机,以向用户提供所显示的信息。根据一个实施例,第一电子设备610可以向用户提供预览(例如,相机拍摄信息)、动画效果、文本(例如,“在连接期间”)、声音(例如,连接音调)等。
在操作1115中,已经从消息服务器950接收到视频通信相关消息(例如,邀请消息)的第二电子设备620可以显示包括视频通信相关消息或与其对应的最小部分的消息。例如,第二电子设备620可以在屏幕上显示是否允许用户接收是接受还是拒绝第一电子设备610的视频通信请求的用户界面。根据各种实施例,第二电子设备620可以经由声音、触觉等来通知用户接收视频通信相关消息。
在操作1117中,第二电子设备620可以根据用户输入将关于视频通信请求的接受或拒绝的信息发送到连接服务器930。例如,当用户接受经由各种输入方法(例如,GUI选择、语音输入、手势等)的视频通信请求时,第二电子设备620可以将视频通信许可消息发送到连接服务器930。在一些实施例中,视频通信许可消息可以包括发送视频的第一电子设备610的信息和接收视频的第二电子设备620的信息中的一个或多个。
在操作1119中,在发送视频通信许可消息之后,第二电子设备620可以显示视频通信待机,以向用户提供所显示的信息。例如,第二电子设备620可以提供动画效果、文本(例如,“在连接期间”)、声音(例如,连接音调)等。
在操作1121和1123中,第一电子设备610和第二电子设备620可以从连接服务器930接收响应消息(例如,视频通信连接响应)。在各种实施例中,可以基于操作1107,在操作1113之后执行操作1121,或者可以基于操作1117,在连接服务器930接收到视频通信许可(例如,操作1117)相关信号之后执行操作1121。在各种实施例中,操作1121和1123也可以在P2P连接之后执行(例如,操作1125)。根据各种实施例,在操作1121和1123中,响应可以包括指示针对每个电子设备接收或拒绝视频通信的信息或用于视频通信的对方电子设备的相关信息。
在操作1125中,第一电子设备610和第二电子设备620可以执行P2P连接。在各种实施例中,为了安全性,可以以各种加密方案P2P连接进行加密(例如,256比特加密)。
在操作1127和1129中,第一电子设备610和第二电子设备620可以在P2P连接之后显示对方电子设备的通信状态(例如,连接状态、操作状态、相机操作状态、视频通信发送或接收状态中的一个或多个)。例如,在操作1127中,第一电子设备610可以在P2P连接之后显示接收视频的第二电子设备620的通信状态。在操作1129中,第二电子设备620可以在P2P连接之后显示发送视频的第一电子设备610的通信状态。在各种实施例中,在第一电子设备610和第二电子设备620之间的P2P连接之后,将参考稍后描述的附图(例如,图48等)详细描述显示对方电子设备的通信状态的操作的示例。
在操作中1131中,第一电子设备610可以向第二电子设备620发送视频和从第二电子设备620接收视频,并且可以向其发送语音和控制信号以及从其接收语音和控制信号。
在操作中1133中,第二电子设备620可以从第一电子设备610接收视频,可以显示接收到的视频,并且可以向用户提供所显示的视频。
图12是示出根据本公开的各种实施例的电子设备中在通话期间连接视频服务的操作的图。
如图12所示,示出了通过连接视频发送端(例如,第一电子设备610)和视频接收端(例如,第二电子设备620)之间的语音通话来执行语音通话时连接视频服务的用户界面的示例。
参考图12,第一电子设备610和第二电子设备620可以在发送端和接收端之间的通话(语音通话)期间检查视频服务的视频服务可用性,并且可以基于检查结果激活或停用通话应用601内的服务对象(例如,服务按钮或视频通信图标)以及与服务对象相关联的功能。为此,可以使用账户管理器605、电话簿607、ESU服务器910、联系人服务器920和连接服务器930中的一个或多个来确定视频服务可用性。根据各种实施例,第一电子设备610和第二电子设备620的用户中的一个用户(例如,发送端和接收端之一)可以以各种方案(例如,激活的服务对象选择、语音输入、手势输入等)向电子设备输入视频发送请求。图12示出了其中发生了由第一电子设备610的用户进行视频发送的用户输入的情况。
第一电子设备610可以基于语音通话期间的用户输入向第二电子设备620发送视频通信请求,并且可以提供指示第一电子设备610处于视频通信待机状态的视觉效果(例如,动画效果),直到第二电子设备620同意视频通信。在各种实施例中,可以驱动先前指定的相机以在显示器屏幕上显示预览运动图像。
当接收到第二电子设备620的同意时,第一电子设备610可以在语音通话期间执行与第二电子设备620的P2P连接。当P2P连接建立或完成时,第一电子设备610和第二电子设备620可以自动切换到扬声器电话模式。例如,在视频通信模式下,可以通过经由除接收端之外的扬声器(例如,能够输出大音量的扬声器设备)输出语音或者通过相对增加和输出音频的输出来改善可用性。
根据各种实施例,当接收到第二电子设备620的同意时,第一电子设备610可以在语音通话期间经由第二电子设备620和多媒体流服务器执行连接。例如,当第一电子设备610向多媒体流服务器发送与视频服务相关联的视频或音频数据时,多媒体流服务器可以利用第二电子设备620的账户信息和接收端在线状态信息来生成要在第二电子设备620中再现的图像或音频流信息,并且可以向第二电子设备620发送所生成的信息。
当在与第一电子设备610的语音通话期间从第一电子设备610接收到视频通信请求时,第二电子设备620可以提供能够接收是否执行视频通信的用户界面(例如,弹出窗口)。
第二电子设备620可以基于弹出窗口的用户输入来确定视频服务是否连接到第一电子设备610。当接受视频服务连接时,第二电子设备620可以显示第二电子设备620处于视频通信待机状态。当视频服务连接被拒绝时,第二电子设备620可以被操作以显示先前的用户界面。
参考图12,在各种实施例中,将描述在电子设备(例如,第一电子设备610和第二电子设备620)之间的语音通话期间执行视频服务的操作的示例。
在第一电子设备610和第二电子设备620中,任何一个电子设备(例如,第一电子设备610)可以驱动应用(例如,通信应用{例如,通话应用})来执行语音通话,然后可以向另一电子设备(例如,第二电子设备620)发送语音通话请求。
根据一个实施例,当在拨号期间服务对象(例如,服务按钮或视频通信图标)被停用并且语音通话被连接时,第一电子设备610可以根据两个电子设备610和620之间的视频通信是否为可能来确定服务对象是否被激活。
根据各种实施例,当在两个电子设备610和620之间发送视频的电子设备(例如,第一电子设备610)使用服务对象向另一电子设备(例如,第二电子设备620)发送视频通信连接请求时,接收视频通信连接请求的另一电子设备可以确定是否运行了视频通信连接请求的连接。
根据各种实施例,当视频通信连接请求被许可时,另一电子设备可以在两个电子设备610和620之间连接视频通信,并且发送视频的电子设备(例如,第一电子设备610)可以实时地发送视频。在各种实施例中,第一电子设备610和第二电子设备620可以在视频通话模式下改变用于输出音频的设备(例如,从接收器到扬声器),使得用户可以方便地使用视频服务,或者可以改变音频的输出。
根据各种实施例,在视频通信首次连接之后,音频可以与视频一起发送。例如,当驱动应用并且确定执行视频通信连接的另一电子设备的信息(例如,ID)时,电子设备可以做出视频通信请求。结果,当对方电子设备许可视频通信时,可以执行两个电子设备610和620所共享的网络上的用于视频通信和音频通信的P2P或者服务器(例如,多媒体流服务器)连接来执行视频通信。
根据各种实施例,可以在视频通信期间提供包括用于提供各种服务的各种菜单和各种对象(例如,图标)的用户界面。在各种实施例中,将参考稍后描述的附图详细描述根据上述视频服务的各种用户界面的详细屏幕示例。
图13是示出根据本公开的各种实施例的电子设备中在通话期间连接视频服务的操作的图。
如图13所示,示出了当在视频发送端(例如,第一电子设备610)和视频接收端(例如,第二电子设备620)之间连接语音通话以执行语音通话的同时连接视频服务的用户界面的示例。
参考图13,第一电子设备610和第二电子设备620可以在发送端和接收端之间的通话期间检查视频服务可用性,并且可以基于检查结果激活通话应用内的服务对象(例如,服务按钮或视频通信图标)。根据各种实施例,第一电子设备610和第二电子设备620的用户(例如,发送端和接收端之一)中的一个用户(例如,发送端和接收端之一)可以以各种方案(例如,激活的服务对象选择、语音输入、手势输入等)向电子设备输入视频发送请求。图13示出了其中出现由第一电子设备610的用户进行视频发送的用户输入的情况。
第一电子设备610可以基于语音通话期间的用户输入向第二电子设备620发送视频通信请求,并且可以提供动画效果,直到第二电子设备620同意视频通信或者直到执行第一电子设备610和第二电子设备620之间的视频通信。
在各种实施例中,在第二电子设备620中,同意视频通信请求的过程可以由单独的图形用户界面(GUI)(例如,弹出窗口)来表示。根据各种实施例,确定是接受还是拒绝视频服务转换的GUI可以另外通知用户可能另外支付数据成本。第二电子设备620可以基于GUI接收视频服务转换的用户输入,可以尝试根据用户输入与第一电子设备610建立视频服务的通信连接,并且可以显示通信待机屏幕。根据一个实施例,当在GUI中选择“接受”时,第二电子设备620可以确定视频服务转换,并且可以执行视频服务连接操作。根据一个实施例,当在GUI中选择“拒绝”时,第二电子设备620可以确定非视频服务转换(例如,防止转换到视频服务),并且可以不执行视频服务连接操作。
根据各种实施例,在显示GUI之前,视频服务组件603可以检查诸如Wi-Fi、BT/BLE、NFC等无线接入网络的连接状态。例如,当通过检查通信连接状态而检测到由于数据接收而未被单独收费的通信模块时,视频服务组件603可以连接未收费的通信模块,然后可以手动或自动执行视频服务的通信连接。根据一个实施例,当第二电子设备620连接到Wi-Fi网络时,可以经由Wi-Fi执行P2P连接,或者可以更新连接状态信息,并且可以显示视频服务相关弹出窗口。根据各种实施例,在Wi-Fi的情况下,可以删除指示可能收费的通知。
根据一个实施例,当Wi-Fi可用于视频服务,同时通过蜂窝网络(例如3G、4G、LTE、WCDMA等)执行语音通信时,视频服务可通过可用的Wi-Fi执行。此时,语音通信也可以切换到Wi-Fi。
根据各种实施例,当视频服务在语音通话期间被连接时,由于语音通话被保持,总通话时间可以被显示并提供在屏幕的一个区域中。根据各种实施例,视频服务可以由视频发送电子设备(例如,第一电子设备610)和视频接收电子设备(例如,第二电子设备620)中的任何一个终止。根据各种实施例,在语音通话期间,视频发送电子设备(例如,第一电子设备610)可以在视频服务(例如,视频发送)开始的同时打开(或停用状态显示->激活状态显示)扬声器按钮(例如,扬声器图标),并且可以在视频服务终止时关闭(例如,激活状态显示->停用状态显示)扬声器按钮。
根据各种实施例,将参考稍后描述的附图详细描述根据如上所述的视频服务的各种用户界面的详细屏幕的示例。
图14A、图14B和图14C是示出根据本公开的各种实施例的电子设备的用户界面的示例的图。
如图14A、图14B和图14C所示,示出了关于电子设备500中的视频服务连接或根据视频服务连接的历史的用户界面的示例。
参考图14A,根据各种实施例,在视频服务连接之前的用户界面中,电子设备500(或通信应用{例如,通话应用})可以显示用于显示视频服务历史的对象1410、用于设置与视频服务相关的对象1420、用于搜索或选择用于视频通信的视频服务或用户(朋友)的对象1430、以及用于提供视频服务用户(优先或喜爱的用户)的列表的对象1440。根据各种实施例,电子设备500可以通过与对象1410重叠或与其相邻的区域(例如,历史按钮)为未接的视频服务提供徽章(当存在未接的视频服务时)。
在各种实施例中,电子设备500(或通信应用{例如,通话应用})可以向用户提供显示视频服务历史的功能。例如,如图14A所示,可以提供屏幕的一个区域(例如,屏幕左侧的上端)的历史按钮1410。
根据各种实施例,如图14B所示,当用户选择(例如,点击或触摸)历史按钮1410时,电子设备500可以提供用户界面来显示与视频服务相关的通信历史1410A。在各种实施例中,可以提供视频通信完成、未接通话、拒接、去电/来电、通信时间点、通信时间(例如,今天、昨天、2014年8月6日、当日时间{例如,下午3:22、下午1:17等})、伙伴信息和另一方的注册照片中的一个或多个,作为通信历史1410A。
根据一个实施例,参考图14B,通信历史1410A可以包括并提供根据视频服务执行的视频通信完成信息1460(例如,(2)、(3)等,作为通信的数量)、关于发送或接收视频服务的信息1450A(例如,去电和来电)、视频服务失败信息1450B(例如,未接)、视频服务请求的拒接信息1450C(例如,拒接)以及伙伴信息1450D(例如,姓名、图像、电话号码等)。根据各种实施例,可以以文本、图像、图标等中的至少一个或组合来提供每一条通信历史1410A。
根据各种实施例,通信历史可以按时间顺序记录,并且可以针对每个用户(人)来组织(例如,分组),从而例如可以提供分组日志。根据一个实施例,当通过分组提供通信历史时,可以单独显示未接通话。
根据各种实施例,当用户选择通信历史中的任何一个通信历史(或通信历史项目)时,可以提供具有所选择的通信历史的相应用户的详细通信历史(例如,用户信息{例如,姓名、电话号码、图像等}),根据用户对视频服务的使用、视频服务类型(例如,去电或来电)、以及是否执行了视频服务(例如,未接或拒接)的所有历史,以通过各种从相应屏幕提供的输入按钮(例如,第一按钮1470、第二按钮1480和第三按钮1490)方便地执行视频服务去电(例如,第一按钮1470)、语音通话(例如,第二按钮1480)、消息发送(例如,第三按钮1490)。
根据各种实施例,当另一方的电话号码没有在电话簿607中注册(例如,对应于图14B中未保存的)时,可以提供诸如“创建联系人”的按钮1495,其中相应的电话号码可以在电话簿607中注册,如图14C所示。
根据各种实施例,如图14A所示,当用户选择(例如,点击或触摸)屏幕的一个区域(屏幕的右侧的上端)的设置按钮1420时,可以提供视频服务的设置相关屏幕。
根据各种实施例,如图14A所示,当用户选择(例如,点击或触摸)屏幕的一个区域(例如,屏幕的中心部分)的搜索按钮1430时,相应的屏幕可以被移动到示出电话簿607中注册的使用视频服务的用户的列表(例如,朋友列表)的屏幕。
根据各种实施例,如图14A所示,电话簿670中注册的使用视频服务的用户的列表(例如,优先用户、喜爱用户、最近通话用户、关于用户设置的用户的信息等)可以在一个区域(例如,与搜索按钮1430相邻的区域,以连接到上侧或下侧)中一起提供。
根据各种实施例,尽管未示出,是否执行订购视频服务或者使用历史可以与用户信息(例如,姓名、图像、电话号码等)一起显示在电话簿607的列表(例如,联系人列表)屏幕中。
在各种实施例中,在图15、图16、图17、图18和图19中示出了在语音通话期间、根据视频服务的运行的、由电子设备500提供的服务用户界面的屏幕的示例。
图15和图16是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图15和图16,示出了在语音通话期间、根据视频服务运行请求的在服务连接待机或服务连接建立时提供的服务用户界面的屏幕的示例。根据各种实施例,图15和图16是其中电子设备500发送视频的始发终端的屏幕示例。
如图15和图16所示,服务用户界面可以包括预览区域1500、第一功能选择区域1510和第二功能选择区域1530以用于实施。
在各种实施例中,预览区域1500可以指示在语音通话期间、响应于视频服务运行而显示视频的区域。根据一个实施例,预览区域1500可以提供通过响应于视频服务运行而驱动的相机(例如,相机模块570)(例如,前置相机和后置相机中的至少一个)来获取的实时视频(或实况视频)。根据一个实施例,预览区域1500可以响应于视频服务运行而提供从电子设备500的内部或外部获取的视频的列表(例如,存储在电子设备500的存储器中的视频列表、通过多个相机收集的预览视频的列表、或经由网络获取的视频的列表),并且可以提供用户从列表中选择的视频。在各种实施例中,列表可以显示为文本或图像(例如缩略图、预览等)。
在各种实施例中,第一功能区域1150可以提供服务信息1540,包括使用与连接视频服务的对方电子设备的视频服务的使用时间、伙伴信息(例如,姓名或别名)等。在各种实施例中,第一功能区域1510可以提供菜单按钮1550来显示(例如,菜单调用)与语音通话期间运行的视频服务相关的各种功能(或应用)的对象(例如,图标或文本)。根据一个实施例,当用户选择(例如,点击或触摸)菜单按钮1550时,与视频服务相关的各种功能(或应用)的对象(例如,图标或文本)可以显示在第一功能区域1510上。
根据一个实施例,如图16所示,第一功能区域1510可以包括:能够捕获和存储显示在预览区域1500上的视频的对象1511(例如,捕获按钮)、能够记录(例如,在视频发送期间记录)显示在预览区域1500上的视频以及与所显示的视频相关的视频(例如,全分辨率视频)的对象1513(例如,记录按钮)、能够改变在多个相机之间获得视频的相机(例如,从后置相机到前置相机或从前置相机到后置相机的转换)的对象1515(例如,切换相机按钮)、用于运行至少两个相机(例如,同时驱动前置相机和后置相机的双相机)的对象1517(例如,双相机按钮)、用于在预览区域1500上调用和显示(例如,在屏幕内执行定点功能)指针的对象1519(例如,指针按钮)等。
根据各种实施例,在视频服务中可以从始发终端提供第一功能区域1510,并且可以通过各种功能按钮来实施,以与通过预览区域1500显示的视频相关联地执行存储、选择或设置改变。
在各种实施例中,第二功能区域1530可以提供与视频服务和/或语音通话相关的各种功能(或应用)的对象(例如,图标或文本)。根据一个实施例,第二功能区域1530可以指示从用于视频服务的始发终端和接收终端两者共同提供的区域。根据一个实施例,第二功能区域1530可以包括用于终止(例如,服务连接终止)视频服务的对象1531(例如,结束按钮)、用于设置音量或扬声器模式或者打开/关闭扬声器的对象1533(例如,扬声器按钮)、用于静音选择的对象1535(例如,静音按钮)等。
根据各种实施例,用于在预览区域1500上调用和显示指针的对象1519(例如,指针按钮)可以由始发终端和接收终端两者共同提供,并且可以包括在第二功能区域1530中。
根据各种实施例,当选择(例如,点击或触摸)对象1519时,可以运行定点功能,并且可以在预览区域1500中显示和提供指针(例如,指针驱动)。根据各种实施例,可以在指针驱动时暂停相应的屏幕(例如,捕获通过相机获得的实时或动态显示的预览图像)。
在各种实施例中,根据第一功能区域1510和第二功能区域1530的各种对象以及各种对象的布置不限于图15和图16的示例,并且可以根据电子设备500的设置进行各种改变和设计。
在各种实施例中,电子设备500(用于视频发送的始发终端)可以提供对象1570(例如,通知进度状态的项目{例如,动画图标})中的至少一个,用于响应于视频服务运行在预览区域1500的一个区域中显示视频服务运行状态和文本(例如,请求视频服务……)。根据一个实施例,如上所述,在执行与接收终端的视频服务连接的服务连接过程的进度期间(例如,在与接收终端的实际服务连接之前),电子设备500可以基于直观对象1570提供指示相应服务正连接到用户的信息。根据一个实施例,当正在运行与接收终端的视频服务时(例如,当连接视频服务时),电子设备500可以不显示通知正在运行服务连接的对象1570。
图17、图18和图19是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图17,示出了电子设备500中在语音通话期间提供的服务用户界面的屏幕示例。例如,图17示出了在与处于语音通话或服务连接建立中的另一电子设备的视频接收的服务连接待机时提供的服务用户界面的屏幕示例。在各种实施例中,图17示出了其中电子设备500接收视频的接收终端的屏幕示例。
如图17所示,服务用户界面可以包括与参考图15和图16所作描述相对应的第一功能区域1710和第二功能区域1730,并且可以包括预览区域1700。根据各种实施例,第二功能区域1730可以是从用于视频服务的始发终端和接收终端两者共同提供的区域。在图17、图18和图19中,第二功能区域1730的对象1731、1733和1735可以对应于参考图15和图16描述的对象1531、1533和1535。
根据各种实施例,图17示出了根据服务连接等待视频接收的状态的屏幕示例。在这种情况下,电子设备500可以向预览区域1700提供黑屏处理,并且可以在预览区域1700的一个区域中提供对象1770(例如,通知进度状态的项目{例如,动画项目})中的至少一个,用于通知正在等待来自另一电子设备的视频接收和文本(例如,准备视频图像……由于网络延迟这可能需要花费几秒钟)。
根据各种实施例,当在与另一电子设备的语音通话期间从另一电子设备接收到服务连接请求时,电子设备500可以基于弹出等来通知用户接收到服务连接请求,并且可以接收关于是否建立服务连接的信息。当用户许可服务连接时,电子设备500可以在屏幕上显示从另一电子设备发送的视频。图18和图19中示出了其示例。
参考图18,在各种实施例中,第一功能区域1710可以提供服务信息1740,包括使用与视频服务所连接的对方电子设备的视频服务的使用时间、伙伴信息(例如,姓名或别名)等。在各种实施例中,第一功能区域1710可以提供菜单按钮1750,菜单按钮1750使得与在语音通话期间运行的视频服务相关的各种功能的对象(例如,图标或文本)能够显示(例如,菜单调用)。根据一个实施例,当用户选择(例如,点击或触摸)菜单按钮1750时,用于与视频服务相关的各种功能(或应用)的对象(例如,图标或文本)可以显示在第一功能区域1710上。
根据一个实施例,如图19所示,第一功能区域1710可以显示和提供对象1760(例如,指针按钮),用于在预览区域1500上调用和显示指针(例如,在屏幕内执行定点功能)。
根据各种实施例,当选择(例如,点击或触摸)对象1760时,可以运行定点功能,并且可以在预览区域1700中显示和提供指针(例如,指针驱动)。根据各种实施例,相应的屏幕可以在指针驱动时暂停(例如,捕获通过相机获得的静止图像或实时显示的预览图像)。
参考图19,示出了电子设备500中在语音通话期间根据来自另一电子设备的服务连接提供接收到的视频的服务用户界面的屏幕示例。在各种实施例中,图19示出了其中电子设备500接收视频的接收终端的屏幕示例。
根据各种实施例,在电子设备500接收视频的情况下,可以省略上面参考图15和图16所作描述中描述的第一功能区域1510的一些对象。例如,在接收终端的电子设备500中,可以仅在第一功能区域1710中显示和提供用于定点功能的对象1760。
在各种实施例中,通过预览区域1700显示的视频可以与显示在另一电子设备的预览区域(例如,图16的预览区域1500)上的视频相同。
根据各种实施例,在电子设备(第一电子设备610和第二电子设备620)之间的语音通话期间的用于视频发送和接收(或视频共享)的视频服务连接时,可以单独提供发送视频的始发终端和接收视频的接收终端的用户界面。例如,如图15至图19所示,始发终端和接收终端的用户界面可以通过预览区域1500和1700共同显示视频,并且可以在预览区域1500和1700的一个区域上提供第二功能区域1530和1730。另外或可替换地,与接收终端的用户界面相比,始发终端的用户界面还可以包括用于对第一功能区域1510中发送的视频执行存储、选择或改变的各种对象。
图20是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图20示出了在用于视频发送的服务连接时激活用户界面的服务对象(例如,服务按钮或视频通信图标)的操作。例如,示出了在始发终端中的激活服务对象以用于视频发送的操作的示例。
参考图20,在操作2001中,电子设备500的控制器(例如,作为始发终端操作的电子设备的处理器)可以基于用户输入驱动应用(例如,通信应用{例如,通话应用})。根据各种实施例,控制器580可以通过服务对象显示视频服务的可用性。根据一个实施例,当视频服务不可用时,控制器580可以将服务对象显示为处于非活动状态,并且当视频服务可用时,控制器580可以将服务对象显示为处于活动状态。根据各种实施例,可以基于选择(例如,触摸或点击)服务对象的用户输入来驱动应用或视频服务模块(例如,线程、任务等),并且可以响应于来电的接收来自动驱动预定视频服务模块或包括相应模块的应用。在各种实施例中,将参考稍后描述的附图(例如,图21和图22)详细描述服务对象的活动或非活动状态的指示。
在操作2003中,控制器580可以在视频服务的连接建立状态期间停用视频服务功能。例如,为了停用视频服务功能,控制器580可以不检测与视频服务相关功能有关的用户输入,诸如服务对象选择、语音识别、手势识别等,即使检测到用户输入,也可能不处理与视频服务有关的用户输入相关功能,或者可以用另一功能(例如,错误消息显示)替换视频服务功能。
在操作2005中,控制器580可以响应于对方电子设备的连接接受来建立与对方电子设备的连接。
在操作2007中,控制器580可以检查视频通信的可用性。在各种实施例中,控制器580可以确定是否执行与处于语音通话中的另一电子设备的视频通信。
根据一个实施例,控制器580可以基于服务订购信息来确定当前处于语音通话中的另一电子设备是否是订购了能够接收视频的视频服务的终端。根据另一实施例,控制器580可以识别与当前处于语音通话中的另一电子设备相关的能力。与另一电子设备相关的能力可以包括电子设备的类型和与连接到(或可以连接到)另一电子设备的至少一个电子设备相关的设备信息。在各种实施例中,为了增加数据通信连接的稳定性,在尝试实际数据通信连接之前,可以基于服务订购信息的至少一部分和与电子设备相关的能力来确定是否可能与另一电子设备进行数据通信。
在各种实施例中,可以基于例如联系人数据库来确定用于确定是否运行订购视频服务的服务订购信息。根据各种实施例,联系人数据库可以包括存储在电子设备500中的联系人数据库或存储在服务器中的联系人数据库。根据各种实施例,当基于联系人数据库识别另一电子设备的服务订购信息时,控制器580可以确定该另一电子设备是能够执行数据通信的设备(例如,支持服务连接的设备)。根据各种实施例,当基于联系人数据库没有识别另一电子设备的服务订购信息时,控制器580可以确定该另一电子设备是不能执行数据通信的设备(例如,服务连接禁用设备)。
在操作2009中,控制器580可以根据视频通信可用性来确定用户界面是否被激活。根据一个实施例,当视频通信可用时,控制器580可以确定激活与视频服务相关的用户界面。根据另一实施例,当视频通信不可用时,控制器580可以确定不激活与视频服务相关的用户界面。
在操作2011中,控制器580可以根据确定而激活在显示器531上执行用户界面显示功能。根据各种实施例,当运行用户界面显示功能时,控制器580还可以设置是否激活与视频服务相关的各种功能。
根据各种实施例,当确定与处于语音通话中的另一电子设备进行数据通信是不可能的时,控制器580可以控制引导显示。根据一个实施例,当基于通过识别电子设备的能力而获得的结果确定另一电子设备的用户没有订购相应的服务或者另一电子设备是其中服务支持是不可能的设备时,也就是说,当确定与另一电子设备的视频通信是不可能的时,控制器580可以输出通知它不能响应电子设备500的用户的视频发送请求的消息。例如,控制器580可以通过弹出窗口显示设置的引导消息(例如,基于电子设备的能力的识别结果,通知另一电子设备的用户是不订购服务的用户,或者另一电子设备是其中服务支持是不可能的设备)。在各种实施例中,确定与另一电子设备的数据通信是不可能的,控制器580可以停用和显示视频服务的服务对象。另外或替代地,控制器580可以将引导消息作为语音输出。
根据各种实施例,当确定与处于语音通话中的另一电子设备的视频通信是可能的时,控制器580可以控制与视频服务相关的用户界面的显示。根据一个实施例,当基于电子设备的能力的识别结果确定另一电子设备的用户是订购服务的用户或者另一电子设备是其中服务支持是可能的设备时,也就是说,当与另一电子设备的视频通信是可能的时,可以激活和显示视频服务的服务对象。在各种实施例中,为了增加视频通信连接的稳定性,可以在尝试实际视频通信连接之前确定视频服务可用性。
在操作2013中,控制器580可以确定通信是否终止。根据一个实施例,控制器580可以根据户输入基于服务对象终止视频服务来确定通信是否终止。根据一个实施例,控制器580可以响应于来自另一电子设备的通信连接的终止来确定通信终止。
在操作2013中,当没有检测到通信终止时(操作2013的“否”),控制器580可以前进到操作2007,并且可以在操作2007之前执行操作。
在操作2013中,当检测到(确定)通信终止时(例如,操作2013的“是”),控制器580可以终止视频通信。根据一个实施例,当视频通信终止时,控制器580可以确定语音通话是否终止。在各种实施例中,可以基于用户预先设置的设置信息来执行确定语音通话是否终止。
在各种实施例中,服务对象激活条件可以是各种设置。
根据各种实施例,在语音通话拨号(例如,来电或去电)期间,可以执行停用(禁用)处理。
根据各种实施例,可以在语音通话期间检查视频服务可用性,并且可以基于检查结果来确定服务对象是否被激活。
根据一个实施例,当在语音通话期间以有线或无线方式连接的第二电子设备620(例如,远程地点的移动设备、可穿戴设备、家用电器等)中视频服务可用时,第一电子设备610可以将服务对象显示为活动的,并且可以向用户提供显示的信息。例如,可用性可以根据应用或模块的安装状态、能力和服务状态中的一个或多个来确定,从而可以显示或服务GUI。
在各种实施例中,关于检查应用或模块的安装状态和能力,第一电子设备610可以执行可用性检查,其中第二电子设备620识别用于视频服务的应用或模块是否被安装或可用性。例如,视频服务可用性可以基于存储在联系人服务器中的与第二电子设备620相关的应用的安装状态或能力信息来确定。作为另一示例,确定视频服务可用性的操作可以通过确认与第二电子设备620相关的应用的安装状态、或电话簿中的第二电子设备620的能力信息、或存储在第一电子设备610中的联系人列表中的一个或多个来执行。作为另一示例,当第一电子设备610基于联系人服务器或电话簿的信息使用电子设备的能力(例如,一个或多个分辨率、编解码器和处理器性能)以及订购网络提供商的网络特性信息中的一个或多个来向第二电子设备620发送视频数据时,可以确定视频数据是否可以正常显示在第二电子设备620上。或者,可以确定用于正常服务提供的条件(例如,分辨率、帧率、编码相关信息和比特率中的一个或多个),并且可以基于所确定的条件来执行视频服务的参数设置。
根据各种实施例,可以检查服务状态,并且可以基于检查结果来确定服务对象是否被激活。
根据一个实施例,可以执行确认第一电子设备610或第二电子设备620的服务状态的操作,并且可以执行根据服务状态检查视频服务可用性的操作,从而可以基于执行的结果显示和提供服务对象。
例如,可以根据第一电子设备610和第二电子设备620之间的网络状态来确定服务是否可用。作为另一示例,可以根据第一电子设备610的状态(例如,存储器、电池、相机、诸如数据量化系统的价格策略等)来确定服务可用性。在各种实施例中,关于基于数据量化系统的价格策略,可以基于设置等来确定由电子设备500定期存储和更新的记录,并且可以通过提供商服务器来提供数据。作为另一示例,服务可用性可以根据基于提供商策略的数据发送和接收环境(例如,提供商之间的数据发送策略)来确定。作为另一示例,服务可用性可以根据在第一电子设备610或第二电子设备620中运行安全应用(例如,KNOX、MDM等)的状态(例如,KNOX或MDM的激活状态)来确定。
在各种实施例中,下面将描述根据视频服务可用性的确定的操作。根据各种实施例,电子设备500可以确定视频服务可用性,并且可以根据服务可用性执行各种操作。
根据一个实施例,电子设备500可以激活或停用服务对象。根据一个实施例,当视频服务的状态改变时,电子设备500可以基于声音、语音和触觉的至少一部分来提供反馈。根据一个实施例,当接收视频服务驱动命令(例如,基于语音识别的命令、用户界面和预定手势的输入中的一个或多个)时,电子设备500可以确定是否运行视频服务。
根据各种实施例,对于每个电子设备(例如,第一电子设备610和第二电子设备620)能力或服务状态可以不同,因此激活状态对于每个电子设备可以不同。例如,存在第一电子设备610能够通过视频服务执行到第二电子设备620的视频发送、但是第二电子设备620不能执行到第一电子设备610的视频发送的情况。在各种实施例中,当服务在任何一个电子设备中都不可用时,可以提供服务禁用信息和服务启用信息(例如,应用安装信息)。
图21和图22是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图21,示出了电子设备500中在语音通话期间提供的服务用户界面的屏幕示例。在各种实施例中,图21示出了发送视频的始发终端的屏幕示例,并且在与语音通话相关的操作中,甚至在接收视频的接收终端中,也可以提供与图21相对应的用户界面的屏幕。
如图21所示,服务用户界面可以包括指示符区域2110、通话信息区域2120和功能选择区域2130。
在各种实施例中,指示符区域2110可以提供与电子设备500的使用相关的信息(例如,关于充电状态、时间、通话状态、闹钟等的信息)和/或从外部接收到的信息(例如,天气信息、接收到的消息信息、馈送信息等)。
在各种实施例中,通话信息区域2120可以在电子设备500的语音通话期间提供通话状态、通话持续时间、通话目标信息等。
在各种实施例中,功能选择区域2130可以提供电子设备500可以在语音通话期间执行(运行)的各种功能(或应用)的对象(例如,图标或文本)。根据一个实施例,功能选择区域2130可以包括:能够添加语音通话的对象、用于视频发送的对象(例如,视频服务按钮,以下称为服务对象)2150、用于蓝牙设置的对象(例如,蓝牙按钮)、用于设置音量或扬声器模式的对象(例如,扬声器按钮)、用于调用键盘的对象(例如,键盘按钮)、用于静音选择的对象(例如,静音按钮)、用于选择通话是否终止的对象(例如,结束按钮)2140等。
根据各种实施例,电子设备500可以基于服务对象2150接收(检测)用户输入,同时与另一电子设备(例如,第二电子设备620)执行语音通话。当基于服务对象2150接收到用户输入时,电子设备500可以确定运行用于向当前处于语音通话中的另一电子设备(例如,第二电子设备620)发送视频(例如,实时相机视频或存储的视频)的视频服务。根据各种实施例,当确定要运行视频服务时,电子设备500可以根据预定方法来驱动相机(例如,相机模块570),并且可以启动用于发送通过相机获得的视频(例如,预览视频)的服务连接操作(例如,显示相关用户界面并发送服务连接请求)。根据各种实施例,当确定要运行视频服务时,电子设备500可以根据预定方法来提取存储在其中的视频,可以启动用于发送提取的视频(例如,在显示提取的视频的列表之后由用户选择的视频)的服务连接操作(例如,显示相关用户界面并发送服务连接请求)。
根据各种实施例,取决于电子设备500的连接状态,可以提供各种服务用户界面。图22中示出了其示例。
参考图22,示出了电子设备500在语音通话期间基于根据与对方电子设备的服务状态检查的结果(例如,服务可用性)来激活或停用视频服务的服务对象2150的示例。因此,用户可以直观地识别关于服务连接启用状态的信息。
在图22的(A)中,示出了电子设备500正试图执行语音通话(例如,在通话发起期间)的情况的屏幕示例。例如,如图22的(A)所示,视频服务的服务对象2150可以被提供为处于非活动状态(例如,灰色或暗淡处理的图标等)。另外,电子设备500甚至可以提供与不可用功能相对应的另一对象(例如,静音按钮2160),当试图执行语音通话时,该对象处于非活动状态。
在图22的(B)中,示出了在电子设备500正试图执行语音通话时或在语音通话期间(例如,连接语音通话的通信的状态)与对方电子设备的视频服务执行被识别为可能的情况的屏幕示例。例如,如图22的(B)所示,视频服务的服务对象2150可以如在服务对象2150A中一样从非活动状态改变为活动状态,并且可以被提供。另外,电子设备500可以将另一停用的对象(例如静音按钮2160)改变为激活状态,如在另一对象2160A中一样,并且可以在语音通话期间连接语音通话的通信时被提供。
在图22的(C)中,示出了当电子设备500正试图执行语音通话时或者在语音通话期间(例如,连接语音通话的通信的状态)与对方电子设备的视频服务执行被识别为不可能的情况的屏幕示例。例如,如图22的(C)所示,视频服务的服务对象2150可以保持在非活动状态。另外,电子设备500可以将另一停用的对象(例如静音按钮2160)改变为激活状态,如在另一对象2160a中一样,并且可以在语音通话期间连接语音通话的通信时被提供。
如上所述,根据各种实施例,可以使用应用(例如,通话应用)或模块通过服务对象显示视频服务可用性。根据一个实施例,根据活动状态和非活动状态,使用服务对象是否被显示、服务对象的形状、颜色、亮度、尺寸感觉和大小中的一个或多个属性的服务对象可以不同。
根据一个实施例,在应用等中的语音通话拨号(例如,正在进行的通话、去电或来电)时,视频服务功能可以被停用。例如,服务对象2150可以显示为处于非活动状态,并且可以被提供。
根据一个实施例,服务对象2150的激活或停用可以根据语音通话(例如,语音通话服务)期间的视频通信可用性来确定。在各种实施例中,服务对象2150的激活或停用可以实时改变,如图22的(A)至(C)所示。
图23是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图23示出了始发终端的操作,该始发终端请求来自另一电子设备的视频发送的服务连接,该另一电子设备处于语音通话中并且在服务连接时发送视频。例如,示出了电子设备500作为始发终端操作的示例。
参考图23,在操作2301中,电子设备500的控制器580(例如,充当始发终端的电子设备的处理器)可以检测视频通信服务请求。例如,控制器580可以在语音通话期间响应于服务对象的用户输入来检测视频发送请求。根据一个实施例,控制器580可以基于第一通信处理与同另一电子设备(例如,第二电子设备620)的语音通话执行相关的一般操作。控制器580可以确定在语音通话期间是否存在用户发送视频服务的请求(例如,用户输入)。例如,当在语音通话期间检测到选择(例如,点击或触摸)提供如上所述的用于视频发送的服务对象时,控制器580可以确定运行视频服务。在各种实施例中,可以基于根据GUI、语音、手势等的用户输入来执行视频通信服务请求。
在操作2303中,控制器580可以识别相机操作状态。例如,控制器580可以识别相机的开启或关闭状态,并且当相机处于关闭状态时,即当没有施加电力到相机传感器或相机处理器时,可以通过相机的开启控制将电力施加到相应的处理器。根据一个实施例,当相机处于开启状态时,可以不执行操作2303。
在操作2305中,控制器580可以显示视频通信待机,并且可以向用户提供所显示的信息。根据一个实施例,控制器580可以基于预览、动画、文本和声音的至少一部分向用户提供视频通信待机。
在操作2307中,控制器580可以发送用于请求来自视频通信服务器(例如,连接服务器)视频通信的连接请求消息。根据各种实施例,控制器580可以响应于在与另一电子设备的语音通话期间执行用于视频发送的服务连接的用户输入,向视频通信服务器发送用于服务连接的连接请求消息。根据各种实施例,当向视频通信服务器发送连接请求消息时,控制器580可以包括应用标识符(例如,应用ID)和接收器信息中的至少一个,并且可以发送相应的信息。
在操作2309中,控制器580可以向消息服务器发送视频通信相关消息(例如,邀请消息)。根据各种实施例,当发送视频通信相关消息时,控制器580可以包括应用ID(例如,应用唯一标识符、应用用户标识信息和安装的设备信息中的一个或多个)和接收端信息(例如,联系人信息、电话号码、电子邮件地址、账户信息和通信ID中的一个或多个)中的至少一个,并且可以发送相应的信息。
在操作2311中,控制器580可以确定是否建立了视频通信连接。根据一个实施例,控制器580可以计数等待时间。例如,控制器580可以响应于视频通信连接请求来设置等待视频通信连接的等待时间,并且可以按照所设置的等待时间来等待视频通信连接。根据各种实施例,等待时间可以在电子设备500启动视频通信连接请求之后自动设置,或者可以预先设置并存储在电子设备500中。根据各种实施例,控制器580可以在启动视频通信连接请求之后计数所设置的或所存储的等待时间。
在操作2311中,当视频通信未连接时(操作2311的“否”),控制器580可以前进到操作2309以等待视频通信连接,并且可以在操作2309之前执行相应操作。根据一个实施例,当视频通信直到等待时间到期还未被连接时,控制器580可以确定视频通信是不可能的,并且可以处理相关操作。例如,控制器580可以在保持第一通信的语音通话同时终止第二通信的视频通信连接(例如,用于视频发送的服务连接)尝试。作为另一示例,控制器580可以终止与另一电子设备的语音通话。例如,当在另一电子设备订购用于视频发送的服务的状态下没有建立与另一电子设备的连接时,控制器580可以确定由于网络情境的不稳定而没有执行数据通信,并且可以终止与另一电子设备的语音通话以用于视频通信重新连接。根据各种实施例,当语音通话终止时,控制器580可以处理用于终止语音通话的引导输出。例如,控制器580可以基于GUI、语音和振动的至少一部分来输出通知终止语音通话以用于视频通信重新连接的消息。
在操作2313中,当视频通信被连接时(操作2311的“是”),控制器580可以确定通信状态并且可以显示确定结果。根据一个实施例,控制器580可以显示电子设备的通信状态(例如,连接状态、通信过程状态等)。例如,控制器580可以在P2P连接之后显示接收视频的对方电子设备的通信状态(例如,是否接收到视频的通知,与视频通信的比特率、帧率和分辨率相关的质量信息,发送侧和接收侧之间的期望时间差等)。
在操作2315中,控制器580可以处理视频图像发送。根据各种实施例,控制器580可将在语音通话期间获取的(或对应于用户选择的)视频(例如,实时视频、实况视频或存储的视频)发送到语音通话中的另一电子设备。
根据各种实施例,控制器580可以基于根据视频通信连接的第二通信,而不是用于语音通话的第一通信,向另一电子设备发送视频。根据各种实施例,关于语音通话和视频通信,控制器580可以基于第一通信或新连接的第二通信向另一电子设备发送视频。例如,根据各种实施例,语音和视频可以使用不同的通信或者可以使用相同的通信。根据一个实施例,在语音使用蜂窝通信协议之间的分组交换的情况下,可以使用蜂窝通信协议的视频或分组交换来发送语音。根据另一实施例,在语音和视频被切换为使用相同通信的情况下,可以终止用于语音中的通信的连接,或者可以仅保持其最小连接,然后可以在视频终止时再次用于语音通话中(例如,服务连接终止)。根据另一实施例,仅保持最小连接的第一通信可以在视频通信终止后自动支持语音通话。
根据各种实施例,在电子设备之间的语音通话期间,用于发起视频的电子设备可以向对方电子设备请求视频服务,并且对方电子设备可以根据视频服务请求是否被接受来执行视频服务。
根据各种实施例,当电子设备500在通话期间处于视频服务连接启用状态时,电子设备500可以检测通过用户输入(例如,触摸、语音、手势等)的对视频服务连接的请求。在各种实施例中,视频服务连接启用状态可以是例如其中确定了视频服务启用状态使得应用(例如,通话应用)上的服务对象被激活的状态。
当检测到视频服务连接请求时,电子设备500可以识别电子设备500的相机状态。根据一个实施例,当识别相机状态时,可以运行电子设备500的前置相机或后置相机,使得可以显示预览。
当用户请求视频服务连接时,电子设备500可以在电子设备500的显示器531上显示指示待机状态的用户界面(例如,文本、图标、动画等)。
电子设备500可以通过服务器向对方电子设备发送视频服务连接请求消息。在各种实施例中,服务器可以由第一服务器(例如,连接服务器等)和第二服务器(例如,消息服务器等)构成。电子设备500可以通过第一服务器识别用于对方电子设备的视频通信的可用性(例如,是否建立了P2P连接、网络状态等,作为视频服务可用性)。电子设备500可以通过第二服务器向对方电子设备发送视频服务连接请求消息。
在各种实施例中,视频服务连接请求消息可以包括电子设备500的信息(例如,发送电子设备的信息或发送电子设备的用户信息)和电子设备500的视频服务应用程序ID(例如,应用ID)中的一个或多个。
在发送视频服务连接请求消息之后,电子设备500可以显示待机状态。根据一个实施例,待机状态的显示可以被提供为与根据视频通信连接的状态相关的文本、语音、振动、图标和动画中的至少一个。
根据各种实施例,当电子设备500的视频服务连接请求被对方电子设备接受时,可以在电子设备500和对方电子设备之间建立视频通信连接。根据一个实施例,当在电子设备之间连接视频服务时,可以通过服务器将通过电子设备500的相机拍摄的视频发送到对方电子设备。
图24是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图24示出了接收终端在与另一电子设备的语音通话期间从另一电子设备接收视频服务连接请求、并且在视频服务连接时接收另一电子设备的视频的操作。例如,示出了电子设备500作为接收终端操作的情况的示例。
参考图24,在操作2401中,电子设备500的控制器580(例如,充当接收终端的电子设备的处理器)可以在语音通话期间检测视频服务连接的视频通信相关消息(例如,邀请消息)的接收。例如,控制器580可以基于第一通信处理与同另一电子设备的语音通话执行相关的一般操作。控制器580可以在语音通话期间从消息服务器接收从另一电子设备发送的视频通信相关消息(例如,邀请消息),并且可以响应于视频服务连接请求来确定视频通信相关消息的接收。
在操作2403中,当接收到视频通信相关消息时,控制器580可以显示视频通信相关消息。根据一个实施例,控制器580可以基于GUI、声音和触觉中的至少一个来处理与视频通信相关消息相关的引导显示。根据一个实施例,控制器580可以选择性地使用应用程序ID(例如,应用ID、文件扩展名、MIME类型、URL信息等)来选择相应的应用或软件模块以驱动该应用或软件模块,或者可以显示多个相应的候选应用或软件模块,并通过用户界面选择它们。例如,当提供多个视频通信应用时,可以显示候选应用,使得用户可以选择它们,并且用户可以在显示的候选应用当中选择(例如,通过语音、触摸、力输入等选择相同的)相应的信息。
在操作2405中,控制器580可以确定另一电子设备是接受还是拒接连接请求。例如,控制器580可以响应于视频通信相关消息的接收,通过基于文本和语音消息的至少一部分的引导,输出通知存在来自处于语音通话中的另一电子设备的视频服务的连接请求的消息。控制器580可以基于引导接收来自用户的对连接请求的接受或拒接的输入(例如,视频接收)。
在操作2405中,当没有检测到响应于用户的连接请求而选择接受或拒接的输入时(操作2405的“否”),控制器580可以前进到操作2403,可以在操作2403之前执行相应操作。根据一个实施例,当用户输入对连接请求的拒接时,控制器580可以向另一电子设备发送连接拒接消息。为此,控制器580可以基于消息服务器将连接拒接消息发送到另一电子设备。在各种实施例中,控制器580可以在保持语音通话的同时发送用于连接请求的连接拒接消息。
在操作2407中,当用户输入对连接请求的接受时(操作2405的“是”),控制器580可以响应于视频通信相关消息向另一电子设备发送连接响应消息(例如,视频通信许可消息)。根据一个实施例,控制器580可以向视频通信服务器(例如,连接服务器)发送许可视频通信请求的连接响应消息。根据各种实施例,当向视频通信服务器发送连接响应消息时,控制器580可以包括并发送应用程序ID(例如,应用ID)和接收端信息中的至少一个。在各种实施例中,电子设备500可以被设置为自动响应服务连接请求。在这种情况下,可以不执行图24中的操作2403和2405,并且当从处于语音通话中的另一电子设备接收到视频通信相关消息时,控制器580可以直接从操作2401前进到操作2407以自动发送连接响应消息。
在操作2409中,控制器580可以显示视频通信待机状态,并且可以向用户提供所显示的信息。根据一个实施例,控制器580可以基于动画、文本和声音的至少一部分向用户提供视频通信待机。
在操作2411中,控制器580可以确定是否建立了视频通信。根据一个实施例,控制器580可以计数等待时间。例如,控制器580可以响应于视频通信连接请求的连接响应消息的发送来设置等待视频通信连接的等待时间,并且可以按照所设置的等待时间来等待视频通信连接。根据一个实施例,当在与另一电子设备的语音通话期间向另一电子设备发送连接响应消息时,控制器580可以设置等待时间,以用于等待此后来自视频通信服务器的加入消息(例如,联合消息)。在各种实施例中,等待时间可以在连接响应消息被发送到电子设备之后设置,或者可以预先设置并存储在电子设备500中。在各种实施例中,控制器580可以在发送连接响应消息之后计数等待时间,并且可以确定在等待时间期间是否接收到加入消息。
在操作2411中,当视频通信未连接时(操作2411的“否”),控制器580可以前进到操作2407以等待视频通信连接,并且可以在操作2407之前执行相应操作。根据一个实施例,当视频通信直到等待时间到期才被连接时(当没有接收到加入消息时),控制器580可以确定视频通信不可能执行相关操作。根据一个实施例,当视频通信直到等待时间到期还未被连接时(例如,当没有接收到加入消息时),控制器580可以确定视频通信连接失败。
根据各种实施例,当没有接收到加入消息时,控制器580可以确定数据通信质量差,即使数据通信是可能的(例如,电子设备500或另一电子设备存在于阴影区域中或通过运输工具移动的情况)。
根据各种实施例,当确定数据通信质量差时,控制器580可以确定数据通信连接(例如,用于视频接收的服务连接)失败,并且可以终止视频通信连接。根据各种实施例,当确定数据通信质量差时,控制器580可以确定数据通信连接(例如,用于视频接收的服务连接)失败,并且可以通过消息服务器950向另一电子设备发送通知视频通信不可能的消息或者用于连接请求的连接拒接消息。根据各种实施例,控制器580可以通过第二通信终止视频通信连接(例如,用于视频接收的服务连接),同时通过第一通信保持语音通话。根据各种实施例,当数据通信连接终止时,控制器580可以处理用于终止数据通信连接的引导输出。例如,控制器580可以基于弹出、语音和振动的至少一部分来输出通知视频通信不能被连接的消息。
根据各种实施例,当确定数据通信质量差时,控制器580可以向对方电子设备(例如,对方电子设备或多媒体流服务器)发送可以通过控制信号接收的多媒体数据的参数(例如,图像分辨率、比特率、帧稀有度、编解码器、通信带宽等),以用于数据通信连接(例如,用于视频接收的服务连接)的目的,以根据相应参数请求视频通信。根据各种实施例,可以使用P2P通信将参数直接发送到对方电子设备。根据各种实施例,为了向对方电子设备发送参数,该参数可以包括在通过消息服务器的消息中,并且可以被发送。根据各种实施例,为了向对方电子设备发送参数,电子设备500可以向连接服务器(例如,SCS服务器)发送参数,并且连接服务器可以向对方电子设备发送参数。
在操作2411中,当视频连接被连接时(操作2411的“是”),控制器580可以在操作2413中识别并显示通信状态。根据一个实施例,控制器580可以显示对方电子设备的通信状态(例如,连接状态、操作状态等)。例如,控制器580可以显示在P2P连接之后发送视频的对方电子设备的通信状态。根据一个实施例,当接收到来自视频通信服务器的加入消息时,控制器580可以与另一电子设备建立视频通信连接。根据各种实施例,当接收到加入消息时,控制器580可以确定数据通信连接被成功建立,例如,在语音通话期间通过第二通信能够建立从另一电子设备接收视频的服务连接。
在操作2415中,控制器580可以接收从另一电子设备发送的视频图像。根据一个实施例,控制器580可以通过第二通信接收视频,可以显示接收到的视频,并且可以向用户提供显示的视频。根据各种实施例,控制器580可以基于根据数据通信连接的第二通信,而不是用于语音通话的第一通信,接收由另一电子设备在语音通话期间发送的视频(例如,实时视频或存储的视频),并且可以通过预览区域显示接收到的视频。
根据各种实施例,当通过服务器(例如,消息服务器)发送另一电子设备的视频服务连接请求消息时,电子设备500可以显示用户界面,其中电子设备500的用户(视频接收端)可以接受或拒接视频服务连接,并且可以向用户提供显示的用户界面。在各种实施例中,用户界面可以被提供为诸如弹出、声音和振动的GUI中的一个或多个。在各种实施例中,可以在GUI上显示发送端的姓名、电话号码等。
电子设备500的用户可以通过用于所预定时间的用户输入(例如,触摸、语音、手势等)来接受视频服务连接。
当接受视频服务连接时,电子设备500可以通过服务器向另一电子设备发送接受视频服务连接的连接响应消息。
在各种实施例中,连接响应消息可以包括电子设备500的信息(例如,接收电子设备的信息或接收电子设备的用户信息)和电子设备500的应用程序ID(例如,应用ID)中的一个或多个。
在发送连接响应消息之后,电子设备500可以显示待机状态,直到它从另一电子设备接收并显示视频(例如,实时视频或静止图像)。根据一个实施例,待机状态的显示可以被提供为与根据视频通信连接的状态相关的文本、声音、振动、图标和动画中的至少一个。
根据各种实施例,当与另一电子设备的视频服务被连接时,电子设备500可以通过服务器接收使用另一电子设备的相机拍摄的视频,并且可以显示接收到的视频。
在各种实施例中,将描述在语音通话期间由电子设备500根据视频服务运行而提供的用户界面的屏幕示例。
图25是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图25,示出了其中使用服务对象的服务可用性被提供作为在电子设备500中的语音通话期间基于用户界面显示视频服务可用性的示例的屏幕示例。
如图25所示,处于通话中的接收电子设备的状态信息和通话期间的可用功能可以以各种对象(例如,图标和文本)的形式显示。根据各种实施例,通话期间的可用功能可以包括各种功能,例如添加通话、视频服务、蓝牙连接、扬声器模式转换、键盘显示、静音、结束通话等。
电子设备500可以确定视频服务的可用性,并且当确定不能建立视频服务连接时,可以显示确定结果作为处于非活动状态的服务对象2510(例如,灰色或暗淡处理的服务对象的图标),如图25的(A)所示。此时,即使通过用户输入来选择服务对象2510,也可以不驱动视频服务,或者可以显示指示不可能运行视频服务的信息。
当确定可以通过确定视频服务的可用性来建立视频服务连接时,电子设备500可以将确定结果显示为处于活动状态的服务对象2530(例如,彩色处理的服务对象的图标),如图25的(B)所示。
根据各种实施例,如图25的(B)所示,当服务对象2530被激活时,用户可以通过各种用户输入(例如,触摸、语音、手势等)请求视频服务连接。例如,当服务对象2510处于非活动状态时,电子设备500可以操作以不处理用户输入,并且当服务对象2530处于活动状态时,电子设备500可以操作以处理用户输入。
图26是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图26,示出了各种实施例中在视频服务的用户界面中提供的服务对象的另一示例。
参考图26,服务对象2650可以被显示和提供为实时图像或静止图像。根据一个实施例,电子设备500可以提供总是开启的相机功能,其中相机总是激活的(例如,电力施加状态)。电子设备500可以确定视频服务可用性,并且当确定视频通信可用时,可以显示相机的服务对象或预览图像(屏幕),而不是服务对象作为服务对象2650。根据另一实施例,当应用(例如,通话应用)被驱动时,电子设备500可以将相机切换到驱动模式以接收图像,并且可以显示预览图像(屏幕)作为服务对象2650。
图27是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图27,示出了各种实施例中由用于视频服务的用户界面提供的服务对象的另一示例。根据各种实施例,视频服务的服务对象可以是各种实施和提供的。图27中示出了其示例。
如图27所示,当电子设备500如上所述基于电子设备500的相机(例如,相机模块570)提供视频服务时,可以基于上述服务对象来提供视频服务的服务对象。根据各种实施例,电子设备500可以使用除了其内部相机之外的外部相机来提供视频服务。根据一个实施例,电子设备500可以连接(短程无线通信连接)到其他周围的外围设备,从而可以通过外围设备获取并提供视频以用于视频服务。在各种实施例中,当电子设备500与外围设备互锁时,相应的信息可以与关于外围设备的信息一起提供。在各种实施例中,外围设备可以包括例如VR设备、能够360度拍摄的360相机以及其他具有相机的设备(例如,机器人清洁器、TV、监视器等)。例如,VR设备可以包括头戴式显示器(HMD)、3D显示器、全息显示器等。例如,360相机可以包括安装在球形或盘形框架上的多个相机、接收通过圆顶形镜接收的各种角度的图像的相机设备等。
根据一个实施例,当任何一个电子设备500与VR设备互锁以提供视频服务时,基于VR设备的设备信息,可以为视频服务的服务对象提供相关联的服务对象2710(例如,图标或“VR”文本),如图27的(A)所示。因此,由电子设备或另一电子设备接收的图像的至少一部分可以通过VR设备显示。
根据一个实施例,当任何一个电子设备500与360相机互锁以提供视频服务时,基于360相机的设备信息,可以为视频服务的服务对象提供相关联的服务对象2720(例如,图标或‘360’文本),如图27的(B)所示。因此,电子设备或另一电子设备可以接收从360相机接收的图像的至少一部分。
根据一个实施例,当任何一个电子设备500(例如,发送电子设备)与VR设备互锁并且另一电子设备500(例如,接收电子设备)与360相机互锁以提供视频服务时,可以提供视频服务的视频对象,以及基于VR设备的设备信息的相关联的服务对象2730(例如,图标或基于‘VR’文本)和基于360相机的设备信息的相关联的服务对象2733(例如,图标或‘360’文本),如图27的(C)所示。因此,通过360相机接收到的图像的最小部分可以通过VR设备显示。
图28是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图28,示出了说明在语音通话期间运行视频服务的操作的屏幕示例。例如,图28示出了根据各种实施例的基于服务对象请求视频服务的示例。根据各种实施例,可以基于各种用户输入(例如,语音识别、手势识别、运动识别等),而不是服务对象,来请求视频服务的执行。
如图28所示,在显示以如上所述的以各种类型提供的服务对象2810(例如,包括图26的预览屏幕的服务对象2650以及包括图27的外围设备信息的服务对象2710、2720和2730)的状态下,可以通过选择(例如,触摸或点击)服务对象2810来请求视频服务连接。根据各种实施例,电子设备500可以通过高亮显示、颜色改变或区域显示来显示和提供是否选择服务对象2810。例如,可以通过服务对象2810来显示和提供关于是否可以运行视频服务的状态。
在各种实施例中,当服务对象2810被显示为处于活动状态时,用户可以基于其他用户输入(例如,诸如语音、手势、运动等的输入),而不是对服务对象2810的选择,来请求视频服务执行。
图29是示出根据本公开的各种实施例的用于在电子设备中视频服务连接时显示视频通话待机状态的屏幕的示例的图。
参考图29,示出了发送视频的始发终端或接收视频的接收终端的屏幕示例,或者在视频通信待机(例如,始发终端的视频发送待机或接收终端的视频接收待机)期间指示到视频服务的转换状态的屏幕示例。
如图29所示,当发送视频的电子设备(例如,发送电子设备)请求视频服务连接时,接收视频的电子设备(例如,接收电子设备)可以切换到视频预览准备屏幕。根据各种实施例,即使在发送视频的电子设备中,也可以执行到如图29所示的视频预览准备屏幕的转换。
根据各种实施例,视频预览待机屏幕2900可以包括各种类型的信息,诸如待机状态显示、附加功能图标、通话持续时间、接收端信息等,并且可以被提供。根据一个实施例,在通话持续时间2910的情况下,由于仍然保持语音通信,所以可以显示包括语音通话持续时间的总通话持续时间。根据一个实施例,待机状态的显示可以以文本2920(例如,“准备视频图像”等)、图标2930或动画(作为动画操作而提供的文本2920和图标2930中的一个或多个)的形式来提供。根据一个实施例,功能图标2940可以包括与扬声器模式转换2941、视频服务结束2943、静音功能2940等相关的图标。
在各种实施例中,可以选择性地提供视频预览准备屏幕2900。例如,视频预览准备屏幕2900可以在视频服务连接期间在内部或后台处理,而不被显示和提供,并且当接收到实际视频时,可以立即显示视频屏幕。
图30是示出根据本公开的各种实施例的用于在电子设备中视频服务连接时显示视频通话待机状态的屏幕的示例的图。
参考图30,示出了发送视频的始发终端的屏幕示例或视频通信待机(例如,视频发送待机)期间指示到视频服务的转换状态的屏幕示例。
如图30所示,在显示如参考图29描述的视频预览准备屏幕2900之后,或者在没有提供视频预览准备屏幕2900的情况下,电子设备500可以显示视频通信待机状态3000(例如,视频通信待机屏幕),包括当相机正常驱动时通过相机拍摄的视频。
根据各种实施例,直到由接收电子设备接受视频服务连接,电子设备500可以显示视频通信待机状态3000。在各种实施例中,视频通信待机状态3000的显示可以以文本3010(例如,“请求视频服务……”等)、图标3020或动画(例如,作为动画操作而提供的文本3010和图标3020中的一个或多个)的形式来提供。根据一个实施例,可以提供视频通信待机状态3000的显示,包括与扬声器模式转换3031、视频服务结束3033、静音功能3035等相关的功能图标3030。
根据各种实施例,如参考图29和图30所描述的,视频通信待机可以在语音通话期间转换到视频服务时被显示和提供,并且相关信息(例如,消息、图标等)可以根据相应的状态来改变和提供,直到在电子设备之间建立用于视频服务的视频通信连接。
图31是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图31,示出了接收视频的接收终端的屏幕示例。例如,图31示出了被提供来针对始发终端的视频服务连接请求来选择用户的接受或拒接的示例,作为电子设备500从始发终端接收视频服务连接请求的情况的屏幕示例。
如图31所示,当在语音通话期间从对方电子设备接收到视频服务连接请求消息时,电子设备500可以显示其中用户可以接受或拒接视频服务连接的用户界面。根据一个实施例,用户界面可以包括GUI,诸如弹出等。在各种实施例中,GUI可以包括发送视频的对方电子设备的用户的姓名、电话号码、照片和工作相关的信息中的一个或多个。根据各种实施例,当接收到视频服务连接请求消息时,电子设备500可以另外或选择性地向用户界面提供声音、振动等。
图32是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图32,示出了接收视频的接收终端的屏幕示例。例如,图32示出了在图31的示例中用户接受视频服务连接请求之后显示的屏幕的示例。
如图32所示,当对方电子设备的视频服务连接请求被用户接受时(例如,当在图31中选择“OK”时),电子设备500可以显示并提供视频通信待机。图32示出了其中指示视频通信处于待机的信息被提供为弹出的示例。
根据一个实施例,当用户接受视频服务连接时,电子设备500可以显示待机状态显示屏幕,并且可以向用户提供显示的屏幕,直到通过服务器完成了用于与对方电子设备(例如,发送电子设备)的视频服务连接的视频通信连接。在各种实施例中,待机状态显示可以以文本(例如,“请求……”等)、图标或动画的形式提供。
图33是示出根据本公开的各种实施例的用于在电子设备中视频服务连接时显示视频通话待机的屏幕的示例的图。
参考图33,当在发送视频的始发终端(例如,第一电子设备610)和接收视频的接收终端(例如,第二电子设备620)之间建立视频服务连接时,示出了每个屏幕示例。例如,图33的(A)示出了当连接视频服务时发送视频的始发终端侧的屏幕示例,并且图33的(B)示出了当连接视频服务时接收视频的接收终端侧的屏幕示例。
如图33的(A)所示,当电子设备(例如,第一电子设备610和第二电子设备620)之间的视频服务连接完成时,视频3310可以显示在第一电子设备610上。根据各种实施例,通过内部或外部相机拍摄的视频3310可以显示在第一电子设备610上。
如图33的(B)所示,当电子设备(例如,第一电子设备610和第二电子设备620)之间的视频服务连接完成时,视频3320可以显示在第二电子设备620上。由第一电子设备610发送的视频3320可以显示在第二电子设备620上。根据各种实施例,第一电子设备610的视频3310和第二电子设备620的视频3320可以被提供为相同的视频。
根据各种实施例,除了视频3310和3320之外,第一电子设备610和第二电子设备620可以包括并提供附加的功能图标、通话持续时间、发送端信息等。根据一个实施例,在通话持续时间的情况下,由于视频服务连接之前的语音通话仍然保持,所以可以显示包括语音通话持续时间的总通话持续时间。
如图33的(A)所示,显示在第一电子设备610上的附加功能图标可以包括诸如扬声器模式转换、视频服务结束(例如,结束视频服务)、通话结束、静音开/关、指针、捕获、记录等的功能。
根据一个实施例,当第一电子设备610的用户选择视频服务结束功能3311时,可以终止视频服务,并且可以执行到语音通话的转换。根据各种实施例,可以根据视频服务结束来终止视频发送或视频通话功能,但是可以保持语音通话。在各种实施例中,当用户选择通话结束(例如,语音通话结束)功能时,视频服务和语音通话都可以终止。
根据一个实施例,当用户选择指针功能3312时,视频3310可以被暂停(例如,被捕获或者显示捕获的捕获图像),并且在用户输入(例如,书写字母、绘制形状、输入文本、选择表情符号、选择图标等)时由用户在视频3310上输入的对象或对象信息可以被发送到对方电子设备(例如,第二电子设备620),然后可以被叠加并显示在第二电子设备620的暂停视频3330上,并且被显示。根据各种实施例,与由第二电子设备620输入的对象或对象信息相关的对象也可以显示在第一电子设备610的暂停视频3310上,并且可以被提供。
根据一个实施例,输入对象信息可以包括与暂停视频相关的对象的输入位置、输入对象(例如,字母、形状、文本、表情符号、图标等)的属性(例如,颜色、厚度、识别信息等)和基于当用户输入时的电子设备500的各种传感器(例如,地磁传感器、加速度传感器、陀螺仪传感器等)中的一个或多个的方向信息(例如,三维相位姿势信息、运动信息、旋转信息、显示器的横向或水平模式等)中的至少一个或多个。
根据各种实施例,当用户选择第二电子设备620中的指针功能3322时,视频3320可以暂停(例如,被捕获或者显示捕获的捕获图像),并且相应的图像可以被发送到第一电子设备610,或者捕获时间点的时间信息(例如,自开始视频通信发送起经过的时间)可以被发送到第一电子设备610,从而两个电子设备610和620可以通过其之间的发送和接收来显示相同或相似的图像,并且可以共享在相应图像上输入的对象或对象信息。根据各种实施例,第一电子设备610可以接收捕获时间点的时间信息,并且可以从存储在电子设备500的相机缓冲器(例如,环形缓冲器)或存储器中的视频中提取与时间信息相对应的或相邻的帧图像。
根据各种实施例,可以提取和共享在图像上输入的对象的对象信息,使得所提取和共享的对象信息可以显示在电子设备610和620中的每一个上。同时,当电子设备500接收到由对方电子设备输入的对象信息时,对象信息可以被改变和显示。例如,当接收电子设备的分辨率和纵横比与发送电子设备的分辨率和纵横比彼此不同时(例如,当显示器的分辨率不同或显示器的方向不同时{例如,横向模式或纵向模式}),可以相对地改变要在两个电子设备610和620中显示相应图像的分辨率或方向或者基于缩放状态信息而显示的对象的大小,并且可以在根据相应比率的位置处显示。作为另一示例,在由两个电子设备610和620输入相同颜色的对象的情况下,当对象显示在电子设备610和620中的每一个上时,其可以被改变并以不同的颜色显示。
根据一个实施例,当用户选择捕获功能3313时,可以捕获并存储当前拍摄的视频。
根据一个实施例,当用户选择记录功能3315时,可以记录和存储当前拍摄的视频。
如图33的(B)所示,显示在第二电子设备620上的附加功能图标可以包括诸如扬声器模式转换、视频服务结束(例如,结束视频服务)、通话结束、静音开/关、指针等的功能。
根据一个实施例,当第二电子设备620的用户选择视频服务结束功能3321时,可以终止视频服务,并且可以执行到语音通话的转换。根据各种实施例,可以根据视频服务结束来终止视频发送或视频通话功能,但是可以保持语音通话。根据各种实施例,当用户选择通话结束(例如,语音通话结束)功能时,视频服务和语音通话都可以终止。
根据一个实施例,当用户选择指针功能3322时,视频3320可以暂停(例如,被捕获或者显示捕获的捕获图像),由用户在视频3320上绘制的类型(状态)可以被发送到对方电子设备(例如,第一电子设备610),然后可以被叠加并显示在第一电子设备610的暂停视频3310上。根据各种实施例,绘制的状态也可以显示在第二电子设备620的暂停视频3320上,并且可以被提供。
根据各种实施例,在发送视频的第一电子设备610或接收视频的第二电子设备620上显示的屏幕上提供的各种功能图标(或菜单)可以被显示,然后可以在预定时间过去后不显示。例如,功能图标可以在屏幕上示出或隐藏。此外,根据各种实施例,当在功能图标(或菜单)消失之后识别出用户输入时,消失的图标(或菜单)可以再次显示在屏幕上。根据一个实施例,特定图标和菜单可以保持显示而不消失。在图34中示出了根据这种操作的执行的屏幕示例。
图34是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图34,示出了其中基于自动或手动方式防止在执行视频服务的同时与视频一起提供的功能图标或菜单被显示在屏幕上的操作示例,并且示出了根据用户输入显示未显示的功能图标或菜单的操作示例。
如图34的(A)所示,在视频服务连接请求期间,屏幕上显示的图标或菜单可以保持显示而不消失。
如图34的(B)和(C)所示,当连接视频服务后识别出用户输入时,图标和菜单可能会从屏幕上消失或者显示在屏幕上。
根据一个实施例,当在连接视频服务之后识别出用户输入时,图标和菜单可以被移除以从屏幕上消失。此后,当再次识别出用户输入时,图标和菜单可以再次显示在屏幕上,如图34的(D)所示。
根据一个实施例,在自连接视频服务起经过预定时间(例如,N秒)之后,图标和菜单可以自动从屏幕上消失,并且可以不显示。例如,在识别用户输入并且显示图标和菜单的状态下经过预定时间之后,图标和菜单可以再次消失。此外,当在图标和菜单消失之后识别出用户输入时,图标和菜单可以再次显示在屏幕上,如图34的(D)所示。
根据各种实施例,图标和菜单可以被设置为选择性地显示或不显示。例如,不管用户输入(或预定时间)如何,可以在屏幕上连续显示图标和菜单当中在电子设备500中预先设置或由用户设置的至少一个图标和菜单。
图35A、图35B、图35C和图35D是示出根据本公开的各种实施例的电子设备中的对视频服务连接故障的处理示例的图。
如图35A、图35B、图35C和图35D所示,根据各种实施例,当根据视频服务的可用性而改变视频服务连接状态时,相关状态(例如,警告消息、错误弹出、声音和振动中的一个或多个)可以通过发送视频的发送电子设备和接收视频的接收电子设备来显示。根据各种实施例,视频服务连接错误可以基于对方电子设备的姿势状态(例如,耳边模式、不邻近耳朵的开放位置模式等)或接近状态(例如,盖子开启/关闭)来确定。在各种实施例中,可以确定根据姿势状态(例如,耳边模式、开放位置模式等)或接近状态的视频服务连接错误,并且将参考稍后描述的附图来描述根据确定结果的操作的执行。
根据各种实施例的与视频服务连接错误相关的弹出的类型可以如以下示例所示而提供。
如图35A所示,示出了由发送电子设备提供的弹出的示例。根据一个实施例,当用于视频服务连接的视频通信相关消息已经被发送到接收电子设备但是没有来自接收电子设备的响应时(例如,当接收电子设备的用户在预定时间(例如,20秒)内没有接受视频服务连接请求时,或者当视频通信相关消息没有被发送时),发送电子设备可以以弹出的形式显示连接错误消息(例如,无法启动)。
根据各种实施例,当用户在接收电子设备接收到视频通信相关消息之后的预定时间(例如,20秒)内没有接受视频服务连接请求时,接收电子设备可以在超时时自动向发送电子设备发送拒接消息。在这种情况下,发送电子设备可以响应于接收电子设备的自动拒接消息以弹出的形式显示连接错误消息(例如,无法启动)。
如图35B所示,示出了即使接收电子设备接收到视频服务连接请求、网络状态也不能保持视频服务时提供的弹出的示例。根据一个实施例,当确定网络状态并且确定在接收电子设备上显示用于视频服务连接的接收弹出的状态下视频服务不可用时,接收电子设备可以自动向发送电子设备发送视频服务结束消息。发送电子设备和接收电子设备中的每一个可以响应于结束消息以弹出的形式显示连接错误消息(例如,无法启动)。根据各种实施例,当不能根据网络状态保持视频服务时,可以自动显示连接错误消息,而没有用于对视频服务连接请求的接受或拒接的弹出。
如图35C所示,示出了即使接收电子设备接受视频服务连接请求、视频也没有在预定时间内被始发终端发送时提供的弹出的示例。根据一个实施例,即使接收电子设备接受发送电子设备的视频服务连接请求、发送电子设备也不发送视频时,接收电子设备可以自动终止视频服务。例如,当在用户接受视频服务连接请求以便连接视频服务之后的预定时间(例如,10秒)期间没有发送由发送电子设备拍摄的视频时,接收电子设备可以向发送电子设备发送视频服务结束消息。发送电子设备和接收电子设备中的每一个可以响应于结束消息以弹出的形式显示连接错误消息(例如,无法启动)。根据一个实施例,发送电子设备和接收电子设备可以显示另一连接错误消息。例如,发送电子设备可以向用户显示和提供弹出形式3510,接收电子设备可以向用户显示和提供弹出形式3530。
如图35D所示,示出了在尝试(发起)视频服务连接期间、当在预定时间内没有建立与对方电子设备的P2P连接时提供的弹出的示例。根据一个实施例,当发送电子设备的视频服务连接请求消息没有发送到接收电子设备时,例如,当视频服务连接请求消息在预定时间(例如,10秒)内没有发送到接收电子设备时,相应的服务器可以向发送电子设备发送连接禁用消息。发送电子设备可以响应于服务器的连接禁用消息以弹出的形式显示连接错误消息(例如,无法启动)。在这种情况下,发送电子设备可以处于视频服务连接待机状态,并且接收电子设备可以处于由于没有接收到视频服务连接请求而不显示接受/拒接弹出的状态。
根据各种实施例,如图35A的示例所示,在尝试(发起)视频服务连接期间建立P2P连接并且视频服务连接请求的接受/拒接显示在接收电子设备上的状态下,发送电子设备可能在预定时间(例如,15秒)内没有从接收电子设备接收到对接受/拒接的响应。在这种情况下,发送电子设备可以根据超时(例如,预定时间定时器到期)而取消发起,并且可以弹出的形式显示连接错误消息(例如,无法启动),如图35A的示例所示。
图36是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图36,示出了在执行视频服务的同时发送视频的发送电子设备中根据缩放的执行(例如,放大/缩小)的操作,以及该操作的屏幕示例。
如图36所示,发送电子设备的用户可以在拍摄视频的同时在发送电子设备中执行缩放。响应于用户的缩放,发送电子设备可以向对方电子设备发送与缩放相对应的放大视频,可以向其发送未放大的原始视频、放大区域和放大倍率,或者可以指定并向其发送要在接收电子设备的显示器上显示的区域。
根据一个实施例,缩放可以通过挤捏预览屏幕来执行。发送电子设备可以通过用户挤捏时的放大倍率来计算用户两个手指之间的距离(例如,触摸点之间的距离)改变。根据一个实施例,放大部分可以是基于用户手指首次被触摸的部分,或者可以基于两个手指的中心部分的。
根据一个实施例,缩放可以通过使用内置于显示器中的压力传感器感测压力来执行。例如,当在预定时间(例如,0.3秒)或更长时间内的输入大于或等于第一阈值的压力感测值时,可以执行放大,并且当在预定时间或更长时间内输入小于第一阈值并且大于或等于第二阈值的压力感测值时,可以执行缩小。当输入小于第二阈值的压力感测值时,缩放功能可以被确定为终止。根据各种实施例,可以确定通过一个或多个缩放传感器的位置感测到的压力的输入位置,或者可以结合触摸传感器来确定输入位置。
发送电子设备可以基于用户的输入在应用缩放倍率的预览屏幕上单独显示缩放倍率。例如,如图36的屏幕示例中所示,发送电子设备可以从用于开始缩放操作的输入开始的部分开始,在屏幕上另外显示应用了放大倍率的参考位置和放大倍率(例如,X 1.0或X2.0)。
根据各种实施例,用于显示放大倍率的GUI可以独立于要相对于显示器上的预定位置而缩放的屏幕而被叠加和显示。例如,即使通过缩放操作显示的视频的中心位置被改变,显示放大倍率的GUI的中心点也可以总是显示器的中心点。
根据各种实施例,接收电子设备可以基于由发送电子设备发送的放大视频、未放大的原始视频、放大区域和放大倍率或指定区域,显示与通过发送电子设备执行的缩放而获得的结果视频相同的视频。
图37是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图37示出了根据如图36的示例中所示的根据缩放的执行的处理方法的示例,而电子设备500对始发终端执行视频服务以用于视频发送。
参考图37,在操作3701中,电子设备500的控制器580(例如,充当始发终端的电子设备的处理器)可以基于用户输入来检测缩放命令的开始。
在操作3703中,当接收到根据用户输入的缩放命令时,控制器580可以确定与用户输入相对应的缩放区域/放大倍率。
在操作3705中,控制器580可以根据缩放倍率显示要缩放的屏幕(例如,缩放预览),并且可以显示与缩放屏幕相对应的放大倍率。在各种实施例中,当显示放大倍率时,控制器580可以独立于缩放屏幕来叠加和显示放大倍率。
在操作3707中,控制器580可以处理与缩放屏幕相对应的视频编码。
在操作3709中,控制器580可以将经编码的视频发送到对方电子设备(例如,接收电子设备)。
在操作3711中,控制器580可以确定缩放命令是否终止。
当在操作3711中未检测到缩放命令的终止时(操作3711的“否”)(例如,当连续输入缩放命令时),控制器580可前进到操作3703以在操作3703之前执行操作。
在操作3713中,当在操作3711中检测到缩放命令的终止时(操作3711的“是”),控制器580可以显示用于返回到先前放大倍率的GUI。在各种实施例中,可以不可选地执行用于返回到操作3713的先前放大倍率的GUI的显示。例如,当缩放命令终止时,控制器580可以被操作以保持和显示改变的当前放大倍率,或者自动显示原始视频的放大倍率的视频。
在各种实施例中,根据由缩放操作引起的视频的放大和缩小的结果可以被发送到对方电子设备。
根据一个实施例,电子设备500可以对应用缩放的预览连续地执行视频编码,并且可以将视频编码的结果发送给对方电子设备。
根据一个实施例,当执行缩放操作时,电子设备500可以仅放大或缩小通过相机输入的整个视频的一部分,并且可以在显示器上显示放大或缩小的视频作为预览视频。因此,可以以相同的方式执行到对方电子设备的发送,而不管是否执行缩放操作,并且可以向对方电子设备发送与缩放位置一起显示的放大倍率、尺寸和区域中的至少一条信息,使得可以在对方电子设备中执行缩放操作的处理。根据各种实施例,当通过用户界面改变缩放位置(例如,中心点、显示边界等)时,通过缩放功能显示的区域也可以改变。在各种实施例中,诸如缩放操作的视频处理任务可以将通过应用(例如,图8的618)接收到的用户输入发送到媒体处理器(例如,图8的840),并且媒体处理器840可以控制和执行相机(例如,图8的810)、编码器(例如,图8的846)和网络(例如,图8的850)中的一个或多个。
根据各种实施例,当缩放操作终止时,电子设备500可以选择性地在显示器上显示GUI(例如,按钮、图标和文本中的一个或多个),以用于允许用户返回到先前的放大倍率。选择性地显示的GUI可以被提供为在一定时间之后自动消失。
图38是示出根据本公开的各种实施例的在电子设备之间执行视频服务的方法的图。
在各种实施例中,图38示出了根据电子设备(例如,发送视频的第一电子设备610和接收视频的第二电子设备620)之间的缩放操作来处理和显示视频的操作的示例。在图38中,作为示例示出了由接收视频的第二电子设备620请求缩放操作的情况。
参考图38,在操作3801中,电子设备620可以基于用户输入接收缩放命令,并且可以根据接收到的缩放命令计算缩放倍率。例如,第二电子设备620可以通过缩放命令计算预测比率。
在操作3803中,第二电子设备620可以向提供视频的第一电子设备610发送缩放控制信息。在各种实施例中,缩放控制信息可以包括缩放倍率和位置信息(例如,中心位置或区域边界)、网络状态信息等。
在操作3805中,第一电子设备610可以计算缩放倍率以对应于第二电子设备620的缩放命令。例如,第一电子设备610可以从第二电子设备620接收缩放控制信息,并且可以确定接收缩放控制信息是接收视频的缩放命令。第一电子设备610可以基于缩放控制信息的缩放倍率和位置信息来计算缩放倍率。例如,第一电子设备610可以通过缩放命令来计算预测比率。
在操作3807中,第一电子设备610可以基于缩放倍率和位置信息显示要缩放的屏幕(例如,缩放预览)。第一电子设备610可以独立于要缩放的屏幕而将关于缩放的屏幕的放大倍率的信息显示为独立的叠加。
在操作3809中,第一电子设备610可以处理与要缩放的屏幕(例如,缩放预览)相对应的视频编码,从而生成经编码的视频。
在操作3811中,第一电子设备610可以向第二电子设备620发送经编码的视频和缩放倍率。
在操作3813中,当从第一电子设备610接收到经编码的视频时,第二电子设备620可以解码经编码的视频并且可以生成和显示预览图像。
在操作3815中,当显示预览图像时,第二电子设备620可以独立于预览图像,显示从第一电子设备610接收到的放大倍率或关于在操作3801中计算出的放大倍率的信息作为叠加。
如上所述,根据各种实施例,甚至可以通过接收视频的接收侧电子设备来提供放大/缩小。
根据各种实施例,当接收到用于放大或缩小的命令时,接收侧电子设备需要向发送侧电子设备发送相应的命令。在各种实施例中,根据接收侧电子设备的缩放执行而发送到发送侧电子设备的控制信息可以包括例如缩放倍率、要应用放大倍率的参考位置、缩放操作完成时的区域边界、网络状态等。根据一个实施例,当用于缩放操作的输入被输入到接收侧电子设备时,可以针对每个帧计算控制信息,并且可以发送该控制信息。根据另一实施例,接收侧电子设备可以在完成用于缩放操作的输入时发送控制信息(信号)。
根据各种实施例,发送侧电子设备可以经由媒体处理器基于从接收侧电子设备发送的控制信息来接收相应的信息,可以通过控制相机、解码器和网络来生成与缩放倍率相对应的预览,并且可以将与生成的预览相对应的信息提供给单独的GUI。根据各种实施例,所提供的GUI可以是与发送侧电子设备执行缩放操作的情况相同的GUI,并且可以基于输入命令的用户不同地显示GUI的颜色、形状、厚度等。发送侧电子设备可以对应用了缩放操作的视频进行编码,并且可以将经编码的视频发送到接收侧电子设备。
根据各种实施例,在一些情况下,考虑到视频发送时的网络状态,发送侧电子设备可以按缩放操作的开始缩放倍率和最终缩放倍率之间的至少一个放大倍率,生成并发送视频。
根据各种实施例,接收侧电子设备可以接收从发送侧电子设备发送的视频,可以在屏幕上显示接收到的视频,并且可以选择性地显示放大倍率信息。根据一个实施例,当在发送电子设备中按开始缩放倍率和最终缩放倍率之间的至少一个放大倍率发送视频时,发送侧电子设备还可以向接收侧电子设备提供相应的放大倍率信息,并且接收侧电子设备可以与视频一起独立地显示放大倍率信息。此外,接收侧电子设备可以在屏幕上显示最终缩放放大倍率。
如上所述,根据各种实施例,当接收侧电子设备通过用户输入接收到相应信息时,或者当预定区域被设置为自动缩放(例如,相对于对象或面部区域缩放的自动缩放)时,接收侧电子设备可以与发送侧电子设备一起执行缩放相关处理。
根据各种实施例,可基于相机直接控制(例如,远程控制/光学缩放)、图像处理模块控制(例如,数字缩放)等来执行缩放视频处理方法。
根据各种实施例,可以通过在每个电子设备中保持最大分辨率视频数据的发送并执行缩放操作(通过每个电子设备中的解码结果独立地执行缩放操作)、通过光学缩放发送和接收以光学方式缩放的最大分辨率视频数据、或者通过仅编码缩放区域执行发送和接收处理来执行处理经编码的视频的方法。
根据各种实施例,可以通过用户输入提供感兴趣区域(ROI)的自动缩放。例如,ROI或感兴趣对象区域可以通过用户输入(例如,定点、拖动、对象聚焦拍摄等)来设置,并且缩放操作可以根据ROI或感兴趣对象区域自动执行。
根据各种实施例,可以提供另一方的缩放区域信息的接收和显示。例如,可以接收由另一方指定的ROI或缩放区域,并且可以在显示的视频上显示接收到的区域。根据一个实施例,当显示的区域包括在当前显示的视频的轮廓中时,可以在单独的GUI中显示该区域。
图39是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图39,示出了在执行视频服务期间捕获显示的视频的操作和该操作的屏幕示例。
如图39所示,执行视频服务期间的捕获功能可以以这样的方式执行,即用户在执行视频服务时选择捕获按钮3910。根据各种实施例,执行图像捕获的示例如下。
根据一个实施例,可以提供在提供视频的第一电子设备中执行视频捕获的情况。在用户按下捕获按钮3910的状态下,第一电子设备可以获取处理图像以发送通过相机获取的高清晰度原始图像和运动图像。根据各种实施例,当输入捕获按钮3910时,第一电子设备可以存储高清晰度原始图像,并且可以另外与第二电子设备共享存储的图像。根据各种实施例,对于视频捕获的输入,可以由除了第一电子设备之外的第二电子设备中的捕获按钮3910请求该捕获,并且第一电子设备可以响应于第二电子设备的请求来操作相机。
根据一个实施例,可以提供在接收视频的第二电子设备中执行视频捕获的情况。当选择捕获按钮3910时,第二电子设备可以在按下捕获按钮3910的时刻在以网络流发送的运动图像中提取图像。提取的图像可能具有质量取决于网络状态的特征。当存在用户的单独请求或者网络质量差时,可以通过从第一电子设备请求在按下捕获按钮3910的时刻存储的高质量图像来接收提取的图像。
根据各种实施例,当接收侧第二电子设备请求发送侧第一电子设备的高质量原始视频时,第一电子设备可以识别在第二电子设备中按下捕获按钮3910的时间点的时间戳,可以搜索相应时间点的原始视频,并且可以将搜索到的原始视频发送到第二电子设备。
根据各种实施例,当接收侧第二电子设备请求发送侧第一电子设备的高质量原始视频时,第一电子设备可以通过响应于第二电子设备的请求操作相机来获取拍摄的视频,并且可以以与使用远程控制器操作相机的方法相同的方式将获取的视频发送到第二电子设备。
根据各种实施例,当执行捕获功能时,可以提供生成相机快门效果声音、屏幕闪烁、屏幕抖动和屏幕淡出后的淡入效果中的一个或多个视觉效果(例如,视觉交互(visualinteraction,VI)),并且在捕获视频的情境下,可以将捕获图像的存储显示为弹出3930,诸如“图像已捕获”或“文件名_已保存(例如,AAA001已保存)”,并且可以提供给用户。
根据各种实施例,当执行捕获操作时,第一电子设备和/或第二电子设备可以仅捕获通过相机获取的视频。例如,在图39中,可以仅捕获预览屏幕,并且捕获的视频可以不包括屏幕上显示的功能图标或菜单。在各种实施例中,功能图标或菜单可以独立于视频的捕获而操作。根据一个实施例,通话持续时间可以被连续计数和显示(例如,00:22->00:23)。另外或替代地,捕获的视频可以在捕获时捕获功能图标或菜单,包括它们。
图40是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
参考图40,示出了在执行视频服务的同时记录显示的视频的操作以及该操作的屏幕示例。
如图40所示,视频服务的记录功能可以以这样的方式执行,即用户在执行视频服务的同时选择记录按钮4010。根据各种实施例,执行记录的示例如下。
根据一个实施例,可以提供在提供视频的第一电子设备中执行记录的情况。根据各种实施例,在运动图像的情况下,可以通过编码器对其进行编码以用于网络发送,并且可以对其进行网络流式发送,因此,即使在第一电子设备中执行记录功能,网络状况(例如,第一电子设备的上传信道和第二电子设备的下载信道)也可以影响视频的质量。因此,仅当网络环境良好时,才可以以最高质量存储要记录的视频,并且可以存储具有这种特性(例如,因为与通常由摄像机拍摄的视频相比,发送视频具有每秒发送率(比特率)的损失{高达3.5Mbps,基于1080p})的运动图像。
此外,当第一电子设备单独操作编码器以用于存储原始运动图像时,可以存储具有与网络条件无关的原始图像质量的运动图像。例如,媒体处理器可用于控制用于网络发送的视频编码和用于存储通过相机接收的原始视频以单独处理的视频编码。
根据一个实施例,可以提供由接收视频的第二电子设备执行记录的情况。第二电子设备可以根据来自第一电子设备的网络路径的条件存储可变质量的视频。根据各种实施例,根据需要,在语音通话之后,第二电子设备可以请求共享来自第一电子设备的原始质量的记录的运动图像,以获取记录的视频。
根据各种实施例,在通话终止之后,第一电子设备可以响应于第二电子设备的请求获取原始质量的视频。在各种实施例中,获取的数据可以是存储在第一电子设备中的本地数据和存储在服务器中的数据。
根据各种实施例,运动图像应用可缩放编码,仅可以向服务器请求质量从第二电子设备的存储的运动图像降级的部分的增强层数据。在这种情况下,服务器可以另外提供缺失的增强层数据。
根据各种实施例,当运动图像对于从第二电子设备的存储的运动图像请求低质量分组的部分应用DASH方案时,仅可以参考将来的DASH播放列表再次请求高质量部分以恢复质量。
根据各种实施例,当执行记录操作时,第一电子设备和/或第二电子设备可以显示记录经过时间4050(例如,REC 00:01)。根据各种实施例,可以通过在执行记录操作时记录经过时间4050和/或记录图标4010的闪烁来通知用户正在执行记录。根据各种实施例,当记录完成时,存储记录的视频的事实可以显示为弹出4030,诸如以“_文件名_已保存(例如,BBB003已保存)”的形式,并且可以被提供给用户。
根据各种实施例,当执行记录操作时,第一电子设备和/或第二电子设备可以仅记录通过相机获取的视频。例如,在图40中,可以仅记录预览屏幕,并且记录的视频可以不包括显示在屏幕上的功能图标或菜单。在各种实施例中,功能图标或菜单可以独立于视频的记录来操作。根据一个实施例,通话持续时间可以被连续计数和显示(例如,00:24->00:30)。
如上参考图39和图40所述,根据各种实施例,可以共享在运行视频服务时捕获或记录的内容。
根据各种实施例,当视频服务终止时,由用户在执行视频服务的同时执行的捕获的图像或记录的视频可以以缩略图的形式显示,或者可以简要概括。这种信息可以通过弹出提供。用户可以确认相应的内容,并且可以指定要共享的对象,从而通过弹出式菜单共享想要共享给其他用户的内容。
根据各种实施例,即使在执行视频服务时,也可以共享或查询先前存储的捕获的图像或记录的视频。
根据各种实施例,在通话期间生成的内容(例如,捕获的图像或记录的视频)可以存储在电子设备或服务器中,以存储在视频服务相关文件夹中。根据一个实施例,文件夹名称可以包括通话相关信息。例如,文件夹名称可以包括时间、日期和另一方信息。根据各种实施例,在通话终止之后,可以将通话信息(例如,时间)与文件夹名称进行比较,或者可以确定对应的文件夹是最近创建的文件夹,因此可以确定创建的内容是在与伙伴的通话期间创建的。
根据各种实施例,将参考稍后描述的附图来描述共享内容的操作。
图41是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
根据各种实施例,图41示出了电子设备500提供媒体足迹服务的操作的示例。根据各种实施例,媒体足迹服务可以指示这样的功能,在该功能中,在执行视频服务的同时,联系人信息以元数据的形式被添加到创建或共享的静止图像或运动图像,此后,用户可以根据视频服务有效地使用各种信息。根据各种实施例,除了联系人信息之外,可以添加根据在使用视频服务的同时的各种条件的有效信息,因此可以向用户提供额外的益处。根据各种实施例,元数据可以被包括并存储在图像文件中,或者可以存储在单独的关联文件或数据库中。根据各种实施例,图像可以用作包括静止图像、运动图像、动画、预览视频和Bayer图像中的一个或多个的含义。
参考图41,在操作4101中,电子设备500的控制器580(例如,处理器)可以识别用户的存储选项,并且可以在操作4103中确定用户的选项。根据各种实施例,用户的选项可以指示设置使用视频服务时要存储或共享的数据的范围的选项。可以根据用户设置预先存储用户的选项。用户的选项可以包括诸如完整数据、高亮视频等选项。控制器580可以根据视频服务识别由用户在视频通话时预先存储的选择选项。例如,控制器580可以识别设置选项,诸如用户的选项是否被存储、完整数据的使用、高亮视频的使用等。
在操作4103中,当确定没有存储用户的选项时(例如,操作4103的1),控制器580可以防止执行足迹功能,或者可以基于由电子设备500设置的参考设置选项(例如,完整数据)来执行功能。
当在操作4103中确定用户的选项被存储(设置)为高亮数据(操作413的3)时,控制器580可以在操作4105中获取原始视频数据。
在操作4107和4109中,控制器580可以使用原始视频数据生成高亮图像和/或高亮视频。在各种实施例中,当操作4107和4109不限于所示的后验关系时,操作4107和4109可以顺序地、并行地或以相反的顺序执行。
当在操作4103中确定用户的选项被存储(设置)为完整数据(操作4103的2)时,控制器580可以在操作4113中使用原始视频数据生成高亮图像。
在操作4121中,控制器580可以基于在操作4109中生成的高亮视频或在操作4113中生成的高亮图像来生成与联系人相关的元数据。
在操作4123中,控制器580可以存储元数据和媒体。
在操作4125中,控制器580可以通知用户相应的信息。
如上所述,在各种实施例中,可以根据用户的选择选项来存储或共享根据视频服务的视频通话。在各种实施例中,可以提供媒体足迹服务。媒体足迹服务可以包括通过将元数据形式的联系人信息添加到在视频服务情境下生成或共享的图像或运动图像来管理和提供的服务。在下文中,将描述根据用户的视频服务存储(或共享)视频通话数据的图41的特定操作的示例。
如操作4101和4103所示,根据视频服务的视频通话(以下称为视频通话)的视频的存储(或共享)可以基于用户的选项选择,并且可以基于电子设备500的能力和服务检查状态来存储。
在各种实施例中,用户的选项可以被分类为例如不保存、完整数据、高亮视频、图像等。
不保存可以包括不存储用户的视频通话的选项。完整数据可以指示将用户的视频通话存储为原始数据并自动生成对应数据的高亮图像的选项。高亮视频可以指示不存储原始数据并生成高亮视频和高亮图像然后删除原始数据的选项。图像可以指示检测用户输入操作(例如,捕获、聚焦、暂停、定点等)的选项,并且存储在相应时间点通过相机获取的、通过屏幕显示的或者存储在一个存储器(例如,环形缓冲器)中的图像。存储的图像可以是静止图像、动画图像(例如,gif)、全景图像或使用深度传感器值(例如,深度信息)的3D或2.5D图像。
在各种实施例中,电子设备的能力检查可以分类为例如电池状态检查、存储空间检查等。
通过电池状态检查,当用于存储视频的电池状态为不足(例如,小于预定容量)时,电子设备可以不存储相应的视频。通过存储器检查,当用于存储视频的存储器空间为不足(例如,小于预定大小)时,电子设备可以根据存储状态存储完整数据或高亮视频,然后可以丢弃原始视频。根据存储状态,当存储空间不足以存储高亮视频时,视频可能不会被存储。在各种实施例中,存储的数据可以包括用户的语音通话内容和视频数据,并且可以包括可以由电子设备感测的附加信息,诸如通话者的位置信息、接收端的位置信息、通话持续时间(例如,通话日期和时间)信息等。
如操作4107和4113所示,可以如下执行生成高亮图像的方法。
根据一个实施例,可以使用场景中的大改变。例如,当通过差分图像分析检测到(获取)视频通话进度期间场景下的大改变、通过切换相机检测到(获取)对前置/后置相机的改变请求、或者通过运动传感器检测到(获取)电子设备的大运动时,可以通过编辑存储视频的环形缓冲器来获取场景大改变前后的无模糊(blurless)图像,并且可以基于相应图像生成高亮图像。
根据一个实施例,可以使用聚焦图像。例如,当检测到用户希望在视频通话期间共享的对象时,电子设备可以自动聚焦在该对象上或者可以通过用户的手势聚焦在其上。例如,当相机镜头聚焦在对象上时,电子设备可以基于相应对象或区域的视频生成高亮图像。
根据一个实施例,可以使用无模糊图像。例如,由于电子设备根据视频通话进度的移动,或者由于用户握着电子设备的手的轻微或大的震动,视频质量可能恶化。这样,当在视频通话期间获得无模糊图像时,电子设备可以基于该时刻生成高亮图像。
根据一个实施例,可以使用定点图像。例如,当通过用户的暂停手势生成暂停图像时,可以基于暂停图像生成高亮图像。
在操作4109中示出的生成高亮视频的方法可以如下执行。
根据一个实施例,可以使用场景的大改变。例如,当基于通过差分视频的运动的改变量、颜色的改变量等检测到预定量的改变或更多时,可以生成高亮视频。
根据一个实施例,可以使用语音的大改变。例如,当生成预定音量或更大音量的声音时,或者当使用多麦克风改变声音的感测方向时,可以生成高亮视频。
根据一个实施例,可以使用主题的改变。例如,当使用语音识别或视频识别(例如,字符识别、通过面部识别的新字符检测、条形码识别、基于深度学习的对象识别等)检测到事件或检测到新主题时,可以生成高亮视频。
在操作4121中示出的生成联系人相关元数据的方法可以如下执行。
例如,通话伙伴的联系人数据可以生成为视频通话生成的媒体数据中的元数据。根据各种实施例,可以作为元数据添加(插入)的信息可以包括发起/接收通话的另一方的通话者姓名、通话日期&时间、通话者的位置信息、接收端的位置信息等。
在操作4123中示出的存储媒体和元数据的方法可以如下执行。
根据一个实施例,媒体数据可以附加到通话日志详细视图。例如,当生成用于管理视频通话的通话日志时,可以基于生成的元数据在通话日志中直接连接和管理相应的媒体数据。在各种实施例中,对于两种类型的通话,即电路交换(CS)通话和分组交换(PS)通话,可以在相同的结构中管理根据视频通话的通话日志。根据一个实施例,相关联的媒体数据的快捷方式(例如,图标、文本、数字等)可以通过视频通话终止后生成的元数据在通话日志的详细视图屏幕上生成为通话者的姓名和通话日期及时间信息,如稍后将描述的图42所示。在各种实施例中,当选择生成的快捷方式时,可以提供根据包括在相应快捷方式中的元数据分离的媒体数据。在各种实施例中,媒体数据可以具有一般图片和运动图像的形式,并且可以用于普通媒体数据可以具有的文件属性,诸如指定、共享、编辑或删除收藏。将参考稍后描述的图42描述与此相关的屏幕示例。
根据一个实施例,相关联的联系人可以被生成为新的元数据。根据各种实施例,当识别出通过视频通话生成的媒体文件的文件属性时,可以识别出生成的元数据的内容。根据一个实施例,可以识别出视频通话伙伴的联系人姓名,并且可以识别出视频通话日期和时间、通话者的位置信息、接收端的位置信息等。根据一个实施例,可以被识别的元数据的内容可以不包括生成的元数据的所有内容。根据一个实施例,可以识别出与视频通话不相关的媒体数据的一般属性信息(例如,文件名、文件路径、类型、大小、分辨率、方向等),并且还可以识别出从相应图像的特性中提取的属性(例如,类别、检测到的人等)。将参考稍后描述的图43描述与此相关的屏幕示例。
根据一个实施例,可以基于元数据搜索媒体。根据各种实施例,通过元数据搜索在视频通话终止后自动生成的高亮视频和高亮图像是有可能的。例如,媒体根据基于视频服务进行视频通话的另一方的名称、视频通话的日期和时间、另一方的位置以及我的位置来搜索视频服务相关内容是有可能的,诸如“与迈克通话期间的图片”、“圣诞节与迈克通话的内容”、“迈克在纽约旅行期间进行的视频通话”、“我在济州岛旅行期间进行的视频通话”、“前一周晚上进行的视频通话”等。为此,电子设备500可以执行自然语言处理,并且可以使用通过语音输入或字符输入的搜索。将参考稍后描述的图44描述与此相关的屏幕示例。
在操作4125中示出的向用户通知相应信息的方法可以如下执行。
根据一个实施例,如上所述,视频通话可以根据用户的存储选项存储完整数据或高亮媒体数据(例如,高亮视频或高亮图像)。此时,电子设备可以自动生成所生成的视频的高亮图像,并且可以在终止对生成的图像的数量和大小的调用之后向用户提供通知。根据各种实施例,电子设备可以在调用结束后向用户提供查看或共享稍后自动生成的图像的选项、详细查看该图像的选项等。在各种实施例中,可以在调用结束后提供给用户的选项可以包括,例如,取消、共享所有、查看等。这些的屏幕示例在稍后要描述的图45、图46和图47中示出。
如上所述,根据各种实施例,电子设备可以在视频服务中生成并提供媒体足迹,例如,与通话相关联的视频文件。在各种实施例中,一种生成与通话相关联的视频文件的方法可以包括:生成视频文件,该视频文件包括指示文件类型和兼容性类型的文件框、包括标题信息的文件标题以及包括流数据的媒体数据,以及动态生成元数据,该元数据包括存储流数据的轨道中的与通话相关的位置信息和通话伙伴的信息。在各种实施例中,元数据由可以与通话日志相关联的快捷方式(例如,图标、文本、数字等)表示,从而可以被驱动以用于详细的通话日志查找或相关联的功能。根据各种实施例,可以通过通话日志和图库来确认和显示元数据,并且可以通过元数据来容易地执行共享、搜索和存储。
图42是示出根据本公开的各种实施例的电子设备的用户界面的示例的图。
参考图42,可以示出服务用户界面的屏幕示例,该服务用户界面被提供用于查询和显示根据电子设备500中的视频服务的执行而生成和存储的媒体数据(或视频文件)。在各种实施例中,图42示出了通常由发送视频的始发终端和接收视频的接收终端提供的屏幕示例。
如图42的(A)所示,电子设备500可以根据视频服务记录通话日志,并且可以响应于用户请求提供关于与通话日志相对应的通信记录的信息。在各种实施例中,可以向通信记录提供视频通信完成、未接通话、拒接、去电/来电、通信时间点、通信时间(日期、时间等)伙伴信息和伙伴注册照片中的一个或多个。根据各种实施例,通信记录可以包括并提供关于根据视频服务的执行的视频通信的完成的信息(例如,通信数量)、关于发起或接收视频服务的信息、关于视频服务失败的信息、关于视频服务请求的拒接的信息、关于另一方的信息等。根据各种实施例,通信记录中的每条信息可以作为文本、图像、图标等中的至少一个或其组合来提供。
根据各种实施例,通信记录可以按时间顺序记录,并且可以针对每个用户(人)来组织(例如,分组)。例如,可以提供分组日志。
根据各种实施例,当生成根据视频服务的通话日志时,可以基于在执行视频服务时生成的元数据来连接和管理通话日志。例如,在根据视频服务的通话结束之后,用户可以通过在执行视频服务时生成的元数据来确认通话日志的详细视图。
根据各种实施例,当用户选择任何一个通信记录(或通信记录项目)(例如,图42的(A)中的程序4210)时,相应的屏幕可以切换到其中可以确认与所选择的通信记录的用户的详细通信记录并且可以显示切换的屏幕的屏幕。例如,可以执行从图42的(A)到图42的(B)的转换,使得可以显示详细的屏幕。
如图42的(B)所示,作为详细视图,可以提供用户信息(例如,姓名、电话号码、图像等)、根据用户对视频服务的使用的所有历史、视频服务类型(例如,去电、来电等)、是否执行视频服务(例如,未接、拒接等)、通话持续时间(例如,日期或时间)等。此外,作为详细视图,可以提供在相应的屏幕上提供的各种输入按钮(例如,用于发起视频服务、语音通话、消息发送等的按钮)。根据各种实施例,详细视图可以包括在与相应用户的视频服务期间生成的元数据的指示符4230和4250,并且可以向用户提供详细视图。
例如,参考图42的(B),可以提供在通信记录当中的相应视频通话期间生成的图像的指示符4230和4250。根据各种实施例,指示符4230和4250可以根据所生成的元数据的类型、以各种形式的图像或图标(例如,图片图标、音频图标等)提供。根据各种实施例,指示符4230和4250还可以包括所包括的元数据的数字信息4235和4255。
在各种实施例中,指示符4230和4250可以提供快捷功能。例如,当用户选择指示符4230和4250时,可以显示与所选择的指示符4230和4250相关联的屏幕。根据一个实施例,指示符4230和4250可以根据指示符4230和4250具有的元数据提供单独的元数据。
在一个实施例中,在图42的(B)中,当选择指示符4230时,可以搜索指示符4230(例如,相关联的视频文件)具有的元数据,并且可以执行到图42的(C)的转换,使得可以显示根据元数据的屏幕。例如,当选择指示符4230(例如,触摸或敲击)时,可以在多媒体查看器(例如,Android的图库、视频播放器、视频编辑器、网页浏览器等)中搜索与指示符4230相关联的图像,并且可以显示搜索到的图像4276。
图43是示出根据本公开的各种实施例的电子设备的用户界面的示例的图。
参考图43,可以示出服务用户界面的屏幕示例,该服务用户界面被提供用于查询和显示根据电子设备500中的视频服务的执行生成和存储的媒体数据(或视频文件)。在各种实施例中,图43示出了在发送视频的始发终端和接收视频的接收终端之间共同提供的屏幕示例。
如图43所示,可以提供关于通过视频服务生成的视频文件的详细信息(例如,文件属性)。根据一个实施例,在图42的(C)状态下,用户可以通过设置的菜单或设置的输入来请求关于视频文件的详细信息。当在图42的状态(C)下请求显示所显示的视频文件4270的详细信息时,电子设备500可以提供与视频文件4270相关的文件属性,如图43所示。根据各种实施例,文件属性可以与同视频文件4270相关联的元数据的信息一起提供。
例如,参考图43,文件属性可以包括文件本身的一般属性信息(例如,文件名、文件路径、类型、大小、分辨率或方向)和从视频文件的特性中提取的属性(例如,类别或检测到的人)。
根据各种实施例,在文件属性中,可以包括并提供与相应视频文件的视频服务相关联的元数据的内容的至少一部分。例如,文件属性可以包括并显示其中生成相应视频文件的视频通话的对方信息4350。此外,在各种实施例中,除了对方信息4350之外,文件属性可以包括元数据的内容,诸如相应的另一方的视频通话持续时间(通话日期和时间)、通话者和/或接收端的位置信息等。在各种实施例中,可以提供可以从文件属性提供或确认的元数据的内容,以便不包括视频文件的原始元数据的所有内容。
图44是示出根据本公开的各种实施例的电子设备的用户界面的示例的图。
参考图44,示出了服务用户界面的屏幕示例,该服务用户界面被提供以基于通过图43提供的元数据来搜索和显示相关联的视频服务的媒体数据(例如,视频文件)。
例如,当用户选择(例如,触摸或敲击)图43中的元数据4350(例如,对方信息)时,电子设备500可以基于所选择的元数据4350检索与相应元数据4350相关联的媒体数据。根据一个实施例,电子设备500可以基于对方信息4350来检索根据视频服务的执行生成的所有媒体数据(例如,视频文件)。在各种实施例中,电子设备500可以显示检索到的媒体数据,如图44所示。根据一个实施例,电子设备500可以将与视频文件相关联的缩略图提供为列表。
根据各种实施例,电子设备500可以运行可以直接共享检索到的媒体数据的应用,并且可以提供通过所运行的应用检索到的媒体数据。根据一个实施例,可以执行如图44的示例中的诸如消息、邮件或信使的应用,所运行的应用可以根据元数据被自动指定为另一方的目的地,并且所检索的媒体数据可以以附加格式被包括并被提供。根据各种实施例,根据要运行的应用的类型,可以包括并提供用于输入文本的小键盘。
在各种实施例中,可以基于元数据来检索并提供关于与另一方的视频通话的运行的各条信息,诸如当与相应的另一方进行视频通话时生成的媒体数据、当与另一方在特定周年纪念日(例如,圣诞节)进行视频通话时生成的媒体数据、由另一方在特定位置发起或接收的视频通话、由用户在特定位置发起或接收的与另一方的视频通话、在特定时段(例如,一周前、一个月期间或一年前的晚上)发起或接收的视频通话等。也就是说,电子设备500可以基于元数据根据另一方的名称、日期和时间、另一方的位置以及用户的位置来检索与视频服务相关的媒体,并且可以输出(例如,显示)检索到的媒体并将其提供给用户。
图45、图46和图47是示出根据本公开的各种实施例的电子设备的用户界面的示例的图。
参考图45、图46和图47,示出了服务用户界面的屏幕示例,该服务用户界面被提供以在视频通话结束后或视频通话时通知用户关于视频通话时生成的媒体数据(例如,内容)的信息,并共享相关联的媒体数据。根据一个实施例,可以提供在通话或视频通话结束后通知用户关于视频通话期间生成的媒体数据的信息并共享该信息的功能。
根据各种实施例,关于根据视频通话的媒体数据,可以根据用户的存储选项存储完整数据,或者可以存储高亮数据。在各种实施例中,电子设备500可以自动生成所生成的媒体数据的高亮图像,并且可以在通话结束后通知用户关于所生成的高亮图像的数量和大小的信息,如图45的示例所示。
参考图45,可以向视频通话期间生成的媒体数据(例如,内容)提供弹出4500,通过该弹出4500可以确认或共享通话结束后生成的媒体数据。根据各种实施例,弹出4500可以包括与视频通话相关的各条信息,诸如已经运行视频通话的对方信息、关于在相应视频通话中生成的媒体数据的条数的信息4510、媒体数据的完整大小4520、生成的媒体数据(例如,缩略图或高亮图像)4530、用于确认和共享媒体数据的各种选项(例如,取消4540、共享所有450、查看4560等)等。
根据各种实施例,取消选项4540可以指示移除弹出4500并且稍后确认关联或者删除自动生成的媒体数据4530的选项。
根据各种实施例,共享所有选项4550可以指示立刻在缩略图视图或列表视图中显示、自动选择或共享所有媒体数据4530的选项。例如,当检测到从弹出4500的选项中选择共享所有4550时,电子设备500可以提供媒体数据4530的缩略图(例如,高亮图像(或图像)或高亮视频(或运动图像))的列表,如图46的(A)所示。在图46的(A)的示例中,示出了生成高亮图像和高亮视频的示例。
在图46的(A)的状态下,用户可以选择或取消选择要共享的一条或多条媒体数据,然后可以共享最终选择的媒体数据。根据一个实施例,当用户选择图45中的共享所有4550时,电子设备500可以自动选择和设置所有媒体数据,并且可以提供它们,如图46的(A)所示。用户可以取消选择在图46(A)的缩略图视图中选择的所有媒体数据,或者至少一部分媒体数据。用户可以通过选择共享按钮4610来共享最终选择的媒体数据。图46显示了使用缩略图上的复选框选择所有媒体数据的情况,图47的(A)显示了没有选择任何媒体数据的情况。
当选择共享按钮4610时,电子设备500可以提供选择用于共享媒体数据的服务的弹出4630,如图46的(B)所示。根据各种实施例,电子设备500可以使用弹出4630根据用户的选择,使用诸如消息、Android Beam、Wi-Fi Direct、蓝牙、驱动、电子邮件等服务来共享媒体数据(例如,图像和/或运动图像),或者可以使用诸如NFC的短程通信来共享媒体数据(例如,图像和/或运动图像)。
根据各种实施例,查看选项4560可以指示通过缩略图视图、列表视图或项目视图显示媒体数据以及运行(例如,完整显示等)所显示的媒体数据的选项。例如,当检测到从弹出4500的选项中选择查看4560时,电子设备500可以提供媒体数据4530的缩略图(例如,高亮图像(或图像)或高亮视频(或运动图像))的列表,如图47的(A)所示。在图47的(A)的示例中,示出了生成高亮图像4710和高亮视频4730的示例。
在图47(A)的状态下,用户可以选择要运行的媒体数据。当选择媒体数据时,电子设备500可以运行所选择的媒体数据,如图47的(B)所示。根据一个实施例,当由用户选择的媒体数据是图像4710的类型时,可以以详细视图(例如,显示为全屏)向用户提供所选择的缩略图图像(例如,高亮图像)的原始图像。根据另一实施例,当由用户选择的媒体数据是运动图像4730的类型时,可以以详细视图向用户提供所选择的缩略图像(例如,高亮图像)的原始运动图像。
根据各种实施例,在图47的状态(B)中,相对于当前通过用户输入(例如,滑动手势)而显示的媒体数据,相应的信息可以被切换到按照之前或之后的顺序排列的媒体数据,并且可以被显示。
图48和图49是示出根据本公开的各种实施例的在电子设备中执行视频服务的屏幕的示例的图。
图48和图49示出了当执行视频服务的视频通话时根据相机切换的服务用户界面的屏幕示例。在各种实施例中,图48和图49示出了由发送视频的始发终端(例如,第一电子设备4810)和接收视频的接收终端(例如,第二电子设备4820)中的每一个提供的屏幕示例。
根据各种实施例,第一电子设备4810和第二电子设备4820的用户可以基于视频服务共享通话和视频。用户可以在使用视频服务时控制用户的电子设备或对方电子设备的相机。根据一个实施例,如图48所示,接收视频的第二电子设备4820的用户可以控制发起视频的第一电子设备4810的相机。根据各种实施例,获取视频的相机可以是第一电子设备4810的相机,并且接收视频的第二电子设备4820可以处于相机关闭的状态。例如,如图28所示,与第一电子设备4810通信的第二电子设备4820的用户是Mike,示出了其中未发送视频的状态(例如,“服务关闭”或“相机关闭”),并且第二电子设备4820示出了作为第一电子设备4810的用户的Stacy处于发送视频的状态(例如,“服务打开”或“相机打开”)。
根据各种实施例,当执行视频服务时,发送视频的第一电子设备4810的用户可以直接执行第一电子设备4810的相机切换。
在各种实施例中,电子设备500可以包括前置相机和后置相机。另外或替代地,电子设备500可以包括使用外围设备的外部相机。在各种实施例中,相机切换可以包括例如从电子设备(例如,第一电子设备4810)的前置相机切换到其后置相机、从后置相机切换到前置相机、从电子设备的相机(例如,前置或后置相机)切换到外围设备的外部相机、从外围设备的外部相机切换到电子设备的相机(例如,前置或后置相机)等。
图48示出了一个示例,其中接收视频的第二电子设备4820基于用户输入请求第一电子设备4810的相机转换,同时在电子设备4810和4820之间执行视频服务,并且第一电子设备4810响应于第二电子设备4820的请求切换或执行第一电子设备4810的操作相机4810(例如,获取视频)。根据各种实施例,接收视频的第二电子设备4820的相机可以关闭,因此可以不执行用于第二电子设备4820的相机控制的操作。
根据各种实施例,可以打开接收视频的第二电子设备4820的相机,因此第二电子设备4820也可以执行相机控制的操作。根据各种实施例,当电子设备4810和4820都发送和接收视频时,可以在显示器上显示多个视频。例如,可以同时显示以各种方案发送和接收的视频,诸如画中画(PIP)、双画面(PBP)、叠加和多窗口。
根据一个实施例,当视频以PIP或PBP显示时,显示在两个电子设备4810和4820上的视频的布置可以彼此相同或不同。
根据一个实施例,当相应的视频叠加显示在图48和图49的第二电子设备4820中时,与从另一方接收的图像数据相关联的图像可以显示为背景图像4855和4875,并且与发送的图像相关的图像(例如,预览图像)可以显示在显示区域中存在另一方的信息的图像区域中。因此,当相机被关闭时,先前存储在地址簿中的图像可以显示在相应的区域中,当相机被打开时,相应的视频可以被改变为与从指定的相机接收的图像相关联的图像,并且将被发送到另一方。例如,图49中显示的小图像区域可以以叠加方式布置,其中通过用户输入和显示来改变其大小和位置(4900),并且当相机打开时,可以在小图像区域上显示与要发送给另一方的图像相关联的图像。
根据各种实施例,第一电子设备4810和第二电子设备4820可以在用户界面上分别提供用于相机切换的切换对象4815和4825。根据各种实施例,取决于驱动的相机是前置相机、后置相机、外部相机、远程电子设备的相机还是外围设备(例如,VR设备、360相机、包括相机的另一设备等),可以以不同图标的形式提供切换对象4815和4825。在各种实施例中,切换对象4815和4825可以显示在用户界面(或根据视频服务共享的视频)上的至少一个区域(例如,屏幕左侧的上端)中并被提供。在各种实施例中,提供给第一电子设备4810和第二电子设备4820的用户界面可以经由例如图标、菜单或弹出来显示另一用户的信息。
第二电子设备4820的用户可以选择(例如,触摸或敲击)切换对象4825(例如,图标或菜单)以用于相机切换。当在视频服务期间检测到切换对象4825的用户输入时,第二电子设备4820可以将用户输入确定为相机切换请求,并且可以经由网络向第一电子设备4810发送相机切换请求。
当在执行视频服务的同时从第二电子设备4820接收相机切换请求时,第一电子设备4810可以将第一电子设备4810的相机切换(运行)到另一方向的相机。根据各种实施例,当接收到相机切换请求时,第一电子设备4810可以基于振动、声音、闪烁(例如,切换对象闪烁)等提取GUI反馈,并且可以将提取的GUI反馈提供给用户。
第一电子设备4810可以响应于来自第二电子设备4820的请求,从切换的相机获取视频,并且可以将获取的视频发送到第二电子设备4820,以与第二电子设备4820共享视频。这样的示例如图49所示。
如图49所示,第一电子设备4810和第二电子设备4820可以共享和显示通过第一电子设备4810的切换后的相机所获取的视频。
根据一个实施例,在图48中,第一电子设备4810可以发送与从后置相机获取的第一视频(例如,背景视频)4850相关联的视频数据(例如,原始图像、缩放图像、流图像、静止图像等),第二电子设备4820可以处于在显示器上显示4855接收到的视频数据的状态,并且后置相机可以根据第二电子设备4820的相机切换请求切换到前置相机。在这种情况下,如图49所示,第一电子设备4810可以将与从前置相机获取的第二视频(例如,用户面部)相关联的视频数据发送到第二电子设备4820,并且可以在第二电子设备4820上显示发送的视频数据。根据各种实施例,第一电子设备4810和第二电子设备4820可以显示和提供从由第一电子设备4810驱动的相机获得的相同或相似的视频。例如,当两个电子设备4810和4820的分辨率不同或其方向不同时,因为显示在第一电子设备4810和第二电子设备4820中的每一个上的视频具有不同的大小、形状或分辨率,所以第一电子设备4810和第二电子设备4820可以以不同的形式显示图像并将其提供给用户。
如图48和图49的示例所示,图50中示出了一种方法,其中在执行视频服务的同时接收视频的第二电子设备4820的用户请求发送视频的第一电子设备4810的相机切换控制,并且第一电子设备4810接受相应请求以切换相机。
图50是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图。
如图50所示,可以示出当在发送视频的第一电子设备4810和接收视频的第二电子设备4820之间执行视频服务时、第二电子设备4820对第一电子设备4810的相机切换控制操作。
参考图50,在操作5001中,第一电子设备4810可以向视频服务所连接的第二电子设备4820发送经编码的视频(运动图像)和相机类型。例如,第一电子设备4810可以如上所述开始与第二电子设备4820的视频服务,并且可以响应于视频服务的开始,向第二电子设备4820发送关于通过驱动的相机获取的视频的信息和关于驱动的相机的信息。根据各种实施例,第一电子设备4810可以将第一电子设备4810的相机信息与经编码的视频一起发送。在各种实施例中,可与视频一起发送的相机信息可包括第一电子设备4810的相机的分辨率、相机的类型(例如,前置相机、后置相机或外部相机)、第一电子设备4810的方向(例如,横向模式、纵向模式等)等。
在操作5003中,第二电子设备4820可以接收并显示从第一电子设备4810发送的视频,并且可以显示第一电子设备4810的相机的信息。例如,第二电子设备4820可以显示第一电子设备4810的相机的信息(例如,通过切换对象)以及经编码的视频,如参考图48和图49所述。根据一个实施例,第二电子设备4820可以显示与第一电子设备4810的相机类型相关联的GUI(例如,切换对象4825)。
在操作5005中,第二电子设备4820可以确定是否输入了切换命令。例如,第二电子设备4820可以通过用户界面的显示(例如,切换对象4825)来识别第一电子设备4810的相机信息并将其提供给用户,并且可以运行切换命令,该切换命令可以根据用户输入使用切换对象4825来控制第一电子设备4810的相机。第二电子设备4820的用户可以通过选择切换对象4825(例如,图标或菜单)来请求第一电子设备4810的相机切换。
在操作5005中,当没有输入切换命令时(操作5005的“否”),第二电子设备4820可以前进到操作5003以在操作5003之前执行相应操作。
当在操作5005中输入切换命令时(操作5005的“是”),第二电子设备4820可以在操作5007中显示切换请求状态。例如,第二电子设备4820可以在第一电子设备4810中执行用于执行用户在第一电子设备4810中请求的切换命令的状态的显示(例如,切换状态指示)。根据一个实施例,第二电子设备4820可以显示诸如加载弹出以显示切换命令的执行状态的GUI,显示诸如切换对象4825的闪烁的GUI,或者通过第二电子设备4820的振动或声音来显示状态,并且可以向用户提供显示的信息。稍后将描述其特定示例。
在操作5009中,第二电子设备4820可以响应于切换命令向第一电子设备4810发送对相机切换的切换请求。
在操作5011中,第一电子设备4810可以显示与第二电子设备4820的切换请求相关的通知。例如,当在视频服务的运行期间从第二电子设备4820接收到对相机切换的切换请求时,第一电子设备4810可以使用GUI、闪烁(例如,切换对象4815的闪烁)、声音和振动中的至少一个向第一电子设备4810的用户发送相应通知作为反馈。
在操作5013中,第一电子设备4810可以确定是否输入了切换命令。例如,第一电子设备4810可以确定是否存在经由所提供的通知接受相机切换的用户输入。根据一个实施例,第一电子设备4810可以确定是否检测到切换对象4815的用户输入。
当在操作5015中没有检测到与切换命令相对应的用户输入时(操作5015的“否”),第一电子设备4810可以前进到操作5011以在操作5011之前执行操作。根据一个实施例,第一电子设备4810可以在预定时间内根据切换命令确定用户输入,并且可以在经过预定时间之后向第二电子设备4820发送对第二电子设备4820的相机切换请求的拒接响应。或者,当检测到除了来自用户的切换命令以外的拒接相机切换的用户输入时,第一电子设备4810可以向第二电子设备4820发送对第二电子设备的相机切换请求的拒接响应。
当在操作5015中检测到与切换命令相对应的用户输入时(操作5015的“是”),第一电子设备4810可以在操作5017中响应于用户输入来执行相机切换。根据一个实施例,第一电子设备4810可以执行从当前驱动的相机到可以被驱动的另一相机的切换,诸如从前置相机切换到后置相机、从后置相机切换到前置相机、从第一电子设备4810的相机切换到外围设备的外部相机、或者从外围设备的外部相机切换到第一电子设备的相机。
根据各种实施例,根据先前设置的切换策略,可以确定是否执行操作5015。例如,当根据用户的设置接收到第二电子设备4820的切换请求时,第一电子设备4810可以自动执行切换操作5017。根据各种实施例,切换策略设置可以由第一电子设备4810的设置项中的用户输入来指定。根据各种实施例,切换策略设置可以与第一电子设备4810的设置项中的第一电子设备4810相关联,或者可以针对其他具有与之相关联的历史的电子设备中的每一个单独获得。在操作5019中,第一电子设备4810可以发送从切换的相机获得的视频(运动图像)和相机类型。例如,第一电子设备4810可以从切换的相机获取视频,可以对获取的视频进行编码,并且可以将经编码的视频(运动图像)和相机类型(例如,关于切换的相机的信息)发送到第二电子设备4820。根据各种实施例,当切换的相机是前置相机时,第一电子设备4810可以对获取的视频执行视频处理,使得获取的视频从左向右反转(诸如镜像效果),然后可以将结果视频发送到第二电子设备4820。
如上所述,第二电子设备4820可以根据第一电子设备4810的相机切换来显示状态,并且可以根据来自第一电子设备4810的相机切换来接收状态,从而可以改变和显示第二电子设备4820的状态显示(例如,切换状态指示)。
根据一个实施例,第二电子设备4820可以显示等待状态。例如,当第二电子设备4820未能从第一电子设备4810接收到相机切换请求的状态改变时,第二电子设备4820可以显示加载弹出等,并且可以将其提供给用户。
根据一个实施例,第二电子设备4820可以显示切换的状态。例如,当接收到第一电子设备4810的相机已经被切换的事实时,第二电子设备4820可以向用户提供诸如弹出、振动或声音的反馈。
根据一个实施例,第二电子设备4820可以显示故障状态。例如,当第二电子设备4820向第一电子设备4810发送第一电子设备4810的对相机切换的切换请求时,第一电子设备4810的相机切换可能由于诸如第一电子设备4810的接收状态、第一电子设备4810或第二电子设备4820的信号的丢失或第一电子设备4810的拒接的原因而不被接受。以这种方式,当第一电子设备4810的相机切换没有针对切换请求执行时,第二电子设备4820可以输出反馈,诸如弹出、振动或声音,并且可以向用户提供输出反馈。
图51A、图51B、图52和图53是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
如图51A和图51B所示,根据各种实施例,示出了操作双相机(或叙述模式)的示例。例如,在传统一般的视频通话的情况下,必须在通话启动点选择视频通话或语音通话。另一方面,根据各种实施例,视频服务可以从语音通话模式自由切换到视频通话模式(例如,视频服务运行模式),或者从视频通话模式自由切换到语音通话模式。参考图51A和图51B,将描述双相机(例如,叙述模式)驱动(例如,模式进入操作)和根据双相机驱动的操作(例如,对象移动或尺寸转换)。
在各种实施例中,双相机可以具有同时运行至少两个相机的功能(例如,前置相机和后置相机、电子设备的相机或功能上耦合到电子设备的外围设备的外部相机),并且用于双相机的对象可以包括和提供在用户界面中。
参考图51A和图51B,关于电子设备500(例如,始发终端)(下文中称为第一电子设备),当运行视频服务时,可以激活一个摄像机,例如后置相机,以在第一预览区域5120上显示通过后置相机拍摄的视频,并将显示的视频发送到另一电子设备(例如,接收终端)(下文中称为第二电子设备)。
第一电子设备的用户可以选择(例如,触摸或敲击)用于运行双相机的双相机对象5110(例如,双相机图标),或者第一电子设备可以响应于用户的语音输入运行叙述模式。当运行叙述模式时,第一电子设备可以在后置相机被激活的状态下同时驱动前置相机。根据另一实施例,双相机对象5110可以是特定应用内的图标,或者可以是单独应用的图标。在双相机对象5110是单独应用的情况下,多个相机可以在驱动相应的应用时同时接收视频。
第一电子设备可以经由第二预览区域5130显示使用前置相机拍摄的视频。在各种实施例中,第二预览区域5130可以位于第一预览区域5120上的一个区域(例如,屏幕左侧的上端)。第二预览区域5130可以以例如气泡的形式显示。第二预览区域5130不限于图51A和图51B所示的圆形,并且可以以各种形式提供,诸如三角形、四边形或多边形(例如,菱形、星形等)。通话者可以在大小和位置上改变第二预览区域5130。图52中示出了其详细示例。
参考图52,用于运行双相机的对象5110可以包括在用户界面的一个区域(例如,上述功能区域)中(例如,通过后置相机获取的视频),并且被提供。另外,如图52所示,功能区域可以包括能够捕获和存储显示在第一预览区域5120上的视频的对象(例如,捕获对象)、能够记录显示在第一预览区域5120上的视频的对象(例如,记录对象)、能够切换获取视频的相机(例如,将相机从后置相机切换到前置相机或从前置相机切换到后置相机)的对象(例如,切换相机对象)、用于运行至少两个相机(例如,同时驱动前置相机和后置相机或远程相机的双相机)的对象(例如,双相机对象)、用于在第一预览区域5120上调用并显示指针的对象(例如,指针对象)等。根据各种实施例,功能区域可以由视频服务中的始发终端提供,并且可以由各种功能图标实施,以用于与通过第一预览区域5120显示的视频相关联地执行存储、选择或设置改变。
根据一个实施例,当驱动视频服务时,对象(例如,用于运行双相机的双相机对象5110和/或功能区域的其他对象)可以连续显示在屏幕上并被提供。根据一个实施例,当驱动视频服务时,双相机对象5110(和/或功能区域的其他对象)可以显示在屏幕上,然后可以在经过预定时间之后自动消失(例如,显示/隐藏功能)。在这种情况下,当在屏幕上识别出用户输入(例如,触摸或标签)时,可以再次显示相应的对象。在图52中,用户可以通过选择双相机对象5110额外驱动相机来运行叙述模式。
根据各种实施例,第一电子设备可以响应于叙述模式的运行而显示第二预览区域5130。
根据一个实施例,如图52所示,第二预览区域5130可以位于第一预览区域5120上。例如,第二预览区域5130可以独立于第一预览区域5120以画中画(PIP)的形式提供。根据各种实施例,第一电子设备的用户可以切换显示在第一预览区域5120上的屏幕(视频)和显示在第二预览区域5130上的屏幕(视频)。与此相关的屏幕示例将结合稍后描述的附图进行描述。
根据一个实施例,当第二预览区域5130位于第一预览区域5120上时,第二预览区域5130可以固定在固定位置(例如,屏幕左侧的上端)。
根据一个实施例,当第二预览区域5130位于第一预览区域5120上时,第二预览区域5130可以自动显示在没有特定对象(例如,包括在显示在第一预览区域5120上的视频中的对象)的背景区域中。在这种情况下,当显示在第一预览区域5120上的屏幕(视频)改变时,可以通过视频分析自动改变第二预览区域5130的位置。例如,当在第一预览区域5120中输入包括人的面部的视频时,可以在第一预览区域5120中确定一个或多个图像对象区域(例如,面部、人体、条形码、2D码{QR码、数据矩阵码、PDF-417等}、文本等)。当确定第二预览区域5130覆盖对象区域或者将在预定时间(例如,1秒)内覆盖对象区域时,第二预览区域5130可以移动到除了对象区域之外的位置并被显示,或者第二预览区域5130的大小或形状可以被调整(例如,缩小)以被显示。
根据各种实施例,用于确定对象区域的视频分析技术可以使用面部识别、OCR、2D码识别、基于差分视频分析的移动方向的确定、通过剪影提取技术的身体区域和形状分析、通过颜色分布的对象区域分类以及基于边缘的对象区域确定中的一个或多个。根据一个实施例,当第二预览区域5130位于第一预览区域5120上时,第一电子设备的用户可以改变(例如,移动)第二预览区域5120的位置。将参考稍后描述的附图描述与此相关的屏幕示例。
根据一个实施例,第二预览区域5130和第一预览区域5120可以通过独立窗口显示,并且窗口之一可以显示为与其他窗口的最小部分重叠或叠加。
根据各种实施例,当第二预览区域5130位于第一预览区域5120上时,第一电子设备的大小可以由第一电子设备的用户和第二电子设备的用户改变。图51A、图51B和图53中示出了与此相关的屏幕示例。
如图51A、图51B和图53所示,当第二预览区域5130位于第一预览区域5120上时,第二预览区域5130的大小可以小于或等于第一预览区域5120的大小。根据各种实施例,第二预览区域5130的大小可由第一电子设备的用户(例如,通话者)或第二电子设备的用户(例如,接收端)改变。
在各种实施例中,当第二电子设备的用户改变第二预览区域5130的大小时,第二电子设备可以向第一电子设备发送与第二电子设备的用户输入相对应的控制信号。当从第二电子设备接收到控制信号时,第一电子设备可以执行与通过媒体处理器或客户端(例如,应用)接收的控制信号相对应的区域大小控制命令。根据一个实施例,当第一电子设备接收到从第二电子设备发送的控制信号时,第一电子设备或客户端的媒体处理管理模块可以确定用户是否执行第二预览区域5130的大小改变,然后可以响应于第一电子设备的用户的许可执行大小改变。
在各种实施例中,当第二预览区域5130的移动和/或大小改变时,可以提供用于改变(例如,位置移动或大小改变)第二预览区域5130的引导对象5135,如图51B和图53所示。根据各种实施例,在第二预览区域5130的位置移动时,可以不显示引导对象5135,并且可以移动第二预览区域5130的位置以对应于用户输入。
根据一个实施例,引导对象5135可以以各种形式提供,诸如矩形、三角形、多边形、圆形等。例如,在图51B和图53中,可以示出引导对象5135被提供为矩形的示例。
根据一个实施例,用户可以选择引导对象5135的一个区域(点)(例如,图51B和图53中的四个角或顶点),并且可以利用诸如拖动的用户输入来改变第二预览区域5130的大小。根据一个实施例,在选择引导对象5135的右下端顶点的状态下,用户可以通过沿任何一个方向的移动来放大或缩小第二预览区域5130的大小,来改变第二预览区域5130的大小。
根据一个实施例,在选择(例如,触摸)引导对象5135的内部(例如,第二预览区域5130本身)的状态下,用户可以通过在任何一个方向上的移动输入(例如,拖动)来移动和改变第二预览区域5130的位置。
根据各种实施例,第二预览区域5130可以以气泡的形式提供。根据一个实施例,第二预览区域5130的形状可以由第一电子设备的用户进行各种改变。例如,第二预览区域5130可以被提供为由用户设置的各种形式中的任何一种的GUI,诸如邮票、多云椭圆形、即时照片、心形等。
根据各种实施例,第二预览区域5130的显示可以可选地以各种显示方案提供。根据一个实施例,可以总是显示第二预览区域5130。根据一个实施例,当识别出第一电子设备的用户语音时,可以显示第二预览区域5130。根据一个实施例,当显示第二预览区域5130的同时在触摸屏(例如,图5的530)上识别出用户输入时,显示的第二预览区域5130可以不显示(例如,消失),并且当在触摸屏上再次识别出用户输入时,第二预览区域5130可以再次显示。
在各种实施例中,可以自适应地提供第二预览区域5130的显示/隐藏。例如,当与第二预览区域5130相对应的图像的总亮度值小于或等于预定参考时(例如,YUV的Y值是最大值的20%或更小)、当没有检测到对象的形状或者当焦点不合适时,第二预览区域5130可以不被显示。
根据各种实施例,在叙述模式下电子设备旋转(例如,从水平模式改变到垂直模式或者从垂直模式改变到水平模式)时,两个相机(例如,前置相机和后置相机)的方向可以彼此不同。也就是说,通过相机接收的视频的方向根据电子设备的方向的改变而变得不同。例如,当具有前置相机和后置相机的电子设备沿顺时针方向旋转时,通过加速度传感器或姿势传感器(例如,地磁传感器、重力传感器、陀螺仪传感器等),前置相机可以顺时针旋转,后置相机可以逆时针(反时针)旋转。因此,尽管无论电子设备的旋转状态如何预览屏幕对用户来说都可能是相同的,但是实际存储或发送的视频(例如,图像或运动图像)可以根据相机的旋转方向在旋转的状态下存储或发送。因此,在各种实施例中,前置相机的视频和后置相机的视频可以被补偿(例如,每个相机视频被旋转以便在正确的方向上被看到)并由视频发送终端(以下称为第一电子设备)发送,或者补偿的视频可以被合成和发送。根据各种实施例,第一电子设备可以分别发送前置相机的视频和后置相机的视频,并且可以对从视频接收终端(以下称为第二电子设备)接收到的视频进行补偿(例如,在正确的方向上旋转各个接收到的视频),从而可以在实际被看到的状态下存储或显示补偿的视频,或者可以将补偿的视频发送到其他电子设备。
在各种实施例中,可以执行执行前置和后置相机视频在第一电子设备中合成并发送的情况。
根据一个实施例,当第一电子设备旋转时,由于第二电子设备接收并显示已经合成的视频,第二电子设备可以考虑第二电子设备的显示器的方向来旋转合成的视频,然后显示旋转的视频。
根据一个实施例,通过对显示在预览屏幕上的叙述模式视频进行补偿(例如,旋转),可以将旋转的视频存储或发送到第二电子设备,以便基于第一电子设备的旋转方向正常观看。例如,当第一电子设备顺时针旋转180度时,与预览屏幕相对应的图像可以逆时针旋转180度以存储或发送。该操作也可以应用于90度、270度等的旋转。
在各种实施例中,可以如下执行第一电子设备发送由第一电子设备的前置相机和后置相机接收的视频、然后第二电子设备合成视频的情况。
根据一个实施例,由第一电子设备设置的第二预览区域的位置、大小、形状和显示信息(例如,控制信号和包括在图像信息中的单独元数据文件中的至少一个)可以被发送到第二电子设备,从而第二电子设备可以重建和显示合成视频。
根据一个实施例,当第一电子设备在叙事模式显示在第二电子设备上的同时旋转时,第一电子设备的前置相机和后置相机的旋转信息可以被发送到第二电子设备。第二电子设备可以基于所发送的第一电子设备的前置相机和后置相机的旋转信息来校正合成视频,从而存储、显示或发送改变的合成视频。例如,当第一电子设备顺时针旋转90度时,可以确定前置相机和后置相机在彼此相反的方向上旋转90度,并且可以补偿每个视频的旋转以存储或发送,使得每个视频可以基于重力方向正常显示。此时,另外,可以考虑第二电子设备的方向或者第二电子设备的显示器的方向来旋转视频,然后可以在显示器上显示、存储或发送。
根据一个实施例,第二电子设备的用户可以改变第二预览区域的位置、大小和形状的至少一个属性,以及是否显示第二预览区域。
根据各种实施例,将参考图54和图55描述切换前置相机和后置相机的操作的示例。
图54和图55是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
参考图54和图55,示出了在各种实施例中与使用双相机运行叙述模式以及在运行叙述模式期间执行相机切换(或旋转)的操作相关的屏幕示例。
根据一个实施例,第一电子设备5410(例如,视频始发终端)和第二电子设备5420(例如,视频接收终端)可以交换(共享)第一预览区域5430和第二预览区域5440。例如,当各个预览图像(第一图像和第二图像)被设置在与经由后置相机接收的第一图像相对应的第一预览区域5430和与从前置相机接收的第二图像相对应的第二预览区域5440中、并且显示设置的预览图像时,显示的图像可以通过用户界面(例如,一个或多个菜单、按钮、触摸和滑动)被切换,使得第一预览区域5430可以被改变为对应于前置相机,并且第二预览区域5440可以被改变为对应于后置相机。
根据一个实施例,当在叙述模式下执行相机切换时,根据在第一电子设备5410中改变的预览区域而显示的图像可以被合成并发送到第二电子设备5420,或者指示已经执行相机切换的信息可以被发送到第二电子设备5420以控制要改变的预览区域。
根据一个实施例,由第一电子设备5410的用户设置的第二预览区域5440的位置、大小、形状和显示信息可以被发送到第二电子设备5420,从而第二电子设备5420可以重建和显示合成视频。
根据一个实施例,当使用从第一电子设备5410发送的前置相机和后置相机的视频显示叙述模式视频时,第二电子设备5420可以控制构成叙述模式视频的第一预览区域5430和第二预览区域5440来控制第一电子设备5410的相机视频或驱动第二电子设备5420的相机,并且可以用其显示、存储或发送视频。对此,将参考图54和图55进行描述。
在图54和图55中,示出了通过服务窗口5450提供第二预览区域5440的示例。服务窗口5450可以独立于第一预览区域5430叠加,并以弹出的形式显示。根据一个实施例,服务窗口5450可以包括关于执行视频服务的对方用户的联系人信息、关于对方电子设备是始发终端还是接收终端的状态信息、第二预览区域5440等。例如,第二电子设备5420可以通过服务窗口5450显示第一电子设备5410的用户的联系人信息(例如,用户名{例如,Stacy}、电话号码{例如,010-2000-XXXX}等)和指示对方电子设备充当视频发送终端的状态信息(例如,服务开启{或视频服务开启}等),并且第一电子设备5410可以通过服务窗口5450显示第二电子设备5420的用户的联系人信息(例如,用户名{例如,Mike}、电话号码{例如,010-1000-YYYY}等)和指示对方电子设备充当视频接收终端的状态信息(例如,服务关闭{或视频服务关闭}等)。另外,根据各种实施例,可以独立于指示视频服务状态的GUI(例如,服务开/关)来显示单独的相机开/关相关的GUI,并且可以通过控制本地设备(例如,视频发送设备或第一电子设备5410)的相机开/关来设置和驱动是否将视频发送到另一方。根据各种实施例,服务开/关可以指示对方电子设备是否发送视频的显示,并且相机开/关可以指示本地设备是否发送视频的显示。例如,通过第一电子设备5410的服务窗口5450,可以显示根据第一电子设备5410是否发送视频的相机开启或相机关闭的GUI,并且将该GUI提供为与根据第二电子设备5420是否发送视频的服务的开启或服务关闭的GUI相邻(例如,下端)。
如图54和图55所示,第二电子设备5420可以在第一预览区域5430中实时显示由第一电子设备5410发送的后置相机视频。当通过用户输入选择第二预览区域5440并且第一电子设备5410的前置相机视频没有显示在第二预览区域5440中时,第二电子设备5420可以向第一电子设备5410发送视频发送请求(例如,请求前置相机视频的发送的控制信号),使得第一电子设备5410的前置相机视频可以显示在第二预览区域5440上。
当从第二电子设备5420接收到视频发送请求时,第一电子设备5410可以通过第二预览区域5440向用户提供GUI(例如,OK按钮或NO按钮),使得第一电子设备5410的用户可以接受或拒绝相应的请求。根据一个实施例,关于用于请求的接受或拒绝的选择菜单,可以通过服务窗口5450的一个区域或者通过第一预览区域5430的任何一个区域来提供相应的GUI。
当通过用户输入(例如,弹出菜单、语音输入或手势识别)接受第二电子设备5420的请求时,第一电子设备5410可以确认第一电子设备5410的资源和网络状态。当基于确认结果确定可以响应于第二电子设备5420的视频发送请求来发送相应的视频时,第一电子设备5410可以驱动前置相机以接收相应的视频。第一电子设备5410可以对通过前置相机输入的视频进行编码,并且可以通过网络将经编码的视频发送到第二电子设备5420。根据各种实施例,第一电子设备5410可以处于继续将通过后置相机输入的视频发送到第二电子设备5420的状态。根据各种实施例,当发送前置相机的视频时,第一电子设备5410可以通过第一电子设备5410的第二预览区域5440顺序地或并行地显示前置相机的视频。
第二电子设备5420可以从第一电子设备5410接收与视频发送请求相对应的前置相机的视频,并且可以在第二预览区域5440中显示接收到的视频。根据各种实施例,第二电子设备5420可以处于继续通过第一预览区域5430显示从第一电子设备5410接收的后置相机的视频的状态。
第二电子设备5420可以通过用户输入来改变第二预览区域5440,并且所显示的视频也可以被改变(例如,缩放)。例如,当通过第二预览区域5440设置ROI(例如,用户输入的触摸、区域设置、压力检测等)时,第二电子设备5420可以向第一电子设备5410发送相关联的控制信号。根据一个实施例,相关联的控制信号可以包括使得执行以下功能中的一个或多个的控制命令:自动曝光、自动聚焦、分辨率改变、比特率、帧率、色温改变、伽马值改变、降噪和缩放。根据一个实施例,当在第二预览区域5440中设置ROI时,第二电子设备5420可以通过媒体处理器执行图像处理。当根据用户输入改变第二预览区域5440时,第二电子设备5420可以改变并显示第二电子设备5420的第二预览区域5440,并且可以向用户提供改变并显示的第二预览区域5440,如图55所示。例如,关于第二电子设备5420的第二预览区域5440,可以改变和显示大小和/或位置以对应于用户输入,并且可以以叠加方式提供。
根据各种实施例,第一电子设备5410或第二电子设备5420可以将用户输入接收到第一预览区域5430或第二预览区域5440中,并且可以根据用户输入来不同地改变视频。
根据一个实施例,如上所述,正被驱动的第一电子设备5410的前置相机和后置相机可以被切换,使得可以共享另一视频。例如,除了由第一电子设备5410的后置相机捕获(拍摄)的视频之外的由第一电子设备5410的前置相机捕获(拍摄)的视频,或者由功能上连接到第一电子设备5410的一个或多个相机捕获(拍摄)的视频可以显示在第一预览区域5430上。作为另一示例,从内置在第二电子设备5420中或功能上连接到第二电子设备5420的一个或多个相机接收的视频可以显示在第一预览区域5430上。另外,当第二电子设备5420操作以显示第二电子设备5420的视频时,第二电子设备5420可以向第一电子设备5410发送相应的视频和/或控制信息,使得相应的视频可以通过第一电子设备5410的第一预览区域5430显示。根据各种实施例,这可以通过使用和选择能够指定目标电子设备(例如,第一电子设备5410或第二电子设备5420)显示视频的各种用户输入方案(例如,按钮、菜单、图标、手势和语音识别中的一个或多个)和与每个区域(例如,第一预览区域5430或第二预览区域5440)的相应电子设备相对应的一个或多个相机(例如,前置相机、后置相机、外部相机等)的操作来执行。
如上所述,根据各种实施例,发起视频的第一电子设备可以分别发送前置相机的拍摄视频、后置相机的拍摄视频以及与每个视频相关联的音频。根据一个实施例,第一电子设备中的后置相机的视频可以显示在第一预览区域中。例如,可以提供从第一麦克风接收的背景声音,该第一麦克风布置在与背景和后置相机相同或相似的方向上。根据一个实施例,第一电子设备中的前置相机的视频可以显示在第二预览区域中,并且可以提供从第二麦克风接收的视频发送端和发送端的语音,该第二麦克风布置在与前置相机的方向相同或相似的方向上。
根据各种实施例,接收视频的第二电子设备可以以相同的方式显示由第一电子设备接收的视频和音频数据。根据一个实施例,第二电子设备中的第一电子设备的后置相机的视频可以显示在第一预览区域上。例如,可以提供从第一麦克风接收到的背景声音,该第一麦克风布置在与后置相机相同或相似的方向上。根据一个实施例,可以在第二预览区域中显示第二电子设备中的第一电子设备的前置相机的视频,并且可以提供从第二麦克风接收的视频发送端和发送端的语音,该第二麦克风布置在与前置相机的方向相同或相似的方向上。
根据各种实施例,接收视频的第二电子设备可以单独再现由第一电子设备发送的视频和音频。根据一个实施例,仅当通过用户的选择显示与第二预览区域相对应的视频时,第二电子设备可以再现第一电子设备的用户的音频(例如,语音)。根据一个实施例,当第二预览区域被隐藏时,第二电子设备可以不再现第一电子设备的用户的音频(例如,语音)。根据一个实施例,当通过切换预览区域来隐藏第一预览区域时,第二电子设备可以不再现背景声音。
图56和图57是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
根据各种实施例,图56和图57示出了当在视频服务的运行期间从另一第三方用户接收到通话时执行的操作的示例。例如,在第一电子设备和第二电子设备之间执行视频服务期间,可以从第三电子设备向第一电子设备或第二电子设备请求通话接收。以这种方式,当在视频服务的运行期间从第三电子设备接收到通话时,可以执行如下所述的异常处理。
根据各种实施例,可以从第三电子设备接收到对发送视频的第一电子设备的通话。在这种情况下,第一电子设备可以通知第三电子设备的通话接收。
根据一个实施例,当第一电子设备的用户接受第三电子设备的通话时,可以终止视频服务,并且可以以GUI方式在第一电子设备和第二电子设备中显示视频服务的结束。根据一个实施例,如图56所示,指示视频服务的结束的弹出5650(例如,视频服务已结束)可以被显示并提供给用户。
根据一个实施例,当第一电子设备的用户拒接第三电子设备的通话时,可以保持视频服务,并且拒接信息可以被发送到第三电子设备。拒接信息可以包括指示第一电子设备在视频服务中的信息。
根据各种实施例,可以从第三电子设备接收到对接收视频的第二电子设备的通话。在这种情况下,第二电子设备可以通知第三电子设备的通话接收。
根据一个实施例,当第二电子设备的用户接受第三电子设备的通话时,第二电子设备和第一电子设备可以暂停视频服务。例如,第二电子设备可操作以在视频服务屏幕上显示指示第二电子设备已经接收到第三电子设备的通话的信息,并使得第一电子设备显示该信息。例如,如图57所示,第二电子设备可以在视频服务屏幕上将指示第二电子设备已经接收到另一通话的信息显示为弹出5750(例如,视频服务通话暂停),并且可以将该信息发送到第一电子设备,使得第一电子设备显示该信息。此时,第一电子设备可以暂停相机视频的发送(例如,上传),并且可以继续发送视频。例如,当暂停相机视频的发送时,第一电子设备可以保持连接状态,以便不取消P2P或视频流服务器连接。在第二电子设备和第三电子设备之间的通话结束时,第一电子设备可以应第二电子设备的请求恢复相机视频的发送。
根据一个实施例,当第二电子设备的用户接受第三电子设备的通话时,如参考图56所述,视频服务可以终止,并且指示视频服务的结束的弹出5650(例如,视频服务已结束)可以以GUI方式显示在第一电子设备和第二电子设备中。
根据一个实施例,当第二电子设备的用户拒接第三电子设备的通话时,可以保持视频服务,并且拒接信息可以被发送到第三电子设备。拒接信息可以包括指示第二电子设备在视频服务中的信息。
同时,根据各种实施例,可能发生第一电子设备的用户通过归位键等离开视频服务屏幕的情况。在这种情况下,第一电子设备(或第一电子设备的用户)可以在即将离开视频服务屏幕之前在第二电子设备的屏幕上显示最后的静止图像。
图58和图59是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
根据各种实施例,图58和图59示出了当在语音通话时执行(通话)语音记录功能的同时开始视频服务时执行的操作的示例。
根据各种实施例,图58示出了当在发送视频的第一电子设备中执行根据语音通话的语音记录功能的同时开始视频服务时的处理的示例。如图58所示,第一电子设备可以通过弹出5850(例如,步进记录)来提供当在语音记录期间开始视频服务时语音记录是否终止。根据一个实施例,当由服务对象5810检测到用于在语音记录期间启动视频服务的用户输入时,第一电子设备可以显示指示语音记录终止和存储语音记录文件的弹出,并且可以向用户提供显示的弹出。
根据一个实施例,当在弹出5850中选择接受(例如,OK)时,第一电子设备可以终止语音记录功能(操作)并且可以开始视频服务。例如,在第一电子设备中,可以终止语音记录会话,并且可以将语音记录文件存储在存储单元(例如,存储器)中。在各种实施例中,所存储的语音记录文件可以是与视频服务的通话相关联的通话记录,因此可以被视为与相应视频服务会话的关联文件,如在与媒体足迹相关的描述中。
根据一个实施例,第一电子设备可以保持语音记录会话,并且可以在视频服务开始时并行地执行语音记录。例如,第一电子设备可以记录除视频服务的视频之外的语音信息,并且可以对执行视频服务的部分执行书签标记等。
根据一个实施例,第一电子设备可以保持语音记录会话,并且可以在视频服务开始时并行地执行视频和语音记录。例如,相对于执行视频记录之前的语音记录会话,第一电子设备可以记录视频和音频信息,并且可以在相应的间隔期间处理预定的静止图像(例如,当视频通信开始时的默认图像和图像输入之一)作为视频会话数据,从而可以将经处理的静止图像存储为运动图像文件。同时,还可以在视频服务运行中发生语音和视频服务的开始、转换和终止的部分上执行书签标记等。
根据各种实施例,图59示出了根据接收视频的第二电子设备中的语音通话在语音记录功能期间从第一电子设备请求视频服务时的处理的示例。如图59所示,当在语音记录期间请求视频服务时,第二电子设备可以通过弹出5950(例如,视频服务)来提供语音记录是否终止。根据一个实施例,当在语音记录期间从第一电子设备接收到对启动视频服务的请求时,第二电子设备可以显示指示已经从第一电子设备请求了视频服务、语音记录在接受视频服务时被终止以及语音记录文件被存储的弹出,并且可以向用户提供所显示的弹出。
根据一个实施例,当在弹出5950中选择接受(例如,OK)时,第二电子设备可以终止语音记录功能(操作)并且可以开始视频服务。根据各种实施例,所存储的语音记录文件可以是与视频服务的通话相关联的通话记录,因此可以被视为与相应视频服务会话的关联文件,如在与上述媒体足迹相关的描述中。
根据一个实施例,第二电子设备可以保持语音记录会话,并且可以在视频服务的开始时并行地执行语音记录。例如,第二电子设备可以记录除视频服务的视频之外的语音信息,并且可以对执行视频服务的部分执行书签标记等。
图60是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
根据各种实施例,图60示出了当数据会话在CDMA 1x情境下时的语音通话中不可用时执行的操作的示例。
根据一个实施例,如图60所示,当由服务对象检测到用于启动视频服务的用户输入时,第一电子设备可以确定相应的服务是否可用。例如,可以确定是在CDMA 1x情境下还是在语音通话期间不能使用数据。当基于确定结果确定在CDMA 1x情境下或者在语音通话期间不能使用数据时,第一电子设备可以根据相应的结果终止语音通话,并且可以显示指示视频服务开始的弹出,并且向用户提供该弹出。
根据一个实施例,当在弹出6050中选择撤销(例如,取消)时,第一电子设备可操作来保持语音通话而不开始视频服务。当在弹出6050中选择接受(例如,OK)时,第一电子设备可以终止语音通话,并且可以连接视频服务。例如,第一电子设备可以在语音通话的结束后启动视频服务的通话连接。
根据一个实施例,第二电子设备可以在与第一电子设备的语音通话的结束后通过第二电子设备的视频服务接收通话连接,并且可以显示选择是否接收通话连接的用户界面(例如,通话接受或拒接屏幕),并且可以向用户提供该用户界面。
图61是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
如图61所示,示出了在语音通话期间请求视频服务连接时确定图像质量的操作的示例。例如,图61示出了根据各种实施例的提供自适应流的操作的示例。根据各种实施例,可以执行在视频服务期间根据数据或连接特性来设置和改变图像质量的操作。
参考图61,在操作6101中,控制器580(例如,充当始发终端的电子设备的处理器)可以通过用户界面接收用于启动视频通话的用户输入。根据一个实施例,控制器580可以使用被设置为启动视频服务的服务对象或者诸如语音命令或手势的输入来检测用户输入。
在操作6103中,控制器580可以交换连接信息。根据一个实施例,控制器580可以与用于视频服务的网络、服务器和对方电子设备中的至少一个交换连接信息。在各种实施例中,连接信息可以包括介质、数据计划和剩余数据中的至少一个。
在操作6105中,控制器580可以基于交换的信息来确定视频质量。
在操作6107中,控制器580可以将视频通话设置为具有确定的视频质量。例如,控制器580可以基于所确定的视频质量来执行视频通话。
如上所述,根据各种实施例,可以考虑基于发送视频的第一电子设备(或接收视频的第二电子设备)的视频质量来提供视频服务。
根据各种实施例,为了执行视频服务,可以完成通过用户界面(例如,服务对象)确认视频服务可用性的过程,并且可以在来自第二电子设备的视频服务请求的接受过程中(或者在接受过程之前)确认用户的连接特性信息。
根据一个实施例,当第一电子设备(或第一电子设备的用户)使用LTE无限制计划时,初始的拍摄或发送视频质量可以被确定为超高清晰度(ultra-high definition,UHD)/全高清晰度(full-high definition,FHD)级别的质量。根据一个实施例,当第一电子设备使用2GB统一速率系统时,或者当在第一电子设备中使用2GB数据时设置警报时,初始的拍摄或发送视频质量可以被确定为高清晰度(high definition,HD)/标准清晰度(standarddefinition,SD)级别的质量。在各种实施例中,所确定的视频质量可以保持预定时间,并且可以根据用户的数据使用量或数据剩余量自适应地改变。根据各种实施例,视频质量可以根据用户的计划而不同地确定,如下表1所示,并且视频质量可以根据改变的信息而改变。
[表1]
根据一个实施例,当第一电子设备(或第一电子设备的用户)连接到Wi-Fi网络时,可以根据确定的标准来拍摄/发送初始的拍摄或发送视频质量。根据一个实施例,当第一电子设备通过同时使用Wi-Fi网络和蜂窝网络来执行视频服务时,可以遵循由Wi-Fi网络或蜂窝网络设置的拍摄/发送视频质量,并且通过根据两个网络的比率调整视频质量的一部分来改变该质量。例如,当考虑蜂窝网络时,与仅使用Wi-Fi网络的标准相比,可以通过将相应的视频质量降低至少预定级别(例如,视频分辨率、帧率级别、颜色转换级别等)来执行相应的处理。例如,取决于像素数量,视频分辨率的级别可以按8K UHD、4K UHD、FHD(1080p)、HD(720p)、SD(480p)、视频图形阵列(video graphic array,VGA)等的次序降低。例如,帧率的级别可以按每秒120帧、每秒60帧、每秒30帧和每秒15帧的次序降低。例如,颜色转换级别可以根据每像素的比特数按RGB 32、RGB、YUV等的次序降低。
根据一个实施例,在使用多个P2P连接的视频服务的情况下,可以根据第一电子设备的连接性来不同地设置要拍摄/发送的视频质量。此外,根据各种实施例,随着用户的数量增加以及由于用户使用的收费计划而导致的数据剩余量减少,视频质量可以改变为UHD、FHD、HD和SD。
根据各种实施例,即使在通过记录和流发送视频时,也可以以相同或相似的方式应用与上面的描述相对应的操作。
图62和图63是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
根据各种实施例,图62和图63示出了在语音通话期间基于用户手势(或电子设备的运动)确定用户的姿势改变以及根据用户姿势改变将相应通话模式切换到适当的通话模式(或通信模式)(例如,语音通话模式或视频通话模式)以执行相应的通话的操作的示例。例如,图62和图63示出了提供基于手势的视频服务的示例。根据各种实施例,在语音通话期间,可以通过任何一个用户的动作手势,直观地立即切换到视频服务,而无需单独的附加操作。
参考图62,图62的(A)示出了发起视频的第一电子设备6210和接收视频的第二电子设备6220处于通话中的情况的示例。根据一个实施例,第一电子设备6210的用户和第二电子设备6220的用户分别处于在将电子设备6210和6220放置在他们耳朵中的同时进行语音通话的过程中。
图62的(B)示出了第一电子设备6210启动视频通信连接的情况的示例。根据一个实施例,第一电子设备6210的用户可以处于从耳朵中移除或释放第一电子设备6210的状态(例如,开放位置模式),并且第二电子设备6220的用户可以处于将第二电子设备6220放置在耳朵中的状态(例如,耳边模式)。第一电子设备6210可以检测用户的手势(例如,第一电子设备6210的状态改变)以执行到视频通话模式的转换。图63的(A)中示出了其屏幕示例。
参考图63的(A),第一电子设备6210可以通过用户界面的预览区域显示关于第二电子设备6220的状态的信息,并且可以向用户提供所显示的信息。根据一个实施例,直到第一电子设备6210从第二电子设备6220接收到对视频通信连接请求的响应,第一电子设备6210才可以通过GUI(例如,图像、图标或文本)显示关于第二电子设备6220的用户将第二电子设备6220放置在他或她的耳朵中的状态的信息。在切换视频通信模式时,第一电子设备6210可以处于根据通信模式的切换从第二电子设备6210请求视频通信连接的状态。另外,可以通过GUI显示相机开启状态,使得第一电子设备6210可以通过相机执行视频接收,并且可以显示指示可以发送接收到的视频的信息。根据各种实施例,服务开/关GUI可以指示对方电子设备是否发送视频的显示,并且相机开/关GUI可以指示本地设备是否发送视频的显示。例如,通过第一电子设备5410的服务窗口5450,可以显示根据第一电子设备5410是否发送视频的相机开或相机关的GUI,并且将其提供为与根据第二电子设备5420是否发送视频的服务开或服务关的GUI相邻(例如,下端)。
图62的(C)示出了第二电子设备6220许可视频通信连接的情况的示例。根据一个实施例,第一电子设备6210的用户可以处于从耳朵移除第一电子设备6210的状态,并且第二电子设备6220的用户可以处于从耳朵移除第二电子设备6220的状态。第二电子设备6220可以检测用户的手势(例如,第二电子设备6220的状态改变)以执行到视频通信模式的转换。图63的(B)中示出了其屏幕示例。
参考图63的(B),第一电子设备6210和第二电子设备6220可以经由如上所述的用户界面的预览区域共享第一电子设备6210的相机视频,从而可以分别显示相同的视频。
在下文中,下面将参考图62和图63描述基于手势的通信模式切换操作。
根据各种实施例,当多个用户在语音通话期间或通过应用交换信息时,他们可以请求视频通信连接以将实时视频从任何一个电子设备发送到另一电子设备。或者,他们可以请求工作,诸如在视频通信期间停止、暂停或恢复视频发送。在各种实施例中,菜单、图标、按键或按钮可用于这种用户输入,或者另一方面,上述功能可使用简单手势、对象的接近和电子设备的姿势中的一个或多个来提供。
在各种实施例中,下面将描述根据通信模式切换的示例。
根据一个实施例,发送视频的第一电子设备6210需要连接视频通信,以便在语音通话期间向第二电子设备6220发送视频。第一电子设备6210可以识别手势和接近中的一个或多个,以从第二电子设备6220请求视频通信或发送视频,并且可以执行相应的功能。
根据一个实施例,当在语音通话期间从第一电子设备6210接收到视频通信连接请求时,接收视频的第二电子设备6220可以识别手势和接近中的一个或多个以许可视频通信请求或接收视频,并且可以执行相应的功能。
在各种实施例中,下面将描述确定通信模式(例如,视频通信模式和语音通信模式)的示例。在下文中,将描述发送视频的第一电子设备6210作为示例,但是即使在第二电子设备6220中,也可以同样或类似地执行将在下面描述的第一电子设备6210的操作。
根据一个实施例,第一电子设备6210可以通过第一电子设备6210的接近传感器(例如,光学传感器、超声波传感器、相机、深度传感器等)计算与对象(例如,用户的面部)的距离,并且可以在计算的距离小于第一阈值时确定相应的通信模式是语音通信模式。根据一个实施例,第一电子设备6210可以通过第一电子设备6210的接近传感器计算与对象(例如,用户的面部)的距离,并且可以在计算的距离等于大于第二阈值时确定相应的通信模式是视频通信模式。
根据一个实施例,当检测到第一电子设备6210的移动时,可以通过第一电子设备6210的接近传感器来计算与对象的距离的改变,并且当移动变得接近对象并且距离小于或等于第一阈值时,相应的模式可以被确定为语音通信模式。根据一个实施例,当检测到第一电子设备6210的移动时,可以通过第一电子设备6210的接近传感器来计算与对象的距离的改变,并且当移动变得远离对象并且距离等于或大于第二阈值时,相应的模式可以被确定为视频通信模式。例如,第一阈值可以是最大有效测量值的70%,第二阈值可以是最大有效测量值的30%。
根据一个实施例,第一电子设备6210可以检测对象与第一电子设备6210的一部分(例如,TSP、显示器或光学传感器内置显示器)的接触表面面积的改变或电容的改变,并且可以在接触表面面积小于或等于第三阈值(例如,最大接触表面面积的5%)时,或者在电容值和参考电容值之间的差小于或等于第四阈值(例如,最大距离的0.1%)时,确定相应通信模式是视频通信模式。根据一个实施例,第一电子设备6210可以检测对象与第一电子设备6210的一部分(例如,TSP或显示器)的接触表面面积的改变或者电容的改变,并且可以在接触表面面积等于或大于第五阈值(例如,最大接触表面面积的20%)时,或者在电容值和参考电容值之间的差等于或大于第六阈值(例如,电容值的30%)时,确定相应通信模式是语音通信模式。
根据一个实施例,第一电子设备6210可以检测对象与第一电子设备6210的一部分的接触表面面积的改变或者电容的改变,并且可以在接触表面的面积减少量等于或大于第七阈值时,或者在电容值的改变量等于或大于第八阈值并且电容值变得接近参考电容值时,确定相应通信模式是视频通信模式。根据一个实施例,第一电子设备6210可以检测对象与第一电子设备6210的一部分(例如,TSP或显示器)的接触表面面积的改变或者电容的改变,并且可以在接触表面的面积增加量等于或大于第九阈值时,或者在电容值的改变量等于或大于第十阈值并且电容值和参考电容值之间的距离变大时,确定相应通信模式是语音通话模式。
根据一个实施例,当由第一电子设备6210的力传感器(例如,压电传感器)检测到的力反馈小于或等于第十一阈值时,第一电子设备6210可以确定相应通信模式是视频通话模式。根据一个实施例,当由第一电子设备6210的力传感器(例如,压电传感器)检测到的力反馈等于或大于第十二阈值时,第一电子设备6210可以确定相应通信模式是语音通话模式。
根据一个实施例,当通过第一电子设备6210的皮肤电响应(galvanic skinresponse,GSR)、心电图(electrocardiogram,ECG)、光电容积描记图(photoplethysmogram,PPG)、体温传感器等检测到的生物信号的大小小于或大于第十三阈值时,第一电子设备6210可以确定相应通信模式是语音通话模式,并且当生物信号的大小小于或等于第十四阈值时,第一电子设备6210可以确定相应通信模式是视频通话模式。
根据一个实施例,第一电子设备6210可以基于上述至少一个通信模式的确定结果来确定通信模式是视频通话模式,然后,当没有通过布置在与显示信息的显示器(例如,图5的531)相同的方向上的相机(例如,前置相机)检测到用户的面部和用户的眼睛中的一个或多个时,可以不执行根据视频通信模式的功能。根据一个实施例,第一电子设备6210可以基于上述至少一个通信模式的确定结果来确定通信模式是语音通话模式,然后,当通过布置在与显示信息的显示器相同的方向上的相机(例如,前置相机)检测到用户的面部或用户的眼睛时,可以不执行根据语音通信模式的功能。
如上所述,根据各种实施例,第一电子设备6120和第二电子设备6220可以在彼此的语音通话期间执行通信模式确定。根据一个实施例,当电子设备6210和6220处于其之间的拨号状态时,它们可以不执行通信模式确定。根据一个实施例,即使当拨号状态切换到通话进度状态时(例如,在通话期间),电子设备6210和6220也可以不执行通信模式确定。例如,当在电子设备中连接语音通话时,可以保持参考模式(默认模式)(例如,语音通话模式),而不执行通信模式确定。作为另一示例,拨号状态可以切换到通话处理状态(例如,在通话期间),然后可以在预定时间(例如,5秒)之后执行通信模式确定。
根据一个实施例,电子设备6210和6220还可以向远程电子设备(例如,对方电子设备)通知模式切换。例如,第一电子设备6210可以向第二电子设备6220通知模式切换,使得第二电子设备6220可以引导要执行的模式切换或要执行的自动模式切换。
在各种实施例中,将如下描述执行从语音通话模式到视频通话模式的切换的操作的示例。
根据一个实施例,当检测到从语音通话模式切换到视频通话模式时,发起视频的第一电子设备6210可以执行关于是否建立视频通信连接的评估操作。
例如,当没有建立视频通信连接时,第一电子设备可以向远程电子设备(例如,接收视频的第二电子设备6220)发送视频通信请求,当响应于该请求检测到接受时可以建立视频通信连接,并且可以通过媒体处理器的控制、预览显示、媒体编码以及经由网络发送经编码的媒体来启动相机视频接收。
作为另一示例,当建立视频通信连接时,第一电子设备6210可以如下操作。根据一个实施例,当相机处于待机模式(例如,向相机供电但不执行视频处理(例如,相机缓冲器的存储或发送)的操作模式)或断电模式时,第一电子设备6210可以将相机电力模式切换到相机驱动模式以恢复相机视频接收和发送,并且可以启动相机视频接收和编码以及向远程设备(第二电子设备6220)的发送。根据一个实施例,当相机处于待机模式时,第一电子设备6210可以实现快速视频接收,使得可以在暂停或停止操作时应用待机模式。根据一个实施例,断电模式可以在停止操作时应用,并且待机模式可以在暂停操作时应用。
根据一个实施例,当检测到从语音通话模式切换到视频通话模式时,接收视频的第二电子设备6220可以执行关于是否建立视频通信连接的评估操作。
例如,当没有建立视频通信连接时,第二电子设备6220可以向远程电子设备(例如,发起视频的第一电子设备6210)发送视频通信请求,可以接收和解码由第一电子设备6210响应于该请求发送的经编码的媒体,并且可以通过显示器显示经解码的信息,以及通过音频输出设备输出经解码的信息。
作为另一示例,当建立视频通信连接时,第二电子设备6220可以如下操作。根据一个实施例,第二电子设备6220可以请求第一电子设备6210执行视频恢复操作,可以接收和解码由第一电子设备6210响应于该请求发送的经编码的媒体,并且可以通过显示器显示经解码的信息,以及通过音频输出设备输出经解码的信息。根据一个实施例,当从第一电子设备6210连续接收经编码的视频时,第二电子设备6220可以通过媒体处理器控制解码器和显示器,使得经编码的视频可以被解码并显示在显示器上。
根据各种实施例,将如下描述从视频通话模式切换到语音通话模式的操作的示例。
根据一个实施例,当检测到从视频通话模式到语音通话模式的转换时,发起视频的第一电子设备6210可以执行关于是暂停还是停止视频发送的评估操作。
例如,当停止视频发送时,第一电子设备可以通过媒体处理器来终止使用相机的视频接收,以及视频编码、图像处理、视频发送和视频通信连接。根据各种实施例,视频发送的终止可以根据驱动停止功能的按钮、图标、按键、语音命令或手势输入来执行。
作为另一示例,当暂停视频发送时,第一电子设备6210可以通过媒体处理器终止使用相机的视频接收,以及视频编码、图像处理、视频发送和视频通信连接,或者可以应用待机模式。例如,第一电子设备6210可以使得相机进入待机模式,并且可以停止编码、图像处理和视频发送。根据各种实施例,视频发送的暂停可以根据以下操作来执行:在视频通信期间覆盖盖子以覆盖显示器的操作(例如,由磁体(例如,霍尔传感器)或接近传感器检测),将第一电子设备6210放置在耳朵中的操作,关闭显示器的操作,将显示器向下移动到地板的操作等。
根据一个实施例,当检测到从视频通话模式到语音通话模式的转换时,接收视频的第二电子设备6220可以执行关于是暂停还是停止视频接收的评估操作。
例如,当暂停视频接收时,第二电子设备6220可以如下操作,例如,当视频通信连接在以下操作中建立时:在视频通信期间覆盖盖子以覆盖显示器的操作(例如,由磁体(例如,霍尔传感器)或接近传感器检测)、将第二电子设备6220放置在耳朵中的操作、关闭显示器的操作等。根据一个实施例,第二电子设备6220可以请求第一电子设备6210执行视频暂停操作,然后可以不执行视频接收操作。根据一个实施例,第二电子设备6220可以关闭显示器以防止显示视频,同时保持视频通信(例如,视频接收、解码、存储等),或者可以用另一预定图像替换相应的视频以显示该图像。
作为另一示例,当停止视频接收时,第二电子设备6220可以请求第一电子设备6210执行视频终止操作,或者可以通知视频接收是不可能的,然后可以不执行视频接收操作。
在各种实施例中,将如下描述当通信模式改变时显示对方电子设备的通信模式相关信息的操作的示例。
根据各种实施例,为了在用户将电子设备放入耳朵时在语音通话期间执行到视频通话模式的转换,用户可以执行从耳朵释放电子设备的操作,或者可以打开关闭的盖子。电子设备可以检测由于从耳朵释放电子设备或者打开关闭的盖子的操作而引起的接近、运动、接触面积、电容和压力中的至少一个的改变,并且可以确定检测到的改变是到视频通话模式的转换。当通过改变的传感器值检测到向视频通话模式的转换时,电子设备可以显示对方电子设备的通信状态(例如,图63的(A)状态),并且可以向用户提供显示的信息。
图64是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图。
在各种实施例中,如参考图62和图63进行的描述中,图64示出了在电子设备500的语音通话期间基于手势请求和接收视频通信的操作(例如,第一电子设备6210发起视频,且第二电子设备6220接收视频)。
参考图64,在操作6401中,第一电子设备6210可以在语音通话期间识别第一电子设备6210的模式(例如,耳边模式、开放位置模式、显示关闭模式、显示打开模式等)。
在操作6403中,第一电子设备6210可以确定模式识别的结果是处于耳边模式还是显示关闭模式。例如,第一电子设备6210可以基于各种传感器检测第一电子设备6210的状态改变,并且可以确定是否检测到的状态改变对应于耳边模式、显示关闭模式、开放位置模式还是显示开启(打开)模式。根据一个实施例,第一电子设备6210可以基于在语音通话期间通过第一电子设备6210的传感器(例如,运动传感器、接近传感器、压力传感器、相机和电容传感器中的一个或多个)测量的传感器信息来确定:用户是否将第一电子设备6210放置在耳朵中以执行语音通话,第一电子设备的盖子是否关闭,用户是否在语音通话期间执行从耳朵释放第一电子设备6210的操作以执行到视频通话模式的转换,关闭的盖子是否打开等。例如,第一电子设备6210可以检测由于从耳朵释放第一电子设备6210或打开关闭的盖子的操作而引起的接近、运动、接触面积、电容和压力中的一个或多个的改变,并且可以确定检测到的改变是到视频通话模式的转换。
当在操作6403中没有检测到第一电子设备6210的状态改变时(操作6403的“是”)(例如,当它处于耳边模式或显示关闭模式时),第一电子设备6210可以前进到操作6401以在操作6401之前执行操作。
当在操作6403中检测到第一电子设备6210的状态改变时(操作6403的“否”)(例如,当它处于开放位置模式或显示开启(打开)模式时),第一电子设备6210可以检查视频服务的可用性,并且可以在操作6405中设置功能待机模式。
在操作6407中,第一电子设备6210可以从第二电子设备6220请求视频通信请求和状态共享。
在操作6409中,第二电子设备6220可以确定第二电子设备6210的模式,并且可以显示视频接收请求(例如,视频通信连接请求)。根据各种实施例,第二电子设备6210可以确定第二电子设备6210的模式以对应于上述操作6401和6403。
在操作6411中,第二电子设备6220可以确定与视频接收请求相对应的用户响应。例如,第二电子设备6220可以确定用户对于视频接收请求的接受、拒接和状态的任何一个输入。
在操作6413中,第二电子设备6220可以向第一电子设备6210发送与用户输入相对应的响应(例如,接受、拒接或状态)。在各种实施例中,即使没有用户输入,第二电子设备6220也可以根据特定条件(例如,用户的设置和检测到经过预定响应待机时间中的一个或多个)向第一电子设备6210发送接受、拒接或状态。
在操作6415中,第一电子设备6210可以确定第二电子设备6220的转换请求状态,并且可以基于第二电子设备6220的响应显示第二电子设备6220的通信状态。
在操作6417中,第一电子设备6210可以确定第二电子设备6220的转换请求状态是否被接受。
当在操作6417中转换请求状态未被接受(操作6417的“否”)时,第一电子设备6210可以在操作6423中确定转换请求状态是否被拒接。
当在操作6423中转换请求状态被拒接(操作6423的“是”)时,第一电子设备6210可以前进到操作6401以在操作6401之前执行操作,并且可以根据第一电子设备6210的状态改变来恢复语音通话模式。
当在操作6423中转换请求状态未被拒接(操作6423的“否”)时,第一电子设备6210可以前进到操作6415以在6415之前执行操作。例如,第一电子设备6210可以等待第二电子设备6220的视频通信连接请求的接受,同时显示第二电子设备6220的通信状态。
当在操作6417中接受转换请求状态(操作6417的“是”)时,第一电子设备可以执行与第二电子设备6220的视频通信连接,并且可以在操作6419中编码和显示相机视频。
在操作6421中,第一电子设备6210可以向第二电子设备6220发送经编码的视频。此外,当发送视频时,第一电子设备6210可以向第二电子设备6220提供关于当前在第一电子设备6210中驱动的相机的类型的信息。
如上所述,根据各种实施例,在通过语音通信模式在第一电子设备6210和第二电子设备6220之间保持语音通话的状态下,当检测到通话模式改变时,可以将语音通信模式切换到视频通信模式。根据各种实施例,在通过视频通信模式在第一电子设备6210和第二电子设备6220之间保持视频通话的状态下,当检测到通话模式改变时,视频通信模式可以切换到语音通信模式。
根据各种实施例,当在通过语音通话模式在第一电子设备6210和第二电子设备6220之间保持语音通话的状态下,第一电子设备检测到转换到视频通话模式时,第一电子设备6210可以显示第二电子设备6220的通话模式(例如,语音通话模式或视频通话模式)。
根据各种实施例,第二电子设备6220的通话模式可以包括语音通话模式和视频通话模式之一。
根据各种实施例,其中第一电子设备6210检测到转换到视频通话模式的事件的类型可以包括用于语音识别或情境识别的菜单、按键、按钮和手势输入,运动或接近改变,或者视频发送或接收中的至少一个。语音识别可以包括识别语音命令,例如,“相机驱动”。情境识别可以包括根据语音输入识别情境,例如“我用相机给你展示”或“我给你展示我看到的”。运动或接近改变可以包括例如从耳边位置到开放位置的运动和接近改变,或者通过光学传感器根据盖子打开的接近改变的检测。
根据各种实施例,第一电子设备6210的显示方法可以使用文本或图像显示、音频显示和振动显示中的一个或多个。
根据一个实施例,当第一电子设备6210切换到视频通话模式时,第一电子设备6210可以使用第一电子设备6210的相机来接收视频(图像),并且可以合成接收到的视频和第二电子设备6220的通话模式相关显示,以在显示器上显示合成的信息。例如,第一电子设备6210可以使用媒体处理器显示第二电子设备6220的通话模式,诸如叠加、PIP或PBP。
根据一个实施例,当第一电子设备6210发送视频通信请求时,第一电子设备6210可以包括相应的操作情境以及另一方是否回答并且可以以图像或文本顺序地显示相应的信息。
根据一个实施例,第一电子设备6210可以确认视频通信功能是激活还是停用。例如,当第一电子设备6210切换到视频通话模式时,第一电子设备6210可以根据第一电子设备6210或第二电子设备6220的状态信息显示视频通信的可用性。在一个示例中,当第一电子设备6210被确定为切换到视频通话模式时,可以由两个电子设备6210和6220在向第二电子设备6220发送视频通信请求之前的能力或者两个电子设备6210和6220的状态信息来确定视频通信的可用性,并且确定结果可以通过GUI的激活/停用来显示。在第一电子设备6210能够执行视频通信的情况下,当通过用户输入选择激活的GUI时,第一电子设备6210可以向第二电子设备6220发送视频通信请求。根据一个实施例,当确定视频通信为可用时,相机的电力模式可以切换到相机驱动模式或相机待机模式。
根据一个实施例,当第一电子设备6210切换到视频通话模式时,语音输出可以从接收器切换到扬声器,或者音频输出音量可以增加到预定参考值以上。例如,在视频通话模式的情况下,用户可以通过显示器查找预览,使得第一电子设备6210和用户之间的距离可以增加,并因此需要改变语音输出(例如,声压增加或扬声器改变)。
根据各种实施例,在第一电子设备6210处于视频通话模式的情况下,当第二电子设备6220从语音通话模式切换到视频通话模式时,相应的状态可以显示在第一电子设备6220上。
根据一个实施例,第二电子设备6220可以在转换到视频通话模式时自动许可视频接收,并且响应于该许可可以从第一电子设备6210自动接收视频。
根据一个实施例,当检测到向视频通话模式的转换时,第二电子设备6220可以在第二电子设备6220的显示器上显示从第一电子设备6210发送的视频通信请求消息,可以选择是否许可视频接收,并且可以在许可之后经由网络接收视频。
图65是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图65示出了根据用户在语音通话期间的通信模式改变来处理视频通信的操作,电子设备500(例如,第一电子设备6210)的处理操作的示例。
参考图65,在操作6501中,电子设备500的控制器580(例如,充当始发终端的电子设备的处理器)可以通过与远程设备(例如,接收视频的第二电子设备6220)的语音通话连接而处于语音通信状态。
在操作6503中,控制器580可以在语音通话期间感测电子设备500的运动或接近。
在操作6505中,控制器580可以基于感测的结果检测电子设备500的模式改变。
在操作6507中,控制器580可以确定检测到的模式是否是从视频通信禁用模式到视频通话模式的转换。例如,控制器580可以确定电子设备500是否从语音通话模式切换到视频通话模式。
当在操作6507中确定检测到的模式是到视频通话模式(例如,视频通信禁用模式->视频通话模式)的转换时,控制器580可以在操作6509中确定视频通信连接是否已经建立。
当在操作6509中已经建立了视频通信连接时(操作6509的“是”),控制器580可以前进到操作6525以执行视频通信开始或视频通信恢复以及相关状态显示。例如,控制器580可以对视频编码,可以显示经编码的视频,并且发送显示的视频。
当在操作6509中没有建立视频通信连接时(操作6509的“否”),控制器580可以选择性地执行操作6511、操作6513和操作6515。例如,当视频通信连接是初始视频通信连接时,控制器580可以在操作6511中检查视频通信的可用性,可以显示要激活的视频通信图标(例如,服务对象),并且可以在操作6515中控制相机驱动。根据各种实施例,当根据模式改变恢复先前连接(或暂停)的视频通信时,控制器580可以不选择性地执行操作6511、操作6513和操作6515。
在操作6517中,控制器580可以向远程设备(例如,第二电子设备6220)发送视频通信请求(或邀请)。
在操作6519中,控制器580可以从远程设备(例如,第二电子设备6220)接收远程设备的状态,并且可以显示远程设备的状态。
在操作6521中,控制器580可以确定远程设备是否接受视频通信请求(或邀请)。
当在操作6521中远程设备没有接受视频通信请求(或邀请)时(操作6521的“否”),控制器580可以前进到操作6519以在操作6519之前执行操作。
当在操作6521中远程设备接受视频通信请求(或邀请)时(操作6521的“是”),控制器580可以在操作6523中建立与远程设备的视频通信连接。
在操作6525中,控制器580可以执行视频通信开始或视频通信恢复,并且可以执行相关信息(例如,连接状态)显示。例如,控制器580可以对视频编码,可以显示经编码的视频,并且可以发送显示的视频。
当在操作6507中检测到的模式不是到视频通话模式(例如,视频通信禁用模式->视频通话模式)的转换时(操作6507的“否”),控制器580可以在操作6531中确定检测到的模式是否是从视频通话模式到视频通信禁用模式的转换。例如,控制器580可以确定电子设备500是否从视频通话模式切换到语音通话模式。
当在操作6531中电子设备500的状态改变不对应于向语音通话模式(例如,视频通话模式->视频通信禁用模式)的转换(操作6531的“否”)时,控制器580可以前进到操作6503以在操作6503之前执行操作。
当在操作6531中电子设备500的状态改变对应于向语音通话模式(例如,视频通话模式->视频通信禁用模式)的转换时(操作6531的“是”),控制器580可以在操作6533中确定电子设备500是否处于视频发送保持状态。
当在操作6533中确定电子设备500不处于视频发送保持状态时(操作6533的“否”),控制器580可以前进到操作6503以在操作6503之前执行操作。
当在操作6533中确定电子设备500处于视频发送保持状态时(操作6533的“是”),控制器580可以在操作6535中响应于视频发送保持状态来控制视频暂停。例如,控制器580可以通过对相机视频的停止、发送停止或相机模式改变进行编码来控制暂停功能。在各种实施例中,在暂停时,即使不发送实时视频,也可以保持视频连接。
在操作6537中,控制器580可以确定是否存在视频通信连接结束请求。
当在操作6537中不存在视频通信连接结束请求时(操作6537的“否”),控制器580可以前进到操作6503以在操作6503之前执行操作。
当在操作6537中存在视频通信连接结束请求时(操作6537的“是”),控制器580可以响应于视频通信连接结束请求终止视频通信连接。
在下文中,如参考图65所描述的,将描述响应于用户在语音通话期间的通信模式改变来处理视频服务的特定示例。
根据各种实施例,第一电子设备6210和第二电子设备6220可以使用有线和无线通信中的一个或多个来执行语音通信。根据各种实施例,在语音通信期间,第一电子设备6210可以通过使用传感器(例如,运动传感器、接近传感器、压力传感器、相机和电容传感器中的一个或多个)测量的传感器信息和经由网络接收的通信模式改变请求信号来检测通信模式的改变。
根据各种实施例,当在第一电子设备6210中检测到从另一模式(例如,语音通话模式)到视频通话模式的转换时,第一电子设备6210可以确定视频通信是经由网络处理模块还是网络而连接的。
根据各种实施例,当视频通信未连接时,第一电子设备6210可以通过消息服务器向第二电子设备6220发送对视频通信的请求,例如,邀请消息。根据一个实施例,第一电子设备6210可以向视频通信管理服务器发送视频通信请求,并且可以向第二电子设备6220发送视频通信请求消息。根据另一实施例,第一电子设备6210可以直接向第二电子设备6220发送视频通信请求,而无需通过服务器。
根据各种实施例,第一电子设备6210可以通过第一电子设备6210的显示器来显示与第二电子设备6220相关联的状态,或者可以通过音频来输出该状态。
根据一个实施例,第一电子设备6210可以显示由第一电子设备6210发送到第二电子设备6220的信息(例如,“在请求视频通信期间”的消息)或者存储在第一电子设备6210中的第二电子设备6220的视频编解码器相关信息(例如,视频分辨率、通信速度、帧率、编解码器类型等)。
根据一个实施例,第一电子设备6210可以显示从第二电子设备6220接收的信息(例如,通信模式类型、视频通信相关信息等)或经由网络接收的网络监控结果。
根据各种实施例,当第二电子设备6220响应于第一电子设备6210的视频通信连接请求而许可视频通信时,第一电子设备6210和第二电子设备6220可以建立视频通信。
根据一个实施例,当第二电子设备6220许可视频通信时,第二电子设备6220可以经由视频通信管理服务器与第一电子设备6210建立用于视频通信的通信连接。例如,针对第一电子设备6210和第二电子设备6220之间的视频通信连接的信息(例如,带宽、编解码器类型、每个电子设备6210或6220的地址信息、端口信息、网络请求信息、服务注册信息等),可以通过视频通信管理服务器被共享或通知,使得可以在两个电子设备6210和6220之间建立P2P通信连接。
根据一个实施例,可以通过第一电子设备6210和第二电子设备6220之间的直接通信来建立视频通信连接。例如,当第二电子设备6220许可视频通信时,可以利用相互的信息(例如,在安装应用之后的信息注册时,通过联系人同步代理存储在地址簿中的远程设备的信息)。为此,第二电子设备6220可以向第一电子设备6220通知视频通信许可消息或用于视频通信连接的信息。
根据各种实施例,第一电子设备6210可以在从第二电子设备6220请求视频通信之前或之后执行确定视频通信的可用性的操作。例如,为了确定视频通信的可用性,可以根据应用或模块的安装状态、能力和服务状态中的一个或多个来确定视频通信的可用性,并且GUI(例如,服务图标、文本、图像等)可以根据确定结果来显示,或者可以确定相应的服务是否可用。根据一个实施例,当基于视频通信可用性的确定结果确定视频通信为可用时,第一电子设备6210可以将相机切换到驱动模式,可以通过相机接收视频,并且可以激活相关联的GUI。根据另一实施例,当基于视频通信可用性的确定结果确定视频通信为不可用时,可以输出相关联的GUI可以被停用或者错误消息,或者可以将当前状态保持原样。
根据各种实施例,当视频通信已经被连接时,第一电子设备6210和第二电子设备6220可以恢复或重启实时视频处理以及视频发送和接收中的一个或多个。根据一个实施例,当相机不处于相机驱动模式时,第一电子设备6210可以切换到相机驱动模式以恢复视频通信。根据一个实施例,当相机处于驱动模式时,第一电子设备6210可以执行以下操作中的一个或多个:执行显示输入视频的操作(例如,在显示关闭、暂停、图像显示等中显示实时相机预览视频的操作),恢复实时视频发送的操作,以及执行视频编码的操作。根据一个实施例,当视频通信被暂停的同时视频通信被连接时,第一电子设备6210可以控制第一电子设备6210的状态被确认,并且禁用模块被驱动,以便通过媒体处理器接收、处理和发送实时视频。
根据各种实施例,当在第一电子设备6210中检测到从视频通话模式到另一模式(例如,语音通话模式)的转换时,第一电子设备6210可以确定其是否处于通过网络或处理模块的视频发送保持状态,并且可以根据用户输入来确定视频通信是否终止。
根据一个实施例,当请求视频通信终止时,第一电子设备6210可以将相机驱动模式切换到相机关闭模式,可以根据切换的信息执行媒体处理器的处理(例如,仅保持语音通信连接、视频编码停止、视频处理停止等),并且可以终止用于视频通信的连接。
根据一个实施例,当经由第一网络在第一电子设备6210和第二电子设备6220之间的语音通话模式下进行语音通信时,可以经由第一网络发送和接收语音通信,并且可以在转换到视频通话模式时经由第二网络发送和接收视频通信。根据另一实施例,当经由第一网络在第一电子设备6210和第二电子设备6220之间的语音通话模式下进行语音通信时,可以在转换到视频通话模式时经由第二网络发送和接收语音通信和视频通信两者。此时,第一网络可以仅保持连接状态而不交换语音数据,并且当视频通信模式终止或暂停时,可以通过第一网络再次执行语音通信。根据各种实施例,在转换到视频通话模式时,第一网络可以仅保持连接状态而不交换语音数据,并且当视频通话模式暂停时,可以通过第二网络执行语音通信。根据另一实施例,当请求视频通信的暂停时,第二网络可以仅保持连接状态而不交换实时视频数据,并且可以通过第一网络执行语音通信。这是为了在恢复视频通信时最小化用于重新运行P2P连接等的延迟时间。根据一个实施例,当请求视频通信暂停时,第一电子设备6210可以执行以下各项中的一个或多个:将相机驱动模式切换到待机模式(例如,即使向相机供电也不执行视频处理{例如,相机缓冲器存储或发送}的操作模式),停止视频编码或停止网络发送,防止视频显示在显示器上,以及将静止图像发送到第二电子设备6220。
根据一个实施例,第一电子设备6210可以关闭显示器,并且可以在不显示预览的同时保持相机驱动和经编码的图像的发送。
根据一个实施例,第一电子设备6210可以将静止图像输出到显示器,并且可以保持相机驱动和经编码的视频的发送。
根据一个实施例,第一电子设备6210可以发送另一数据(例如,视频的最小连接保持信号、静止图像、预览图像和I帧图像中的一个或多个)来代替实时视频数据。
图66是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图66示出了发起视频的电子设备500(例如,第一电子设备6210)的处理操作的示例,例如,在第一电子设备6210中基于接近和运动来处理视频通信的开始和恢复的操作。
参考图66,在操作6601中,电子设备500的控制器580(例如,充当发起终端的电子设备的处理器)可以通过与远程设备(例如,接收视频的第二电子设备6220)的语音通话连接而处于语音通信状态。
在操作6603中,控制器580可以基于语音识别来确定视频通信连接意图。例如,控制器580可以通过针对会话内容的语音识别技术来确定在语音通话期间执行视频通信的意图,从而可以执行开始或恢复视频通信的操作。在操作6605中,控制器580可以在语音通话期间检测电子设备500的接近或加速度。根据各种实施例,控制器580可以基于接近或加速度来确定与对象(例如,用户的面部或用户的耳朵)的距离或距离的改变。
在操作6607中,控制器580可以确定距离是否大于第一阈值或者电子设备500是否对应于开放位置运动。例如,控制器580可以检测电子设备500的状态改变,并且可以确定该状态改变是否对应于用于开始或恢复视频通话的状态改变。根据一个实施例,控制器580可以基于检测到的改变或距离的改变来检测通话模式改变(例如,从语音通话模式切换到视频通话模式)。
作为另一示例,当基于语音识别确定存在视频通信连接意图时,可以在操作6607和6631中确定是否实际执行了用于视频通信的手势,从而可以确定是否执行了到视频通话模式的转换。
当在操作6607中状态改变对应于视频通话的电子设备500的状态改变(例如,距离>阈值1或开放位置运动)时(操作6607的“是”),控制器580可以选择性地执行操作6609、6611和6613。例如,当电子设备500的状态改变是通话模式改变(例如,从语音通话模式到视频通话模式的转换)时,控制器580可以在操作6609中检查视频通信的可用性,并且可以在操作6611中显示要激活的视频通信图标(例如,服务对象),并且可以在操作6613中控制相机驱动。根据各种实施例,当根据通信模式改变恢复先前连接(或暂停)的视频通信时,控制器580可以不选择性地执行操作6611、操作6613和操作6615。
在操作6615中,控制器580可以向远程设备(例如,处于通信的第二电子设备6220)发送视频通信请求。
在操作6617中,控制器580可以从远程设备(例如,第二电子设备6220)接收远程设备的状态,并且可以显示远程设备的状态。
在操作6619中,控制器580可以确定远程设备是否接受视频通信请求(或邀请)。
当在操作6619中视频通信请求(或邀请)未被远程设备接受时(操作6619的“否”),控制器580可前进到操作6617以在操作6617之前执行操作。
当在操作6619中视频通信请求(或邀请)被远程设备接受时(操作6521的“是”),控制器580可以在操作6521中建立与远程设备的视频通信连接。
在操作6523中,控制器580可以执行视频通信开始或视频通信恢复,并且可以执行相关信息(例如,连接状态)显示。例如,控制器580可以对视频编码,可以显示经编码的视频,并且可以发送显示的视频。
当在操作6607中状态改变不对应于视频通话的电子设备500的状态改变(例如,距离>阈值1或开放位置运动)时(操作6607的“否”),控制器580可以在操作6731中确定距离是否大于第二阈值,或者电子设备500是否对应于耳边位置运动。例如,控制器580可以检测电子设备500的状态改变,并且可以确定状态改变是否对应于用于开始或恢复语音通话的状态改变。根据一个实施例,控制器580可以在操作6631中基于检测结果来检测通话模式改变(例如,从视频通话模式到语音通话模式的转换)。
当在操作6631中电子设备500的状态改变不对应于语音通话的状态改变(例如,距离<阈值2或耳边位置运动)时(操作6631的“否”),控制器580可以前进到操作6603,从而在操作6603之前执行操作。
作为另一示例,当基于语音识别确定存在视频通信连接意图时,可以在操作6609和6731中确定是否实际执行了用于视频通信的手势,从而可以确定是否执行了到视频通话模式的转换。
当在操作6631中电子设备500的状态改变对应于语音通话的状态改变(例如,距离<阈值2或耳边位置运动)时(操作6631的“是”),控制器580可以在操作6633中确定电子设备500是否处于视频发送保持状态。
当在操作6633中确定电子设备500不处于视频发送保持状态时(操作6633的“否”),控制器580可以前进到操作6603以在操作6603之前执行操作。
当在操作6633中确定电子设备500处于视频发送保持状态时(操作6633的“是”),控制器580可以响应于视频发送保持状态来控制暂停。例如,控制器580可以通过对相机视频的停止、其发送停止或相机模式改变进行编码来控制暂停功能。根据各种实施例,视频通信连接可以在暂停时保持。
在操作6637中,控制器580可以确定是否存在视频通信连接结束请求。
当在操作6637中不存在视频通信连接结束请求时(操作6637的“否”),控制器580可以前进到操作6603以在操作6603之前执行操作。
当在操作6637中存在视频通信连接结束请求时(操作6637的“是”),控制器580可以响应于视频通信连接结束请求终止视频通信连接。
图67是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的流程图。
在各种实施例中,图67示出了接收视频的电子设备500(例如,第二电子设备6220)的处理操作的示例,例如,在第二电子设备6220中基于接近和运动来开始和恢复视频通信的操作。
参考图67,在操作6701中,电子设备500的控制器580(例如,充当接收终端的电子设备的处理器)可以通过与远程设备(例如,发送视频的第一电子设备6210)的语音通话连接而处于语音通信状态。
在操作6703中,控制器580可以基于语音识别来确定视频通信连接意图。例如,控制器580可以通过语音识别来确定在语音通话期间执行视频通信的意图,从而可以执行开始或恢复视频通信的操作。
在操作6705中,控制器580可以在语音通话期间检测电子设备500的接近或加速度。根据各种实施例,控制器580可以基于接近或加速度来确定与对象(例如,用户的面部或用户的耳朵)的距离。
在操作6707中,控制器580可以将电子设备500的状态发送到远程设备(例如,第一电子设备6210)。
在操作6709中,控制器580可以确定距离是否大于第一阈值或者电子设备500是否对应于开放位置运动。例如,控制器580可以检测电子设备500的状态改变,并且可以确定该状态改变是否对应于用于开始或恢复视频通话的状态改变。根据一个实施例,控制器580可以基于检测结果来检测通话模式改变(例如,从语音通话模式切换到视频通话模式)。
当在操作6709中状态改变对应于视频通话的电子设备500的状态改变(例如,距离>阈值1或开放位置运动)时(操作6709的“是”),控制器580可以选择性地执行操作6711。例如,当电子设备500的状态改变是通话模式改变(例如,从语音通话模式到视频通话模式的转换)时,控制器580可以在操作中检查视频通信的可用性,并且可以显示响应于视频通信可用的事实而被激活的视频通信图标(例如,服务对象)。根据各种实施例,当根据通信模式改变来恢复先前连接(或暂停)的视频通信时,控制器580可以不选择性地执行操作6711。
在操作6713中,控制器580可以确定视频通信请求接收的设置。根据一个实施例,控制器580可以确定是根据视频通信模式转换自动接受视频通信接收还是通过用户输入手动接受视频通信接收。
当在操作6713中自动接收到视频通信请求时(操作6713的“是”),控制器580可以前进到操作6719以在操作6719之前执行操作。
当在操作6713中手动接收到视频通信请求时(操作6713的“否”),控制器580可以在操作6715中根据用户输入来接收视频通信请求。例如,控制器580可以显示远程设备(例如,第一电子设备6210)的视频通信连接请求(或邀请),并且可以接收用于视频通信连接请求的用户输入(例如,用于视频接收的接受、拒接和状态中的任何一个的输入)。根据一个实施例,在操作6715中,可以接受远程设备(例如,第一电子设备6210)的视频的接收,即,可以从用户接收视频通信请求。在各种实施例中,即使没有用户输入,第二电子设备6220也可以根据特定条件(例如,用户的设置和检测到经过预定响应待机时间中的一个或多个)向第一电子设备6210发送接受、拒接或状态。
在操作6717中,控制器580可以选择性地将电子设备500的状态发送到远程设备(例如,第一电子设备6210)。根据各种实施例,可以不执行操作6717。根据一个实施例,当电子设备500的状态与操作6707的状态相同时,可以不执行操作6717。根据一个实施例,当电子设备500的状态不同于操作6707的状态时,可以不执行操作6717。
在操作6719中,控制器580可以响应于视频通信请求接收的接受,向远程设备(例如,第一电子设备6210)发送对视频通信请求的接受响应。
在操作6721中,控制器580可以与远程设备(例如,第一电子设备6210)建立视频通信连接。
在操作6723中,控制器580可以执行视频通信开始或视频通信恢复,并且可以显示关联状态(例如,连接状态)。例如,控制器580可以对视频编码,可以显示经编码的视频,并且可以发送显示的视频。
当在操作6709中状态改变不对应于视频通话的电子设备500的状态改变(例如,距离>阈值1或开放位置运动)时(操作6709的“否”),控制器580可以确定距离是否小于第二阈值或者电子设备500是否对应于耳边位置运动。例如,控制器580可以检测电子设备500的状态改变,并且可以确定状态改变是否对应于用于开始或恢复语音通话的状态改变。根据一个实施例,控制器580可以基于检测的结果来检测通话模式改变(例如,从视频通话模式到语音通话模式的转换)。
当在操作6731中电子设备500的状态改变不对应于语音通话的状态改变(例如,距离<阈值2或耳边位置运动)时(操作6731的“否”),控制器580可以前进到操作6703,从而在操作6703之前执行操作。
当在操作6731中电子设备500的状态改变对应于语音通话的状态改变(例如,距离<阈值2或耳边位置运动)时(操作6731的“是”),控制器580可以在操作6733中确定电子设备500是否处于视频接收保持状态。
当在操作6733中确定电子设备500不处于视频接收保持状态时(操作6733的“否”),控制器580可以前进到操作6703以在操作6703之前执行操作。
当在操作6733中确定电子设备500处于视频接收保持状态时(操作6733的“是”),控制器580可以在操作6735中响应于视频接收保持状态来控制(请求)暂停。例如,控制器580可以通过对接收视频的停止编码、对接收视频的停止接收或关闭显示来控制暂停功能。根据各种实施例,视频通信连接可以在暂停时保持。
在操作6737中,控制器580可以确定是否存在视频通信连接结束请求。
当在操作6737中不存在视频通信连接结束请求时(操作6737的“否”),控制器580可以前进到操作6703以在操作6703之前执行操作。
当在操作6737中存在视频通信连接结束请求时(操作6737的“是”),控制器580可以在操作6739中响应于视频通信连接结束请求来终止视频通信连接。
在下文中,如参考图66和图67所描述的,将描述在电子设备500中响应于用户在语音通话期间的通信模式的改变来处理视频服务的特定示例。
根据各种实施例,发送视频的第一电子设备6210和接收视频的第二电子设备6220可以基于手势和姿势来处理视频发送和接收。例如,如参考图66和图67进行的描述中所描述的,第一电子设备6210和第二电子设备6220可以确定在语音通话期间执行视频通信的意图,并且根据确定的结果执行开始或恢复视频通信的操作。
根据各种实施例,第一电子设备6210可以通过接近传感器来确定第一电子设备6210和对象(例如,用户的面部)之间的距离,并且可以基于通过运动传感器(例如,加速度传感器或地磁传感器)的运动或者电子设备的姿势(例如,三维俯仰、偏航或基于滚动的信息)来确定电子设备处于耳边模式和开放位置模式的状态。在各种实施例中,耳边模式可以指示电子设备位于用户的耳朵附近的模式,并且开放位置模式可以指示除耳边模式之外的其他模式(例如,用户观看电子设备的显示器或将其放置在地板上的情况)。
根据各种实施例,当通过第一电子设备6210的接近传感器确定离对象(例如,用户的面部)的距离大于第一阈值并且随着运动传感器检测到运动该距离变大时,相应的通信模式可以被确定为视频通信模式。
根据各种实施例,当通过第一电子设备6210的接近传感器确定离对象(例如,用户的面部)的距离小于第二阈值并且随着运动传感器检测到运动离对象的距离变小时,相应的通信模式可以被确定为视频通信禁用模式。
根据各种实施例,当不满足耳边模式或开放位置模式的条件时,可以在第一电子设备6210上显示或者可以向第二电子设备6220发送指示当前状态模式被保持或者模式状态被切换的消息。
根据各种实施例,当检测到向视频通话模式的转换时,电子设备500还可以包括确定第一电子设备6210和第二电子设备6220是否都是相同的视频通信应用或者使用相同的模块(例如,封装)的过程。
根据各种实施例,电子设备500可以相互交换远程设备的控制信号。
根据各种实施例,可以使用应用ID和控制信号来控制特定应用。
在各种实施例中,识别用户的手势或姿势的方法可以包括以下步骤。
根据一个实施例,可以通过反转电子设备的操作来识别要操作的相机。例如,当通过接近传感器识别出电子设备被放置在地板上时,可以通过相机或运动传感器识别出反转具有多个相机的电子设备的操作,并且可以检测到定向在与底部相反的方向上的相机,并且可以在视频通话模式下操作检测到的相机。
根据一个实施例,可以使用电子设备的接近传感器和光学传感器中的一个或多个来识别面部、耳朵、手和对象位置,并且可以确定紧邻的对象是耳朵还是正面,以确定是否驱动视频通话模式。
根据一个实施例,当检测到运动并且对象在预定距离区域中接近电子设备的后方时,可以驱动朝向后方的相机。另外,根据各种实施例,可以根据后方接近来执行放大和缩小功能。
根据一个实施例,使用电子设备的气体传感器进行姿势识别或面部位置识别,并且可以执行接近检查操作。例如,当电子设备靠近用户的嘴时,通过用气体传感器测量口臭,可以确定电子设备靠近面部。
根据各种实施例,可以提供通过基于距离的模式识别的功能。
根据一个实施例,可以区分根据第一电子设备6210的用户的正面接近的功能。根据一个实施例,在最接近的情况下,相应的模式可以被确定为语音模式、相机待机模式、暂停模式、秘密通信模式或接收端模式。根据一个实施例,在中等接近的情况下,可以确定是否操作了根据移动的视频模式切换、相机操作模式切换、预览模式、秘密故事模式释放或扬声器模式。根据一个实施例,在长距离接近的情况下,可以确定是操作视频模式、秘密故事模式释放还是扬声器模式。
根据一个实施例,可以区分根据第二电子设备6220的用户的正面接近的功能。根据一个实施例,在最接近的情况下,相应的模式可以被确定为语音模式、相机待机模式、暂停模式、秘密通信模式或接收端模式。根据一个实施例,在中等接近的情况下,可以确定是否操作了根据移动的视频模式切换、相机操作模式、预览模式、秘密故事模式释放或扬声器模式。根据一个实施例,在长距离接近的情况下,相应的模式可以被确定为视频模式。
根据一个实施例,对于相同的运动,可以取决于发送视频的电子设备和接收视频的电子设备而提供不同的功能。
根据各种实施例,可以在各种控制模式下根据用户手势或点识别来提供各种功能。
根据一个实施例,基于距离的模式识别的功能可以用在视频发送/接收模式中。例如,当第一电子设备远离对象并且位于离对象预定距离处时,可以激活视频通信相关的用户界面。在另一示例中,取决于视频发送和接收期间的正面接近,当相应距离小于预定距离时,可以单独提供语音通信模式、待机模式、暂停模式、秘密通信模式或接收端模式。在另一示例中,当在非视频通信期间正面接近小于预定距离时,可以在视频请求时通过声音、振动、光信号等生成通知,并且也可以通过可穿戴设备生成通知。
根据一个实施例,基于距离的模式识别的功能可以用在缩放模式中。例如,可以根据第一电子设备的动作来控制第一电子设备的相机。作为示例,可以根据向后方向上的接近和手势来提供缩放功能。作为另一示例,可以根据第二电子设备的动作来控制第一电子设备的相机。在一个示例中,可以向第一电子设备发送根据向前方向上的接近或手势或者手势的缩放控制命令。
根据一个实施例,基于距离的模式识别的功能可以用于指定感兴趣区域(ROI)。例如,当相机在电子设备的移动停止的状态下聚焦于预定方向或预定区域时,或者当通过用户界面检测到指定时,使用相机输入的预定区域可以被设置为ROI。例如,基于相应的ROI区域,可以通过自动聚焦、自动曝光、透视校正、相应区域的比特率增加等来改善图像质量。作为另一示例,可以提供增强现实(AR)信息提供功能,例如,图像识别和相关信息。对于另一示例,可以提供自动捕获。例如,在经过预定时间之后,可以生成自动捕获(高分辨率)或静态相片/视频记录用户界面。
图68A和图68B是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
根据各种实施例,当执行视频服务时,可以暂停流视频以共享静止屏幕,并且可以基于静止屏幕提供附加的交互。在各种实施例中,可以在静止屏幕上执行的交互可以包括例如插入各种注释的交互,诸如高亮场景的特定部分的定点。图68A、图68B、图69A和图69B中示出了该操作的示例。
如图68A和图68B所示,当发送视频的第一电子设备发送相应的视频时,接收视频的第一电子设备或第二电子设备可以提供指针按钮6810。在各种实施例中,可以在第一电子设备和第二电子设备两者中运行指针按钮6810和根据指针按钮6810的指针模式(或定点功能)。
第一电子设备或第二电子设备可以暂停流视频,并且可以响应于指针按钮6810的用户输入(例如,触摸或敲击)来显示静止图像。根据各种实施例,当显示静止屏幕时,可以在预览区域的一个区域中自动提供单独的图像(例如,指针6850)。根据各种实施例,当在显示静止屏幕之后在预览区域上检测到用户输入(例如,触摸)时,可以将指针6850提供给相应的部分。
根据各种实施例,当指针6850被显示(或指针模式被激活)时,除了指针按钮6810之外的其他按钮(例如,记录按钮6830)可以经受暗淡处理并显示在功能区域中,或者可以被防止显示在屏幕上。
参考图68A和图68B,第一电子设备的用户可以选择指针按钮6810来暂停预览区域上显示的运动图像(或者通过相机获取的实时显示的预览图像或流图像)。当通过第一电子设备中的指针按钮6810暂停运动图像时,预览区域中的运动图像也可以停止并显示在第二电子设备中。根据一个实施例,在视频暂停的状态下,用户可以再次选择指针按钮6810来显示运动图像(例如,流图像)而不是暂停的视频。当再次选择指针按钮6810时,第一电子设备可以恢复视频通信,并且可以将停止的图像作为运动图像再次发送回第二电子设备。这里,即使在第二电子设备中,自动停止的视频也可以改变为要显示的运动图像。
根据一个实施例,用户可以通过指针按钮6810暂停运动图像,并且可以触摸预览区域的一部分以在相应的位置显示特定类型的图标(以下称为指针)6850。根据另一实施例,当根据指针按钮6810的用户输入暂停运动图像时,电子设备可以自动显示和提供指针6850。
根据各种实施例,附加地或替代地,在通过指针按钮6810运行的指针模式中,可以在视频被显示为预览区域中的运动图像的状态下根据特定用户输入(例如,长按输入)自动暂停视频,并且自动进入指针模式以在与用户输入相对应的位置(例如,长按位置)显示指针6850。
根据各种实施例,当在第一电子设备中显示指针6850时,指针6850也可以显示在第二电子设备中。根据一个实施例,当在任一电子设备中执行指针模式激活(例如,功能开启)或指针6850的显示时,指针模式激活或指针6850的显示可以在另一电子设备上自动执行。根据一个实施例,当在任一电子设备上执行指针模式停用(例如,功能关闭)或指针6850的移除时,指针模式停用或指针6850的移除可以在另一电子设备上自动执行。
根据各种实施例,当指针6850被显示并且另一区域被触摸时,视频可以被恢复,并且显示的指针6850可以在屏幕上消失。根据各种实施例,只有处于视频的暂停状态的指针6850的显示位置可以被改变到另一区域(例如,与用户输入相对应的区域),并且直接显示在相应的位置。根据各种实施例,当屏幕被连续触摸(或拖动)时,指针6850的移动轨迹可以显示在屏幕上。即使在这种情况下,当视频恢复时,所有显示的指针6850和轨迹可以在视频恢复的同时消失。
根据各种实施例,指针6850的位置可以移动。根据一个实施例,在显示指针6850的状态下,用户可以通过选择(例如,触摸)指针6850然后将所选择的指针6850移动(例如,拖动)到另一位置的输入来执行指针6850的位置移动。根据另一实施例,在显示指针6850的状态下,用户可以通过触摸与指针6850相邻的区域(例如,在预览区域中没有显示指针6850的另一区域)然后移动到另一位置的输入来执行指针6850的位置移动。根据另一实施例,在显示指针6850的状态下,用户可以通过要在预览区域中移动的指针6850的位置处设置的输入来执行指针6850的位置移动。
图69A和图69B是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
如图69A和图69B所示,图69A和图69B可以包括与参考上述图68A和图68B的描述中所描述的操作相对应的操作。例如,与图69A和图69B中所示的指针按钮6910以及指针6930和6950相关的操作(例如,诸如进入指针模式、显示/隐藏指针、移动、视频暂停、根据用户输入的指针模式自动输入等的操作)可以对应于参考图68A和图68B中所示的指针按钮6810和指针6850所描述的那些操作。
参考图69A和图69B,图69A和图69B可以示出显示与多个用户相对应的多个指针的示例。
根据各种实施例,指针6930和6950可以在发起视频的第一电子设备和接收视频的第二电子设备中被独立地开/关控制。
根据各种实施例,指针6930和6950可以取决于输入指针或运行定点模式的主体而显示和提供不同的形状、不同的大小或不同的颜色。
根据各种实施例,由第一电子设备运行的指针6930和由第二电子设备运行的指针6950可以以不同的形状、不同的大小或不同的颜色提供。在各种实施例中,在第一和第二电子设备中所示的指针6930和6950可以具有相同的形状。
根据一个实施例,由第一电子设备运行的指针6930可以用白色指针显示,并且由第二电子设备运行的指针6950可以用黑色指针显示。
根据一个实施例,由第一电子设备运行的指针6930可以显示为手型指针,并且由第二电子设备运行的指针6950可以显示为箭头指针。
根据各种实施例,在第一电子设备和第二电子设备中,相应用户的指针6930和6950以及对手用户的指针6950和6930可以以不同的形状、不同的大小或不同的颜色单独地提供。例如,由每个电子设备自己运行的指针可以显示为白色指针,由另一方运行的指针可以显示为黑色指针。在各种实施例中,在第一电子设备和第二电子设备中所示的指针可以具有不同的形式。
根据一个实施例,由第一电子设备运行的指针6930可以在第一电子设备中显示为白色指针,并且在第二电子设备中显示为黑色指针。由第二电子设备运行的指针6950可以在第一电子设备中显示为黑色指针。
根据一个实施例,由第二电子设备运行的指针6950可以在第一电子设备中显示为黑色指针,并且在第二电子设备中显示为白色指针。由第一电子设备运行的指针6930可以在第二电子设备中显示为黑色指针。
根据各种实施例,第一电子设备或第二电子设备可以在运行指针之后响应屏幕触摸,使得第一电子设备和第二电子设备可以在相应位置处显示指针。
根据各种实施例,在指针模式下使用指针期间,第一电子设备或第二电子设备可以正常操作记录。例如,可以提供和记录媒体足迹服务,包括记录时的指针。
图70是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图。
如图70所示,示出了电子设备暂停视频并处理点模式的操作的示例。例如,图70可以示出处理电子设备之间的暂停的操作的示例。
参考图70,在操作7001中,第一电子设备7010可以向第二电子设备7020发送经编码的视频。根据各种实施例,当发送经编码的视频时,第一电子设备7010可以向第二电子设备7020提供关于当前被驱动的相机的类型的信息(例如,相机ID)。
在操作7003中,第二电子设备7020可以解码并显示从第一电子设备7010接收的经编码的视频。在各种实施例中,当在视频服务中使用多个相机ID时,可以对与各个相机ID相对应的多个视频数据进行解码,并且可以显示经解码的视频数据中的至少一个。在各种实施例中,当显示多个视频时,它们可以以PIP、PBP、重叠或叠加方案显示。
在操作7005中,第二电子设备7020可以检测用于暂停视频的用户输入。根据一个实施例,第二电子设备7020可以检测用户的长按输入来确定长按输入是暂停。根据一个实施例,当检测到通过指针按钮的用户输入时,第二电子设备7020可以确定用户输入是暂停。根据一个实施例,当检测到大于预定强度的压力时,第二电子设备7020可以确定该压力是暂停。根据各种实施例,第二电子设备7020可以响应于用户输入运行指针模式并显示指针。根据各种实施例,可以确定与将通过用户输入(例如,指针按钮、触摸、压力等)暂停的视频相对应的相机ID。
在操作7007中,第二电子设备7020可以向第一电子设备7010发送视频的暂停请求。根据各种实施例,第二电子设备7020可以向第一电子设备7010发送暂停命令,该暂停命令包括第二电子设备7020的指针的位置和/或相机ID。
在操作7009中,第一电子设备7010可以从第二电子设备7020接收暂停命令。在各种实施例中,暂停命令可以用于控制客户端的UI,并且可以通过网络管理模块发送到媒体处理管理模块,从而可以用于控制相机、编码或发送。
在操作7011中,第一电子设备7010可以确定记录是否继续。
当在操作7011中确定记录没有继续时(操作7011的“否”)(例如,记录的结束),第一电子设备7010可以停止捕获视频的操作,并且可以前进到操作7015。
当在操作7011中确定记录继续时(操作7011的“是”),第一电子设备7010可以生成并显示暂停视频,然后在操作7015中可以继续在第一电子设备7010中显示的显示器上记录视频。例如,可以结合暂停视频,以及基于暂停视频由第一电子设备7010和第二电子设备7020中的用户输入控制的定点控制,来连续记录显示在第一电子设备7010的显示器上的视频,而不是通过相机的实时视频的记录。
根据另一实施例,当确定继续记录时(操作7011的“是”),在操作7015中,第一电子设备7010可以生成并显示暂停视频,然后可以连续记录通过相机接收的运动图像。
在操作7017中,第一电子设备7010可以向第二电子设备7020发送暂停视频或暂停请求(例如,控制信号)。根据各种实施例,当发送暂停请求时,第一电子设备7010可以向第二电子设备7020发送与暂停相关的时间信息(例如,执行暂停的时间或生成暂停视频的时间)。
在操作7019中,当在操作7011中继续记录时,第一电子设备7010可以实时地向第二电子设备7020发送经编码的视频和相机ID。根据各种实施例,当没有保持记录发送时(例如,在记录终止时或者在自动地或者通过用户界面记录发送停止请求时),第一电子设备7010可以不执行操作7019。
在操作7021中,第二电子设备7020可以显示暂停视频。根据一个实施例,第二电子设备7020可以响应于从第一电子设备7010接收到暂停视频而显示接收到的暂停视频。根据一个实施例,第二电子设备7020可以生成并显示暂停视频。例如,第二电子设备7020可以响应于从第一电子设备7010接收到暂停请求而暂停视频(例如,解码停止)。根据一个实施例,第二电子设备7020可以生成并提供与从第一电子设备7010接收的运动图像中的时间信息相对应的视频(例如,提取的帧图像或静止图像),作为暂停视频。
在操作7023中,第二电子设备7020可以选择性地向第一电子设备7010发送定点请求。根据各种实施例,第二电子设备7020可以包括指针的位置和/或相机ID以及定点请求,并且可以将它们发送到第一电子设备7010。
在操作7025中,第一电子设备7010可以响应于从第二电子设备7020接收到定点请求而操作以显示指针。根据各种实施例,第一电子设备7010可以操作以在第一电子设备7010和第二电子设备7020中的至少一个上显示指针。
在操作7027中,第一电子设备7010可以向第二电子设备7020发送关于显示在第一电子设备7010上的指针的位置的位置信息。
在操作7029中,第二电子设备7020可以在暂停视频上显示和提供指针。根据各种实施例,在暂停视频中,第二电子设备7020可以在与从第一电子设备接收的位置信息相对应的位置处显示指针。
如上所述,根据各种实施例,指针指示符(例如,图标等)可以显示在电子设备之间共享的视频上,并且可以提供给用户。
根据一个实施例,唯一指针指示符(例如,为每个电子设备预定的唯一图标、表情符号等)可以针对每个用户(或针对每个电子设备)单独提供。
根据一个实施例,在显示指针指示符的状态下,响应于在与生成指针指示符的位置输入相同的位置处的重新输入(例如,触摸或敲击)而显示的指针指示符可以被移除。例如,当指针指示符选择显示的位置时,指针指示符的显示可以被移除。根据各种实施例,可以提供双相机视图模式。根据一个实施例,暂停视频的相机ID可以被指定(识别)为仅停止相机输入。根据一个实施例,在发送视频的电子设备中,来自各个相机的视频可以根据双相机视图模式生成为合成图像并被发送,或者可以被独立发送。
根据各种实施例,在用于暂停视频的暂停模式中,可以提供指针模式或缩放模式。根据一个实施例,在暂停模式中,指针模式或缩放模式可以通过用户输入(例如,基于图标或基于手势)来区分。根据一个实施例,当在暂停模式下运行指针模式时,指针可以被添加到暂停视频以显示暂停视频。根据一个实施例,当在暂停模式下运行缩放模式时,可以执行图像处理和相机控制操作。
根据各种实施例,可以在缩放模式下接收和显示关于另一方的缩放区域的信息。根据一个实施例,可以接收由对方电子设备或对方电子设备的用户指定的ROI或缩放区域相关信息(例如,位置、范围、所选对象等),使得与相应区域相关联的指示符可以基于指定的ROI或缩放区域在显示器上显示。根据一个实施例,在放大操作期间,考虑到重新捕获、相应块的质量改善、比特率等,可以对放大的相应区域执行视频处理。例如,当指定相应的ROI区域并且对相应的区域执行放大操作时,为了对相应区域的图像进行视频处理的目的,可以基于ROI的图像像素值或者ROI和相机之间的距离信息来执行相机的分辨率改变或自动聚焦和自动曝光功能,从而可以获得更高质量的视频。例如,通过基于ROI控制图像处理器或网络管理模块,可以控制图像编码和发送质量(例如,编解码器、比特率、帧率、丢失率等)。
根据各种实施例,电子设备和网络控制可以在暂停模式下执行。根据一个实施例,当相机操作停止时,相机可以进入待机模式,然后可以根据经过预定时间进入另一模式(例如,相机电力关闭模式)。根据一个实施例,用于P2P连接的网络可以被操作以保持用于实时发送和接收语音或视频数据的实时流协议(real-time streaming protocol,RTSP)会话。
图71是示出根据本公开的各种实施例的在电子设备中执行视频服务的方法的图。
如图71所示,示出了在电子设备中同时显示实时视频和暂停视频的操作的示例。例如,图71可以示出处理电子设备之间的暂停和定点的操作的示例。
参考图71,在操作7101中,第二电子设备7120可以向第一电子设备7110发送暂停请求。根据各种实施例,第二电子设备7120可以向第一电子设备7110发送暂停命令,该暂停命令包括第二电子设备7120的指针的位置和/或相机ID以及暂停请求。
在操作7103中,第一电子设备7110可以从第二电子设备7120接收暂停请求。
在操作7105中,第一电子设备7110可以生成暂停视频。
在操作7107中,第一电子设备7110可以基于暂停视频和实时视频生成合成图像。
在操作7109中,第一电子设备7110可以显示合成图像。例如,第一电子设备7110可以在预览区域上显示通过合成暂停视频和实时视频而获得的视频。
在操作7111中,第一电子设备7110可以向第二电子设备7120发送暂停视频、暂停请求和合成图像中的至少一个。根据各种实施例,当发送暂停请求时,第一电子设备7110可以向电子设备7120发送与暂停相关的时间信息(例如,执行暂停的时间或生成暂停视频的时间)。
在操作7113中,当保持记录时,第一电子设备7110可以向第二电子设备7120发送经编码的视频和相机ID。根据各种实施例,当没有保持记录时(例如,在记录的结束时),第一电子设备7110可以不执行操作7113。
在操作7115中,第二电子设备7120可以生成暂停视频和合成图像中的至少一个。例如,第二电子设备7120可以响应于从第一电子设备7110接收到暂停请求而暂停相应的视频(例如,停止解码等)。根据一个实施例,第二电子设备7120可以将生成与从第一电子设备7110接收的时间信息相对应的视频的暂停视频。根据一个实施例,第二电子设备7120可以合成所生成的暂停视频和实时视频以生成合成图像。根据各种实施例,当从第一电子设备7110接收到暂停视频和合成图像中的至少一个时,第二电子设备7120可以不执行操作7115。
在操作7117中,第二电子设备7120可以显示暂停视频和合成图像中的至少一个。根据一个实施例,第二电子设备7120可以响应于从第一电子设备7110接收到暂停视频而显示接收到的暂停视频。根据一个实施例,第二电子设备7120可以响应于从第一电子设备7110接收到合成图像而显示接收到的合成图像。
在操作7119中,第二电子设备7120可以选择性地向第一电子设备7110发送定点请求。根据各种实施例,第二电子设备7120可以包括指针的位置和/或相机ID以及定点请求,并且可以将它们发送到第一电子设备7110。
在操作7121中,第一电子设备7110可以响应于从第二电子设备7210接收到指针请求而操作以显示指针。根据各种实施例,第一电子设备7110可以操作以在第一电子设备7110和第二电子设备7120中的至少一个上显示指针。
在操作7123中,第一电子设备7110可以向第二电子设备7120发送关于显示在第一电子设备7110上的指针的位置的位置信息。
在操作7125中,第二电子设备7120可以在暂停视频上显示和提供指针。根据各种实施例,在暂停视频上,第二电子设备7120可以在与从第一电子设备7110接收的指针的位置信息相对应的位置处显示指针。
如上所述,根据各种实施例,实时视频和暂停视频可以同时显示给用户。
根据各种实施例,在视频记录的情况下,可以对要记录的视频执行预览。根据一个实施例,作为暂停视频,在用户操作期间拍摄/记录的预览视频可以显示在背景中,从而能够查询实时记录状态。
根据各种实施例,当执行诸如定点或缩放的功能时,可以对照(collate)当前输入视图和暂停视频的视图。根据一个实施例,用户可以将先前查看的项目与当前查看的项目进行比较,或者将用户定点的对象与当前预览上的对象进行比较,以确定当前位置。
根据各种实施例,暂停视频上的定点位置处的对象可以被指定为ROI,并且可以对当前显示的预览上的对象执行图像处理。
根据各种实施例,在提供暂停视频和实时视频的方法中,发送视频的第一电子设备可以通过视频编码器生成合成图像,并且可以将生成的图像发送给接收视频的第二电子设备。
根据各种实施例,在提供暂停视频和实时视频的方法中,第一电子设备和第二电子设备可以仅接收暂停命令以生成暂停视频,并且可以从电子设备生成和显示合成图像。
根据各种实施例,在提供暂停视频和实时视频的方法中,可以在不同的视频层中处理要预览的视频和暂停视频,从而通过以使用透明度的叠加形式的独立处理来提供相应的视频。根据一个实施例,可以以视频层+暂停图像层+控制GUI层的形式处理相应的视频。
根据各种实施例,应用于暂停视频的输入可以应用于预览。根据一个实施例,当通过暂停视频中的选择而指定的面部显示在预览视频上时,所显示的面部可以被自动跟踪或者可以经受自动模糊。
根据各种实施例,可以提供增强现实(AR)。根据一个实施例,可以提供3D映射,诸如使用室内3D映射和暂停视频的匹配。
图72和图73是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
如图72和图73所示,示出了在电子设备之间以暂停模式和指针模式执行的操作的示例。根据各种实施例,图72和图73示出了第二电子设备7220基于用户输入运行暂停模式和响应于暂停模式的指针模式、同时发送视频的第一电子设备7210向接收视频的第二电子设备7220发送视频的情况的示例。根据各种实施例,暂停模式和响应于暂停模式的指针模式甚至可以由第一电子设备7210的用户运行。
参考图72,第二电子设备7220可以检测设置的用户输入7230(例如,敲击或触摸)以进入暂停模式,同时从第一电子设备7210接收视频。根据一个实施例,出于暂停的目的,用户可以对第一预览区域7270的视频流执行敲击7230。第二电子设备7220可以响应于用户输入来请求第一电子设备7210暂停视频流。根据各种实施例,流可以在第一电子设备7210和第二电子设备7220两者中停止。
根据各种实施例,甚至可以通过手势识别、语音命令识别和用户情境识别中的至少一个来执行进入暂停模式。
根据各种实施例,第一电子设备7210可以响应于第二电子设备7220的视频暂停请求来处理暂停视频和相关信息的显示和发送。
第一电子设备7210可以通过第一预览区域7270显示暂停视频,并且可以将暂停视频发送到第二电子设备7220。根据一个实施例,第一电子设备7210可以向第二电子设备7220发送暂停请求和相关时间信息。第二电子设备7220可以基于从第一电子设备7210接收的暂停视频或相关时间信息来显示暂停视频。
第一电子设备7210可以通过第二预览区域7285指示其处于暂停状态。例如,第一电子设备7120可以在第二预览区域7285上显示诸如“流已暂停”的信息,并且可以向用户提供所显示的信息。
响应于从第一电子设备7210接收到暂停视频,第二电子设备7220可以通过第一预览区域7270显示暂停视频。根据一个实施例,当从第一电子设备7210接收到暂停请求时,第二电子设备7220可以基于接收到的时间信息生成与第一电子设备7210的暂停视频相同或相似的暂停视频,作为存储在第二电子设备7220中的视频,并且可以通过第一预览区域7270显示所生成的暂停视频。
第二电子设备7220可以通过第二预览区域7280指示其处于暂停状态,同时在第一预览区域7270上显示暂停视频。例如,第二电子设备7220可以在第二预览区域7280上显示诸如“流已暂停”的信息,并且可以向用户提供该信息。
根据各种实施例,第一电子设备7210的用户可以在流被暂停的状态下在第一预览区域7270上通过用户输入来恢复流。根据各种实施例,流的恢复甚至可以由第二电子设备7220的用户执行。响应于用户输入或第二电子设备7220的输入,第一电子设备7210可以恢复流视频(例如,运动图像)的显示和视频发送。
参考图73,在暂停模式下,第一电子设备7210可以检测为进入指针模式而设置的用户输入(例如,长按输入{或长按手势})或来自第二电子设备7220的指针模式输入请求。根据一个实施例,第二电子设备7220的用户可以对第一预览区域7270的暂停视频执行长按输入以进入指针模式。第二电子设备7220可以响应于用户输入请求第一电子设备7210进入指针模式。响应于用户输入或第二电子设备7220的请求,第一电子设备7210可以进入指针模式以在第一预览区域7275的任何一个区域上显示指针7250,并且可以向第二电子设备7220发送指针相关信息。第二电子设备7220可以基于从第一电子设备7210接收的指针相关信息,在第一预览区域7270的任何一个区域上显示指针7240。
根据各种实施例,指针可以显示在第一电子设备7210和第二电子设备7220这两者中。例如,第二电子设备7220可以在与第一电子设备7210的第一预览区域7275中显示指针7250的位置相对应的第一预览区域7270的位置处显示指针7240。
根据一个实施例,指针7240和7250可以显示在与用户输入相对应的位置。例如,根据一个实施例,指针7240和7250可以显示在用户指定区域(例如,暂停视频上的特定对象)上。根据一个实施例,指针7240和7250可以显示在与对应于用户输入的位置相邻的位置(例如,用户输入位置的上端位置)处,或者可以显示在第一预览区域7270和7275的任意区域上。
根据各种实施例,指针模式输入可以由第一电子设备7210和第二电子设备7220中的至少一个执行,并且可以在第一电子设备7210和第二电子设备7220中生成指针,从而可以在预览区域7270和7275上显示多个指针并且可以被提供。根据各种实施例,当显示多个指针时,根据生成相应指针的主体(例如,第一电子设备7210和第二电子设备7220),可以针对每个对象以不同的形状或不同的颜色分类和显示多个指针。根据各种实施例,关于多个指针,每个电子设备本身的指针和另一方的指针可以在每个电子设备中按不同的形状或不同的颜色被分类,并且可以被显示。
根据各种实施例,在指针模式中,第一电子设备7120和第二电子设备7220中的至少一个可以检测存储视频的设置用户输入(例如,菜单、手势、语音命令、敲击或触摸)。根据一个实施例,相应的用户可以对预览区域的指针(例如,7240或7250)执行敲击以存储当前显示的视频。例如,用户可以在指针被指定到暂停视频中的特定对象的状态下执行视频存储。根据另一实施例,用户可以通过基于用于存储视频的菜单或手势的用户输入来存储视频。
根据各种实施例,第一电子设备7210和第二电子设备7220可以响应于用户输入来捕获(例如,屏幕截图)并存储显示在预览区域上的屏幕。根据各种实施例,捕获的视频可以是包括暂停视频和指针的视频,并且可以分别地共同存储在第一电子设备7210和第二电子设备7220中。
根据各种实施例,第一电子设备7210和/或第二电子设备7220可以存储视频,并且可以自动地或基于用户输入来显示和提供捕获视频7260。
根据各种实施例,第一电子设备7210和/或第二电子设备7220可以存储捕获的视频,可以显示要在存储的图像列表屏幕上看到的重要性(例如,选择星形图标),可以共享显示的信息(利用DLNA、ALLShare和BT图标),并且可以编辑(例如,铅笔图标)共享的信息或者删除(例如,垃圾图标)共享的信息。
图74和图75是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
参考图74和图75,示出了用于在电子设备中执行定点和捕获的操作的示例。根据各种实施例,可以对实时视频或暂停视频中的用户输入(例如,长按输入)执行定点功能。
如图74的(A)所示,用户可以通过实时视频或暂停视频中的用户输入(例如,TSP触摸)来指定对象位置。可替代地,电子设备可以从拍摄的图像中分析指尖图像,并且可以将分析的图像与暂停视频进行比较,以指定与指尖相对应的对象位置,使得可以识别出接收电子设备的视频的相机前面的指尖。例如,电子设备可以使用后置相机接收包括包(bag)的视频,并且用户可以通过将指尖放置在后置相机和包之间来指定包图像。
如图74的(B)所示,电子设备可以响应于定点功能的运行,提取发生用户输入的位置的图像对象区域。例如,电子设备可以提取与用户指定的对象位置相对应的对象区域。根据一个实施例,电子设备可以通过媒体处理器提取边缘、基于深度的对象或基于颜色的区域,从而从暂停视频中提取图像对象区域。
如图74的(C)所示,电子设备可以基于提取的图像对象区域存储视频和/或静止图像。根据各种实施例,电子设备可以存储视频和/或静止图像以及提取的图像对象区域的标签信息。根据各种实施例,当执行缩放功能(例如,放大)时,可以使用原始图像/帧。根据一个实施例,电子设备可以控制相机、编码器、大小控制器(例如,缩放器)、图像处理模块、网络等来执行视频处理。
根据各种实施例,可以基于定点位置将图像对象区域设置为ROI,并且可以执行用于视频质量改善的操作。例如,可以调整曝光、清晰度或焦点。根据一个实施例,可以通过光学或数字缩放来捕获图像对象区域。根据一个实施例,可以使用相机传感器基于最大分辨率图像来存储图像对象区域。
如图75的(D)所示,电子设备可以在显示器的一部分上显示与存储的图像对象区域相关联的图像或视频(下文称为快照视频)。在各种实施例中,图像对象区域可以独立于显示器上显示的视频(下文称为真实视频)以叠加、PBP或PIP方案来显示。
如图75的(E)所示,电子设备可以通过用户输入来放大、缩小或移动显示的快照视频。根据各种实施例,用户可以通过定点和捕获功能使用快照视频来比较对象(例如,对象)。
如图75的(F)所示,电子设备可以响应于定点和捕获功能的重复执行,在显示器上顺序显示和提供多个快照视频。例如,电子设备可以单独显示缩略图区域7410和真实区域7420,可以基于存储先前被设置为要存储的ROI的图像对象区域的次序(或相反次序)在缩略图区域7410上显示相应信息,并且可以在真实区域7420上显示真实视频。
根据各种实施例,当相应的操作可以由接收视频的第二电子设备执行时,第二电子设备可以将定点位置或ROI信息作为控制信号发送给发送视频的第一电子设备,并且第一电子设备可以通过媒体处理器的控制来执行与上述相对应的相同的功能。
图76和图77是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
参考图76和图77,示出了在电子设备中执行记录和定点的操作的示例。根据各种实施例,当记录实时视频时,记录和定点可以指示当定点功能被驱动时捕获所记录的实时视频的功能,以及在所记录视频的进度条中显示所捕获视频的指示符从而索引所记录的位置。根据各种实施例,对于记录和定点,电子设备可以通过用户界面显示视频记录按钮7650,并且可以向用户提供显示的信息。
根据各种实施例,当发起视频的电子设备的用户和接收视频的电子设备的用户希望在视频服务期间记录视频并且期望暂停和定点功能时,可以捕获或再现由相应用户定点的区域以被提供。
如图76的(A)所示,用户可以通过视频记录按钮7650记录实时发送和接收的视频数据或音频数据。
如图76的(B)所示,当检测到视频记录按钮7650的输入时,电子设备可以在用户界面的一个区域上显示进度条7750,以向用户提供显示的信息。
根据各种实施例,当执行记录时,电子设备可以通过视频记录按钮7650通知用户电子设备处于记录状态。例如,可以通过改变和显示视频记录按钮7650的颜色或者通过改变记录按钮7650的类型来显示记录状态。
根据各种实施例,也可以通过进度条7750显示最大可记录时间。在各种实施例中,最大可记录时间可以是通过设置预先指定的时间,或者可以通过基于存储器或电池的剩余量计算时间来自动地提供。
根据各种实施例,在执行记录时累积到现在的记录时间可以显示在进度条7750中,作为指示符(例如,滑块等)。
如图76的(C)所示,在记录过程期间,用户可以通过用户输入(例如,触摸)指定视频的特定对象的位置,或者可以通过相机前面的手指手势(例如,指尖)指定特定对象的位置。根据一个实施例,电子设备可以分析手指手势,并且可以指定对象在视频中的位置。
根据各种实施例,当在记录的过程期间出现对特定位置定点或出现ROI设置时,电子设备可以提取与相应的定点或ROI相关联的图像对象区域。
根据各种实施例,电子设备可以将提取的图像对象区域存储为视频和/或静止图像。根据各种实施例,电子设备可以存储视频和/或静止图像以及提取的图像对象区域的标签信息。根据各种实施例,当执行缩放功能(例如,放大)时,可以使用原始图像/帧。根据一个实施例,电子设备可以控制相机、编码器、大小控制器(例如,缩放器)、图像处理模块、网络等来执行视频处理。
根据各种实施例,可以基于定点位置将图像对象区域设置为ROI,并且可以执行用于视频质量改善的操作。例如,可以调整曝光、清晰度或焦点。为此,电子设备可以通过计算基于深度的对象和相机之间的接近度来设置ROI。例如,即使当对象部分重叠并显示在显示器上时,重叠对象当中所期望的对象的区域也可以基于距离来确定。根据一个实施例,可以经由光学或数字缩放来捕获或记录图像对象区域。
如图77的(D)所示,电子设备可以以叠加方式在进度条7750的一部分上显示和提供与存储的图像对象区域相关联的图像或视频7710。根据一个实施例,电子设备可以以PBP、PIP、缩略图等来显示图像或视频7710。
如图77的(E)所示,电子设备可以使用符号或图形指示器以指示符/标记7770(例如,手形、箭头等)的形式在进度条7750中显示图像或视频7710,并且可以提供图像或视频7710以便通过用户输入来放大或查询。根据一个实施例,用户可以移动进度条7750上显示的标记7770,可以查询(放大或缩小)通过选择缩略图7710所捕获的图像,或者可以再现和显示相应的部分。根据各种实施例,用户可以使用记录和定点以用于比较对象等。
如图77的(E)所示,响应于记录和定点功能的重复执行,电子设备可以在处理条7750的各个区域中顺序地显示和提供相关图像或视频7710。例如,电子设备可以单独显示真实区域7610和进度条区域7620,真实视频可以在真实区域7610上显示,并且多个相关图像或视频可以通过进度条区域7620的进度条7750顺序地显示。
根据各种实施例,用户可以容易地检索和查询记录感兴趣对象的位置的对象,并且可以通过放大存储的相关图像或视频(例如,捕获的图像)来实现详细查询。
根据各种实施例,当相应的操作由接收视频的第二电子设备执行时,第二电子设备可以向发送视频的第一电子设备发送相应的定点位置或ROI信息作为控制信号,并且第一电子设备可以通过媒体处理器的控制来执行与上述描述相对应的相同功能。
如上所述,根据各种实施例的电子设备500可以包括:基于第一电子设备执行与电子设备的语音通话的过程,在与另一电子设备执行视频通话期间检测用于与另一电子设备执行视频通话的用户输入的过程,响应于用户输入基于第二网络连接视频通话并在显示器上显示与视频通话相关联的用户界面的过程,以及通过用户界面显示使用相机获取的视频并将显示的视频通过第二网络发送到另一电子设备的过程。
根据各种实施例,第一网络和第二网络可以包括相同的网络或不同的网络。根据各种实施例,在服务连接时,语音和视频可以使用不同的网络或相同的网络。根据一个实施例,当语音使用蜂窝通信协议的分组交换时,可以使用视频或蜂窝通信协议的分组交换来发送语音。根据另一实施例,当语音和视频被切换为使用相同的通信时,可以终止用于语音的通信的连接。可替代地,可以仅保持通信的最小连接,此后,在视频终止(例如,服务连接终止)时,用于语音的通信可以再次用于语音通话。根据另一实施例,仅保持最小连接的第一网络可以在视频通信的结束后自动支持语音通话。
根据各种实施例,用户输入可以包括电子设备的姿势状态改变、接近状态改变、手势输入、情境识别或语音命令输入。
根据各种实施例,用户输入可以包括通过第二网络从另一电子设备接收的状态改变信号。
根据各种实施例,检测用户输入的过程可以包括监控用户输入并切换通话模式以对应于用户输入的改变的过程。
根据各种实施例,切换过程可以包括切换通话模式、根据通话模式的切换将视频通话连接到另一电子设备或者请求视频通话连接终止的过程。
根据各种实施例,视频通话连接可以包括:在通过语音通话模式保持与另一电子设备的语音通话的状态下根据用户输入执行到视频通话模式的转换的过程,以及在保持语音通话的状态下根据视频通话模式处理视频通话的过程。
根据各种实施例,显示用户界面的过程可以包括:检测电子设备转换到视频通话模式的过程,以及通过显示在显示器上的用户界面显示关于另一电子设备的通话模式的信息的过程。
根据各种实施例,显示用户界面的过程可以包括在视频通话模式下在用户界面上显示与附加功能运行相关联的至少一个对象的过程。
根据各种实施例,检测与对象或用户界面上的功能执行相关联的用户输入的过程可以包括响应于用户输入来处理相机切换、视频暂停、定点、缩放、捕获和记录中的至少一个的过程。
根据各种实施例,处理定点的过程可以包括:根据视频通话模式中的第一输入暂停视频的过程,以及根据第二输入在暂停视频上显示指针的过程。
根据各种实施例,第一输入和第二输入可以包括电子设备和另一电子设备中的至少一个的输入。
根据各种实施例,电子设备500可以包括在视频暂停的状态下响应于第三输入而恢复暂停视频的过程。
根据各种实施例,显示用户界面的过程可以包括通过用户界面显示关于与另一电子设备的视频通话的可用性的指示的过程。
根据各种实施例,显示指示的过程可以包括:监控与另一电子设备的视频通话的可用性的过程,以及根据与另一电子设备的视频通话的可用性来改变和显示指示的过程。
根据各种实施例,视频通话的可用性可以包括在语音通话期间确定与另一电子设备的视频通话的可用性的过程。
根据各种实施例,当确定转换到视频通话模式时,电子设备可以包括在向另一电子设备发送视频之前、基于电子设备和另一电子设备的能力或状态信息来确定视频通话的可用性的过程。
根据各种实施例,电子设备可以包括:基于确定结果显示视频通话可用时要激活的指示的过程,以及显示视频通话不可用时要停用的指示的过程。
根据各种实施例,电子设备可以包括在视频通话模式切换时将相机的电力模式切换到相机驱动模式或相机待机模式的过程。
根据各种实施例,当在与电子设备的语音通话期间检测到用户输入时,另一电子设备可以包括执行转换到视频通话模式以及通过第二网络接收并显示从电子设备发送的视频的过程。
根据各种实施例,当电子设备请求视频通话模式时,另一电子设备可以包括自动接受视频接收并自动接收从电子设备发送的视频的过程。
图78是示出根据本公开的各种实施例的在电子设备中执行视频服务的操作的示例的图。
如图78所示,示出了根据网络改变的操作场景的示例。
参考图78,电子设备500可以具有移动性。由于电子设备500具有移动性,电子设备500使用的网络可能改变。根据一个实施例,电子设备500连接到4G网络7820(例如,LTE等),然后移动到(进入)3G网络7810(例如,WCDMA、HSPA等)的覆盖范围,超出4G网络7820的覆盖范围,从而连接到3G网络7810。根据一个实施例,电子设备500连接到4G网络7820(例如,LTE等),然后移动到(进入)3G网络7810(例如,WCDMA、HSPA等)的覆盖范围,超出4G网络7820的覆盖范围,从而连接到3G网络7810。根据一个实施例,电子设备500连接到4G网络7820(例如,LTE等),然后移动到(进入)Wi-Fi网络7830的覆盖范围,超出4G网络7820的覆盖范围,从而连接到Wi-Fi网络7830。
根据一个实施例,电子设备500和网络之间的连接可能花费一定的时间。例如,在Wi-Fi的情况下,当不执行扫描时,可以顺序地执行诸如扫描、认证、关联(L2层连接)、DHCP(L3层连接)等的处理,并且可能花费2到3秒。作为另一示例,以类似的方式,即使在LTE的情况下,也可能花费2到5秒,这取决于网络环境。
根据各种实施例,可以根据电子设备500的移动来改变连接网络,并且可以根据连接网络的特性来改变提供给视频通信应用的通信管道质量(例如,带宽、延迟特性等)。
根据各种实施例,电子设备500的网络相关模块(例如,网络组件)可以向视频通话应用通知上述改变。视频通话应用可以向用户通知网络的改变。例如,视频通话应用可以基于消息提供、图标提供、图像提供等向用户提供网络的改变。
根据各种实施例,在连接网络改变时,电子设备500可能需要再次执行通话会话连接。例如,电子设备500可以从网络断开。在这种情况下,视频通话应用可以仅重新连接通话会话,同时保持用户界面的显示。根据一个实施例,电子设备500可以重复再现从网络断开之前的最后几秒的视频,并且将再现的视频提供给用户。根据另一实施例,电子设备500可以在从网络断开连接之前向用户显示并提供捕获的视频(或静止图像)。
根据各种实施例,当网络信号的强度根据电子设备500的移动降到特定值以下时,电子设备500的网络相关模块(例如,网络组件)可以预先准备另一网络的连接。根据一个实施例,当LTE信号的强度减弱时,电子设备500可以预先执行Wi-Fi扫描或者预先建立连接。根据另一实施例,当Wi-Fi信号减弱时,电子设备500可以预先执行LTE扫描或者预先建立连接。
根据各种实施例,当电子设备500连接到另一网络时,网络相关模块可以通知视频通话应用它连接到另一网络。视频通话应用可以通过新的连接发送和接收视频通话数据。
本文所公开并在附图中示出的本公开的实施例仅仅是为了容易地描述本公开的技术细节和帮助理解本公开而呈现的特定示例,而不是为了限制本公开的范围。因此,应当理解的是,除了本文所公开的实施例之外,从本公开的技术构思中得到的所有修改和改变或者修改和改变的形式都落在本公开的范围内。

Claims (15)

1.一种电子设备,包括:
相机;
显示器;
通信单元,被配置为使用至少一个协议与另一电子设备建立无线通信;和
处理器,被配置为功能性地连接到所述相机、所述显示器和所述通信单元,
其中,所述处理器被配置为
基于第一网络执行与另一电子设备的语音通话,
在执行与另一电子设备的语音通话的同时,检测用于执行与另一电子设备的视频通话的用户输入,
响应于所述用户输入基于第二网络来连接所述视频通话,并且在所述显示器上显示与所述视频通话相关联的用户界面,以及
通过所述用户界面显示使用所述相机获取的视频,并且通过第二网络将所显示的视频发送到另一电子设备。
2.如权利要求1所述的电子设备,其中,所述用户输入包括电子设备的姿势状态改变、接近状态改变、手势输入、情境识别、语音命令输入或通过第二网络从另一电子设备接收的状态改变信号。
3.如权利要求2所述的电子设备,其中,所述处理器被配置为
监控所述用户输入,并响应于所述用户输入的改变而切换通话模式,以及
根据所述通话模式的切换将所述视频通话连接到另一电子设备,或者请求视频通话连接终止。
4.如权利要求1所述的电子设备,其中,所述处理器被配置为
在通过语音通话模式保持所述与另一电子设备的语音通话的状态下,根据所述用户输入来检测到视频通话模式的转换,
当检测到电子设备转换到视频通话模式时,在保持语音通话的状态下,通过所述显示器上显示的用户界面来显示关于另一电子设备的所述通话模式的信息,以及
在所述视频通话模式下,在所述用户界面上显示与附加功能运行相关联的至少一个对象。
5.如权利要求4所述的电子设备,其中,所述处理器被配置为
检测与所述对象或所述用户界面上的功能运行相关联的用户输入,以及
响应于所述用户输入,处理相机切换、视频暂停、定点、缩放、捕获和记录中的至少一个。
6.如权利要求5所述的电子设备,其中,
所述处理器被配置为:在所述视频通话模式下,根据第一输入来暂停视频,以及根据第二输入在所暂停的视频上显示指针,并且
第一输入和第二输入由所述电子设备和另一电子设备中的至少一个来执行。
7.如权利要求6所述的电子设备,其中,
所述处理器被配置为
在所述语音通话期间监控与另一电子设备的视频通话的可用性,并根据所述与另一电子设备的视频通话的可用性来改变和显示指示,
在向另一电子设备发送视频之前,当确定转换到所述视频通话模式时,基于所述电子设备和另一电子设备的容量或状态信息来确定所述视频通话的可用性,以及
基于所述确定的结果,当所述视频通话可用时显示要激活的指示,并且当所述视频通话不可用时显示要停用的指示。
8.如权利要求1所述的电子设备,其中,所述电子设备被配置为
当在所述与另一电子设备的语音通话期间检测到所述用户输入时被切换到视频通话模式,并且通过第二网络接收和显示从另一电子设备发送的视频,以及
当另一电子设备请求所述视频通话模式时,自动地接受视频接收,并且自动地接收从所述电子设备发送的视频。
9.一种电子设备的操作方法,包括:
基于第一网络执行与另一电子设备的语音通话;
在执行所述与另一电子设备的语音通话的同时,检测用于执行与另一电子设备的视频通话的用户输入;
响应于所述用户输入基于第二网络来连接所述视频通话,并在显示器上显示与所述视频通话相关联的用户界面;以及
通过所述用户界面显示使用相机获取的视频,并且通过第二网络将所显示的视频发送到另一电子设备。
10.如权利要求9所述的电子设备的操作方法,其中,
所述用户输入包括所述电子设备的姿势状态改变、接近状态改变、手势输入、情境识别、语音命令输入或通过第二网络从另一电子设备接收的状态改变信号,以及
所述用户输入的检测包括:监控所述用户输入,并且响应于所述用户输入的改变而切换通话模式,以及
根据所述通话模式的切换将所述视频通话连接到另一电子设备,或者请求视频通话连接终止。
11.如权利要求9所述的电子设备的操作方法,其中,
所述视频通话的连接包括:在通过语音通话模式保持所述与另一电子设备的语音通话的状态下,根据所述用户输入将所述电子设备切换到视频通话模式,以及在保持所述语音通话的状态下,通过所述显示器上显示的用户界面来显示关于另一电子设备的通话模式的信息,以及
所述用户界面的显示包括:在所述视频通话模式下,在所述用户界面上显示与附加功能运行相关联的至少一个对象。
12.如权利要求11所述的电子设备的操作方法,还包括:
检测与所述对象或所述用户界面上的功能运行相关联的用户输入;以及响应于所述用户输入,处理相机切换、视频暂停、定点、缩放、捕获和记录中的至少一个。
13.如权利要求12所述的电子设备的操作方法,其中,
所述定点的处理包括:在所述视频通话模式下,根据第一输入来暂停视频,以及根据第二输入在所暂停的视频上显示指针,并且
第一输入和第二输入由所述电子设备和另一电子设备中的至少一个来执行。
14.如权利要求13所述的电子设备的操作方法,其中,显示指示包括:
在所述语音通话期间监控所述与另一电子设备的视频通话的可用性,并且根据所述与另一电子设备的视频通话的可用性来改变和显示指示,
在向另一电子设备发送视频之前,当确定转换到所述视频通话模式时,基于所述电子设备和另一电子设备的容量或状态信息来确定所述视频通话的可用性,以及
基于所述确定的结果,当所述视频通话可用时显示要激活的指示,并且当所述视频通话不可用时显示要停用的指示。
15.如权利要求9所述的电子设备的操作方法,其中,所述电子设备
当在与另一电子设备的语音通话期间检测到用户输入时被切换到视频通话模式,并且通过第二网络接收和显示从另一电子设备发送的视频,以及
当另一电子设备请求所述视频通话模式时,自动地接受视频接收,并且自动地接收和显示从所述电子设备发送的视频。
CN201780016569.9A 2016-02-02 2017-02-01 用于提供图像服务的方法和装置 Active CN108781271B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160012793A KR20170091913A (ko) 2016-02-02 2016-02-02 영상 서비스 제공 방법 및 장치
KR10-2016-0012793 2016-02-02
PCT/KR2017/001066 WO2017135665A1 (ko) 2016-02-02 2017-02-01 영상 서비스 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
CN108781271A true CN108781271A (zh) 2018-11-09
CN108781271B CN108781271B (zh) 2021-12-28

Family

ID=59499949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016569.9A Active CN108781271B (zh) 2016-02-02 2017-02-01 用于提供图像服务的方法和装置

Country Status (5)

Country Link
US (2) US10715762B2 (zh)
EP (1) EP3402186A4 (zh)
KR (1) KR20170091913A (zh)
CN (1) CN108781271B (zh)
WO (1) WO2017135665A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177368A (zh) * 2019-07-16 2019-08-27 中国联合网络通信集团有限公司 一种呼叫建立方法和系统、视频通信服务器
CN110418298A (zh) * 2019-09-12 2019-11-05 中国联合网络通信集团有限公司 呼叫转移的方法和装置
CN112558905A (zh) * 2020-12-09 2021-03-26 深圳乐播科技有限公司 一种投屏方法、设备和系统
CN113034342A (zh) * 2021-05-28 2021-06-25 江西省江咨金发数据科技发展有限公司 基于时间轮转的电子保函认证系统
CN114245055A (zh) * 2021-12-08 2022-03-25 深圳位置网科技有限公司 一种用于紧急呼叫情况下视频通话的方法和系统
CN116048436A (zh) * 2022-06-17 2023-05-02 荣耀终端有限公司 应用界面显示方法、电子设备及存储介质
WO2024017296A1 (zh) * 2022-07-22 2024-01-25 华为技术有限公司 共享方法、电子设备及系统
EP4258686A4 (en) * 2021-01-13 2024-06-05 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR MEASURING THE POSTURE OF A USER AND METHOD THEREFOR

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD805102S1 (en) * 2015-01-27 2017-12-12 Twitter, Inc. Media sharing device with graphical user interface
US20190158724A1 (en) * 2017-11-17 2019-05-23 Seek Thermal, Inc. Network camera with local control bus
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
JP2017151493A (ja) * 2016-02-22 2017-08-31 富士ゼロックス株式会社 画像処理装置、画像読み取り装置及びプログラム
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
CN205656556U (zh) * 2016-05-25 2016-10-19 广东欧珀移动通信有限公司 一种移动终端
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
CN113411793A (zh) * 2016-08-18 2021-09-17 华为技术有限公司 一种蓝牙通信的方法及终端
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10453451B2 (en) 2017-07-05 2019-10-22 Comcast Cable Communications, Llc Methods and systems for using voice to control multiple devices
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
WO2019034640A1 (en) * 2017-08-14 2019-02-21 British Telecommunications Public Limited Company METHODS AND APPARATUS FOR ENCODING AUDIO AND / OR VIDEO DATA
US10356234B2 (en) * 2017-08-31 2019-07-16 Uniti, Llc Enhanced calling systems and methods
JP6337186B1 (ja) * 2017-09-01 2018-06-06 株式会社ドワンゴ コンテンツ共有支援装置およびオンラインサービス提供装置
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
US10664524B2 (en) * 2017-09-13 2020-05-26 Facebook, Inc. Highlighting portions of a live video broadcast
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
KR102560689B1 (ko) * 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
EP3687178B1 (en) 2017-09-26 2023-03-15 LG Electronics Inc. Overlay processing method in 360 video system, and device thereof
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
WO2019087577A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102518167B1 (ko) * 2017-11-30 2023-04-05 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
USD876458S1 (en) * 2017-12-04 2020-02-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD876459S1 (en) * 2017-12-04 2020-02-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD868810S1 (en) * 2017-12-04 2019-12-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD855059S1 (en) * 2018-03-06 2019-07-30 Google Llc Display screen with animated graphical user interface
USD855635S1 (en) * 2018-03-06 2019-08-06 Google Llc Display screen with animated graphical user interface
KR102076647B1 (ko) * 2018-03-30 2020-02-12 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템 및 방법
US11262903B2 (en) 2018-03-30 2022-03-01 Data Alliance Co., Ltd. IoT device control system and method using virtual reality and augmented reality
KR102472010B1 (ko) * 2018-05-04 2022-11-30 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10713487B2 (en) 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
USD898751S1 (en) * 2018-07-06 2020-10-13 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
CN108881780B (zh) * 2018-07-17 2021-02-12 聚好看科技股份有限公司 视频通话中动态调整清晰度模式的方法、服务器
FR3084186B1 (fr) * 2018-07-20 2021-06-04 Thales Sa Gestion de donnees avioniques et distribution d'affichages
TWI680661B (zh) * 2018-07-20 2019-12-21 茂傑國際股份有限公司 加值遠端顯示服務的無線路由伺服裝置及方法
US10715774B2 (en) 2018-07-23 2020-07-14 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
KR102558363B1 (ko) * 2018-08-08 2023-07-21 삼성전자주식회사 동적 이미지를 처리하는 방법 및 그 전자 장치
USD870140S1 (en) 2018-08-17 2019-12-17 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
CN109151565B (zh) * 2018-09-04 2019-12-20 北京达佳互联信息技术有限公司 播放语音的方法、装置、电子设备及存储介质
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11004549B2 (en) * 2018-09-28 2021-05-11 Varian Medical Systems International Ag Patient object mapping techniques
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
USD917528S1 (en) * 2018-10-23 2021-04-27 Yoox Net-A-Porter Group Spa Display screen with graphical user interface
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
USD904456S1 (en) * 2018-11-06 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11240574B2 (en) * 2018-12-11 2022-02-01 Sony Corporation Networked speaker system with audio network box
KR102088832B1 (ko) * 2018-12-12 2020-03-16 주식회사 디알엠인사이드 네트워크 속도와 리소스 중요도에 따른 epub 전자책 서비스 시스템 및 방법
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
KR20200091278A (ko) * 2019-01-22 2020-07-30 삼성전자주식회사 음성 입력과 관련된 비주얼 정보를 표시하는 방법 및 이를 지원하는 전자 장치
WO2020157183A1 (en) 2019-01-31 2020-08-06 British Telecommunications Public Limited Company Methods and apparatus for the encoding of audio and/or video data
US10674003B1 (en) * 2019-03-29 2020-06-02 Denso International America, Inc. Apparatus and system for identifying occupants in a vehicle
CN110087014B (zh) * 2019-04-29 2022-04-19 努比亚技术有限公司 视频补全方法、终端及计算机可读存储介质
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10852915B1 (en) * 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
KR102664820B1 (ko) * 2019-05-28 2024-05-09 삼성에스디에스 주식회사 데이터 전송 방법 및 이를 수행하기 위한 장치
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11012664B2 (en) * 2019-06-27 2021-05-18 Viewabo, Inc. Remote controlled video messaging session
WO2021002494A1 (ko) * 2019-07-02 2021-01-07 엘지전자 주식회사 디스플레이 장치
CN110381282B (zh) * 2019-07-30 2021-06-29 华为技术有限公司 一种应用于电子设备的视频通话的显示方法及相关装置
USD956771S1 (en) * 2019-08-06 2022-07-05 Twitter, Inc. Display screen with graphical user interface for peeking at a profile
US11335094B2 (en) * 2019-08-13 2022-05-17 Apple Inc. Detecting fake videos
US11283937B1 (en) * 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
JP7290317B2 (ja) * 2019-08-28 2023-06-13 ザインエレクトロニクス株式会社 映像信号送信装置、映像信号受信装置および映像信号送受信システム
USD987652S1 (en) * 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen with graphical user interface
USD987666S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
CN110677584A (zh) * 2019-09-30 2020-01-10 联想(北京)有限公司 一种处理方法及电子设备
USD918244S1 (en) * 2019-10-02 2021-05-04 Google Llc Display screen with graphical user interface
KR20210044025A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 전자 장치 및 그의 멀티 윈도우를 이용한 팝업 윈도우를 처리하는 방법
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR102646276B1 (ko) * 2019-10-29 2024-03-11 라인플러스 주식회사 새로운 사람을 소개해주는 영상통화의 통화시간을 공평하게 과금하는 방법 및 시스템
EP3820106A1 (en) * 2019-11-07 2021-05-12 Nokia Solutions and Networks Oy Method and apparatus for provisioning of internet devices
CN110928305B (zh) * 2019-12-03 2023-08-18 中国铁道科学研究院集团有限公司电子计算技术研究所 用于铁路客运车站巡更机器人的巡更方法及系统
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11417916B2 (en) * 2020-01-13 2022-08-16 Ford Global Technologies, Llc Intelligent vehicle battery charging for high capacity batteries
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US10887633B1 (en) * 2020-02-19 2021-01-05 Evercast, LLC Real time remote video collaboration
CN111259183B (zh) * 2020-02-21 2023-08-01 北京百度网讯科技有限公司 图像识图方法、装置、电子设备和介质
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
USD944820S1 (en) * 2020-03-24 2022-03-01 Beijing Dajia Internet Information Technology Co., Ltd. Display screen or portion thereof with animated graphical user interface
US11620795B2 (en) * 2020-03-27 2023-04-04 Snap Inc. Displaying augmented reality content in messaging application
USD941843S1 (en) * 2020-03-31 2022-01-25 Beijing Dajia Internet Information Technology Co., Ltd. Display screen or portion thereof with graphical user interface
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
KR20210150882A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 영상 통화 처리 방법, 그 방법을 수행하는 디스플레이 기기, 그를 수행하는 모바일 기기, 그 방법을 수행하는 서버 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
USD938982S1 (en) * 2020-06-12 2021-12-21 China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd Mobile device with graphical user interface for shooting, modeling, and editing of scenes
USD946018S1 (en) * 2020-06-18 2022-03-15 Apple Inc. Display screen or portion thereof with graphical user interface
US11372524B1 (en) * 2020-09-02 2022-06-28 Amazon Technologies, Inc. Multimedia communications with synchronized graphical user interfaces
KR20220031367A (ko) * 2020-09-04 2022-03-11 삼성전자주식회사 디스플레이 기기 및 그의 동작 방법
US11930240B2 (en) 2020-11-11 2024-03-12 Motorola Mobility Llc Media content recording with sensor data
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112492251A (zh) * 2020-11-24 2021-03-12 维沃移动通信有限公司 视频通话方法及装置
CN114691061A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在扩展显示屏幕记录期间管理的个人内容
CN114691060A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在设备屏幕记录期间管理的个人内容
USD982025S1 (en) * 2020-12-30 2023-03-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD995560S1 (en) * 2021-01-08 2023-08-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD992592S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD992593S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN112911387A (zh) * 2021-01-29 2021-06-04 联想(北京)有限公司 处理方法及处理装置
JP1706177S (ja) * 2021-02-09 2022-01-27 動画キャプチャー用画像
USD992567S1 (en) 2021-02-09 2023-07-18 Beijing Bytedance Network Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
USD992568S1 (en) 2021-02-09 2023-07-18 Beijing Bytedance Network Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
CN114915744A (zh) * 2021-02-09 2022-08-16 摩托罗拉移动有限责任公司 为受限屏幕记录而管理的记录内容
JP1725767S (ja) * 2021-02-09 2022-09-27 動画キャプチャー用画像
JP1706193S (ja) * 2021-02-09 2022-01-27 動画キャプチャー用画像
CN112911620B (zh) * 2021-02-18 2023-05-02 联想(北京)有限公司 信息处理方法、装置及电子设备和存储介质
USD985007S1 (en) * 2021-03-05 2023-05-02 Mobiline, Inc. Smartphone display with missed call graphical user interface
US11094135B1 (en) * 2021-03-05 2021-08-17 Flyreel, Inc. Automated measurement of interior spaces through guided modeling of dimensions
USD985012S1 (en) * 2021-03-05 2023-05-02 Mobiline, Inc. Smartphone display with personalized audio invitations graphical user interface
USD985579S1 (en) * 2021-03-05 2023-05-09 Mobiline, Inc. Smartphone display with personalized video invitations graphical user interface
USD989802S1 (en) * 2021-03-05 2023-06-20 Mobiline, Inc. Smartphone display with missed call graphical user interface
USD985017S1 (en) * 2021-03-05 2023-05-02 Mobiline, Inc. Smartphone display with personalized audio invitation graphical user interface
USD989775S1 (en) * 2021-03-05 2023-06-20 Mobiline, Inc. Smartphone display with personalized video invitation graphical user interface
USD997184S1 (en) * 2021-03-19 2023-08-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11496675B2 (en) * 2021-04-13 2022-11-08 Plantronics, Inc. Region of interest based adjustment of camera parameters in a teleconferencing environment
WO2022231380A1 (ko) * 2021-04-29 2022-11-03 키네마스터 주식회사 미세 조절 제어를 위한 컨텐츠 편집 제어 방법, 장치 및 컴퓨터 프로그램
EP4092379A1 (en) * 2021-05-20 2022-11-23 Hexagon Technology Center GmbH Surveying device with image evaluator for determining a spatial pose of the target axis
USD956810S1 (en) * 2021-05-22 2022-07-05 Airbnb, Inc. Display screen with graphical user interface
JP2023008612A (ja) * 2021-07-06 2023-01-19 キヤノン株式会社 通信装置、制御方法およびプログラム
CN113660448B (zh) * 2021-08-23 2022-07-15 珠海格力电器股份有限公司 通话处理方法、装置、终端设备及存储介质
US20230125385A1 (en) * 2021-10-25 2023-04-27 Hologic, Inc. Auto-focus tool for multimodality image review
USD1009075S1 (en) * 2021-12-21 2023-12-26 Igt Display screen or a portion thereof with a graphical user interface
US20230224402A1 (en) * 2022-01-13 2023-07-13 Joseph A. Charlson System, Method, and Apparatus for Initiating Outbound Communications from a User Device
WO2023156480A1 (en) * 2022-02-15 2023-08-24 Trinamix Gmbh Method for providing user-related and/or process-related information by a display device
CN114510849A (zh) * 2022-04-20 2022-05-17 国家超级计算天津中心 一种仿真处理方法、装置、设备及介质
EP4273669A1 (en) * 2022-05-06 2023-11-08 Nokia Technologies Oy Monitoring of facial characteristics
KR102564659B1 (ko) * 2022-05-31 2023-08-08 강병준 셋탑박스를 위한 서버기반 동적 모드셋 시스템
US20230403415A1 (en) * 2022-06-13 2023-12-14 Advanced Micro Devices, Inc Adaptive Decoder-Driven Encoder Reconfiguration
KR20240000690A (ko) * 2022-06-23 2024-01-03 삼성디스플레이 주식회사 터치 패널을 포함하는 표시 장치 및 터치 패널을 포함하는 표시 장치의 구동 방법
JP2024005948A (ja) * 2022-06-30 2024-01-17 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN117119512A (zh) * 2023-04-07 2023-11-24 荣耀终端有限公司 图标显示控制方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426246A (zh) * 2008-12-04 2009-05-06 中兴通讯股份有限公司 可视电话和语音电话的切换方法和装置
CN101500126A (zh) * 2008-01-28 2009-08-05 德信智能手机技术(北京)有限公司 一种视频通话过程中发送特效场景的方法
US20100149302A1 (en) * 2008-12-15 2010-06-17 At&T Intellectual Property I, L.P. Apparatus and method for video conferencing
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
CN201887888U (zh) * 2010-11-19 2011-06-29 聂新宇 网络视频监控系统
US20120170572A1 (en) * 2011-01-03 2012-07-05 Samsung Electronics Co., Ltd. Method for Enhancing Phone Conversations
CN102685241A (zh) * 2012-05-21 2012-09-19 广东威创视讯科技股份有限公司 一种远程维护系统及维护方法
CN203410366U (zh) * 2013-08-16 2014-01-29 长安大学 一种客车安全监控装置
KR20140029740A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
CN104065683A (zh) * 2013-03-21 2014-09-24 联想(北京)有限公司 远程控制方法和本地设备
US20150049158A1 (en) * 2013-08-19 2015-02-19 Omobayonle Olatunji Seamless call transitions

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US8373799B2 (en) * 2006-12-29 2013-02-12 Nokia Corporation Visual effects for video calls
KR100946914B1 (ko) 2007-07-18 2010-03-09 주식회사 케이티테크 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
US8254828B2 (en) 2007-11-30 2012-08-28 Apple Inc. Methods and systems for mixing media with communications
KR101460609B1 (ko) 2008-05-23 2014-11-14 삼성전자주식회사 모바일 단말기의 전화 수신 모드 결정 방법 및 장치
WO2010017842A1 (en) * 2008-08-14 2010-02-18 Telefonaktiebolaget Lm Ericsson (Publ) Sharing media in a communication network
US8452020B2 (en) 2008-08-20 2013-05-28 Apple Inc. Adjustment of acoustic properties based on proximity detection
US8189429B2 (en) 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
TWI439111B (zh) 2009-06-05 2014-05-21 Htc Corp 切換行動裝置之通話模式之方法以及可自動切換通話模式之行動裝置
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
US8970653B2 (en) * 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
US8767034B2 (en) * 2011-12-01 2014-07-01 Tangome, Inc. Augmenting a video conference
US9292195B2 (en) * 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
KR101850034B1 (ko) 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8947491B2 (en) * 2012-06-28 2015-02-03 Microsoft Corporation Communication system
US9112930B2 (en) 2012-10-26 2015-08-18 Microsoft Technology Licensing, Llc Updating services during real-time communication and sharing-experience sessions
KR102015349B1 (ko) 2012-11-16 2019-08-28 삼성전자 주식회사 통화 전환 방법 및 휴대 단말
KR20150009103A (ko) 2013-07-15 2015-01-26 주식회사 엘지유플러스 프라이버시 보호를 위한 단말 간 화면 공유 방법 및 그 단말
JP6097679B2 (ja) 2013-02-28 2017-03-15 エルジー アプラス コーポレーション 端末間機能共有方法及びその端末
KR101648611B1 (ko) 2013-07-16 2016-08-17 주식회사 엘지유플러스 영상통화-음성통화 전환 방법
US9372550B2 (en) * 2014-02-10 2016-06-21 Airtime Media, Inc. Automatic audio-video switching
US9516220B2 (en) * 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101500126A (zh) * 2008-01-28 2009-08-05 德信智能手机技术(北京)有限公司 一种视频通话过程中发送特效场景的方法
CN101426246A (zh) * 2008-12-04 2009-05-06 中兴通讯股份有限公司 可视电话和语音电话的切换方法和装置
US20100149302A1 (en) * 2008-12-15 2010-06-17 At&T Intellectual Property I, L.P. Apparatus and method for video conferencing
CN201887888U (zh) * 2010-11-19 2011-06-29 聂新宇 网络视频监控系统
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
US20120170572A1 (en) * 2011-01-03 2012-07-05 Samsung Electronics Co., Ltd. Method for Enhancing Phone Conversations
CN102685241A (zh) * 2012-05-21 2012-09-19 广东威创视讯科技股份有限公司 一种远程维护系统及维护方法
KR20140029740A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
CN104065683A (zh) * 2013-03-21 2014-09-24 联想(北京)有限公司 远程控制方法和本地设备
CN203410366U (zh) * 2013-08-16 2014-01-29 长安大学 一种客车安全监控装置
US20150049158A1 (en) * 2013-08-19 2015-02-19 Omobayonle Olatunji Seamless call transitions

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177368B (zh) * 2019-07-16 2022-04-15 中国联合网络通信集团有限公司 一种呼叫建立方法和系统、视频通信服务器
CN110177368A (zh) * 2019-07-16 2019-08-27 中国联合网络通信集团有限公司 一种呼叫建立方法和系统、视频通信服务器
CN110418298A (zh) * 2019-09-12 2019-11-05 中国联合网络通信集团有限公司 呼叫转移的方法和装置
CN112558905A (zh) * 2020-12-09 2021-03-26 深圳乐播科技有限公司 一种投屏方法、设备和系统
CN112558905B (zh) * 2020-12-09 2023-11-10 深圳乐播科技有限公司 一种投屏方法、设备和系统
EP4258686A4 (en) * 2021-01-13 2024-06-05 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR MEASURING THE POSTURE OF A USER AND METHOD THEREFOR
CN113034342A (zh) * 2021-05-28 2021-06-25 江西省江咨金发数据科技发展有限公司 基于时间轮转的电子保函认证系统
CN113034342B (zh) * 2021-05-28 2021-07-30 江西省江咨金发数据科技发展有限公司 基于时间轮转的电子保函认证系统
CN114245055A (zh) * 2021-12-08 2022-03-25 深圳位置网科技有限公司 一种用于紧急呼叫情况下视频通话的方法和系统
CN114245055B (zh) * 2021-12-08 2024-04-26 深圳位置网科技有限公司 一种用于紧急呼叫情况下视频通话的方法和系统
CN116048436A (zh) * 2022-06-17 2023-05-02 荣耀终端有限公司 应用界面显示方法、电子设备及存储介质
CN116048436B (zh) * 2022-06-17 2024-03-08 荣耀终端有限公司 应用界面显示方法、电子设备及存储介质
WO2024017296A1 (zh) * 2022-07-22 2024-01-25 华为技术有限公司 共享方法、电子设备及系统

Also Published As

Publication number Publication date
KR20170091913A (ko) 2017-08-10
EP3402186A1 (en) 2018-11-14
EP3402186A4 (en) 2019-01-16
US20190037173A1 (en) 2019-01-31
US10715762B2 (en) 2020-07-14
US11032514B2 (en) 2021-06-08
US20200358981A1 (en) 2020-11-12
WO2017135665A1 (ko) 2017-08-10
CN108781271B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN108781271A (zh) 用于提供图像服务的方法和装置
WO2020052529A1 (zh) 全屏显示视频中快速调出小窗口的方法、图形用户接口及终端
KR102445699B1 (ko) 전자 장치 및 그의 동작 방법
KR102377277B1 (ko) 전자 장치에서 커뮤니케이션 지원 방법 및 장치
KR102360067B1 (ko) 전자 장치 및 전자 장치의 정보 공유 방법
CN108600605A (zh) 移动终端及其控制方法
CN106254764A (zh) 电子装置和用于在电子装置中显示图像的方法
CN109471603A (zh) 一种界面显示方法及装置
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
KR20200024347A (ko) 메시징 애플리케이션들을 위한 채팅 독
CN108141535A (zh) 用于生成图像数据的电子设备和方法
JP7268275B2 (ja) 着信があるときに電子デバイス上に映像を提示するための方法、および電子デバイス
CN109154931A (zh) 显示内容的方法和适用于该方法的电子设备
CN107087101A (zh) 用于提供动态全景功能的装置和方法
CN108476302A (zh) 用于在语音呼叫期间发送视频的方法和设备
KR20160024143A (ko) 영상 처리 방법 및 전자 장치
KR102376700B1 (ko) 비디오 컨텐츠 생성 방법 및 그 장치
CN108933865A (zh) 移动终端及其控制方法
WO2022068819A1 (zh) 一种界面显示方法及相关装置
CN107925738A (zh) 用于提供图像的方法、电子设备和存储介质
KR102496225B1 (ko) 영상 인코딩 방법 및 이를 지원하는 전자 장치
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
KR102498815B1 (ko) 전자 장치 및 전자 장치의 비디오 편집 방법
CN110462617A (zh) 用于通过多个相机认证生物数据的电子装置和方法
CN109804618A (zh) 用于显示图像的电子设备和计算机可读记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant