CN113965553A - 电子装置及其操作方法 - Google Patents

电子装置及其操作方法 Download PDF

Info

Publication number
CN113965553A
CN113965553A CN202110468384.XA CN202110468384A CN113965553A CN 113965553 A CN113965553 A CN 113965553A CN 202110468384 A CN202110468384 A CN 202110468384A CN 113965553 A CN113965553 A CN 113965553A
Authority
CN
China
Prior art keywords
electronic device
filter
content
present disclosure
call channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110468384.XA
Other languages
English (en)
Inventor
都兑垣
金容台
李勋宰
全惠暎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113965553A publication Critical patent/CN113965553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1013—Network architectures, gateways, control or user entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种电子装置及其操作方法。所述电子装置包括：通信电路，所述通信电路被配置为使用通过与外部电子装置的呼叫连接建立的呼叫信道来发送或接收数据；以及处理器，所述处理器被配置为通过所述呼叫信道向所述外部电子装置发送使用第一发送滤波器预处理的内容，通过所述呼叫信道接收由所述外部电子装置发送的第一实时传输控制协议(RTCP)消息，基于所述第一RTCP消息识别所述呼叫信道的状态，确定是否使用第二发送滤波器来执行预处理要被发送到所述外部电子装置的所述内容的操作，向所述外部电子装置发送使用所述第二发送滤波器的第二RTCP消息，以及基于所述第二发送滤波器执行所述内容的发送。

Description

电子装置及其操作方法
技术领域
本公开涉及电子装置和操作电子装置的方法。更具体地，本公开涉及发送或接收使用了基于呼叫信道的状态选择的滤波器的内容的技术。
背景技术
诸如智能手机、平板个人电脑(PC)、便携式多媒体播放器(PMP)、个人数字助理(PDA)、膝上型PC、可穿戴装置等各种电子装置正在激增。
最近的电子装置能够基于互联网协议(IP)多媒体子系统(IMS)或融合通信(RCS)提供语音呼叫或视频呼叫。为了提供高质量的语音或视频，同时减小发送或接收到的语音数据或视频数据的大小，可以对语音数据或视频数据进行处理。语音数据或视频数据的处理主要可以分两步实现。处理使用麦克风产生的原始语音数据或使用相机产生的原始视频数据的操作可以包括使用滤波器减小数据大小同时使质量劣化最小化的操作，以及在压缩语音数据或视频数据时减小数据大小的操作。
电子装置可以在呼叫连接之后通过呼叫信道发送和接收数据。发送内容的电子装置可以依据呼叫信道的状态来调整内容的质量。当呼叫信道的状态相对较差时，发送内容的电子装置可以发送低质量的内容，从而增加内容发送成功率。
上述信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何一项是否可以作为本公开的现有技术来应用，还没有做出确定，也没有做出断言。
发明内容
为了提高发送/接收的语音数据或视频数据的质量，可以在语音数据或视频数据被编码之前，执行使用发送滤波器预处理语音数据或视频数据的操作。最近，随着与人工智能、机器学习或深度学习相关的技术的发展，以及神经处理单元的出现，关于使用发送滤波器来改善语音数据或视频数据的质量的研究正在进行中。
接收预处理后的语音数据或视频数据的电子装置可以使用与预处理中使用的发送滤波器相对应的接收滤波器来对预处理后的语音数据或视频数据进行后处理。后处理的语音数据或视频数据可以具有比接收到的语音数据或视频数据更高的质量。
然而，由与人工智能相关的技术实现的发送滤波器和/或接收滤波器可能比根据相关技术的发送滤波器和/或接收滤波器具有更高的功耗。通过与人工智能相关的技术实现的使用发送滤波器进行预处理内容的操作和使用接收滤波器进行后处理内容的操作可能比由于根据相关技术的神经处理单元的操作使用发送滤波器进行预处理内容的操作和使用接收滤波器进行后处理内容的操作具有更高的电池消耗。
本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一个方面是提供一种发送或接收使用了基于呼叫信道的状态选择的滤波器的内容的装置和方法。
附加的方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来了解。
根据本公开的一个方面，提供了一种电子装置。所述电子装置包括：通信电路，所述通信电路被配置为使用通过与外部电子装置的呼叫连接建立的呼叫信道来发送或接收数据；以及处理器，其中所述处理器被配置为通过所述呼叫信道向所述外部电子装置发送使用第一发送滤波器预处理的内容，通过所述呼叫信道接收由所述外部电子装置发送的第一实时传输控制协议(RTCP)消息，基于所述第一RTCP消息识别所述呼叫信道的状态，基于所述呼叫信道的状态和所述外部电子装置的性能信息，确定是否使用第二发送滤波器来执行预处理要被发送到所述外部电子装置的所述内容的操作，向所述外部电子装置发送指示是否使用所述第二发送滤波器来执行预处理所述内容的操作的第二RTCP消息，以及基于所述第二发送滤波器执行所述内容的发送。
根据本公开的另一方面，提供了一种操作电子装置的方法。所述方法包括：通过在外部电子装置与所述电子装置之间建立的呼叫信道，将使用第一发送滤波器预处理的内容发送到所述外部电子装置；通过所述呼叫信道从所述外部电子装置接收第一实时传输控制协议(RTCP)消息；基于所述第一RTCP消息识别所述呼叫信道的状态；基于所述呼叫信道的状态和所述外部电子装置的性能信息，确定是否使用第二发送滤波器来执行预处理要被发送到所述外部电子装置的所述内容的操作；向所述外部电子装置发送指示是否使用所述第二发送滤波器的第二RTCP消息；以及基于所述第二发送滤波器执行所述内容的发送。
根据各种实施例的电子装置和操作电子装置的方法可以基于从接收内容的第二电子装置发送的第一RTCP消息来识别呼叫信道的状态，并且可以基于所述呼叫信道的状态来确定是否使用第二发送滤波器来执行预处理所述内容的操作。因此，根据各种实施例的电子装置和操作电子装置的方法能够在所述呼叫信道的状态相对较差的情况下使用能够提供高质量内容的发送滤波器向接收侧的用户提供高质量内容。
根据各种实施例的电子装置和操作电子装置的方法可以基于从接收内容的第二电子装置发送的第一RTCP消息来识别呼叫信道的状态，并且可以基于所述呼叫信道的状态来确定是否使用第二发送滤波器来执行预处理所述内容的操作。因此，根据各种实施例的电子装置和操作电子装置的方法能够在所述呼叫信道的状态相对良好的情况下使用具有低功耗的发送滤波器来降低电池的功耗，从而防止装置在发送侧的温度突然升高。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员来说将变得显而易见。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是根据本公开的实施例的电子装置的框图；
图2是根据本公开的实施例的程序的框图；
图3A和图3B是示出根据本公开的各种实施例的第一电子装置和第二电子装置发送或接收语音或视频内容的实施例的框图；
图4A和图4B是根据本公开的各种实施例的第一电子装置的框图；
图5是根据本公开的实施例的第二电子装置的框图；
图6是示出根据本公开的实施例的当第一电子装置和第二电子装置处于呼叫连接状态时确定是否使用第二发送滤波器预处理内容的操作的流程图；
图7是示出根据本公开的实施例的第一电子装置基于呼叫信道的状态使用第一发送滤波器和第二发送滤波器之一预处理内容的实施例的流程图；以及
图8是示出根据本公开的实施例的操作电子装置的方法的流程图。
在所有附图中，相同的附图标记用于表示相同的元件。
具体实施方式
参考附图的以下描述被提供来帮助全面理解由权利要求及其等同形式所定义的本公开的各种实施例。该描述包括有助于理解的各种具体细节，但是这些仅仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书目意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说显而易见的是，以下对本公开的各种实施例的描述仅仅是为了说明的目的而提供的，而不是为了限制由所附权利要求及其等同形式限定的本公开。
应当理解，单数形式“一”、“一个”和“该”包括复数指代物，除非上下文另有明确规定。因此，例如，提及“部件表面”包括提及一个或更多个这样的表面。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未启用(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于启用状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各种实施例的程序140的框图200。根据实施例，程序140可包括用于控制电子装置101的一个或更多个资源的操作系统(OS)142、中间件144或可在OS 142中运行的应用146。OS 142可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。例如，可在制造期间将程序140中的至少一部分预载入到电子装置101上，或者可在用户使用期间从外部电子装置(例如，电子装置102或电子装置104，或者服务器108)下载或由外部电子装置更新程序140中的至少一部分。
OS 142可控制电子装置101的一个或更多个系统资源(例如，进程、存储器或电源)的管理(例如，分配或解除分配)。另外或可选地，OS 142可包括用于驱动电子装置101的其它硬件装置(例如，输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块196或天线模块197)的一个或更多个驱动程序。
中间件144可向应用146提供各种功能，使得应用146可使用从电子装置101的一个或更多个资源提供的功能或信息。中间件144可包括例如应用管理器201、窗口管理器203、多媒体管理器205、资源管理器207、电力管理器209、数据库管理器211、包管理器213、连接管理器215、通知管理器217、位置管理器219、图形管理器221、安全管理器223、电话管理器225或语音识别管理器227。
应用管理器201例如可管理应用146的生命周期。窗口管理器203例如可管理在屏幕上使用的一个或更多个图形用户界面(GUI)资源。多媒体管理器205例如可识别将用于播放媒体文件的一个或更多个格式，并可使用适合于从所述一个或更多个格式中选择的相应格式的编解码器对媒体文件之中的相应媒体文件进行编码或解码。资源管理器207例如可管理应用146的源代码或存储器130的存储空间。电力管理器209例如可管理电池189的容量、温度或电力，并可至少部分基于电池189的容量、温度或电力的相应信息来确定或提供将用于电子装置101的操作的相关信息。根据实施例，电力管理器209可与电子装置101的基本输入/输出系统(BIOS)(未示出)协同工作。
数据库管理器211例如可产生、搜索或改变将由应用146使用的数据库。包管理器213例如可管理以包文件的形式分布的应用的安装或更新。连接管理器215例如可管理电子装置101与外部电子装置之间的无线连接或直接连接。通知管理器217例如可提供用于向用户通知发生特定事件(例如，呼入呼叫、消息或警报)的功能。位置管理器219例如可管理关于电子装置101的位置信息。图形管理器221例如可管理将向用户提供的一个或更多个图形效果或与所述一个或更多个图形效果有关的用户界面。
安全管理器223例如可提供系统安全或用户认证。电话管理器225例如可管理由电子装置101提供的语音呼叫功能或视频呼叫功能。语音识别管理器227例如可向服务器108发送用户的语音数据，并从服务器108接收与将至少部分基于语音数据或至少部分基于语音数据而转换的文本数据在电子装置101上运行的功能相应的命令。根据实施例，中间件144可动态地删除一些现有组件或添加新的组件。根据实施例，可包括中间件144中的至少一部分作为OS 142的一部分，或者可将中间件144中的至少一部分实现为与OS142分离的另一软件。
应用146可包括例如主页251、拨号器253、短消息服务(SMS)/多媒体消息服务(MMS)255、即时消息(IM)257、浏览器259、相机261、闹铃263、联系人265、语音识别267、电子邮件269、日历271、媒体播放器273、相册275、手表277、健康279(例如，用于测量锻炼程度或生物信息(诸如血糖))或环境信息281(例如，用于测量气压、湿度或温度信息)应用。根据实施例，应用146还可包括能够支持电子装置101与外部电子装置之间的信息交换的信息交换应用(未示出)。信息交换应用例如可包括适用于向外部电子装置传送指定信息(例如，呼叫、消息或警报)的通知转发应用或适用于管理外部电子装置的装置管理应用。通知转发应用可向外部电子装置传送与在电子装置101的另一应用(例如，电子邮件应用269)发生特定事件(例如，接收到电子邮件)相应的通知信息。另外或可选地，通知转发应用可从外部电子装置接收通知信息并向电子装置101的用户提供通知信息。
装置管理应用可控制外部电子装置或外部电子装置的一些组件(例如，外部电子装置的显示装置或相机模块)的电力(例如，开启或关闭)或功能(例如，亮度、分辨率或焦点的调整)。另外或可选地，装置管理应用可支持在外部电子装置上运行的应用的安装、删除或更新。
图3A和图3B是示出根据本公开的各种实施例的第一电子装置和第二电子装置发送或接收语音或视频内容的实施例的框图。
参考图3A和图3B，第一电子装置310(例如，图1中的电子装置101)和第二电子装置320(例如，图1中的电子装置101)可以基于各种方法(例如，互联网协议(IP)多媒体子系统(IMS)或融合通信(RCS))来执行语音呼叫或视频呼叫。为了便于解释，第一电子装置310将被定义为“发送终端”，第二电子装置320将被定义为“接收终端”。为了确定在呼叫连接期间发送和接收的比特率、压缩格式(编解码器)或语音数据或视频数据的质量(例如，这可以指示表示语音数据或视频数据的质量的各种变量，包括语音数据的采样率和视频数据的分辨率)，第一电子装置310和第二电子装置320可以使用会话描述协议(SDP)中定义的方法来执行相互协商。第一电子装置310和第二电子装置320可以通过相互协商来确定要发送的语音数据或视频数据的特征，并且可以使用所确定的特征来发送或接收语音数据或视频数据。稍后将参考图4A描述第一电子装置310与第二电子装置320之间的呼叫连接的相互协商过程的实施例。
参照图3A，图3A是示出在第一电子装置310与第二电子装置320之间处理语音数据的实施例的图。
根据本公开的各种实施例，第一电子装置310可以包括用于从第一电子装置310的用户接收语音的麦克风311(例如，图1中的输入装置150)、发送滤波器313、用于对发送滤波器313发送的语音数据进行编码以压缩语音数据的编码器315以及用于将编码后的语音数据转换成包形式的语音包数据的打包器317。
根据本公开的各种实施例，发送滤波器313可以是对从麦克风311发送的用户的语音数据执行滤波操作的元件。发送滤波器313可以在由麦克风311产生的语音数据被输入到编码器315之前执行预处理操作(例如，滤波操作)，从而产生具有比由麦克风311产生的语音数据的采样率更低的采样率的语音数据(例如，缩小)。发送滤波器313可以产生具有低采样率的语音数据，并且可以将产生的语音数据发送到编码器315，从而减小要被发送到第二电子装置320的语音数据的大小。
根据本公开的各种实施例，发送滤波器313可以使用各种算法来实现，并且可以产生具有相对低的采样率的语音内容，同时完全保持由麦克风311产生的语音内容的质量。
根据本公开的各种实施例，第二电子装置320可以包括：解包器321，用于将通过网络330接收到的语音数据包转换成编码的语音数据；解码器323，用于解码由解包器321转换的编码的语音数据；接收滤波器325，用于改变解码的语音数据的采样率；以及扬声器327(例如，图1中的声音输出装置155)，用于输出由接收滤波器产生的语音数据。
根据本公开的各种实施例，接收滤波器325可以是对由解码器323产生的解码的语音数据执行滤波操作的元件。接收滤波器325可以对解码的语音数据执行后处理操作(例如，滤波操作)，从而产生具有比对应于解码的语音数据的采样率更高的采样率的语音数据(例如，升高)。接收滤波器325可以产生具有比对应于解码的语音数据的采样率更高的采样率的语音内容，并且可以将产生的语音内容发送到扬声器327。
根据本公开的各种实施例，接收滤波器325可以使用各种算法来实现，并且可以产生质量尽可能类似于由麦克风311产生的语音内容的语音内容。
根据本公开的各种实施例，发送滤波器313和接收滤波器325是已经习得如何完全保持原始语音或视频的质量的滤波器，并且可以被电子装置101的处理器(例如，图1中的主处理器121或图1中的辅助处理器123(例如，图形处理单元(GPU)或神经处理单元(NPU)))用于处理语音数据或视频数据。
参考图3B，图中示出了在第一电子装置310与第二电子装置320之间处理视频数据的实施例。
根据本公开的各种实施例，第一电子装置310可以包括用于产生包括至少一个静止图像的视频数据的相机341(例如，图1中的相机模块180)、发送滤波器343、用于对从发送滤波器343发送的视频数据进行编码以压缩视频数据的编码器345以及用于将编码的视频数据转换成包形式的视频包数据的打包器347。
根据本公开的各种实施例，发送滤波器343可以是对视频数据执行滤波操作的元件。发送滤波器343可以在由相机341产生的视频数据被输入到编码器345之前执行预处理操作(例如，滤波操作)，从而产生分辨率低于由相机341产生的视频数据的分辨率的视频数据(例如，缩小)。发送滤波器343可以产生具有相对低分辨率的视频数据，并且可以将产生的视频数据发送到编码器345，从而减小要被发送到第二电子装置320的视频数据的大小。
根据本公开的各种实施例，发送滤波器343可以使用各种算法来实现，并且可以产生具有相对低分辨率的视频数据，同时完全保持由相机341产生的视频数据的质量。
根据本公开的各种实施例，第二电子装置320可以包括：解包器351，用于将通过网络330接收到的视频数据包转换成编码视频数据；解码器353，用于解码由解包器351转换的编码视频数据；接收滤波器355，用于改变解码视频数据的分辨率；以及显示器357(例如，图1中的显示装置160)，用于输出由接收滤波器355产生的视频数据。
根据本公开的各种实施例，接收滤波器355可以是对由解码器353产生的解码的视频数据执行滤波操作的元件。接收滤波器355可以对解码的视频数据执行后处理操作(例如，滤波操作)，从而产生具有比解码的视频数据的分辨率更高的分辨率的视频数据(例如，提高)。接收滤波器355可以向显示器357发送具有相对高分辨率的视频数据。
根据本公开的各种实施例，接收滤波器355可以使用各种算法来实现，并且可以产生质量尽可能类似于由相机341产生的视频数据的视频数据。
根据本公开的各种实施例，发送滤波器343和接收滤波器355是已经习得如何完全保持原始语音或视频的质量的滤波器，并且可以被电子装置101的处理器(例如，图1中的主处理器121或辅助处理器123)用于处理语音数据或视频数据。
根据本公开的各种实施例，发送滤波器313和343以及接收滤波器325和355可以是使用相同算法实现的滤波器，并且可以被配置作为用于滤波语音数据或视频数据的一对滤波器。作为一对的发送滤波器313和343以及接收滤波器325和355的操作可以指示使用利用相同算法实现的滤波器来对语音数据或视频数据进行滤波的操作。只有当第一电子装置310和第二电子装置320使用利用相同算法实现的发送滤波器313和343以及接收滤波器325和355时，第二电子装置320才能够获得与第一电子装置310产生的内容(例如，语音数据或视频数据)相似质量的内容。
根据本公开的各种实施例，包括在第一电子装置310和第二电子装置320中的各种元件(例如，发送滤波器313和343、编码器315和345、打包器317和347、解包器321和351、解码器323和353以及接收滤波器325和355)可以由软件或硬件实现(例如，实现为电路或芯片)。
图4A是根据本公开的实施例的电子装置的框图。
参考图4A，假设电子装置400对应于发送终端(例如，图3A中的第一电子装置310)，外部电子装置对应于第二电子装置(例如，图3A中的第二电子装置320)，将描述基于第一电子装置310与第二电子装置320之间的呼叫信道的状态信息来启用发送滤波器313的实施例。
根据本公开的各种实施例，第一电子装置400(例如，图1中的电子装置101或图3A和图3B中的第一电子装置310)可以包括通信电路410(例如，图1中的无线通信模块192)和处理器420(例如，图1中的处理器120)。处理器420可以是图1中的主处理器121或辅助处理器123之一。如果处理器420是辅助处理器123，则处理器420可以是图形处理单元(GPU)或神经处理单元(NPU)。
根据本公开的各种实施例，通信电路410可以使用通过与外部电子装置(例如，图3A和图3B中的第二电子装置320)的呼叫连接建立的通信信道(例如，蜂窝通信信道)来发送语音数据或视频数据。除此之外，通信电路410可以从第二电子装置320接收语音数据或视频数据，并且可以向或从第二电子装置320发送或接收控制消息(例如，SDP类型的消息)。
根据本公开的各种实施例，处理器420可以使用会话描述协议中定义的方法来执行与第二电子装置320的呼叫连接的协商。
根据本公开的各种实施例，处理器420可以控制通信模块410向第二电子装置320发送用于在第二电子装置320与第一电子装置310之间建立呼叫信道的呼叫连接请求消息。例如，呼叫连接请求消息可以以会话描述协议(SDP)中定义的SDP邀请消息的形式来实现。
根据本公开的各种实施例，呼叫连接请求消息可以包括由第一电子装置400发送的语音数据或视频数据的质量信息。例如，语音数据的质量信息可以包括能够利用麦克风(例如，图3A中的麦克风311)产生的语音数据的采样率、能够通过网络(例如，图3A中的网络330)发送的语音数据的采样率、或者能够由第二电子装置320接收的语音数据的采样率。视频数据的质量信息可以包括能够利用相机(例如，图3B中的相机341)产生的视频数据的分辨率、能够通过网络330发送的视频数据的分辨率、或者能够由外部电子装置接收的视频数据的分辨率。
例如，呼叫连接请求消息可以以下面表1所示的形式实现。
表1
Figure BDA0003044270840000151
Figure BDA0003044270840000161
参考表1，呼叫连接请求消息可以包括：指示第一电子装置310是否支持使用特定算法预处理语音数据的操作的指示符(a＝mediaproc)；关于是否支持使用神经处理单元(NPU)和NPU信息的处理操作的信息(a＝npu:ver2.0)；发送滤波器313或343的识别信息(upmodel＝voice_up_coeff_1.1和upmodel＝video_up_coeff_1.02)、接收滤波器325或355的识别信息(downmodel＝voice_down_coeff_1.1和downmodel＝video_down_coeff_1.02)；以及语音数据或视频数据的质量信息。语音数据或视频数据的质量信息可以包括在SDP邀请消息的消息体字段(例如，消息体字段的字段“m”)中。
根据本公开的各种实施例，第二电子装置320可以识别包括在呼叫连接请求消息中的语音数据或视频数据的质量信息，并且可以从第一电子装置400能够支持的数据发送方法中选择能够被第二电子装置320支持的数据发送方法(例如，语音数据的采样方法和采样速率，或者视频数据的压缩格式和分辨率)。第二电子装置320可以向第一电子装置400发送包括关于所选数据发送方法的信息的响应消息。响应消息可以以SDP协议中定义的SDP200OK消息的形式来实现。例如，响应消息可以以下面表2中描述的形式实现。
表2
Figure BDA0003044270840000171
参考表2，响应消息可以包括：指示第二电子装置320是否支持使用特定算法对语音数据或视频数据进行后处理的操作的指示符(a＝mediaproc)；关于是否支持使用神经处理单元(NPU)和NPU信息的处理操作的信息(a＝npu:ver1.0)；发送滤波器313或343的识别信息(upmodel＝voice_up_coeff_1.0和upmodel＝nobias1.01)；接收滤波器325或355的识别信息(downmodel＝voice_down_coeff_1.0和downmodel＝basedown1.01)；以及语音数据或视频数据的质量信息。
根据本公开的各种实施例，处理器420可以响应于响应消息的接收，向第二电子装置320发送呼叫连接确认消息。
根据本公开的各种实施例，呼叫连接确认消息可以是指示使用包括在响应消息中的语音数据或视频数据的发送方法来执行呼叫连接的消息。例如，呼叫连接确认消息可以是关于从第二电子装置320发送的响应消息的ACK信号。
根据本公开的各种实施例，第一电子装置400可以与接收到呼叫连接确认消息的第二电子装置320执行用于呼叫连接的各种操作中的至少一种(例如，启用麦克风311以产生语音数据的操作、启用相机341以产生视频数据的操作或者控制通信电路410以发送或接收用于建立呼叫信道的数据的操作)。
根据本公开的各种实施例，处理器420可以控制通信电路410通过在第一电子装置400与第二电子装置320之间建立的呼叫信道发送或接收各种数据。根据本公开的实施例，处理器420可以借助于通过呼叫信道发送或接收内容来执行第一电子装置400与第二电子装置320之间的视频呼叫。
根据本公开的各种实施例，处理器420可以执行预处理内容(例如，语音数据或视频数据)的操作，作为将内容的至少一部分发送到第二电子装置320的操作的一部分。处理器420可以使用发送滤波器(例如，图3A中的发送滤波器313或图3B中的发送滤波器343)来执行预处理内容的操作，从而转换内容以便具有通过呼叫连接协商指定的质量。
参考图4B，第一电子装置400可以包括至少两个或更多个发送滤波器，包括第一发送滤波器421(例如，图4B中的第一视频发送滤波器452-1和图4B中的第一语音发送滤波器442-1)和第二发送滤波器422(例如，图4B中的第二视频发送滤波器452-2和图4B中的第二语音发送滤波器442-2)。在内容的预处理操作中，第二发送滤波器422可以是能够实现比使用第一发送滤波器421预处理的内容具有更高质量的视频的滤波器。例如，第二发送滤波器422可以处理从第二电子装置320输出的语音数据或视频数据，以便具有比第一发送滤波器421更高的采样率。使用第二发送滤波器422预处理的内容可以具有与原始内容基本相同的质量。第二发送滤波器422可以是用于第一电子装置400的处理器420处理语音数据或视频数据的滤波器。
然而，与使用第一发送滤波器422的内容预处理操作相比，由于电子装置101的图形处理单元或神经处理单元的操作，使用第二发送滤波器422的内容预处理操作可能导致电池消耗量的增加。
根据各种实施例的第一电子装置400可以基于第一电子装置400与第二电子装置320之间的呼叫信道的状态、第一电子装置400的性能信息和/或第二电子装置320的性能信息来选择第一发送滤波器421或第二发送滤波器422中的任何一个，并且可以使用所选择的滤波器来执行预处理内容的操作。根据本公开的实施例，如果第一电子装置400与第二电子装置320之间的呼叫信道的状态良好(或者如果其丢包率低)，则第一电子装置400使用第一视频发送滤波器452-1执行内容的预处理，从而实现相对低的功耗。根据本公开的实施例，如果第一电子装置400与第二电子装置320之间的呼叫信道的状态差(或者如果其包丢失率高)，则第一电子装置400可以使用第二视频发送滤波器452-2来执行内容的预处理，从而发送相对高质量的内容。
在下文中，将描述基于第一电子装置400与第二电子装置320之间的网络的状态信息，使用第一发送滤波器421或第二发送滤波器422的一个视频发送滤波器来预处理视频的操作。
根据本公开的各种实施例，为了实现实时数据发送或接收，处理器420可以通过实时传输协议(RTP)包向第二电子装置320发送至少一部分内容。处理器420可以接收包括从第二电子装置320发送的内容(例如，视频数据)的RTP包。
根据本公开的各种实施例，处理器420可以接收第一实时传输控制协议(RTCP)消息，该消息包括用于控制通过通信电路410从第二电子装置320发送或接收内容的控制信息。
根据本公开的各种实施例，第一RTCP消息可以包括用于识别第一电子装置400与第二电子装置320之间的呼叫信道的状态的信息。
根据本公开的实施例，第一RTCP消息可以包括单向延迟(OWD)信息，该信息指示由第一电子装置400或第二电子装置320发送的包(例如，RTP包)停留在呼叫信道中的时间。OWD信息可以包括第一电子装置400发送指定包的时间与第二电子装置320接收指定包的时间之间的差值，或者第二电子装置320发送指定包的时间与第一电子装置400接收指定包的时间之间的差值。OWD信息的增加可以指示包在呼叫信道中停留的时间增加，并且包在呼叫信道中停留的时间增加可以指示呼叫信道的状态劣化。OWD信息可以被包括在接收方报告(RR)类型或发送方报告(SR)类型的第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括感知比特率信息，该感知比特率信息是从第一电子装置400发送的包(例如，RTP包)的大小与第二电子装置320接收的包的大小的比率。如果由第二电子装置320接收的包的大小小于由第一电子装置400发送的包的大小，这可以指示呼叫信道的状态劣化。感知比特率信息可以以特定应用(APP)类型被包括在第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括指示当第二电子装置320接收到从第一电子装置400发送的包时，由第一电子装置400发送的包(例如，RTP包)的丢失率的包丢失率。包丢失率的增加可能指示呼叫信道的状态劣化。包丢失率可以被包括在接收机报告类型的第一RTCP消息的有效载荷中。
根据本公开的各种实施例，处理器420可以基于包括在第一RTCP消息中的指示呼叫信道的状态的信息来识别(或预测)第一电子装置400与第二电子装置320之间的呼叫信道的状态。
根据本公开的各种实施例，处理器420可以在向第二电子装置320发送内容的同时，每隔指定时间段接收第一RTCP消息。处理器420可以基于第一RTCP消息，每隔指定时间段识别第一电子装置400与第二电子装置320之间的呼叫信道的状态。处理器420可以识别呼叫信道的状态是否满足指定的条件。指定的条件可以是指示呼叫信道的状态劣化的条件。响应于识别出呼叫信道的状态满足指定条件，处理器420可以减小要发送到第二电子装置320的内容的大小，以便增加要发送到第二电子装置320的内容的发送速率。
根据本公开的各种实施例，处理器420可以降低视频内容的分辨率和/或帧速率，以便降低要发送到第二电子装置320的内容的大小。处理器420可以降低语音内容的声音质量，以便减小要发送到第二电子装置320的内容的大小。为了增加(或提高)由于呼叫信道的状态而具有相对低质量的内容的质量，在第二电子装置320支持与第二发送滤波器422相对应的第二接收滤波器(例如，图5中的第二接收滤波器522)的情况下，第一电子装置400可以使用第二发送滤波器422来执行内容的预处理。
根据本公开的各种实施例，处理器420可以识别第二电子装置320的性能信息，该性能信息与第二电子装置320是否能够处理使用第二发送滤波器422预处理的内容相关。
根据本公开的各种实施例，处理器420可以在第一电子装置400与第二电子装置320之间的呼叫信道连接之前或者在第一电子装置400与第二电子装置320之间的呼叫信道连接之后识别第二电子装置320的性能信息。
根据本公开的各种实施例，当在第一电子装置400与第二电子装置320之间建立呼叫连接时，处理器420可以接收包括第二电子装置320的性能信息的呼叫连接响应消息，并且可以识别包括在呼叫连接响应消息中的第二电子装置320的性能信息。
根据本公开的各种实施例，处理器420可以在第一电子装置400与第二电子装置320之间的呼叫信道连接之后接收包括第二电子装置320的性能信息的RTCP消息，并且可以识别包括在RTCP消息中的第二电子装置320的性能信息。包括第二电子装置320的性能信息的RTCP消息可以是与第一RTCP消息相同的消息，或者可以是与第一RTCP消息不同的消息。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于电子装置400能够处理使用第二发送滤波器422预处理的内容的元件的信息(例如，以软件实现的元件(图4B中的第二视频接收滤波器457-2或图4B中的第二语音接收滤波器447-2)或以硬件实现的元件(例如，神经处理单元))。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于与第二发送滤波器422相对应的第二接收滤波器(例如，图5中的第二接收滤波器522)的信息。例如，关于第二接收滤波器522的信息可以包括第二接收滤波器522的模型信息、其版本信息以及关于第二接收滤波器522能够处理的语音数据的最大采样率或视频数据的最大分辨率的信息。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于第二电子装置320的电池电量的信息。如果第二电子装置320的电池电量大于或等于指定值，则第二电子装置320可以启用与第二发送滤波器422相对应的第二接收滤波器447-2或457-2。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于第二电子装置320的温度的信息。第二电子装置320的温度可以是在第二电子装置320中实现的元件(例如，应用处理器)的测量温度。如果第二电子装置320的温度小于或等于指定值，则第二电子装置320可以启用与第二发送滤波器422相对应的第二接收滤波器447-2或457-2。
根据本公开的各种实施例，处理器420可以基于呼叫信道的状态和第二电子装置320的性能信息，确定是否使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的各种实施例，响应于识别出第二电子装置320不支持与第二发送滤波器422相对应的第二接收滤波器，处理器420可以不执行使用第二发送滤波器422进行预处理内容的操作。在此情况下，处理器420可以使用第一发送滤波器421来执行预处理内容的操作。
根据本公开的各种实施例，响应于识别出第二电子装置320支持与第二发送滤波器422相对应的第二接收滤波器并且呼叫信道的状态满足指定条件，处理器420可以确定使用第二发送滤波器422来执行预处理内容的操作。指定的条件可以指示呼叫信道的状态是劣化的。
根据本公开的实施例，响应于识别出OWD值大于或等于(或高于)指定值，处理器420可以确定使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的实施例，响应于识别出感知比特率值小于或等于(或低于)指定值，处理器420可以确定使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的实施例，响应于识别出包丢失率值大于或等于(或高于)指定值，处理器420可以确定使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的各种实施例，响应于确定使用第二发送滤波器422执行预处理内容的操作，处理器420可以控制通信电路410向第二电子装置320发送第二RTCP消息，该第二RTCP消息指示使用第二发送滤波器执行预处理内容的操作。响应于确定使用第一发送滤波器421执行预处理内容的操作，处理器420可以控制通信电路410向第二电子装置320发送第二RTCP消息，该第二RTCP消息指示使用第一发送滤波器421执行预处理内容的操作。
根据本公开的各种实施例，处理器420可以启用第二发送滤波器422，并且可以使用第二发送滤波器422来执行预处理内容的操作。响应于在使用第一发送滤波器421执行预处理内容的操作的情况下使用第二发送滤波器422执行预处理内容的操作的确定，处理器420可以停用第一发送滤波器421，并且可以启用第二发送滤波器422。
根据本公开的各种实施例，处理器420可以在启用第二发送滤波器422的同时保持第一发送滤波器421的启用状态。根据本公开的实施例，处理器420可以通过第一发送滤波器421将效果应用于内容，并且可以执行预处理通过第二发送滤波器422应用了效果的内容的操作。处理器420可以使用第一发送滤波器421将各种效果(例如，在视频数据的情况下，包括在视频数据中的帧的至少一部分上的效果(例如，美颜、黑白效果、反转效果和棕褐色效果))应用于内容。
根据本公开的各种实施例，处理器420可以在确定使用第二发送滤波器422执行预处理内容的操作时进一步考虑第一电子装置400的性能信息。
根据本公开的各种实施例，第一电子装置400的性能信息可以包括关于第一电子装置400的电池电量的信息。如果第一电子装置400的电池电量大于或等于指定值，则第一电子装置400可以确定使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的各种实施例，第一电子装置400的性能信息可以包括关于第一电子装置400的温度的信息。第一电子装置400的温度可以是在第一电子装置400中实现的元件(例如，应用处理器)的测量温度。如果第一电子装置400的温度小于或等于指定值，则第一电子装置400可以确定使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的各种实施例，处理器420可以基于呼叫信道的状态、第二电子装置320的性能信息和/或第一电子装置400的性能信息来选择执行内容预处理的发送滤波器。根据本公开的实施例，如果呼叫信道的状态满足预定条件(例如，指示呼叫信道的状态相对良好的条件)，则处理器420可以选择能够执行预处理操作并且具有低功耗的第一发送滤波器421，并且可以使用第一发送滤波器421执行预处理内容的操作。根据本公开的实施例，如果呼叫信道的状态满足预定条件(例如，指示呼叫信道的状态相对较差的条件)(例如，在要发送比通过呼叫信道连接协商的质量(例如，分辨率或声音质量)更低的质量的内容的情况下)，则处理器420可以选择能够执行用于发送相对高质量的内容的预处理操作的第二发送滤波器422，并且可以使用第二发送滤波器422执行预处理内容的操作。因此，根据各种实施例的第一电子装置400即使在呼叫信道的状态相对较差时也能够发送高质量的内容，并且能够在呼叫信道的状态相对较好时降低功耗。
尽管以上实施例是在假设第一电子装置400包括第一发送滤波器421和第二发送滤波器422的情况下描述的，但是第一电子装置400可以仅包括第二发送滤波器422。在第一电子装置400仅包括第二发送滤波器422的情况下，第一电子装置400可以在无需进行使用第一发送滤波器421的预处理操作的情况下实现。第一电子装置400可以向编码器(例如，图3A中的编码器315或图3A中的编码器345)发送未经预处理的内容。第一电子装置400可以基于呼叫信道的状态、第一电子装置400的性能信息和/或第二电子装置400的性能信息，确定是否使用第二发送滤波器422来执行预处理内容的操作。响应于确定执行预处理内容的操作，第一电子装置400可以启动第二发送滤波器422，并且可以使用第二发送滤波器422执行预处理内容的操作。
图4B是根据本公开的实施例的电子装置的框图。
参考图4B，根据各种实施例的电子装置400可以包括用于执行或管理呼叫连接的呼叫连接管理单元430、用于执行用于发送语音数据的处理操作或处理接收到的语音数据的操作的语音数据处理单元440、用于执行用于发送视频数据的处理操作或处理接收到的视频数据的操作的视频数据处理单元450、存储器461(例如，图1中的存储器130)、相机462(例如，图1中的相机模块180)、麦克风463(例如，图1中的输入装置150)、显示器464(例如，图1中的显示装置160)、扬声器465(例如，图1中的声音输出装置155)和神经处理单元(NPU)466。
根据本公开的各种实施例，呼叫连接管理单元430可以包括：用于在执行呼叫连接期间解析从第二电子装置(例如，图3A和图3B中的第二电子装置320)接收到的RTCP消息的RTCP解析器431；用于产生用于控制呼叫信道的RTCP消息的RTCP写入器432；呼叫会话管理器433，用于管理呼叫会话的连接或终止，并识别第一电子装置400与第二电子装置320之间的呼叫信道的状态；以及媒体处理确定器434，用于基于从第二电子装置320接收到的外部电子装置320的性能信息、呼叫信道的状态和/或第一电子装置400的性能信息，确定是否使用特定滤波器来执行数据处理。
根据本公开的各种实施例，在发送语音数据方面，语音数据处理单元440可以包括：使用麦克风463获取语音数据的语音获得器441；作为用于对语音数据执行滤波操作的元件的语音发送滤波器442(例如，图3A中的发送滤波器313)；语音编码器443(例如，图3A中的编码器315)，用于编码从发送滤波器442发送的语音数据以便压缩语音数据；以及打包器444(例如，图3A中的打包器317)，用于将编码的语音数据转换成包形式的语音包数据。
根据本公开的各种实施例，语音发送滤波器442可以包括多个语音发送滤波器，包括第一语音发送滤波器442-1和第二语音发送滤波器442-2。第二语音发送滤波器442-2可以是这样的滤波器，该滤波器能够实现比在语音数据的预处理操作中使用第一语音发送滤波器442-1预处理的语音数据更高质量的语音。第二语音发送滤波器442-2可以是用于神经处理单元466处理语音数据的滤波器。
根据本公开的各种实施例，在接收语音数据方面，语音数据处理单元440可以包括用于将从外部电子装置320接收到的语音包数据转换成编码的语音数据的解包器445(例如，图3A中的解包器321)、用于解码编码的语音数据的语音解码器446(例如，图3A中的解码器323)、用于改变解码后的采样速率的语音接收滤波器447(例如，图3A中的接收滤波器325)以及用于通过扬声器465输出语音的语音输出器448。
根据本公开的各种实施例，语音接收滤波器447可以包括多个语音接收滤波器，包括第一语音接收滤波器447-1和第二语音接收滤波器447-2。第一语音接收滤波器447-1可以是处理使用第一语音发送滤波器442-1预处理的语音数据的滤波器。第二语音接收滤波器447-2可以是处理使用第二语音发送滤波器442-2预处理的语音数据的滤波器。第二语音接收滤波器447-2可以是用于神经处理单元466处理语音数据的滤波器。
根据本公开的各种实施例，在发送视频数据方面，视频数据处理单元450可以包括：获取由相机462捕获的视频的视频获得器451；作为用于对视频数据执行滤波操作的元件的视频发送滤波器452(例如，图3B中的发送滤波器343)；用于编码视频数据以便压缩视频数据的视频编码器453(例如，图3B中的编码器345)；以及打包器454(例如，图3B中的打包器347)，用于将编码的视频数据转换成包形式的视频包数据。
根据本公开的各种实施例，视频发送滤波器452可以包括多个视频发送滤波器，包括第一视频发送滤波器452-1和第二视频发送滤波器452-2。第二视频发送滤波器452-2可以是这样的滤波器，该滤波器能够实现比在视频数据的预处理操作中使用第一视频发送滤波器452-1预处理的视频数据更高质量的视频。第二视频发送滤波器452-2可以是用于神经处理单元466处理视频数据的滤波器。
根据本公开的各种实施例，在接收视频数据方面，视频数据处理单元450可以包括：用于将从外部电子装置320接收的视频数据包转换成编码的视频数据的解包器455(例如，图3B中的解包器351)；用于解码由解包器455转换的编码的视频数据的视频解码器456(例如，图3B中的解码器353)；视频接收滤波器457(例如，图3B中的接收滤波器355)，用于改变解码的视频数据的分辨率；以及视频输出器458，用于通过显示器464输出由接收滤波器457产生的视频数据。
根据本公开的各种实施例，视频接收滤波器457可以包括多个视频接收滤波器，包括第一视频接收滤波器457-1和第二视频接收滤波器457-2。第一视频接收滤波器457-1可以是用于处理使用第一视频发送滤波器452-1预处理的视频数据的滤波器。第二视频接收滤波器457-2可以是用于处理使用第二视频发送滤波器452-2预处理的视频数据的滤波器。第二视频接收滤波器457-2可以是用于神经处理单元466处理视频数据的滤波器。
根据本公开的各种实施例，RTCP写入器432可以基于呼叫会话管理器433的控制产生RTCP消息，并且可以通过通信电路410将RTCP消息发送到第二电子装置320。RTCP消息可以包括用于控制内容的发送或接收的控制信息。
根据本公开的各种实施例，RTCP消息可以包括关于语音发送滤波器442和视频发送滤波器452的信息、指示是否支持使用特定算法(例如，使用NPU的预处理算法)对语音数据或视频数据进行预处理的指示符以及第一电子装置400相对于语音发送滤波器442和视频发送滤波器452的性能信息。
根据本公开的各种实施例，RTCP解析器431可以解析通过通信电路410接收的RTCP消息。RTCP消息可以包括用于识别第一电子装置400与第二电子装置320之间的呼叫信道的状态的信息，和/或与使用发送滤波器442和452预处理的内容是否能够被处理相关的第二电子装置320的性能信息。
根据本公开的各种实施例，由RTCP解析器431通过解析RTCP消息提取的第二电子装置320的性能信息可以通过呼叫会话管理器433发送到媒体处理确定器434。
根据本公开的各种实施例，媒体处理确定器434可以基于呼叫信道的状态和第二电子装置320的性能信息，确定是否使用第二语音发送滤波器442-2或第二视频发送滤波器452-2来执行预处理内容的操作。
根据本公开的各种实施例，响应于识别出第二电子装置320不支持与第二语音发送滤波器442-2相对应的第二语音接收滤波器447-2或者不支持与第二视频发送滤波器452-2相对应的第二视频接收滤波器457-2，处理器420可以不执行使用第二语音发送滤波器442-2或第二视频发送滤波器452-2预处理内容的操作。在此情况下，处理器420可以使用第一语音发送滤波器442-1或第一视频发送滤波器452-1来执行预处理内容的操作。
根据本公开的各种实施例，响应于识别出第二电子装置320支持与第二语音发送滤波器442-2相对应的第二语音接收滤波器447-2或者支持与第二视频发送滤波器452-2相对应的第二视频接收滤波器457-2，并且呼叫信道的状态满足指定条件，处理器420可以确定使用第二语音发送滤波器442-2或者第二视频发送滤波器452-2来执行预处理内容的操作。指定的条件表明呼叫信道的状态劣化。
根据本公开的各种实施例，响应于确定执行语音数据或视频数据的预处理操作，媒体处理确定器434可以启用第二语音发送滤波器442-2、第二视频发送滤波器452-2以及使用第二语音发送滤波器442-2和第二视频发送滤波器452-2执行语音数据或视频数据的预处理操作的元件(例如，NPU 466)。
根据本公开的各种实施例，呼叫会话管理器433可以通过通信电路410向外部电子装置320发送指示是否使用第二语音发送滤波器442-2或第二视频发送滤波器452-2的第二RTCP消息。
根据本公开的各种实施例，在电子装置400的处理器420中实现的元件可以是以软件实现的元件，但是根据设计方法，一些元件可以以硬件实现。
图5是根据本公开的实施例的电子装置的框图。
参考图5，第二电子装置500(例如，图1中的电子装置101或图3A和图3B中的第二电子装置320)可以包括通信电路510(例如，图1中的无线通信模块192)和处理器520(例如，图1中的处理器120)。
根据本公开的各种实施例，通信电路510可以使用通过与第一电子装置400(例如，图4A中的第一电子装置400)的呼叫连接建立的通信信道(例如，蜂窝通信信道)来接收语音数据或视频数据。通信电路510可以向第一电子装置400发送语音数据或视频数据，并且可以向第一电子装置400发送控制消息(例如，SDP类型的消息)或从第一电子装置400接收控制消息。
根据本公开的各种实施例，处理器520可以使用会话描述协议中定义的方法来执行与第一电子装置400的呼叫连接的协商。
根据本公开的各种实施例，处理器520可以接收用于在第二电子装置320与第一电子装置310之间建立呼叫信道的呼叫连接请求消息。例如，呼叫连接请求消息可以以SDP中定义的SDP邀请消息的形式来实现。
根据本公开的各种实施例，呼叫连接请求消息可以包括从第一电子装置400发送的语音数据或视频数据的质量信息。例如，语音数据的质量信息可以包括能够使用麦克风(例如，图3A中的麦克风311)产生的语音数据的采样率、能够通过网络(例如，图3A中的网络330)发送的语音数据的采样率、或者能够由第二电子装置500接收的语音数据的采样率。视频数据的质量信息可以包括能够使用相机(例如，图3B中的相机341)产生的视频数据的分辨率、能够通过网络330发送的视频数据的分辨率、或者能够由外部电子装置接收的视频数据的分辨率。视频数据的质量信息可以包括在呼叫连接请求消息中，如表1所示。
根据本公开的各种实施例，处理器520可以识别包括在呼叫连接请求消息中的语音数据或视频数据的质量信息，并且可以从第一电子装置400能够支持的数据发送方法(例如，语音数据的采样方法和采样速率，或者视频数据的压缩格式和分辨率)中选择能够被第二电子装置500支持的数据发送方法。处理器520可以控制通信电路510向第一电子装置400发送包括关于所选数据发送方法的信息的响应消息。例如，响应消息可以以SDP协议中定义的SDP 200OK的形式来实现。关于所选数据发送方法的信息可以包括在响应消息中，如表2所示。
根据本公开的各种实施例，处理器520可以从第一电子装置400接收对应于响应消息的呼叫连接确认消息。
根据本公开的各种实施例，呼叫连接确认消息可以是指示使用包括在响应消息中的语音数据或视频数据的发送方法来执行呼叫连接的消息。
根据本公开的各种实施例，处理器520可以执行用于与第一电子装置400的呼叫连接的各种操作中的至少一些(例如，启用麦克风311以产生语音数据的操作、启用相机341以产生视频数据的操作、或者控制通信电路510发送或接收用于建立呼叫信道的数据的操作)。
根据本公开的各种实施例，处理器520可以对从第一电子装置400发送的预处理内容(例如，语音数据或视频数据)执行后处理操作。处理器420可以使用接收滤波器(例如，图3A中的接收滤波器325或图3B中的接收滤波器355)对内容执行后处理操作。
根据本公开的各种实施例，第二电子装置500可以包括至少两个或更多个接收滤波器，包括第一接收滤波器521(例如，图4B中的第一视频接收滤波器457-1或图4B中的第一语音接收滤波器447-1)和第二接收滤波器522(例如，图4B中的第二视频接收滤波器457-2或图4B中的第二语音接收滤波器447-2)。第二接收滤波器522可以是这样的滤波器，该滤波器能够实现比在内容的后处理中使用第一接收滤波器521后处理的内容更高质量的视频。第二接收滤波器522可以是用于第二电子装置500的神经处理单元(例如，图4B中的NPU466)处理语音数据或视频数据的滤波器。
根据本公开的各种实施例，处理器520可以通过通信电路510向第一电子装置400发送包括用于控制内容的发送或接收的控制信息的第一实时传输控制协议(RTCP)消息。
根据本公开的各种实施例，第一RTCP消息可以包括用于识别第一电子装置400与第二电子装置320之间的呼叫信道的状态的信息。
根据本公开的实施例，第一RTCP消息可以包括单向延迟(OWD)信息，该信息指示由第一电子装置400或第二电子装置320发送的包(例如，RTP包)停留在呼叫信道中的时间。OWD信息可以包括第一电子装置400发送指定包的时间与第二电子装置320接收指定包的时间之间的差值，或者第二电子装置320发送指定包的时间与第一电子装置400接收指定包的时间之间的差值。OWD信息的增加可以指示包在呼叫信道中停留的时间增加，并且包在呼叫信道中停留的时间增加可以指示呼叫信道的状态劣化。
根据本公开的实施例，第一RTCP消息可以包括感知比特率信息，其指示从第一电子装置400发送的包(例如，RTP包)的大小与第二电子装置320接收的包的大小的比率。如果由第二电子装置320接收的包的大小小于由第一电子装置400发送的包的大小，这可以指示呼叫信道的状态劣化。
根据本公开的实施例，第一RTCP消息可以包括包丢失率，该包丢失率指示当第二电子装置320接收到从第一电子装置400发送的包时，由第一电子装置400发送的包(例如，RTP包)的丢失率。包丢失率的增加可能指示呼叫信道的状态劣化。
根据本公开的各种实施例，处理器520可以向第一电子装置400发送包括指示第一电子装置400与第二电子装置500之间的呼叫信道的状态的信息的第一RTCP消息。
根据本公开的各种实施例，处理器520可以向第一电子装置400发送与第二电子装置320是否能够使用第二接收滤波器522处理预处理的内容相关的第二电子装置320的性能信息。
根据本公开的各种实施例，当在第一电子装置400与第二电子装置320之间建立呼叫连接时，处理器520可以发送包括第二电子装置320的性能信息的呼叫连接响应消息。在第一电子装置400与第二电子装置320之间的呼叫信道连接之后，处理器520可以发送包括第二电子装置320的性能信息的RTCP消息。包括第二电子装置320的性能信息的RTCP消息可以是与第一RTCP消息相同的消息，或者可以是与第一RTCP消息不同的消息。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于对应于第二发送滤波器422的第二接收滤波器(例如，图5中的第二接收滤波器522)的信息。例如，关于第二接收滤波器522的信息可以包括第二接收滤波器522的模型信息、其版本信息以及关于能够由第二接收滤波器522处理的语音数据的最大采样率或视频数据的最大分辨率的信息。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于第二电子装置320的电池电量的信息。如果第二电子装置320的电池电量大于或等于指定值，则第二电子装置320可以启用对应于第二发送滤波器422的第二接收滤波器447-2或457-2。
根据本公开的各种实施例，第二电子装置320的性能信息可以包括关于第二电子装置320的温度的信息。第二电子装置320的温度可以是在第二电子装置320中实现的元件(例如，应用处理器)的测量温度。如果第二电子装置320的温度小于或等于指定值，则第二电子装置320可以启用对应于第二发送滤波器422的第二接收滤波器447-2和457-2。
根据本公开的各种实施例，处理器520可以从第一电子装置400接收指示是否使用第二发送滤波器来执行预处理内容的操作的第二RTCP消息。响应于接收到指示使用第二发送滤波器执行预处理内容的操作的第二RTCP消息，处理器520可以启用第二接收滤波器522，并且可以使用第二接收滤波器522执行后处理内容的操作。响应于确定使用第二接收滤波器522执行后处理内容的操作，处理器520可以停用第一接收滤波器521，并且可以启用第二接收滤波器522。处理器520可以将接收的内容发送到第一接收滤波器521，直到第二接收滤波器522被启用。处理器520可以使用第一接收滤波器521对接收到的内容进行后处理，并且可以将其发送到输出装置(例如，图3A中的扬声器327或图3B中的显示器357)。在第二接收滤波器522被启用之后，处理器520可以将接收到的内容发送到第二接收滤波器522。处理器520可以使用第二接收滤波器522对接收到的内容进行后处理，并且可以将其发送到扬声器327或357。
尽管在假设第二电子装置500包括第一接收滤波器521和第二接收滤波器522的情况下描述了上述实施例，但是第二电子装置500可以仅包括第二接收滤波器522。在第二电子装置500仅包括第二接收滤波器522的情况下，第二电子装置500可以在未使用第二发送滤波器522的后处理操作的情况下实现。第二电子装置500可以从解码器(例如，图3A中的解码器323或图3B中的解码器353)接收未经预处理的内容。响应于从第一电子装置400接收到指示使用第二发送滤波器执行内容预处理操作的第二RTCP消息，第二电子装置500可以确定是否使用第二接收滤波器522执行内容后处理操作。响应于确定执行后处理内容的操作，第二电子装置500可以启用第二接收滤波器522，并且可以使用第二接收滤波器522执行后处理内容的操作。第二电子装置500可以将接收到的内容发送到输出装置(例如，图3A中的扬声器327或图3B中的显示器357)，而不对其进行后处理，直到第二接收滤波器522被启用。
图6是示出根据本公开的实施例的在第一电子装置与第二电子装置之间交换内容的操作的流程图600。
参考图6，在操作610中，根据各种实施例的第一电子装置(例如，图3A和图3B中的第一电子装置310或图4A中的电子装置400)可以向第二电子装置(例如，图3A和图3B中的第二电子装置320或图5中的第二电子装置500)发送包括使用第一发送滤波器(例如，图4A中的第一发送滤波器421)预处理的内容的RTP包。
根据本公开的各种实施例，第一电子装置400可以包括至少两个或更多个发送滤波器，包括第一发送滤波器(例如，图4A中的第一发送滤波器421)和第二发送滤波器(例如，图4A中的第二发送滤波器422)。第二发送滤波器422可以是这样的滤波器，该滤波器能够实现比在预处理内容的操作中使用第一发送滤波器421预处理的内容更高质量的视频。第二发送滤波器422可以是用于第一电子装置400的神经处理单元处理语音数据或视频数据的滤波器。
根据本公开的各种实施例，第一电子装置400可以使用第一发送滤波器421来执行预处理内容的操作，从而转换内容以便具有通过呼叫连接的协商指定的质量。
根据本公开的各种实施例，在操作620中，第二电子装置500可以向第一电子装置400发送包括用于控制内容的发送或接收的控制信息的第一实时传输控制协议(RTCP)消息。
根据本公开的各种实施例，第一RTCP消息可以包括用于识别第一电子装置400与第二电子装置320之间的呼叫信道的状态的信息。
根据本公开的实施例，第一RTCP消息可以包括单向延迟(OWD)信息，该信息指示由第一电子装置400或第二电子装置500发送的包(例如，RTP包)停留在呼叫信道中的时间。OWD信息可以包括第一电子装置400发送指定包的时间与第二电子装置500接收指定包的时间之间的差值，或者第二电子装置500发送指定包的时间与第一电子装置400接收指定包的时间之间的差值。OWD信息的增加可以指示包在呼叫信道中停留的时间增加，并且包在呼叫信道中停留的时间增加可以指示呼叫信道的状态劣化。OWD信息可以被包括在接收方报告(RR)类型或发送方报告(SR)类型的第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括感知比特率信息，该感知比特率信息是从第一电子装置400发送的包(例如，RTP包)的大小与第二电子装置500接收的包的大小的比率。如果由第二电子装置500接收的包的大小小于由第一电子装置400发送的包的大小，这可以指示呼叫信道的状态劣化。感知比特率信息可以以特定应用(APP)类型被包括在第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括包丢失率，其指示当第二电子装置500接收到从第一电子装置400发送的包时由第一电子装置400发送的包(例如，RTP包)的丢失率。包丢失率的增加可能指示呼叫信道的状态劣化。包丢失率可以包括在接收机报告类型的第一RTCP消息的有效载荷中。
根据本公开的各种实施例，在操作630中，第一电子装置400可以基于包括在第一RTCP消息中的指示呼叫信道的状态的信息来识别呼叫信道的状态。
根据本公开的各种实施例，在操作640中，第一电子装置400可以确定是否使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的各种实施例，第一电子装置400可以在向第二电子装置500发送内容的同时，每隔指定时间段接收第一RTCP消息。第一电子装置400可以基于第一RTCP消息，每隔指定时间段识别第一电子装置400与第二电子装置500之间的呼叫信道的状态。第一电子装置400可以识别呼叫信道的状态是否满足指定条件。指定的条件可以是指示呼叫信道的状态劣化的条件。响应于识别出呼叫信道的状态满足指定条件，第一电子装置400可以降低要发送到第二电子装置500的内容的质量，以便增加要发送到第二电子装置500的内容的发送速率。例如，为了降低要发送到第二电子装置500的内容的质量，第一电子装置400可以降低内容的分辨率或内容的帧速率。
根据本公开的各种实施例，为了减小要发送到第二电子装置500的内容的大小，第一电子装置400可以降低视频内容的分辨率和/或帧速率。为了减小要发送到第二电子装置500的内容的大小，第一电子装置400可以降低语音内容的声音质量。为了增加(或提高)由于呼叫信道的状态而具有相对低质量的内容的质量，第一电子装置400可以确定是否使用第二发送滤波器422来执行内容的预处理。
根据本公开的各种实施例，第一电子装置400可以基于呼叫信道的状态和第二电子装置500的性能信息，确定是否使用第二发送滤波器422来执行预处理内容的操作。第二电子装置500的性能信息可以包括与是否支持与第二发送滤波器422相对应的第二接收滤波器522相关的性能信息。
根据本公开的各种实施例，当在第一电子装置400与第二电子装置500之间建立呼叫连接时，第一电子装置400可以接收包括第二电子装置500的性能信息的呼叫连接响应消息，并且可以识别包括在呼叫连接响应消息中的第二电子装置500的性能信息。
根据本公开的各种实施例，第一电子装置400可以在连接第一电子装置400与第二电子装置500之间的呼叫信道之后接收包括第二电子装置500的性能信息的RTCP消息，并且可以识别包括在RTCP消息中的第二电子装置500的性能信息。包括第二电子装置500的性能信息的RTCP消息可以是与第一RTCP消息相同的消息，或者可以是与第一RTCP消息不同的消息。
根据本公开的各种实施例，在确定使用第二发送滤波器422执行预处理内容的操作时，第一电子装置400可以进一步考虑第一电子装置400的性能信息(例如，第一电子装置400的电池电量或第一电子装置400的温度)。
根据本公开的各种实施例，在操作650中，响应于确定使用第二发送滤波器422执行预处理内容的操作，第一电子装置400可以向第二电子装置500发送指示使用第二发送滤波器422执行预处理内容的操作的第二RTCP消息。
根据本公开的各种实施例，在操作661中，第一电子装置400可以启用第二发送滤波器422。第二发送滤波器422的启用可以表示由麦克风(例如，图3A中的麦克风311)收集的语音数据或由相机(例如，图3B中的相机341)收集的视频数据被输入到第二发送滤波器422，并在其中被预处理。
根据本公开的各种实施例，在操作663，第二电子装置500可以启用第二接收滤波器522。第二接收滤波器522的启用可以表示从第一电子装置400发送的内容被解码，并且解码的数据然后被输入到第二接收滤波器522并且在其中被后处理。
根据本公开的各种实施例，在操作670中，第一电子装置400可以向第二电子装置500发送包括使用第二发送滤波器422预处理的内容的RTP包。
图7是示出根据本公开的实施例的第一电子装置基于呼叫信道的状态使用第一发送滤波器和第二发送滤波器中的任何一个来预处理内容的实施例的流程图700。
参考图7，在操作710中，第一电子装置(例如，图4A中的第一电子装置400)可以基于能够识别呼叫信道的状态的信息来识别呼叫信道的状态，该信息包括在第一RTCP消息中。
根据本公开的各种实施例，第一RTCP消息可以包括用于识别第一电子装置400与第二电子装置320之间的呼叫信道的状态的信息。
根据本公开的实施例，第一RTCP消息可以包括单向延迟(OWD)信息，该信息指示由第一电子装置400或第二电子装置500发送的包(例如，RTP包)停留在呼叫信道中的时间。OWD信息可以包括第一电子装置400发送指定包的时间与第二电子装置500接收指定包的时间之间的差值，或者第二电子装置500发送指定包的时间与第一电子装置400接收指定包的时间之间的差值。OWD信息的增加可以指示包在呼叫信道中停留的时间增加，并且包在呼叫信道中停留的时间增加可以指示呼叫信道的状态劣化。OWD信息可以被包括在接收方报告(RR)类型或发送方报告(SR)类型的第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括感知比特率信息，该感知比特率信息是从第一电子装置400发送的包(例如，RTP包)的大小与第二电子装置500接收的包的大小的比率。如果由第二电子装置500接收的包的大小小于由第一电子装置400发送的包的大小，这可以指示呼叫信道的状态劣化。感知比特率信息可以以特定应用(APP)类型被包括在第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括包丢失率，其指示当第二电子装置500接收到从第一电子装置400发送的包时由第一电子装置400发送的包(例如，RTP包)的丢失率。包丢失率的增加可能指示呼叫信道的状态劣化。包丢失率可以被包括在接收机报告类型的第一RTCP消息的有效载荷中。
根据本公开的各种实施例，在操作720中，第一电子装置400可以识别呼叫信道的状态是否满足指定条件。
根据本公开的各种实施例，指定条件可以是指示呼叫信道的状态劣化的条件。响应于识别出呼叫信道的状态满足指定条件，第一电子装置400可以降低要发送到第二电子装置500的内容的质量，以便增加要发送到第二电子装置500的内容的发送速率。
根据本公开的各种实施例，在操作730中，响应于识别出呼叫信道的状态满足指定条件(操作720中的“是”)，第一电子装置400可以识别使用第二发送滤波器(例如，图4A中的第二发送滤波器422)来预处理内容的操作是否可能。
根据本公开的各种实施例，第一电子装置400可以基于呼叫信道的状态和第二电子装置500的性能信息，确定是否使用第二发送滤波器422来执行预处理内容的操作。第二电子装置500的性能信息可以包括与是否支持与第二发送滤波器422相对应的第二接收滤波器522相关的性能信息。
根据本公开的各种实施例，当在第一电子装置400与第二电子装置500之间建立呼叫连接时，第一电子装置400可以接收包括第二电子装置500的性能信息的呼叫连接响应消息，并且可以识别包括在呼叫连接响应消息中的第二电子装置500的性能信息。
根据本公开的各种实施例，第一电子装置400可以在连接第一电子装置400与第二电子装置500之间的呼叫信道之后接收包括第二电子装置500的性能信息的RTCP消息，并且可以识别包括在RTCP消息中的第二电子装置500的性能信息。包括第二电子装置500的性能信息的RTCP消息可以是与第一RTCP消息相同的消息，或者可以是与第一RTCP消息不同的消息。
根据本公开的各种实施例，在确定使用第二发送滤波器422执行预处理内容的操作时，第一电子装置400可以进一步考虑第一电子装置400的性能信息(例如，第一电子装置400的电池电量或第一电子装置400的温度)。
根据本公开的各种实施例，在操作740中，响应于识别出呼叫信道的状态不满足指定条件(操作720中的“否”)或者使用第二发送滤波器422预处理内容的操作是不可能的(操作730中的“否”)，第一电子装置400可以使用第一发送滤波器421执行预处理内容的操作。
关于在操作740中使用第一发送滤波器来执行预处理内容的操作，响应于识别到呼叫信道的状态不满足指定条件(操作720中的“否”)或者使用第二发送滤波器422来预处理内容的操作是不可能的(操作730中的“否”)，第一电子装置400可以省略预处理内容的操作，并且可以向第二电子装置500发送质量降低的内容。
根据本公开的各种实施例，在操作750中，响应于识别出使用第二发送滤波器422预处理内容的操作是可能的(操作730中的“是”)，第一电子装置400可以使用第二发送滤波器422执行预处理内容的操作。
根据本公开的各种实施例，在操作760中，第一电子装置400可以向第二电子装置500发送包括使用第二发送滤波器422预处理的内容的RTP包。
根据本公开的各种实施例的电子装置可以包括通信电路和处理器，通信电路被配置为使用通过与外部电子装置的呼叫连接建立的呼叫信道来发送或接收数据，其中处理器可以被配置为通过呼叫信道向外部电子装置发送使用第一发送滤波器预处理的内容，通过所述呼叫信道接收由所述外部电子装置发送的第一实时传输控制协议(RTCP)消息，基于该第一RTCP消息识别该呼叫信道的状态，基于该呼叫信道的状态和该外部电子装置的性能信息，确定是否执行使用预处理将被发送到该外部电子装置的内容的第二发送滤波器来预处理该内容的操作，向外部电子装置发送指示是否使用第二发送滤波器执行预处理内容的操作的第二RTCP消息，并基于第二发送滤波器执行内容的发送。
在根据本公开的各种实施例的电子装置中，第一RTCP消息可以包括外部电子装置的性能信息，并且外部电子装置的性能信息可以包括指示是否存在与第二发送滤波器相对应的接收滤波器的指示符。
在根据本公开的各种实施例的电子装置中，第二发送滤波器的内容压缩率高于第一发送滤波器的内容压缩率。
在根据本公开的各种实施例的电子装置中，处理器可以被配置为响应于确定执行使用第二发送滤波器预处理内容的操作，停用第一发送滤波器并启用第二发送滤波器。
在根据本公开的各种实施例的电子装置中，处理器可以被配置为基于第一RTCP消息识别指示呼叫信道的状态的一个或更多个值，并且可以被配置为响应于识别出指示呼叫信道的状态的值满足指定条件，确定执行使用第二发送滤波器预处理内容的操作。
在根据本公开的各种实施例的电子装置中，处理器可以被配置为基于呼叫信道的状态、外部电子装置的性能信息和电子装置的性能信息，确定是否使用第二发送滤波器来执行预处理内容的操作。
在根据本公开的各种实施例的电子装置中，电子装置的性能信息可以包括电子装置的温度信息，并且处理器可以被配置为响应于识别出基于温度信息识别的电子装置的温度小于或等于指定温度，确定执行使用第二发送滤波器预处理内容的操作。
在根据本公开的各种实施例的电子装置中，电子装置的性能信息可以包括电子装置的电池电量。
在根据本公开的各种实施例的电子装置中，处理器可以被配置为响应于识别出电子装置的电池电量大于或等于指定值，确定执行使用第二发送滤波器预处理内容的操作。
在根据本公开的各种实施例的电子装置中，处理器可以被配置为发送用于在外部电子装置与电子装置之间建立呼叫信道的呼叫连接请求消息，并且从外部电子装置接收包括外部电子装置的性能信息的响应消息。
图8是示出根据本公开的实施例的操作电子装置的方法的流程图800。
参考图8，在操作810中，根据各种实施例的第一电子装置(例如，图3A和图3B中的第一电子装置310或图4A中的电子装置400)可以向第二电子装置(例如，图3A和图3B中的第二电子装置320或图5中的第二电子装置500)发送包括使用第一发送滤波器(例如，图4A中的第一发送滤波器421)预处理的内容的RTP包。
根据本公开的各种实施例，第一电子装置400可以包括至少两个或更多个发送滤波器，包括第一发送滤波器(例如，图4A中的第一发送滤波器421)和第二发送滤波器(例如，图4A中的第二发送滤波器422)。在预处理内容的操作中，第二发送滤波器422可以是能够实现比使用第一发送滤波器421预处理的内容具有更高质量的视频的滤波器。第二发送滤波器422可以是用于第一电子装置400的神经处理单元处理语音数据或视频数据的滤波器。
根据本公开的各种实施例，第一电子装置400可以使用第一发送滤波器421来执行预处理内容的操作，从而转换内容以便具有通过呼叫连接的协商指定的质量。
根据本公开的各种实施例，在操作820，第一电子装置400可以从第二电子装置500接收第一实时传输控制协议(RTCP)消息，该消息包括用于控制内容的发送或接收的控制信息。
根据本公开的各种实施例，第一RTCP消息可以包括用于识别第一电子装置400与第二电子装置320之间的呼叫信道的状态的信息。
根据本公开的实施例，第一RTCP消息可以包括单向延迟(OWD)信息，该信息指示由第一电子装置400或第二电子装置500发送的包(例如，RTP包)停留在呼叫信道中的时间。OWD信息可以包括第一电子装置400发送指定包的时间与第二电子装置500接收指定包的时间之间的差值，或者第二电子装置500发送指定包的时间与第一电子装置400接收指定包的时间之间的差值。OWD信息的增加可以指示包在呼叫信道中停留的时间增加，并且包在呼叫信道中停留的时间增加可以指示呼叫信道的状态劣化。OWD信息可以被包括在接收方报告(RR)类型或发送方报告(SR)类型的第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括感知比特率信息，该感知比特率信息是从第一电子装置400发送的包(例如，RTP包)的大小与第二电子装置500接收的包的大小的比率。如果由第二电子装置500接收的包的大小小于由第一电子装置400发送的包的大小，这可以指示呼叫信道的状态劣化。感知比特率信息可以以特定应用(APP)类型被包括在第一RTCP消息的有效载荷中。
根据本公开的实施例，第一RTCP消息可以包括包丢失率，其指示当第二电子装置500接收到从第一电子装置400发送的包时由第一电子装置400发送的包(例如，RTP包)的丢失率。包丢失率的增加可能指示呼叫信道的状态劣化。包丢失率可以被包括在接收机报告类型的第一RTCP消息的有效载荷中。
根据本公开的各种实施例，在操作830中，第一电子装置400可以基于包括在第一RTCP消息中的指示呼叫信道的状态的信息来识别呼叫信道的状态。
根据本公开的各种实施例，在操作840中，第一电子装置400可以确定是否使用第二发送滤波器422来执行预处理内容的操作。
根据本公开的各种实施例，第一电子装置400可以在向第二电子装置500发送内容的同时，每隔指定时间段接收第一RTCP消息。第一电子装置400可以基于第一RTCP消息，每隔指定时间段识别第一电子装置400与第二电子装置500之间的呼叫信道的状态。第一电子装置400可以识别呼叫信道的状态是否满足指定条件。指定的条件可以是指示呼叫信道的状态劣化的条件。响应于识别出呼叫信道的状态满足指定条件，第一电子装置400可以降低要发送到第二电子装置500的内容的质量，以便增加要发送到第二电子装置500的内容的发送速率。例如，为了降低要发送到第二电子装置500的内容的质量，第一电子装置400可以降低内容的分辨率或内容的帧速率。
根据本公开的各种实施例，为了减小要发送到第二电子装置500的内容的大小，第一电子装置400可以降低视频内容的分辨率和/或帧速率。为了减小要发送到第二电子装置500的内容的大小，第一电子装置400可以降低语音内容的声音质量。为了增加(或提高)由于呼叫信道的状态而具有相对低质量的内容的质量，第一电子装置400可以确定是否使用第二发送滤波器422来执行内容的预处理。
根据本公开的各种实施例，第一电子装置400可以基于呼叫信道的状态和第二电子装置500的性能信息，确定是否使用第二发送滤波器422来执行预处理内容的操作。第二电子装置500的性能信息可以包括与是否支持与第二发送滤波器422相对应的第二接收滤波器522相关的性能信息。
根据本公开的各种实施例，当在第一电子装置400与第二电子装置500之间建立呼叫连接时，第一电子装置400可以接收包括第二电子装置500的性能信息的呼叫连接响应消息，并且可以识别包括在呼叫连接响应消息中的第二电子装置500的性能信息。
根据本公开的各种实施例，第一电子装置400可以在连接第一电子装置400与第二电子装置500之间的呼叫信道之后接收包括第二电子装置500的性能信息的RTCP消息，并且可以识别包括在RTCP消息中的第二电子装置500的性能信息。包括第二电子装置500的性能信息的RTCP消息可以是与第一RTCP消息相同的消息，或者可以是与第一RTCP消息不同的消息。
根据本公开的各种实施例，在确定使用第二发送滤波器422执行预处理内容的操作时，第一电子装置400可以进一步考虑第一电子装置400的性能信息(例如，第一电子装置400的电池电量或第一电子装置400的温度)。
根据本公开的各种实施例，在操作850中，第一电子装置400可以向第二电子装置500发送指示使用第二发送滤波器422来执行预处理内容的操作的第二RTCP消息。
根据本公开的各种实施例，在操作860，第一电子装置400可以将使用第二发送滤波器422预处理的内容发送到第二电子装置500。
根据本公开的各种实施例的操作电子装置的方法可以包括：通过在外部电子装置与电子装置之间建立的呼叫信道向外部电子装置发送使用第一发送滤波器预处理的内容，通过呼叫信道从外部电子装置接收第一实时传输控制协议(RTCP)消息，基于第一RTCP消息识别呼叫信道的状态，基于该呼叫信道的状态和该外部电子装置的性能信息，确定是否使用预处理将被发送到该外部电子装置的内容的第二发送滤波器来执行预处理所述内容的操作，向该外部电子装置发送指示是否使用该第二发送滤波器的第二RTCP消息，并且基于该第二发送滤波器来执行该内容的发送。
在根据本公开的各种实施例的操作电子装置的方法中，第一RTCP消息可以包括外部电子装置的性能信息，并且外部电子装置的性能信息可以包括指示是否存在与第二发送滤波器相对应的接收滤波器的指示符。
在根据本公开的各种实施例的操作电子装置的方法中，第二发送滤波器的内容压缩率高于第一发送滤波器的内容压缩率。
根据本公开的各种实施例的操作电子装置的方法还可以包括响应于确定执行使用第二发送滤波器预处理内容的操作，停用第一发送滤波器并启用第二发送滤波器。
在根据本公开的各种实施例的操作电子装置的方法中，确定是否执行预处理内容的操作可以包括基于第一RTCP消息识别指示呼叫信道的状态的一个或更多个值，并且响应于识别出指示呼叫信道的状态的值满足指定条件，确定执行使用第二发送滤波器预处理内容的操作。
在根据本公开的各种实施例的操作电子装置的方法中，确定是否执行预处理内容的操作可以包括基于呼叫信道的状态、外部电子装置的性能信息和电子装置的性能信息，确定是否使用第二发送滤波器执行预处理内容的操作。
在根据本公开的各种实施例的操作电子装置的方法中，电子装置的性能信息可以包括电子装置的温度信息，并且确定是否执行预处理内容的操作可以包括响应于识别基于温度信息识别的电子装置的温度小于或等于指定温度，确定是否执行使用第二发送滤波器预处理内容的操作。
在根据本公开的各种实施例的操作电子装置的方法中，电子装置的性能信息可以包括电子装置的电池电量。
在根据本公开的各种实施例的操作电子装置的方法中，确定是否执行预处理内容的操作可以包括响应于识别出电子装置的电池电量大于或等于指定值，确定是否执行使用第二发送滤波器预处理内容的操作。
根据本公开的各种实施例的操作电子装置的方法还可以包括发送用于在外部电子装置与电子装置之间建立呼叫信道的呼叫连接请求消息，以及从外部电子装置接收包括外部电子装置的性能信息的响应消息。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (15)

1.一种电子装置，所述电子装置包括：
通信电路，所述通信电路被配置为使用通过与外部电子装置的呼叫连接而建立的呼叫信道来发送或接收数据；以及
处理器，所述处理器被配置为：
通过所述呼叫信道向所述外部电子装置发送使用第一发送滤波器预处理的内容，
通过所述呼叫信道接收由所述外部电子装置发送的第一实时传输控制协议消息，
基于所述第一实时传输控制协议消息识别所述呼叫信道的状态，
基于所述呼叫信道的状态和所述外部电子装置的性能信息，确定是否使用第二发送滤波器来执行预处理要被发送到所述外部电子装置的所述内容的操作，
向所述外部电子装置发送第二实时传输控制协议消息，所述第二实时传输控制协议消息指示是否使用所述第二发送滤波器来执行预处理所述内容的操作，以及
基于所述第二发送滤波器执行所述内容的发送。
2.根据权利要求1所述的电子装置，
其中，所述第一实时传输控制协议消息包括所述外部电子装置的性能信息，并且
其中，所述外部电子装置的性能信息包括指示是否存在与所述第二发送滤波器相对应的接收滤波器的指示符。
3.根据权利要求1所述的电子装置，其中，所述第二发送滤波器的内容压缩率高于所述第一发送滤波器的内容压缩率。
4.根据权利要求1所述的电子装置，其中，所述处理器还被配置为响应于确定执行使用所述第二发送滤波器预处理所述内容的操作，停用所述第一发送滤波器并启用所述第二发送滤波器。
5.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：
基于所述第一实时传输控制协议消息，识别指示所述呼叫信道的状态的一个或更多个值；以及
响应于识别出指示所述呼叫信道的状态的值满足指定条件，确定执行使用所述第二发送滤波器预处理所述内容的操作。
6.根据权利要求1所述的电子装置，其中，所述处理器还被配置为基于所述呼叫信道的状态、所述外部电子装置的性能信息和所述电子装置的性能信息，确定是否执行使用所述第二发送滤波器预处理所述内容的操作。
7.根据权利要求6所述的电子装置，
其中，所述电子装置的性能信息包括所述电子装置的温度信息，并且
其中，所述处理器还被配置为响应于识别出基于所述温度信息识别的所述电子装置的温度低于或等于指定温度，确定执行使用所述第二发送滤波器预处理所述内容的操作。
8.根据权利要求1所述的电子装置，其中，所述电子装置的性能信息包括所述电子装置的电池电量。
9.根据权利要求8所述的电子装置，其中，所述处理器还被配置为响应于识别出所述电子装置的电池电量大于或等于指定值，确定执行使用所述第二发送滤波器预处理所述内容的操作。
10.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：
发送用于在所述外部电子装置与所述电子装置之间建立所述呼叫信道的呼叫连接请求消息；以及
从所述外部电子装置接收包括所述外部电子装置的性能信息的响应消息。
11.一种操作电子装置的方法，所述方法包括：
通过在外部电子装置与所述电子装置之间建立的呼叫信道，将使用第一发送滤波器预处理的内容发送到所述外部电子装置；
通过所述呼叫信道从所述外部电子装置接收第一实时传输控制协议消息；
基于所述第一实时传输控制协议消息识别所述呼叫信道的状态；
基于所述呼叫信道的状态和所述外部电子装置的性能信息，确定是否使用第二发送滤波器来执行预处理要被发送到所述外部电子装置的所述内容的操作；
向所述外部电子装置发送指示是否使用所述第二发送滤波器的第二实时传输控制协议消息；以及
基于所述第二发送滤波器执行所述内容的发送。
12.根据权利要求11所述的方法，
其中，所述第一实时传输控制协议消息包括所述外部电子装置的性能信息，并且
其中，所述外部电子装置的性能信息包括指示是否存在与所述第二发送滤波器相对应的接收滤波器的指示符。
13.根据权利要求11所述的方法，其中，所述第二发送滤波器的内容压缩率高于所述第一发送滤波器的内容压缩率。
14.根据权利要求11所述的方法，所述方法还包括响应于确定执行使用所述第二发送滤波器预处理所述内容的操作，
停用所述第一发送滤波器，以及
启用所述第二发送滤波器。
15.根据权利要求11所述的方法，其中确定是否执行预处理所述内容的操作包括：
基于所述第一实时传输控制协议消息，识别指示所述呼叫信道的状态的一个或更多个值；以及
响应于识别出指示所述呼叫信道的状态的值满足指定条件，确定执行使用所述第二发送滤波器预处理所述内容的操作。
CN202110468384.XA 2020-07-02 2021-04-28 电子装置及其操作方法 Pending CN113965553A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0081503 2020-07-02
KR1020200081503A KR20220003812A (ko) 2020-07-02 2020-07-02 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법

Publications (1)

Publication Number Publication Date
CN113965553A true CN113965553A (zh) 2022-01-21

Family

ID=75904780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110468384.XA Pending CN113965553A (zh) 2020-07-02 2021-04-28 电子装置及其操作方法

Country Status (5)

Country Link
US (1) US11706261B2 (zh)
EP (1) EP3934261A1 (zh)
KR (1) KR20220003812A (zh)
CN (1) CN113965553A (zh)
WO (1) WO2022005000A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631252B1 (en) * 2022-01-03 2023-04-18 Brian Lawrence Repper Visual media management for mobile devices
WO2024063251A1 (ko) * 2022-09-22 2024-03-28 삼성전자 주식회사 전자 장치 및 전자 장치의 발열 제어 방법

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010057712A (ko) * 1999-12-23 2001-07-05 박종섭 씨디엠에이 이동통신 시스템의 통화 음질 테스트 장치 및방법
US20080253311A1 (en) * 2007-04-16 2008-10-16 Xin Jin System and method for real-time data transmission using adaptive time compression
US20110268185A1 (en) * 2009-01-08 2011-11-03 Kazuteru Watanabe Delivery system and method and conversion device
US20120121188A1 (en) * 2009-07-13 2012-05-17 Sony Corporation Image processing device and method
WO2013056031A1 (en) * 2011-10-14 2013-04-18 Qualcomm Incorporated Feedback channel for wireless display devices
CN103297202A (zh) * 2012-02-29 2013-09-11 华为技术有限公司 信道状态信息的处理方法及装置
US20150092575A1 (en) * 2013-09-30 2015-04-02 Apple Inc. Device-initiated codec rate change during a voice call
WO2016032873A1 (en) * 2014-08-27 2016-03-03 Western Digital Technologies, Inc. A method of optimizing device performance by maintaining device within temperature limits
EP3038370A1 (en) * 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
US20170230497A1 (en) * 2016-02-04 2017-08-10 Samsung Electronics Co., Ltd. Electronic device and method of voice command processing therefor
US20180131664A1 (en) * 2016-11-10 2018-05-10 Samsung Electronics Co., Ltd. Data transmission method and electronic device for supporting the same
CN108463953A (zh) * 2016-11-30 2018-08-28 华为技术有限公司 基于统计csi-t的非线性预编码
CN108476302A (zh) * 2016-01-19 2018-08-31 三星电子株式会社 用于在语音呼叫期间发送视频的方法和设备
CN108476183A (zh) * 2015-10-26 2018-08-31 华为技术有限公司 使用非对称不完全信道知识的接收机和预编码系统
CN110463085A (zh) * 2017-03-31 2019-11-15 英特尔Ip公司 用于信道状态确定的技术
US20200107060A1 (en) * 2018-09-28 2020-04-02 Apple Inc. Electronic Device Content Provisioning Adjustments based on Wireless Communication Channel Bandwidth Condition

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444132B2 (en) * 2003-04-04 2008-10-28 Nokia Corporation Apparatus, and associated method, for facilitating dynamic filtering of a receive signal
US8144187B2 (en) * 2008-03-14 2012-03-27 Microsoft Corporation Multiple video stream capability negotiation
KR101589524B1 (ko) 2008-11-07 2016-01-29 삼성전자주식회사 이동통신 단말기에서 다중 영상 포맷을 지원하여 영상통화의 고품질 영상을 서비스하기 위한 장치 및 방법
AU2011319844A1 (en) 2010-10-27 2013-06-13 Vid Scale, Inc. Systems and methods for adaptive video coding
EP2908547B1 (en) * 2012-10-10 2019-12-04 Fujitsu Client Computing Limited Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method adapting the frame rate of moving image data based on frame similarity
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
WO2015111289A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 復号装置、復号方法、符号化装置及び符号化方法
CN104270649B (zh) * 2014-10-28 2019-01-22 中磊电子（苏州）有限公司 影像编码装置及影像编码方法
KR102297710B1 (ko) * 2015-01-09 2021-09-03 주식회사 케이티 컨텐츠의 압축률 조절 시스템, 서버 및 방법
WO2016192073A1 (zh) * 2015-06-04 2016-12-08 清华大学 编码方法、解码方法及其装置
US10387000B2 (en) * 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
CN115278231A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US20170237986A1 (en) * 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US10651900B2 (en) 2018-05-18 2020-05-12 Futurewei Technologies, Inc. System and method for communications system training
KR101951240B1 (ko) * 2018-08-03 2019-02-22 한화시스템 주식회사 영상 전송 시스템 및 이의 동작 방법
KR20200044662A (ko) 2018-10-19 2020-04-29 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
KR102525576B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2021066377A1 (en) 2019-10-04 2021-04-08 Samsung Electronics Co., Ltd. Electronic device for improving quality of call and operation method thereof
KR20210067783A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010057712A (ko) * 1999-12-23 2001-07-05 박종섭 씨디엠에이 이동통신 시스템의 통화 음질 테스트 장치 및방법
US20080253311A1 (en) * 2007-04-16 2008-10-16 Xin Jin System and method for real-time data transmission using adaptive time compression
US20110268185A1 (en) * 2009-01-08 2011-11-03 Kazuteru Watanabe Delivery system and method and conversion device
US20120121188A1 (en) * 2009-07-13 2012-05-17 Sony Corporation Image processing device and method
WO2013056031A1 (en) * 2011-10-14 2013-04-18 Qualcomm Incorporated Feedback channel for wireless display devices
CN103297202A (zh) * 2012-02-29 2013-09-11 华为技术有限公司 信道状态信息的处理方法及装置
US20150092575A1 (en) * 2013-09-30 2015-04-02 Apple Inc. Device-initiated codec rate change during a voice call
WO2016032873A1 (en) * 2014-08-27 2016-03-03 Western Digital Technologies, Inc. A method of optimizing device performance by maintaining device within temperature limits
EP3038370A1 (en) * 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
CN108476183A (zh) * 2015-10-26 2018-08-31 华为技术有限公司 使用非对称不完全信道知识的接收机和预编码系统
CN108476302A (zh) * 2016-01-19 2018-08-31 三星电子株式会社 用于在语音呼叫期间发送视频的方法和设备
US20170230497A1 (en) * 2016-02-04 2017-08-10 Samsung Electronics Co., Ltd. Electronic device and method of voice command processing therefor
US20180131664A1 (en) * 2016-11-10 2018-05-10 Samsung Electronics Co., Ltd. Data transmission method and electronic device for supporting the same
CN108463953A (zh) * 2016-11-30 2018-08-28 华为技术有限公司 基于统计csi-t的非线性预编码
CN110463085A (zh) * 2017-03-31 2019-11-15 英特尔Ip公司 用于信道状态确定的技术
US20200107060A1 (en) * 2018-09-28 2020-04-02 Apple Inc. Electronic Device Content Provisioning Adjustments based on Wireless Communication Channel Bandwidth Condition

Also Published As

Publication number Publication date
EP3934261A1 (en) 2022-01-05
US11706261B2 (en) 2023-07-18
WO2022005000A1 (en) 2022-01-06
US20220006843A1 (en) 2022-01-06
KR20220003812A (ko) 2022-01-11

Similar Documents

Publication Publication Date Title
EP3933830A1 (en) Speech interaction method and apparatus, terminal and storage medium
US11031011B2 (en) Electronic device and method for determining electronic device to perform speech recognition
EP3800859B1 (en) Electronic device for improving quality of call and operation method thereof
US10237318B2 (en) Electronic device and method for encoding image data thereof
US20220353819A1 (en) Method for Reducing Power Consumption of Mobile Terminal and Mobile Terminal
US20230072048A1 (en) Electronic device and method for electronic device processing received data packet
EP3697057B1 (en) Method for controlling bitrate in realtime and electronic device thereof
CN113965553A (zh) 电子装置及其操作方法
CN113424548A (zh) 播放高动态范围视频的电子装置及其方法
US11341981B2 (en) Method for processing audio data and electronic device therefor
CN113455013B (zh) 用于处理图像的电子设备及其图像处理方法
CN114868180A (zh) 用于改变显示器的指定区域中的显示的电子装置及其操作方法
US11599321B2 (en) Electronic device and operating method therefor
US11853637B2 (en) Electronic device for synchronizing output time point of content output by external devices and method of operating same
US11184654B2 (en) Electronic device and method for transmitting image data of electronic device
US11863904B2 (en) Electronic device for performing video call using frame rate conversion and method for the same
CN114175136A (zh) 控制亮度的电子装置及其控制亮度的方法
EP4344216A1 (en) Electronic device for transmitting plurality of image streams while performing video call, and method for operating electronic device
US11962935B2 (en) Video call recording method and electronic device therefor
US20240037722A1 (en) Electronic device for encoding video, and control method therefor
US20240103592A1 (en) Electronic device and method for controlling heat generation thereof
US20240080530A1 (en) Electronic apparatus and operating method of electronic apparatus
KR20210040764A (ko) 통화의 품질을 향상시키는 전자 장치 및 전자 장치의 동작 방법
KR20220167624A (ko) Frc를 이용한 영상 통화를 수행하는 전자 장치 및 전자 장치의 동작 방법
KR20230068070A (ko) 외부 전자 장치의 성능 정보에 기반하여 gop 간격을 결정하는 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination