CN116076106A - 用于电子装置中的数据通信的网络控制方法和设备 - Google Patents

用于电子装置中的数据通信的网络控制方法和设备 Download PDF

Info

Publication number
CN116076106A
CN116076106A CN202180056928.XA CN202180056928A CN116076106A CN 116076106 A CN116076106 A CN 116076106A CN 202180056928 A CN202180056928 A CN 202180056928A CN 116076106 A CN116076106 A CN 116076106A
Authority
CN
China
Prior art keywords
network
electronic device
link
processor
external device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056928.XA
Other languages
English (en)
Inventor
闵贤基
姜斗锡
成志训
李善基
李政勋
崔俊秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116076106A publication Critical patent/CN116076106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/22—Negotiating communication rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H04W52/0229—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal where the received signal is a wanted signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H04L1/0018—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement based on latency requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/80—Ingress point selection by the source endpoint, e.g. selection of ISP or POP
    • H04L45/85—Selection among different networks
    • H04L45/851—Dynamic network selection or re-selection, e.g. after degradation of quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0252—Traffic management, e.g. flow control or congestion control per individual bearer or channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/20—Negotiating bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/28—Connectivity information management, e.g. connectivity discovery or connectivity update for reactive routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/18—Selecting a network or a communication service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H04W52/0248—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal dependent on the time of the day, e.g. according to expected transmission activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/52—Allocation or scheduling criteria for wireless resources based on load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/543—Allocation or scheduling criteria for wireless resources based on quality criteria based on requested quality, e.g. QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/20—Manipulation of established connections
    • H04W76/28—Discontinuous transmission [DTX]; Discontinuous reception [DRX]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

各种实施例公开了在系链型AR系统中为了低延时且低功率数据通信来控制网络的方法和设备。根据各种实施例的电子装置可以包括：无线通信电路；以及处理器。其中，所述处理器可以：当利用外部装置的增强现实(AR)服务被启动时，基于指定数据路径的数据量来识别第一服务时段(SP)；基于所述外部装置的帧速率来识别传输间隔；至少基于所述第一SP和所述传输间隔，来识别与所述电子装置连接的网络是否满足指定的传输需求条件；基于满足所述传输需求条件的网络来确定和与所述外部装置的连接有关的连接信息；以及基于所述连接信息进行与所述外部装置的连接。各种实施例是可能的。

Description

用于电子装置中的数据通信的网络控制方法和设备
技术领域
相关申请的交叉引用
本申请基于并且要求于2020年8月04日在韩国知识产权局提交的韩国专利申请No.10-2020-0097120的优先权，该韩国专利申请的公开内容通过引用整体并入本文。
本公开的各种实施例涉及一种方法和设备，用于由能够与每一个外部装置建立通信连接的电子装置控制用于与外部装置进行数据通信的网络。
背景技术
最近的电子装置使用将三维虚拟物体覆盖在现实世界上的增强现实(AR)技术来提供各种服务。电子装置可以包括各种类型的装置，例如，移动通信终端、智能电话、台式个人计算机(PC)、笔记本、可穿戴装置和/或AR眼镜(或智能眼镜)。根据实施例，可以通过可穿戴眼镜装置(例如，AR眼镜)、头戴式装置(例如，头戴式显示器(HMD))、或者智能电话来提供AR，其中各种数字内容可以被覆盖在现实世界上并且通过与AR服务有关的应用来提供。AR内容可以由提供AR服务的装置生成，或者可以从另一装置接收并提供。
例如，最近，正在开发与电子装置(例如，智能电话)连接以显示AR内容的外部装置(例如，系链型(tethered)AR眼镜)，并且正在研究和开发使用外部装置的基于系链型AR系统(或环境)的AR服务。例如，电子装置(例如，智能电话)可以与AR眼镜和/或AR眼镜与服务器(例如，云)之间的服务器中的每一者连接，并处理从服务器(例如，云)获取的数据(例如，图像和/或信息)，并且系链型AR系统可以基于由电子装置处理的数据通过AR眼镜来实现AR环境。
发明内容
技术问题
通常，应当使用低延时和/或超级省电的方法以在系链型AR系统中向用户提供满意的AR体验。例如，当由AR眼镜再现的图像的延迟较大时，可能向用户显示断连的图像。因此，在系链型AR系统中，各个元件(例如，云、电子装置和/或AR眼镜)之间的低延时通信是理想的。在另一个示例中，在AR眼镜中，由于AR眼镜被用户穿戴，所以在减少其重量时可能存在对电池容量的限制，并且希望减小电流消耗(或可能需要超级省电的方法)以长时间地向用户提供AR服务。
各种实施例可以公开了一种方法和设备，用于由电子装置在系链型AR系统中控制用于与外部装置(例如，服务器和AR眼镜)的低延时且低功率数据通信的网络。
各种实施例可以公开用于基于电子装置与外部装置(例如，AR眼镜)之间的传输需求而自适应地选择或改变网络(或网络承载)的方法和设备。
技术方案
根据本公开的各种实施例的电子装置包括：无线通信电路；以及处理器，所述处理器与所述无线通信电路可操作地连接。其中，所述处理器被配置为：在与外部装置相关联的增强现实(AR)服务被启动时，基于预定数据路径的数据量来识别第一服务时段(SP)；基于在所述外部装置上显示的帧速率来识别传输间隔；至少基于所述第一SP和所述传输间隔，来检测与所述电子装置连接的网络是否满足预定传输需求；基于检测到所述网络满足所述预定传输需求，来确定和与所述外部装置的连接有关的连接信息；以及基于所述连接信息建立与所述外部装置的连接。
根据本公开的实施例的电子装置包括：无线通信电路；以及处理器。其中，所述处理器被配置为：通过所述无线通信电路检测与外部装置的连接；获取所述电子装置与所述外部装置之间的第一链路的数据量和所述电子装置与网络之间的第二链路的数据量；基于所述第一链路的数据量来计算所述第一链路的第一服务时段(SP)，基于所述第二链路的数据量来计算所述第二链路的第二SP；基于所述第一SP和所述第二SP来确定满足图像传输需求的网络；以及通过基于所确定的网络将所述第一链路的信道配置为等于所述第二链路的信道来建立与所述外部装置的连接。
一种根据本公开的实施例的运行电子装置的方法包括：由所述电子装置的至少一个处理器在启动利用外部装置的增强现实(AR)服务时，基于预定数据路径的数据量来识别第一服务时段(SP)；基于用于在所述外部装置上显示图像的帧速率，来识别传输间隔；至少基于所述第一SP和所述传输间隔，来检测与所述电子装置连接的网络是否满足预定传输需求；基于所述网络满足所述预定传输需求，来确定用于与所述外部装置的连接的连接信息；以及基于所述连接信息建立与所述外部装置的连接。
为了解决上述问题，本公开的各种实施例可以包括计算机可读记录介质，其记录有使处理器执行所述方法的程序。
根据以下详细描述，本公开的另外的应用范围可以变得清楚。然而，因为本公开的思路和范围内的各种修改和改变可以被本领域的技术人员明确理解，所以具体实施方式以及诸如本公开的示例性实施例的特定实施例应当被理解为仅为示例。
技术效果
根据各种实施例的电子装置和运行其的方法可以执行在系链型AR系统中实现的与外部装置(例如，云服务器和AR眼镜)的低延时和/或低功率数据通信。根据各种实施例，电子装置在电子装置在第一时段和第二时段使用不同的频带或在不同类型的网络上执行通信时将服务时段(SP)控制为彼此交叠，并且在电子装置在第一时段和第二时段使用相同的频带或相同类型的网络执行通信时将SP控制为避免交叠。
附图说明
关于附图的描述，相同或相似附图标记可以用于相同或相似元件。
图1是示出根据各种实施例的网络环境中的电子装置的框图；
图2a、图2b和图2c示出根据各种实施例的支持AR服务的AR系统的示例；
图3a示意地示出根据各种实施例的电子装置的配置；
图3b示意地示出根据各种实施例的外部装置的配置；
图4是示出根据各种实施例的电子装置的操作的流程图；
图5是示出的由根据各种实施例的由电子装置建立与外部装置的连接的操作的流程图；
图6示出根据各种实施例的电子装置计算SP的操作的示例；
图7是示出根据各种实施例的运行电子装置的方法的流程图；
图8示出根据各种实施例的其中电子装置基于SP和间隔来执行调度的示例；
图9示出根据各种实施例的链路之间的调度的示例；
图10示出根据各种实施例的基于TWT协议执行调度的示例；
图11示出根据各种实施例的基于TWT协议执行调度的另一个示例；
图12示出根据各种实施例的链路之间的调度的另一个示例；
图13是示出根据各种实施例的外部装置的操作的流程图；
图14是示出根据各种实施例的电子装置的操作的流程图；以及
图15是示出根据各种实施例的电子装置的操作的流程图。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，
网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2a、图2b和图2c示出根据各种实施例的支持AR服务的AR系统的示例。
根据实施例，图2a、图2b和图2c可以示出其中电子装置101、外部装置201(例如，图1的电子装置102)和服务器301(例如，图1的服务器108)彼此进行通信以支持增强现实(AR)服务的示例。
如图2a、图2b和图2c中所示，根据实施例的用于支持AR服务的AR系统(例如，系链型AR系统)可以包括电子装置101(例如，智能电话)、外部装置201(例如，AR眼镜、智能眼镜、或者显示装置)、服务器301(例如，云)、包括接入点(AP)215(例如，Wi-Fi AP或Wi-Fi路由器)的第一网络210(例如，Wi-Fi网络)、以及包括基站225的第二网络220(例如，蜂窝网络)。
根据实施例，电子装置101可以包括例如与参考图1作出的描述相对应的元件。根据实施例，电子装置101可以执行计算主机的下述操作：为AR服务直接地生成有关的数据(例如，AR图像)(例如，基于存储或处理的数据来生成)或从服务器301获取有关的数据并将其提供给外部装置201。例如，电子装置101可以是诸如智能电话的电子装置，其能够处理图像并通过包括AP 215的第一网络210和/或包括基站225的第二网络220来执行与服务器301的无线通信。根据实施例，电子装置101可以通过与外部装置201的通信连接而从外部装置201获取(例如，接收)场景信息(例如，图像数据)、传感器信息和/或位置信息中的至少一项。
根据实施例，外部装置201可以包括能够从电子装置101接收数据(例如，AR图像或AR图像帧)并通过外部装置201的显示器来提供(例如，显示)接收到的数据以及现实世界数据的电子装置。例如，外部装置201可以包括诸如AR眼镜的可穿戴装置和/或智能眼镜或用于支持显示功能的显示器。根据实施例，外部装置201可以通过与电子装置101的通信连接来向电子装置101提供(例如，发送)场景信息、传感器信息和/或位置信息中的至少一项。
根据实施例，电子装置101和外部装置201可以通过诸如Wi-Fi和/或Wi-Gig的无线局域网(WLAN)通信来发送和接收数据。
根据实施例，服务器301可以包括用于提供AR内容的服务器(或云)(例如，云服务器、内容服务器或web服务器)。
根据实施例，第一网络210例如可以包括AP 215(例如，Wi-Fi AP或Wi-Fi路由器)。根据实施例，第一网络210可以在电子装置101与服务器301之间提供第一数据路径230(或第一网络路径)(例如，Wi-Fi路径)。例如，如图2b中所示，第一数据路径230可以包括电子装置101、AP 215和服务器301之间的路径，并且电子装置101和服务器301可以建立第一数据路径230以经由包括AP 215的第一网络210彼此进行通信。例如，第一网络210可以通过第一数据路径230从服务器301向电子装置101提供数据。
根据实施例，第二网络220例如可以包括用于传统网络(例如，3G网络或4G网络)和/或5G网络的基站225。根据实施例，第二网络220可以在电子装置101与服务器301之间提供第二数据路径240(或第二网络路径)(例如，蜂窝路径)。例如，如图2c中所示，第二数据路径240可以包括电子装置101、基站225和服务器301之间的路径，并且电子装置101和服务器301可以建立第二数据路径240以经由包括基站225的第二网络220彼此进行通信。例如，第二网络220可以通过第二数据路径240从服务器301向电子装置101提供数据。
根据实施例，电子装置101可以通过第一网络210或第二网络220向服务器301发送数据以及从服务器301接收数据。根据实施例，电子装置101向服务器301发送的发送数据可以是电子装置101从外部装置201接收到的场景信息、传感器信息和/或位置信息，或者可以包括基于该信息生成的(例如，处理的)数据。根据实施例，电子装置101从服务器301接收到的接收数据可以包括例如电子装置101向外部装置201提供的数据(例如，AR图像或AR图像帧)中所包括的各项信息(或元素)(例如，图形对象信息、坐标信息、距离信息和/或文本信息)。在另一个示例中，电子装置101从服务器301接收到的接收数据可以包括对基于电子装置101从外部装置201接收到的数据所发送的发送数据的响应数据。根据实施例，发送和接收数据(例如，发送数据和/或接收数据)可以根据AR服务或AR应用而变化。例如，发送和接收数据可以根据AR服务或AR应用所需要的条件(例如，分辨率或速度)而变化。
根据各种实施例，可以基于系统配置提供AR服务，如图2a、图2b和图2c中所示。
根据实施例，当提供AR服务时，电子装置101可以根据数据路径(或网络路径)(例如，第一数据路径230或第二数据路径240)基于每条链路的数据量(或业务量)来确定数据发送时段(或数据发送时间)(例如，服务时段(SP))。根据实施例，参考以下图(例如，图6)来详细地描述确定SP的操作。
根据实施例，电子装置101可以基于外部装置201的帧速率(或刷新速率)或扫描速率(例如，30fps、60fps或12fps)来确定图像帧发送时段(间隔)。例如，电子装置101可以针对第一帧速率(例如，大约30fps)而确定第一图像帧传输间隔(例如，大约33.3ms)(例如，帧速率＝30fps→间隔＝33.3ms)。在另一个示例中，电子装置101可以针对第二帧速率(例如，大约60fps)而确定第二图像帧传输间隔(例如，大约16.6ms)(例如，帧速率＝60fps→间隔＝16.6ms)。在另一个示例中，电子装置101可以针对第三帧速率(例如，大约120fps)而确定第三图像帧传输间隔(例如，大约8.3ms)(例如，帧速率＝120fps→间隔＝8.3ms)。
根据实施例，电子装置101可以基于SP和/或图像帧传输间隔中的至少一者来确定当前与电子装置101连接的网络(例如，第一网络210或第二网络220)是否满足预定传输需求(或AR图像传输需求)。例如，预定传输需求可以包括在AR服务或AR应用中连接的网络(例如，第一网络210或第二网络220)所需要的帧速率、分辨率、传输速率和/或数据传输量中的至少一些。根据实施例，电子装置101可以基于确定结果来确定是否改变网络。根据实施例，电子装置101可以确定是否将连接从包括AP 215的第一网络210改变为包括基站225的第二网络220或者从第二网络220改变为第一网络210。根据实施例，当前连接在电子装置101与服务器301之间的网络(例如，第一网络210或第二网络220)可以是电子装置101与服务器301之间的通过支持第一网络210的AP 215的或者通过支持第二网络220的基站225的通信连接。例如，电子装置101可以确定是否从当前连接的网络(例如，第一网络210或第二网络220)改变为另一个网络，例如是否改变网络承载(例如，第一数据路径230或第二数据路径240)。根据实施例，参考以下附图详细地描述确定是否改变网络的操作。
根据实施例，电子装置101可以识别电子装置101与服务器301之间的网络的类型是否与电子装置101与外部装置201之间的网络的类型相同并且确定SP是否交叠。根据实施例，参考以下附图详细地描述确定SP是否交叠的操作。
图3a示意地示出根据各种实施例的电子装置的配置。
图3a示出与根据各种实施例的电子装置101支持AR服务有关的配置的示例。根据实施例，电子装置101可以包括各种类型的装置，其包括功能：通过预定第一网络(例如，第一网络210(例如，Wi-Fi网络))建立与外部装置201的无线连接、通过预定第二网络(例如，第一网络210或第二网络220(例如，蜂窝网络))建立与服务器301的无线连接、以及向外部装置201提供与AR服务有关的数据。例如，电子装置101可以包括诸如移动通信终端、智能电话、台式个人计算机(PC)和/或笔记本等的计算主机。
参考图3a，根据实施例的电子装置101可以包括无线通信电路310、存储器130和处理器120。
根据实施例，无线通信电路310(例如，图1的无线通信模块192)可以支持传统网络(例如，3G网络和/或4G网络)、5G网络、带外(OOB)和/或下一代通信技术(例如，新无线(NR)技术)。无线通信电路310可以与如图1中示出的无线通信模块192相对应。根据实施例的无线通信电路310可以包括：被配置为通过第一网络210(例如，Wi-Fi网络)支持电子装置101的无线通信的第一通信电路310A、被配置为通过第二网络220(例如，蜂窝网络)支持电子装置101的无线通信的第二通信电路310B、以及被配置为基于OOB(例如，NFC、BLE和/或Wi-Fi2.4GHz)支持电子装置101的无线通信的第三通信电路310C。根据实施例，电子装置101可以使用第一通信电路310A通过第一网络210与外部装置201和/或服务器301进行通信。根据实施例，电子装置101可以使用第二通信电路310B通过第二网络210与服务器301进行通信。根据实施例，电子装置101可以使用第三通信电路310C通过不同于第一网络210的网络(例如，诸如蓝牙、无线保真(WiFi)直通或者红外线数据协会等的短程通信网络)来与外部装置201进行通信。
根据实施例，存储器130可以与参考图1所描述的存储器130相对应。根据实施例，当提供AR服务时，存储器130可以存储由电子装置101使用的各项数据。数据可以包括例如软件(例如，程序140)以及针对与其有关的命令的输入数据或输出数据。根据实施例，当被执行时，存储器130可以存储使处理器120进行操作的指令。
根据实施例，处理器120可以与参考图1描述的处理器120相对应。根据实施例，处理器120可以通过执行例如应用(例如，AR应用)来控制与电子装置101连接的外部装置201并且执行与AR服务有关的各种数据处理或计算。根据实施例，作为数据处理或计算的至少一部分，处理器120可以将通过无线通信电路310接收到的数据存储在存储器130中、对存储在存储器130中的数据进行处理，并将结果数据存储在存储器130中和/或通过无线通信电路310将其发送给外部装置201。
根据实施例，处理器120可以在系链型AR系统中通过无线通信电路310向服务器301发送以及从服务器301接收所需数据、从外部装置201接收与安装到外部装置201的元件(例如，相机、传感器和/或显示器)有关的至少一项信息(例如，场景信息、传感器信息、位置信息和/或帧速率)、以及基于接收到的信息向外部装置201发送处理后的数据(例如，AR图像)。根据实施例，当在AR系统中向外部装置201发送数据以及从外部装置201接收数据时，处理器120可以为了低延时和/或低功率通信而控制(或者选择)网络。
根据实施例，处理器120可以控制通过支持第一网络210的第一通信电路310A或支持第二网络220的第二通信电路310B进行的向服务器301的数据发送以及来自服务器301的数据接收。根据实施例，处理器120可以基于从外部装置201接收到的场景信息、传感器信息、位置信息和/或帧速率信息来配置发送数据。根据实施例，发送数据可以包括例如用于配置AR图像(或者AR图像帧)的元素。
根据实施例，处理器120可以包括SP计算模块320和条件确定模块330，其被配置为在用于AR服务的与服务器301和外部装置201中的每一者的数据通信中为了低延时和/或低功率通信来执行与对网络的控制有关的操作。根据实施例，处理器120中所包括的元件(例如，SP计算模块320和条件确定模块330)可以被理解为例如硬件模块(例如，电路)，但是各种实施例不限于此。例如，另外地或者作为另一种选择，处理器120中所包括的元件(例如，SP计算模块320和条件确定模块330)可以包括软件结构以及硬件结构。根据实施例，处理器120中所包括的元件(例如，SP计算模块320和条件确定模块330)可以被实现为包括可以由处理器120读取的存储在存储介质(例如，存储器130)中的一个或更多个指令的软件(例如，图1的程序140)。根据实施例，由SP计算模块320和条件确定模块330执行的操作可以被存储在存储器130中，并通过由处理器120在执行指令时所执行的指令来执行。
根据实施例，SP计算模块320可以执行基于例如数据量来确定SP以及基于外部装置201的帧速率来确定图像帧传输间隔的操作。根据实施例，处理器120可以根据外部装置201与服务器301之间的通过第一网络210的通信中的每条链路来计算所需的传输量(例如，每帧的数据量)，并且根据其来确定SP和图像帧传输间隔。根据各种实施例，处理器120可以包括图1的主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))或辅助处理器123(例如，通信处理器(CP))。根据实施例，SP计算模块320和/或条件确定模块330中的一些可以被包括在无线通信电路310中。
根据实施例，条件确定模块330可以执行基于所确定的SP和所确定的图像帧传输间隔来确定与电子装置101连接的当前网络(或数据路径)是否满足预定传输需求(或AR图像传输需求)的操作。根据实施例，预定传输需求可以包括在AR服务或AR应用中连接的网络(例如，第一网络210或第二网络220)所需要的帧速率、分辨率、传输速率和/或数据传输量中的至少一些。
根据实施例，处理器120可以基于传输需求是否被满足来确定是否改变当前网络。例如，当基于当前网络的通信不满足传输需求时，处理器120可以确定改变网络。在另一个示例中，当基于当前网络的通信满足传输需求时，处理器120可以确定不改变网络。
根据实施例，当网络是包括AP 215的第一网络210(例如，Wi-Fi网络)时，处理器120可以识别诸如第一网络210的信道(例如，Wi-Fi信道)、带宽和/或链路速度中的至少一项信息。根据实施例，当第一网络210(例如，基于AP 215的通信状态)满足基于至少一项信息的图像传输需求时，处理器120可以控制无线通信电路310(例如，第一通信电路310A)通过与连接到第一网络210(例如，AP 215)的信道相同的信道来进行与外部装置201的通信(例如，Wi-Fi)连接。例如，处理器120可以通过支持带外(OOB)(例如，NFC、BLE和/或Wi-Fi2.4GHz)通信的第三通信电路310来识别外部装置201的信道(例如，Wi-Fi信道)、带宽和/或链路速度，并且确定是否支持电子装置101与外部装置201之间的通信以及通过第一网络210的电子装置101与AP 215之间的通信。
根据另一个实施例，当第一网络210(例如，基于AP 215的通信状态)不满足基于至少一项信息的图像传输需求时，处理器120可以控制无线通信电路310(例如，第一通信电路310A)搜索能够通过第一网络210建立用于通信的另一个连接(或漫游)的另一个AP。根据实施例，当执行搜索另一个AP的操作时，处理器120可以首先在例如大约6GHz的频带中的160MHz的带宽中搜索另一个AP，并且，当所找到的AP满足图像传输需求时，进行与所找到的AP的连接。
根据一些实施例，当不存在满足图像传输需求的AP时，处理器120可以执行切换到第二网络220(例如，蜂窝网络)(或改变数据路径)的操作。
根据实施例，处理器120可以基于对网络的控制而使得服务器301和电子装置101之间的网络与电子装置101和外部装置201之间的网络相同或不同。
根据实施例，当电子装置101通过包括基站225的第二网络220连接到服务器301时，为了电子装置101与外部装置201之间的连接，处理器120可以通过优选地使用支持第一网络210的多个信道(例如，信道1～5)之中的大约6GHz的频带中的信道(例如，160MHz的频带中的多个信道)计算信道拥塞，来选择大约6GHz的频带中的一个信道(例如，信道3)。根据实施例，处理器120可以基于从支持第一网络210的多个信道当中选择的信道将电子装置101与外部装置201连接、在电子装置101与外部装置201之间协商SP和图像帧传输间隔(在下文，被称为“间隔”)，并基于协商结果来确定通过第二网络220的与服务器301的通信的SP和间隔。
根据某些实施例，处理器120可以在使用通过第二网络220与服务器301的通信时搜索第一网络210的满足外部装置201的传输需求的AP。根据实施例，当找到满足外部装置201的传输需求的AP时，处理器120可以进行与对应的AP的连接(或漫游)。
根据实施例，处理器120可以基于电子装置101与服务器301之间的第一时段的网络类型是否与相同电子装置101与外部装置201之间的第二时段的网络类型来确定SP是否交叠，并且基于确定结果来控制网络。根据实施例，参考以下附图详细地描述确定SP是否交叠的操作。
图3b示意地示出根据各种实施例的外部装置的配置。
根据实施例，图3b示出根据各种实施例的与外部装置201支持AR服务有关的配置的示例。根据实施例，图3b中所示的外部装置201可以包括参考图1描述的电子装置101的元件中的全部或至少一些。根据实施例，图3b示出外部装置201是AR装置(例如，AR眼镜、智能眼镜或者显示装置)的示例。
参考图3b，外部装置201可以包括处理器380(例如，图1的处理器120)、显示模块340(例如，图1的显示模块160)、传感器模块345(例如，图1的传感器模块176)、眼镜350、电池355(例如，图1的电池189)、相机模块360(例如，图1的相机模块180)、通信模块365(例如，图1的通信模块190)、存储器370(例如，图1的存储器130)、以及音频模块375(例如，图1的音频模块170)。
根据实施例，包括在外部装置201中的元件可以被理解为例如硬件模块(例如，电路)。根据实施例，包括在外部装置201中的元件不限于图3b中所示的元件(例如，显示模块340、传感器模块345、眼镜350、电池355、相机模块360、通信模块365、存储器370和/或音频模块375)。例如，图3b中所示的元件可以省略或用其他元件代替、或者可以将附加的元件添加到外部装置201。例如，当外部装置201是AR眼镜和/或智能眼镜时，可以包括眼镜350，并且当外部装置201是智能电话时，可以不包括眼镜350。
根据实施例，通信模块365可以包括天线模块(例如，图1的天线模块197)，并且可以支持用于确保预定频带中的性能的各种技术(例如波束形成、多个输入和输出(MIMO)和/或阵列天线)。根据实施例，通信模块365可以向外部(例如，电子装置101)发送信号或电力或从外部接收信号或电力。根据实施例，通信模块365可以包括：被配置为通过第一网络210支持外部装置201的无线通信的通信电路；和/或被配置为基于OOB支持外部装置201的无线通信的通信电路。
根据实施例，存储器370可以与参考图1所描述的存储器130相对应。根据实施例，当外部装置201提供AR服务时，存储器370可以存储由外部装置201使用的各项数据。数据可以包括例如软件(例如，程序140)以及针对与其有关的命令的输入数据或输出数据。
根据实施例，处理器380可以与参考图1描述的处理器120相对应。根据实施例，处理器380可以执行例如应用(例如，AR应用)并通过与电子装置101的通信连接来向电子装置101提供(例如发送)诸如场景信息、传感器信息和/或位置信息中的至少一项信息。根据实施例，处理器380可以控制显示模块340通过将各项数字内容(例如，AR图像)覆盖在通过显示模块340所提供的现实世界上来显示一个图像(例如，AR屏幕)。根据实施例，外部装置201可以包括各种传感器(例如，传感器模块345或相机模块360)，并且处理器380可以使用至少一个传感器基于感测信息来获取诸如场景信息(例如，图像数据)、传感器信息和/或位置信息中的至少一项信息。
根据实施例，处理器120可以执行与AR服务有关的各种数据处理或计算。例如，作为数据处理或计算的至少一部分，处理器380可以将通过通信模块365接收到的数据存储在存储器370中、对存储在存储器370中的数据进行处理、以及将结果数据存储在存储器370中和/或通过通信模块365将其发送给电子装置101。
根据实施例，当执行AR服务时，处理器380可以控制通信模块365向电子装置101发送外部装置201的帧速率信息。根据实施例，处理器120可以在建立与电子装置101的连接时协商目标唤醒时间(TWT)。根据实施例，处理器380可以基于TWT设置向电子装置101发送数据以及从电子装置101接收数据，并通过显示模块340显示发送和接收的数据。
根据本公开的各种实施例的电子装置101可以包括无线通信电路310(例如，图1的无线通信模块192)以及与无线通信电路310可操作地连接的处理器120，其中，处理器120可以被配置为在利用外部装置201的增强现实(AR)服务被启动时基于预定数据路径的数据量来识别第一服务时段(SP)、基于外部装置201的帧速率来识别传输间隔、基于至少第一SP和传输间隔来识别与电子装置101连接的网络是否满足预定传输需求、基于满足传输需求的网络来确定和与外部装置201的连接有关的连接信息、以及基于连接信息进行与外部装置201的连接。
根据本公开的各种实施例，处理器120可以被配置为基于电子装置101与外部装置201之间的第一链路的目标唤醒时间(TWT)元素来配置与第一链路有关的第一TWT并且基于至少第一链路的第一TWT和TWT元素来配置与电子装置与网络之间的第二链路有关的第二TWT，并且TWT元素包括TWT唤醒间隔、TWT唤醒时长和TWT。
根据本公开的各种实施例，处理器120可以被配置为基于第一链路的数据量来计算第一SP、基于第二链路的数据量来计算第二SP、以及在第一SP和第二SP之和被包括在根据帧速率的传输间隔中时确定网络满足传输需求。
根据本公开的各种实施例，第一SP包括通过将在电子装置101与外部装置201之间的第一链路中发送一个帧所需的数据量除以第一链路的链路带宽计算出的所需时间。
根据本公开的各种实施例，第二SP包括通过将在电子装置101与网络之间的第二链路中发送一个帧所需的数据量除以第二链路的链路带宽计算出的所需时间。
根据本公开的各种实施例，处理器120可以被配置为基于网络是否满足传输需求来确定是否改变网络。
根据本公开的各种实施例，处理器120可以被配置为在网络是第一网络210所支持的接入点(AP)215并且AP 215不满足传输需求时搜索支持第一网络210的另一个AP，并且当搜索另一个AP时，可以优选地搜索预定频带中的AP。
根据本公开的各种实施例，当对于满足传输需求的另一个AP的搜索失败时，处理器120可以被配置为将网络从第一网络210改变为第二网络220。
根据本公开的各种实施例，处理器120可以被配置为确定满足传输需求的网络、基于所确定的网络来确定和与外部装置201的连接有关的连接信息、以及通过带外(OOB)通信向外部装置201发送所确定的连接信息。
根据本公开的各种实施例，处理器120可以被配置为确定电子装置101通过其与网络相连接的信道是电子装置101与外部装置201之间的信道。
根据本公开的各种实施例，处理器120可以被配置为在所确定的网络是第一网络210时确定等于利用网络配置的信道的第一信道是连接信息以及在所确定的网络是第二网络220时确定不同于第一信道的第二信道是连接信息。
根据本公开的各种实施例，处理器120可以被配置为在网络是第一网络210时基于第一网络210的信道忙碌程度来确定连接信息。
根据本公开的各种实施例，处理器120可以被配置为基于第一网络210中的预定频带中的信道来优选地测量信道忙碌程度，并基于测量结果确定具有低信道忙碌程度的信道是用于与外部装置201的连接的信道。
根据本公开的各种实施例，处理器120可以被配置为基于电子装置101与外部装置201之间的第一链路的网络类型是否等于电子装置101与网络之间的第二链路的网络类型来确定SP是否彼此交叠。
根据本公开的各种实施例，处理器120可以被配置为在第一链路和第二链路的网络类型彼此相等时控制第一SP与第二SP彼此不交叠、以及在第一链路和第二链路的网络类型彼此不同时控制第一SP与第二SP彼此至少部分地交叠。
根据本公开的各种实施例的电子装置101可以包括无线通信电路310(例如，图1的无线通信模块192)和处理器120，其中，处理器120可以被配置为通过无线通信电路310来检测与外部装置201的连接、获取电子装置101与外部装置201之间的第一链路的数据量和电子装置101与网络之间的第二链路的数据量、基于第一链路的数据量来计算第一链路的第一服务时段(SP)、基于第二链路的数据量来计算第二链路的第二SP、基于第一SP和第二SP来确定满足图像传输需求的网络、以及通过基于所确定的网络将第一链路的信道配置为等于第二链路的信道来进行与外部装置201的连接。
在下文中，描述了根据各种实施例的运行电子装置101的方法。根据实施例，如下所述的由电子装置101执行的操作可以由电子装置101的包括至少一个处理电路的处理器120执行。根据实施例，由电子装置101执行的操作可以被存储在存储器130中并且可以通过由处理器120在执行指令时所执行的指令来执行。
图4是示出根据各种实施例的电子装置的操作的流程图。
参考图4，在操作401中，电子装置101的处理器120可以检测AR服务的启动。根据实施例，处理器120可以基于电子装置101中的与AR服务有关的应用(例如，AR应用)的执行和/或检测到对于与外部装置201的连接的请求来检测AR服务的启动。
在操作403中，处理器120可以响应于检测到AR服务的启动，基于预定数据路径(例如，第一数据路径230或第二数据路径240)数据量来确定(或计算)SP。根据实施例，处理器120可以基于每条链路的数据量(或业务量)来确定SP。例如，处理器120可以基于与电子装置101与外部装置201之间的第一链路有关的数据量、与电子装置101与网络(例如，第一网络210或第二网络220)之间的第二链路有关的数据量和/或每条链路的带宽来确定SP。参考以下附图详细地描述根据实施例的确定SP的操作。
在操作405中，处理器120可以基于外部装置201的帧速率(或刷新速率或扫描速率)来识别图像帧传输间隔。根据实施例，当外部装置201提供第一帧速率(例如，大约30fps)时，处理器120可以根据第一帧速率来确定第一图像帧传输间隔(例如，大约33.3ms)(例如，帧速率＝30fps→间隔＝33.3ms)。根据另一个实施例，当外部装置201提供第二帧速率(例如，大约60fps)时，处理器120可以根据第二帧速率来确定第二图像帧传输间隔(例如，大约16.6ms)(例如，帧速率＝60fps→间隔＝16.6ms)。根据另一个实施例，当外部装置201提供第三帧速率(例如，大约120fps)时，处理器120可以根据第三帧速率来确定第三图像帧传输间隔(例如，大约8.3ms)(例如，帧速率＝120fps→间隔＝8.3ms)。根据实施例，操作403和操作405不限于示出的顺序，并且可以顺序地、并行地、或者反序地执行。根据实施例，处理器120可以通过带外(OOB)通信接收关于外部装置201的帧速率的信息、或者基于连接历史来识别关于与AR服务有关的外部装置201的帧速率的信息。
在操作407中，处理器120可以基于SP和/或图像帧传输间隔中的至少一者来确定传输需求(例如，AR图像传输需求)。根据实施例，处理器120可以基于SP和/或图像帧传输间隔中的至少一者来确定当前与电子装置101和服务器301两者连接的网络(例如，第一网络210或第二网络220)是否满足AR图像传输需求。例如，当前连接在电子装置101与服务器301之间的网络可以是电子装置101与服务器301之间通过支持第一网络210的AP215的通信连接或者电子装置101与服务器301之间的通过支持第二网络220的基站225的通信连接。
在操作409中，处理器120可以确定和与外部装置201的连接有关的(或用于与外部装置201的AR服务的)连接信息(例如，信道信息)。根据实施例，处理器120可以基于确定传输需求的结果来确定是否改变电子装置101与服务器301之间的网络。根据实施例，参考以下附图详细地描述确定是否改变网络的操作。根据实施例，处理器120可以基于所确定的网络(例如，第一网络210或第二网络220)来确定有关的连接信息。例如，处理器120可以基于连接在所确定的网络与电子装置101之间的信道来确定外部装置201与电子装置101之间的信道。根据实施例，处理器120可以通过OOB(例如，BLE)向外部装置201传送与所确定的信道有关的连接信息(例如，信道信息)。
在操作411中，处理器120可以建立与外部装置201的连接。根据实施例，处理器120可以基于所确定的网络来不同地配置与外部装置201的通信连接。例如，处理器120可以通过在电子装置101与服务器301之间的第一时段和电子装置101与外部装置201之间的第二时段使用不同的频带或不同类型的网络进行通信时(例如，通过第二网络220在第二数据路径240中进行通信)将SP控制为交叠以及在第一区段和第二区段使用相同的频带或相同的网络进行通信(例如，通过第一网络210在第二数据路径240中进行通信)时将SP控制为避免交叠，来执行低延时或低功率通信。参考以下附图详细地描述根据实施例的建立电子装置101与外部装置201之间的连接的操作。
图5是示出根据各种实施例的由电子装置建立与外部装置的连接的操作的流程图。
根据实施例，图5示出电子装置101执行网络选择和网络控制的操作的示例。例如，图5示出电子装置101确定是否改变网络并且基于指示网络是否被变化的确定来进行电子装置101与外部装置201之间的连接的操作的示例。
参考图5，在操作501中，电子装置101的处理器120可以检测外部装置201。根据实施例，处理器120可以通过带外(OOB)通信来检测可以被连接的外部装置201。根据实施例，OOB可以使用各种通信方案，诸如NFC、BLE和/或Wi-Fi 2.4GHz通信。根据实施例，处理器120可以通过作为OOB的BLE来检测外部装置201并且使用Wi-Fi直通协议通过特定信道进行与外部装置201的连接。例如，外部装置201可以周期性地广播BLE通告消息。外部装置201可以包括通过BLE通告消息来指示外部装置201是用于AR服务的装置的信息。电子装置101可以执行周期性BLE扫描，并且，当接收到外部装置201的BLE通告消息时，执行确定信道(例如，WLAN信道)以进行与外部装置201的连接的操作。根据实施例，当确定建立电子装置101与外部装置201之间的无线(例如，WLAN)连接的信道时，在网络是第一网络210(例如，Wi-Fi网络)和网络是第二网络220(例如，蜂窝网络)的情况下，处理器120可以通过不同的方法来确定进行电子装置101与外部装置201之间的无线(例如，WLAN)连接的信道。以下描述根据实施例的确定信道的方法。
在操作503中，处理器120可以通过OOB基于检测到可以进行连接的外部装置201来识别将与电子装置101相连接的网络(例如，第一网络210或第二网络220)。根据实施例，网络可以指示支持电子装置101与服务器301之间的数据发送和接收的路径。例如，对网络的识别可以意指与服务器301的通信是否通过支持第一网络210的Wi-Fi AP(例如，图2的AP215)来执行以及与服务器301的通信是否通过支持第二网络220的基站(例如，图2的基站225)来执行。
在操作505中，处理器120可以基于对网络的识别的结果来识别当前与电子装置101连接的网络是否与第一网络210相对应。
当识别出网络是包括AP(例如，图2的AP 215)的第一网络210(例如，操作505的“是”)时，在操作507中，处理器120可以识别与连接到电子装置101的第一网络210有关的第一信息。例如，当网络是第一网络210时，处理器120可以识别诸如第一网络210的AP的Wi-Fi信道、带宽和/或链路速度等的信息。
在操作509中，处理器120可以基于所识别的第一信息来识别第一网络210(和/或基于AP的通信状态)是否满足外部装置201的图像传输需求。根据实施例，处理器120可以识别在整个AR系统中是否满足图像传输需求。根据实施例，处理器120可以基于由第一SP和第二SP占用的时间以及根据帧速率的间隔来确定是否满足图像传输需求。根据实施例，第一SP可以指示通过将电子装置101和外部装置201为了传输一个帧所需的数据量(例如，上行链路(UL)/下行链路(DL)数据量)除以链路带宽(例如，第一网络210)计算出的所需时间。根据实施例，第二SP可以指示通过将电子装置101和服务器301为了传输一个帧所需的数据量(例如，UL/DL数据量)除以链路带宽(例如，第二网络220的链路带宽)计算出的所需时间。以下描述根据实施例的识别是否满足图像传输需求的操作。
当第一网络210满足图像传输需求(例如，操作509的“是”)时，在操作511中，处理器120可以向外部装置201发送连接信息(例如，信道信息)。根据实施例，当计算出的第一SP和第二SP之和被包括在预定间隔中时(例如，当第一SP和第二SP之和小于根据外部装置201的帧速率的间隔时)，处理器120可以确定对应的网络(例如，第一网络210的AP)满足图像传输需求。根据实施例，当满足图像传输需求时，处理器120可以确定连接在第一网络的AP与电子装置101之间的信道是外部装置201与电子装置101之间的信道。根据实施例，处理器120可以基于OOB(例如，BLE)向外部装置201传送与所确定的信道有关的信道信息。
在操作513中，处理器120可以基于所确定的信道来建立与外部装置201的无线连接(例如，WLAN连接)。
在操作515中，处理器120可以与外部装置201和支持第一网络210的AP中的每一者协商链路(例如，电子装置101与外部装置201之间的第一链路或电子装置101与AP之间的第二链路)。根据实施例，处理器120可以通过基于第一网络210为每条链路(例如，电子装置101与外部装置201之间的第一链路或者电子装置101与AP之间的第二链路)配置SP时长、SP起始时间和/或SP间隔，来执行协商。以下描述根据实施例的为每条链路协商SP和间隔的操作。
当网络是第一网络210并且第一网络210不满足外部装置201的图像传输需求(例如，操作509的“否”)时，在操作521中，处理器120可以搜索第一网络210的另一个AP。根据实施例，当确定当前的电子装置101与AP之间的第一网络210的连接不满足电子装置101与外部装置201之间的图像传输需求时，处理器120可以执行搜索可以连接(或漫游)的支持第一网络210的另一个AP的操作。根据实施例，当执行搜索可以被连接的另一个AP的操作时，处理器120可以优选地搜索支持WLAN的大约6GHz的频带中的大约160MHz的带宽的另一个AP。在AR系统中，延时性能可能很重要，并且，例如，大约6GHz的频带还可以免受宽带宽(例如，大约160MHz)的干扰。因此，处理器120可以操作以首先在大约6GHz的频带中搜索WLAN。
在操作523中，处理器120可以基于对另一个AP的搜索结果来识别是否找到满足图像传输需求的另一个AP。
当找到满足图像传输需求的另一个AP(例如，操作523的“是”)时，处理器120可以继续到操作525并执行操作525之后的操作。当未找到满足图像传输需求的另一个AP(例如，操作523的“否”)时，例如，当对于满足图像传输需求的AP的搜索失败时，处理器120可以继续到操作531并执行操作531之后的操作。
在操作525中，处理器120可以执行用于建立与另一个找到的AP的连接的操作。根据实施例，当找到满足图像传输需求的另一个AP时，处理器120可以进行与另一个AP的连接，继续到操作513，并且执行通过和与另一个AP相连接的信道相同的信道建立与外部装置201的连接以及调度间隔或SP的操作。
当在操作505中网络不是第一网络210(例如，操作505的“否”)时或当在操作523中未找到满足图像传输需求的另一个AP(例如，操作523的“否”)时，处理器120可以继续到操作531。
在操作531中，处理器120可以识别当前与电子装置101连接的网络是否与包括基站(例如，图2的基站225)的第二网络220相对应。例如，当不存在与第一网络210的连接时或当未找到满足图像传输需求的AP时，处理器120可以识别网络是否与第二网络220相对应。
当未识别出当前与电子装置101连接的网络(例如，操作531的“否”)时，在操作541中，处理器120可以向外部装置201提供与网络有关的状态信息。根据实施例，外部装置201可以基于从电子装置101接收到状态信息而在显示模块340中显示当前状态。根据实施例，当不存在第一网络210与第二网络220的连接时，处理器120可以通过OOB向外部装置201传送指示不存在电子装置101到外部装置201的网络连接的信息并基于电子装置101和/或外部装置201的每个用户接口来向用户通知指示不存在网络连接的信息(例如，在显示器上进行显示或提供警报声音)。
当基于对网络的识别的结果而识别出与电子装置101连接的网络是包括基站(例如，图2的基站225)的第二网络220(例如，操作531的“是”)时，在操作533中，处理器120可以识别与连接到电子装置101的第二网络220有关的第二信息。例如，当网络是第二网络220时，处理器120可以执行识别关于用于建立电子装置101与外部装置201之间的连接的WLAN信道的第二信息的操作。例如第二信息可以包括第一网络210的多个信道中的至少一者的信道忙碌程度。例如，处理器120可以测量支持第一网络210的多个信道之中的在大约6GHz的频带的大约160MHz的带宽中的多个信道的信道忙碌程度。根据实施例，处理器120可以执行测量信道忙碌程度的操作。例如，可以将信道忙碌程度计算为其他电子装置的无线分组占据无线信道的时间与预定时间的比率。
在操作535中，处理器120可以向外部装置201发送连接信息(例如，信道信息)。根据实施例，处理器120可以基于测量的信道忙碌程度来选择具有最低“忙碌程度”的信道，并确定出所选择的信道具有与外部装置201与电子装置101之间的第一网络210有关的连接信息(例如，信道信息)。根据实施例，处理器120可以基于OOB(例如，BLE)向外部装置201传送与所确定的信道有关的信道信息。
在操作537中，处理器120可以基于所确定的信道来建立与外部装置201的无线连接(例如，WLAN连接)。
在操作539中，处理器120可以与外部装置201协商链路(例如，电子装置101与外部装置201之间的第一链路)。根据实施例，处理器120可以通过配置每条链路(例如，电子装置101与外部装置201之间的第一链路以及电子装置101与第二网络220之间的第二链路)的SP时长、SP起始时间和/或SP间隔来执行协商。
图6示出根据各种实施例的电子装置计算SP的操作的示例。
根据实施例，图6示出计算与电子装置101与外部装置201之间的第一链路610有关的第一SP以及与电子装置101与第一网络210(例如，AP 215)之间的第二链路620有关的第二SP的示例。
参考图6，可以假定每条链路(例如，第一链路610和第二链路620)的每帧的数据量是预定的。例如，可以基于在电子装置101和/或外部装置201中执行的AR应用或AR服务来确定每条链路所需的每帧的数据量。例如，每条链路所需的每帧的数据量(或者传输需求)可以根据AR应用或AR服务所需的条件(例如，分辨率或速度)而变化。根据实施例，电子装置101与外部装置201之间的(例如，第一链路610)第一数据量可以指示电子装置101向外部装置201发送数据的下行链路(DL)611(例如，DL路径)所需的每帧的数据量(例如，数据比特的数量)(例如，比特/帧)。电子装置101与外部装置201之间的第二数据量(例如，第一链路610)可以指示外部装置201向电子装置101发送数据的上行链路613(例如，UL路径)所需的每帧的数据量。根据实施例，电子装置101与第一网络210之间的第三数据量(例如，第二链路620)可以指示电子装置101从第一网络210(例如，AP 215)接收数据的下行链路(DL)621所需的每帧的数据量。根据实施例，电子装置101与第一网络210之间的第四数据量(例如，第二链路620)可以指示电子装置101向第一网络210(例如，AP 215)发送数据的上行链路(UL)623所需的每帧的数据量。根据实施例，第一数据量、第二数据量、第三数据量和第四数据量可以包括可以基于由外部装置201执行的服务和/或应用确定的特定值。
根据实施例，电子装置101可以基于相应链路610和620的数据量及相应链路610和620的带宽来确定与相应链路610和620有关的SP(例如，第一SP和第二SP)，如以下示例中所示。
[式1]
Figure BDA0004113397570000301
[式2]
Figure BDA0004113397570000302
[式3]
Figure BDA0004113397570000303
如[式1]中所示，电子装置101可以确定SP是通过将每条链路的数据量除以每条链路(例如，第一链路610和第二链路620)的带宽值所获得的值。根据实施例，电子装置101可以确定电子装置101与外部装置201之间的第一SP是通过将电子装置101与外部装置201之间的下行链路和上行链路的数据量(例如，第一数据量和第二数据量)之和除以第一链路610的带宽(例如，无线链路带宽)所获得的值，如式2中所示。根据实施例，电子装置101可以确定电子装置101与第一网络210之间的第二SP是通过将电子装置101与第一网络210之间的下行链路和上行链路的数据量(例如，第三数据量和第四数据量)之和除以第二链路620的带宽(例如，网络链路带宽)所获得的值，如[式3]中所示。根据实施例，可以基于至少由电子装置101使用的空间流和/或对通信指定的调制和编码方案(MCS)索引(例如，MCS 11)来确定每条链路的带宽(例如，无线链路带宽或网络链路带宽)。
例如，电子装置101可以交换用于与外部装置201和/或AP 215的通信连接的帧，例如、关联请求和关联响应。用于连接的帧可以包括关于可以用于无线通信的标准、信道带宽和/或空间流的最大数量的信息。此外，电子装置101可以测量接收到的信号的信号质量，并且可以通过将在每个标准中定义的接收器最小输入电平灵敏度值与接收信号质量相比较估计例如可以在无线通信中使用的最大调制方法、信道编码速率和/或最大MCS索引。在标准中定义的最大数据速率可以基于标准、信道带宽、空间流的最大数量、基于接收信号质量的最大调制方法、信道编码速率和/或最大MCS索引被计算，并且可以基于各值被定义为电子装置101与外部装置201之间的链路(例如，第一链路610)的带宽和电子装置101与AP 215之间的链路(例如，第二链路620)的带宽。
根据实施例，当如[式1]中所示计算SP时，如果UL路径和DL路径的链路带宽相同，则电子装置101可以基于链路带宽来计算SP。根据某些实施例，如果当计算SP时UL路径和DL路径的链路带宽不同，则电子装置101可以通过将与DL路径和UL路径相对应的链路带宽相加来计算SP，如[式2]和/或[式3]中所示。
图7是示出根据各种实施例的运行电子装置的方法的流程图。图8示出根据各种实施例的其中电子装置基于SP和间隔来执行调度的示例。
根据各种实施例，当电子装置101和服务器301通过其进行通信连接的网络是第一网络210时，电子装置101可以确定是否满足用于向外部装置201(例如，系链型AR眼镜)传输AR图像的图像传输需求。根据实施例，电子装置101可以基于根据[式1]至[式3]计算出的第一SP和第二SP之和是否被包括在根据外部装置201的帧速率的间隔中来确定是否满足图像传输需求。例如，图7和图8示出当电子装置101使用第一网络210作为与服务器301的网络时确定SP和间隔(该SP和间隔用于确定是否满足图像传输需求)的示例。
参考图7，在操作701中，电子装置101的处理器120可以识别用于与外部装置201有关的内容的显示的帧速率。根据实施例，处理器120可以使用OOB(例如，NFC、BLE和/或Wi-Fi2.4GHz)通信来搜索可以进行连接的外部装置201。例如，外部装置201可以周期性地执行BLE通告(例如，连接请求广播)并且可以将指示用于支持AR服务的装置的信息、与外部装置201的帧速率有关的信息以及与包括外部装置201(例如，相机模块和传感器)的元件有关的信息包括在BLE通告中。根据实施例，处理器120可以通过无线通信电路310执行周期性BLE扫描并且基于BLE扫描来接收外部装置201的BLE通告。根据实施例，处理器120可以基于通过与外部装置201的OOB通信所获取的信息来识别外部装置201的帧速率。
在操作703中，处理器120可以基于外部装置201的帧速率来确定重复间隔。例如，处理器120可以基于外部装置201的帧速率来确定图像帧传输间隔811，如图8中所示。根据实施例，处理器120可以确定针对第一帧速率(例如，30fps)的第一间隔(例如，33.3ms)、针对第二帧速率(例如，60fps)的第二间隔(例如，16.6ms)、或针对第三帧速率(例如，120fps)的第三间隔(例如，8.3ms)。根据实施例，参考图8，当假定外部装置201的帧速率是60每秒帧数(例如，60fps)时，则可以在电子装置101与外部装置201之间的无线链路区段中最少每16.6ms发送与一个帧相对应的数据。例如，在图8中，与最少一个帧相对应的数据可以在基于数据量计算出的SP 813期间每16.6ms地被发送和接收，并且可以重新进入休眠模式815。根据实施例，处理器120可以根据用于图像的帧速率确定发送一个帧的数据所需要的时间，并且可以如图8所示地确定应当根据用于图像的帧速率发送一个帧的数据的时间。例如，在大约60fps的情况下，最少一个图像帧应当在大约16.6ms内被发送。也就是说，在60fps的情况下，每帧的间隔可以是大约16.6ms。
在操作705中，处理器120可以计算与第一链路610(例如，电子装置101与外部装置201之间的链路)和第二链路620(例如，电子装置101与AP 215之间的链路)有关的数据量。根据实施例，如上所述，每条链路(例如，第一链路610或第二链路620)所需的每帧的数据量可以是预定的。例如，与第一链路610有关的数据量可以包括在外部装置201从电子装置101接收数据的下行链路(DL)中所需的每帧的数据量(例如，比特/帧)以及在外部装置201向电子装置101发送数据的上行链路(UL)中所需的每帧的数据量。根据实施例，与第二链路620有关的数据量可以包括在电子装置101从第一网络210(例如，AP 215)接收数据的DL中所需的每帧的数据量以及在电子装置101向第一网络210(例如，AP 215)发送数据的UL中所需的每帧的数据量。根据实施例，每条链路的数据量可以根据由外部装置201执行的服务和/或应用而变化。
根据实施例，参考图8，可以假定所述帧速率是60fps并且SP 813被确定为1ms。例如，可以通过网络带宽、每帧的数据量和用于重传的分配时间来确定SP 813。例如，当电子装置101和外部装置201利用基于IEEE 802.11ax的WLAN标准在160MHz的带宽中具有无线连接并且可以使用MIMO方案支持两个空间流时(例如，当假定在短程中以足够好的信号质量运行时)，可以提供最大2400Mbps的物理层链路速度。当假定基于传输控制协议(TCP)来发送数据帧并且TCP通信的效率是物理层链路速度的75％时，可以假定网络带宽是1800Mbps(2400Mbps*0.75)。当假定从电子装置101向显示装置201发送的每帧需要1.8Mbit的数据传输量时，SP 813(例如，最小服务时段)可以被确定为1ms(1.8Mbit/1800Mbps)。
在操作707中，处理器120可以计算与第一链路610有关的第一SP和与第二链路620有关的第二SP。根据实施例，处理器120可以根据参考[式1]至[式3]作出的描述来计算第一SP和第二SP。例如，处理器120可以基于每条链路的数据量来确定SP。根据实施例，基于数据量确定SP的操作和基于帧速率确定间隔的操作不限于图7中所示出的顺序，并且可以与示出的顺序反序地、并行地、或者启发式地执行。
在操作709中，处理器120可以基于第一SP和第二SP之和来识别是否满足图像传输需求。根据实施例，处理器120可以基于所确定的图像帧传输间隔和SP来确定当前网络(例如，第一网络210)是否满足图像传输需求。例如，当第一SP和第二SP之和被包括在预定间隔中时(例如，当第一SP和第二SP之和小于根据外部装置201的帧速率的间隔时)，处理器120可以识别出对应的链路(例如，第一网络210的AP 215)满足图像传输需求。在另一个示例中，当第一SP和第二SP之和未被包括在预定间隔中时，处理器120可以识别出对应的链路(例如，第一网络210的AP 215)不满足图像传输需求。
在操作711中，处理器120可以分配SP。根据实施例，当识别出满足图像传输需求时，处理器120可以配置SP以保证每个所需的SP。例如，处理器120可以与外部装置201和支持第一网络210的AP 215协商每条链路(例如，电子装置101与外部装置201之间的第一链路610或者电子装置101与AP 215之间的第二链路620)。根据实施例，处理器120可以基于第一网络210来协商每条链路(例如，电子装置101与外部装置201之间的第一链路610或者电子装置101与AP 215之间的第二链路620)的SP时长、SP起始时间和/或SP间隔。例如，电子装置101和外部装置201可以协商第一链路610的SP时长、SP起始时间和/或SP间隔，并且电子装置101和AP 215可以协商第二链路620的SP时长、SP起始时间和/或SP间隔。根据实施例，电子装置101可以基于与外部装置201对于第一链路610的协商结果来与AP215协商第二链路620。
根据各种实施例，当如上所述计算出的第一SP和第二SP之和被包括在图像帧传输间隔中时，电子装置101可以确定对应的网络(例如，第一网络210的AP 215)满足图像传输条件。根据另一个实施例，当第一SP和第二SP之和小于根据外部装置201的帧速率的图像帧传输间隔时，电子装置101可以考虑每个SP的比率而保留额外的重传时间。例如，当考虑到保留的重传时间时第一SP、第一重传时间、第二SP和第二重传时间的值(例如，之和)被包括在图像帧传输间隔中时，电子装置101可以确定对应的网络(例如，第一网络210的AP 215)满足图像传输条件。其示例在图9中示出。
图9示出根据各种实施例的链路之间的调度的示例。图10示出根据各种实施例的基于TWT协议执行调度的示例。
根据实施例，图9示出在第一网络210的Wi-Fi AP 901(例如，图2的AP 215)、电子装置101和外部装置201之间根据随帧速率而定的图像帧传输间隔和SP来控制休眠和唤醒的示例。根据实施例，图10示出其中电子装置101在电子装置作为用于Wi-Fi AP 901和外部装置201的目标唤醒时间(TWT)请求站(在下文，被称为“TWT请求STA”)运行的情况下执行TWT设置的操作的示例。根据实施例，为了调度电子装置101与外部装置201和/或第二SP920之间的第一链路(例如，图6的第一链路610)的第一SP 910和第一重传时间915以及电子装置101与Wi-Fi AP 901之间的第二链路(例如，图6的第二链路620)的第二重传时间925，例如，可以使用如图10中所示的基于TWT协议来执行调度的方法。
参考图9，可以基于在例如802.11ax标准和/或类似于其的非标准中定义的TWT协议使用休眠/唤醒时间协议来协商每条链路(例如，第一链路和第二链路)以便在给定间隔内处理第一SP 910和第二SP 920。根据实施例，图9示出例如在大约60fps的帧速率时大约16.6ms的间隔内利用第一网络210的电子装置101与外部装置201之间的第一链路的第一SP910或第一重传时间915以及第一网络210的电子装置101与Wi-Fi AP 901之间的第二链路的第二SP 920或第二重传时间925来配置图像传输需求的示例。根据实施例，在图9中，可以基于第一SP 910和第二SP 920来确定第一重传时间915和第二重传时间925。例如，当假定重传率是100％时，第一重传时间915可以被配置为与第一SP 910相同的值，并且第二重传时间925可以被配置为与第二SP 920相同的值。例如，当电子装置101与外部装置201之间的第一链路的第一SP 910是1ms时，第二SP 920、第一重传时间915和/或第二重传时间925可以被配置为1ms。
根据实施例，图9和图10示出当网络是第一网络210(例如，Wi-Fi AP901)时第一SP910和第二SP 920被配置为彼此不交叠的示例。根据实施例，当服务器301与电子装置101之间的网络的类型与电子装置101与外部装置201之间的网络的类型相同(例如，第一网络210)时，传输间隔被配置为彼此不交叠。
例如，图10示出当电子装置101作为用于Wi-Fi AP 901和外部装置201的TWT请求STA运行时第一SP 910和第二SP 920彼此不交叠的操作(或配置)的示例。例如，图10示出电子装置101作为STA运行并与Wi-Fi AP 901连接并且以Wi-Fi对等(P2P)组的组客户端(GC)模式运行并与以Wi-Fi P2P组的组拥有者(OG)模式(或者软AP模式)运行的外部装置201连接的示例。
参考根据实施例的图9和图10，在操作1001中，外部装置201可以向电子装置101发送TWT请求。根据实施例，外部装置201可以配置与用于对包括在TWT元素中的TWT唤醒间隔(或目标唤醒间隔)930、TWT唤醒时长(或最小唤醒时长)935和第一TWT 955进行配置的字段中的每一者相对应的值，并在发送TWT请求时作出控制网络的请求。例如，外部装置201可以基于第一SP 910的起始时间(或服务起始时间)来配置第一TWT 955、基于第一SP 910和第一重传时间915来配置TWT唤醒时长935、基于图像帧传输间隔900来配置TWT唤醒间隔930，并且将其发送给电子装置101。例如，如图9中所示，外部装置201可以使用图像帧传输间隔900作为唤醒间隔930，并且使用第一SP 910或者第一SP 910和第一重传时间915之和作为TWT唤醒时长935。例如，电子装置101可以在电子装置101和外部装置201的TWT设置操作中使用第一SP 910和第一重传时间915之和作为TWT唤醒时长935。
在操作1003中，电子装置101可以从外部装置201接收TWT请求并且向外部装置201发送对于TWT请求的接收的确认(ACK)。
在操作1005中，电子装置101可以响应于来自外部装置201的TWT请求而向外部装置201发送TWT响应。根据实施例，从电子装置101接收到TWT响应的外部装置201可以在TWT请求中配置的TWT唤醒时长935期间以已唤醒状态运行。例如，外部装置201可以在第一SP910之后进入休眠状态，并在下一TWT唤醒间隔930中进入已唤醒状态。根据实施例，外部装置201可以在TWT请求的TWT字段中添加(或配置)服务开始的起始时间。
在操作1007中，外部装置201可以从电子装置101接收TWT响应，并且向电子装置101发送针对TWT响应的接收的ACK。
根据实施例，电子装置101和外部装置201可以通过TWT协商来确定包括在TWT元素中的TWT唤醒间隔930、TWT唤醒时长935和第一TWT 955的配置。例如，当外部装置201配置TWT元素(例如TWT唤醒间隔930、TWT唤醒时长935和第一TWT 955)并将其发送给电子装置101时，电子装置101可以基于信道的忙碌程度和电子装置101的状态信息来批准来自外部装置201的TWT请求并且将TWT元素发送给外部装置201(例如，发送TWT响应)。
在操作1009中，电子装置101可以将TWT请求发送给Wi-Fi AP 901。根据实施例，当发送TWT请求时，电子装置101可以配置与用于对包括在TWT元素中的TWT唤醒间隔940、TWT唤醒时长945和第二TWT 965进行配置的字段中的每一者相对应的值以控制网络。例如，电子装置101可以基于第一SP 910的起始时间(或服务起始时间)、第一SP 910和第一重传时间915来配置第一TWT 955(或第一链路的TWT)，基于第二SP 920和第二重传时间925来配置第二TWT 965(或第二链路的TWT)，并且基于图像帧传输间隔900来配置TWT唤醒间隔940。根据实施例，第一TWT 955和第二TWT 965可以被配置为具有不同值，并且电子装置101可以基于第一TWT955和第二TWT 965的区别配置而将第一SP 910和第二SP 920控制为不交叠。
例如，如图9中所示，电子装置101可以使用图像帧传输间隔900作为TWT唤醒间隔940，并使用第二SP 920或者第二SP 920和第二重传时间925之和作为TWT唤醒时长945。例如，电子装置101可以在用于电子装置101与服务器301之间的连接的Wi-Fi AP 901的TWT设置操作中使用第二SP 920和第二重传时间925之和作为TWT唤醒时长945。根据某些实施例，电子装置101也可以在Wi-Fi AP 901的TWT设置操作中使用考虑了第一SP 910和外部装置201的第一重传时间915的时间值作为第二TWT 965。例如，电子装置101可以使用通过将第一SP 910和第一重传时间915之和添加到利用外部装置201配置的第一TWT 955所获得的值来作为用于Wi-Fi AP 901的第二TWT 965。例如，电子装置101可以考虑第一SP 910或第一重传时间915的结束来配置第二TWT 965。
在操作1011中，Wi-Fi AP 901可以从电子装置101接收TWT请求，并且向电子装置101发送对于TWT请求的接收的ACK。
在操作1013中，Wi-Fi AP 901可以响应于来自电子装置101的TWT请求而向电子装置101发送TWT响应。根据实施例，Wi-Fi AP 901可以在TWT请求中配置的TWT唤醒时长945的时段中向电子装置101发送与第三数据621和第四数据(即，上行链路UL)623相对应的数据以及从电子装置101接收与第三数据621和第四数据(即，上行链路UL)623相对应的数据。根据实施例，Wi-Fi AP 901可以确定通过协商由电子装置101配置的TWT元素中所包括的TWT唤醒间隔940、TWT唤醒时长945和第二TWT 965的配置。例如，Wi-Fi AP 901可以识别对于具有与Wi-Fi AP 901的通信连接的至少一个其他电子装置(未示出)的SP是否不交叠。
在操作1015中，电子装置101可以从Wi-Fi AP 901接收TWT响应并且向Wi-Fi AP901发送针对TWT响应的接收的ACK。
如上所述，根据各种实施例，电子装置101可以在每条链路的TWT设置操作中配置TWT，使得当网络是第一网络210时，第一SP 910和第二SP 920彼此不交叠。
根据实施例，电子装置101可以基于与Wi-Fi AP 901的TWT设置来再次执行与外部装置201的TWT配置操作。例如，当电子装置101基于与外部装置201的TWT配置向Wi-Fi AP901发送TWT请求以及Wi-Fi AP 901请求(或拒绝)改变TWT设置时，电子装置101可以基于与Wi-Fi AP 901的TWT配置来再次配置与外部装置201的一些TWT设置(例如，第一TWT)。
图11示出根据各种实施例的基于TWT协议执行调度的另一个示例。
根据实施例，图11示出当电子装置101作为用于Wi-Fi AP 901的TWT请求STA运行并且作为用于外部装置201的TWT响应STA运行时执行TWT设置的操作的示例。
根据实施例，图11示出当网络是第一网络210(例如，Wi-Fi AP 901)时第一SP 910和第二SP 920被配置为彼此不交叠的示例。根据实施例，当服务器301与电子装置101之间的网络的类型与电子装置101与外部装置201之间的网络的类型相同(例如，第一网络210)时，SP被配置为不交叠。
例如，图11示出当电子装置101作为用于Wi-Fi AP 901的TWT请求STA运行并且作为用于外部装置201的TWT响应STA运行时第一SP 910和第二SP 920彼此不交叠的操作(或配置)的示例。例如，图11示出电子装置101作为STA运行并且与Wi-Fi AP 901连接并且以与外部装置201的Wi-Fi P2P组的GO模式(或者软AP模式)运行并且与以Wi-Fi P2P组的GC模式(或STA模式)运行的外部装置201连接的示例。
如图11中所示，图11与图10的不同之处在于，电子装置101使用TWT响应来执行与外部装置201的TWT设置。
参考根据实施例的图9和图11，在操作1101中，电子装置101可以向外部装置201发送TWT响应。根据实施例，电子装置101可以配置与用于对包括在TWT元素中的TWT唤醒间隔930、TWT唤醒时长935和第一TWT955进行配置的字段中的每一者相对应的值，并在发送TWT响应时控制网络。例如，电子装置101可以基于第一SP 910的起始时间(或服务起始时间)来配置第一TWT 955、基于第一SP 910和第一重传时间915来配置TWT唤醒时长935、基于图像帧传输间隔900来配置TWT唤醒间隔930，并且将其发送给外部装置201。例如，如图9中所示，电子装置101可以使用图像帧传输间隔900作为唤醒间隔930，并且使用第一SP 910或者第一SP 910和第一重传时间915之和作为TWT唤醒时长935。例如，电子装置101可以在电子装置101和外部装置201的TWT设置操作中使用第一SP 910和第一重传时间915之和作为TWT唤醒时长935。
在操作1103中，外部装置201可以从电子装置101接收TWT响应，并且向电子装置101发送针对TWT响应的接收的ACK。根据实施例，如图11中所示，当电子装置101以用于外部装置201的Wi-Fi P2P组的GO模式运行时，电子装置101可以直接地发送TWT响应，并基于从外部装置201接收到针对TWT响应的接收的ACK来直接地执行用于Wi-Fi AP 901的TWT设置操作。例如，当电子装置101在发送TWT响应之后未从外部装置201接收到TWT拆除时，电子装置101可以确定与外部装置201的TWT设置已经正常地完成并执行用于Wi-Fi AP 901的TWT设置操作。根据实施例，当外部装置201确定包括在从电子装置101接收到的TWT响应中的TWT设置信息(例如TWT唤醒间隔930、TWT唤醒时长935和/或第一TWT 955)不满足外部装置201的帧速率时，外部装置201可以发送使TWT设置结束的TWT拆除。当电子装置101未从外部装置201接收到TWT拆除时，电子装置101可以确定与外部装置201的TWT设置已经正常地完成。
在操作1105、操作1107、操作1109和操作1111中，电子装置101和Wi-Fi AP 901可以执行与图10中的操作1009、操作1011、操作1013和操作1015中的描述相对应的操作。
图12示出根据各种实施例的链路之间的调度的另一个示例。
根据实施例，图12示出在第二网络220的基站1201(例如，图2的基站225)、电子装置101和外部装置201之间根据基于帧速率的图像帧传输间隔和SP来控制休眠和唤醒的示例。根据实施例，图12示出当与电子装置101连接的网络是第二网络220的基站1201时使第一SP 1210和第二SP 1220交叠的操作(或配置)的示例。根据实施例，当服务器301与电子装置101之间的网络(例如，第二网络220)的类型与电子装置101与外部装置201之间的网络(例如，第一网络210)的类型不同时，传输间隔可以被配置为彼此交叠。
参考图12，电子装置101可以与外部装置201协商TWT唤醒时长、TWT唤醒间隔和图像帧传输间隔。根据实施例，为了在给定间隔内处理第一SP1210和第二SP 1220，电子装置101可以使用在例如802.11ax标准或者基于与其相似的非标准的休眠/唤醒时间协议中定义的TWT协议针对每条链路执行协商。根据实施例，图12示出例如在大约60fps的帧速率时大约16.6ms的间隔内利用第一网络210的电子装置101与外部装置201之间的第一SP1210和第一重传时间1215和/或第二网络220的基站1201与电子装置101之间的第二SP 1220和第二重传时间1225来配置图像传输需求的示例。
根据实施例，为了在相应链路之间调度第一SP 1210、第一重传时间1215、第二SP1220和第二重传时间1225，电子装置101可以使用如图10或图11中所示例如基于TWT协议来执行调度的方法。
根据实施例，图12示出第一SP 1210和第二SP 1220被配置为在网络是第二网络220(例如，蜂窝基站1201)时至少部分地交叠(或重叠)的示例。例如，如图12中所示，当网络是第二网络220时，第二SP 1220和第二重传时间1225可以至少部分地与第一SP 1210和第二重传时间1225相同，而在网络是第一网络210的情况下并非如此。
根据实施例，电子装置101和外部装置201可以使用WLAN协议彼此进行通信，并且电子装置101和服务器301可以通过第二网络220(例如蜂窝基站1201)彼此进行通信，因此即使同时使用第一SP 1210和第二SP 1220也可以不存在干扰。根据实施例，电子装置101可以切换到唤醒状态，并通过第一网络210向外部装置201发送数据以及从外部装置201接收数据以及通过第二网络220向服务器301(或蜂窝基站1201)发送数据以及从服务器301(或蜂窝基站1201)接收数据。例如，当两条链路的发送和接收正常地结束时，电子装置101可以进入休眠模式，因此在电流消耗方面获益。
图13是示出根据各种实施例的外部装置的操作的流程图。
根据实施例，图13示出外部装置201基于与电子装置101的TWT协商来提供AR服务的示例。
参考图13，在操作1301中，外部装置201的处理器380可以执行AR服务。根据实施例，处理器380可以基于来自用户或电子装置101的请求而执行外部装置201中的AR服务(或与AR服务有关的AR应用)。根据实施例，当执行AR服务时，处理器380可以通过OOB通信检测可以连接的电子装置101。例如，处理器380可以通过作为OOB的BLE来检测电子装置101，并使用Wi-Fi直通协议通过特定信道(例如，WLAN信道)进行与电子装置101的连接。
在操作1303中，处理器380可以基于AR服务的执行通过通信模块365向电子装置101发送外部装置201的帧速率信息。根据实施例，处理器380可以在通过OOB通信检测到电子装置101的操作之后、与电子装置101的连接之前或与电子装置101的连接之后向电子装置101发送帧速率信息。
在操作1305中，处理器380可以执行与电子装置101的TWT协商。根据实施例，处理器380可以根据参考图10和/或图11作出的描述来执行与电子装置101的TWT协商。
在操作1307中，处理器380可以基于TWT配置从电子装置以及向电子装置101收发数据。根据实施例，处理器120可以基于TWT参数向电子装置101发送数据(例如，通过相机模块360捕捉的图像信息)。
在操作1309中，处理器120可以通过显示模块340显示AR数据(例如，AR图像)。根据实施例，处理器120可以通过通信模块365从电子装置101接收AR图像，并通过显示模块340显示接收到的AR图像。
图14是示出根据各种实施例的电子装置的操作的流程图。
根据实施例，图14示出当当前与电子装置101连接的网络是第二网络220(例如，蜂窝网络)时网络从第二网络220改变为第一网络210(例如，Wi-Fi网络)的示例。
参考图14，在操作1401中，电子装置101的处理器120可以基于第二网络220的连接来执行AR服务。例如，电子装置101可以在具有基于第一网络210的与外部装置201的通信连接以及通过第二网络220的与服务器301的通信连接时执行AR服务。
在操作1403中，处理器120可以基于第二网络220在AR服务期间搜索可以建立连接的(或漫游的)第一网络210的AP(例如，图2的AP 215)。根据实施例，当电子装置101基于第二网络220来执行与AR服务有关的数据通信时，电子装置可以周期性地监测第一网络210，并基于监测结果来执行搜索可以连接或漫游的第一网络210(例如，Wi-Fi AP)的操作。例如，可以基于用户请求或者第一网络210的优先级被配置为高于第二网络220而执行基于第二网络220在AR服务期间搜索可以连接(或漫游)的第一网络210的AP的操作。
在操作1405中，处理器120可以基于搜索结果来识别是否找到满足传输需求的AP。根据实施例，当基于AP搜索结果找到AP时，处理器120可以确定所找到的AP是否满足传输需求。例如，处理器120可以确定所找到的AP是否满足考虑了第一SP和第二SP和/或第一重传时间和第二重传时间的图像传输需求。根据实施例，电子装置101可以基于外部装置201的帧速率来计算第一SP和第一重传时间，并基于第一SP和第一重传时间来确定所找到的AP是否支持第二SP和第二重传时间(第一SP、第二SP、第一重传时间和第二重传时间之和是否比根据外部装置201的帧速率的间隔短)。
当未发现满足传输需求的AP(例如，操作1405的“否”)时，处理器120可以在操作1407中发起预定时间的延迟(例如，T，其中T>0)，并且返回到操作1403以重新执行对于适当的AP的搜索。
当找到满足传输需求的AP(例如，操作1405的“是”)时，在操作1409中，处理器120可以建立与对应的AP的连接(或漫游)。
在建立了与对应的AP的连接(或漫游)之后，在操作1411中，用于AR服务的网络可以从第二网络220改变为第一网络210(例如，或者数据路径可以改变、或者例如从第二数据路径240改变为第一数据路径230)。根据实施例，当网络改变为第一网络210时，处理器120可以基于考虑了第一SP和第二SP和/或第一重传时间和第二重传时间的调度来提供AR服务。例如，处理器120可以执行调度，使得第一SP和/或第一重传时间和第二SP和/或第二重传时间至少部分地彼此交叠。
图15是示出根据各种实施例的电子装置的操作的流程图。
根据实施例，可以假定，电子装置101正与支持第一网络210的AP 215通信连接，以及，已经基于在图15中的电子装置101中执行的另一个应用(或服务)作出了AP 215与电子装置101之间的TWT配置。根据实施例，在图15的状态中，电子装置101可以通过OOB搜索外部装置201(或从外部装置201接收AR服务请求)、基于外部装置201的AR服务条件(或者传输需求(例如，帧速率))与AP 215进行新TWT配置、或将通过AP 215与电子装置101连接的第一网络210改变为包括基站225的第二网络220。
参考图15，在操作1501中，电子装置101的处理器120可以执行与支持第一网络210的AP 215的TWT协商。根据实施例，处理器120可以根据参考图10和/或图11作出的描述来执行与AP 215(例如，图10或图11的Wi-Fi AP 901)的TWT协商。
在操作1503中，处理器120可以在电子装置101与AP 215连接时检测AR服务的启动。根据实施例，处理器120可以基于电子装置101中的与AR服务有关的应用(例如，AR应用)的执行和/或检测到对于与外部装置201的连接的请求来检测AR服务的启动。例如，在电子装置101正基于第一网络210与AP 215通信连接的状态中，处理器120可以通过第一网络210进行与外部装置201的通信连接并执行AR服务。
在操作1505中，处理器120可以识别外部装置201的AR服务条件(例如，诸如帧速率的传输需求)。根据实施例，处理器120可以通过OOB通信来接收关于外部装置201的帧速率的信息，以及基于连接历史来识别关于与AR服务有关的外部装置201的帧速率的信息。
在操作1507中，处理器120可以基于AR服务条件来确定AP 215是否满足AR服务条件。根据实施例，处理器120可以确定当前连接在电子装置101与AP 215之间的第一网络210是否满足AR服务条件以及因此能够提供用于满意的AR体验的传输能力。根据实施例，当前连接在电子装置101与AP 215之间的第一网络210可以是电子装置101与服务器301之间的通过支持第一网络210的AP 215的通信连接。
当AP 215满足AR服务条件(例如，操作1507的“是”)时，在操作1509中，处理器120可以重新配置TWT。例如，处理器120可以基于与外部装置201的TWT配置来再次执行与电子装置101的TWT配置操作。根据实施例，处理器120可以基于在电子装置101中执行的应用(或服务)来进行与AP 215的多个TWT配置。例如，在电子装置101与AP 215之间可以包括多个TWT。根据实施例，在与AP 215作出了TWT配置的状态中，处理器120可以基于另外在电子装置101中执行的应用(例如，AR服务)、考虑现有的TWT来与外部装置201配置第一AP以及与AP215配置第二SP。根据实施例，处理器120可以基于考虑了第一SP和第二SP和/或第一重传时间和第二重传时间的调度来提供AR服务。例如，处理器120可以执行调度，使得第一SP和/或第一重传时间和第二SP和/或第二重传时间至少部分地彼此交叠。
当AP 215不满足AR服务条件(例如，操作1507的“否”)时，在操作1511中，处理器120可以将网络改变为另一个网络。根据实施例，处理器120可以将用于AR服务的网络从第一网络210改变为包括基站225的第二网络220。例如，当AR服务具有高优先级时，处理器120可以将用于电子装置101与AP 215之间的连接的网络从第一网络210改变为第二网络220以提供AR服务。
根据各种实施例，外部装置201可以包括可卷曲、可折叠、或可滑动的显示器(例如，图1的显示模块160)。外部装置201可以基于显示状态(例如，至少一部分被折叠、卷曲或展开)而具有每帧的不同所需数据量。例如，外部装置201所需的每帧的数据量可以根据显示器的分辨率而变化。根据实施例，外部装置201可以基于显示器状态的改变而与电子装置101再次协商TWT唤醒时长、TWT唤醒间隔和图像帧传输间隔。
一种根据本公开的各种实施例的由电子装置101执行的操作方法可以包括：在启动利用外部装置201的增强现实(AR)服务时基于预定数据路径的数据量来识别第一服务时段(SP)的操作；基于外部装置201的帧速率来识别传输间隔的操作；至少基于第一SP和传输间隔来识别与电子装置101连接的网络是否满足预定传输需求的操作；基于网络满足传输需求来确定和与外部装置201的连接有关的连接信息的操作；以及基于连接信息来建立与外部装置201的连接的操作。
根据本公开的各种实施例，识别第一SP的操作可以包括：基于电子装置101与外部装置201之间的第一链路的目标唤醒时间(TWT)元素来配置与第一链路有关的第一TWT的操作，以及至少基于第一链路的第一TWT和TWT元素来配置与电子装置101与网络之间的第二链路有关的第二TWT的操作，并且TWT元素可以包括TWT唤醒间隔、TWT唤醒时长和TWT。
根据本公开的各种实施例，由电子装置101执行的操作可以包括基于第一链路的数据量来计算第一SP的操作以及基于第二链路的数据量来计算第二SP的操作。
根据本公开的各种实施例，识别网络是否满足传输需求的操作可以包括当第一SP和第二SP之和被包括在根据帧速率的传输间隔内时确定网络满足传输需求的操作。
根据本公开的各种实施例，第一SP包括通过将在电子装置101与外部装置201之间的第一链路中发送一个帧所需的数据量除以第一链路的链路带宽计算出的所需时间。
根据本公开的各种实施例，第二SP包括通过将在电子装置101与网络之间的第二链路中发送一个帧所需的数据量除以第二链路的链路带宽计算出的所需时间。
根据本公开的各种实施例，确定连接信息的操作可以包括确定电子装置101通过其连接到网络的信道是电子装置101与外部装置201之间的信道的操作。
说明书和附图中所示的本公开的各种实施例仅呈现特定示例以容易地描述本公开的技术内容并帮助理解本公开，而不限制本公开的范围。因此，本公开的范围应当被解释为基于本公开的技术思路所推导的全部修改或修改形式被包括在本公开的范围中。

Claims (15)

1.一种电子装置，所述电子装置包括：
无线通信电路；以及
处理器，所述处理器与所述无线通信电路可操作地连接，
其中，所述处理器被配置为：
当与外部装置相关联的增强现实(AR)服务被启动时，基于预定数据路径的数据量来识别第一服务时段(SP)，
基于所述外部装置上的显示的帧速率来识别传输间隔，
至少基于所述第一SP和所述传输间隔，来检测与所述电子装置连接的网络是否满足预定传输需求，
基于检测到所述网络满足所述预定传输需求，确定和与所述外部装置的连接有关的连接信息，以及
基于所述连接信息建立与所述外部装置的连接。
2.根据权利要求1所述的电子装置，其中，所述处理器被配置为：
基于所述电子装置与所述外部装置之间的第一链路的目标唤醒时间(TWT)元素，来配置与所述第一链路有关的第一TWT，以及
至少基于所述第一链路的所述第一TWT和所述TWT元素，来配置与所述电子装置与所述网络之间的第二链路有关的第二TWT，并且
其中，所述TWT元素包括TWT唤醒间隔、TWT唤醒时长和TWT。
3.根据权利要求2所述的电子装置，其中，所述处理器被配置为：
基于所述第一链路的数据量来计算所述第一SP，
基于所述第二链路的数据量来计算第二SP，以及
当所述第一SP与所述第二SP之和被包括在根据所述帧速率的传输间隔中时，确定所述网络满足所述预定传输需求。
4.根据权利要求3所述的电子装置，
其中，所述第一SP包括通过以下操作计算出的第一时间：
将用于通过所述电子装置与所述外部装置之间的所述第一链路传输一个帧的数据量除以所述第一链路的链路带宽，并且
其中，所述第二SP包括通过以下操作计算出的第二时间：
将用于通过所述电子装置与所述网络之间的所述第二链路传输一个帧的数据量除以所述第二链路的链路带宽。
5.根据权利要求1所述的电子装置，其中，所述处理器被配置为基于检测出所述网络是否满足所述预定传输需求来确定是否改变所述网络。
6.根据权利要求5所述的电子装置，其中，所述处理器被配置为：
当所述网络是支持第一网络的接入点(AP)并且所述AP不满足所述传输需求时，搜索支持所述第一网络的另一个AP，以及
当搜索满足所述传输需求的另一个AP失败时，将所述网络从所述第一网络改变为第二网络，
其中，当搜索另一个AP时，优选地搜索预定频带中的AP。
7.根据权利要求2所述的电子装置，其中，所述处理器被配置为：
确定满足所述传输需求的网络，
基于所确定的网络来确定和与所述外部装置的连接有关的连接信息，以及
使用带外(OOB)通信向所述外部装置发送所确定的连接信息。
8.根据权利要求7所述的电子装置，其中，所述处理器被配置为：
确定所述电子装置借以与所述网络连接的信道为所述电子装置与所述外部装置之间的信道，
当所确定的网络是第一网络时，确定等于利用网络配置的信道的第一信道为所述连接信息，以及
当所确定的网络是第二网络时，确定不同于所述第一信道的第二信道为所述连接信息。
9.根据权利要求8所述的电子装置，其中，当所述网络是所述第一网络时，所述处理器被配置为基于所述第一网络的信道忙碌程度来确定所述连接信息。
10.根据权利要求9所述的电子装置，其中，所述处理器被配置为基于所述第一网络中的预定频带中的信道来优选地测量所述信道忙碌程度，并基于所述测量的结果来确定信道忙碌程度低的信道是用于与所述外部装置的连接的信道。
11.根据权利要求3所述的电子装置，其中，所述处理器被配置为：
基于所述第一链路和所述第二链路的网络类型是否等同，来确定所述第一SP和所述第二SP是否交叠，
当所述第一链路和所述第二链路的网络类型等同时，将所述第一SP和所述第二SP设置为避免交叠，以及
当所述第一链路和所述第二链路的网络类型彼此不同时，将所述第一SP和所述第二SP控制为至少部分地交叠。
12.一种电子装置，所述电子装置包括：
无线通信电路；以及
处理器，
其中，所述处理器被配置为：
通过所述无线通信电路检测与外部装置的连接，
获取所述电子装置与所述外部装置之间的第一链路的数据量和所述电子装置与网络之间的第二链路的数据量，
基于所述第一链路的数据量，来计算所述第一链路的第一服务时段(SP)，
基于所述第二链路的数据量，来计算所述第二链路的第二SP，
基于所述第一SP和所述第二SP，来确定满足图像传输需求的网络，以及
通过基于所确定的网络将所述第一链路的信道配置为等于所述第二链路的信道来建立与所述外部装置的连接。
13.一种运行电子装置的方法，所述方法包括：
在启动利用外部装置的增强现实(AR)服务时，由所述电子装置的至少一个处理器基于预定数据路径的数据量来识别第一服务时段(SP)；
基于用于在所述外部装置上显示图像的帧速率，来识别传输间隔；
至少基于所述第一SP和所述传输间隔，来检测与所述电子装置连接的网络是否满足预定传输需求；
基于所述网络满足所述预定传输需求，确定与所述外部装置的连接的连接信息；以及
基于所述连接信息建立与所述外部装置的连接。
14.根据权利要求13所述的方法，其中，识别所述第一SP包括：
基于所述电子装置与所述外部装置之间的第一链路的目标唤醒时间(TWT)元素，来配置与所述第一链路有关的第一TWT；以及
至少基于所述第一链路的所述第一TWT和所述TWT元素，来配置与所述电子装置与所述网络之间的第二链路有关的第二TWT，并且
所述TWT元素包括TWT唤醒间隔、TWT唤醒时长和TWT。
15.根据权利要求14所述的方法，所述方法还包括：
基于所述第一链路的数据量来计算所述第一SP；以及
基于所述第二链路的数据量来计算第二SP，并且
其中，识别所述网络是否满足所述传输需求包括：当所述第一SP与所述第二SP之和被包括在根据所述帧速率的传输间隔内时，确定所述网络满足所述传输需求，
其中，所述第一SP包括通过以下操作计算出的第一时间：
将用于通过所述电子装置与所述外部装置之间的所述第一链路传输一个帧的数据量除以所述第一链路的链路带宽，并且
其中，所述第二SP包括通过以下操作计算出的第二时间：
将用于通过所述电子装置与所述网络之间的所述第二链路传输一个帧的数据量除以所述第二链路的链路带宽。
CN202180056928.XA 2020-08-04 2021-07-23 用于电子装置中的数据通信的网络控制方法和设备 Pending CN116076106A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200097120A KR20220017067A (ko) 2020-08-04 2020-08-04 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치
KR10-2020-0097120 2020-08-04
PCT/KR2021/009568 WO2022030836A1 (ko) 2020-08-04 2021-07-23 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
CN116076106A true CN116076106A (zh) 2023-05-05

Family

ID=80117476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056928.XA Pending CN116076106A (zh) 2020-08-04 2021-07-23 用于电子装置中的数据通信的网络控制方法和设备

Country Status (4)

Country Link
EP (1) EP4164290A4 (zh)
KR (1) KR20220017067A (zh)
CN (1) CN116076106A (zh)
WO (1) WO2022030836A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240003738A (ko) * 2022-07-01 2024-01-09 현대자동차주식회사 밀집 환경에서 저지연 통신을 위한 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272121A1 (en) * 2012-04-17 2013-10-17 Cygnus Broadband, Inc. Systems and methods for application-aware admission control in a communication network
US9492741B2 (en) * 2013-05-22 2016-11-15 Microsoft Technology Licensing, Llc Wireless gaming protocol
CN109691113B (zh) * 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
KR102646030B1 (ko) * 2016-12-15 2024-03-12 삼성전자주식회사 영상제공장치, 그의 제어 방법 및 영상제공시스템
KR102393824B1 (ko) * 2018-02-26 2022-05-04 삼성전자주식회사 복수의 통신 방식들 중 신호의 강도에 기반하여 선택된 통신 방식에 따라 데이터를 전송하는 전자 장치 및 그 작동 방법
KR102598097B1 (ko) * 2018-10-19 2023-11-03 삼성전자 주식회사 전자기 검출 회로를 포함하는 전자 장치 및 상기 전자 장치를 이용한 외부 전자 장치 제어 방법
KR102274624B1 (ko) 2019-02-07 2021-07-07 맹근호 스코치방지 프레스장치

Also Published As

Publication number Publication date
EP4164290A1 (en) 2023-04-12
WO2022030836A1 (ko) 2022-02-10
US20230020265A1 (en) 2023-01-19
EP4164290A4 (en) 2024-01-10
KR20220017067A (ko) 2022-02-11

Similar Documents

Publication Publication Date Title
US20230156774A1 (en) Electronic device and method for controlling communication mode thereof
US20230269723A1 (en) Electronic device supporting plurality of wi-fi-based communication schemes, and method for controlling same
US20220394635A1 (en) Electronic device and method for adjusting wireless transmit power
CN116076106A (zh) 用于电子装置中的数据通信的网络控制方法和设备
US20220103332A1 (en) Electronic device performing neighbor awareness networking communication and method for operation thereof
EP4274196A1 (en) Electronic device for performing wi-fi direct group communication, and method therefor
CN116195350A (zh) 用于与外部电子设备直接通信的电子设备及其操作方法
US12126434B2 (en) Apparatus and method for controlling network for data communication in electronic device
KR20220106531A (ko) 외부 전자 장치와의 통신 연결을 수립하는 전자 장치 및 이의 동작 방법
EP4231723A1 (en) Method for setting communication scheme, and electronic device using same
US12062317B2 (en) Electronic device, display device connected to electronic device, and operating method thereof
US20230413119A1 (en) Multi-connection method and device based on target wake time
US20240019922A1 (en) Electronic device for supporting target wake time mode or power saving mode and method of operating the same
US20230017108A1 (en) Electronic device for performing medium synchronization of a link and method for the same
EP4277134A1 (en) Electronic device and method for controlling transmission power based on bluetooth communication in electronic device
EP4301074A1 (en) Method and apparatus for controlling communication parameters during multi-communication
EP4366203A1 (en) Electronic device for setting operating mode of interface on basis of performance information about external electronic device, and electronic device operating method
EP4247017A1 (en) Ap-based communication method and electronic device
US20240237072A1 (en) Electronic device for performing twt on basis of information related to beacon, and operating method of electronic device
US20230136828A1 (en) Electronic device for scheduling transmission or reception of data through a plurality of links and method of operating the same
EP4380064A1 (en) Electronic device, and method of improving heating performance of electronic device
CN118414881A (zh) 与多个外部装置进行无线lan通信的电子装置及其运行方法
KR20240061522A (ko) 무선 통신을 제공하는 전자 장치 및 그의 동작 방법
KR20220008193A (ko) 전자 장치, 전자 장치와 연결된 디스플레이 장치 및 이들의 동작 방법
CN117859315A (zh) 电子装置和数据链路调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination