CN116057926A - 处理音频数据的电子装置及其运行方法 - Google Patents

处理音频数据的电子装置及其运行方法 Download PDF

Info

Publication number
CN116057926A
CN116057926A CN202180058285.2A CN202180058285A CN116057926A CN 116057926 A CN116057926 A CN 116057926A CN 202180058285 A CN202180058285 A CN 202180058285A CN 116057926 A CN116057926 A CN 116057926A
Authority
CN
China
Prior art keywords
electronic device
audio data
external electronic
electronic devices
communication link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180058285.2A
Other languages
English (en)
Other versions
CN116057926B (zh
Inventor
郑求泌
金贤郁
文韩吉
李炳澈
陈周妍
姜斗锡
崔普根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116057926A publication Critical patent/CN116057926A/zh
Application granted granted Critical
Publication of CN116057926B publication Critical patent/CN116057926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

一种根据各种实施例的电子装置包括：相机；显示器；通信模块，该通信模块支持蓝牙通信；以及处理器，其中，该处理器可以被配置为：通过通信模块与多个外部电子装置建立至少一个通信链路；通过至少一个通信链路向多个外部电子装置中的至少一个外部电子装置发送第一信号，所述第一信号指示发生了使用相机的事件；在多个外部电子装置被穿戴的状态下，在预先确定的时间间隔通过至少一个通信链路从多个外部电子装置中的每一个外部电子装置接收与由多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及基于多个外部电子装置中的每一个外部电子装置获取声音的时间和顺序，使音频数据与使用相机获取的视频同步并且对其进行存储。

Description

处理音频数据的电子装置及其运行方法
技术领域
各种实施例涉及一种用于处理音频数据的电子装置及其运行方法。
背景技术
与无线通信技术的发展一致，电子装置能够通过各种无线通信技术与另一电子装置通信。蓝牙通信技术指使得电子装置能够彼此连接并且交换数据或信息的短距离无线通信技术。另外，蓝牙通信技术可以包括传统(或经典)网络技术或低能量蓝牙(BLE)网络，并且可以具有各种连接类型的拓扑，诸如微微网(piconet)或散射网(scatternet)。通过使用蓝牙通信技术，电子装置能够通过消耗少量电力彼此共享数据。这样的蓝牙技术可以用于连接外部无线通信装置并且向外部无线通信装置发送有关由电子装置运行的内容的音频数据，使得外部无线通信装置能够处理音频数据并将其输出给用户。最近使用蓝牙通信技术的无线耳机已得到广泛使用。
发明内容
技术问题
包括相机的电子装置(例如，智能手机)可以执行用于捕获运动图像的功能或视频通信功能。例如，当用智能手机捕获运动图像时，用户可以通过包括在智能手机中的麦克风来录制环境声音。如果用户在捕获运动图像时用手握持智能手机，则包括在智能手机中的麦克风的一部分可能由于用户的手而未能适当地录制环境声音。由于麦克风的位置与用户的耳朵的位置之间失配，所以通过智能手机的麦克风获取的声音可能与用户实际上听到的声音不同。也就是说，由智能手机捕获的运动图像的声音可能与用户所听到的声音不匹配，从而使声音的立体感或其保真度降级。另外，智能手机可能未能获取有关环境声音的立体声音频数据。
在这方面，用户可以通过除智能手机以外的单独的麦克风来获取环境声音。例如，如果外部麦克风连接到智能手机，则可以在捕获运动图像时通过外部麦克风获取环境声音。然而，即使使用了外部麦克风，智能手机也可能未能获取与环境声音相对应的立体声音频。另外，如果外部麦克风的位置与用户的耳朵的位置不匹配，则由智能手机获取的音频数据可能与用户实际上听到的声音不同。也就是说，即使使用了单独的麦克风，智能手机也可能未能获取有关环境声音的立体声音频数据。
技术方案
各种实施例可以提供一种电子装置及其运行方法，其中，当多个外部电子装置被用户穿戴时，接收所述多个外部电子装置中的每一个外部电子装置获取的音频数据，并且所述音频数据与通过所述电子装置的相机获取的视频同步，然后被存储。
一种根据各种实施例的电子装置可以包括：相机；显示器；通信模块，所述通信模块被配置为支持蓝牙通信；以及处理器，其中，所述处理器被配置为：通过所述通信模块与多个外部电子装置建立至少一个通信链路；通过所述至少一个通信链路向所述多个外部电子装置中的至少一个外部电子装置发送第一信号，所述第一信号指示发生了使用所述相机的事件；在所述多个外部电子装置被穿戴的状态下，在预先确定的时间段中通过所述至少一个通信链路从所述多个外部电子装置中的每一个外部电子装置接收与由所述多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及基于所述多个外部电子装置中的每一个外部电子装置获取所述声音的时间和顺序，使所述音频数据与使用所述相机获取的视频同步并且存储已同步的音频数据。
一种运行根据各种实施例的电子装置的方法可以包括：与多个外部电子装置建立至少一个通信链路；通过所述至少一个通信链路向所述多个外部电子装置中的至少一个外部电子装置发送第一信号，所述第一信号指示发生了使用包括在所述电子装置中的相机的事件；在所述多个外部电子装置被穿戴的状态下，在预先确定的时间段中通过所述至少一个通信链路从所述多个外部电子装置中的每一个外部电子装置接收与由所述多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及基于所述多个外部电子装置中的每一个外部电子装置获取所述声音的时间和顺序，使所述音频数据与使用所述相机获取的视频同步并且存储已同步的音频数据。
一种根据各种实施例的电子装置可以包括：传感器；至少一个麦克风；通信模块，所述通信模块被配置为支持蓝牙通信；以及处理器，其中，所述处理器被配置为：通过所述通信模块与外部电子装置建立通信链路；通过所述通信链路从所述外部电子装置接收第一信号，该第一信号指示使用所述外部电子装置的相机来获取视频的事件的发生；在所述电子装置被穿戴的状态下，通过所述至少一个麦克风获取与环境声音相对应的音频数据；以及在预先确定的时间段中通过所述通信模块向所述外部电子装置发送所述音频数据。
有益效果
根据各种实施例的电子装置可以在所述多个外部电子装置被穿戴时，使由多个外部电子装置中的每一个外部电子装置获取的音频数据与视频数据同步，使得能够清楚地处理在其中捕获视频的空间的环境声音。
在着手下面的具体实施方式之前，阐述贯穿本专利文档使用的某些单词和短语的定义可以是有利的。术语“包含”和“包括”以及其派生词意指包含而没有限制；术语“或”是包含性的，意指和/或；短语“与……相关联”和“与此相关联”以及其派生词可以意指包含、被包括在内、与……互连、含、被含在内、连接到或与……连接、耦接到或与……耦接、与……可通信、与……合作、交错、并置、接近、绑定到或与……绑定、具有、具有……的属性等；并且术语“控制器”意指控制至少一个操作的任何装置、系统或其一部分，这样的装置可以用硬件、固件或软件或它们中的至少两者的某种组合加以实现。应该注意，与任何特定控制器相关联的功能可以是集中式或分布式的，而不论是在本地还是远程地。
此外，下述各种功能能够由一个或更多个计算机程序实现或者支持，每一个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”指一个或更多个计算机程序、软件部件、指令集、过程、功能、对象、类、实例、相关数据，或其适于在合适的计算机可读程序代码中实现的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括能够永久地存储数据的介质和能够存储并稍后覆写数据的介质，诸如可重写光盘或可擦除存储器装置。
贯穿本专利文档提供了针对某些单词和短语的定义，本领域的普通技术人员应该理解，在许多(若非大多数)情况下，此类定义适用于此类定义的单词和短语的在先以及将来使用。
附图说明
根据结合附图进行的以下详细描述，本公开的上述及其他方面、特征和优点将更清楚，在附图中：
图1是示出了根据各种实施例的网络环境中的电子装置的框图；
图2a、图2b和图2c是示出了根据各种实施例的电子系统的示意框图；
图3是示出了根据各种实施例的运行电子装置的方法的流程图；
图4是示出了根据各种实施例的由电子装置使用多个外部电子装置来拍摄视频的方法的流程图；
图5是示出了根据各种实施例的由第一外部电子装置向电子装置发送音频数据的方法的流程图；
图6是示出了根据各种实施例的由电子装置使用多个外部电子装置来拍摄视频的方法的流程图；
图7是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图；
图8a是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图，并且图8b是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图；
图9a是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图，并且图9b是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图；
图10是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图；
图11是示出了根据各种实施例的由电子装置使视频和音频数据同步的方法的图；以及
图12a、图12b、图12c、图12d和图12e是示出了根据各种实施例的由电子装置使用多个外部电子装置来拍摄视频的方法的用户界面。
具体实施方式
在下面讨论的图1至图12e以及用于在本专利文档中描述本公开的原理的各种实施例仅作为图示，而不应该以任何方式解释为限制本公开的范围。本领域的技术人员将理解，可以在任何合适地布置的系统或装置中实现本公开的原理。
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可以经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一者进行通信。根据实施例，电子装置101可以经由服务器108与电子装置104进行通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可以从电子装置101中省略上述部件中的至少一个部件(例如，连接端178)，或者可以将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个部件(例如，显示模块160)。
处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可以执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可以控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态下的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可以与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态下的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但是不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。
存储器130可以存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可以经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相对应的电信号或数据值。根据实施例，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可以包括连接器，其中，电子装置101可以经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理对电子装置101的供电。根据实施例，可以将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可以对电子装置101的至少一个部件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可以将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可以将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190与外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的部件(例如，射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可以经由与第二网络199连接的服务器108在电子装置101与外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可以包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可以用来指代相似或相关的元件。将理解的是，与术语相对应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可以经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可以直接在两个用户装置(例如，智能手机)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可以省略上述部件中的一个或更多个部件，或者可以添加一个或更多个其它部件。可选择地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可以仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略，或者可以添加一个或更多个其它操作。
图2a、图2b和图2c是示出了根据各种实施例的电子系统的示意框图。
参照图2a和图2b，电子系统可以包括电子装置201和多个外部电子装置(例如，第一外部电子装置202和第二外部电子装置204)。例如，可以以与图1的电子装置101中的方式相同或类似的方式实现电子装置201、第一外部电子装置202和第二外部电子装置204。例如，可以将电子装置201实现为智能手机。第一外部电子装置202和第二外部电子装置204可以用第一方向上的耳机(例如，佩戴在右耳上的耳机)和第二方向上的耳机(例如，佩戴在左耳上的耳机)来实现。根据各种实施例，第一外部电子装置202和第二外部电子装置204可以形成一对，但是可能不限于此。
根据各种实施例，电子装置201可以向多个外部电子装置202和204发送数据和从多个外部电子装置202和204接收数据。为此目的，电子装置201可以使用短距离通信方法(例如，蓝牙通信方法或BLE通信方法)来与多个外部电子装置202和204建立通信链路。在图2a和图2b中，将描述建立电子装置201通过其向多个外部电子装置202和204发送数据和从多个外部电子装置202和204接收数据的通信链路的方法。然而，这仅是示例，并且本公开的技术思想可能不限于此。例如，电子装置201可以以各种方式与多个外部电子装置202和204建立通信链路。
参照图2a，根据各种实施例，电子装置201可以与多个外部电子装置202和204中的每一者建立通信链路(链路1和链路2)。例如，电子装置201可以使用真无线立体声(TWS)+(plus)方法来与外部电子装置202和204中的每一者建立通信链路(链路1和链路2)，并且可以通过通信链路(链路1和链路2)发送和接收数据。例如，电子装置201可以与第一外部电子装置202建立第一通信链路(链路1)并且与第二外部电子装置204建立第二通信链路(链路2)。电子装置201可以通过第一通信链路(链路1)向第一外部电子装置202发送数据和从第一外部电子装置202接收数据，并且可以通过第二通信链路(链路2)向第二外部电子装置204发送数据和从第二外部电子装置204接收数据。根据实施例，电子装置201可以管理用于向第一外部电子装置202或第二外部电子装置204发送数据和从第一外部电子装置202或第二外部电子装置204接收数据的通信资源。例如，电子装置201可以通过划分频率或时间与第一外部电子装置202或第二外部电子装置204通信。
参照图2b，根据各种实施例，电子装置201可以通过由多个外部电子装置202和204当中的第一外部电子装置202建立的第一通信链路(链路1)向多个外部电子装置202和204发送数据和从多个外部电子装置202和204接收数据。例如，电子装置201可以使用以蓝牙嗅探拓扑运行的嗅探(sniffing)方法，通过由第一外部电子装置建立的第一通信链路(链路1)发送和接收数据。为此目的，第一外部电子装置202可以与第二外部电子装置204建立第三通信链路(链路3)。第二外部电子装置204可以通过第三通信链路(链路3)从第一外部电子装置202获得关于第一外部电子装置202与电子装置201之间的第一通信链路(链路1)的信息。根据各种实施例，第二外部电子装置204可以通过与第一外部电子装置202共享第一通信链路(链路1)向电子装置201发送数据和从电子装置201接收数据。例如，第二外部电子装置204可以通过共享第一通信链路(链路1)直接向电子装置201发送数据和从电子装置201接收数据。然而，这仅是示例，本公开的第二外部电子装置204可以根据各种嗅探拓扑通过共享第一通信链路(链路1)向电子装置201发送数据和从电子装置201接收数据。例如，第二外部电子装置204可以从电子装置201获得关于第一通信链路(链路1)的信息。第二外部电子装置204可以通过第一外部电子装置202与第二外部电子装置204之间的第三外部电子装置(未示出)(例如，托架)获得关于第一通信链路(链路1)的信息。第二外部电子装置204可以接收由第一外部电子装置202广播的信号，以获得关于第一通信链路(链路1)的信息。或者，第二外部电子装置204可以接收由电子装置201与第一外部电子装置202一起发送的连接请求信号，以获得关于第一通信链路(链路1)的信息。
根据各种实施例，关于第一通信链路(链路1)的信息可以包括地址信息(例如，第一通信链路的主装置的蓝牙地址、电子装置201的蓝牙地址和/或第一外部装置201的蓝牙地址)、微微网(或拓扑)时钟信息(例如，第一通信链路的主装置的本机时钟(CLKN)、逻辑传输(LT)地址信息(例如，由第一链路的主装置分配的信息)、使用的信道图信息、链路密钥信息、服务发现协议(SDP)信息(例如，与第一通信链路相关的服务和/或配置文件信息)和/或支持的特征信息。与第一通信链路相关联的信息还可以包括例如扩展询问响应(EIR)分组。EIR分组可以包括第一通信链路的资源控制信息和/或关于制造商的信息。第二外部装置204可以通过地址信息和时钟信息确定第一通信链路的跳跃信道(或跳频信道)，并且可以通过链路密钥信息对加密数据分组进行解密。第二外部装置204可以基于与第一通信链路相关联的信息生成与第一通信链路相对应的接入码(或信道接入码)和地址信息(例如，LT地址)，并且可以向电子装置201发送包括所生成的接入码和地址信息的响应消息。
根据各种实施例，电子装置201可以仅与第一外部电子装置202建立通信链路。例如，电子装置201可以使用真无线立体声(TWS)方法来与外部电子装置202和204中的一者(例如，第一外部电子装置)建立通信链路，并且可以通过该通信链路发送和接收数据。例如，电子装置201可以通过通信链路向第一外部电子装置202发送数据和从第一外部电子装置202接收数据。另外，电子装置201可以通过第一外部电子装置202向第二外部电子装置204发送数据和从第二外部电子装置204接收数据。在某些实施例中，与图2b的嗅探不同，第二外部电子装置204可以经由第一外部电子装置202发送和接收数据，以向电子装置201发送数据和从电子装置201接收数据。
根据上述方法，电子装置201可以与多个外部电子装置202和204建立通信链路并且可以发送和接收数据。然而，这仅是示例，并且本公开的技术思想可能不限于此。
参照图2c，电子装置201可以包括处理器220、存储器230、显示器260、相机280和通信模块290。
根据各种实施例，处理器220可以控制电子装置201的整体操作。例如，可以以与图1的处理器120中的方式相同或类似的方式实现处理器220。
根据各种实施例，处理器220可以使用相机280(例如，图1的相机模块180)来获取视频(或视频数据)。例如，处理器220可以使用相机280来获取视频(或视频数据)以拍摄视频或者执行视频呼叫。例如，处理器220可以将通过相机280获取的视频存储在存储器230(例如，图1的存储器130)中。
根据各种实施例，处理器220可以通过麦克风获取音频(或音频数据)以便拍摄视频或者执行视频呼叫。根据实施例，处理器220可以通过外部电子装置202和204获取音频数据。例如，处理器220可以通过通信模块290接收来自第一外部电子装置202的第一音频数据和来自第二外部电子装置204的第二音频数据。例如，第一音频数据可以是与由第一外部电子装置202通过第一麦克风240获取的声音相对应的音频数据。另外，第二音频数据可以是与由第二外部电子装置204通过第二麦克风250获取的声音相对应的音频数据。
同时，在图2c中，第一外部电子装置202和第二外部电子装置204中的每一者被示出为包括一个麦克风，但是这仅是为了描述的方便，并且麦克风的数目可能不限于此。第一外部电子装置202和第二外部电子装置204中的每一者可以包括多个麦克风。根据实施例，第一外部电子装置202和第二外部电子装置204中的每一者可以向电子装置101选择性地发送通过多个麦克风接收到的音频数据。
根据各种实施例，处理器220可以通过通信模块290(例如，图1的通信模块190)与多个外部电子装置202和204建立至少一个通信链路。处理器220可以通过至少一个通信链路向多个外部电子装置202和204中的至少一者发送指示用于通过使用相机280来获取视频(或视频数据)的事件的发生的信号。例如，可以使用电子装置201(或通信模块290)支持的各种通信技术中的至少一种通信技术来发送指示事件的发生的信号。指示事件的发生的信号可以用请求向电子装置201发送音频数据的信号替换，或者可以被包括在请求音频数据的信号中。
例如，事件可以意味着使用相机的功能、相机内的特定功能、与相机相关的功能，或应用(例如，与相机相关的应用)被运行。
根据各种实施例，处理器220可以通过通信模块290获得关于多个外部电子装置202和204的穿戴状态的信息。例如，当通过包括在多个外部电子装置202和204中的每一者中的传感器来检查穿戴状态时，多个外部电子装置202和204中的每一者可以向电子装置201发送关于穿戴状态的信息。处理器220可以基于从多个外部电子装置202和204中的每一者接收到的关于穿戴状态的信息来确认多个外部电子装置202和204中的每一者的穿戴状态。另外，处理器220可以通过显示器260(例如，图1的显示模块160)显示关于穿戴状态的信息。
根据各种实施例，在多个外部电子装置202和204被穿戴的状态下，处理器220可以在预先确定的时间段中通过至少一个通信链路根据预先确定的顺序从多个外部电子装置202和204中的每一者接收与由多个外部电子装置202和204中的每一者获取的声音相对应的音频数据。例如，处理器220可以顺序地接收与由第一外部电子装置202获取的第一声音相对应的第一音频数据和与由第二外部电子装置204获取的第二声音相对应的第二音频数据。例如，处理器可以在预先确定的第一时间段中接收第一音频数据并且可以在预先确定的第二时间段中接收第二音频数据。例如，第二时间段可以与第一时间段不同。
根据各种实施例，处理器220可以基于多个外部电子装置202和204中的每一者获取声音的时间和顺序，使第一音频数据和第二音频数据与通过相机280获取的视频同步。例如，处理器220可以使用第一音频数据和第二音频数据来获取立体声音频数据。例如，电子装置201可以通过处理以相同时间段或以相同序列号接收到的每一条音频数据来生成立体声音频数据，好像每一条音频数据是同一时间点处的音频数据。例如，处理器220可以通过单独的音频DSP(未示出)对第一音频数据和第二音频数据进行解码。通过这一点，处理器220可以将作为单声道音频的第一音频数据和第二音频数据处理成立体声音频数据。或者，处理器220可以在应用层中直接将第一音频数据和第二音频数据处理成立体声音频数据。
根据各种实施例，处理器220可以从多个外部电子装置202和204中的每一者接收传感器信息(例如，由包括在多个外部电子装置202和204中的传感器获取的信息)和/或通信质量信息(例如，指示多个外部电子装置202和204与电子装置201之间的通信质量的信息)以及音频数据(例如，第一音频数据和第二音频数据)。除了第一音频数据和第二音频数据之外，处理器220还可以通过使用传感器信息和/或通信质量信息来生成立体声音频数据。
根据各种实施例，处理器220可以使立体声音频数据与视频同步。处理器220可以将与音频数据同步的视频存储在存储器230中。
根据各种实施例，如图2a所示，处理器220可以通过与第一外部电子装置202建立的第一通信链路接收由第一外部电子装置202获取的第一音频数据，并且可以通过与第二外部电子装置204建立的第二通信链路接收由第二外部电子装置204获取的第二音频数据。
根据各种实施例，如图2b所示，处理器220可以通过与第一外部电子装置202建立的第一通信链路从第一外部电子装置202和第二外部电子装置204接收第一音频数据和第二音频数据。
根据各种实施例，处理器220可以通过与第一外部电子装置202建立的第一通信链路从第一外部电子装置202接收第一音频数据和第二音频数据。例如，第二外部电子装置204可以向第一外部电子装置202发送第二音频数据，并且第一外部电子装置202可以通过第一通信链路向电子装置201发送第一音频数据和第二音频数据。
根据各种实施例，处理器220可以使用以下至少一者来接收第一音频数据和第二音频数据：扩展同步连接(eSCO)通信信道、异步无连接(ACL)通信信道或BLE通信信道。
根据各种实施例，处理器220可以通过显示器260显示与第一音频数据相对应的第一状态栏和与第二音频数据相对应的第二状态栏。例如，第一状态栏可以指示以下至少一者：第一音频数据的接收状态、第一音频数据的音量和第一音频数据的声音质量。另外，第二状态栏可以指示以下至少一者：第二音频数据的接收状态、第二音频数据的音量和第二音频数据的声音质量。另外，处理器220可以根据用户对第一状态栏和第二状态栏的输入来调整针对第二音频数据的音量和/或第二音频数据的声音质量的配置。
同时，下述电子装置201的至少一些操作可以由处理器220执行。然而，为了描述的方便，电子装置201的以下操作将被描述为由电子装置201执行。
图3是示出了根据各种实施例的运行电子装置的方法的流程图。
参照图3，根据各种实施例，在操作301中，电子装置(例如，图2的电子装置201)可以与至少一个外部电子装置(例如，图2的外部电子装置202和/或204)建立通信链路。例如，如图2a所示，电子装置201可以针对多个外部电子装置202和204中的每一者建立通信链路(例如，链路1和链路2)。或者，如图2b所示，电子装置201可以与第二外部电子装置204共享由第一外部电子装置202建立的第一通信链路(例如，链路1)。
根据各种实施例，在操作303中，当发生使用相机(例如，图2c的相机280)的事件(例如，用于拍摄视频的事件)时，电子装置201可以向多个外部电子装置202和204发送指示事件的发生的信号。例如，事件可以意味着使用相机的功能或应用被运行。
以下，为了描述的方便，事件被描述为用于拍摄视频的事件，但是本公开的技术思想可能不限于此。例如，用于拍摄视频的事件可以是与使用相机的功能相关的事件。
根据各种实施例，在操作303中，当发生用于使用相机(例如，图2c的相机280)来拍摄视频的事件时，电子装置201可以执行操作301以与至少一个外部电子装置建立通信链路。例如，电子装置201可以基于发生使用相机拍摄视频的事件，启用通信模块290，并且可以与电子装置201周围的至少一个外部电子装置(例如，第一外部电子装置202和/或第二外部电子装置204)建立通信链路。
根据各种实施例，在操作305中，电子装置201可以接收由多个外部电子装置202和204获取的音频数据。例如，多个外部电子装置202和204可以响应于指示事件发生的信号来获取与环境声音相对应的音频数据。多个外部电子装置202和204可以通过至少一个通信链路向电子装置201发送所获取的音频数据。
根据各种实施例，当多个外部电子装置202和204从电子装置201接收到指示发生拍摄视频的事件的信号时，可以检查多个外部电子装置202和204的穿戴状态。例如，当多个外部电子装置202和204被穿戴在用户的身体的一部分上时，可以启用麦克风(例如，第一麦克风240和第二麦克风250)以获取音频数据。或者，当多个外部电子装置202和204未被穿戴在用户的身体的一部分上时，可以向用户提供通知(例如，振动、声音或LED显示)。
根据各种实施例，在多个外部电子装置202和204被穿戴在不同用户上的情况下，多个外部电子装置202和204可以处理在通过获得环境声音来获取音频数据时被区分的、穿戴相应外部电子装置的用户的语音的语音信号。通过这一点，在使音频数据与视频数据同步之后，电子装置201可以进行处理以在视频重放期间仅再现特定用户的语音。
根据各种实施例，在操作307中，电子装置201可以使从多个外部电子装置202和204接收到的音频数据与视频同步并且可以存储已同步的数据。例如，电子装置201可以通过使用第一音频数据和第二音频数据来获取立体声音频数据。而且，电子装置201可以使立体声音频数据与视频(或视频数据)同步并且可以输出和/或存储已同步的视频。
图4是示出了根据各种实施例的由电子装置使用多个外部电子装置来拍摄视频的方法的流程图。
参照图4，根据各种实施例，在操作401中，电子装置(例如，图2的电子装置201)可以与外部电子装置(例如，图2的外部电子装置202和204)建立通信链路。电子装置201可以使用BLE通信技术来建立通信链路。例如，电子装置201可以从第一外部电子装置202接收通告信号，并且可以基于接收到的通告信号与第一外部电子装置202建立第一通信链路。
根据各种实施例，在操作403中，电子装置201可以确定或者确认是否有必要相对于两个外部电子装置202和204建立两个通信链路。例如，电子装置201可以确定是否有必要以真无线立体(TWS)+方法或BLE方法在外部电子装置202和204之间生成拓扑，并且可以根据确定结果来确定是否有必要建立两个通信链路(例如，两个BT链路或BLE链路)。
根据各种实施例，当不必要建立两个通信链路(在操作403中否)时，在操作405中，电子装置201可以与第一外部电子装置202建立第一通信链路。
根据各种实施例，当有必要建立两个通信链路(在操作403中是)时，在操作407中，电子装置201可以与第二外部电子装置204建立第二通信链路。接下来，电子装置201也可以与第一外部电子装置202建立第一通信链路。根据实施例，当有必要建立两个通信链路时，可以在操作405中建立与第一外部电子装置202的第一通信链路，然后可以在操作407中建立与第二外部电子装置204的第二通信链路。例如，当使用真无线立体声(TWS)+方法时，电子装置201可以与第一外部电子装置202和第二外部电子装置204中的每一者建立BT链路。当使用BLE方法(例如，AoBLE方法)时，电子装置201可以与第一外部电子装置202和第二外部电子装置204中的每一者建立BLE链路。
根据各种实施例，当建立通信链路时或者在建立通信链路之后的特定时间，电子装置201可以基于各种标准确定将用于双声道录制的通信方法和/或通信属性。例如，当确定了实时对双声道录制功能重要时，电子装置201可以确定使用通过eSCO通信信道使实时优先化的通信方法。当确定了高声音质量的选择重要时，电子装置201可以确定使用通过ACL通信信道使稳定的声音质量优先化的通信方法。另外，电子装置201可以确定使用通过诸如AoBLE的BLE通信信道的需要复杂优点的通信方法。电子装置201可以确定要用于双声道录制功能的通信方法和/或通信属性，然后可以向外部电子装置202和204发送所确定的通信方法和/或通信属性，从而使用预先确定的通信方法和/或通信属性来接收音频数据。
根据各种实施例，在操作409中，电子装置201可以确定用于拍摄视频的事件的发生。例如，电子装置201可以确定是否已经运行了用于拍摄视频或执行视频呼叫的功能(或应用)。
根据各种实施例，当发生用于拍摄视频的事件时，在操作411中，电子装置201可以确定视频拍摄或视频呼叫功能是否被配置为双声道模式或双声道录制模式。例如，双声道模式(或双声道录制模式)可以意指用于在视频录制期间使立体声音频数据与视频同步的模式。例如，在双声道模式(或双声道录制模式)中，电子装置201可以使用立体声音频数据来执行视频录制，从而提供具有好像用户通过他/她的耳朵听到声音的感觉的视频录制功能。例如，在双声道模式(或双声道录制模式)中，电子装置201可以通过相机生成视频(或视频数据)并且可以从至少一个外部电子装置接收音频数据，从而提供使用立体声音频数据进行视频录制的功能。
根据各种实施例，当视频拍摄功能被配置为双声道模式(在操作411中是)时，在操作413中，电子装置201可以获取立体声音频数据。例如，电子装置201可以从多个外部电子装置202和204接收第一音频数据和第二音频数据，并且可以使用第一音频数据和第二音频数据来获取立体声音频数据。例如，电子装置201可以通过处理以相同时间段或以相同序列号接收到的每条音频数据来生成立体声音频数据，好像每条音频数据是同一时间点处的音频数据。
根据各种实施例，当视频拍摄功能未被配置为双声道模式(在操作411中否)时，在操作415中，电子装置201可以获取单声道音频数据。电子装置201可以从多个外部电子装置202和204中的任一者接收第一音频数据或第二音频数据，并且可以使用第一音频数据或第二音频数据来获取单声道音频数据。根据各种实施例，当视频拍摄功能未被配置为双声道模式(在操作411中否)时，在操作415中，电子装置201可以通过电子装置201的麦克风获取单声道音频数据。
根据各种实施例，在操作417中，电子装置201可以对所获取的音频数据(例如，立体声音频数据或单声道音频数据)与视频进行同步。而且，电子装置201可以将已同步的视频存储在存储器(例如，图2的存储器230)中或者可以通过显示器(例如，图2的显示器260)输出已同步的视频。
根据各种实施例，当从至少一个外部电子装置接收到音频数据时，电子装置201可以通过显示器(例如，图2的显示器260)输出与音频数据的接收相关的信息。例如，可以显示电子装置201的麦克风是否被使用和/或是否从至少一个外部电子装置正常地接收到音频数据。
图5是示出了根据各种实施例的由第一外部电子装置向电子装置发送音频数据的方法的流程图。
参照图5，根据各种实施例，在操作501中，第一外部电子装置(例如，图2的第一外部电子装置202)可以与电子装置(例如，图2的电子装置201)建立第一通信链路。
根据各种实施例，在操作503中，第一外部电子装置202可以确定是否需要嗅探功能。然而，当第一外部电子装置202仅使用嗅探拓扑时，第一外部电子装置202可以不确定是否需要嗅探功能。在这种情况下，可以省略操作503。
根据各种实施例，当需要嗅探功能时，在操作505中，第一外部电子装置202可以与第二外部电子装置204建立第三通信链路。在操作507中，第一外部电子装置202可以通过第三通信链路与第二外部电子装置204共享关于第一通信链路的信息。例如，关于第一通信链路的信息可以包括以下至少一者：电子装置201的蓝牙地址的信息、FHS分组信息(LT地址或微微网时钟)、链路密钥、使用的信道图、SDP结果信息、支持的特征或EIR数据。根据实施例，第一外部电子装置202可以基于与第一外部电子装置202成对地运行和/或与第一外部电子装置202建立通信链路的第二外部电子装置204是否存在来确定是否需要嗅探功能。例如，根据确定结果，在操作501中与电子装置201建立第一通信链路之前，第一外部电子装置202可以与第二外部电子装置204建立第三通信链路。
根据各种实施例，当不需要嗅探功能时，在操作509中，第一外部电子装置202可以确定是否发生了拍摄视频的事件。例如，当从电子装置201接收到指示发生拍摄视频的事件的信号时，第一外部电子装置202可以确定已经发生了拍摄视频的事件。例如，指示发生拍摄视频的事件的信号可以包括用于从第一外部电子装置202请求音频数据的信息。
根据各种实施例，当确定了已经发生拍摄视频的事件时，在操作511中，第一外部电子装置202可以使用传感器来确定第一外部电子装置202的穿戴状态。例如，第一外部电子装置202可以使用压力传感器、生物特征传感器和/或接近传感器来确定第一外部电子装置202是否佩戴在用户的耳朵上。
同时，操作509和511的顺序可能不限于此。例如，可以首先执行操作511，而可以稍后执行操作509。
根据各种实施例，当确定了第一外部电子装置202被穿戴在用户上时，在操作513中，第一外部电子装置202可以使用第一麦克风(例如，图2的第一麦克风240)获取与环境声音相对应的第一音频数据。而且，在操作513中，第一外部电子装置202可以向电子装置201发送第一音频数据。根据实施例，可以在第一外部电子装置202与电子装置201和/或第二外部电子装置204之间配置用于发送和接收数据的时间段。第一外部电子装置202可以在指定时间段中向电子装置201发送数据。
根据各种实施例，除了第一麦克风之外，第一外部电子装置202还可以包括额外的麦克风。在这种情况下，第一外部电子装置202可以使用额外的麦克风获取与环境声音相对应的音频，并且可以通过包括在第一外部电子装置202中的扬声器输出所获取的音频。通过这一点，用户可以实时地检查通过第一外部电子装置202获取的音频。
图6是示出了根据各种实施例的由电子装置使用多个外部电子装置来拍摄视频的方法的流程图。
参照图6，根据各种实施例，在操作601中，电子装置(例如，图2的电子装置201)可以在双声道模式(或双声道录制模式)下执行拍摄视频的事件。
根据各种实施例，在操作603中，电子装置201可以在预先确定的第一时间段中从第一外部电子装置202接收第一音频数据。可以在由电子装置201和第一外部电子装置202建立通信链路的操作中确定第一时间段。
根据各种实施例，在操作605中，电子装置201可以在预先确定的第二时间段中从第二外部电子装置204接收第二音频数据。例如，可以在由电子装置201和第二外部电子装置204建立通信链路的操作中确定第二时间段。例如，第二时间段可以是与第一时间段不同的时间段。例如，当使用eSCO通信方法时，第一时间段和第二时间段可以具有相同的时间长度。另一方面，当使用ACL通信方法时，第一时间段和第二时间段可以具有不同的时间长度。根据各种实施例，当第一外部电子装置202和/或第二外部电子装置204使用嗅探功能时，可以在由电子装置201和第一外部电子装置202建立通信链路的操作中确定第二时间段。根据各种实施例，当第一外部电子装置202和/或第二外部电子装置204使用嗅探功能时，电子装置201可能不知道第二外部电子装置204(例如，嗅探第一链路的装置)的存在。根据各种实施例，当第一外部电子装置202和第二外部电子装置204使用嗅探功能时，第一外部电子装置202可以通知电子装置201存在嗅探第一链路的装置(例如，第二外部电子装置204)。
根据各种实施例，在操作607中，电子装置201可以通过使用第一音频数据和第二音频数据来获取立体声音频数据。
根据各种实施例，在操作609中，电子装置201可以使立体声音频数据与视频同步。例如，电子装置201可以考虑到立体声音频数据与视频数据之间的延时使立体声音频数据与视频同步。根据各种实施例，电子装置201可以基于从第一外部电子装置202接收第一音频数据所需要的传输延迟时间以及在接收到第一音频数据之后处理第一音频数据所需要的时间与电子装置201生成视频数据所需要的时间之间的差来使立体声音频数据与视频同步。
同时，在本说明书中描述的操作电子装置的方法中，描述了电子装置201在第二音频数据之前接收第一音频数据，但是这仅是示例，并且本公开的技术思想可能不限于此。例如，电子装置201可以根据预先确定的顺序接收音频数据，并且可以在第一音频数据之前接收第二音频数据。
图7是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图。
参照图7，根据各种实施例，在操作701中，电子装置201可以与第一外部电子装置202和第二外部电子装置204建立至少一个通信链路。例如，电子装置201可以通过参照图2a和图2b描述的方法与第一外部电子装置202和第二外部电子装置204建立至少一个通信链路。
根据各种实施例，在操作703中，电子装置201可以开始基于双声道模式(或双声道录制模式)拍摄视频的操作。例如，电子装置201可以响应于用户输入来开始视频拍摄或视频呼叫功能(或应用)，并且可以提前配置或者根据用户输入确定是否基于双声道模式执行视频拍摄。例如，电子装置201可以提供推荐用户在特定地方(例如，音乐厅、海滩或游乐园)以双声道模式拍摄视频的通知。或者，电子装置201可以被配置为根据用户输入在特定地方(例如，音乐厅、海滩或游乐园)以双声道模式拍摄视频。
根据各种实施例，在操作705中，电子装置201可以通过由第一外部电子装置202建立的第一通信链路向第一外部电子装置202发送指示事件的发生的信号。在操作706中，电子装置201可以通过第一通信链路向第二外部电子装置204发送指示事件的发生的信号。或者，电子装置201可以通过由第二外部电子装置204建立的第二通信链路向第二外部电子装置204发送指示事件的发生的信号。根据各种实施例，当第二外部电子装置204以嗅探模式运行时，第二外部电子装置204可以接收由电子装置201通过第一通信链路发送到第一外部电子装置202的信号。在这种情况下，可以省略操作706。
根据各种实施例，在操作707中，电子装置201可以在预先确定的第一时间段中接收由第一外部电子装置202发送的第一音频数据。在操作708中，在预先确定的第一时间段中，当接收到第一音频数据时，电子装置201可以向第一外部电子装置202发送确认应答(ACK)信号。或者，当未接收到第一音频数据时，电子装置201可以向第一外部电子装置202发送非确认应答(NACK)信号。
根据各种实施例，在操作709中，电子装置201可以在第二预先确定的时间段中接收由第二外部电子装置204发送的第二音频数据。在操作710中，在第二预先确定的时间段中，当接收到第二音频数据时，电子装置201可以向第二外部电子装置204发送ACK信号。或者，当未接收到第二音频数据时，电子装置201可以向第二外部电子装置204发送NACK信号。
根据各种实施例，当第二外部电子装置204以嗅探模式工作时，电子装置201和第一外部电子装置202可以被配置为使得第一外部电子装置202在第二时间段中发送额外的信息或者使得第二外部电子装置204通过第一通信链路向电子装置201发送第二音频数据。
根据各种实施例，电子装置201可以重复地执行操作707至710，直到拍摄视频的操作被终止为止。
根据本公开的各种实施例，以下图8a、图8b、图9a和图9b可以涉及一种由电子装置基于嗅探方法从多个外部电子装置接收音频数据的方法。然而，本公开的电子装置从多个外部电子装置接收音频数据的这些实施例以及本公开的技术思想不是限制性的。
图8a是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图，并且图8b是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图。
参照图8a，根据各种实施例，电子装置201可以通过eSCO通信链路来接收第一音频数据AU1-1和第二音频数据AU1-2。
根据各种实施例，电子装置201可以在第一时间段(例如，T1)中从第一外部电子装置202接收第一音频数据AU1-1。当接收到第一音频数据AU1-1时，电子装置201可以在第一时间段(例如，T1)中向第一外部电子装置202发送第一ACK信号ACK1-1。例如，第一时间段T1可以是TeSCO时间段。或者，第一时间段T1可以是指示TeSCO的开始的时间段。例如，第一音频数据AU1-1可以是在第一声音被引入到第一外部电子装置202的第一麦克风240中之后由第一外部电子装置202编码的数据或没有对其执行单独编码的原始数据。
根据各种实施例，电子装置201可以在第二时间段T2中从第二外部电子装置204接收第二音频数据AU1-2。当接收到第二音频数据AU1-2时，电子装置201可以向第二外部电子装置204发送第二ACK信号ACK1-2。例如，第二时间段T2可以是WeSCO时间段。或者，第二时间段T1可以是指示WeSCO的开始的时间段。例如，第二音频数据AU1-2可以是在第二声音被引入到第二外部电子装置204的第二麦克风250中之后由第二外部电子装置204编码的数据或没有对其执行单独编码的原始数据。
根据各种实施例，在接收到第一音频数据AU1-1和第二音频数据AU1-2之后，电子装置201可以接收下一个第一音频数据AU2-1和第二音频数据AU2-2。
根据各种实施例，电子装置201可以在第一时间段(例如，T3)中从第一外部电子装置202接收第一音频数据AU2-1。电子装置201可以根据是否接收到第一音频数据AU2-1在第一时间段(例如，T3)中向第一外部电子装置202发送第一ACK信号ACK2-1或第一NACK信号NACK2-1。例如，当接收到第一音频数据AU2-1时，电子装置201可以在第一时间段(例如，T3)中向第一外部电子装置202发送第一ACK信号ACK2-1。或者，当未正常地接收到第一音频数据AU2-1时，电子装置201可以在第一时间段(例如，T3)中向第一外部电子装置202发送第一NACK信号NACK2-1。当接收到第一NACK信号NACK2-1时，第一外部电子装置202可以在下一个第一时间段(例如，在第二时间段(例如，T4)之后的第一时间段)中向电子装置201重新发送第一音频数据AU2-1。当接收到第一音频数据AU2-1时，电子装置201可以在下一个第一时间段中向第一外部电子装置202发送第一ACK信号ACK2-1。
根据各种实施例，电子装置201可以在第二时间段(例如，T4)中从第二外部电子装置204接收第二音频数据AU2-2。电子装置201可以根据是否接收到第二音频数据AU2-2在第二时间段(例如，T4)中向第二外部电子装置204发送第二ACK信号ACK2-2或第二NACK信号NACK2-2。例如，当接收到第二音频数据AU2-2时，电子装置201可以在第二时间段(例如，T4)中向第二外部电子装置204发送第二ACK信号ACK2-2。或者，当未正常地接收到第二音频数据AU2-2时，电子装置201可以在第二时间段(例如，T4)中向第二外部电子装置204发送第二NACK信号NACK2-2。当接收到第二NACK信号NACK2-2时，第二外部电子装置204可以向电子装置201重新发送第二音频数据AU2-2。当接收到第二NACK信号NACK2-2时，第二外部电子装置204可以在下一个第二时间段(例如，在下一个第一时间段之后的第二时间段)中向电子装置201重新发送第二音频数据AU2-2。当接收到第二音频数据AU2-2时，电子装置201可以在下一个第二时间段中向第二外部电子装置204发送第二ACK信号ACK2-2。
根据各种实施例，电子装置201可以顺序地接收第一音频数据AU2-1和第二音频数据AU2-2。根据各种实施例，电子装置201可以通过编解码器(codec)发送从第一外部电子装置202接收到的第一音频数据(例如，AU1-1或AU1-2)和从第二外部电子装置204接收到的第二音频数据(例如，AU2-1或AU2-2)。例如，电子装置201可以在接收下一个第一音频数据(例如，AU1-2)和第二音频数据(例如，AU2-2)之前或在与当基本上接收到下一个第一音频数据(例如，AU1-2)和第二音频数据(例如，AU2-2)时相同的时间发送第一音频数据(例如，AU1-1)和第二音频数据(例如，AU2-1)。
根据各种实施例，电子装置201可以重复地执行上述操作，直到拍摄视频的操作被终止为止。
参照图8b，根据各种实施例，电子装置201可以通过eSCO通信链路来接收第一音频数据和第二音频数据。然而，与图8a相比，图8b的电子装置201可以接收第一音频数据和第二音频数据而不向外部电子装置202和204发送ACK信号。例如，在用于从电子装置201接收图8a的ACK信号(例如，ACK1-1或ACK1-2)的时间段中，第一外部电子装置202和第二外部电子装置204可以附加地发送第一音频数据(例如，AU1-1或AU1-2)和第二音频数据(例如，AU2-1或AU2-2)。
根据各种实施例，当电子装置201使用如图8a和图8b所示的eSCO通信方法时，用于获取第一音频数据和第二音频数据的每一个时间段可以具有相同的时间长度。
图9a是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图，并且图9b是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图。
参照图9a，根据各种实施例，电子装置201可以通过ACL通信链路来接收第一音频数据和第二音频数据。
根据各种实施例，电子装置201可以在第一时间段T1中从第一外部电子装置202接收第一音频数据AU1-1。当接收到第一音频数据AU1-1时，电子装置201可以向第一外部电子装置202发送第一ACK信号ACK1-1。电子装置201可以在第二时间段T2中从第二外部电子装置204接收第二音频数据AU1-2。当接收到第二音频数据AU1-2时，电子装置201可以向第二外部电子装置204发送第二ACK信号ACK1-2。例如，第一外部电子装置202和第二外部电子装置204可以按照预先确定的顺序或者在预先确定的第一时间段T1和第二时间段T2中分别发送第一音频数据AU1-1和第二音频数据AU1-2。
根据各种实施例，在顺序地接收到第一音频数据AU1-1和第二音频数据AU1-2之后，电子装置201可以通过编解码器发送接收到的第一音频数据AU2-1和第二音频数据AU2-2。
根据各种实施例，电子装置201可以接收下一个第一音频数据AU2-1和第二音频数据AU2-2。例如，电子装置201可以在第一时间段中从第一外部电子装置202接收第一音频数据AU2-1。当接收到第一音频数据AU2-1时，电子装置201可以向第一外部电子装置202发送第一ACK信号ACK2-1。
根据各种实施例，电子装置201可以在第二时间段中从第二外部电子装置204接收第二音频数据AU2-2。当在第二时间段内未接收到第二音频数据AU2-2时，电子装置201可以向第二外部电子装置204发送第二NACK信号NACK2-2。当在第二时间段内接收到第二音频数据AU2-2时，电子装置201可以向第二外部电子装置204发送第二ACK信号ACK2-2。
根据各种实施例，当在重新发送第二音频数据AU2-2达指定次数或指定时间时未能从电子装置201接收到第二ACK信号ACK2-2时，第二外部电子装置204可以向电子装置201发送与下一轮相对应的第二音频数据AU3-2。在这种情况下，第二外部电子装置204可以在与下一轮相对应的第二时间段中向电子装置201发送第二音频数据AU3-2。
根据各种实施例，第一外部电子装置202可以发送第一音频数据AU1-1或AU2-1，并且当未能从电子装置201接收到第一ACK信号(ACK1-1或ACK2-1)时，可以在第二时间段(T2或T4)之后重新发送第一音频数据AU1-1或AU2-1。根据各种实施例，当未能从电子装置201接收到ACK信号(例如，第一ACK信号和第二ACK信号)时，第一外部电子装置202和第二外部电子装置204中的每一者可以在第二时间段(T2或T4)之后按照指定顺序和/或在指定时间重新发送音频数据(例如，第一音频数据或第二音频数据)。
根据各种实施例，当未能接收到第一音频数据和/或第二音频数据时，电子装置201可以使用通过包括在电子装置201中的麦克风接收到的音频数据来生成立体声音频数据，并且可以使所生成的立体声音频数据与通过相机(例如，图2的相机280)获取的视频同步。
根据各种实施例，在顺序地接收到第一音频数据AU2-1和第二音频数据AU2-2之后，电子装置201可以通过编解码器发送第一音频数据AU2-1和第二音频数据AU2-2。
参照图9b，根据各种实施例，电子装置201可以通过ACL通信链路来接收第一音频数据和第二音频数据。然而，与图9a相比，图9b的电子装置201可以接收第一音频数据和第二音频数据而不向外部电子装置202和204发送ACK信号。例如，在用于从电子装置201接收图9a的ACK信号(例如，ACK1-1或ACK1-2)的时间段中，第一外部电子装置202和第二外部电子装置204可以另外地发送第一音频数据(例如，AU1-1或AU1-2)和第二音频数据(AU2-1或AU2-2)。根据各种实施例，第一外部电子装置202和第二外部电子装置204可以按照指定顺序和指定时间段向电子装置201发送音频数据(例如，第一音频数据和/或第二音频数据)指定次数。
根据各种实施例，当使用如上述图9a和图9b所示的ACL通信方法时，用于获取第一音频数据和第二音频数据的每一个时间段可以具有不同的时间长度。
根据各种实施例，电子装置201可以重复地执行上述操作，直到拍摄视频的操作被终止为止。
图8a、图8b、图9a和图9b所示的时隙的数目是为了描述的方便，并且本公开的技术思想可能不限于此。例如，当电子装置201与第一外部电子装置202之间的第一通信链路是使用eSCO方法的通信链路时，第一通信链路可以被配置为包括16个时隙的发送/接收时段(TeSCO)和4个时隙的重传时段(WeSCO)。
图10是示出了根据各种实施例的由电子装置从多个外部电子装置接收音频数据的方法的图。
参照图10，根据各种实施例，电子装置201可以通过BLE通信链路来接收第一音频数据和第二音频数据。例如，电子装置201可以通过各种BLE通信链路当中的AoBLE通信链路来接收第一音频数据和第二音频数据。
根据各种实施例，电子装置201可以分配针对第一外部电子装置202和第二外部电子装置204的事件时间以及对应事件时间内的子事件时段。接下来，电子装置201可以从每一个子事件段接收第一音频数据和第二音频数据。例如，在电子装置201使用AoBLE通信链路的情况下，当电子装置201与第一外部电子装置202和/或第二外部电子装置204建立通信链路时，可以确定所有时间段(例如，事件时间段和对应事件时间段内的子事件时间段)。另外，在通信链路被建立之后可以按照需要通过特定消息将至少一些时间段(例如，事件时间段和对应时间段内的子事件时间段)适当地调整为资源。根据各种实施例，当电子装置201例如以嗅探方法通过一个链路接收到来自第一外部电子装置202的第一音频数据以及来自第二外部电子装置204的第二音频数据时，第一子事件时段1010和第二子事件时段1020可以是分配给同一链路的时间段。根据各种实施例，当电子装置201通过多个链路接收到来自第一外部电子装置202的第一音频数据以及来自第二外部电子装置204的第二音频数据时，第一子事件时段1010和第二子事件时段1020可以是分配给不同链路的时间段。
根据各种实施例，电子装置201可以分配“事件时间X”以及包括在“事件时间X”中的第一子事件时段1010和第二子事件时段1020。电子装置201可以在第一子事件时段1010中从第一外部电子装置202接收第一音频数据，并且可以在第二子事件时段1020中从第二外部电子装置204接收第二音频数据。
根据各种实施例，电子装置201可以重复地执行上述操作，直到拍摄视频的操作被终止为止。
图11是示出了根据各种实施例的由电子装置使视频和音频数据同步的方法的图。
参照图11，根据各种实施例，电子装置(例如，图2的电子装置201)可以使立体声音频数据(例如，A1至A4)与通过相机(例如，图2的相机280)获取的视频数据(例如，第一视频和第二视频)同步。例如，电子装置201可以通过对音频数据(例如，第一音频数据A1)与视频数据(例如，第一视频)之间的延时L1进行补偿来使立体声音频数据与视频数据同步。例如，电子装置201可以通过使视频数据延迟与延时L1相对应的时间来使立体声音频数据与视频数据同步。
根据各种实施例，电子装置201可以确认输入到第一外部电子装置202的第一麦克风240的、被电子装置201作为第一音频数据(与第一声音相对应的音频数据)接收的第一声音所需要的传输延迟时间。例如，电子装置201可以基于以下项确认传输延迟时间：当第一外部电子装置202生成第一音频数据时的时间信息、当第一外部电子装置202发送第一音频数据时的时间信息、和/或当电子装置201接收到第一音频数据时的时间信息。另外，在接收到第一音频数据之后，电子装置201可以针对电子装置201的每个层确认处理第一音频数据所需要的时间。电子装置201可以基于从第一外部电子装置202接收第一音频数据所需要的传输延迟时间和处理第一音频数据所需要的时间来获得音频数据与视频数据之间的延时L1。
根据各种实施例，电子装置201可以通过对音频数据与视频数据之间的延时L1进行补偿来使音频数据与视频数据同步。而且，电子装置201可以将已同步的数据存储在存储器(例如，图2的存储器230)中或者可以通过显示器(例如，图2的显示器260)输出已同步的数据。
根据各种实施例，第一视频数据与音频数据(例如，A1和/或A2)之间的延时以及第二视频数据与音频数据(例如，A3和/或A4)之间的延时可以相同或不同。例如，当第一视频数据与第一音频数据A1之间的延时和第二视频数据与第三音频数据A3之间的延时相同时，第一视频数据与第一音频数据A1之间的延时可以被应用于视频数据(例如，第一视频数据和第二视频数据)。又如，当第一视频数据与第一音频数据A1之间的延时和第二视频数据与第三音频数据A3之间的延时不同时，可以确认第二视频数据与第三音频数据A3之间的延时并且将其应用于第二视频数据。
图12a、图12b、图12c、图12d和图12e是示出了根据各种实施例的由电子装置使用多个外部电子装置来拍摄视频的方法的用户界面。
参照图12a，根据各种实施例，电子装置1201(例如，图2的电子装置201)可以在执行视频拍摄功能(或视频录制)时显示预览屏幕1210。
根据各种实施例，电子装置1201可以在预览屏幕1210上显示录制开始对象1211。而且，电子装置1201可以在预览屏幕1210上显示第一拍摄对象1221和第二拍摄对象1222。例如，当针对录制开始对象1211的用户输入被确认时，电子装置1201可以开始通用录制操作。
参照图12b，当针对第二拍摄对象1222的用户输入被确认时，电子装置1201可以显示双声道录制对象1212。例如，当针对双声道录制对象1212的用户输入被确认时，电子装置1201可以执行双声道录制操作。在显示了双声道录制对象1212之后，电子装置1201可以检查外部电子装置(例如，图2的外部电子装置202和204)的穿戴状态。
参照图12c，电子装置1201可以显示指示外部电子装置(例如，图2的外部电子装置202和204)的穿戴状态的对象1231和1232。例如，当外部电子装置是右耳机和左耳机时，电子装置1201可以显示指示左耳机的穿戴状态的第一对象1231和指示右耳机的穿戴状态的第二对象1232。例如，电子装置1201可以在左耳机被正常地佩戴时显示第一对象1231，并且可以在右耳机被正常地佩戴时显示第二对象1232。或者，依据它们是否被佩戴，电子装置1201可以显示具有不同颜色的第一对象1231和第二对象1232。例如，电子装置1201可以在左耳机被佩戴时用蓝色显示第一对象1231，并且可以在右耳机未被佩戴时用红色显示第二对象1232。
根据各种实施例，在指示外部电子装置202和204的穿戴状态的至少一些对象1231和1232被显示的状态下，电子装置1201可以在确认了针对双声道录制对象1212的用户输入时开始双声道录制对象1212。根据各种实施例，只有当右耳机和左耳机都被正常地佩戴时，电子装置1201才可以开始双声道录制操作。例如，当右耳机和左耳机中的至少一者未被正常地佩戴时，电子装置1201可以以不活动状态显示双声道录制对象1212。或者，当右耳机和左耳机中的至少一者未被正常地佩戴时，即使确认了针对第二拍摄对象1222的用户输入，电子装置1201也可以不显示双声道录制对象1212。另外，当右耳机和左耳机中的至少一者未被正常地佩戴时，电子装置1201可以显示推荐佩戴耳机的消息。
根据各种实施例，当执行视频拍摄(或视频录制)功能时，电子装置1201可以检查外部电子装置(例如，图2的外部电子装置202和204)的穿戴状态，并且可以基于检查出的外部电子装置的穿戴状态在预览屏幕1210上显示双声道录制对象1212。例如，电子装置1201可以以不活动状态显示双声道录制对象1212，或者在外部电子装置未被正常穿戴的状态下，可以不显示双声道录制对象1212。
参照图12d，根据各种实施例，当双声道录制操作开始时，电子装置1201可以显示指示第一音频数据的状态的第一状态栏1241和指示第二音频数据的状态的第二状态栏1242。例如，第一状态栏1241可以指示从左耳机接收到的音频数据的接收状态、音量和声音质量中的至少一者。而且，第二状态栏1242可以指示从右耳机接收到的音频数据的接收状态、音量和声音质量中的至少一者。例如，电子装置1201可以在显示器(例如，图2的显示器260)的左区域上显示与左耳机相对应的第一状态栏1241，并且可以在显示器260的右区域上显示与右耳机相对应的第二状态栏1242。
参照图12e，根据各种实施例，电子装置1201可以在显示器(例如，图2的显示器260)的右上区域上显示第一状态栏1251和第二状态栏1252。例如，第一状态栏1251和第二状态栏1252可以具有比图12c的第一状态栏1241和第二状态栏1242小的大小。
根据各种实施例的电子装置201可以包括：相机280；显示器260；通信模块290，所述通信模块290支持蓝牙通信；以及处理器220。所述处理器可以被配置为：通过通信模块与多个外部电子装置202和204建立至少一个通信链路；通过至少一个通信链路向多个外部电子装置中的至少一个外部电子装置发送第一信号，该第一信号指示发生了使用相机的事件；在多个外部电子装置被穿戴的状态下，在预先确定的时间段中通过至少一个通信链路从多个外部电子装置中的每一个外部电子装置接收与由多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及基于多个外部电子装置中的每一个外部电子装置获取声音的时间和顺序，使音频数据与使用相机获取的视频同步并且存储已同步的数据。
所述处理器可以被配置为：顺序地接收与由多个外部电子装置当中的第一外部电子装置202获取的第一声音相对应的第一音频数据和与由多个外部电子装置当中的第二外部电子装置204获取的第二声音相对应的第二音频数据；以及使用第一音频数据和第二音频数据来获取立体声音频数据。
所述处理器可以被配置为：在预先确定的第一时间段中接收第一音频数据并且在预先确定的第二时间段中接收第二音频数据。
所述处理器可以被配置为：当接收到第一音频数据时在第一时间段中向第一外部电子装置发送第一ACK信号，而当接收到第二音频数据时在第二时间段中向第二外部电子装置发送第二ACK信号。
第一外部电子装置可以包括第一方向上的耳机，第二外部电子装置可以包括第二方向上的耳机。
所述处理器可以被配置为：检查第一外部电子装置和第二外部电子装置中的每一者的穿戴状态；以及通过显示器显示关于穿戴状态的信息。
所述处理器可以被配置为：通过与第一外部电子装置建立的第一通信链路来接收第一音频数据；以及通过与第二外部电子装置建立的第二通信链路来接收第二音频数据。
所述处理器可以被配置为：通过与第一外部电子装置建立的第一通信链路从第一外部电子装置接收第一音频数据；以及使用第一通信链路从第二外部电子装置接收第二音频数据。
所述处理器可被配置为：确认获取音频数据所需要的延时；以及基于延时使音频数据与视频同步。
所述处理器可以被配置为：使用以下至少一者从多个外部电子装置中的每一个外部电子装置接收音频数据：扩展同步连接(eSCO)通信信道、异步无连接(ACL)通信信道和BLE通信信道。
一种运行根据各种实施例的电子装置201的方法可以包括：与多个外部电子装置202和204建立至少一个通信链路；通过至少一个通信链路向多个外部电子装置中的至少一个外部电子装置发送第一信号，该第一信号指示发生了使用包括在电子装置中的相机280的事件；在多个外部电子装置被穿戴的状态下，在预先确定的时间段中通过至少一个通信链路从多个外部电子装置中的每一个外部电子装置接收与由多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及基于多个外部电子装置中的每一个外部电子装置获取声音的时间和顺序，使音频数据与使用相机获取的视频同步并且存储已同步的数据。
接收音频数据可以包括：接收与由多个外部电子装置当中的第一外部电子装置202获取的第一声音相对应的第一音频数据和与由多个外部电子装置当中的第二外部电子装置204获取的第二声音相对应的第二音频数据；以及使用第一音频数据和第二音频数据来获取立体声音频数据。
接收音频数据可以包括：顺序地在预先确定的第一时间段中接收第一音频数据并且在预先确定的第二时间段中接收第二音频数据。
该运行电子装置的方法还可以包括：当接收到第一音频数据时在第一时间段中向第一外部电子装置发送第一ACK信号；以及当接收到第二音频数据时在第二时间段中向第二外部电子装置发送第二ACK信号。
该运行电子装置的方法还可以包括：检查第一外部电子装置和第二外部电子装置中的每一者的穿戴状态；以及通过显示器显示关于穿戴状态的信息。
接收音频数据还可以包括：通过与第一外部电子装置建立的第一通信链路来接收第一音频数据；以及通过与第二外部电子装置建立的第二通信链路来接收第二音频数据。
接收音频数据还可以包括：通过与第一外部电子装置建立的第一通信链路从第一外部电子装置接收第一音频数据；以及使用第一通信链路从第二外部电子装置接收第二音频数据。
该运行电子装置的方法还可以包括：在电子装置的显示器上显示与第一音频数据相对应的第一状态栏和与第二音频数据相对应的第二状态栏。
根据各种实施例的电子装置202或204可以包括：传感器；至少一个麦克风；通信模块，所述通信模块支持蓝牙通信；以及处理器。所述处理器可以被配置为：通过通信模块与外部电子装置建立通信链路；通过通信链路从外部电子装置接收指示使用外部电子装置的相机来获取视频的事件的发生的第一信号；在电子装置被穿戴的状态下，通过至少一个麦克风获取与环境声音相对应的音频数据；以及在预先确定的时间段中通过通信模块向外部电子装置发送音频数据。
所述处理器可以被配置为：通过传感器检查电子装置的穿戴状态；以及通过通信模块向外部电子装置发送关于穿戴状态的信息。
电子装置的每一个元件可以由一个或更多个部件配置并且对应元件的名称可以根据电子装置的类型而变化。在各种实施例中，电子装置可以被配置为包括上述元件中的至少一个元件。可以从电子装置中省略一些上述元件，或者电子装置还可以包括额外的元件。另外，根据各种实施例的电子装置的一些元件可以被组合形成单个实体，从而可以执行对应元件在组合之前的相同功能。
本文公开的实施例仅仅被提供来容易地描述本公开并且促进对本公开的理解，但是不旨在限制本公开的范围。因此，应当解释，基于本公开的技术思想或其他各种实施例的所有修改和改变都落在本公开的范围内。
尽管已经用各种实施例描述了本公开内容，但是可以对本领域的技术人员建议各种改变和修改。本公开旨在包含如落在所附权利要求的范围内的此类改变和修改。

Claims (15)

1.一种电子装置，所述电子装置包括：
相机；
显示器；
通信模块，所述通信模块被配置为支持蓝牙通信；以及
处理器，其中，所述处理器被配置为：
通过所述通信模块与多个外部电子装置建立至少一个通信链路；
通过所述至少一个通信链路向所述多个外部电子装置中的至少一个外部电子装置发送第一信号，所述第一信号指示发生了使用所述相机的事件；
在所述多个外部电子装置被穿戴的状态下，在预先确定的时间段中通过所述至少一个通信链路从所述多个外部电子装置中的每一个外部电子装置接收与由所述多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及
基于所述多个外部电子装置中的每一个外部电子装置获取所述声音的时间和顺序，使所述音频数据与使用所述相机获取的视频数据同步并且存储已同步的音频数据。
2.根据权利要求1所述的电子装置，其中，所述处理器被配置为：
顺序地接收与由所述多个外部电子装置当中的第一外部电子装置获取的第一声音相对应的第一音频数据和与由所述多个外部电子装置当中的第二外部电子装置获取的第二声音相对应的第二音频数据；以及
使用所述第一音频数据和所述第二音频数据来获取立体声音频数据。
3.根据权利要求2所述的电子装置，其中，所述处理器被配置为：
在预先确定的第一时间段中接收所述第一音频数据，并且
在预先确定的第二时间段中接收所述第二音频数据。
4.根据权利要求3所述的电子装置，其中，所述处理器被配置为：
当接收到所述第一音频数据时在所述预先确定的第一时间段中向所述第一外部电子装置发送第一确认应答(ACK)信号；以及
当接收到所述第二音频数据时在所述预先确定的第二时间段中向所述第二外部电子装置发送第二ACK信号。
5.根据权利要求2所述的电子装置，其中：
所述第一外部电子装置包括第一方向上的耳机，并且
所述第二外部电子装置包括第二方向上的耳机。
6.根据权利要求5所述的电子装置，其中，所述处理器被配置为：
检查所述第一外部电子装置和所述第二外部电子装置中的每一者的穿戴状态；以及
通过所述显示器显示关于所述穿戴状态的信息。
7.根据权利要求2所述的电子装置，其中，所述处理器被配置为：
通过与所述第一外部电子装置建立的第一通信链路来接收所述第一音频数据；以及
通过与所述第二外部电子装置建立的第二通信链路来接收所述第二音频数据。
8.根据权利要求2所述的电子装置，其中，所述处理器被配置为：
通过与所述第一外部电子装置建立的第一通信链路从所述第一外部电子装置接收所述第一音频数据；以及
使用所述第一通信链路从所述第二外部电子装置接收所述第二音频数据。
9.根据权利要求1所述的电子装置，其中，所述处理器被配置为：
确认所述音频数据与所述视频数据之间的延时，并且基于所述延时使所述音频数据与所述视频数据同步。
10.根据权利要求1所述的电子装置，其中，所述处理器被配置为：
使用以下至少一者从所述多个外部电子装置中的每一个外部电子装置接收所述音频数据：扩展同步连接(eSCO)通信信道、异步无连接(ACL)通信信道或BLE通信信道。
11.一种运行电子装置的方法，所述方法包括：
与多个外部电子装置建立至少一个通信链路；
通过所述至少一个通信链路向所述多个外部电子装置中的至少一个外部电子装置发送第一信号，所述第一信号指示发生了使用包括在所述电子装置中的相机的事件；
在所述多个外部电子装置被穿戴的状态下，在预先确定的时间段中通过所述至少一个通信链路从所述多个外部电子装置中的每一个外部电子装置接收与由所述多个外部电子装置中的每一个外部电子装置获取的声音相对应的音频数据；以及
基于所述多个外部电子装置中的每一个外部电子装置获取所述声音的时间和顺序，使所述音频数据与使用所述相机获取的视频数据同步并且存储已同步的音频数据。
12.根据权利要求11所述的方法，其中，接收所述音频数据包括：
接收与由所述多个外部电子装置当中的第一外部电子装置获取的第一声音相对应的第一音频数据和与由所述多个外部电子装置当中的第二外部电子装置获取的第二声音相对应的第二音频数据；以及
使用所述第一音频数据和所述第二音频数据来获取立体声音频数据。
13.根据权利要求12所述的方法，其中，接收所述音频数据包括：
顺序地在预先确定的第一时间段中接收所述第一音频数据并且在预先确定的第二时间段中接收所述第二音频数据。
14.根据权利要求13所述的方法，所述方法还包括：
当接收到所述第一音频数据时在所述预先确定的第一时间段中向所述第一外部电子装置发送第一ACK信号；以及
当接收到所述第二音频数据时在所述预先确定的第二时间段中向所述第二外部电子装置发送第二ACK信号。
15.根据权利要求12所述的方法，所述方法还包括：
检查所述第一外部电子装置和所述第二外部电子装置中的每一者的穿戴状态；以及
通过所述显示器显示关于所述穿戴状态的信息。
CN202180058285.2A 2020-08-04 2021-07-29 电子装置及其运行方法 Active CN116057926B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200097681A KR20220017332A (ko) 2020-08-04 2020-08-04 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
KR10-2020-0097681 2020-08-04
PCT/KR2021/009906 WO2022030882A1 (ko) 2020-08-04 2021-07-29 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법

Publications (2)

Publication Number Publication Date
CN116057926A true CN116057926A (zh) 2023-05-02
CN116057926B CN116057926B (zh) 2024-07-30

Family

ID=80118243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058285.2A Active CN116057926B (zh) 2020-08-04 2021-07-29 电子装置及其运行方法

Country Status (5)

Country Link
US (1) US20220319553A1 (zh)
EP (1) EP4145814A4 (zh)
KR (1) KR20220017332A (zh)
CN (1) CN116057926B (zh)
WO (1) WO2022030882A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240039520A (ko) * 2022-09-19 2024-03-26 삼성전자주식회사 음향 신호를 출력하기 위한 전자 장치 및 방법
WO2024106730A1 (ko) * 2022-11-17 2024-05-23 삼성전자 주식회사 전자 장치 및 상기 전자 장치를 이용하여 사운드 신호를 제어하는 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278596A (zh) * 2005-09-30 2008-10-01 史克尔海德科技公司 定向音频捕获
US8922713B1 (en) * 2013-04-25 2014-12-30 Amazon Technologies, Inc. Audio and video synchronization
KR20150142566A (ko) * 2014-06-12 2015-12-22 삼성전자주식회사 오디오 데이터 전송 방법 및 장치
US20170150266A1 (en) * 2014-08-21 2017-05-25 Eears LLC Binaural recording system and earpiece set
US20180084215A1 (en) * 2016-09-16 2018-03-22 Gopro, Inc. Beam forming for microphones on separate faces of a camera
CN108702559A (zh) * 2016-01-06 2018-10-23 三星电子株式会社 耳朵可佩戴类型的无线设备和支持其的系统
US20190261089A1 (en) * 2018-02-21 2019-08-22 Apple Inc. Binaural audio capture using untethered wireless headset
WO2020102156A1 (en) * 2018-11-13 2020-05-22 Dolby Laboratories Licensing Corporation Representing spatial audio by means of an audio signal and associated metadata

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9272228B2 (en) * 2014-07-01 2016-03-01 Disney Enterprises, Inc. Full-duplex, wireless control system for interactive costumed characters
EP3304951B1 (en) * 2015-06-05 2022-09-21 Apple Inc. Changing companion communication device behavior based on status of wearable device
US9787862B1 (en) * 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
KR102374620B1 (ko) * 2017-06-20 2022-03-16 삼성전자주식회사 음성 인식을 위한 전자 장치 및 시스템
KR102435614B1 (ko) * 2017-11-17 2022-08-24 삼성전자주식회사 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278596A (zh) * 2005-09-30 2008-10-01 史克尔海德科技公司 定向音频捕获
US8922713B1 (en) * 2013-04-25 2014-12-30 Amazon Technologies, Inc. Audio and video synchronization
KR20150142566A (ko) * 2014-06-12 2015-12-22 삼성전자주식회사 오디오 데이터 전송 방법 및 장치
US20170150266A1 (en) * 2014-08-21 2017-05-25 Eears LLC Binaural recording system and earpiece set
CN108702559A (zh) * 2016-01-06 2018-10-23 三星电子株式会社 耳朵可佩戴类型的无线设备和支持其的系统
US20180084215A1 (en) * 2016-09-16 2018-03-22 Gopro, Inc. Beam forming for microphones on separate faces of a camera
US20190261089A1 (en) * 2018-02-21 2019-08-22 Apple Inc. Binaural audio capture using untethered wireless headset
WO2020102156A1 (en) * 2018-11-13 2020-05-22 Dolby Laboratories Licensing Corporation Representing spatial audio by means of an audio signal and associated metadata

Also Published As

Publication number Publication date
WO2022030882A1 (ko) 2022-02-10
US20220319553A1 (en) 2022-10-06
KR20220017332A (ko) 2022-02-11
EP4145814A1 (en) 2023-03-08
EP4145814A4 (en) 2023-09-20
CN116057926B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
CN111698668B (zh) 无线通信链路建立方法及支持该方法的电子装置
CN111669734A (zh) 蓝牙网络环境中传输响应消息的电子装置及其方法
CN116057926B (zh) 电子装置及其运行方法
EP3917273B1 (en) Electronic device for transmitting response message in bluetooth network environment and method therefor
US11818636B2 (en) External audio electronic device, electronic device, and method of managing communication link
US12034547B2 (en) Method for transceiving data in bluetooth network environment and electronic device thereof
CN114208234A (zh) 在蓝牙网络环境中支持多链路的方法及其电子装置
KR20200106741A (ko) 블루투스 네트워크 환경에서 응답 메시지를 전송하기 위한 전자 장치 및 그에 관한 방법
US20240056720A1 (en) Method for outputting audio signal, and electronic device for performing same
KR20220102492A (ko) 오디오 데이터를 처리하기 위한 오디오 장치 및 그의 동작 방법
US11916987B2 (en) Electronic device for processing audio data, and operation method thereof
US20230154500A1 (en) Electronic device, and method of synchronizing video data and audio data by using same
US11818781B2 (en) Communication method between multi devices in Bluetooth communication environment and electronic device therefor
US11853637B2 (en) Electronic device for synchronizing output time point of content output by external devices and method of operating same
US12045540B2 (en) Audio device for processing audio data and operation method thereof
US11923981B2 (en) Electronic device for transmitting packets via wireless communication connection and method of operating the same
US20230116736A1 (en) Electronic device for providing audio service and operating method thereof
EP4390924A1 (en) Electronic device for audio recording and operating method thereof
US20230155733A1 (en) Device and method for transmitting response packet
US20230336904A1 (en) Electronic device for processing audio data and operation method therefor
US20230156113A1 (en) Method and electronic device for controlling operation
US20230262386A1 (en) Method and device for controlling microphone input/output by wireless audio device during multi-recording in electronic device
KR20230051037A (ko) 오디오 서비스를 제공하는 전자 장치 및 그 동작 방법
KR20210086517A (ko) 블루투스 네트워크 환경에서 데이터 송수신 방법 및 이를 위한 전자 장치
KR20220144504A (ko) 오디오 출력을 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant