CN117730545A - 环境声音控制方法及其电子装置 - Google Patents

环境声音控制方法及其电子装置 Download PDF

Info

Publication number
CN117730545A
CN117730545A CN202280048129.2A CN202280048129A CN117730545A CN 117730545 A CN117730545 A CN 117730545A CN 202280048129 A CN202280048129 A CN 202280048129A CN 117730545 A CN117730545 A CN 117730545A
Authority
CN
China
Prior art keywords
wireless audio
conversation
audio device
electronic device
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048129.2A
Other languages
English (en)
Inventor
李哲敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117730545A publication Critical patent/CN117730545A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17833—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by using a self-diagnostic function or a malfunction prevention function, e.g. detecting abnormal output levels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17885—General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3024—Expert systems, e.g. artificial intelligence
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3038—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3039—Nonlinear, e.g. clipping, numerical truncation, thresholding or variable input and output gain
    • G10K2210/30391—Resetting of the filter parameters or changing the algorithm according to prevailing conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3048—Pretraining, e.g. to identify transfer functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种电子装置包括扬声器、传感器、通信电路、处理器以及用于存储指令的存储器。当指令由处理器运行时，无线音频装置在通过扬声器来输出用于降低外部声音的信号时，能够：通过使用通信电路来识别外部电子装置；响应于外部电子装置的方位满足指定条件，使用传感器来识别谈话；响应于谈话被识别，使用于降低外部声音的信号的输出暂停第一时间间隔；以及响应于指定关键词被包括在所识别的谈话中，使用于降低外部声音的信号的输出的暂停延长第二时间间隔。

Description

环境声音控制方法及其电子装置
技术领域
本文公开的各种实施例涉及一种用于控制环境声音的方法及其电子装置。
背景技术
诸如耳塞的无线音频装置已经被广泛地使用。无线音频装置可以与诸如蜂窝电话的电子装置无线连接，以输出从蜂窝电话接收到的音频数据。无线音频装置可以与电子装置无线连接，使得用户的便利性被改进。用户的便利性的改进可以增加用户使用无线音频装置的时间。
无线音频装置可以具有消除噪声的各种技术。例如，无线音频装置可以通过与噪声消除电路连接的麦克风来获得环境噪声，并且可以输出相位与所获得的噪声相反的反噪声信号。用户可以听到环境噪声和反相噪声两者以获得消除噪声的效果。
无线音频装置可以具有用于听到各种环境噪声的技术。例如，无线音频装置可以实时地输出通过麦克风接收到的环境噪声。因此，用户可以听到环境噪声。
发明内容
技术问题
当无线音频装置激活主动噪声消除(active noise cancellation，ANC)功能或者停用听到环境声音的功能时，用户可能听不到外部声音。
技术方案
根据本公开的实施例，一种电子装置可以包括扬声器、传感器、通信电路、处理器以及用于存储指令的存储器。指令在由处理器运行时，使无线音频装置在通过扬声器来输出用于降低外部声音的信号时：使用通信电路来识别外部电子装置；响应于外部电子装置的位置满足指定条件，使用传感器来识别谈话；响应于识别出谈话，使用于降低外部声音的信号的输出停止第一时间段；以及响应于识别出谈话中包括的指定关键词，使用于降低外部声音的信号的输出的停止延长第二时间段。
根据本公开的实施例，一种用于运行电子装置的方法，该方法可以包括，在通过无线音频装置的至少一个扬声器来输出用于降低外部声音的信号时：使用无线音频装置的通信电路来识别外部电子装置；响应于外部电子装置的位置满足指定条件，使用无线音频装置的传感器来识别谈话；响应于识别出谈话，使用于降低外部声音的信号的输出停止第一时间段；以及响应于识别出谈话中包括的指定关键词，使用于降低外部声音的信号的输出的停止延长第二时间段。
根据本公开的实施例，一种方法可以包括：为无线音频装置启用主动噪声消除功能；确定是否满足主动噪声消除功能关闭条件；响应于确定满足主动噪声消除功能关闭条件，禁用主动噪声消除功能达第一时间段；响应于从话语中检测到关键词，确定是否调整第一时间段；以及响应于确定要调整第一时间段，继续禁用主动噪声消除功能达第二时间段。
有益效果
根据本文公开的各种实施例，电子装置可以基于周围环境停用ANC功能或者激活听到环境声音的功能。
附图说明
图1是示出了根据本公开的各种实施例的网络环境中的电子装置的框图；
图2示出了根据实施例的电子装置和无线音频装置的通信环境；
图3示出了根据实施例的电子装置和无线音频装置的框图；
图4示出了根据实施例的第一无线音频装置的前视图和后视图；
图5示出了根据实施例的无线音频装置的框图；
图6是示出了根据本公开的实施例的无线音频装置的周围装置检测模块生成输出数据的操作的视图；
图7是示出了根据本公开的实施例的无线音频装置确定外部装置是否处于允许谈话的情形的情形的视图；
图8是示出了根据本公开的实施例的无线音频装置的周围装置检测模块生成输出数据的方法的流程图；
图9是示出了根据本公开的实施例的无线音频装置的操作环境学习模块生成输出数据的操作的视图；
图10是示出了根据本公开的实施例的无线音频装置的集中模式检测模块生成输出数据的操作的视图；
图11是示出了根据本公开的实施例的无线音频装置的智能谈话模式控制模块控制谈话模式的操作的视图；
图12是示出了根据本公开的实施例的用户界面(UI)的视图；
图13是示出了根据本公开的实施例的用户界面(UI)的视图；
图14是示出了根据本公开的实施例的无线音频装置的操作的方法的流程图；
图15是示出了根据本公开的实施例的确定是否满足无线音频装置的AMC关闭条件的方法的流程图；
图16是示出了根据本公开的实施例的由无线音频装置确定对关闭AMC的时间点的调整的方法的流程图。
在关于附图做出的以下描述中，相似的部件将被指配有相似的附图标记。
具体实施方式
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可以经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可以经由服务器108与电子装置104进行通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可以从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可以将一个或更多个其他部件添加到电子装置101中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个部件(例如，显示模块160)。
处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其他部件(例如，硬件部件或软件部件)，并且可以执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储在易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并且将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可以将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可以控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可以与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。
存储器130可以存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如，用户)接收将由电子装置101的另一部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可以经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)耦接或无线耦接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可以检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)耦接或无线耦接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可以包括连接器，其中，电子装置101可以经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理对电子装置101的供电。根据实施例，可以将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可以对电子装置101的至少一个部件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或者可以将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可以将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件以外的另外的部件(例如，射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、RFIC和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互耦接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可以包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2示出了根据实施例的电子装置201和无线音频装置202的通信环境200。
参照图2，电子装置201和无线音频装置202(例如，第一无线音频装置202-1和/或第二无线音频装置202-2)可以至少部分地包括相同部件或相似部件，或者可以至少部分地执行相同功能或相似功能。在下文中，除非另外指定，否则术语“无线音频装置202”可以被称为第一无线音频装置202-1、第二无线音频装置202-2、或第一无线音频装置202-1和第二无线音频装置202-2。电子装置201可以包括用户终端，诸如智能电话、平板计算机、台式计算机或膝上型计算机。无线音频装置202可以包括无线耳机、头戴式耳机、耳塞或扬声器，但是本公开不限于此。无线音频装置202可以包括用于接收音频信号并且输出所接收到的音频信号的各种类型的装置(例如，助听器或便携式音频装置)。术语“无线音频装置”与电子装置201区分开，并且无线音频装置202可以被称为电子装置、无线耳机、耳塞、真无线立体声(TWS)或耳麦。
根据实施例，电子装置201和无线音频装置202可以通过由蓝牙TM特殊兴趣组(SIG)定义的蓝牙网络在短距离内以无线方式通信。根据实施例，蓝牙网络可以包括传统蓝牙网络或低功耗蓝牙(BLE)网络。根据实施例，电子装置201和无线音频装置202可以通过传统蓝牙网络和BLE网络之一以无线方式通信，或者可以通过两个网络以无线方式通信。
根据实施例，电子装置201可以充当主装置(例如，主控装置)，而无线音频装置202可以充当辅助装置(例如，从控装置)。充当辅助装置的装置的数目不限于图2所示出的示例。根据实施例，主装置或辅助装置的功能可以是通过在装置之间创建链路(例如，205、210和/或215)的操作来确定的。根据另一实施例，第一无线音频装置202-1和第二无线音频装置202-2中的一者(例如，第一无线音频装置202-1)可以充当主装置，而第一无线音频装置202-1和第二无线音频装置202-2中的另一者(例如，第二无线音频装置202-2)可以充当辅助装置。
根据实施例，电子装置201可以向无线音频装置202发送数据分组，该数据分组包括诸如文本、音频数据、图像和/或视频的内容。无线音频装置202中的至少一个装置可以向电子装置201发送数据分组。例如，当在电子装置201中再现音乐时，电子装置201可以通过与无线音频装置202一起创建的链路(例如，第一链路205和/或第二链路210)来向无线音频装置202发送包括内容(例如，音乐数据)的数据分组。例如，无线音频装置202中的至少一个装置可以通过所创建的链路来向电子装置201发送包括内容(例如，音频数据)的数据分组。当电子装置201发送数据分组时，电子装置201可以被称为源装置，并且无线音频装置202可以被称为汇点装置(sink device)。
电子装置201可以与无线音频装置202中的至少一个装置(202-1和/或202-2)创建或建立链路(例如，链路205、210)以发送数据分组。例如，电子装置201可以基于蓝牙协议或BLE协议，与第一无线音频装置202-1一起创建第一链路205和/或与第二无线音频装置202-2一起创建第二链路210。根据实施例，电子装置201可以与第一无线音频装置202-1一起通过第一链路205来与第一无线音频装置202-1进行通信。在这种情况下，例如，第二无线音频装置202-2可以被配置为监测第一链路205。例如，第二无线音频装置202-2可以通过监测第一链路205来接收通过第一链路205从电子装置201发送的数据。
根据实施例，第二无线音频装置202-2可以通过使用与第一链路205相关联的信息来监测第一链路205。与第一链路205相关联的信息可以包括地址信息(例如，第一链路205的主装置的蓝牙地址、电子装置201的蓝牙地址和/或第一无线音频装置202-1的蓝牙地址)、微微网(例如，拓扑200)的时钟信息(例如，第一链路205的主装置的本机时钟(CLKN))、逻辑传输(LT)地址信息(由第一链路205的主装置分配的信息)、使用的信道图信息、链路密钥信息、服务发现协议(SDP)信息(例如，与第一链路205相关联的服务和/或配置文件信息)和/或支持的特征信息。
图3示出了根据实施例的电子装置201和无线音频装置202的框图。
根据实施例，电子装置201可以包括处理器320(例如，图1的处理器120)、存储器330(例如，图1的存储器130)、第一通信电路391(例如，图1的通信模块190)、显示器360(例如，图1的显示模块160)和/或第二通信电路392(例如，图1的通信模块190)。处理器320可以与存储器330、显示器360、第一通信电路391和第二通信电路392可操作地连接。存储器330可以存储至少一个指令，该至少一个指令在被运行时，使处理器320执行电子装置201的各种操作。第二通信电路392可以被配置为支持基于蓝牙协议(例如，传统蓝牙和/或BLE)的无线通信。第一通信电路391可以被配置为支持基于除了蓝牙协议以外的无线通信标准(例如，蜂窝和/或WiFi)的通信。电子装置201还可以包括图3中未示出的部件。例如，电子装置201还可以包括音频输入/输出装置(例如，图1的音频模块170)和/或壳体。
电子装置201可以通过第一链路205与第一无线音频装置202-1连接。例如，电子装置201和第一无线音频装置202-1可以以基于第一链路205的主装置的时钟而设置的时隙为单位彼此进行通信。电子装置201可以通过第二链路210与第二无线音频装置202-2连接。例如，电子装置201可以与第一无线音频装置202-1连接并且建立第二链路210。根据实施例，可以省略第二链路210。
根据实施例，第一无线音频装置202-1可以包括处理器421(例如，图1的处理器120)、存储器431(例如，图1的存储器130)、传感器电路451(例如，图1的传感器模块176)、音频输出电路471(例如，图1的音频模块170)、音频接收电路481(例如，图1的音频模块170)和/或通信电路491(例如，图1的通信模块190)。
处理器421可以与传感器电路451、通信电路491、音频输出电路471、音频接收电路481和存储器431可操作地连接。
传感器电路451可以包括至少一个传感器。传感器电路451可以检测关于指示穿戴者(即，用户)是否穿戴了第一无线音频装置202-1的穿戴状态的信息、穿戴者的生物特征信息和/或穿戴者的移动。例如，传感器电路451可以包括用于感测穿戴状态的接近传感器、用于检测生物特征信息的生物特征传感器(例如，心率传感器)和/或用于检测运动的运动传感器(例如，加速度传感器)。根据一个示例，传感器电路451还可以包括骨传导传感器和加速度传感器中的至少一者。根据另一实施例，骨传导传感器可以被设置为接近皮肤以感测骨传导。例如，加速度传感器可以被配置为通过以高于一般运动采样的kHz单位采样来感测kHz单位的振动信息。处理器421可以在噪声环境下通过基于加速度传感器的振动信息的有意义轴(x轴、y轴或z轴中的至少一个轴)而生成的振动来执行语音辨识、语音感测、轻敲感测和/或穿戴感测。
音频输出电路471可以被配置为输出声音。音频接收电路481可以包括一个麦克风或多个麦克风。音频接收电路481可以被配置为通过使用一个麦克风或多个麦克风来获得音频信号。根据实施例，多个麦克风中的每一个麦克风可以对应于相互不同的音频接收路径。例如，当音频接收电路481包括第一麦克风和第二麦克风时，通过第一麦克风获得的音频信号和通过第二麦克风获得的音频信号可以被称为相互不同的音频声道。处理器421可以通过使用多个麦克风中的与音频接收电路481连接的至少一个麦克风来获得音频数据。处理器421可以动态地选择和确定多个麦克风中的将获得音频数据的至少一个麦克风。处理器421可以通过使用多个麦克风执行波束成形来获得音频数据。存储器431可以存储至少一个指令，该至少一个指令在被运行时，使处理器421执行第一无线音频装置202-1的各种操作。
根据实施例，处理器421可以通过音频接收电路481或传感器电路451中的至少一者来获得音频数据。例如，处理器421可以通过与音频接收电路481连接的至少一个麦克风来获得音频数据。处理器421可以通过经由传感器电路451感测与音频信号相对应的振动来获得音频数据。例如，处理器421可以通过运动传感器、骨传导传感器、加速度传感器和/或相似传感器(包括它们的组合和/或复联(multiple))中的至少一者来获得音频数据。处理器421可以被配置为处理(例如，噪声抑制、噪声消除、回声消除和/或相似处理，包括它们的组合和/或复联)通过各种路径(例如，音频接收电路481或传感器电路451中的至少一者)获得的音频数据。
第一无线音频装置202-1还可以包括图1中示出的部件。例如，第一无线音频装置202-1还可以包括指示器(例如，图1的显示模块160)、输入接口(例如，图1的接口177)和/或壳体。
根据实施例，第二无线音频装置202-2可以包括处理器422(例如，图1的处理器120)、存储器432(例如，图1的存储器130)、传感器电路452(例如，传感器模块176)、音频输出电路472(例如，图1的音频模块170)、音频接收电路482和/或通信电路492(例如，图1的通信模块190)。
根据实施例，第二无线音频装置202-2的处理器422、存储器432、传感器电路452、音频输出电路472、音频接收电路482或通信电路492可以具有与第一无线音频装置202-1的处理器421、存储器431、传感器电路451、音频输出电路471、音频接收电路481或通信电路491的功能相同的功能。
第二无线音频装置202-2还可以包括图1中示出的部件。例如，第二无线音频装置202-2还包括指示器(例如，图1的显示模块160)、音频输入装置(例如，图1的音频模块170)、输入接口(例如，图1的接口170)和/或壳体。
图4示出了根据实施例的第一无线音频装置202-1的前视图401和后视图402。
在下文中，将描述第一无线音频装置202-1的结构。为了便于说明，将省略重复描述，并且第二无线音频装置202-2可以具有与第一无线音频装置202-1的结构相同或相似的结构。
参照第一无线音频装置202-1的前视图401，第一无线音频装置202-1可以包括壳体410。壳体410可以形成第一无线音频装置202-1的外观的至少一部分。壳体410可以包括设置在壳体410的第一表面(例如，当被穿戴时面向外部的表面)上的按钮413以及多个麦克风481a和481b。按钮413可以被配置为接收用户输入(例如，触摸输入或推动输入)。第一麦克风481a和第二麦克风481b可以被包括在音频接收电路481中。当第一无线音频装置202-1被穿戴时，第一麦克风481a和第二麦克风481b可以沿面向用户的外部的方向设置以感测声音。第一麦克风481a和第二麦克风481b可以被称为外部麦克风。第一麦克风481a和第二麦克风481b可以感测壳体410的外部声音。例如，第一麦克风481a和第二麦克风481b可以感测在第一无线音频装置202-1周围生成的环境声音。由第一无线音频装置202-1感测到的环境声音可以由扬声器470输出。根据实施例，第一麦克风481a和第二麦克风481b可以是用于第一无线音频装置202-1的噪声消除功能(例如，主动噪声消除(ANC))的麦克风。或者，第一麦克风481a和第二麦克风481b可以是用于听到第一无线音频装置202-1的环境声音的功能(例如，透传功能(transparency function)或环境感知功能)的麦克风。第一麦克风481a和第二麦克风481b可以包括具有电子电容麦克风(ECM)和微机电系统(MEMS)的各种类型的麦克风。第一麦克风481a和第二麦克风481b可以是相同类型或不同类型的。翼尖411可以耦接到壳体410的外围部分。翼尖411可以包括弹性材料。翼尖411可以与壳体410分离或者附接到壳体410。翼尖411可以改进第一无线音频装置202-1的可穿戴性。
参照第一无线音频装置202-1的后视图402，第一无线音频装置202-1可以包括设置在壳体410的第二表面(例如，当被穿戴时面向用户的面)上的第一电极414、第二电极415、接近传感器450、第三麦克风481c和扬声器470。扬声器470可以包括图3的音频输出电路471。扬声器470可以将电信号转换成声音信号。扬声器470可以从第一无线音频装置202-1中输出声音。例如，扬声器470可以将电信号转换成将被用户可听见地辨识的声音，并且可以输出转换结果。扬声器470的至少一部分可以设置在壳体410内部。扬声器470可以通过壳体410的端部耦接到耳尖412。耳尖412可以呈内部中空圆柱体的形状。例如，当耳尖412耦接到壳体410时，从扬声器370输出的声音(音频数据)可以通过耳尖412的中空结构被发送到外部对象(例如，用户)。
根据实施例，第一无线音频装置202-1可以包括设置在壳体410的第二表面上的传感器451a(例如，加速度传感器、骨传导传感器、陀螺仪传感器和/或相似传感器，包括它们的组合和/或复联)。尽管图4示出了传感器451a的位置和形状，但是本公开的实施例不限于此。例如，传感器451a可以设置在壳体410中，使得传感器451a不暴露于外部。传感器451a可以放置在用于当被穿戴时与穿戴者的耳朵或壳体410的与穿戴者的耳朵进行接触的一部分进行接触的位置处。
耳尖412可以由弹性材料(或柔性材料)形成。耳尖412可以协助第一无线音频装置202-1，使得第一无线音频装置202-1被插入到用户的耳朵中，从而与用户的耳朵紧密接触。例如，耳尖412可以由硅材料形成。耳尖412的至少一部分可以依据外部对象的形状(例如，耳朵的核形状)而变形。根据本公开的各种实施例，耳尖412可以通过硅材料、泡沫材料或塑料材料中的至少两种的组合形成。例如，耳尖412的被插入到用户的耳朵中并且与用户的耳朵进行接触的第一区域可以由硅材料形成，并且其中插入有壳体410的第二区域可以由塑料材料形成。翼尖412可以与壳体410分离或者附接到壳体410。第一电极414和第二电极415可以与外部电源(例如，壳)连接，并且可以从外部电源接收电信号，诸如以对设置在第一无线音频装置202-1内的电池(例如，图1的电池189)充电。接近传感器450可以用于感测用户的穿戴状态。接近传感器450可以设置在壳体410内部。接近传感器450的至少一部分可以被设置为暴露于第一无线音频装置202-1的外观。第一无线音频装置202-1可以基于由接近传感器450测量的数据，确定用户是否穿戴了第一无线音频装置202-1。例如，接近传感器450可以包括红外(IR)传感器。IR传感器可以感测出壳体410是否与用户的身体进行接触。第一无线音频装置202-1可以基于IR传感器的感测，确定用户是否穿戴了第一无线音频装置202-1。接近传感器450不限于IR传感器，而是可以通过使用各种类型的传感器(例如，加速度传感器或陀螺仪传感器)来实现。当第一无线音频装置202-1被穿戴时，第三麦克风481a可以沿面向用户的方向设置以感测声音。第三麦克风481c可以被称为内麦克风。
图5示出了根据实施例的无线音频装置202的框图。
根据实施例，图5的部件可以由第一无线音频装置202-1或第二无线音频装置202-2实现。
根据实施例，无线音频装置202可以包括音频接收电路501、传感器电路503、音频输出电路505或它们的组合。根据实施例，音频接收电路501可以对应于图3的音频接收电路481和482。根据实施例，音频接收电路501可以对应于图4的麦克风481a、481b和481c。根据实施例，传感器电路503可以对应于图3的传感器电路451和452。根据实施例，传感器电路503可以对应于图4的接近传感器450。根据实施例，音频输出电路503可以对应于图3的音频输出电路471和472。根据实施例，音频输出电路505可以对应于图4的扬声器470。
根据实施例，无线音频装置202可以通过音频接收电路501来获得音频信号。根据实施例，无线音频装置202可以通过传感器电路503(例如，运动传感器、加速度传感器和/或陀螺仪传感器)来感测无线音频装置202的移动。
根据实施例，当具有指定频带(例如，人类语音频带)和指定强度的音频信号(例如，语音信号)被感测到时，无线音频装置202可以从音频信号中感测语音信号。
根据实施例，无线音频装置202可以包括预处理模块510、谈话模式模块520、语音代理模块530、声音控制模块540、智能谈话模式控制模块550、周围情形辨识模块560或它们的组合。
根据实施例，预处理模块510、谈话模式模块520、语音代理模块530、声音控制模块540、智能谈话模式控制模块550、周围情形辨识模块560或它们的组合可以是以一个或更多个软件模块的形式实现的。根据实施例，部件是逻辑上分离的，并且执行相同功能的任意程序、线程、应用或代码可以代替部件。
根据实施例，预处理模块510可以针对通过音频接收电路501接收到的声音(或音频信号)执行预处理。根据实施例，针对音频信号的预处理可以包括音频信号的回声消除、音频信号的噪声降低、音频信号的指定频带的信号滤波、改变音频输入信号的采样速率和/或相似预处理，包括它们的组合和/或复联。
根据实施例，语音代理模块530可以使用音频接收电路501和/或预处理模块510来获得音频信号，并且可以辨识唤醒话语(例如，“Hi-Bixby”)和/或指定语音话语。根据实施例，指定语音话语可以包括用于谈话模式的控制的语音命令(例如，启动或结束谈话模式的命令)。
根据实施例，用于指示启动谈话模式的语音话语可以包括唤醒话语(例如，“Hi-Bixby”)和语音命令。例如，语音命令可以具有诸如“Hi Bixby,start the conversationmode(嗨Bixby，启动谈话模式)”的形式。用于指示启动谈话模式的语音话语可以仅包括诸如“Start the conversation mode”的语音命令。
例如，用于指示结束谈话模式的语音话语可以包括语音命令以及用于唤醒语音代理的唤醒话语。语音命令可以具有诸如“Hi Bixby,end the conversation mode(嗨Bixby，结束谈话模式)”的形式。用于指示结束谈话模式的语音话语可以仅包括诸如“End theconversation mode without the wake-up utterance(在无唤醒话语的情况下结束谈话模式)”的语音命令。
根据实施例，语音代理模块530可以基于语音话语向谈话模式模块520和/或智能谈话模式控制模块550发送用于指示启动或结束谈话模式的信息。
根据实施例，周围情形辨识模块560可以包括环境分类模块561、周围装置检测模块562、操作环境学习模块563、集中模式检测模块564和/或相似模块，包括它们的组合和/或复联。
根据实施例，环境分类模块561可以基于音频信号对环境进行分类。例如，环境分类模块561可以基于音频信号的背景噪声、信噪比(SNR)和/或噪声类型中的至少一者感测环境。例如，环境分类模块561可以通过将存储在存储器(例如，图3的存储器431和432)中的环境信息与背景噪声的强度、SNR和/或噪声类型中的至少一者进行比较来识别无线音频装置202的环境。又如，环境分类模块561可以通过将背景噪声的强度、SNR和/或噪声类型中的至少一者输入到通过机器学习所生成的人工智能(AI)模型中来识别无线音频装置202的环境。根据实施例，可以针对音频信号通过快速傅里叶变换来识别背景噪声的强度、SNR或噪声类型中的至少一者。
根据实施例，环境分类模块561可以基于传感器信号识别位置和/或地点。根据实施例，环境分类模块561可以基于GPS信号、WiFi信号和/或蓝牙信号识别位置和/或地点。根据实施例，环境分类模块561可以基于GPS信号、WiFi信号和/或蓝牙信号识别无线音频装置202的位置，并且可以基于所识别的方位(position)识别地点。例如，环境分类模块561可以通过将被存储在存储器(例如，图3的存储器431和432)中的环境信息与GPS信号、WiFi信号或蓝牙信号中的至少一者进行比较来识别无线音频装置202的地点。又如，环境分类模块561可以通过将GPS信号、WiFi信号和/或蓝牙信号中的至少一者输入到通过机器学习所生成的人工智能(AI)模型中来识别无线音频装置202的地点。
根据实施例，环境分类模块561可以向谈话模式模块520和/或智能谈话模式控制模块550提供关于所识别的环境的信息。
根据实施例，周围装置检测模块562可以扫描外部电子装置。根据实施例，周围装置检测模块562可以基于来自传感器电路503的传感器信号识别指定距离内的外部电子装置。根据实施例，周围装置检测模块562可以使用基于蓝牙(例如，BLE)、超宽带(UWB)和/或WiFi的信号来检测外部电子装置。根据实施例，周围装置检测模块562可以基于来自传感器电路503的传感器信号的特性(例如，信号强度、发送时间与接收时间之间的差和/或相似特性，包括它们的组合和/或复联)识别到外部电子装置的距离。根据实施例，周围装置检测模块562可以基于接收信号强度指示(RSSI)、到达时间差(TDoA)和/或双向测距(TWR)识别到外部电子装置的距离。根据实施例，周围装置检测模块562可以诸如通过使用存储在存储器(例如，图3的存储器431或432)中的查找表来基于来自传感器电路503的传感器信号的特性识别到外部电子装置的距离。
根据实施例，周围装置检测模块562可以识别所识别的外部电子装置是否是在电子装置201和/或无线音频装置202中注册的装置。根据实施例，周围装置检测模块562可以基于在检测外部电子装置期间从外部电子装置接收到的信号，识别所识别的外部电子装置是否是在电子装置201和/或无线音频装置202中注册的装置。根据实施例，周围装置检测模块562可以基于外部电子装置的识别信息(例如，装置名称、媒体访问控制(MAC)地址)，识别所识别的外部电子装置是否是在电子装置201和/或无线音频装置202中注册的装置。
根据实施例，当所识别的外部电子装置停留在指定距离内达指定时间或更长时间时，周围装置检测模块562可以将当前情形识别为电子装置201和/或无线音频装置202的用户与外部电子装置的用户之间的谈话是可能的情形。根据实施例，当注册的外部电子装置停留在第一距离内达第一时间或更长时间时，周围装置检测模块562可以将当前情形识别为允许谈话的情形。根据实施例，当未被注册的外部电子装置停留在第二距离内达第二时间或更长时间时，周围装置检测模块562可以将当前情形识别为允许谈话的情形。例如，第一距离可以比第二距离长。例如，第一时间可以比第二时间短。又如，第一时间可以等于第二时间。
根据实施例，周围装置检测模块562可以基于到外部电子装置的距离和/或外部电子装置的停留时间计算谈话可能性的分数。根据实施例，诸如当到外部电子装置的距离减少时，谈话可能性的分数可以增加。根据实施例，诸如当外部电子装置的停留时间增加时，谈话可能性的分数可以增加。根据实施例，诸如当谈话可能性的分数超过阈值分数时，周围装置检测模块562可以将当前情形识别为电子装置201和/或无线音频装置202的用户与外部电子装置的用户之间的谈话是可能的情形。
根据实施例，周围装置检测模块562可以依据在外部电子装置的位置处花费的停留时间，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，周围装置检测模块562可以识别随着在外部电子装置的位置处花费的停留时间被输入到人工智能(AI)模型中而输出的谈话可能性的分数。
根据实施例，周围装置检测模块562可以向谈话模式模块520和/或智能谈话模式控制模块550提供指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数。
根据实施例，操作环境学习模块563可以管理关于用于激活谈话模式的位置的信息。根据实施例，操作环境学习模块563可以注册和/或管理关于用于激活由用户指定的谈话模式的位置的信息。根据实施例，关于位置的信息可以包括地址、建筑物名称、商店名称、地点的分类(例如，咖啡馆、餐馆、超市、健身房、图书馆或车站)或它们的组合。
根据实施例，操作环境学习模块563可以基于关于注册的位置的信息和/或指示了过去是否激活了谈话模式的信息执行AI模型的机器学习。根据实施例，可以在AI模型的机器学习中更多利用另一信息。例如，AI模型可以基于从传感器电路503接收并且指示用户姿势的传感器信号经历机器学习。又如，可以基于音频信号的背景噪声、SNR或噪声类型中的被包含在从音频接收电路501接收到的音频信号中的至少一者感测环境。操作环境学习模块563可以基于环境执行AI模型的机器学习。
根据实施例，操作环境学习模块563可以接收用于识别无线音频装置202的位置的数据(例如，GPS信号或WiFi信号)。根据实施例，操作环境学习模块563可以接收用于识别穿戴了无线音频装置202的用户的姿势的数据(例如，加速度传感器、陀螺仪传感器、磁性传感器和/或相似传感器(包括它们的组合和/或复联)的数据)。根据实施例，操作环境学习模块563可以从音频接收电路501接收音频信号(例如，音频信号的背景噪声、SNR或噪声类型中的至少一者)。
根据实施例，操作环境学习模块563可以基于用于识别方位的数据(例如，位置数据)识别位置和/或地点。根据实施例，操作环境学习模块563可以通过参照地图DB(未示出)来识别关于通过被包含在位置数据中的位置信息指示的当前位置和当前地点的信息。关于位置的信息可以包括关于地址的信息。关于地点的信息可以包括建筑物名称、商店名称、地点的类别(例如，商业信息(咖啡馆、餐馆、超市、健身房、图书馆或车站))或它们的组合。
根据实施例，操作环境学习模块563可以基于用于识别穿戴了无线音频装置202的用户的姿势的数据(例如，姿势数据)检测用户的姿势。根据实施例，操作环境学习模块563可以基于来自具有至少三个轴的传感器(例如，加速度传感器、陀螺仪传感器和磁性传感器)的姿势数据，检测用户的姿势(例如，移动、停止、站立、坐下和/或相似姿势，包括它们的组合和/或复联)。
根据实施例，操作环境学习模块563可以基于音频信号对场景进行分类。根据实施例，操作环境学习模块563可以基于音频信号的背景噪声、SNR或噪声类型中的至少一者识别与音频信号相对应的场景。根据实施例，场景可以用于依据音频信号对无线音频装置202定位于的地点(例如，餐馆、咖啡馆、公司、健身房、图书馆、超市、街道、建筑工地、海滩、酒店和/或相似地点，包括它们的组合和/或复联)和/或环境(例如，许多人、很少人、高噪声水平、低噪声水平和/或相似环境，包括它们的组合和/或复联)进行分类。
根据实施例，操作环境学习模块563可以识别多个场景中的与地点类别相对应的场景与音频信号之间的相似度。
根据实施例，操作环境学习模块563可以检测出当前情形是否是允许谈话的情形。根据实施例，操作环境学习模块563可以基于关于方位的信息、关于地点的信息、关于用户的姿势的信息、关于场景的信息、地点学习模型940(参见例如图9)或它们的组合识别当前情形是否是允许谈话的情形。
根据实施例，操作环境学习模块563可以基于关于方位的信息、关于地点的信息、关于用户的姿势的信息、关于场景的信息或它们的组合识别谈话可能性的分数。
根据实施例，操作环境学习模块563可以依据关于方位的信息、关于地点的信息、关于用户的姿势的信息、关于场景的信息或它们的组合，基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，操作环境学习模块563可以依据关于方位的信息、关于地点的信息、关于用户的姿势的信息或关于场景的信息中的至少一种，基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以通过使用以下项的加权平均值来识别谈话可能性的分数：基于关于方位的信息的谈话可能性的分数、基于关于地点的信息的谈话可能性的分数；基于关于用户的姿势的信息的谈话可能性的分数；或基于关于场景的信息的谈话可能性的分数。
根据实施例，操作环境学习模块563可以向谈话模式模块520和/或智能谈话模式控制模块550提供指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数。
根据实施例，集中模式检测模块564可以获得情境信息。根据实施例，情境信息可以包括内容数据、应用数据、输入数据、日程数据或它们的组合。
根据实施例，内容数据可以包括关于正被再现的内容的类型和/或内容的细节的信息。根据实施例，正被再现的内容可以是正在后台中和/或在前台中被再现的内容。根据实施例，内容可以是媒体内容(图像、视频和/或声音)。根据实施例，应用数据可以包括正被运行的应用的类型和/或关于应用的运行时间的信息。根据实施例，正被再现的应用可以是正在前台中和/或在后台中被再现的应用。根据实施例，输入数据可以包括关于用户输入的连续性和/或可重复性的信息。根据实施例，日程数据可以包括在电子装置201和/或无线音频装置202中注册的日历信息和/或关于待办事项清单的信息。
根据实施例，集中模式检测模块564可以识别正被再现的内容是否是指定内容。根据实施例，指定内容可以是包括与教育和/或商业相关联的细节的内容。根据实施例，指定内容可以是由用户指定的内容。
根据实施例，集中模式检测模块564可以识别正被运行的应用是否是指定应用。根据实施例，指定应用可以是与文档工作、教育、语言学习和/或阅读相关联的应用。根据实施例，指定应用可以是由用户指定的应用。
根据实施例，集中模式检测模块564可以基于输入数据识别用户输入是否达指定持续时间或更长时间。根据实施例，集中模式检测模块564可以基于输入数据识别用户输入是否重复了指定次数或更多次。
根据实施例，集中模式检测模块564可以基于日程数据识别用户当前是否正在工作。根据实施例，集中模式检测模块564可以基于日程数据识别用户当前是否正在执行单个任务。
根据实施例，集中模式检测模块564可以基于内容分类结果、应用分类结果、输入类型分类结果、商业类型分类结果或它们的组合识别当前情形是否是允许谈话的情形。
根据实施例，集中模式检测模块564可以在基于内容分类结果正被再现的内容不是指定内容时，识别出当前情形是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于应用分类结果正被运行的应用不是指定应用时，识别出当前情形是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入尚未达指定持续时间或更长时间时，识别出当前情形是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入未重复指定次数或更多次时，识别出当前情形是否是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于商业类型分类结果用户当前不正在执行单个任务时，识别出当前情形是允许谈话的情形。
根据实施例，集中模式检测模块564可以基于内容分类结果、应用分类结果、输入类型分类结果、商业类型分类结果和/或相似结果(包括它们的组合和/或复联)中的至少一者识别当前情形是否是允许谈话的情形。例如，当内容分类结果、应用分类结果、输入类型分类结果或商业类型分类结果中的任何一者(或更多者)指示了当前情形是允许谈话的情形时，集中模式检测模块564可以识别出当前情形是允许谈话的情形。
根据实施例，集中模式检测模块564可以基于应用分类结果、输入类型分类结果、商业类型分类结果或它们的组合识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以在基于内容分类结果正被再现的内容不是指定内容时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于应用分类结果正被运行的应用不是指定应用时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入尚未达指定持续时间或更长时间时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入未重复指定次数或更多次时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于商业类型分类结果用户当前不正在执行单个任务时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以基于内容分类结果、应用分类结果、输入类型分类结果或商业类型分类结果中的至少一种依据用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以通过使用以下项的加权平均值来识别谈话可能性的分数：基于内容分类结果的谈话可能性的分数、基于应用分类结果的谈话可能性的分数、基于输入类型分类结果的谈话可能性的分数、和/或基于商业类型分类结果的谈话可能性的分数。
根据实施例，集中模式检测模块564可以以输出数据的形式输出指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数。
根据实施例，谈话模式模块520可以包括第一语音活动检测(VAD)521、第二VAD522、谈话模式功能523或它们的组合。
根据实施例，谈话模式模块520可以基于来自周围情形辨识模块560的数据确定是否感测穿戴者(例如，用户)的话语和/或外人(例如，除穿戴者以外的人员(例如，外人或对应方))的话语。
根据实施例，谈话模式模块520可以基于来自周围装置检测模块562、操作环境学习模块563、集中模式检测模块564或它们的组合的信号确定是否感测话语。根据实施例，当周围装置检测模块562、操作环境学习模块563或集中模式检测模块564中的至少一者指示了当前情形是允许谈话的情形时，谈话模式模块520可以确定是否感测话语。又如，当周围装置检测模块562、操作环境学习模块563和集中模式检测模块564均指示了当前情形是允许谈话的情形时，谈话模式模块520可以确定是否感测话语。
根据实施例，谈话模式模块520可以基于由周围装置检测模块562、操作环境学习模块563、集中模式检测模块564或它们的组合识别的谈话可能性的分数确定是否感测话语。根据实施例，当由周围装置检测模块562、操作环境学习模块563或集中模式检测模块564中的至少一者识别的谈话可能性的分数超过阈值分数时，谈话模式模块520可以确定话语的感测。又如，当由周围装置检测模块562、操作环境学习模块563和集中模式检测模块564都识别的谈话可能性的分数超过阈值分数时，谈话模式模块520可以确定话语的感测。
根据实施例，第一VAD 521可以感测出无线音频装置202的穿戴者是否做出话语。根据实施例，第一VAD 521可以基于通过音频接收电路501感测的语音信号感测出无线音频装置202的穿戴者(例如，用户)是否做出话语。根据实施例，当通过音频接收电路501感测语音信号时，第一VAD 521可以在通过传感器电路503感测到指定运动时基于语音信号感测用户的话语(例如，穿戴者的话语)。根据实施例，可以通过传感器电路503来感测作为通过无线音频装置202的穿戴者的话语感测到的运动的指定运动。根据实施例，可以通过运动传感器、加速度传感器和/或陀螺仪传感器来以运动或振动的形式识别通过穿戴者的话语感测到的运动。通过穿戴者的话语感测到的运动可以被以与到骨传导麦克风中的输入相似的形式引入到运动传感器、加速度传感器和/或陀螺仪传感器中。
根据实施例，第一VAD 521可以基于指定运动和语音信号获得关于启动穿戴者的话语的时间点和结束穿戴者的话语的时间点的信息。
根据实施例，第二VAD 522可以感测出穿戴者(例如，用户)和/或外人(例如，除穿戴者以外的人员(例如，外人或对应方))是否做出话语。根据实施例，第二VAD 522可以基于通过音频接收电路501感测到的语音信号感测出穿戴者(例如，用户)和/或外人(例如，除穿戴者以外的人员(例如，外人或对应方))是否做出话语。
根据实施例，第二VAD 522可以识别和/或指定外人的话语持续时间。根据实施例，第二VAD 522可以基于无线音频装置202的通过传感器电路503感测到的运动识别和/或指定外人的话语持续时间。例如，第二VAD 522可以通过从识别出话语的持续时间中排除通过第一VAD 521识别出穿戴者的话语的持续时间来识别和/或指定外人的话语持续时间。
根据实施例，在正在通过音频接收电路501感测语音信号的同时，第二VAD 522可以在通过传感器电路503未感测到指定运动时基于语音信号感测外人的话语。
根据实施例，第二VAD 522可以基于指定运动和语音信号获得关于启动外人的话语的时间点和结束外人的话语的时间点的信息。
根据实施例，谈话模式功能523可以基于用户输入区分对启动谈话模式和/或结束谈话模式的请求。例如，用户输入可以包括用户的语音命令、用户的触摸输入或用户的按钮输入。
根据实施例，谈话模式模块520可以通过第一VAD 521、第二VAD 522、谈话模式功能523或它们的组合来确定当前情形是否是谈话情形。
根据实施例，谈话模式模块520可以基于通过第一VAD 521和/或第二VAD 522感测到的用户的话语状态和/或外人的话语确定当前情形是否是谈话情形。根据实施例，谈话模式模块520可以基于使用谈话模式功能523识别的用户输入确定当前情形是否是谈话情形。
根据实施例，当用户的话语被维持达指定时间时，谈话模式模块520可以确定当前情形是谈话情形。又如，当对应方的话语在用户的话语结束之后被维持达指定时间时，谈话模式模块520可以确定当前情形是谈话情形。根据实施例，可以基于环境声音确定指定时间的长度。例如，谈话模式模块520可以基于通过外部麦克风获得的声音的背景噪声的灵敏度、SNR的值或噪声类型中的至少一者确定指定的长度。例如，谈话模式模块520可以在更高噪声水平的环境下增加指定时间的长度。
根据实施例，当在谈话模式期间的指定时间内未感测到语音信号时，谈话模式模块520可以确定当前情形不是谈话情形。
根据实施例，谈话模式模块520可以基于通过第一VAD 521和/或第二VAD 522感测到的用户的话语状态和/或外人的话语确定用于指示谈话情形的分数。根据实施例，谈话模式模块520可以基于用户的话语状态和/或外人的话语，基于用于运行谈话模式的条件概率识别谈话情形的分数。
根据实施例，谈话模式模块520可以向智能谈话模式控制模块550发送用于指示对谈话情形的确定的信号和/或谈话情形的分数。
根据实施例，智能谈话模式控制模块550可以响应于用于指示对谈话情形的确定的信号和/或谈话情形的分数来确定是激活还是停用谈话模式。根据实施例，智能谈话模式控制模块550可以基于指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数确定谈话模式的激活和/或停用。
根据实施例，当周围情形辨识模块560确定当前情形是允许谈话的情形，并且谈话模式模块520确定当前情形是谈话情形时，智能谈话模式控制模块550可以确定谈话模式的激活。
根据实施例，智能谈话模式控制模块550可以基于谈话情形的分数和/或谈话可能性的分数确定谈话模式的激活。例如，当谈话情形的分数和谈话可能性的分数的加权平均值超过阈值分数时，智能谈话模式控制模块550可以确定谈话模式的激活。根据实施例，当谈话情形的分数超过第一阈值分数时并且当谈话可能性的分数超过第二阈值时，智能谈话模式控制模块550可以确定谈话模式的激活。
根据实施例，智能谈话模式控制模块550可以在第一暂停(timeout)内激活谈话模式。根据实施例，暂停可以表示谈话模式被激活的时间的长度。根据实施例，暂停可以表示谈话模式在用户的话语和/或外人完成之后从激活模式变换到停用模式的时间的长度。根据实施例，第一暂停可以是预设暂停(例如，5秒钟、10秒钟、15秒钟)。根据实施例，第一暂停可以是由用户设置的暂停。
根据实施例，智能谈话模式控制模块550可以确定是否延长暂停。根据实施例，智能谈话模式控制模块550可以确定是否将暂停从第一暂停延长到第二暂停。根据实施例，第二暂停可以具有从第一暂停延长的时间的长度。
根据实施例，智能谈话模式控制模块550可以基于从穿戴者和/或外人的话语中检测到关键词确定是否延长暂停。
根据实施例，智能谈话模式控制模块550可以不同地设置基于所检测到的关键词的类型而延长的暂停的长度。根据实施例，智能谈话模式控制模块550可以不同地设置基于无线音频装置202的方位、地点或场景或它们的组合而延长的暂停的长度。根据实施例，智能谈话模式控制模块550可以不同地设置基于无线音频装置202定位于的环境而延长的暂停的长度。
根据实施例，智能谈话模式控制模块550可以基于针对关于暂停的延长的询问的用户输入确定是否延长暂停。根据实施例，智能谈话模式控制模块550可以在暂停的延长被识别为必要的时输出用于指示关于暂停的延长的询问的信号(例如，音频信号和/或显示信号)，并且可以基于针对输出信号的用户输入确定是否延长暂停。
根据实施例，智能谈话模式控制模块550可以在不用做出关于暂停的延长的询问的情况下确定是否延长暂停。
根据实施例，智能谈话模式控制模块550可以依据谈话模式的激活和/或停用而控制声音控制模块540。根据实施例，智能谈话模式控制模块550可以依据谈话模式的激活和/或停用而通过声音控制模块540来控制音频输出电路505的输出声音。
根据实施例，智能谈话模式控制模块550可以控制由声音控制模块540执行的控制主动噪声消除(ANC)和/或环境声音的程度。根据实施例，智能谈话模式控制模块550可以控制由声音控制模块540执行的控制ANC和/或环境声音的功能的激活和/或停用。
根据实施例，声音控制模块540可以控制ANC和/或环境声音。例如，声音控制模块540可以调整声音音量水平或者可以被设置为处于静音状态。例如，声音控制模块540可以控制ANC的程度和/或环境声音的强度。
根据实施例，声音控制模块540可以获得环境声音并且基于该环境声音执行噪声消除。根据实施例，声音控制模块540可以使用外部麦克风来获得环境声音并且可以通过使用所获得的环境声音来执行噪声消除。
根据实施例，声音控制模块540可以被设置为向穿戴者提供环境声音。根据实施例，声音控制模块540可以通过外部麦克风来获得环境声音，并且可以通过无线音频装置202的扬声器来输出所获得的环境声音，使得声音控制模块540可以被设置为向穿戴者提供环境声音。
根据实施例，声音控制模块540可以通过控制环境声音的增益值来放大环境声音的强度。声音控制模块540可以放大环境声音中存在语音的持续时间或与该语音相对应的频带。声音控制模块540可以在谈话模式下降低ANC的程度。声音控制模块540可以控制音频信号的输出音量。
根据实施例，声音控制模块540可以响应于谈话模式被激活来停用ANC和/或激活环境声音。当正在从无线音频装置202输出音乐时，声音控制模块540响应于谈话模式被启动，可以将正被输出的音乐的声音的音量降低到特定水平或更大水平或者可以被设置为处于静音状态。
根据实施例，声音控制模块540可以响应于谈话模式被停用来将ANC的设置和/或环境声音的设置恢复到谈话模式被激活之前的设置。例如，当谈话模式被停用时，声音控制模块540可以在谈话模式被激活之前依据ANC的设置和/或环境声音的设置而激活或停用ANC和/或环境声音。
例如，声音控制模块540可以响应于谈话模式被停用来将无线音频装置202的输出声音的音量和/或无线音频装置202的设置恢复到谈话模式被停用之前的设置。
图6是示出了根据本公开的实施例的无线音频装置202的周围装置检测模块562生成输出数据的操作的视图。
参照图6，周围装置检测模块562可以接收输入数据601。根据实施例，输入数据601可以是由通信电路(例如，图3的通信电路491或492)获得的数据。根据实施例，输入数据601可以是基于蓝牙(例如，BLE)、UWB和/或WiFi的数据。根据实施例，输入数据601可以是用于测量距离的数据(例如，基于RSSI、TDoA和/或TWR的数据)。根据实施例，输入数据601可以包括外部电子装置的识别信息(例如，装置名称或媒体访问控制(MAC)地址)。
根据实施例，周围装置检测模块562可以基于输入数据601执行扫描装置(610)的操作。根据实施例，周围装置检测模块562可以基于输入数据601扫描外部电子装置。根据实施例，周围装置检测模块562可以基于输入数据601以及装置接收信号和距离数据库(DB)620识别外部电子装置。根据实施例，装置接收信号和距离DB 620可以存储用于测量距离的数据(例如，基于RSSI、TDoA和/或TWR的数据)与距离之间的信息。例如，装置接收信号和距离DB 620可以包括用于指示信标信号的RSSI与距离之间的关系的信息。
根据实施例，周围装置检测模块562可以基于输入数据601执行识别注册状态(630)的操作。根据实施例，周围装置检测模块562可以在外部电子装置位于指定距离内时执行识别注册状态(630)的操作。
根据实施例，周围装置检测模块562可以识别外部电子装置是否是在电子装置201和/或无线音频装置202中注册的装置。根据实施例，周围装置检测模块562可以基于外部电子装置的识别信息(例如，装置名称或媒体访问控制(MAC)地址)识别外部电子装置是否是注册的装置，该外部电子装置的识别信息被包括在输入数据601中。根据实施例，周围装置检测模块562可以通过从注册装置DB 640中检索外部电子装置的识别信息(例如，装置名称或媒体访问控制(MAC)地址)识别外部电子装置是否是注册的装置，该外部电子装置的识别信息被包括在输入数据601中。根据实施例，注册装置DB 640可以包括在电子装置201和/或无线音频装置202中注册的装置的识别信息(例如，装置名称或媒体访问控制(MAC)地址)。
根据实施例，周围装置检测模块562可以执行检测允许谈话的情形(650)的操作。
根据实施例，当被注册的外部电子装置停留在第一距离内达第一时间或更长时间时，周围装置检测模块562可以将当前情形识别为允许谈话的情形。根据实施例，当未被注册的外部电子装置停留在第二距离内达第二时间或更长时间时，周围装置检测模块562可以将当前情形识别为允许谈话的情形。例如，第一距离可以比第二距离长。例如，第一时间可以比第二时间短。又如，第一时间可以等于第二时间。
根据实施例，周围装置检测模块562可以基于外部电子装置的位置和/或停留时间识别谈话可能性的分数。根据实施例，周围装置检测模块562可以依据在外部电子装置的位置处花费的停留时间，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，周围装置检测模块562可以识别随着在外部电子装置的位置处花费的停留时间被输入到人工智能(AI)模型中而输出的谈话可能性的分数。
根据实施例，周围装置检测模块562可以以输出数据660的形式输出指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数。
图7是示出了无线音频装置202确定外部装置是否处于允许谈话的情形的情形的视图。
参照图7，相对于无线音频装置202存在多个装置701、702和703。作为示例，第一装置701可以在移动方向701a上移动，并且第二装置702和第三装置703可以是不动的。第一装置701和第三装置703可以是未被注册在无线音频装置202中的未注册的装置，而第二装置702可以是在无线音频装置202中注册的装置。
根据实施例，无线音频装置202可以检测定位在第一距离711内的装置。根据实施例，第一距离711可以比能够由无线音频装置202测量的第二距离721短。
参照图7，第二装置702可以被识别为定位在第二距离721内。然而，第三装置703可以被识别为未定位在第一距离711内。随着第一装置701在移动方向701a上移动，第一装置701可以被识别为定位在第一距离711内或者未定位在第一距离711内。
根据实施例，无线音频装置202可以识别定位在第一距离711内的装置是否是注册的装置。参照图7，第二装置702可以被识别为位于第二距离721内的注册的装置。然而，即使当第一装置701位于第一距离711内时，第一装置701也不会被识别为注册的装置。
根据实施例，无线音频装置202可以检测出当前情形是否是与定位在第一距离711内的注册的装置的谈话是可能的情形。根据实施例，无线音频装置202可以检测出当前情形是否是与定位在第一距离711内并且未注册的装置的谈话是可能的情形。
根据实施例，当第一装置701在第一时间或更长时间内存在于第一区域715中时，周围装置检测模块562可以将无线音频装置202的用户识别为处于允许与第一装置701的用户谈话的情形。然而，当第一装置701在第二时间或更长时间内不存在于第二区域725中时，周围装置检测模块562可以将无线音频装置202的用户识别为不处于允许与第一装置701的用户谈话的情形。
图8是示出了根据本公开的实施例的无线音频装置202的周围装置检测模块562生成输出数据的方法800的流程图。
参照图8，在操作810中，周围装置检测模块562可以扫描装置。根据实施例，周围装置检测模块562可以通过广播信标信号并且从外部电子装置接收对信标信号的响应信号来扫描装置。
在操作820中，周围装置检测模块562可以确定所接收到的信号的强度是否大于第一参考强度。根据实施例，周围装置检测模块562可以确定响应信号的强度是否大于第一参考强度。
根据另一实施例，周围装置检测模块562可以确定基于响应信号的强度的距离是否比基于第一参考强度的距离短。根据另一实施例，基于响应信号的强度的距离可以由装置接收信号和距离DB 620识别。
根据实施例，周围装置检测模块562可以响应于所接收到的信号的强度大于第一参考强度(被确定为“是”)来执行操作830。根据实施例，周围装置检测模块562可以响应于所接收到的信号的强度小于第一参考强度(被确定为“否”)来再次执行操作810。
在操作830中，周围装置检测模块562可以确定所检测到的装置是否是注册的装置。根据实施例，周围装置检测模块562可以通过参照注册装置DB 640来确定被检测到的装置是否是注册的装置。根据实施例，周围装置检测模块562可以响应于所检测到的装置的MAC地址被存储在注册装置DB中来将所检测到的装置确定为注册的装置。
根据实施例，周围装置检测模块562可以响应于所检测到的装置是注册的装置(被确定为“是”)来执行操作840。根据实施例，周围装置检测模块562可以响应于所检测到的装置不是注册的装置(被确定为“否”)来执行操作860。
在操作840中，周围装置检测模块562可以确定停留时间是否比第一参考时间段长。
根据实施例，周围装置检测模块562可以响应于停留时间比第一参考时间长(被确定为“是”)来执行操作850。根据实施例，周围装置检测模块562可以响应于停留时间比第一参考时间短(被确定为“否”)来执行操作810。
在操作850中，周围装置检测模块562可以检测允许谈话的情形。根据实施例，周围装置检测模块562可以检测出当前情形是允许与所检测到的装置谈话的情形。
根据实施例，周围装置检测模块562可以基于所检测到的装置的位置和/或停留时间识别谈话可能性的分数。根据实施例，周围装置检测模块562可以依据在所检测到的装置的位置处花费的停留时间，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，周围装置检测模块562可以识别随着在所检测到的装置的位置处花费的停留时间被输入到人工智能(AI)模型中而输出的谈话可能性的分数。
在操作860中，周围装置检测模块562可以确定所接收到的信号的强度是否大于第二参考强度。根据实施例，第二参考强度可以大于第一参考强度。根据另一实施例，周围装置检测模块562可以确定从响应信号的强度的距离是否比第二参考强度短。
根据实施例，周围装置检测模块562可以响应于所接收到的信号的强度大于第二参考强度(被确定为“是”)来执行操作870。根据实施例，周围装置检测模块562可以响应于所接收到的信号的强度短于第二参考强度(被确定为“否”)来再次执行操作810。
在操作870中，周围装置检测模块562可以确定停留时间是否比第二参考时间长。根据实施例，第二参考时间可以比第一参考时间长。
根据实施例，周围装置检测模块562可以响应于停留时间比第二参考时间长(被确定为“是”)来执行操作850。根据实施例，周围装置检测模块562可以响应于停留时间比第二参考时间短(被确定为“否”)来执行操作810。
图9是示出了根据本公开的实施例的无线音频装置202的操作环境学习模块563生成输出数据的操作的视图。
根据实施例，操作环境学习模块563可以接收输入数据901和/或输入数据903。根据实施例，输入数据901可以包括用于识别无线音频装置202的位置的数据(例如，GPS信号、WiFi信号和/或相似信号，包括它们的组合和/或复联)。根据实施例，输入数据901可以包括用于识别穿戴了无线音频装置202的用户的姿势的数据(例如，加速度传感器、陀螺仪传感器、磁性传感器和/或相似传感器(包括它们的组合和/或复联)的数据)。根据实施例，输入数据903可以包括音频信号。根据实施例，输入数据903可以包括来自音频接收电路501的音频信号的背景噪声、SNR和/或噪声类型中的被包括在音频信号中的至少一者。
根据实施例，操作环境学习模块563可以基于输入数据901执行检测位置并且分析地点的操作910。根据实施例，操作环境学习模块563可以通过参照地图DB 911来识别关于通过被包含在输入数据901中的位置信息指示的当前位置和当前地点的信息。关于位置的信息可以包括关于地址的信息。关于地点的信息可以包括建筑物名称、商店名称、地点的类别(例如，商业信息(咖啡馆、餐馆、超市、健身房、图书馆或车站))或它们的组合。
根据实施例，操作环境学习模块563可以基于输入数据901执行检测用户姿势的操作920。根据实施例，操作环境学习模块563可以基于来自具有至少三个轴的传感器(例如，加速度传感器、陀螺仪传感器、磁性传感器和/或相似传感器，包括它们的组合和/或复联)的第一输入数据901检测用户的姿势(例如，移动、停止、站立、坐下和/或相似姿势，包括它们的组合和/或复联)。
根据实施例，操作环境学习模块563可以基于输入数据903执行对场景进行分类的操作930。根据实施例，操作环境学习模块563可以基于输入数据903中的音频信号的背景噪声、SNR或噪声类型中的至少一者识别与音频信号相对应的场景。根据实施例，场景可以用于依据音频信号对无线音频装置202定位于的地点(例如，餐馆、咖啡馆、公司、健身房、图书馆、超市、街道、建筑工地、海滩、酒店和/或相似地点，包括它们的组合和/或复联)和/或环境(例如，许多人、很少人、高噪声水平、低噪声水平和/或相似环境，包括它们的组合和/或复联)进行分类。
根据实施例，操作环境学习模块563可以识别地点学习模型940的多个场景中的与地点类别相对应的场景与音频信号之间的相似度。
根据实施例，操作环境学习模块563可以执行检测允许谈话的情形(950)的操作。根据实施例，操作环境学习模块563可以基于关于方位的信息、关于地点的信息、关于用户的姿势的信息、关于场景的信息、地点学习模型940或它们的组合识别当前情形是否是允许谈话的情形。
例如，当关于地点的信息指示被指定为谈话有困难的地点(例如，图书馆)、关于用户的姿势的信息指示指定姿势(例如，坐下)、并且关于场景的信息指示与指定场景(例如，图书馆)相似的场景(例如，相似度等于或大于指定相似度的场景)时，操作环境学习模块563可以将当前情形识别为谈话有困难的情形。例如，当关于地点的信息指示被指定为谈话是可能的地点(例如，咖啡馆)、关于用户的姿势的信息指示指定姿势(例如，坐下)、并且关于场景的信息指示与指定场景(例如，咖啡馆)相似的场景(例如，相似度等于或大于指定相似度的场景)时，操作环境学习模块563可以将当前情形识别为允许谈话的情形。
又如，操作环境学习模块563可以通过将关于方位的信息、关于地点的信息、关于用户的姿势的信息或关于场景的信息中的至少一种输入到地点学习模型940中来将当前情形识别为允许谈话的情形。
根据实施例，操作环境学习模块563可以基于关于方位的信息、关于地点的信息、关于用户的姿势的信息、关于场景的信息、地点学习模型940或它们的组合识别谈话可能性的分数。
根据实施例，操作环境学习模块563可以依据关于方位的信息、关于地点的信息、关于用户的姿势的信息、关于场景的信息或它们的组合，基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，操作环境学习模块563可以依据关于方位的信息、关于地点的信息、关于用户的姿势的信息或关于场景的信息中的至少一种，基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以通过使用以下项的加权平均值来识别谈话可能性的分数：基于关于方位的信息的谈话可能性的分数；基于关于地点的信息的谈话可能性的分数；基于关于用户的姿势的信息的谈话可能性的分数；或基于关于场景的信息的谈话可能性的分数。
根据实施例，操作环境学习模块563可以以输出数据960的形式输出指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数。
图10是示出了根据本公开的实施例的无线音频装置202的集中模式检测模块564生成输出数据的操作的视图。
根据实施例，集中模式检测模块564可以获得情境信息。根据实施例，情境信息可以包括内容数据1001、应用数据(“app数据”)1003、输入数据1005、日程数据1007或它们的组合。
根据实施例，内容数据1001可以包括关于正被再现的内容的类型和/或内容的细节的信息。根据实施例，正被再现的内容可以是正在后台中和/或在前台中被再现的内容。根据实施例，内容可以是媒体内容(图像、视频和/或声音)。根据实施例，内容可以是媒体内容(图像、视频和/或声音)。根据实施例，应用数据1003可以包括正被运行的应用的类型和/或关于应用的运行时间的信息。根据实施例，正被再现的应用可以是正在前台中和/或在后台中被再现的应用。根据实施例，输入数据1005可以包括关于用户输入的连续性和/或可重复性的信息。根据实施例，日程数据1007可以包括在电子装置201和/或无线音频装置202中注册的日历信息和/或关于待办事项清单的信息。
根据实施例，集中模式检测模块564可以基于内容数据1001执行对内容进行分类的操作。根据实施例，集中模式检测模块564可以识别正被再现的内容是否是指定内容。根据实施例，指定内容可以是包括与教育和/或商业相关联的细节的内容。根据实施例，指定内容可以是由用户指定的内容。
根据实施例，集中模式检测模块564可以基于应用数据1003执行对应用进行分类的操作。根据实施例，集中模式检测模块564可以识别正被再现的应用是否是指定应用。根据实施例，指定应用可以是与文档工作、教育、语言学习和/或阅读相关联的应用。根据实施例，指定应用可以是由用户指定的应用。
根据实施例，集中模式检测模块564可以基于输入数据1005执行对输入类型进行分类的操作。根据实施例，集中模式检测模块564可以基于输入数据1005识别用户输入是否已经达指定持续时间或更长时间。根据实施例，集中模式检测模块564可以基于输入数据1005识别用户输入是否重复了指定次数或更多次。
根据实施例，集中模式检测模块564可以基于日程数据1007执行对商业类型进行分类的操作。根据实施例，集中模式检测模块564可以基于日程数据1007识别用户当前是否正在工作。根据实施例，集中模式检测模块564可以基于日程数据1007识别用户当前是否正在执行单个任务。
根据实施例，集中模式检测模块564可以执行检测允许谈话的情形(1020)的操作。
根据实施例，集中模式检测模块564可以基于内容分类结果、应用分类结果、输入类型分类结果、商业类型分类结果或它们的组合识别当前情形是否是谈话是可能。
根据实施例，集中模式检测模块564可以在基于内容分类结果正被再现的内容不是指定内容时，识别出当前情形是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于应用分类结果正被运行的应用不是指定应用时，识别出当前情形是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入尚未达指定持续时间或更长时间时，识别出当前情形是否是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入未重复指定次数或更多次时，识别出当前情形是否是允许谈话的情形。根据实施例，集中模式检测模块564可以在基于商业类型分类结果用户当前不正在执行单个任务时，识别出当前情形是允许谈话的情形。
根据实施例，集中模式检测模块564可以基于内容分类结果、应用分类结果、输入类型分类结果或商业类型分类结果中的至少一种识别当前情形是否是允许谈话的情形。例如，当内容分类结果、应用分类结果、输入类型分类结果或商业类型分类结果中的任何一者指示了当前情形是允许谈话的情形时，集中模式检测模块564可以识别出当前情形是允许谈话的情形。
根据实施例，集中模式检测模块564可以基于应用分类结果、输入类型分类结果、商业类型分类结果或它们的组合识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以在基于内容分类结果正被再现的内容不是指定内容时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于应用分类结果正被运行的应用不是指定应用时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入未达指定时间或更长时间时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于输入类型分类结果用户输入未重复指定次数或更多次时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。根据实施例，集中模式检测模块564可以在基于商业类型分类结果用户当前不正在执行单个任务时，基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以基于内容分类结果、应用分类结果、输入类型分类结果或商业类型分类结果中的至少一种基于用于运行谈话模式的条件概率识别谈话可能性的分数。
根据实施例，集中模式检测模块564可以通过使用以下项的加权平均值来识别谈话可能性的分数：基于内容分类结果的谈话可能性的分数；基于应用分类结果的谈话可能性的分数；基于输入类型分类结果的谈话可能性的分数；或基于商业类型分类结果的谈话可能性的分数。
根据实施例，集中模式检测模块564可以以输出数据1030的形式输出指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数。
图11是示出了根据本公开的实施例的无线音频装置202的智能谈话模式控制模块550控制谈话模式的操作的视图。
参照图11，智能谈话模式控制模块550可以包括关键词候选提取模块1110、场景设置模块1120、关键词检测模块1130、暂停延长确定模块1140、谈话模式控制模块1150或它们的组合。
根据实施例，谈话模式控制模块1150可以响应于指示对谈话情形的确定的信号和/或谈话情形的分数来确定谈话模式的激活和/或停用。根据实施例，谈话模式控制模块1150可以基于指示了当前情形是允许谈话的情形的信号和/或谈话可能性的分数确定谈话模式的激活和/或停用。
根据实施例，当周围情形辨识模块560确定当前情形是允许谈话的情形时，并且当谈话模式模块520确定当前情形是谈话情形时，谈话模式控制模块1150可以确定谈话模式的激活。
根据实施例，谈话模式控制模块1150可以基于谈话情形的分数和/或谈话可能性的分数确定谈话模式的激活。例如，当谈话情形的分数和谈话可能性的分数的加权平均值超过阈值分数时，谈话模式控制模块1150可以确定谈话模式的激活。根据实施例，当谈话情形的分数超过第一阈值分数时并且当谈话可能性的分数超过第二阈值时，谈话模式控制模块1150可以确定谈话模式的激活。
根据实施例，关键词候选提取模块1110可以从关键词数据库(未示出)中提取关键词候选。根据实施例，关键词候选提取模块1110可以确定与无线音频装置202定位于的环境相对应的关键词候选。根据实施例，关键词候选提取模块1110可以确定与无线音频装置202定位于的方位、地点或场景或它们的组合相对应的关键词候选。根据实施例，场景可以由场景设置模块1120确定。根据另一实施例，可以从周围情形辨识模块560获得关于无线音频装置202定位于的方位、地点或场景或它们的组合的信息。
根据实施例，关键词检测模块1130可以从被包括在来自音频接收电路501的音频信号中的措辞中检测关键词。根据实施例，关键词检测模块1130可以从用户的话语和/或外人的话语中检测关键词。根据实施例，关键词检测模块1130可以基于关键词候选从用户的话语和/或外人的话语中检测关键词。
根据实施例，暂停延长确定模块1140可以确定是否延长暂停。根据实施例，暂停延长确定模块1140可以确定是否将暂停从第一暂停延长到第二暂停。根据实施例，暂停可以表示谈话模式被激活的时间的长度。根据实施例，暂停可以表示谈话模式在用户的话语和/或外人的话语完成之后从激活模式变换到停用模式的时间的长度。根据实施例，第一暂停可以是预设暂停(例如，5秒钟、10秒钟、15秒钟)。根据实施例，第一暂停可以是由用户设置的暂停。根据实施例，第二暂停可以具有除了第一暂停之外延长的延长时间的长度。
根据实施例，暂停延长确定模块1140可以基于从穿戴者的话语和/或外人的话语中检测到关键词确定要延长的暂停。
根据实施例，暂停延长确定模块1140可以基于所检测到的关键词的类型不同地确定暂停的延长长度。根据实施例，暂停延长确定模块1140可以针对为相同场景(例如，健身房)设置的关键词候选的第一关键词(例如，three sets(三组)、repetition(重复)、pull-up(引体向上))将暂停的长度确定为第一长度，并且可以针对第二关键词(例如，running(跑步)或10minutes(10分钟))将暂停的长度确定为第二长度。根据实施例，第二长度可以比第一长度短。
根据实施例，暂停延长确定模块1140可以基于无线音频装置202定位于的方位、地点或场景或它们的组合不同地确定暂停的延长长度。根据实施例，暂停延长确定模块1140可以针对第一场景(例如，健身房)将暂停的长度确定为第一长度，并且可以针对第二场景(例如，咖啡馆)将暂停的长度确定为第二长度。根据实施例，第二长度可以比第一长度短。
根据实施例，暂停延长确定模块1140可以不同地设置基于无线音频装置202定位于的环境而延长的暂停的长度。根据实施例，暂停延长确定模块1140可以针对第一环境(例如，高噪声水平)将暂停的长度确定为第一长度，并且可以针对第二环境(例如，低噪声水平)将暂停的长度确定为第二长度。根据实施例，第二长度可以比第一长度短。
根据实施例，暂停延长确定模块1140可以基于针对关于暂停的延长的询问的用户输入确定是否延长暂停。根据实施例，暂停延长确定模块1140可以在暂停的延长被识别为必要的时输出用于指示关于暂停的延长的询问的信号(例如，音频信号和/或显示信号)，并且可以基于针对输出信号的用户输入确定是否延长暂停。
根据另一实施例，暂停延长确定模块1140可以在不用做出关于暂停的延长的询问的情况下确定是否延长暂停。
根据实施例，当暂停被延长时，谈话模式控制模块1150可以将被激活的谈话模式延长延长暂停。
下表1示出了智能谈话模式控制模块550依据对应方与穿戴者之间的谈话而激活和延长谈话模式的示例。
表1
表1中的示例示出了周围情形指示允许谈话的情形。当对应方设法启动谈话时，智能谈话模式控制模块550可以激活谈话模式。在这种情况下，谈话模式的暂停可以是10秒钟。又如，智能谈话模式控制模块550可以基于用户的语音命令激活谈话模式。例如，用户的语音命令可以是“Hi Bixby,start the conversation mode(嗨Bixby，启动谈话模式)”。
根据实施例，在谈话模式下，智能谈话模式控制模块550可以降低正在输出内容的介质的音量，或者将介质改变为处于静音状态。根据实施例，在谈话模式下，智能谈话模式控制模块550可以使用声音控制模块540来控制声音。例如，智能谈话模式控制模块550可以停用ANC并且激活环境声音。
根据实施例，在谈话模式被激活之后，穿戴者的话语与对应方的话语之间的时间差可以比设置的暂停短。在这种情况下，智能谈话模式控制模块550可以使谈话模式维持被激活。
根据实施例，智能谈话模式控制模块550可以从穿戴者的话语和/或对应方的话语中检测指定关键词。
在表1的示例中，智能谈话模式控制模块550可以检测到“customer No.6”或“Call”作为指定关键词。根据实施例，当场景被确定为“咖啡馆”时，智能谈话模式控制模块550可以检测到“customer No.6”或“Call”作为指定关键词。
根据实施例，当检测到指定关键词时，智能谈话模式控制模块550可以延长暂停。在表1的示例中，智能谈话模式控制模块550可以将暂停从10秒钟延长到30秒钟。
此后，智能谈话模式控制模块550可以停用谈话模式，并且可以在经过了延长暂停之后再次恢复暂停。
下表2示出了智能谈话模式控制模块550依据对应方与穿戴者之间的谈话而激活和延长谈话模式的另一示例。
表2
表2示出了与表1中的示例相比较语音代理模块530询问穿戴者是否延长暂停的示例。
参照表2，当在穿戴者的话语(“thank you”)之后经过了第一暂停时，语音代理模块530可以询问穿戴者是否延长暂停。根据实施例，当穿戴者要求延长暂停时，智能谈话模式控制模块550可以在第二暂停前激活谈话模式。
下表3示出了智能谈话模式控制模块550依据对应方与穿戴者之间的谈话而激活和延长谈话模式的另一示例。
表3
表3中的示例示出了与表1中的示例相比较当在谈话模式被激活之后检测到关键词时，智能谈话模式控制模块550立即停用谈话模式。
参照表3，当感测到穿戴者的包括特定关键词的话语(“Yes,bye”)时，智能谈话模式控制模块550可以立即停用谈话模式，而不用等待第二暂停。
图12是示出了根据本公开的实施例的用户界面(UI)的视图。
图12的用户界面可以被显示在与无线音频装置202配对的电子装置201上。
根据实施例，谈话模式控制用户界面1201可以包括用于指示基于语音检测的谈话模式的状态的设置栏1210。根据实施例，用户可以响应于到设置栏1210中的输入来激活或停用基于语音检测的谈话模式。
根据实施例，谈话模式控制用户界面1201可以包括用于指示智能谈话模式的状态的设置栏1220。根据实施例，用户可以响应于到设置栏1220中的输入来激活或停用智能谈话模式。
根据实施例，谈话模式控制用户界面1201可以包括用于设置暂停(用于结束谈话模式的时间)的用户界面1230。根据实施例，可以通过做出到用户界面1230中的输入来设置暂停。谈话模式控制用户界面1201中示出的暂停是仅出于说明性目的而提供的，并且本公开的实施例不限于此。
根据实施例，可以响应于到设置栏1220中的输入来显示智能谈话模式控制用户界面1205。
根据实施例，智能谈话模式控制用户界面1205可以包括用于指示智能谈话模式的状态的设置栏1240。根据实施例，用户可以响应于到设置栏1240中的输入来激活或停用智能谈话模式。
根据实施例，智能谈话模式控制用户界面1205可以包括用于指示基于位置的智能谈话模式的状态的设置栏1251。根据实施例，用户可以响应于到设置栏1251中的输入来激活或停用基于位置的智能谈话模式。根据实施例，基于位置的智能谈话模式可以是用于基于来自操作环境学习模块563的输出(例如，用于指示当前情形是否是允许谈话的情形的信号和/或谈话可能性的分数)激活或停用谈话模式的模式。
根据实施例，智能谈话模式控制用户界面1205可以包括用于指示基于附近装置的智能谈话模式的状态的设置栏1253。根据实施例，用户可以响应于到设置栏1253中的输入来激活或停用基于附近装置的智能谈话模式。根据实施例，基于附近装置的智能谈话模式可以是用于基于来自操作环境学习模块562的输出(即，用于指示当前情形是否是允许谈话的情形的信号和/或谈话可能性的分数)激活或停用谈话模式的模式。
根据实施例，智能谈话模式控制用户界面1205可以包括用于指示基于免打扰(DND)的智能谈话模式的状态的设置栏1255。根据实施例，用户可以响应于到设置栏1255中的输入来激活或停用基于免打扰(DND)的智能谈话模式。根据实施例，基于免打扰(DND)的智能谈话模式可以是用于基于来自操作环境学习模块564的输出(即，用于指示当前情形是否是允许谈话的情形的信号和/或谈话可能性的分数)激活或停用谈话模式的模式。
根据实施例，智能谈话模式控制用户界面1205可以包括用于指示智能暂停的状态的设置栏1260。根据实施例，用户可以响应于到设置栏1260中的输入来激活或停用智能暂停。根据实施例，智能暂停可以是用于基于从穿戴者和/或对应方的话语中检测到的关键词确定是否延长暂停的模式。
图13是示出了根据本公开的实施例的用户界面(UI)的视图。
图13的用户界面可以被显示在与无线音频装置202配对的电子装置201上。
根据实施例，可以响应于到设置栏1251中的输入来显示基于位置的智能谈话模式控制用户界面1301。
根据实施例，基于位置的智能谈话模式控制用户界面1301可以包括用于指示基于位置的智能谈话模式的状态的设置栏1310。根据实施例，用户可以响应于到设置栏1310中的输入来激活或停用基于位置的智能谈话模式。
根据实施例，基于位置的智能谈话模式控制用户界面1301可以包括用于指示关于穿戴者的姿势的信息是否被利用的设置栏1320。根据实施例，用户可以基于到设置栏1320中的输入确定是否利用关于穿戴者的姿势的信息。
根据实施例，基于位置的智能谈话模式控制用户界面1301可以包括用于添加应用了基于位置的智能谈话模式的位置的设置栏1330。根据实施例，用户可以响应于到设置栏1330中的输入来添加应用了基于位置的智能谈话模式的位置。根据实施例，参照基于位置的智能谈话模式控制用户界面1301，由用户添加的位置1335可以包括房子、咖啡馆、健身房和/或相似物，包括它们的组合和/或复联。
根据实施例，可以响应于到设置栏1253中的输入来显示基于附近装置的智能谈话模式控制用户界面1305。
根据实施例，基于附近装置的智能谈话模式控制用户界面1305可以包括用于指示基于附近装置的智能谈话模式的状态的设置栏1340。根据实施例，用户可以响应于到设置栏1340中的输入来激活或停用基于附近装置的智能谈话模式。
根据实施例，基于附近装置的智能谈话模式控制用户界面1305可以包括用于添加注册的装置的设置栏1350。根据实施例，用户可以基于到设置栏1350中的输入注册装置。根据实施例，参照基于附近装置的智能谈话模式控制用户界面1305，由用户添加的装置1355可以包括第一用户的蜂窝电话(“phone”)和第二用户的耳塞(“bud”)。
根据实施例，可以响应于到设置栏1260中的输入来显示智能暂停控制用户界面1307。
根据实施例，智能暂停控制用户界面1307可以包括用于指示智能暂停的状态的设置栏1360。根据实施例，用户可以响应于到设置栏1360中的输入来激活或停用智能暂停。
根据实施例，智能暂停控制用户界面1307可以包括用于指示是否在暂停被延长之前询问穿戴者暂停的延长的设置栏1370。根据实施例，用户可以响应于到设置栏1370中的输入来确定是否在暂停被延长之前向穿戴者通知暂停的延长。
根据实施例，智能暂停控制用户界面1307可以包括用于添加应用了智能暂停的场景的设置栏1380。根据实施例，用户可以响应于到设置栏1380中的输入来添加应用了智能暂停的场景。根据实施例，参照智能暂停控制用户界面1307，由用户添加的场景1385可以包括市场中的结账情形、咖啡馆中的点餐情形和/或相似情形，包括它们的组合和/或复联。
图14是示出了根据本公开的实施例的无线音频装置202的操作的方法1400的流程图。
图14中示出的操作可以通过无线音频装置202的部件来执行。
在操作1410中，无线音频装置202可以打开ANC。根据实施例，无线音频装置202可以停用ANC。
根据另一实施例，无线音频装置202可以停用对环境声音的监听。
在操作1420中，无线音频装置202可以识别是否满足ANC关闭条件。
根据实施例，无线音频装置202可以基于关于谈话情形的信息和/或关于谈话可能性的信息识别是否满足ANC关闭条件。
例如，无线音频装置202可以响应于当前情形被识别为谈话情形并且响应于谈话可能性被识别为存在来识别出满足ANC关闭条件。例如，无线音频装置202可以响应于谈话情形的分数超过参考分数并且响应于谈话可能性的分数超过参考分数来识别出满足ANC关闭条件。
根据实施例，当满足ANC关闭条件(被确定为“是”)时，无线音频装置202可以执行操作1430。根据实施例，当不满足ANC关闭条件(被确定为“否”)时，无线音频装置202可以执行操作1410。
在操作1430中，无线音频装置202可以关闭ANC达第一时间。根据实施例，第一时间可以是先前设置的第一暂停。
在操作1440中，无线音频装置202可以识别对关闭ANC的时间点的调整是否是期望的。
根据实施例，无线音频装置202可以响应于从穿戴者的话语和/或外人的话语中检测到指定关键词来识别出对关闭ANC的时间点的调整是期望的。
根据实施例，当对关闭ANC的时间点的调整是期望的(被确定为“是”)时，无线音频装置202可以执行操作1450。根据实施例，响应于对关闭ANC的时间点的调整不是期望的(被确定为“否”)时，无线音频装置202可以执行操作1460。
在操作1450中，无线音频装置202可以关闭ANC达第二时间。根据实施例，第二时间可以是第二暂停。根据实施例，第二时间可以是基于从穿戴者的话语和/或外人的话语中检测到的关键词而设置的。
在操作1460中，无线音频装置202可以识别条件是否被释放。
根据实施例，无线音频装置202可以响应于关闭ANC的时间点的到达来识别出条件被释放。根据实施例，无线音频装置202可以响应于识别了请求打开ANC的穿戴者话语来识别出条件被释放。
根据实施例，响应于条件被释放(被确定为“是”)，无线音频装置202可以执行操作1410。根据实施例，响应于条件未被释放(被确定为“否”)，无线音频装置202可以执行操作1460。根据另一实施例，响应于条件未被释放(被确定为“否”)，无线音频装置202可以执行操作1440。
图15是示出了根据本公开的实施例的确定是否满足无线音频装置202的AMC关闭条件的方法1500的流程图。
图15的操作可以被包括在图14的操作1420中。图15中示出的操作可以通过无线音频装置202的部件来执行。
在操作1510中，无线音频装置202可以扫描装置。根据实施例，无线音频装置202可以基于来自传感器电路503的传感器信号扫描指定距离内的装置。
根据实施例，无线音频装置202可以识别所扫描的装置是否是在无线音频装置202中注册的装置。
在操作1520中，无线音频装置202可以识别装置的位置是否满足指定条件。
根据实施例，无线音频装置202可以响应于所识别的装置停留在指定距离内达指定时间或更长时间来将指定条件识别为被满足。
根据实施例，无线音频装置202可以响应于所识别的装置是注册的装置并且停留在第一距离内达第一时间来将指定条件识别为被满足。根据实施例，无线音频装置202可以响应于所识别的装置不是注册的装置并且停留在第二距离内达第二时间或更长时间来将指定条件识别为被满足。例如，第一距离可以比第二距离长。例如，第一时间可以比第二时间短。又如，第一时间可以等于第二时间。
根据实施例，响应于指定条件被识别为被满足(被确定为“是”)，无线音频装置202可以执行操作1530。根据实施例，响应于指定条件未被识别为被满足(被确定为“否”)，无线音频装置202可以执行操作1410。
在操作1530中，无线音频装置202可以识别谈话分数是否超过参考分数。根据实施例，无线音频装置202可以识别基于到所识别的装置的距离和/或所识别的装置的停留时间而计算的谈话分数是否超过参考分数。
根据实施例，响应于谈话分数超过参考分数(被确定为“是”)，无线音频装置202可以执行操作1430。根据实施例，响应于谈话分数不超过参考分数(被确定为“否”)，无线音频装置202可以执行操作1410。
图16是示出了根据本公开的实施例的由无线音频装置202确定对关闭AMC的时间点的调整的方法1600的流程图。
图16的操作可以被包括在图14的操作1440中。图16中示出的操作可以通过无线音频装置202的部件来执行。
在操作1610中，无线音频装置202可以识别谈话。根据实施例，无线音频装置202可以识别穿戴者的话语和/或对应方的话语。
在操作1620中，无线音频装置202可以识别在所识别的谈话中是否存在指定关键词。
根据实施例，无线音频装置202可以确定是否从穿戴者的话语和/或对应方的话语中识别了关键词候选。根据实施例，关键词候选可以是与无线音频装置202定位于的环境相对应的关键词。根据实施例，关键词候选可以是基于无线音频装置202定位于的位置、地点、场景和/或相似物(包括它们的组合和/或复联)或它们的组合而确定的。
根据实施例，响应于指定关键词被包括在所识别的谈话中(被确定为“是”)，无线音频装置202可以执行操作1450。根据实施例，响应于指定关键词未被包括在所识别的谈话中(被确定为“否”)，无线音频装置202可以执行操作1460。
根据本公开的实施例，无线音频装置202可以包括扬声器(例如，音频输出电路471或472)、传感器(例如，传感器电路451或452)、通信电路491或492、处理器421或422以及用于存储指令的存储器431或432。指令在由处理器421或422运行时，可以在通过扬声器来输出用于降低外部声音的信号时：使用通信电路491或492来识别外部电子装置；响应于外部电子装置的位置满足指定条件，使用传感器来识别谈话；响应于识别出谈话，使用于降低外部声音的信号的输出停止第一时间段；以及响应于识别出谈话中包括的指定关键词，使用于降低外部声音的信号的输出的停止延长第二时间段。
根据实施例，指令在由处理器421或422运行时使无线音频装置202：响应于外部电子装置的位置定位在指定距离内达指定时间，使用传感器来识别谈话。
根据实施例，指令可以被配置为在由处理器421或422运行时使无线音频装置202：识别外部电子装置是否是注册的外部电子装置；响应于识别出外部电子装置是注册的外部电子装置，响应于至少一个外部电子装置的位置定位在第一距离内达第一时间段，使用传感器来识别谈话；以及响应于识别出外部电子装置不是注册的外部电子装置，响应于位置定位在第二距离内达第二时间段，使用传感器来识别谈话，其中，第一时间段比第二时间段短。第一距离比第二距离长。
根据实施例，指令可以被配置为在由处理器421或422运行时使无线音频装置202：通过至少一个传感器来接收关于无线音频装置的位置的信息；基于关于无线音频装置的位置的信息识别关于无线音频装置所处地点的信息；识别通过关于地点的信息指示的地点的谈话的概率；以及响应于谈话的概率超过参考概率，使用传感器来识别谈话。
根据实施例，还可以包括麦克风(例如，音频接收电路481或482)。存储器可以存储有与多个地点相对应的多个场景模型。指令可以被配置为在由处理器421或422运行时使无线音频装置202：通过麦克风来接收音频信号；识别音频信号与多个场景模型中的与地点相对应的场景模型之间的相似度；基于相似度调整谈话的概率；以及响应于调整后的谈话的概率超过参考概率，使用传感器来识别谈话。
根据实施例，指令可以被配置为在由处理器421或422运行时使无线音频装置202：经由传感器接收关于无线音频装置的用户的姿势的信息；以及基于关于用户的姿势的信息，识别通过关于地点的信息指示的地点的谈话的概率。
根据实施例，指令可以被配置为在由处理器421或422运行时使无线音频装置202：识别关于情境的信息；基于关于情境的信息，识别谈话的概率；以及响应于谈话的概率超过参考概率，使用传感器来识别谈话。关于情境的信息包括正被再现的内容的类型、正被运行的应用的类型、正被输入的用户输入的类型或当前日程的类型中的至少一种。
根据实施例，指令可以被配置为在由处理器421或422运行时使无线音频装置202：响应于识别出谈话中包括的指定关键词，输出用于在使信号的输出停止第一时间段时做出关于使信号的输出的停止延长的询问的消息；以及响应于输入了使信号的输出的停止延长的请求，使信号的输出的停止延长第二时间段。
根据实施例，指定关键词可以是针对无线音频装置202所处地点先前设置的关键词。
根据实施例，指令可以被配置为在由处理器421或422运行时使无线音频装置202：使信号的输出的停止延长针对所识别的谈话中包括的指定关键词的类型而设置的时间段。
根据本公开的实施例，一种用于运行无线音频装置202的方法，该方法包括，在通过无线音频装置202的至少一个扬声器(例如，音频输出电路471或472)来输出用于降低外部声音的信号时：使用无线音频装置202的通信电路491或492来识别外部电子装置；响应于外部电子装置的位置满足指定条件，使用传感器(例如，传感器电路451或452)来识别谈话；响应于识别出谈话，使用于降低外部声音的信号的输出停止第一时间段；以及响应于识别出谈话中包括的指定关键词，使用于降低外部声音的信号的输出的停止延长第二时间段。
根据实施例，识别谈话可以包括：响应于外部电子装置的位置定位在指定距离内达指定时间，使用传感器来识别谈话。
根据实施例，识别至少一个外部电子装置可以包括：识别外部电子装置是否是注册的外部电子装置。识别谈话可以包括：响应于识别出外部电子装置是注册的外部电子装置，响应于位置定位在第一距离内达第一时间段，使用传感器来识别谈话；以及响应于识别出外部电子装置不是注册的外部电子装置，响应于位置定位在第二距离内达第二时间段，使用传感器来识别谈话。第一时间段可以比第二时间段短，并且第一距离可以比第二距离长。
根据本公开的实施例，用于运行无线音频装置202的方法可以包括：通过至少一个传感器来接收关于无线音频装置的位置的信息；基于关于无线音频装置的位置的信息识别关于无线音频装置所处地点的信息；识别通过关于地点的信息指示的地点的谈话的概率；以及响应于谈话的概率超过参考概率，使用传感器来识别谈话。
根据本公开的实施例，用于运行无线音频装置202的方法可以包括：通过无线音频装置的麦克风(例如，音频接收电路481或482)来接收音频信号；识别音频信号与多个场景模型中的与地点相对应的场景模型之间的相似度；基于相似度调整谈话的概率；以及响应于调整后的谈话的概率超过参考概率，使用传感器来识别谈话。
根据本公开的实施例，用于运行无线音频装置202的方法可以包括：经由传感器接收关于无线音频装置的用户的姿势的信息；以及基于关于用户的姿势的信息，识别通过关于地点的信息指示的地点的谈话的概率。
根据本公开的实施例，用于运行无线音频装置202的方法可以包括：识别关于情境的信息；基于关于情境的信息，识别谈话的概率；以及响应于谈话的概率超过参考概率，使用传感器来识别谈话。情境的信息可以包括正被再现的内容的类型、正被运行的应用的类型、正被输入的用户输入的类型或当前日程的类型中的至少一种。
根据本公开的实施例，用于运行无线音频装置202的方法可以包括：响应于识别出谈话中包括的指定关键词，输出用于在使信号的输出停止第一时间段时做出关于使信号的输出的停止延长的询问的消息；以及响应于输入了使信号的输出的停止延长的请求，使信号的输出的停止延长第二时间段。
根据本公开的实施例，在用于运行无线音频装置202的方法中，指定关键词可以包括针对无线音频装置所处地点先前设置的关键词。
根据本公开的实施例，用于运行无线音频装置202的方法可以包括：使信号的输出的停止延长针对所识别的谈话中包括的指定关键词的类型而设置的时间段。
根据本公开的实施例，一种方法包括：为无线音频装置202启用主动噪声消除功能；确定是否满足主动噪声消除功能关闭条件；响应于确定满足主动噪声消除功能关闭条件，禁用主动噪声消除功能达第一时间段；响应于从话语中检测到关键词，确定是否调整第一时间段；以及响应于确定要调整第一时间段，继续禁用主动噪声消除功能达第二时间段。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可以用来指代相似或相关的元件。将理解的是，与项相应的单数形式的名词可以包括一个或更多个事物，除非相关情境另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)耦接、与所述另一元件无线连接、或经由第三元件与所述另一元件耦接。
如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在机器(例如，电子装置101)的处理器(例如，处理器120)的控制下，该处理器可以在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来分发计算机程序产品，或者可以经由应用商店(例如，PlayStoreTM)在线分发(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线分发的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可以省略上述部件中的一个或更多个部件，或者可以添加一个或更多个其他部件。可选地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可以仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略，或者可以添加一个或更多个其他操作。

Claims (15)

1.一种无线音频装置，所述无线音频装置包括：
扬声器；
传感器；
通信电路；
处理器；以及
存储器，所述存储器被配置为存储指令，
其中，所述指令在由所述处理器运行时，使所述无线音频装置在通过所述扬声器来输出用于降低外部声音的信号时：
使用所述通信电路来识别外部电子装置；
响应于所述外部电子装置的位置满足指定条件，使用所述传感器来识别谈话；
响应于识别出所述谈话，使用于降低所述外部声音的所述信号的输出停止第一时间段；以及
响应于识别出所述谈话中包括的指定关键词，使用于降低所述外部声音的所述信号的输出的停止延长第二时间段。
2.根据权利要求1所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
响应于所述外部电子装置的所述位置定位在指定距离内达指定时间，使用所述传感器来识别所述谈话。
3.根据权利要求2所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
识别所述外部电子装置是否是注册的外部电子装置；
响应于识别出所述外部电子装置是注册的外部电子装置，响应于所述外部电子装置的所述位置定位在第一距离内达所述第一时间段，使用所述传感器来识别所述谈话；以及
响应于识别出所述外部电子装置不是注册的外部电子装置，响应于所述位置定位在第二距离内达所述第二时间段，使用所述传感器来识别所述谈话，
其中，所述第一时间段比所述第二时间段短，并且
其中，所述第一距离比所述第二距离长。
4.根据权利要求1所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
使用所述传感器来接收关于所述无线音频装置的位置的信息；
基于关于所述无线音频装置的位置的所述信息，识别关于所述无线音频装置所处地点的信息；
识别通过关于所述地点的所述信息指示的地点的所述谈话的概率；以及
响应于所述谈话的概率超过参考概率，使用所述传感器来识别所述谈话。
5.根据权利要求4所述的无线音频装置，所述无线音频装置还包括：
麦克风，
其中，所述存储器存储有与多个地点相对应的多个场景模型，并且
其中，所述指令在由所述处理器运行时，使所述无线音频装置：
通过所述麦克风来接收音频信号；
识别所述音频信号与所述多个场景模型中的与所述地点相对应的场景模型之间的相似度；
基于所述相似度调整所述谈话的概率；以及
响应于调整后的所述谈话的概率超过参考概率，使用所述传感器来识别所述谈话。
6.根据权利要求4所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
经由所述传感器接收关于所述无线音频装置的用户的姿势的信息；以及
基于关于所述用户的姿势的所述信息，识别通过关于所述地点的所述信息指示的所述地点的所述谈话的概率。
7.根据权利要求1所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
识别关于情境的信息；
基于关于所述情境的所述信息，识别所述谈话的概率；以及
响应于所述谈话的概率超过参考概率，使用所述传感器来识别所述谈话，并且
其中，关于所述情境的所述信息包括正被再现的内容的类型、正被运行的应用的类型、正被输入的用户输入的类型或当前日程的类型中的至少一种。
8.根据权利要求1所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
响应于识别出所述谈话中包括的所述指定关键词，输出用于在使所述信号的输出停止所述第一时间段时做出关于使所述信号的输出的停止延长的询问的消息；以及
响应于输入了使所述信号的输出的停止延长的请求，使所述信号的输出的停止延长所述第二时间段。
9.根据权利要求1所述的无线音频装置，其中，所述指定关键词包括针对所述无线音频装置所处地点先前设置的关键词。
10.根据权利要求1所述的无线音频装置，其中，所述指令在由所述处理器运行时，使所述无线音频装置：
使所述信号的输出的停止延长针对所识别的谈话中包括的所述指定关键词的类型而设置的时间段。
11.一种用于运行无线音频装置的方法，所述方法包括，在通过所述无线音频装置的扬声器来输出用于降低外部声音的信号时：
使用所述无线音频装置的通信电路来识别外部电子装置；
响应于所述外部电子装置的位置满足指定条件，使用所述无线音频装置的传感器来识别谈话；
响应于识别出所述谈话，使用于降低所述外部声音的所述信号的输出停止第一时间段；以及
响应于识别出所述谈话中包括的指定关键词，使用于降低所述外部声音的所述信号的输出的停止延长第二时间段。
12.根据权利要求11所述的方法，其中，识别所述谈话包括：
响应于所述外部电子装置的所述位置定位在指定距离内达指定时间，使用所述传感器来识别所述谈话。
13.根据权利要求12所述的方法，其中，识别所述外部电子装置包括：
识别所述外部电子装置是否是注册的外部电子装置，
其中，识别所述谈话包括：
响应于识别出所述外部电子装置是注册的外部电子装置，响应于所述位置定位在第一距离内达所述第一时间段，使用所述传感器来识别所述谈话；以及
响应于识别出所述外部电子装置不是注册的外部电子装置，响应于所述位置定位在第二距离内达所述第二时间段，使用所述传感器来识别所述谈话，
其中，所述第一时间段比所述第二时间段短，并且
其中，所述第一距离比所述第二距离长。
14.根据权利要求11所述的方法，所述方法还包括：
使用所述传感器来接收关于所述无线音频装置的位置的信息；
基于关于所述无线音频装置的位置的所述信息，识别关于所述无线音频装置所处地点的信息；
识别通过关于所述地点的所述信息指示的地点的所述谈话的概率；以及
响应于所述谈话的概率超过参考概率，使用所述传感器来识别所述谈话。
15.根据权利要求14所述的方法，所述方法包括：
通过所述无线音频装置的麦克风来接收音频信号；
识别所述音频信号与所述多个场景模型中的与所述地点相对应的场景模型之间的相似度；
基于所述相似度调整所述谈话的概率；以及
响应于调整后的所述谈话的概率超过参考概率，使用所述传感器来识别所述谈话。
CN202280048129.2A 2021-07-08 2022-07-05 环境声音控制方法及其电子装置 Pending CN117730545A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0089747 2021-07-08
KR1020210089747A KR20230009109A (ko) 2021-07-08 2021-07-08 주변 소리 제어 방법 및 이를 위한 전자 장치
PCT/KR2022/009656 WO2023282576A1 (ko) 2021-07-08 2022-07-05 주변 소리 제어 방법 및 이를 위한 전자 장치

Publications (1)

Publication Number Publication Date
CN117730545A true CN117730545A (zh) 2024-03-19

Family

ID=84801975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048129.2A Pending CN117730545A (zh) 2021-07-08 2022-07-05 环境声音控制方法及其电子装置

Country Status (5)

Country Link
US (1) US20230019110A1 (zh)
EP (1) EP4358536A4 (zh)
KR (1) KR20230009109A (zh)
CN (1) CN117730545A (zh)
WO (1) WO2023282576A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10720153B2 (en) * 2013-12-13 2020-07-21 Harman International Industries, Incorporated Name-sensitive listening device
US9398367B1 (en) * 2014-07-25 2016-07-19 Amazon Technologies, Inc. Suspending noise cancellation using keyword spotting
KR102402512B1 (ko) * 2015-08-04 2022-05-27 삼성전자주식회사 외부장치의 음량을 조정하는 전자장치 및 방법
US10410634B2 (en) * 2017-05-18 2019-09-10 Smartear, Inc. Ear-borne audio device conversation recording and compressed data transmission
KR102374910B1 (ko) * 2017-08-22 2022-03-16 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
KR20200027753A (ko) * 2018-09-05 2020-03-13 삼성전자주식회사 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법
KR20200034430A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 전자 장치, 시스템 및 음성 인식 서비스 이용 방법
US10679602B2 (en) * 2018-10-26 2020-06-09 Facebook Technologies, Llc Adaptive ANC based on environmental triggers
US11076219B2 (en) * 2019-04-12 2021-07-27 Bose Corporation Automated control of noise reduction or noise masking
US10681453B1 (en) * 2019-06-12 2020-06-09 Bose Corporation Automatic active noise reduction (ANR) control to improve user interaction
CN111741396A (zh) * 2020-06-29 2020-10-02 维沃移动通信有限公司 控制方法、装置、电子设备及可读存储介质
US20220020387A1 (en) * 2020-07-17 2022-01-20 Apple Inc. Interrupt for noise-cancelling audio devices

Also Published As

Publication number Publication date
KR20230009109A (ko) 2023-01-17
EP4358536A4 (en) 2024-10-16
US20230019110A1 (en) 2023-01-19
WO2023282576A1 (ko) 2023-01-12
EP4358536A1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
US10635152B2 (en) Information processing apparatus, information processing system, and information processing method
EP3777115B1 (en) Electronic device supporting personalized device connection and method thereof
CN111696570B (zh) 语音信号处理方法、装置、设备及存储介质
US20220239269A1 (en) Electronic device controlled based on sound data and method for controlling electronic device based on sound data
US11144130B2 (en) Information processing apparatus, information processing system, and information processing method
US11636867B2 (en) Electronic device supporting improved speech recognition
US20210383806A1 (en) User input processing method and electronic device supporting same
US20230137857A1 (en) Method and electronic device for detecting ambient audio signal
KR20220106643A (ko) 소리 데이터에 기초하여 제어되는 전자 장치 및 소리 데이터에 기초하여 전자 장치를 제어하는 방법
US12033628B2 (en) Method for controlling ambient sound and electronic device therefor
EP4358536A1 (en) Ambient sound control method and electronic device for same
EP4258084A1 (en) Electronic device for reducing internal noise, and operation method thereof
KR20230084154A (ko) 동적 분류기를 사용한 사용자 음성 활동 검출
KR20230094005A (ko) 음향 센서를 이용한 화자 분류 장치 및 방법
CN116261859A (zh) 用于输出声音的电子装置和用于操作其的方法
US12014114B2 (en) Electronic device for responding to user reaction and outside sound and operating method thereof
US12082279B2 (en) Electronic device for switching communication connections according to noise environment and method for controlling the same
CN115166633B (zh) 声源方向确定方法、装置、终端以及存储介质
CN110989963B (zh) 唤醒词推荐方法及装置、存储介质
US20230206892A1 (en) Electronic device and controlling method thereof
KR20220168833A (ko) 외부 소리 및 사용자 반응에 대응하는 전자 장치 및 이의 동작 방법
KR20230113691A (ko) 초-광대역 전력 사용 최적화
CN114299945A (zh) 语音信号的识别方法、装置、电子设备、存储介质及产品
CN112165552A (zh) 控制语音助手的方法以及使用该方法的电子装置
CN116189718A (zh) 语音活性检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination