CN108431764B - 电子设备和用于控制电子设备操作的方法 - Google Patents

Abstract

根据本发明的一个实施例的电子设备包括：至少一个麦克风，其从外部接收声音，并被配置用于检测接收声音的方向；用于输出声音的扬声器；通信电路，用于从外部电子设备接收音频数据；电连接到至少一个麦克风、扬声器和通信电路的处理器；以及电连接到处理器的至少一个存储器。存储器可以存储指令，这些指令当操作时，使得处理器能够：从与通过至少一个麦克风接收到的声音相关的数据中提取接收声音的方向的信息，并且基于关于接收声音的方向的信息来处理与将通过扬声器输出的声音有关的数据。其他的示例是可能的。

Description

电子设备和用于控制电子设备操作的方法

【技术领域】

本发明的各种实施例涉及一种能够向用户提供从外部电子设备接收的音频信号和从外部获取的声音的电子设备、以及用于控制该电子设备的操作的方法。

【背景技术】

近年来，各种电子设备已被用于日常生活中。在一些情况下，多个电子设备可以彼此协作以执行特定功能。例如，一个用户可以携带便携式终端(例如移动电话或平板电脑)、可穿戴设备(例如智能手表或智能带)以及用于从外部接收声音并将其输出给用户的听觉设备，并且一起使用它们。听觉设备可以与外部电子设备(例如智能电视)无线链接，并且可以从外部电子设备接收音频信号并将其提供给用户。听觉设备可以一起向用户提供从外部电子设备流传送的音频信号和从外部(例如另一个人)获取的声音。然而，当从外部电子设备接收的音频信号和从外部直接获取的声音被一起提供时，需要根据用户的便利性来控制音频信号和获取声音的输出。

【发明内容】

【技术问题】

因此，本发明的一个方面在于提供一种电子设备及其操作控制方法，其可以调节从外部设备接收的音频数据和由麦克风从外部获取的声音数据的输出水平(例如混合比率)。

本发明的另一方面在于提供一种电子设备及其操作控制方法，其能够当从外部设备流传送音频信号的时候感测从附近的周围环境(例如附近的人)获取的声音并且以对情境适当的方式来调整获取的声音的输出水平。

【解决问题的技术方案】

根据本发明的一个方面，提供了一种电子设备。该电子设备可以包括：至少一个麦克风，被配置用于从外部获取声音并且感测所获取的声音的方向；扬声器，被配置用于输出声音；通信电路，被配置用于从外部电子设备接收音频数据；处理器，与该至少一个麦克风、扬声器和通信电路电连接；以及至少一个存储器，其电连接到该处理器。存储器可存储指令，所述指令在被执行时使得处理器：从由至少一个麦克风获取的声音数据中提取关于获取声音的方向的信息；确定接收到的音频数据与由麦克风获取的声音数据之间的相似度；并且基于相似度和关于获取声音的方向的信息来处理要通过扬声器输出的声音数据。

根据本发明的另一方面，提供了一种用于电子设备的操作控制方法。该方法可以包括：从外部电子设备接收音频数据；通过至少一个麦克风从电子设备的外部获取声音；从由该至少一个麦克风获取的声音数据中提取关于获取声音的方向的信息；以及基于关于获取声音的方向的信息来处理要通过扬声器输出的声音数据。

【发明的有益效果】

在本发明的特征中，操作控制方法使得电子设备能够控制麦克风获取的声音中的与从外部设备接收到的音频信号类似的声音的输出水平，使得用户可以听到与接收到的音频信号对应的声音而没有外部噪音。

在本发明的另一特征中，操作控制方法使电子设备能够调整从外部设备接收的音频数据与由麦克风获取的外部声音之间的混合比率，从而防止由类似的音频数据和声音数据引起的回声现象。

在本发明的另一特征中，所述操作控制方法使得电子设备能够在获取与从外部设备接收的音频数据不同的环境声音时控制要输出的声音的混合比率或电子设备的方向性，使得用户能够平稳地听到周围环境中需要的声音。

【附图说明】

图1示出了根据本发明的各种实施例的网络环境中的电子设备。

图2是根据本发明各种实施例的电子设备的框图。

图3是根据本发明的各种实施例的程序模块的框图。

图4示出了根据本发明的各种实施例的电子设备的使用。

图5是根据本发明的各种实施例的电子设备的框图。

图6示出了根据本发明的各种实施例的电子设备和外部电子设备。

图7示出了根据本发明的各种实施例的电子设备与外部电子设备之间的协作。

图8示出根据本发明的各种实施例的在电子设备或外部电子设备中使用的数据格式。

图9描绘了根据本发明的各种实施例的电子设备与外部电子设备之间的信号流。

图10描绘了根据本发明的各种实施例的电子设备与多个外部电子设备通信的情况。

图11是根据本发明各个实施例的电子设备的操作控制方法的流程图。

图12是根据本发明各个实施例的电子设备的操作控制方法的流程图。

图13是根据本发明各个实施例的电子设备的操作控制方法的流程图。

图14描绘了根据本发明的各种实施例的电子设备的操作。

图15描绘了根据本发明的各种实施例的电子设备的操作。

图16描绘了根据本发明的各种实施例的电子设备的操作。

图17描绘了根据本发明的各种实施例的电子设备的操作。

图18是根据本发明各个实施例的电子设备的操作控制方法的流程图。

【发明的实施方式】

在下文中，参照附图描述本公开的各种实施例。然而，应该理解的是，本公开不限于特定实施例，并且所有修改、等同物和/或其替代方案也属于本公开的范围。贯穿附图使用相同或相似的附图标记来指代相同或相似的部分。

在描述中，表达“具有”、“可具有”、“包含”或“可包括”表示特定特征(例如数量、功能、操作或诸如部件的组件)的存在，且不排除其他功能的存在。

在说明书中，表述“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以指示A和B的所有可能的组合。对于例如，“A或B”、“A和B中的至少一个”以及“A或B中的至少一个”可以指示(1)包括至少A、(2)包括至少B或(3)包括至少A和至少B。

在各种实施例中，术语“第一”和“第二”可以指各种元素而不考虑其重要性和/或顺序，并且用于将一个元素与另一个元素区分而不受限制。例如，第一用户设备和第二用户设备可以指示不同的用户设备，而不考虑设备的顺序或重要性。作为另一个示例，第一部件可以被表示为第二部件，反之亦然，而不偏离本公开的范围。

将理解的是，当元素(例如第一元素)被称为与另一元素(例如第二元素)(可操作地或可通信地)“耦合到/与…耦合”或“连接到/与…连接”另一元素(例如第二元素)时，可以直接或经由第三元素与另一元素耦合或连接。相反，将理解的是，当元素(例如第一元素)被称为与另一元素(例如第二元素)“直接耦合到/直接与…耦合”或“直接连接到另一元素/直接与另一元素连接”时，没有其他元素(例如第三元素)介于该元素和另一元素之间。

在描述中，短语“被配置(或设置)用于”可以取决于境况而与短语“适合于”、“具有…的能力”、“设计用于”、“适应于”、“被使得”或“能够”互换使用。术语“被配置(或设置)用于”实质上并不意味着“在硬件上专门设计”。相反，短语“被配置用于”可以意味着设备可以与其他设备或部件一起执行特定操作。例如，短语“配置用于执行A、B和C的处理器”可以意味着用于执行该操作的专用处理器(例如嵌入式处理器)或通过执行存储器单元中存储的一个或多个软件程序来实施该操作的通用处理器(例如中央处理单元(CPU)或应用处理器)。

这里使用的一些术语可以被提供仅用于描述具体实施例而不限制另一个实施例的范围。在说明书中，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。这里使用的包括技术和科学术语的术语具有与本领域普通技术人员通常理解的相同的含义。应该进一步理解的是，诸如在常用字典中定义的那些术语应该被解释为具有与其在相关领域的上下文中的含义一致的含义，并且不会被理解为理想化或过度形式化的意义，除非明确如此定义。在任何情况下，这里定义的术语不应被解释为排除本公开的某些实施例。

根据本公开的各种实施例的电子设备可以包括诸如助听器的听觉设备。例如，听觉设备可以包括具有被配置用于可拆卸地连接到用户的一部分的部件的壳体。

根据本公开的各种实施例的电子设备可以包括例如以下至少之一：智能电话、平板个人电脑(PC)、移动电话、视频电话、电子书阅读器、台式电脑、笔记本电脑、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗仪器、照相机和可穿戴设备。在各种实施例中，可穿戴设备可以包括附件型可佩戴设备(例如手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、纺织品/衣服整合式可穿戴设备(例如电子衣服)、身体附着设备(例如皮肤垫或纹身)以及生物可植入式可穿戴设备(例如可植入电路)。

在一些实施例中，电子设备可以是家用电器。家用电器可以包括例如以下至少之一：电视(TV)、数字多功能盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如SamsungHomeSync^TM、Apple电视^TM或Google电视^TM)、游戏控制台(例如Xbox^TM或PlayStation^TM)、电子词典、电子钥匙、摄像机和数码相框。

在其他实施例中，电子设备可以包括以下至少之一：医疗设备(例如便携式医疗仪表(诸如血糖仪、心率计、血压计或温度计)、磁共振血管造影(MRA)仪器、磁共振成像(MRI)仪器、计算机断层摄影(CT)仪器、医疗扫描仪或超声波设备)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、船用电子设备(例如海上导航设备和陀螺罗盘等)、航空电子设备、安全设备、汽车头单元、工业或家庭机器人、用于银行的自动取款机(ATM)、用于商店的销售点(POS)系统以及物联网(IoT)设备(例如电子灯泡、传感器、电或燃气表、洒水装置、火警、温控器、路灯、烤面包机、健身器材、热水箱、加热器或锅炉)。

在一个实施例中，电子设备可以包括以下至少之一：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或测量仪表(例如水表、电表、煤气表或无线电波表)。在各种实施例中，电子设备可以是上述设备中的一个或其组合。在一个实施例中，电子设备可以是柔性电子设备。根据本公开的实施例的电子设备不限于上述设备，并且其可以包括随着技术进步而开发的新电子设备。

接下来，参照附图给出根据各种实施例的电子设备的描述。在描述中，术语“用户”可以指使用电子设备的人或者使用电子设备的设备(例如人工智能电子设备)。

参考图1，给出了网络环境100中的电子设备101的描述。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在某些实施例中，可以从电子设备101中省略至少一个现有组件，或者可以将新组件添加到电子设备101。

总线110可以包括例如将组件110至170彼此连接并且在组件110至170之间传输通信信号(例如控制消息和/或数据)的电路。

处理器120可以包括中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或多个。处理器120可以控制电子设备101的至少一个组件并且为其他组件执行通信相关或数据处理操作。

存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储例如与电子设备101的至少一个组件有关的命令或数据。在一个实施例中，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或应用)147。内核141、中间件143或API 145中的至少一些可被称为操作系统(OS)。

内核141可以控制或管理用于执行在其他程序(例如中间件143，API145或应用147)中实现的操作或功能的系统资源(例如总线110、处理器120或存储器130)。此外，内核141可以提供使中间件143、API 145或应用147能够通过访问电子设备101的各个组件来控制或管理系统资源的接口。

中间件143可以执行中间角色，使得例如API145或应用147可以与内核141交换数据。

此外，中间件143可以根据应用程序的优先级来调度来自应用程序147的一个或多个工作请求。例如，中间件143可以将优先级分配给应用程序147以利用电子设备101的系统资源(例如总线110、处理器120或存储器130)。中间件143可以根据其优先级来处理，为一个或多个工作请求执行调度或负载平衡。

例如，API 145是使得应用147能够控制由内核141或中间件143提供的功能的接口，并且可以包括用于例如文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如命令)。

输入/输出接口150可以用作可以从例如用户或其他外部设备接收命令或数据并将其转发给电子设备101的其他组件的接口。此外，输入/输出接口150可以将从电子设备101的其他组件接收的命令或数据输出给用户或其他外部设备。

显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以为用户显示各种内容(例如文本、图像、视频、图标或符号)。显示器160可以包括触摸屏并且可以通过例如电子笔或用户的身体部分接收触摸输入、手势输入、接近输入或悬停输入。

通信接口170可以建立电子设备101与外部设备(例如第一外部电子设备102、第二外部电子设备104或服务器106)之间的通信。例如，通信接口170可以通过无线通信或有线通信连接到网络162以与外部设备(例如第二外部电子设备104或服务器106)通信。

无线通信可以利用例如长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)中的至少一个作为蜂窝通信协议。此外，无线通信可以使用例如近程通信。近程通信可以包括例如无线保真(Wi-Fi)、蓝牙、近场通信(NFC)和全球导航卫星系统(GNSS)中的至少一个。取决于使用区域或带宽，GNSS可以包括例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(北斗)、伽利略以及欧洲全球卫星导航系统中的至少一个。这里，术语“GPS”可以与术语“GNSS”互换使用。有线通信可以使用例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话服务(POTS)中的至少一个。网络162可以是电信网络，诸如计算机网络(例如局域网(LAN)或广域网(WAN))、因特网或电话网络。

第一外部电子设备102和第二外部电子设备104可以具有与电子设备101的类型相同或不同的类型。在一个实施例中，服务器106可以是一个或多个服务器的组。在各种实施例中，可以在一个或多个其他电子设备(例如电子设备102和104或服务器106)中执行在电子设备101中执行的全部或一些操作。在一个实施例中，为了自动执行某个功能或服务或根据请求执行某个功能或服务，并未执行该功能或服务或除了执行该功能或服务之外，电子设备101可以向外部电子设备(例如电子设备102或104或服务器106)请求执行至少一些功能。外部电子设备(例如电子设备102或104或服务器106)可以执行所请求的功能或附加的功能，并且将结果返回给电子设备101。如果需要，电子设备101可以进一步处理接收到的结果，并且提供所请求的功能或服务。为此，可以使用诸如云计算、分布式计算和客户端-服务器计算之类的技术。

图2是根据各种实施例的电子设备201的框图。电子设备201可以包括例如图1所示的电子设备101的全部或一些元素。电子设备201可以包括至少一个处理器210(例如应用处理器)、通信模块220、订户识别模块224、存储器230、传感器模块240、输入单元250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。

处理器210可以控制与其连接的多个硬件或软件组件、处理各种数据并且通过执行例如操作系统或应用程序来执行计算。处理器210可以被实现为例如片上系统(SoC)。在一个实施例中，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2中所示的元素中的至少一些(例如蜂窝模块221)。处理器210可以将从至少一个组件(例如非易失性存储器)接收到的指令或数据加载到易失性存储器上用于执行，并且可以将各种数据存储在非易失性存储器中。

通信模块220可以具有与图1的通信接口170相同或相似的配置。例如，通信模块220可以包括蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227(例如GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块228和射频(RF)模块229。

蜂窝模块221可以通过例如通信网络提供语音通话服务、视频通话服务、文本消息服务或因特网服务。在一个实施例中，蜂窝模块221可以通过使用订户识别模块224(例如SIM卡)来识别和认证通信网络内的电子设备201。在一个实施例中，蜂窝模块221可以执行由处理器210提供的至少一些功能。在一个实施例中，蜂窝模块221可以包括通信处理器(CP)。

Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228可各自包括处理器以处理通过相应模块发送和接收的数据。在一个实施例中，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一些(例如两个或更多)可以被包括在一个集成芯片(IC)中或IC封装中。

RF模块229可以发送和接收通信信号(例如RF信号)。RF模块229可以包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。在另一个实施例中，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一个可以通过单独的RF模块发送和接收RF信号。

订户识别模块224可以包括SIM卡和/或嵌入式SIM，并且可以存储唯一标识信息(例如集成电路卡标识符(ICCID))或订户信息(例如国际移动订户标识(IMSI))。

存储器230(例如存储器130)可以包括例如内部存储器232和外部存储器234。内部存储器232可以包括易失性存储器(例如动态随机存取存储器(DRAM))、静态RAM(SRAM)或同步DRAM(SDRAM))、非易失性存储器(例如一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM或诸如NAND闪存或NOR闪存的闪存、硬盘驱动器和固态驱动器(SSD)。

外部存储器234可以包括诸如紧凑型闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)或多媒体卡(MMC)之类的闪存驱动器，并且还可以包括记忆棒等。外部存储器234可以通过各种接口在功能上和/或物理上连接到电子设备201。

传感器模块240可以测量电子设备201的物理量或感测其操作状态并将测量或感测的结果转换为电信号。传感器模块240可以包括例如手势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如红绿蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K和紫外(UV)传感器240M中的至少一个。附加地或替换地，传感器模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240可以进一步包括控制电路以控制其中包括的一个或多个传感器。在一个实施例中，电子设备201还可以包括处理器，该处理器被配置用于控制作为处理器210的一部分或者单独实体的传感器模块240，并且处理器可以在处理器210处于睡眠状态时控制传感器模块240。

输入单元250可以包括例如触摸板252、(数字)笔传感器254、键256和超声输入工具258。触摸板252可以使用例如以下中的至少一个：电容技术、电阻技术、红外技术和超声波技术。触摸板252可以进一步包括控制电路。触摸板252可以进一步包括触觉层以向用户提供触觉响应。

(数字)笔传感器254可以包括识别层，其作为触摸面板的一部分或单独的实体。键256可以包括例如物理按钮、光学键或小键盘。超声输入工具258可以识别与由输入装置生成并由麦克风(例如麦克风288)感测到的超声波相对应的数据。

显示器260(例如显示器160)可以包括面板262、全息单元264和投影仪266。面板262可以具有与图1的显示器160相同或相似的配置。面板262可以被实现为例如柔性的、透明的或可穿戴的。面板262和触摸板252可以被实现为单个模块。全息单元264可以通过使用光的干涉来在空中呈现三维图像。投影仪266可以通过将光投影到屏幕上来显示图像。屏幕可位于电子设备201内部或外部。在一个实施例中，显示器260可进一步包括用于控制面板262、全息单元264或投影仪266的控制电路。

接口270可以包括例如高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276和D超小型(D-sub)278。接口270可以被包括在例如图1的通信接口170中。接口270可以附加地或替代地包括移动高清链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。

例如，音频模块280可以将声音转换为电信号或反之。音频模块280的至少一部分可以被包括在例如图1的输入/输出接口150中。音频模块280可以通过例如扬声器282、接收器284、耳机286或麦克风288来处理输入或输出声音信息。

相机模块291可以用于捕捉例如静止图像和运动图像。在一个实施例中，相机模块291可以包括一个或多个图像传感器(例如正面和背面传感器)、透镜、图像信号处理器(ISP)以及闪光灯(例如LED或氙灯)。

电源管理模块295可以管理电子设备201的电源。在一个实施例中，电源管理模块295可以包括电源管理集成电路(PMIC)、充电器IC以及电池或燃料计。PMIC可以使用有线和/或无线充电。无线充电可以采用例如磁共振方案、磁感应方案或基于电磁波的方案，并且可以进一步采用用于无线充电的辅助电路，例如线圈回路、谐振电路或整流器。当电池296正被充电时，电池计可以测量例如电池296的剩余电量、电压、电流或温度。电池296可以包括例如可再充电电池和/或太阳能电池。

指示器297可以指示电子设备201或其一部分(例如，处理器210)的具体状态，诸如启动状态、消息状态或充电状态。点击298可以将电信号转换为机械振动以生成振动或触觉效果。尽管未示出，但是电子设备201可以包括用于支持移动电视的处理器(例如，GPU)。用于移动电视的处理器可以处理符合诸如数字多媒体广播(DMB)、数字视频广播(DVB)、或MediaFlo^TM的标准的媒体数据。

在一个实施例中，电子设备201(例如听觉设备)可以具有其中图2中示出的一些组件被省略的配置。

上述电子设备的每个组件可以由一个或多个元素组成，并且组件名称可以根据电子设备的类型而变化。在各种实施例中，电子设备可以被配置为包括至少一个前述组件、可以省略现有组件并且可以添加新组件。在各种实施例中，电子设备的一些组件可以被组合成一个实体，同时保持相同的功能。

图3是根据各种实施例的程序模块的框图。在一个实施例中，程序模块310(例如程序140)可以包括用于控制与电子设备(例如电子设备101)相关的资源的操作系统(OS)和/或运行在操作系统上的各种应用(例如应用程序147)。操作系统可以是例如Android、iOS、Windows、Symbian、Tizen或Bada。

程序模块310可以由内核320、中间件330、应用编程接口(API)360和/或应用370组成。程序模块310中的至少一些可以预先加载在电子设备上或者可以从外部电子设备(例如电子设备102或104或服务器106)下载。

内核320(例如内核141)可以包括例如系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或回收系统资源。在一个实施例中，系统资源管理器321可以包括进程管理器、存储器管理器和文件系统管理器。设备驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器和进程间通信(IPC)驱动器。

中间件330可以提供应用370通常需要的功能或者可以通过API 360向应用370提供各种功能，使得应用370可以有效地使用电子设备中的有限系统资源。在一个实施例中，中间件330(例如中间件143)可以包括运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、数据包管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。

运行时库335可以包括库模块，其可以由编译器用于在应用执行期间通过编程语言添加新功能。运行时库335可以执行用于输入/输出管理、存储器管理或算术运算的功能。

应用管理器341可以管理应用370中的至少一个应用的生命周期。窗口管理器342可以管理用于该屏幕的GUI资源。多媒体管理器343可以识别要回放的媒体文件的格式，并且使用与识别的格式匹配的编解码器来执行媒体文件的编码和解码。资源管理器344可以管理至少一个应用370所需要的资源，诸如源代码、存储器空间和存储空间。

电源管理器345可以与例如基本输入/输出系统(BIOS)合作来管理诸如电池的电源并且提供电子设备的操作所需的电源信息。数据库管理器346可以允许应用370中的至少一个创建、搜索和更新数据库。数据包管理器347可以管理以数据包文件格式分发的应用的安装和更新。

连接管理器348可以基于例如Wi-Fi或蓝牙来管理无线链路。通知管理器349可以以不中断的方式向用户通知诸如消息接收、约会到达和接近的事件。位置管理器350可以管理电子设备的位置信息。图形管理器351可以管理用户的图形效果和相关的用户界面。安全管理器352可以提供系统安全或用户认证所需的各种安全功能。在一个实施例中，当电子设备(例如电子设备101)支持电话功能时，中间件330可以进一步包括电话管理器以管理电子设备的语音或视频呼叫功能。

中间件330可以包括中间件模块以形成上述组件的各种功能的组合。为了提供差异化功能，中间件330可以提供适合于操作系统类型的模块。中间件330可以以动态方式删除现有组件或添加新的组件。

API 360(例如API 145)是用于编程的一组API函数，并且可以根据操作系统被不同地配置。例如，Android和iOS可以为每个平台提供一个API集，而Tizen可以为每个平台提供两个或更多的API集。

应用370(例如应用程序147)可以包括例如主页371、拨号器372、SMS/MMS应用373、即时通信(IM)374、浏览器375、相机应用376、报警377、联系人378、语音拨号器379、电子邮件应用380、日历应用381、媒体播放器382、相册应用383和时钟应用384；并且它们可以进一步包括例如健康护理应用(例如测量锻炼量或血糖)和环境信息应用(例如提供关于大气压力、湿度或温度的信息)。

在一个实施例中，应用370可以包括支持电子设备(例如电子设备101)和外部电子设备(例如电子设备102或104)之间的信息交换的应用(为方便描述称为“信息交换应用”)。信息交换应用可以包括例如用于向外部电子设备发送特定信息的通知中继应用和用于管理外部电子设备的设备管理应用。

例如，通知中继应用可以具有用于将从其他应用(例如SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)生成的通知信息递送到外部电子设备(例如电子设备102或104)的功能。通知中继应用还可以从外部电子设备接收通知信息并将其递送给用户。

设备管理应用可以管理与电子设备通信的外部电子设备(例如电子设备102或104)的至少一个功能(例如设备或组件打开/关闭、显示器亮度或分辨率调整)、管理(例如安装、卸载或更新)在外部电子设备上运行的应用、或管理由外部电子设备提供的服务(例如呼叫或消息服务)。

在一个实施例中，应用370可以包括根据外部电子设备(例如电子设备102或104)的属性(例如移动医疗设备的健康护理应用)指定的应用。在一个实施例中，应用370可以包括从外部电子设备(例如服务器106、电子设备102或104)接收的应用。在一个实施例中，应用370可以包括预先加载的应用或可从服务器下载的第三方应用。程序模块310的组件名称可以根据操作系统的类型而变化。

在各种实施例中，程序模块310中的至少一些可以以软件、固件、硬件或其组合来实现。程序模块310中的至少一些可以由处理器(例如处理器210)实施。程序模块310的至少一些可以包括例如支持一个或多个功能的模块、程序、例程、一组指令或过程。

在各种实施例中，以下描述的电子设备、第一外部电子设备和第二外部电子设备可以包括图1-3中所示的电子设备101、201或301的全部或一些组件。

图4示出了根据本发明各种实施例的电子设备400的使用情况。

电子设备400(例如听觉设备)可以向用户401提供声音信息。例如，当用户401听音乐、打电话或谈话时，电子设备400可以放大环境声音信息并将其提供给用户401。电子设备400可以被佩戴在用户401的身体部位上，以便电子设备400的接收器(例如扬声器)可以在用户401的耳朵附近提供声音信息。电子设备400可以根据用户401的使用或目的而采取多种形式及提供多种功能。例如，电子设备400可以是耳麦、头戴式耳机、听筒、助听器或个人声音放大产品。存在各种各样的助听器，诸如耳背助听器(behind-the-ear hearing aid，BTE)、耳道内接收器助听器(receiver-in-canal hearing aid，RIC)、耳内助听器(in-the-ear hearing aids，ITE)、耳道内助听器(in-the-canal hearing aids，ITC)、以及耳道内助听器(completely-in-the-canal hearing aids，CTC)。

图5是根据本发明的各种实施例的电子设备500的框图。

在一个实施例中，电子设备500可以具有与图1或2中所示的电子设备101或201的组件相同或相似的组件。例如，电子设备500可以包括图1或2所示的电子设备101或201的全部或一些组件。

电子设备500可以包括输入单元510(例如麦克风)、信号放大器521和525、信号转换器531和535、处理器540、输出单元550(例如接收器或扬声器)、信号收发器560、通信模块570和存储器580。

电子设备500可以经由输入单元510获得声音信息。例如，输入单元510可以接收电子设备500周围的声音并生成输入信号。在一个实施例中，输入单元510可以包括至少一个麦克风。

电子设备500还可以包括信号放大器521和525(例如放大器(AMP))。信号放大器521和525可以放大模拟信号。在一个实施例中，信号放大器521和525可以包括用于放大通过输入单元510输入的信号的第一信号放大器521(例如前置AMP)、以及用于放大由处理器540处理的信号并将放大的信号发送到输出单元的第二信号放大器525(例如功率放大器AMP)。

电子设备500可以有线或无线地连接到外部电子设备(例如移动设备、蜂窝电话或平板电脑)或网络。例如，在无线连接的情况下，电子设备500可以通过信号收发器560接收输入信号。在一个实施例中，信号收发器560可以包括一个或多个天线。

通信模块570可以处理通过信号收发器560接收到的输入信号(例如音频滤波或信号放大)，并将处理后的信号发送给处理器540。

处理器540可处理输入信号(例如音频滤波或信号放大)并通过输出单元输出相应的声音。例如，处理器540可以处理通过输入单元510或通信模块570接收到的输入信号，并且通过输出单元输出相应的声音。

在一个实施例中，处理器540可以根据通过通信模块570或输入单元510接收到的输入信号来不同地应用信号处理(例如音频滤波或信号放大)。处理器540可以根据经由通信模块570或输入单元510的输入信号的存在或不存在来设置信号路径(例如音频信号路径或声音信号路径)。例如，当通过输入单元510接收到输入信号时，处理器540可以将输入单元510的信号路径设置到指向用于声音输出的输出单元。当通过通信模块570接收到输入信号时，处理器540可以将通信模块570的信号路径设置为指向输出单元。例如，处理器540可以根据接收输入信号的方式在通过输入单元510的信号路径和通过通信模块的信号路径之间执行信号路径切换。

例如，处理器540可以测量每个时间间隔的功率水平，以确定通过输入单元510的输入信号的存在或不存在。在一个实施例中，当存在输入信号时，处理器540可以分析输入信号并确定要激活的模式。例如，处理器可以确定输入信号是来自用户的信号、来自物件的信号还是与在数据库(DB)上登记的信号类似的信号。在一个实施例中，处理器540可以根据输入信号的特性来改变电子设备500的模式。例如，在确定输入信号是噪声时，电子设备500可以去除该输入信号(即噪声)。作为另一示例，如果在预设的持续时间内不存在功率水平高于给定阈值的输入信号，则处理器540可以在低功率模式下操作电子设备500的至少一部分。

在一个实施例中，电子设备500可以包括信号转换器531和535。例如，信号转换器531和535可以包括用于将通过输入单元510输入的模拟信号转换成数字信号的第一信号转换器531(例如模数转换器(ADC))、以及用于将数字信号转换为模拟信号以通过输出单元输出的第二信号转换器535(例如数模转换器(DAC))。

存储器580可以存储用于确定输入信号的类型的信息(例如关于用户的语音的信息、关于特定对象的声音或信号的信息)。存储器580可以存储电子设备500的模式信息、功能信息和听觉参数。例如，听觉参数可以包括关于电子设备的噪声衰减量、滤波器值、通过频率、截止频率、声音放大值、方向性以及用户适配参数的信息。

存储器580可以存储一个或多个指令，这些指令由处理器540执行以控制电子设备500执行相应的功能。

在各种实施例中，电子设备500可以包括图2所示的电子设备201的全部或一些组件。例如，电子设备500可以包括一个或多个传感器(例如加速度传感器、陀螺仪传感器、接近传感器、心率传感器、心电图传感器、脉搏传感器)。电子设备500可以使用传感器来获得至少部分与用户的身体状况、姿势和/或运动有关的数据。电子设备500可以将获得的数据或从获得的数据提取的信息发送到外部设备。

图6示出了根据本发明的各种实施例的电子设备630和外部电子设备610。

在各种实施例中，电子设备630和外部电子设备610可各自包括图1或2中所示的电子设备101或201的全部或一些组件。

在一个实施例中，电子设备630(例如听觉设备)可以与外部电子设备610(例如移动电子设备、蜂窝电话或平板电脑)通信。电子设备630和外部电子设备610可以无线配对(例如射频(RF)、近场磁感应(NFMI)、蓝牙或蓝牙低功耗音频(AoBLE))。例如，如果连接到电子设备630的外部电子设备610是移动终端，则电子设备630可以从移动终端接收与音乐回放、接收到的呼叫、警报或由第一麦克风获取的输入信号有关的声音信息6163。

在一个实施例中，电子设备630可以经由外部电子设备610来改变其配置设置。例如，电子设备630可以不具有单独的显示器并且可以包括有限的输入单元6340(例如按钮)。电子设备630可以是一种助听器并且可以包括多个滤波器模式音量设置(例如用于宽动态范围压缩(WDRC))。在这种情况下，当用户尝试设置电子设备630的模式或音量时，用户可能在通过输入单元6340(例如按钮等)检查配置状态或设置期望模式时感到不舒服。这里，当电子设备630与外部电子设备610协作操作时，有可能经由外部电子设备610来容易地设置或改变电子设备630的模式。例如，当使用包括各种输入装置(例如触摸键或按钮)和显示器的移动终端时，该移动终端可以向用户提供用户界面(UI)以控制电子设备630，并且用户可以经由提供的UI容易地改变电子设备630的设置。例如，用户可以通过向移动终端输入触摸输入而不直接操纵电子设备630来改变或控制电子设备630的音量。

在一个实施例中，电子设备630可以包括传感器单元6320。传感器单元6320可以包括接近传感器、加速度传感器、地磁传感器和生物传感器。电子设备630可以通过传感器单元6320识别它是否正在由用户佩戴。电子设备630可以根据它是否正在由用户佩戴来设置其电源控制模式。例如，当电子设备630包括加速度传感器时，电子设备630可以通过加速度传感器来感测用户的移动，并且如果没有检测到特定的动作，则可以在睡眠模式下操作。

在一个实施例中，与外部电子设备610连接的电子设备630(例如诸如移动电话或平板电脑的移动设备)可以清楚地从远程位置向用户递送声音。电子设备630可以再现存储在外部电子设备610中的声音材料。电子设备630可以将接收到的声音信息转换为音频文件或文本文件并将其存储在外部电子设备610中。例如，当第一外部电子设备610的第一麦克风6163被配置为远程麦克风时，电子设备630可以从外部电子设备610的第一麦克风6163接收音频信号。从外部电子设备610接收到的音频信号可以通过压缩操作被数据压缩。外部电子设备610可以经由无线通信单元6110(例如天线)向电子设备630发送数据。电子设备630可以通过无线通信单元6310(例如天线)接收数据、根据数据格式从接收到的数据中提取音频信息、解压缩音频信息并且将音频信息输出到第二扬声器6351。

电子设备630可以接收在外部电子设备610中存储的音频信号并且再现所接收的音频信号。例如，外部电子设备610可以存储多个通知声音。外部电子设备610可以根据用户的情况、系统状态、时间、消息的接收以及电子邮件消息的接收来向听觉设备发送不同的通知声音。电子设备630可以从外部电子设备610接收数据、根据相应的数据格式从接收到的数据中提取音频信息、解压缩音频信息并且将音频信息输出到第二扬声器6351。

电子设备630可以通过使用外部电子设备610来记录信号。电子设备630可以压缩音频数据并且存储经压缩的音频数据以用于外部电子设备610的有效使用。外部电子设备610可以使用语音到文本(STT)技术将音频信号转换为文本信息并存储经转换的文本信息。例如，外部电子设备610可以使用STT技术将经由电子设备630交换的对话数据存储为文本。在一个实施例中，外部电子设备610可以将诸如时间信息、传感器信息和位置信息的各种信息添加到所存储的会话文本数据。外部电子设备610可以将所存储的对话数据呈现在显示器上。在一个实施例中，外部电子设备610可以通过文本到语音(TTS)技术将文本信息转换成音频信号，并将该音频信号发送到电子设备630。电子设备630可以通过第二扬声器6351输出从外部电子设备610接收到的音频信号。

电子设备630可以将经由第二麦克风6353接收到的信号发送到外部电子设备610。外部电子设备610可以存储从电子设备630接收的信号。为了减少信号传输消耗的功率，电子设备630可以压缩要发送到外部电子设备610的数据。电子设备630可以包括用于压缩和解压缩音频数据的编解码器。外部电子设备610可以接收已经经由电子设备630的第二麦克风6353接收到的信号、通过STT技术将接收到的信号转换为文本数据并且存储该文本数据。外部电子设备610可以通过第一扬声器6161输出从电子设备630接收到的数据或存储的数据。

在一个实施例中，电子设备630和外部电子设备610可以通过使用它们的音频处理单元6350和6160(例如外部电子设备610的第一麦克风6163和第一扬声器6161、和电子设备630的第二麦克风6353和第二扬声器6351)来向用户提供远程位置之间的呼叫服务。

在各种实施例中，电子设备630可以与连接到外部电子设备610的另外的外部电子设备建立网络。例如，经由外部电子设备610，电子设备630可以与连接到外部电子设备610的不同电子设备交换数据。

在各种实施例中，电子设备630或外部电子设备610可以是配备有包括听觉设备或移动终端的麦克风或扬声器的各种电子设备之一。例如，电子设备630或外部电子设备610可以是包括多个麦克风的智能眼镜、头戴式显示器(HMD)或机器人。

图7示出了根据本发明的各种实施例的电子设备710和外部电子设备730之间的协作。

电子设备710可以通过麦克风从外部接收声音。电子设备710可以通过与外部电子设备730的通信来控制或改变其配置设置。例如，外部电子设备730可以存储电子设备710的配置应用。外部电子设备730可以通过使用电子设备710的配置应用来控制电子设备710的模式和音量。外部电子设备730可以在显示器上呈现电子设备710可用的配置模式的列表。外部电子设备730可根据经由输入单元(例如触摸屏)接收到的用户输入来改变电子设备710的音量或模式。在一个实施例中，外部电子设备730可以通过使用在传感器单元中包括的各种传感器(例如加速度传感器、陀螺仪传感器、生物计量传感器和接近传感器)来设置电子设备710的模式。例如，当用户左右或上下移动外部电子设备730时，外部电子设备730可通过传感器单元感测该移动。当感测到移动时，外部电子设备730可以向电子设备710发送对应于移动的输入信号，使得电子设备710可以相应地改变模式。作为另一示例，外部电子设备730可以通过使用生物测定传感器(例如指纹传感器)来控制电子设备710，使得电子设备710可以将模式改变为与用户的生物测定信息相对应的配置状态。

图8示出了根据本发明的各种实施例的在电子设备201或外部电子设备中使用的数据格式。

在一个实施例中，电子设备201(例如听觉设备)和外部电子设备可以使用图8中所示的数据格式进行通信。例如，电子设备201和外部电子设备可以无线通信。电子设备201和外部电子设备可以使用BLE(蓝牙低能量)格式作为用于无线通信的数据格式。电子设备201和外部电子设备可以使用作为BLE格式的修改版本的AoBLE(BLE音频)格式在无线通信期间交换音频信号。

在一个实施例中，电子设备201或外部电子设备可以包括L2CAP(逻辑链路控制和适配协议)层810、逻辑层820和物理层830。L2CAP层可以包括L2CAP信道。逻辑层可以包括逻辑链路821和逻辑传输823。物理层可以包括物理链路831和物理信道833。

在一个实施例中，数据格式可以由前导码840、访问地址850、协议数据单元(PDU)报头860、PDU有效载荷870和CRC(循环冗余校验)880组成。

在一个实施例中，访问地址850可以包括物理链路访问码。PDU报头860可以包括逻辑传输和链路标识符。PDU有效载荷870可以包括L2CAP帧和用户数据。在一个实施例中，PDU有效载荷870可以包括L2CAP报头871和有效载荷873。

在一个实施例中，PDU有效载荷870可以携带在电子设备201和外部电子设备之间交换的音频数据和设置数据，诸如音频处理单元(例如编解码器)的激活状态、采样率和帧大小。在一个实施例中，传输数据格式的L2CAP报头可以携带用于标识数据类型的操作码(OP码)。

图9描绘了根据本发明的各种实施例的电子设备905与外部电子设备903之间的信号流。

在一个实施例中，电子设备905(例如听觉设备)可以与外部电子设备903(例如移动终端)通信。电子设备905可以通过使用外部电子设备903来改变设置。

在操作910中，外部电子设备903可以从用户901接收用于与电子设备905的通信连接的输入(例如链路连接设置)。例如，外部电子设备903可以在显示器上输出包括电子设备905的可连接设备的列表。在从用户901接收到用于选择电子设备905(或另一设备)的输入时，外部电子设备903可尝试与所选择的电子设备905建立通信连接。

在操作920中，外部电子设备903可以向电子设备905发送链路连接请求。例如，外部电子设备903可以根据来自用户901的输入向电子设备905发送链路连接请求。

在操作930中，在对来自外部电子设备903的链路连接请求的应答中，电子设备905可将链路连接响应发送到外部电子设备903。在一个实施例中，当建立了与电子设备905的链路时，外部电子设备903可以显示通知链路建立的用户界面。

在操作940中，外部电子设备903可以向电子设备905发送信息请求。例如，外部电子设备903可以请求电子设备905发送设置特性。外部电子设备903可以请求电子设备905发送关于模式、功能和设置的信息。

在操作950中，电子设备905可以将所请求的信息发送到外部电子设备903。例如，电子设备905可以在对来自外部电子设备903的信息请求的应答中，向外部电子设备903发送设置信息。

在操作960中，外部电子设备903可以从用户接收听觉参数设置。在一个实施例中，外部电子设备903可以显示电子设备905的模式信息或至少一个可配置听觉参数。例如，外部电子设备903可以基于从电子设备905接收到的信息来显示电子设备905的设置数据或可配置听觉参数信息。外部电子设备903可以接收来自用户901的输入，用于在所显示的模式或听觉参数中选择至少一个模式或听觉参数。

在操作970中，外部电子设备903可以向电子设备905发送关于根据来自用户901的输入所选择的模式或听觉参数的信息。例如，外部电子设备903可以向电子设备905发送根据来自用户901的输入所选择的特定模式设置值。

在操作980中，电子设备905可以向外部电子设备903发送配置完成响应。在一个实施例中，电子设备905可以基于从外部电子设备903接收到的听觉参数或模式设置值来更新音频处理单元(例如编解码器)的过滤器信息。例如，电子设备905可以根据接收到的听觉参数或模式设置值来改变从外部接收声音的方向性、用于过滤接收到的声音信息的滤波器值以及截止频带(或者通频带)。在根据接收到的设置值改变设置之后，电子设备905可以向外部电子设备903发送配置完成响应。

在一个实施例中，电子设备905可以基于被配置的模式或听觉参数来处理从外部接收到的声音信息并且通过扬声器(或接收器)输出。

图10描绘了其中根据本发明的各种实施例的电子设备1000与多个外部电子设备1010和1020通信的情况。

在一个实施例中，电子设备1000可以与多个外部电子设备(例如第一外部电子设备1010和第二外部电子设备1020)或网络1040通信。

例如，电子设备1000可以与第一外部电子设备1010连接(第一通信1001)。电子设备1000可以与第一外部电子设备1010交换数据。例如，电子设备1000可以经由第一外部电子设备1010设置其音频过滤器信息。具体地，电子设备1000可以从第一外部电子设备1010接收用于设置音频滤波器信息的指令或数据。

电子设备1000可以经由第一外部电子设备1010连接到第二外部电子设备1020或网络1040，并且可以与第一外部电子设备1010、第二外部电子设备1020或者网络1040交换数据。例如，第一外部电子设备1010可以与第二外部电子设备1020连接(第三通信1003)。第二外部电子设备1020可以连接到网络1040(第四通信1004)。在这种情况下，电子设备1000可以通过将第一外部电子设备1010用作中继终端来向第二外部电子设备1020或网络1040发送数据、以及从第二外部电子设备1020或网络1040接收数据。在一个实施例中，电子设备1000可以通过使用由第一外部电子设备1010提供的通信协议与第二外部电子设备1020或网络1040交换数据。例如，电子设备1000可以经由NFMI或BLE与第一外部电子设备1020建立第一通信1001。第一外部电子设备1010可以经由Wi-Fi与第二外部电子设备1020或网络1040(包括经由网关的连接)建立第三通信1003。电子设备1000可以经由NFMI或BLE向第一外部电子设备1010发送数据并从第一外部电子设备1010接收数据，并且第一外部电子设备1010可以经由Wi-Fi将从电子设备1000接收的数据发送到第二外部电子设备1020或网络1040并且经由Wi-Fi从第二外部电子设备1020或网络1040接收去往电子设备1000的数据。例如，电子设备1000可以经由第一外部电子设备1010从网络1040下载适配(音频过滤器)数据。作为另一示例，电子设备1000可以经由第一外部电子设备1010接收在第二外部电子设备1020中存储的音频数据信息并输出接收到的音频数据信息。

电子设备1000可以连接到第二外部电子设备1020(第二通信1002)。电子设备1000可以支持用于与第二外部电子设备1020或网络1040进行通信的标准。例如，电子设备1000可以提供电话标准(例如3G或LTE)。电子设备1000可以连接到用于通信的基站并向用户提供呼叫服务。

根据本发明的实施例，电子设备可以包括：至少一个麦克风，被配置用于从外部获取声音并且感测声音的方向；扬声器，被配置用于输出声音；通信电路，被配置用于从外部电子设备接收音频数据；与至少一个麦克风、扬声器和通信电路电连接的处理器；以及电连接到处理器的至少一个存储器。

存储器可以存储指令，该指令在被执行时使得处理器：基于由至少一个麦克风获取的声音数据来识别声音方向；确定接收到的音频数据与由麦克风获取的声音数据之间的相似度；并且基于关于相似度和声音方向的信息来处理要通过扬声器输出的声音数据。

在一个实施例中，电子设备可以进一步包括具有被配置为可拆卸地连接到用户耳朵的部分的壳体。在一个实施例中，所述至少一个麦克风、扬声器、通信电路、处理器和存储器可以被包括在壳体中。

在一个实施例中，所述指令可以使得处理器：调整要通过扬声器输出的声音数据中的与接收到的音频数据相对应的声音的输出水平或与获取的声音数据相对应的声音的输出水平。

在一个实施例中，所述指令可以使得处理器：将声音方向与预设参考方向进行比较；并根据比较结果处理要输出的声音数据。

在一个实施例中，所述指令可以使得处理器：基于相似度和声音方向来设置关于参考方向的信息。

在一个实施例中，所述指令可以使得处理器：确定接收到的音频数据和由麦克风获取的声音数据之间的相似度；并且如果相似度高于或等于预设阈值，则降低与获取声音数据对应的声音的输出水平。

在一个实施例中，如果相似度低于预设阈值，则所述指令可以使处理器增加与获取声音数据相对应的声音的输出水平。

在一个实施例中，所述指令可以使得处理器：如果相似度低于预设阈值，则通过扬声器输出通知或者向外部电子设备发送输出通知消息的命令。

在一个实施例中，所述指令可以使得处理器：根据从第二外部电子设备接收到的信号或数据来调整与接收到的音频数据对应的声音的输出水平或与获取的声音数据对应的声音的输出水平。

在一个实施例中，电子设备还可以包括被配置用于感测电子设备的状态、姿态或运动的传感器。

在一个实施例中，所述指令可以使得处理器：至少部分地基于通过传感器感测到的电子设备的状态、姿态或运动来设置参考方向信息。

在一个实施例中，所述指令可以使得处理器：从由麦克风获取的声音数据中提取相对于参考方向在给定方向范围内获取的声音数据；并调整与提取的声音数据相对应的声音的输出水平。

在一个实施例中，所述指令可以使得处理器：基于从外部电子设备接收到的信号来识别外部电子设备所处的方向；从所获取的声音数据中提取在相对于外部电子设备的方向的给定方向范围内获取的声音数据；并调整与提取的声音数据相对应的声音的输出水平。

根据本发明的实施例，听觉设备可以包括：至少一个麦克风，被配置用于从外部获取声音；扬声器，被配置用于输出声音；通信电路，被配置用于从外部电子设备接收音频数据；与至少一个麦克风、扬声器和通信电路电连接的处理器；以及电连接到处理器的至少一个存储器。存储器可存储指令，所述指令在被执行时使处理器：将通过通信电路接收到的音频数据与麦克风获取的声音数据进行比较；将通过麦克风获取的声音数据通过扬声器作为声音输出。

在一个实施例中，所述指令可以使得处理器：确定通过通信电路接收到的音频数据与由麦克风获取的声音数据之间的相似度；并且基于相似度确定已经发送了音频数据的外部电子设备的方向。

在一个实施例中，所述指令可以使处理器：基于所获取的声音数据来识别接收到由所述麦克风获取的声音的方向；并且基于声音获取方向与外部电子设备的方向之间的比较结果，调整与由麦克风获取的声音数据对应的扬声器输出声音的输出水平。

在一个实施例中，所述指令可以使处理器：如果所述声音获取方向与所述外部电子设备的方向匹配，则降低与由所述麦克风获取的所述声音数据对应的声音的输出水平；并且如果声音获取方向与外部电子设备的方向不匹配，则增加与由麦克风获取的声音数据对应的声音的输出水平。

在一个实施例中，所述指令可以使得处理器：通过扬声器输出与接收到的音频数据对应的声音以及与麦克风获取的声音数据对应的声音。

在一个实施例中，所述指令可以使得处理器：确定接收到的音频数据与由麦克风获取的声音数据之间的相似度；如果所述相似度高于或等于预设阈值，则将接收到的音频数据对应的声音的输出水平设置为高于与由麦克风获取的声音数据对应的声音的输出水平；并且如果相似度低于预设阈值，则将与接收到的音频数据对应的声音的输出水平设置为低于与由麦克风获取的声音数据对应的声音的输出水平。

图11是根据本发明各个实施例的电子设备的操作控制方法的流程图。

在操作1110中，电子设备可以识别从外部设备接收到的每个音频数据的输出增益和由麦克风获取的声音数据的输出增益。例如，电子设备可以检查接收到的音频数据和麦克风获取的声音数据之间的混合比率。电子设备可以检查将通过扬声器输出的声音数据中与音频数据相对应的声音的输出水平和与获取的声音数据相对应的声音的输出水平。电子设备可以确定对应于音频数据的声音和对应于获取的声音数据的声音中的哪一个将更大声地输出。例如，电子设备可以仅输出与音频数据对应的声音、仅输出与麦克风获取的声音数据相对应的声音或者以特定比率将对应于音频数据的声音和对应于获取的声音数据的声音混合并输出混合后的声音。电子设备可以检查针对接收到的音频数据和获取的声音数据设置的输出水平或者它们之间的混合比率。

在操作1120中，电子设备可以从外部设备接收音频数据。例如，电子设备可以从外部设备接收流式音频信号。电子设备可以通过无线通信从智能电视或音频设备接收音频数据。

在一个实施例中，在从外部设备接收到音频数据之后，电子设备可以通过扬声器输出与接收到的音频数据相对应的声音。例如，电子设备可以基于在操作1110识别的输出增益来输出与接收到的音频数据相对应的声音。

在操作1130中，电子设备可以通过使用麦克风从外部获取声音。例如，电子设备可以从外部(即从用户以外的扬声器)获取声音。电子设备可以至少暂时将获取的声音数据存储在存储器中。例如，电子设备可以将获取的声音数据转换为数字数据并将数字数据存储在存储器中。在一个实施例中，电子设备可以包括用于将获取的声音(即模拟信号)转换为数字信号的转换器。

在一个实施例中，电子设备可以通过扬声器输出与由麦克风获取的声音数据对应的声音。例如，电子设备可以基于在操作1110中识别的输出增益来输出与获取的声音数据相对应的声音。

在操作1140中，电子设备可以识别获取声音的方向。电子设备可以从获取的声音数据获得关于获取声音的方向的信息。例如，电子设备可以通过使用一个或多个麦克风来获取声音。电子设备可以分析由多个麦克风获取的声音数据并识别获取声音的方向。

在操作1150中，电子设备可以确定声音获取方向是否与外部电子设备的方向匹配。在一个实施例中，电子设备可以基于从外部设备接收到的信号来识别外部设备的位置或方向。例如，电子设备可以基于从外部设备接收的音频数据或无线信号来识别外部设备的方向。在一个实施例中，电子设备可以接收由外部设备的扬声器输出的声音并且基于接收到的声音来识别外部设备的方向。电子设备可以将声音获取方向与外部设备的方向进行比较。

如果声音获取方向与外部设备的方向不匹配，则在操作1160中，电子设备可以增加获取的声音数据的输出增益。

例如，当电子设备(例如听觉设备)的用户观看或收听电视等时(即电子设备输出与从外部设备(例如电视或音频设备)接收到的音频信号对应的声音)，用户可能需要听到附近另一个人的讲话。例如，如果由麦克风获取的声音不在外部设备的方向上，则获取的声音数据可能不同于从外部设备接收到的音频数据(或者外部设备的扬声器输出的声音)。

在一个实施例中，如果获取的声音不在外部设备的方向上，则电子设备可以增加获取的声音数据的输出增益。例如，电子设备可以增加与获取的声音数据相对应的声音的输出音量。电子设备可以通过调整接收到的音频数据和获取的声音数据之间的混合比率来增加与获取的声音数据相对应的声音的相对输出水平。电子设备可以调整应用于要通过扬声器输出的声音数据的滤波器值。

如果声音获取方向与外部设备的方向匹配，则在操作1170中，电子设备可以降低获取的声音数据的输出增益。在一个实施例中，当接收音频数据时，电子设备可以将由麦克风获取的声音的输出水平设置为低。例如，当电子设备从电视接收音频数据时，用户可能正在观看电视。此时，电子设备可以通过扬声器输出经由无线通信从电视接收的音频数据。为了防止观看电视的用户听到周围的噪声，电子设备可以不输出与由麦克风获取的声音数据对应的声音。例如，从电视接收的音频数据和通过电视扬声器输出的声音可以是相同的。当电子设备输出从电视接收的音频数据和与由麦克风从周围环境获取的声音数据相对应的声音时(即从电视扬声器输出的声音)，对应于音频数据的声音和与麦克风获取的声音数据对应的声音可能相互干扰，从而引起回声现象。因此，当从外部设备接收音频数据时，电子设备可以不输出与麦克风获取的声音数据对应的声音或者可以以低音量输出与麦克风获取的声音数据对应的声音。

在各种实施例中，电子设备可以以不同的顺序执行图11中所示的全部或一些操作。举例来说，电子设备可以在执行了接收音频数据的操作1120和获取声音数据的操作1130之后再执行识别输出增益的操作1110。

在各种实施例中，电子设备可以根据由麦克风获取的声音的方向来调整要通过扬声器输出的声音的混合比率。因此，在听到从外部设备接收到的没有回声或噪声的音频数据的同时，用户可以听到由麦克风获取的与外部设备无关的环境声音(例如另一个人的语音)。

图12是根据本发明各个实施例的电子设备的操作控制方法的流程图。

在操作1210中，电子设备可以识别从外部设备接收到的每个音频数据的输出增益以及由麦克风获取的声音数据的输出增益。例如，电子设备可以检查用于放大接收到的音频数据和获取的声音数据的增益，以通过扬声器输出与接收到的音频数据相对应的声音和与获取的声音数据相对应的声音。电子设备可以检查接收到的音频数据和由麦克风获取的声音数据之间的混合比率。电子设备可以检查将通过扬声器输出的声音数据中的与音频数据相对应的声音的输出水平和与获取的声音数据相对应的声音的输出水平。电子设备可以检查为音频数据和获取的声音数据设置的输出水平或者它们之间的混合比率。

在操作1220中，电子设备可以从外部设备接收音频数据。在一个实施例中，在从外部设备接收到音频数据之后，电子设备可以通过扬声器输出与接收到的音频数据相对应的声音。

在操作1230中，电子设备可以通过使用麦克风从外部获取声音。在一个实施例中，电子设备可以至少将获取的声音数据暂时存储在存储器中。电子设备可以通过扬声器输出与由麦克风获取的声音数据对应的声音。

在操作1240中，电子设备可以比较接收到的音频数据和获取的声音数据。在一个实施例中，为了与接收到的音频数据进行比较，电子设备可以将由麦克风获取的声音数据的格式转换为与音频数据匹配的格式。

例如，外部电子设备可以将音频数据传输到电子设备，并且同时通过其扬声器输出对应于音频数据的声音。电子设备可以从外部电子设备无线地接收音频数据，并且同时通过其麦克风获取与由外部电子设备输出的音频数据相对应的声音。电子设备可以同时接收彼此相关联的音频数据和声音数据。在一个实施例中，电子设备可以将从外部电子设备接收到的音频数据与通过转换由麦克风获取的声音数据而获得的数据进行比较。

在操作1250中，电子设备可以确定接收到的音频数据是否与获取的声音数据相似。例如，电子设备可以检查接收到的音频数据和获取的声音数据之间的相似度。电子设备可以确定接收到的音频数据是否与获取的声音数据相关联。电子设备可以确定接收到的音频数据和获取的声音数据是否与相同的音频信息共同相关。

如果接收到的音频数据与获取的声音数据不相似，则在操作1260中，电子设备可以增加获取的声音数据的输出增益。例如，如果相似度低于预设阈值，则电子设备可以增加获取的声音数据的输出增益。

例如，当电子设备(例如听觉设备)输出与从外部设备接收的音频数据对应的声音时，电子设备可能需要向用户提供外部声音(例如用户以外的人的语音)。

在一个实施例中，如果接收到的音频数据与获取的声音数据不相似，则电子设备可以增加与获取的声音数据相对应的声音的输出音量。电子设备可以通过调整接收到的音频数据和获取的声音数据之间的混合比率来增加与获取的声音数据相对应的声音的相对输出水平。

如果接收到的音频数据与获取的声音数据相似，则在操作1270中，电子设备可以降低获取的声音数据的输出增益。例如，如果相似度高于或等于预设阈值，则电子设备可以降低获取的声音数据的输出增益。

例如，从电视接收到的音频数据和通过电视扬声器输出的声音可以是相同的。当电子设备输出从电视接收到的音频数据和与麦克风从周围环境(即从电视扬声器输出的声音)获取的声音数据对应的声音时，与音频数据对应的声音和与由麦克风获取的声音数据相对应的声音可能相互干扰，从而引起回声现象。因此，当从外部设备接收到音频数据时，电子设备可以不输出与由麦克风获取的声音数据相对应的声音或者可以以低音量输出与由麦克风获取的声音数据相对应的声音。

在各种实施例中，电子设备可以以不同的顺序来执行图12中所示的全部或一些操作。例如，电子设备可以在执行了用于接收音频数据的操作1220和用于获取声音数据的操作1230之后再执行用于识别输出增益的操作1210。

在各种实施例中，电子设备可以根据从外部设备接收到的音频数据与由麦克风获取的声音数据之间的相似度的级别来调整要通过扬声器输出的声音的混合比率。因此，在听到从外部设备接收到的音频数据而没有回声或噪音的时候，用户可以听到由麦克风获取的与外部设备无关的环境声音(例如，除由外部装置输出的声音之外的声音)。

图13是根据本发明各个实施例的电子设备的操作控制方法的流程图。

在操作1310中，电子设备可以从外部电子设备接收音频数据。例如，电子设备(例如听觉设备)可以通过无线通信从外部电子设备(例如智能电视或音频设备)接收音频数据。

在操作1320中，电子设备可以通过使用麦克风从外部获取声音。例如，在从外部电子设备接收到音频数据的同时，电子设备可以通过麦克风从外部获取声音。电子设备可以至少将获取的声音数据暂时存储在存储器中。

在操作1330中，电子设备可以从获取的声音数据获得关于获取声音的方向的信息。例如，电子设备可以识别通过使用一个或多个麦克风来获取的声音的方向。电子设备可以从获取的声音数据获得并存储关于获取声音的方向的信息。

在操作1340中，电子设备可以基于关于获取声音的方向的信息来处理要通过扬声器输出的声音数据。例如，电子设备可以基于关于声音获取方向的信息来调整输出声音的混合比率。电子设备可以调整输出声音中从外部电子设备接收到的音频数据与麦克风获取的声音数据之间的音量混合比率。例如，如果声音获取方向与预设的参考方向匹配，则电子设备可以降低与获取的声音数据相对应的声音的相对输出水平(或输出增益)。如果声音获取方向与预设的参考方向不匹配，则电子设备可以增加与获取的声音数据相对应的声音的相对输出水平(或输出增益)。在一个实施例中，电子设备可以根据由麦克风获取的声音的方向来调整要通过扬声器输出的声音的输出水平。

在各种实施例中，电子设备可以根据由麦克风获取声音的方向来处理要通过扬声器输出的声音数据。因此，电子设备可以调整分别与从外部电子设备接收的音频数据和由麦克风获取的声音数据对应的声音的相对输出水平。

图14描绘了根据本发明的各种实施例的电子设备的操作。

在一个实施例中，电子设备1410可以从外部电子设备1420无线地接收音频数据1421。例如，电子设备1410可以经由公知的无线通信方案从外部电子设备1420(例如智能电视或智能音频设备)接收包括音频数据的信号1421。在接收音频数据1421的同时，电子设备1410可以通过麦克风从外部获取声音1423和1435。例如，电子设备1410可以获取由外部电子设备1420的扬声器输出的声音1423。电子设备1410可以获取环境声音(例如另一个人1430的语音信号1435)。

在一个实施例中，电子设备1410可以根据获取声音1423或1435的方向来处理要通过扬声器输出的声音数据。例如，电子设备1410可以根据声音获取方向不同地放大由麦克风获取的声音1423和1435，并通过扬声器输出放大后的声音数据。电子设备1410可以调整分别与从外部电子设备1420接收的音频数据1412和由麦克风获取的声音1423和1435对应的输出声音的相对水平。

在一个实施例中，电子设备1410可以根据麦克风获取声音1423或1435的方向是否与预设方向(或者是位于预设的方向范围内)匹配来针对获取的声音1423和1435设置不同的输出增益。例如，电子设备1410可以针对在外部电子设备1420的方向上(例如区域R1)获取的声音1423设置小的放大值，并且可以针对不同于外部电子设备的方向(例如区域R2)的方向上获取的声音1435设置大的放大值。

在一个实施例中，电子设备1410可以设置参考方向信息。例如，电子设备1410可将关于电子设备1410的特定方向或特定方向范围设置为参考方向。电子设备可以将外部电子设备1420的方向或相对于外部电子设备1420的方向的某个范围(R1)设置为参考方向。在一个实施例中，电子设备1410可根据从外部电子设备1420接收的音频数据1421与由麦克风获取的声音数据1423或1435之间的比较结果来设置参考方向。例如，电子设备1410可以确定由音频数据1421与麦克风获取的声音数据1423或1435之间的相似度。电子设备1410可将由麦克风获取的声音数据1423或1435的格式转换为与从外部电子设备1420接收的音频数据1421的格式相同的格式。例如，电子设备1410可将由麦克风获取的声音数据1423或1435转换为数字数据(数字信号)。电子设备1410可以设置其中音频数据1421和由麦克风获取的声音数据1423或1435之间的相似度高于或等于预设阈值的方向范围(即，其中音频数据1421被发现等于或相似于麦克风获取的声音数据1423或1435的方向范围)为参考方向(即，范围R1)。电子设备1410可以识别由麦克风获取声音数据1423或1435的方向，并且根据声音获取方向是否于参考方向(R1)匹配来调整要通过扬声器输出的对应于麦克风获取的声音数据1423或1435的声音的输出水平。例如，如果声音获取方向与参考方向(R1)匹配，则电子设备1410可以降低与由麦克风获取的声音数据1423相对应的声音的输出水平。如果声音获取方向与参考方向(R1)不同，则电子设备1410可以增加与由麦克风获取的声音数据1435相对应的声音的输出水平。例如，由外部电子设备1420发送的信号(音频数据)1421和由外部电子设备1420输出的声音1423可以包括相同的音频信息。在这种情况下，当电子设备1410通过扬声器一起输出分别与来自外部电子设备1420的声音数据1423和音频数据1421对应的声音时，可能由于回声现象或者不同步而难以向用户提供精确的音频信息。因此，当从外部电子设备1420接收音频数据1421时，电子设备1410可以不输出与在外部电子设备1420的方向上获取的声音数据1423相对应的声音，或者以低音量输出与声音数据1423对应的声音。电子设备1410可以以相对高的音量输出与在与外部电子设备1420的方向不同的方向上获取的声音数据1435相对应的声音。例如，电子设备1410可以以高于或等于与音频数据1421(从外部电子设备1420接收的)相对应的声音的音量的音量，输出与在不同于外部电子设备1420的方向的方向上获取的声音数据1435对应的声音。

在一个实施例中，电子设备1410可以根据外部电子设备1420的方向来指定预设方向或范围(R1)。例如，电子设备1410可以基于从外部电子设备1420接收到的信号(例如音频数据1421)来识别外部电子设备1420的位置。一旦识别外部电子设备1420的位置，电子设备1410可指定包括外部电子设备1420的方向或位置的特定范围R1。电子设备1410可针对在指定方向或范围内获取的声音数据来设置低的输出增益。

在一个实施例中，电子设备1410可根据从外部电子设备1420接收到的音频数据1421与由麦克风获取的声音数据1423或1435之间的比较结果来指定预设方向或范围。例如，电子设备1410可以将获取的声音数据1423或1435的格式转换为与音频数据1421的格式相同的格式。电子设备1410可以识别接收到的音频数据1421和所获取的声音数据1423或1435之间的相似度。电子设备1410可以确定接收到的音频数据1421与获取的声音数据1423或1435之间的相似度是否高于或等于预设阈值。

例如，如果音频数据1421与获取的声音数据1423类似，则电子设备1410可以将声音获取方向或包括声音获取方向的特定范围R1指定为预设方向或者范围。如果音频数据1421不同于获取的声音数据1435，则电子设备1410可以将对应的声音获取方向指定为与预设方向或范围不同的单独方向或范围(R2)。

在一个实施例中，电子设备1410可以根据由麦克风获取声音1423或1435的方向是否处于预设方向或范围内来为获取的声音数据1423和1435设置不同的输出增益。例如，电子设备1410可以根据麦克风获取声音数据1423或1435的方向是否处于预设方向或范围(R1)中来改变获取的声音数据1423或1435的扬声器输出音量。

图15描绘了根据本发明的各种实施例的电子设备的操作。

在一个实施例中，电子设备1510可以被用户1501佩戴为可佩戴设备。例如，电子设备1510(例如听觉设备)可以包括具有被配置为可移除地可附接到用户1501的耳朵的部分的壳体。

在一个实施例中，电子设备1510(例如听觉设备)可以从第一外部设备1520(例如智能电视)无线地接收音频数据。在从第一外部设备1520接收音频数据的同时，电子设备1510可以使用麦克风从外部获取声音1523和1535。例如，电子设备1510可以获取由第一外部设备1520输出的声音1523。电子设备1510可以获取由不同的人1530发出的声音1535。

在一个实施例中，电子设备1510可使用扬声器来输出分别与从第一外部设备1520接收到的音频数据1521和从外部获取的声音数据1523和1535对应的声音。

在一个实施例中，电子设备1510可以通过处理要通过扬声器输出的声音数据来调整音频数据1521和由麦克风获取的声音数据1523和1535之间的音量混合比率。例如，与对应于音频数据1521的声音相比，电子设备1510可以以相同音量、相对较高音量或以相对较低音量输出与由麦克风获取的声音数据1523和1535对应的声音。

在一个实施例中，电子设备1510可根据音频数据1521和由麦克风获取的声音数据1523和1535之间的相似度(或相关度)来调整要通过扬声器输出的声音之间的音量混合比率。例如，当音频数据1521与获取的声音数据1523之间的相似度或相关度高于或等于预设阈值(例如，由麦克风获取的声音1523和1535中第一外部设备1520输出的声音1523的能量比高于或等于预设值)，电子设备1510可降低与由麦克风获取的声音数据1523和1535对应的声音的相对输出水平。当音频数据1521与获取的声音数据1523之间的相似度或相关度低于预设阈值时(例如，由麦克风从第一外部设备1520的外部获取环境声音1535、或者在由麦克风一起获取的声音1523和1535中环境声音1535的能量比高于或等于预设值)，电子设备1510可以增加与由麦克风获取的声音数据1523和1535对应的声音的相对输出水平。例如，由第一外部设备1520发送的音频数据1521和由第一外部设备1520的扬声器输出的声音1523可以对应于相同的音频信息。在这种情况下，当由第一外部设备1520输出的声音1523的幅度大于环境声音1535的幅度时，由电子设备1510接收的音频数据1521与由麦克风获取的声音数据1523和1535之间的相似度可能是相对高的。相反，当环境声音1535的幅度大于第一外部设备1520输出的声音1523的幅度时，电子设备1510接收到的音频数据1521与由麦克风获取的声音数据1523和1535之间的相似度可能是相对低的。在一个实施例中，电子设备1510可以使用扬声器来输出分别与音频数据1521和获取的声音数据1523和1535对应的声音。如果音频数据1521和获取的声音数据1523和1535之间的相似度高于或等于预设阈值，则电子设备1510可以为与音频数据1521相对应的声音设置相对高的输出水平。如果音频数据1521与获取的声音数据1523和1535之间的相似度低于预设阈值，则电子设备1510可以为与获取的声音数据1523和1535对应的声音设置相对高的输出水平。

在一个实施例中，电子设备1510可以与第二外部设备1540(例如移动终端)协作操作并且使第二外部设备1540在显示器上呈现设置的音量混合比率。例如，第二外部设备1540可以基于从电子设备1510接收到的信号或数据来显示由电子设备1510输出的声音的混合比率。

在一个实施例中，当从第一外部设备1520接收音频数据1521时，电子设备1510可以降低由麦克风获取的声音1523和1535的输出增益。例如，当用户1501观看智能电视时，电子设备1510可以从智能电视接收音频数据1521。为了在用户1501正在观看电视时阻止外部噪声并消除由第一外部设备1520发送的音频数据1521与由第一外部设备1520输出的声音数据1523之间的重叠引起的回声现象，电子设备1510可以降低由麦克风获取的声音1523和1535的输出增益。例如，电子设备1510可以仅输出对应于音频数据1521的声音，使得用户1501可以仅收听与从智能电视接收到的音频数据1521对应的声音。电子设备1510可以针对将通过扬声器输出的声音中的由麦克风获取的声音1523和1535的输出音量设置为零或者设置为一个小的值。

在一个实施例中，电子设备1510可以识别从外部获取声音1523或1535的方向。电子设备1510可以根据由麦克风获取声音1523或1535的方向来不同地设置输出音量。例如，电子设备1510可以为在第一外部设备1510的方向上获取的声音1523设置相对低的输出音量，并且为与第一外部设备1510的方向不同的方向上获取的声音1535设置相对高的输出音量。

在一个实施例中，电子设备1510可以基于从第二外部设备1540接收到的信号或数据来调整要通过扬声器输出的声音之间的音量混合比率。例如，当第二外部设备1540从用户1501接收用于调整音量混合比率的输入时，电子设备1510可从第二外部设备1540接收与用户1501的输入相对应的信号或数据并根据接收到的信号或数据来改变音量混合比率。

图16描绘了根据本发明的各种实施例的电子设备的操作。

在一个实施例中，电子设备1610(例如听觉设备)可以从外部电子设备1620(例如智能电视)无线地接收音频数据。在从外部设备1620接收音频数据时，电子设备1610可使用麦克风从外部获取声音1623和1635。

在一个实施例中，电子设备1610可使用扬声器来输出分别与从外部设备1620接收到的音频数据1621和从外部获取的声音数据1623和1635对应的声音。

在一个实施例中，电子设备1610可以通过处理要通过扬声器输出的声音数据来调整音频数据1621与由麦克风获取的声音数据1623和1635之间的音量混合比率。例如，与对应于音频数据1621的声音相比，电子设备1610可以以相同的音量、相对较高的音量或以相对较低的音量来输出与由麦克风获取的声音数据1623和1635对应的声音。

在一个实施例中，当从外部设备1620接收音频数据1621时，电子设备1610可以降低由麦克风获取的声音1623和1635的输出增益。例如，电子设备1610可以针对将通过扬声器输出的声音中的由麦克风获取的声音1623和1635的输出音量设置为零或者设置为一个小的值。

在一个实施例中，当麦克风从外部获取具有预设水平(强度)或更高水平的声音时、或者当预设时间或更长时间内接收到不同于无线电信号的声音(例如，来自于外部电子设备1620的音频数据1621)时，电子设备1610可以增加与由麦克风获取的声音数据1623和1635对应的声音的输出音量。例如，当用户1601正在观看智能电视时，当附近的人1630不停地说话或者大声说话时，用户1601可以识别环境声音(例如人1630的语音)并且增加由麦克风获取的声音(来自人1630的语音信号1635)的输出音量。例如，电子设备1610可以确定接收到的音频数据1621与由麦克风获取的声音数据1623和1635之间的相似度。如果音频数据1621与所获取的声音数据1623或1635不同(即获取与外部电子设备1620不相关的环境声音(例如附近的人1630的语音信号1635))，则电子设备1610可以为与麦克风获取的声音数据1623或1635对应的声音设置高的音量水平。

在一个实施例中，电子设备1610可以根据由麦克风获取声音1623或1635的方向来处理要通过扬声器输出的声音数据。例如，电子设备1610可根据声音获取方向不同地放大由麦克风获取的声音数据1623或1635，并通过扬声器输出放大后的声音数据。电子设备1610可调整分别于从外部电子设备1620接收到的音频数据1612和由麦克风获取的声音1623和1635对应的输出声音的相对水平。

在一个实施例中，电子设备1610可以根据由麦克风获取声音1623或1635的方向是否与预设方向匹配(或者是在预设的方向范围内)来为获取的声音1623和1635设置不同的输出增益。例如，电子设备1610可以为在外部电子设备1620的方向上(例如外部电子设备1620周围的方向范围)获取的声音1623设置小的放大值，并且可以为不同于外部电子设备1620的方向的方向上(例如外部电子设备1620周围的给定范围之外的范围)获取的声音1635设置大的放大值。

在一个实施例中，电子设备1610可以设置参考方向信息。例如，电子设备1610可将相对于电子设备1610的特定方向或特定方向范围设置为参考方向。电子设备可以将相对于外部电子设备1620的外部电子设备1620的方向或某个范围设置为参考方向。在一个实施例中，电子设备1610可根据从外部电子设备1620接收到的音频数据1621与由麦克风获取的声音数据1623或1635之间的比较结果来设置参考方向。例如，电子设备1610可以确定音频数据1621与由麦克风获取的声音数据1623或1635之间的相似度。电子设备1610可以将音频数据1621与由麦克风获取的声音数据1623或1635之间的相似度高于或等于预设阈值的方向范围设置为参考方向。电子设备1610可以识别麦克风获取声音数据1623或1635的方向，并且根据声音获取方向是否与参考方向匹配来调整与麦克风获取的声音数据1623或1635对应的要通过扬声器输出的声音的输出水平。例如，如果声音获取方向与参考方向匹配，则电子设备1610可以降低与由麦克风获取的声音数据1623相对应的声音的输出水平。如果声音获取方向与参考方向不同，则电子设备1610可以增加与由麦克风获取的声音数据1635相对应的声音的输出水平。例如，由外部电子设备1620发送的信号(音频数据)1621和由外部电子设备1620输出的声音1623可以包括相同的音频信息。当从外部电子设备1620接收到音频数据1621时，电子设备1610可以不输出与在外部电子设备1620的方向上获取的声音数据1623相对应的声音，或者以低音量输出与声音数据1623对应的声音。电子设备1610可以以相对高的音量输出与在与外部电子设备1620的方向不同的方向上获取的声音数据1635相对应的声音。例如，电子设备1610可以以高于或等于与从外部电子设备1620接收到的音频数据1621相对应的声音的音量的音量来输出与在不同于外部电子设备1620的方向的方向上获取的声音数据1635相对应的声音。

在一个实施例中，电子设备1610可以根据外部电子设备1620的方向来指定预设方向或范围。例如，电子设备1610可以基于从外部电子设备1620接收到的信号(例如音频数据1621)来识别外部电子设备1620的位置。一旦识别了外部电子设备1620的位置，则电子设备1610可指定包括外部电子设备1620的方向或位置的特定范围。电子设备1610可以为在指定方向或范围获取的声音数据设置低的输出增益。

在一个实施例中，电子设备1610可根据从外部电子设备1620接收到的音频数据1621与由麦克风获取的声音数据1623或1635之间的比较结果来指定预设方向或范围。例如，电子设备1610可以将获取的声音数据1623或1635的格式转换为与音频数据1621的格式相同的格式。电子设备1610可以识别接收到的音频数据1621与所获取的声音数据1623或1635之间的相似度。电子设备1610可确定接收到的音频数据1621与获取的声音数据1623或1635之间的相似度是否高于或等于预设阈值。

例如，如果音频数据1621与获取的声音数据1623类似，则电子设备1610可以将声音获取方向或包括声音获取方向的特定范围指定为预设方向或范围。如果音频数据1621与获取的声音数据1635不同，则电子设备1610可以将对应的声音获取方向指定为与预设方向或范围不同的单独方向或范围。

在一个实施例中，电子设备1610可以根据由麦克风获取声音1623或1635的方向是否处于预设方向或范围(R1)内来为获取的声音数据1623和1635设置不同的输出增益。例如，电子设备1610可以根据由麦克风获取声音数据1623或1635的方向是否处于预设方向或范围(R1)来针对获取的声音数据1623或1635改变扬声器输出音量。

在一个实施例中，电子设备1610可以在输出与从外部设备1620接收到的音频数据1621对应的声音的同时将麦克风的方向设置在特定方向上。例如，当麦克风从外部获取具有预设水平(强度)或更高水平的声音时，或者当预设时间或更长时间内接收到与来自外部电子设备1620的无线电信号不同的声音(例如，从外部电子设备1620接收到的音频数据1621)时，电子设备1610可以在获取声音的方向上设置麦克风方向。在一个实施例中，电子设备1610可以通过多个麦克风获取声音。电子设备1610可以通过使用获取声音的麦克风之间的到达时间差来识别所获取的声音的方向。例如，电子设备1610可以通过分析当各个麦克风获取相同声音时的时间差来识别声音获取方向。在一个实施例中，在识别声音获取方向之后，电子设备1610可以将麦克风方向设置为声音获取方向。

在一个实施例中，电子设备1610可以针对在指定方向上获取的声音1635增大输出音量。例如，一旦在仅输出与从外部设备1620接收到的音频数据1621对应的声音的同时从外部感测到具有预设水平或更高水平、或者持续以预设时间或更长时间的声音1635时，电子设备1610可以在感测到的声音1635的方向上配置波束成型。例如，一旦从外部感测到具有预设水平、或者持续以预设时间或更长时间的声音1635，则电子设备1610可以针对在获取声音1635的方向上所获取的声音增大输出音量。

在一个实施例中，即使从外部感测到具有预设水平(强度)或更高水平、或者持续以预设时间或更长时间的声音，电子设备1610也可以不增大在外部电子设备1620的方向上所获取的声音1623的输出音量。

图17描绘了根据本发明的各种实施例的电子设备的操作。

在一个实施例中，电子设备1710(例如听觉设备)可以从第一外部设备1720(例如智能电视)无线地接收音频数据。当从第一外部设备1720接收到音频数据时，电子设备1710可以使用麦克风从外部获取声音1723和1735。

在一个实施例中，电子设备1710可以使用扬声器来输出分别与从第一外部设备1720接收到的音频数据1721和从外部获取的声音数据1723和1735对应的声音。

在一个实施例中，电子设备1710可以通过处理要通过扬声器输出的声音数据来调整音频数据1721与由麦克风获取的声音数据1723和1735之间的音量混合比率。

在一个实施例中，电子设备1710可以与第二外部设备1740(例如移动终端)协作操作并且使第二外部设备1740在显示器上呈现设置的音量混合比率。

在一个实施例中，电子设备1710可以识别从外部获取声音1723或1735的方向。在一个实施例中，电子设备1710可以确定是否在第一外部设备1720的方向上获取声音1723或1735。例如，电子设备1710可以识别从第一外部设备1720接收到的音频数据1721和由麦克风获取的声音数据之间的相似度。如果音频数据1721与由麦克风获取的声音数据1723之间的相似度高于或等于预设阈值，则电子设备1710可确定声音数据1723在外部设备1720的方向上被获取。如果音频数据1721与由麦克风获取的声音数据之间的相似度低于预设阈值(即由麦克风获取环境声音1735)，则电子设备1710可以确定声音数据在与第一外部设备1720的方向不同的方向上被获取。

在一个实施例中，当在与第一外部设备1720的方向不同的方向上获取声音数据(例如来自附近的人1730的语音信号1735)时，电子设备1710可以输出相应的通知。例如，电子设备1710可以通过扬声器输出警报声音或者可以产生振动。当在与第一外部设备1720的方向不同的方向上获取声音数据1735时，电子设备1710可以向用户提供指示检测到与从第一外部设备1720接收的音频数据1721不同的声音的听觉或触觉通知。

在一个实施例中，电子设备1710可将从第一外部设备1720接收到的音频数据1721与由麦克风获取的声音数据1723或1735进行比较。如果第一外部设备1720不同于由麦克风获取的声音数据1723或1735，则电子设备1710可以输出相应的通知。例如，如果音频数据1721与获取的声音数据1723或1735之间的相似度低于预设阈值，则电子设备1710可输出通知。例如，当获取由第二外部设备1720输出的声音1723时，电子设备1710可以确定音频数据1721与获取的声音1723之间的相似度高于或等于预设阈值，并且可以不输出通知。当获取环境声音(例如来自附近的人1730的语音信号1735)时，电子设备1710可以确定音频数据1721与获取的声音1735之间的相似度低于预设阈值，并且可以输出通知。例如，电子设备1710可以通过扬声器输出警报声音或者可以产生振动。

在一个实施例中，并非直接输出通知(例如声音警报或振动)，电子设备1710可以向外部设备1720或1740发送用于输出通知的信号或命令。例如，电子设备1710可以向第一外部设备(例如智能电视)发送用于在显示器的一部分上显示通知消息1727的命令。一旦从电子设备1710接收到信号，则第一外部设备1720可以在显示器上显示通知消息1727。例如，电子设备1710可向第二外部设备1740(例如移动终端)发送用于在显示器的一部分上显示通知消息1747或用于产生振动的命令。一旦接收到来自电子设备1710的信号，则第二外部设备1740可在显示器上显示通知消息1747或可产生振动。

图18是根据本发明各个实施例的电子设备的操作控制方法的流程图。

在操作1805中，电子设备可以从外部设备接收音频数据。例如，电子设备可以从外部设备(例如智能电视或音频设备)接收流式内容。

在操作1810中，电子设备可以通过使用麦克风从外部获取声音。例如，电子设备可以在接收音频数据的同时使用麦克风从外部获取声音。电子设备可以至少暂时存储所获取的声音数据。电子设备可以存储关于获取声音的方向的信息以及接收到的声音数据。例如，电子设备可以将获取的声音数据的格式转换为与音频数据的格式相同的格式，并存储转换后的声音数据。

在操作1815中，电子设备可以比较接收到的音频数据和获取的声音数据。例如，电子设备可以检查接收到的音频数据和获取的声音数据之间的相似度。

在操作1820中，电子设备可以根据音频数据和获取的声音数据之间的相似度来设置参考方向信息。例如，电子设备可以根据音频数据与获取的声音数据之间的相似度来将特定方向或范围设置为参考方向。如果音频数据和获取声音数据之间的相似度高于或等于预设阈值，则电子设备可以将声音获取方向或包括声音获取方向的一个范围设置为参考方向。如果音频数据与获取声音数据之间的相似度低于预设阈值，则电子设备可从参考方向排除声音获取方向或包括声音获取方向的一个范围。可以将相对于电子设备的特定方向或特定范围(例如相对于电子设备的给定角度内的范围)设置为参考方向。例如，电子设备可以将音频数据与在任何方向上获取的声音数据之间的相似度高于或等于预设阈值的方向范围设置作为参考方向。

在操作1825中，电子设备可以检测其状态或姿态的改变或其移动。例如，电子设备可以使用传感器来检测状态改变、姿态改变或者其移动。如果检测到状态改变、姿态改变或移动，则过程进行到操作1830；如果没有检测到状态改变、姿态改变或移动，则过程进行到操作1835。

在操作1830中，电子设备可以改变参考方向信息。例如，当参考方向被设置为电子设备的正面方向或部分正面区域时，随着电子设备向右方向旋转，电子设备可以将参考方向改变到其左方向。例如，在电子设备(例如听觉设备)将外部电子设备的正面方向设置为参考方向之后，可以根据佩戴电子设备的用户的移动来改变电子设备的方向。在这种情况下，为了保持外部电子设备所处的方向作为参考方向，电子设备可以根据其改变的方向来改变参考方向。例如，当耳朵上佩戴着电子设备的用户将头部转向右侧时，位于电子设备前方的外部电子设备将位于电子设备的左侧。因此，电子设备可以将参考方向从正面方向重新设置到左方向。

在操作1835中，电子设备可以通过麦克风从外部获取声音。在各种实施例中，电子设备可以通过麦克风从外部获取声音，并且在设置参考方向之后或期间接收音频数据。

在操作1840中，电子设备可以确定声音获取方向是否不同于设置的参考方向。例如，电子设备可以从获取的声音数据中提取关于由麦克风获取声音的方向的信息。电子设备可以将提取的关于方向的信息与参考方向信息进行比较。电子设备可以确定声音获取方向是否与参考方向匹配或者在参考方向信息所指示的范围内。

如果声音获取方向与参考方向匹配，则在操作1845中，电子设备可以降低由麦克风获取的声音的相对输出水平。例如，电子设备可以调节将要通过扬声器输出的声音数据中分别与从外部电子设备接收到的音频数据与由麦克风获取的声音数据相对应的声音之间的音量混合比率。具体地，电子设备可以增加与由麦克风获取的声音数据相对应的声音相对于与音频数据相对应的声音的输出音量。

如果声音获取方向与参考方向不匹配，则在操作1850中，电子设备可以输出相应的通知。例如，电子设备可以输出警报声音或产生振动。或者，电子设备可以向外部设备发送用于在显示器上显示通知消息或用于产生振动的信号或命令。

在操作1855中，当声音获取方向与参考方向不匹配时，电子设备可以增加与由麦克风获取的声音数据相对应的声音的相对输出水平。例如，电子设备可以调节将要通过扬声器输出的声音数据中分别与从外部电子设备接收的音频数据与由麦克风获取的声音数据相对应的声音之间的音量混合比率。具体地，电子设备可以降低与由麦克风获取的声音数据相对应的声音相对于与音频数据相对应的声音的输出音量。

在操作1860中，电子设备可以确定是否经由外部设备接收到用户输入。例如，当外部设备(例如移动终端)从用户接收到用于改变电子设备的设置(例如参考方向或音量混合比率)的输入时，外部设备可以向电子设备发送对应于用户输入的命令或数据。电子设备可以感测来自外部设备的特定信号(例如与用户输入有关的命令或数据)的接收。如果通过外部设备接收到用户输入，则过程进行到操作1865；如果没有经由外部设备接收到用户输入，则过程进行到操作1870。

在操作1865中，电子设备可以根据用户输入来调整与音频数据或获取的声音数据对应的声音的输出水平。例如，电子设备可以改变要通过扬声器输出的声音数据中分别与音频数据和获取声音数据对应的声音之间的音量混合比率。

在操作1870中，电子设备可以根据设置的音量混合比率(例如针对分别与音频数据和由麦克风获取的声音数据对应的声音设置的输出音量水平)，通过扬声器输出分别与音频数据和由麦克风获取的声音数据对应的声音。

在各种实施例中，图18中或相关说明中所示的操作中的一些或全部可以由电子设备以不同顺序执行，并且可以跳过一些操作。

根据本发明的实施例，用于电子设备的操作控制方法可以包括：从外部电子设备接收音频数据；通过至少一个麦克风从电子设备的外部获取声音；从由所述至少一个麦克风获取的声音数据中提取关于获取声音的方向的信息；以及基于关于获取声音的方向的信息来处理要通过扬声器输出的声音数据。

在一个实施例中，为了处理要通过扬声器输出的声音数据，电子设备可以调整要在通过扬声器输出的声音数据当中分别与音频数据和获取的声音数据对应的声音的输出水平。

在一个实施例中，处理要输出的声音数据的过程可以包括：将关于获取声音的方向的信息与预设参考方向信息进行比较；以及根据方向信息与参考方向信息之间的比较结果来处理要输出的声音数据。

在一个实施例中，处理要输出的声音数据的过程可以包括：确定接收到的音频数据和由麦克风获取的声音数据之间的相似度；以及基于相似度和关于获取声音的方向的信息来设置参考方向信息。

在一个实施例中，处理要被输出的声音数据的过程可以包括：确定接收到的音频数据与由麦克风获取的声音数据之间的相似度；如果所述相似度高于或等于预设阈值，则降低与所获取的声音数据对应的声音的输出水平；以及如果相似度低于预设阈值，则增加与所获取的声音数据对应的声音的输出水平。

在一个实施例中，为了处理要输出的声音数据，如果相似度低于预设阈值，则电子设备可以通过扬声器输出通知或者向外部电子设备发送用于输出通知消息的命令。

在一个实施例中，处理要输出的声音数据的过程可以包括：基于预设的参考方向信息，从由麦克风获取的声音数据中提取在给定范围内接收到的声音数据；并调整与所提取的声音数据对应的声音的输出水平。

在本公开中，术语“模块”可以指包括硬件、软件或固件或其任何组合中的一个的某个单元。例如，术语“模块”可与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”可互换地使用。模块可以是单体构件或其一部分的最小单位。模块可以是执行一个或多个特定功能的最小单位或其一部分。模块可以机械地或电子地实现。例如，模块可以包括已知或未来将要开发的ASIC(专用集成电路)芯片、FPGA(现场可编程门阵列)和PLD(可编程逻辑器件)中的至少一个。

根据各种实施例的设备的至少一部分(例如模块或功能)或方法(例如操作)可以被实现为程序模块形式的指令，其可以存储在计算机可读存储介质中。当指令由至少一个处理器(例如处理器120)执行时，处理器可执行对应于指令的功能。例如，存储器130可以是计算机可读存储介质。

计算机可读存储介质可以包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光介质、诸如软光盘的磁光介质以及诸如ROM、RAM和闪存的存储器。程序指令可以包括由编译器产生的机器代码和通过解释器可执行的高级语言代码。上述硬件设备可以被配置为作为一个或多个软件模块来操作以执行各种实施例的操作，反之亦然。

各种实施例中的模块或程序模块可以包括上述组件中的至少一个。模块的现有组件可能会被删除或者新的组件可以被添加到模块中。模块、程序模块或其他组件支持的操作可以按顺序、并行、重复或启发式地执行。一些操作可以以不同的顺序执行或可以被省略并且可以添加新的操作。另外，所公开的实施例被提供用于解释和理解技术细节，并且不旨在限制本公开的范围。因此，本公开的范围应该被解释为包括基于本公开的主题的所有修改和其它实施例。

Claims (12)

1.一种电子设备，包括：

至少一个麦克风，其被配置用于从外部获取声音并且感测所获取的声音的方向；

扬声器，其被配置用于输出声音；

通信电路，其被配置用于从外部电子设备接收音频数据；

与所述至少一个麦克风、扬声器和通信电路电连接的处理器；和

至少一个电连接到所述处理器的存储器，

其中所述存储器存储指令，所述指令在被执行时使处理器：

从由所述至少一个麦克风获取的声音数据中提取关于获取声音的方向的信息；

确定接收到的音频数据与由所述麦克风获取的声音数据之间的相似度；

基于所述相似度和关于获取声音的方向的信息来设置参考方向信息；

将关于获取声音的方向的信息与所述参考方向信息进行比较；以及

根据关于获取声音的方向的信息与所述参考方向信息的比较结果，基于所述相似度和关于获取声音的方向的信息来处理要通过所述扬声器输出的声音数据。

2.如权利要求1所述的电子设备，还包括壳体，所述壳体具有被配置用于可拆卸地可连接到用户的耳朵的部分，并且其中所述至少一个麦克风、扬声器、通信电路、处理器和存储器被包含在所述壳体中。

3.如权利要求1所述的电子设备，其中所述指令被配置用于使处理器调整在要通过扬声器输出的声音数据中的与接收到的音频数据对应的声音或与所获取的声音数据对应的声音的输出水平。

4.如权利要求1所述的电子设备，其中所述指令被配置用于使所述处理器：

如果所述相似度高于或等于预设阈值，则降低与所获取的声音数据对应的声音的输出水平。

5.如权利要求4所述的电子设备，其中所述指令被配置用于如果所述相似度低于所述预设阈值，则使所述处理器增加与所获取的声音数据对应的声音的输出水平。

6.如权利要求1所述的电子设备，其中所述指令被配置用于如果所述相似度低于预设阈值，则使所述处理器通过所述扬声器输出通知或者向所述外部电子设备发送用于输出通知消息的命令。

7.如权利要求3所述的电子设备，其中所述指令被配置用于使所述处理器根据从第二外部电子设备接收到的信号或数据来调整与接收到的音频数据对应的声音或与所获取的声音数据对应的声音的输出水平。

8.根据权利要求1所述的电子设备，还包括被配置用于感测所述电子设备的状态、姿态或者移动的传感器，并且其中所述指令被配置用于使得所述处理器基于至少部分地与由所述传感器检测到的状态、姿态或移动相关的数据来设置所述参考方向信息。

9.如权利要求2所述的电子设备，其中所述指令被配置用于使所述处理器：

基于预设参考方向信息，从由所述麦克风获取的声音数据中提取在给定的方向范围内接收到的声音数据；以及

调整与所提取的声音数据对应的声音的输出水平。

10.如权利要求1所述的电子设备，其中所述指令被配置用于使所述处理器：

基于从外部电子设备接收到的信号来识别所述外部电子设备所处的方向；

从所获取的声音数据中提取在相对于所述外部电子设备所处的方向的给定范围内接收到的声音数据；以及

调整与所提取的声音数据对应的声音的输出水平。

11.一种用于电子设备的操作控制方法，所述方法包括：

从外部电子设备接收音频数据；

通过至少一个麦克风从所述电子设备的外部获取声音；

从由所述至少一个麦克风获取的声音数据中提取关于获取声音的方向的信息；

确定接收到的音频数据与由所述麦克风获取的声音数据之间的相似度；

基于所述相似度和关于获取声音的方向的信息来设置参考方向信息；

将关于获取声音的方向的信息与所述参考方向信息进行比较；以及

根据关于获取声音的方向的信息与所述参考方向信息的比较结果，基于所述相似度和关于获取声音的方向的信息来处理要通过扬声器输出的声音数据。

12.如权利要求11所述的方法，其中处理要被输出的声音数据包括：调整在要通过扬声器输出的声音数据中的与接收到的音频数据对应的声音或者与所获取的声音数据对应的声音的输出水平。

Images