CN107852546A - 电子设备及其输入/输出方法 - Google Patents
电子设备及其输入/输出方法 Download PDFInfo
- Publication number
- CN107852546A CN107852546A CN201680040579.1A CN201680040579A CN107852546A CN 107852546 A CN107852546 A CN 107852546A CN 201680040579 A CN201680040579 A CN 201680040579A CN 107852546 A CN107852546 A CN 107852546A
- Authority
- CN
- China
- Prior art keywords
- sound
- electronic equipment
- microphone
- received
- wave beam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
- H04R29/005—Microphone arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供了一种电子设备。所述电子设备包括:多个麦克风;存储器,配置为存储第一规定时间,该第一规定时间被设置为使用所述多个麦克风沿第一方向形成波束;以及处理器,连接到所述多个麦克风,并且配置为使用所述多个麦克风来接收声音,确定与所接收的声音相对应的方向,并且如果所述方向与第二方向相同,则将第二规定时间与接收到的声音相关联,如同使用所述多个麦克风沿第二方向形成波束一样。
Description
技术领域
本公开大体上涉及一种电子设备,更具体地,涉及一种波束形成控制方法和用于控制波束形成的电子设备。
背景技术
随着智能电话市场的迅速增长,各种电子设备配备有智能电话的全部或一些特征。
因为智能电话的多媒体能力已经增强,因此可以在设备中安装多个麦克风。例如,可以将两个或更多个麦克风安装在智能电话中。通过使用这些多个麦克风,用户可以在智能电话中使用多种记录技术。
基于多个麦克风的波束形成被配置为确定用于从电子设备接收特定方向上的声音的声音接收范围。
通常,具有固定的声音接收范围的波束形成技术被广泛使用,并且智能电话可以记录(或输出)具有方向特性的预定范围内的声音,并且智能电话可以拒绝记录(或输出)在其他范围内接收的声音。固定波束形成技术的示例可以包括最小方差无失真响应(MVDR)和线性约束最小方差(LCMV)方法,并且当形成(或生成)波束时,波束形成方向可以典型地以基于电子设备的前方(0°方向)或后方(180°方向)的径向方式配置。例如,依赖于多个麦克风的数量,径向宽度可以更窄和/或电子设备的性能可以改善。
另一方面,可以使用多个麦克风传感器使用到达方向(DOA)技术来跟踪扬声器(或讲话者)的位置,所述DOA技术用于检测波从任一点到达的方向;该传感器配置被称作传感器阵列,并且目前与用于估计沿预定方向上的信号的波束形成技术结合使用。
发明内容
技术问题
如上所述,固定波束形成技术可以在其使用期间控制波束形成方向,并且可以保证稳定的性能。
然而,固定波束形成技术不利之处在于波束的方向(例如,波束形成的方向或接收到的声音的方向)是固定的。为了对沿任意方向移动的扬声器执行波束形成,需要使用自适应滤波器或实时地找到波束形成器滤波器,并将波束形成器滤波器应用于每个接收到的信号,这使得计算和功耗增加。对于基于自适应滤波器的自适应波束形成技术,其物理实现不容易,在实际的波束形成环境下滤波器适应可能无法正常工作。
在固定波束形成器的朝向实时改变的情况下,所需的计算量可能非常大,从而导致其实时性难以实现。例如,可能不能保证对于快速移动的扬声器的波束形成跟踪的性能。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和承认上述任何内容是否可用作本公开的现有技术。
问题的解决方案
根据本公开的一个方面,提供了一种电子设备。所述电子设备包括:多个麦克风;存储器,配置为存储第一规定时间,该第一规定时间被设置为使用所述多个麦克风沿第一方向形成波束;以及处理器,连接到所述多个麦克风,并且配置为使用所述多个麦克风来接收声音,确定与所接收的声音相对应的方向,并且如果所述方向与第二方向相同,则将第二规定时间与接收到的声音相关联,如同使用所述多个麦克风沿第二方向形成波束一样。
根据本公开的另一方面,提供了一种电子设备的输入/输出方法。所述输入/输出方法包括:存储用于形成波束的第一规定时间,使用多个麦克风接收声音,确定与接收到的声音相对应的方向,并且如果所述方向与第二方向相同,则将第二规定时间与接收到的声音相关联,如同使用所述多个麦克风沿第二方向形成波束一样。
根据本公开的另一方面,提供了一种电子设备。所述电子设备包括:多个麦克风;以及接收时间补偿器,配置为使用所述多个麦克风沿第一方向形成波束;确定使用所述多个麦克风接收的声音的方向;以及如果所述方向与不同于所述第一方向的第二方向相同,则将接收到的声音的麦克风阵列延迟改变为与所述第一方向相对应的麦克风阵列延迟。
有益效果
已经做出了本公开的各个方面是为了至少解决上述问题和/或缺点,并且至少提供以下描述的优点。因此,本公开的一个方面通过调节多麦克风输入信号的延迟时间来任意地改变信号的入射角度。
本公开的另一方面在于提供一种电子设备,能够沿不同于传统的固定波束形成器的朝向的方向形成虚拟波束区域。
附图说明
根据结合附图的以下详细描述,本公开的特定实施例的上述和其他方面、特征以及优点将更清楚,在附图中:
图1是示出了根据本公开实施例的网络环境中的电子设备的图;
图2是根据本公开实施例的电子设备的图;
图3是根据本公开实施例的程序模块的图;
图4a和图4b是示出了根据本公开实施例的电子设备的波束形成控制方法的流程图;
图5是示出了根据本公开实施例的电子设备中包括接收时间补偿器在内的处理器的图;
图6a和图6b是示出了根据本公开实施例的基于声音的接收方向的接收时间差的图;
图6c是示出了根据本公开实施例的将特定麦克风阵列延迟与声音相关联的操作的图;
图6d和图6e是示出了根据本公开实施例的基于声音的接收方向的接收时间差的图;
图6f是示出了根据本公开实施例的将特定麦克风阵列延迟与声音相关联的操作的图;
图7a示出了根据本公开实施例的电子设备的波束形成控制方法的流程图;
图7b和图7c是示出了根据本公开实施例的用于使用固定波束形成器接收从移动扬声器发出的声音的方法的图;
图7d是示出了根据本公开实施例的改变波束形成的范围的操作的图;
图8是示出了根据本公开实施例的电子设备的波束形成控制方法的流程图;
图9是示出了根据本公开实施例的电子设备中包括接收时间补偿器和接收幅度补偿器在内的处理器的图;
图10a和图10b是示出了根据本公开实施例的基于声音的接收方向的接收时间差和接收幅度比率的图;
图10c是示出了根据本公开实施例的将特定的麦克风阵列接收声音比率与声音相关联的操作的图;
图11是示出了根据本公开实施例的通过波束形成控制方法输出的声音的波形的图;
图12是示出了根据本公开的实施例的波束形成控制方法的图;
图13是示出了根据本公开实施例的记录已补偿的声音的操作的图;
图14a和图14b是示出了根据本公开实施例的使用扬声器输出已补偿的声音的操作的图;
图15a至图15d是示出了根据本公开的实施例的使用通信模块向/从电子设备发送和接收已补偿的声音的操作的图;以及
图16是示出了根据本公开实施例的基于已补偿的声音来识别用户命令的操作的图。
贯穿附图,相似的附图标记将被理解为指代相似的部件、组件、和结构。
具体实施方式
这里将在下文参照附图描述本公开的实施例。然而,本公开实施例不局限于具体的实施例,并且应该解释为包括所有修改、改变、等同设备和方法和/或本公开的备选实施例。
如在此使用的术语“具有”、“可具有”、“包括”和“可以包括”指示存在相应特征(例如,诸如数值、功能、操作或部件之类的元素),并不排除存在其他特征。
如在此使用的术语“A或B”、“A或/和B中的至少一项”或“A或/和B中的一个或多个”包括所列出项目的所有可能组合。例如,“A或B”、“A和B中至少一个”或“A或B中的至少一个”意味着(1)包括至少一个A、(2)包括至少一个B或(3)包括至少一个A和至少一个B二者。
如在此使用的诸如“第一”和“第二”的术语可不管相应元件的顺序和/或重要性而修饰各种元件,并不限制相应元件。这些术语可以用于将元件彼此区分的目的。例如,第一用户设备和第二用户设备可以表示不同的用户设备,而与顺序或重要性无关。例如,在不脱离本发明的范围的情况下,第一元件可以被称作第二元件,且类似地,第二元件可以被称作第一元件。
将理解,当一元件(例如,第一元件)“(可操作地或可通信地)耦接至”或“连接至”另一元件(例如,第二元件)时,该元件可直接耦接至该另一元件,也可在该元件与该另一元件之间存在中间元件(例如,第三元件)。相对,将理解,当一元件(例如,第一元件)“直接耦接至”或者“直接连接至”另一元件(例如,第二元件)时,在该元件和该另一元件之间不存在中间元件(例如,第三元件)。
根据上下文,在本公开中使用的表达方式“(被)配置为(或被设置为)”可以与以下各项互换:“适用于”、“具有...的能力”、“(被)设计用于”、“适于”、“制作用于”或“能够”。术语“被配置为(被设置为)”不一定意味着在硬件上“被专门设计为”。相对,表达方式“被配置为...的装置”可表示在特定情境中装置“能够”与其他设备或部件一起“...”。例如,“被配置为(被设置为)执行A、B和C的处理器”可以意味着用于执行相应操作的专用处理器(例如,嵌入式处理器)或能够通过执行存储在存储设备中的一个或多个软件程序来执行相应操作的通用处理器(例如,中央处理单元(CPU)或应用处理器)。
本文所使用的术语“模块”可以定义为例如包括硬件、软件和固件之一或者其中两种或更多种的组合在内的单元。例如,术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”等互换使用。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械或电学地实现。例如,“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和已知或者将来开发的用于执行某种操作的可编程逻辑器件中的至少一种。
在描述本公开的多种实施例时使用的术语仅是为了描述特定实施例的目的,而不意在限制本公开。除非上下文另行明确指示,否则本文中使用的单数形式也意在包括复数形式。除非文中明确限定,否则文中使用的所有术语(包括技术术语或科技术语)具有与本领域技术人员通常所理解的含义相同的含义。在通用字典中定义的术语应被解释为具有与相关技术的上下文含义相同或相似的含义,并且不应被解释为具有理想化或夸大的含义,除非它们在本文中被明确地定义。根据一些情况,即使在本公开中定义的术语,仍不应被解释为排除本公开的实施例。
根据本公开实施例的电子设备可以包括以下至少一项:例如,智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或可穿戴设备。可穿戴设备可以包括以下至少一种:饰品型可穿戴设备(例如,手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、衣料/服饰集成型可穿戴设备(例如,电子服装)、身体安装可穿戴设备(例如,皮肤贴或纹身)或身体可植入型可穿戴设备(例如,可植入电路)。
电子设备可以是家电。家电可以包括以下项中的至少一种:例如,电视(TV)、数字通用盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如,三星HomeSyncTM、苹果TVTM或谷歌TVTM)、游戏控制台(例如,XboxTM或PlayStationTM)、电子词典、电子钥匙、摄录像机或数字相框。
电子设备可以包括以下项中的至少一个:各种医疗设备(例如,各种便携式医疗测量设备(例如,血糖仪、心率计、血压计、温度计等)、磁共振造影(MRA)设备、磁共振成像(MRI)设备、计算机断层(CT)扫描设备、医疗摄录机、超声设备等)、导航设备、全球导航卫星系统(GNSS)接收机、事件数据记录器(EDR)、飞行数据记录器(FDR)、车载信息娱乐设备、船用电子设备(例如,船用导航设备、陀螺仪等)、航空设备、安全设备、车辆音响主机、工业或家用机器人、银行的自动取款机(ATM)、商店的销售点(POS)设备或者物联网(IoT)设备(例如,电灯泡、各种传感器、电表或气表、洒水设备、火警报警器、自动调温器、街灯、烤面包机、健身器材、热水壶、加热器、锅炉等)。
电子设备可以包括以下项中的至少一个:家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种表(例如,水表、电表、气表或无线电波计)。电子设备可以是上述设备中的一种或多种设备的组合。电子设备可以是柔性电子设备。此外,电子设备不限于上述设备,并可以基于新技术发展而包括新型电子设备。
将参考附图描述本公开的电子设备。如这里所使用的,术语″用户″可以表示使用电子设备的人或者使用电子设备的设备(例如,人工智能电子设备)。
图1是示出了根据本公开实施例的网络环境100中的电子设备101的图。电子设备101包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160和通信接口170。电子设备101可以省略所述组件中的至少一个,或者可以包括其他组件。
例如,总线110可以包括将所述组件110至170彼此连接并且在所述组件110至170之间传输通信(例如,控制消息和/或数据)的电路。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)、或通信处理器(CP)中的一项或多项。例如,处理器120可执行用于电子设备101的至少一个其它组件的控制和/或通信相关操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如,存储器130可以存储与电子设备101的至少一个其他组件相关的命令或数据。存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或应用)147。内核141、中间件143或API 145中的至少一些可以称为操作系统(OS)。这里,应用可以称作“app”。
内核141可以控制或管理用于执行由其他程序(例如,中间件143、API 145或者应用147)实现的操作或功能的系统资源(例如,总线110、处理器120或者存储器130)。另外,内核141可以提供接口,中间件143、API 145或应用程序147可以通过所述接口访问电子设备101的各个组件来控制或管理系统资源。
中间件143例如可以用作媒介,使得API 145或应用程序147可以通过与内核141通信来与内核141交换数据。此外,中间件143可以根据优先级处理从应用程序147接收到的一个或多个工作请求。例如,中间件143可以向应用程序147中的至少一个分配能够使用电子设备101的系统资源(例如,总线110、处理器120、存储器130等)的优先级。例如,中间件143可根据向应用程序147中的至少一个所分配的优先级来处理一个或多个工作请求,从而执行对所述一个或多个工作请求的调度或负载均衡。
API 145例如是一种接口,应用程序147通过所述接口来控制在内核141或中间件143中提供的功能,并且可以包括例如用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如,命令)。
例如,I/O接口150可用作可将从用户或其他外部设备接收的命令或数据传输至电子设备101的其他组件的接口。另外,I/O接口150可以将从电子设备101的其他组件接收的命令或数据输出至用户或其他外部设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。例如,显示器160可以向用户显示各种内容(例如,文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏,并且可接收例如使用电子笔或用户的身体部位进行的触摸输入、手势输入、靠近输入或悬空输入。显示器160可以与触摸屏同义地使用。
例如,通信接口170可以建立电子设备101和外部设备(例如,第一外部电子设备102、第二外部电子设备104或者服务器106)之间的通信。例如,通信接口170可以通过使用无线通信或有线通信连接到网络162来与第二外部电子设备104或服务器106通信。
无线通信可以包括以下各项中的至少一个作为蜂窝通信协议:例如,长期演进(LET)、长期演进-高级(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。另外,无线通信可以包括例如短距离通信164。短距离通信154可以包括例如无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)或全球导航卫星系统(GNSS)中的至少一个。根据使用区域或带宽,GNSS可以包括以下项中的至少一项:全球定位系统(GPS)、全球导航卫星系统(Glonass)、导航卫星系统(北斗或伽利略)或欧洲全球基于卫星的导航系统。在本文中,“GPS”可以与术语“GNSS”互换使用。有线通信可以包括以下各项中的至少一个:例如,通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准-232(RS-232)或普通老式电话业务(POTS)。网络162可以包括电信网络,例如,计算机网络(例如,局域网(LAN)或广域网(WAN))、因特网或电话网络中的至少一个。
第一外部电子设备102和第二外部电子设备104中的每一个可以在类型上与电子设备101相同或不同。服务器106可以包括具有一个或多个服务器的组。电子设备101中执行的全部或部分操作可以在第一电子设备102和第二电子设备104、或服务器106中执行。如果电子设备101自动地或者基于请求而执行特定功能或服务,则代替自发地执行所述功能或服务或者除了自发地执行所述功能或服务之外,电子设备101可以向第一电子设备102和第二电子设备104或服务器106请求与所述功能或服务相关的至少一些功能。第一外部电子设备102和第二外部电子设备104或服务器106可以执行所请求的功能或者附加功能,并且将结果传送至电子设备101。电子设备101可以完整或另外地处理接收到的结果,以提供所请求的功能或服务。为此,例如可以使用云计算、分布式计算或者客户端-服务器计算技术。
图2是根据本公开实施例的电子设备201的图。电子设备201可以包括例如图1的电子设备101的组件的全部或者一部分。电子设备201包括例如至少一个处理器(例如应用处理器(AP))210、通信模块220、订户标识模块(SIM)卡224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
例如,处理器210可以通过运行操作系统或应用程序来控制与处理器210相连的多个硬件或软件组件,并且可以处理和计算多种数据。处理器210可以被实现为片上系统(SoC)。处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2所示的组件中的至少一些(例如,蜂窝模块221)。处理器210可以将从至少一个其他组件(例如,非易失性存储器)接收的命令或数据加载到易失性存储器上,处理加载的数据,并且可以将各种数据存储在非易失性存储器中。
通信模块220可以具有与图1的通信接口170的结构相同或相似的结构。通信模块220可以包括例如蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227(例如,GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块228和射频(RF)模块229。
例如,蜂窝模块221可通过通信网络提供语音呼叫服务、视频呼叫服务、消息服务或因特网服务。蜂窝模块221可使用SIM卡224执行电子设备201在通信网络中的识别和认证。蜂窝模块221可以执行可以由处理器210提供的功能中的一些。蜂窝模块221可以包括通信处理器(CP)。
WiFi模块223、BT模块225、GNSS模块227或NFC模块228中的每一个可以包括例如用于处理通过相应模块发送/接收的数据的处理器。蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一些(例如,两个或更多个)可以包括在一个集成芯片(IC)或IC封装中。
RF模块229可以例如发送和接收通信信号(例如,RF信号)。RF模块229例如可以包括收发机、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一个可以使用单独的RF模块发送和接收RF信号。
SIM卡224可以是嵌入式SIM。SIM卡224可以包括唯一标识信息(例如,集成电路卡标识符(ICCID))或者订户信息(例如,国际移动订户标识(IMSI))。
存储器230可以包括内部存储器232或外部存储器234。内部存储器232可以包括以下项中的至少一个:例如,易失性存储器(例如,动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)或非易失性存储器(例如,一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM、闪存(例如,NAND闪存、NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。
外部存储器234还可以包括闪存驱动器,例如,紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你型安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)、存储棒等。外部存储器234可以使用各种接口与电子设备201功能连接和/或物理连接。
例如,传感器模块240可以测量物理量或者检测电子设备201的操作状态,并将测量或检测到的信息转换为电信号。传感器模块240可以包括以下项中的至少一个:例如,手势传感器240A、陀螺仪传感器240B、气压计240C、磁性传感器240D、加速计240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如,红-绿-蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K、或紫外(UV)传感器240M。附加地或者备选地,传感器模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可以包括控制电路,用于控制所包括的至少一个或多个传感器。电子设备201还可以包括处理器,所述处理器被配置为独立于处理器210或者作为处理器210的一部分控制传感器模块240,从而当处理器210处于休眠状态时控制传感器模块240。
输入设备250可以包括例如触摸板252、(数字)笔传感器254、按键256或超声输入设备258。触摸板252可以使用例如电容式、电阻式、红外线或超声方案中的至少一种。触摸板252还可以包括控制电路。触摸板252还可以包括触觉层,以向用户提供触觉或触感反馈。
(数字)笔传感器254例如可以是触摸板252的一部分或者可以包括分立的识别片。按键256可以包括例如物理按钮、光学键或键区。超声输入设备258可以使用麦克风288来检测用输入工具产生的超声波,以识别与检测到的超声波相对应的数据。
显示器260可以包括面板262、全息设备264或投影仪266。面板262可以包括与图1的显示器160的结构相同或相似的结构。面板262可以例如被实现为柔性的、透明的或可穿戴的。面板262可与触摸板252一起被实现为一个模块。全息设备264可使用光的干涉在空气中展示三维图像。投影仪266可通过将光投影在屏幕上来显示图像。所述屏幕可以例如布置在电子设备201的内部或外部。显示器260还可以包括控制电路,所述控制电路用于控制面板262、全息设备264或投影仪266。
包括面板262在内的显示器160可以与触摸屏互换地使用。换句话说,可以将触摸屏定义为包括用于显示特定信息的显示器160和能够接收触摸输入的面板262。
接口270可以包括例如HDMI 272、USB 274、光学接口276或D-超小型(D-sub)278。例如,接口270可以包含在图1的通信接口170中。附加地或者替代地,接口270可以包括例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或者红外数据协会(IrDA)接口。
音频模块280可以例如双向地转换声音和电信号。例如,音频模块280的至少一些组件可以被包括在图1的I/O接口150中。音频模块280可以例如处理使用扬声器282、听筒284、耳机286或麦克风288接收或输出的声音信息。
相机模块291是例如能够捕获静止图像和视频的设备。相机模块291可以包括一个或多个图像传感器(例如,前置图像传感器或后置图像传感器)、镜头、图像信号处理器(ISP)或者闪光灯(例如,LED或氙灯)。
例如,电源管理模块295可以管理电子设备201的功率。电源管理模块295可以包括例如电源管理集成电路(PMIC)、充电器集成电路(IC)或电池量表。PMIC可以使用有线和/或无线充电方案。无线充电方案可以包括例如磁谐振方案、磁感应方案或电磁方案,并且电源管理模块295还可以包括用于无线充电的附加电路(例如线圈回路、谐振电路、整流器等)。例如,电池量表可以测量电池296的剩余容量、充电电压、充电电流或温度。例如,电池296可以包括可再充电电池和/或太阳能电池。
指示器297可以显示电子设备201或其一部分(例如处理器210)的具体状态(例如引导状态、消息状态、充电状态等)。电机298可以将电信号转换为机械振动,从而产生振动或触觉效应。电子设备201可以包括用于支持移动TV的处理设备(例如,GPU)。用于支持移动TV的处理设备可以例如处理基于诸如数字多媒体广播(DMB)、数字视频广播(DVB)或MediaFLOTM的标准的媒体数据。
在此所述的每个组件可以配置有一个或多个组件,且组件名称可以根据电子设备的类型而改变。电子设备可以包括这里描述的组件中的至少一个,并且可省略上述组件中的一些组件或者可进一步包括其他附加组件。此外,电子设备的组件中的一些可通过组合被配置为一个实体,从而按照相同方式执行之前的组件功能。
图3是根据本公开实施例的程序模块的图。程序模块310可以包括OS,OS用于控制与电子设备(例如电子设备101或200)相关的资源和/或在操作系统上运行的各种应用(例如,应用程序147)。例如,操作系统可以是等。
程序模块33包括内核320、中间件330、API 360和/或应用370。程序模块310的至少一部分可以预先加载到电子设备上,或者可以从第一外部电子设备102和第二外部电子设备104以及服务器106下载。
内核320可以包括例如系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或恢复系统资源。系统资源管理器321可以包括进程管理器、存储器管理器和文件系统管理器等。设备驱动器323可以包括例如显示器驱动器、相机驱动器、BT驱动器、共享存储器驱动器、USB驱动器、键区驱动器、WiFi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330例如可以提供应用370共同要求的功能,或者可以使用API 360向应用370提供各种功能,使得应用370可以有效地使用电子设备内有限的系统资源。中间件330可以包括运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。
运行时间库335可以包括例如库模块,在应用370运行的同时,编译器使用所述库模块来使用编程语言添加新的功能。运行时间库335可以执行输入/输出管理、存储器管理、算法函数功能等。
应用管理器341可以管理例如至少一个应用370的生命周期。窗口管理器342可以管理在屏幕上使用的GUI资源。多媒体管理器343可以确定回放各种媒体文件所需的格式,并且可以使用针对格式的编解码器来对媒体文件进行编码和/或解码。资源管理器344可以管理资源,例如应用370中的至少一个的源代码、存储器或存储空间。
例如,电源管理器345可以通过与基本输入/输出系统(BIOS)一起操作来管理电池或功率,并且可以提供电子设备的操作所需的功率信息。数据库管理器346可以产生、搜索和/或改变要由应用370中的至少一个使用的数据库。包管理器347可以管理以数据包文件形式分发的应用的安装或更新。
连接性管理器348管理例如无线连接,诸如WiFi或BT。通知管理器349可以按照不会干扰用户的方式指示或通知事件,例如到达消息、任命和靠近等的事件。位置管理器350可以管理电子设备的位置信息。图形管理器351可以管理要提供给用户的图形效果,或与图形效果相关的用户界面。安全管理器352可以提供用于系统安全或用户认证所需的各种安全功能。如果电子设备包括电话功能,则中间件330还可以包括电话管理器,用于管理电子设备的语音或视频呼叫功能。
中间件330可以包括中间件模块,用于形成上述组件的各种功能的组合。中间件330可以提供根据OS的类型而专门设计的模块,以便提供差异化功能。另外,中间件330可以动态地移除现有组件中的一些或者添加新的组件。
API 360例如是API编程功能的集合,并且可以根据操作系统而按照不同配置而设置。例如,对于AndroidTM或iOSTM,API 360可以针对每个平台提供一个API集合,而对于TizenTM,API 360可以针对每个平台提供两个或更多个API集合。
应用370例如可以包括能够执行以下功能的一个或多个应用:例如主页371、拨号器372、短消息收发服务/多媒体消息收发服务(SMS/MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、时钟384、保健(例如,用于测量锻炼量、血糖水平等)或者提供环境信息(例如,用于提供关于气压、湿度、温度等的信息)。
应用370可以包括用于支持在电子设备101与第一外部电子设备102和第二外部电子设备104之间交换信息的应用(为了便于描述,下文中称作″信息交换应用″)。例如,信息交换应用可以包括用于向外部电子设备传送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如,通知中继应用可以包括将电子设备的其他应用(例如,SMS/MMS应用、电子邮件应用、保健应用、环境信息应用等)中产生的通知信息传送到第一外部电子设备102和第二外部电子设备104的功能。另外,通知中继应用从外部电子设备接收通知信息,并且将接收到的通知信息提供给用户。
例如,设备管理应用可以管理与电子设备通信的第一外部电子设备102和第二外部电子设备104的至少一个功能(例如,调节第一外部电子设备102和第二外部电子设备104本身(或者其一些组件)的接通/关断或者显示器的亮度(或分辨率)的功能),并且可以管理(例如,安装、删除或更新)在外部电子设备中操作的应用或者由第一外部电子设备102和第二外部电子设备104提供的服务(例如,呼叫服务或者消息收发服务)。
应用370可以包括依赖于第一外部电子设备102和第二外部电子设备104的性质而规定的应用(例如,针对移动医疗设备的保健应用)。应用370可以包括从服务器106或第一外部电子设备102和第二外部电子设备104接收或下载的应用。应用370可以包括预加载的应用或可以从服务器下载的第三方应用。所示的程序模块310的组件的名称可以根据操作系统的类型而变化。
程序模块310的至少一部分可以用软件、固件、硬件或者其组合来实现。程序模块310的至少一部分可以由例如处理器(例如,处理器210)来实现(例如,执行)。程序模块310的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集或处理。
图4a和图4b是示出了根据本公开实施例的电子设备的波束形成控制方法的流程图。为了说明的目的,除非另外描述,否则在下文中假定电子设备是电子设备101。
如图4a所示,在步骤401a中,电子设备101存储用于使用多个麦克风沿第一方向形成波束的第一规定时间。
在步骤402a中,电子设备101使用多个麦克风接收声音。
在步骤403a中,电子设备101确定与接收到的声音相对应的方向。
在步骤404a中,如果所确定的接收声音的方向与第二方向相同,则电子设备101可以将第二规定时间与接收到的声音相关联,就好像沿第二方向形成波束一样。
如图4b所示,在步骤401b中,电子设备101可以沿第一方向形成波束。
波束可以由设置在电子设备101中的两个或更多个麦克风形成。例如,对于波束形成,电子设备101可以使用输出单元(例如,扬声器)输出利用多个麦克风接收到的所有方向上的声音中的沿预定方向接收到的特定声音,或者可以将接收到的特定声音存储在存储器中。此外,对于沿不同于预定方向的方向接收到的声音,波束形成控制方法可以阻止所述声音的输出或者拒绝将声音存储在存储器中。
波束形成的方向可以与波束形成的方位角、波束形成的接收方向以及波束形成的位置相同。为了定义波束形成的方向,可以将两个麦克风之间的特定点定义为原点。从原点连接到第一麦克风的直线可以设置为参考线,并且由参考线与由波束形成的位置和原点所形成的直线所形成的角度可以设置为极坐标0°到360°的形式。
作为一个示例,电子设备101可以根据预先沿0°方向形成的波束,输出或存储沿所有方向(0°和360°之间的方向)接收的声音中沿0°方向接收到的声音。
作为另一示例,电子设备101可以根据预先沿0°方向形成的波束,输出或存储沿所有方向接收的声音中的从330°方向到30°方向的范围内接收到的声音。
在步骤402b中,如果沿第一方向形成波束,则电子设备101可以存储用于沿第一方向形成波束的第一规定时间。
第一规定时间可以包括与由多个麦克风形成的沿第一方向的波束相对应的多个麦克风的阵列延迟(或接收时间差)。术语“麦克风阵列延迟”可以指的是使用多个麦克风中的每个麦克风接收到沿特定方向接收的声音的时间差。这里,麦克风阵列延迟可以与接收时间差互换地使用。
在步骤403b中,可以存储第一规定时间,并且电子设备101可以沿特定方向接收声音。例如,电子设备101可以沿0°与360°之间的范围内的特定方向(例如,90°方向)接收声音。
在步骤404b中,如果沿特定方向接收到声音,则电子设备101可以确定沿特定方向接收的声音的接收方向。确定接收方向的一个示例可以包括到达方向(DOA)技术。
作为使用DOA技术来确定声音的接收方向的方法的一个示例,如果接收到沿特定方向的声音,则电子设备101可以基于与用多个麦克风中的每个麦克风接收所接收的声音的时间差相关的信息来确定声音的接收方向。例如,电子设备101可以将用多个麦克风中的第一麦克风接收到沿特定方向的声音的第一接收时间与用第二麦克风接收到沿特定方向的声音的第二接收时间进行比较,并且基于第一接收时间和第二接收时间之差来确定声音的接收方向。电子设备101的存储器130可以存储预测量(或预定)的接收时间差值与接收方向之间的关联数据,并且电子设备101可以基于所确定的第一接收时间和第二接收时间之间的接收时间差(例如0秒),在存储器130中存储的关联数据中搜索所有方向(0°和360°之间的方向)中与接收时间差相对应的特定方向(例如,90°方向)。
在步骤405中,如果确定了沿特定方向接收的声音的接收方向,则电子设备101可以确定所确定的接收方向是否是与作为预先形成的波束的方向的第一方向不同的方向(第二方向)。
如果确定接收方向不是第二方向,电子设备可以在步骤403b再次接收声音。
如果确定接收方向是第二方向,则在步骤406b中,电子设备可以将第二规定时间与接收到的声音相关联,如同沿第二方向形成所述波束一样。
电子设备可以获得阵列延迟(例如,第二麦克风阵列延迟),其中利用每个麦克风通过所述阵列延迟接收其方向被确定为第二方向的声音;获得所获得的第二麦克风阵列延迟与存储的第一麦克风阵列延迟之差;并且将所获得的麦克风阵列延迟差应用(或补偿)到作为接收到的声音的麦克风阵列延迟的第二麦克风阵列延迟。
例如,电子设备101可以执行滤波操作,以仅使在所有方向接收到的声音中沿预设的波束形成方向接收的特定声音通过,并且移除其余的声音。在滤波操作期间,为了使沿不同于波束形成方向的方向接收的声音通过,电子设备101可以仅改变输入到滤波器的声音的接收时间差(或麦克风阵列延迟),而无需改变滤波器的结构,从而不但处理沿与波束形成方向相同的方向接收到的扬声器的声音(或说话者的声音),而且也处理沿与波束形成方向不同的方向接收到的扬声器的声音,例如沿与波束形成方向相同的方向接收的声音。换句话说,电子设备101可以处理声音,如同将波束形成方向改变为作为接收声音的方向的与波束形成方向不同的方向。在这种情况下,不需要电子设备101改变用于滤波操作的滤波器的值,以便找到具有最低误码率的值。因此即使扬声器移动,也不需要实时更新滤波器的值。此外,电子设备101的系统配置可以进一步简化,并且可以改善声音处理速度。另外,电子设备101的功耗可以降低,并且电子设备101可以使用固定波束形成器通过补偿输入信号的接收时间延迟使沿所需的方向的声音通过或移除。
图5是示出了根据本公开实施例的电子设备101中包括接收时间补偿器在内的处理器的图。
如图5所示,电子设备101可以包括例如用于接收声音的输入单元510、用于补偿所接收的声音的处理器520、用于根据补偿结果输出声音的输出单元530以及用于存储用于补偿声音的数据的存储器540。
输入单元510可以包在电子设备101中彼此分离设置的多个麦克风(MIC),并且多个麦克风可以包括两个或更多个麦克风(包括第一麦克风511和第二麦克风512),但是可以使用多个MIC。第一麦克风511和第二麦克风512可以在相同或不同的时间沿特定方向接收声音。第一麦克风511和第二麦克风512可以将接收到的模拟声音转换为数字声音,并将数字声音发送给处理器520。
处理器520可以包括例如接收方向检测器521、接收时间补偿器522和波束形成器523。
接收方向检测器521可以确定从输入单元510发送的声音的接收方向。例如,接收方向检测器521可以获得与利用第一麦克风511和第二麦克风512中的每一个来接收声音的时间有关的信息,基于所获得的接收时间信息获得第一麦克风511的第一接收时间与第二麦克风512的第二接收时间之间的差值,并且基于所获得的接收时间差值来确定所接收的声音的接收方向。此外,接收方向检测器521可以基于预先存储在存储器540中的接收时间差和接收方向之间的关联信息来确定声音的接收方向。
处理器520可以基于由接收方向检测器521确定的接收方向来确定所接收的声音的接收方向是否与由波束形成器523预设的波束形成方向相同,并且可以根据确定结果来处理接收到的声音。如果确定所确定的接收方向与波束形成方向相同,则处理器520可以将所接收的声音发送(或传递)到输出单元530。相反,如果确定所确定的接收方向与波束形成方向不同,则处理器520可以使用接收时间补偿器522利用沿波束形成方向的声音来补偿接收到的声音。
接收时间补偿器522可以用与预设波束形成方向相对应的接收时间差来补偿由接收方向检测器521确定的声音的接收时间差。
波束形成器523可以将沿用户预设的方向的声音发送(或传递)到输出530,并且可以阻止发送沿不同于预设方向的方向的声音。
输出单元530可以将从处理器520发送的声音输出到扬声器531或头戴式耳机(或耳机)532。因此,用户不仅可以收听沿波束形成方向接收到的声音,而且还可以收听当用户从波束形成方向移动时沿不同于预设波束形成方向的方向接收到的声音,而不会丢失声音。
图6a和图6b是示出了根据本公开实施例的基于声音的接收方向的接收时间差的图。
参考图6a,电子设备601可以包括第一麦克风610a和第二麦克风610b。电子设备601可以使用第一麦克风610a和第二麦克风610b沿0°方向形成波束。如果沿0°方向发出声音,则第一麦克风610a可以在tiA=to时接收到声音“A”,并且第二麦克风610b可以在tiB=to时接收到声音“B”。在图6a中,对于沿0°方向接收到的声音,第一麦克风610a与第二麦克风610b之间的接收时间差Δti可以是tiA-tiB=to-to=0。
参考图6b中,电子设备602可以使用第一麦克风611a和第二麦克风611b沿30°方向接收声音。如果沿30°方向发出声音,则第一麦克风611a可以在tfA=to时接收到声音“A”,并且第二麦克风611b可以在tfB=to+t2时接收到声音“B”。在图6b中,对于沿30°方向接收到的声音,第一麦克风611a和第二麦克风611b之间的接收时间差Δtf可以是tfA-tfB=to-(to+t2)=-t2。
图6c是示出了根据本公开实施例的将特定麦克风阵列延迟与声音相关联的操作的图。
如图6c所示,波束形成器623可以使用第一麦克风612a和第二麦克风612b沿0°方向形成波束。可以将第一麦克风612a和第二麦克风612b之间的间隙(或距离)定义为“d”。波束形成器623可以存储第一规定时间(或者第一接收时间差),该第一规定时间被设置为使用第一麦克风612a和第二麦克风612b沿0°方向形成波束。可以使用方程Δti=d×sin(0°)/c(其中c是声速,例如340m/s)来计算第一规定时间Δti。
如果在使用第一麦克风612a和第二麦克风612b沿0°方向形成波束的同时沿30°方向发出声音,则电子设备的第一麦克风612a可以接收到与发出的声音相对应的声音“A”,并且第二麦克风612b可以接收到与发出的声音相对应的声音“B”。
接收方向检测器621可以基于接收到的声音“A”和“B”来获得第二麦克风阵列延迟(或每个麦克风的接收时间差),基于获得的第二麦克风阵列延迟来确定所接收的声音的接收方向,并且将接收到的声音“A”和“B”发送到接收时间补偿器622。在沿30°方向接收声音的情况下,由第一麦克风612a接收的声音“A”与由第二麦克风612b接收的声音“B”之间的接收时间差Δtf(或规定时间)可以是tfA-tfB=to-(to+t2)=-t2。
接收时间补偿器622可以配置为将第二规定时间与从接收方向检测器621发送的声音“A”和“B”相关联。第二规定时间可以是预先存储的第一麦克风阵列延迟与通过第一麦克风612a和第二麦克风612b获得的第二麦克风阵列延迟之间的时间差。接收时间补偿器622可以将接收到的声音的麦克风阵列延迟从第二麦克风阵列延迟改变为第一麦克风阵列延迟。换句话说,沿30°方向接收到的声音的麦克风阵列延迟Δtf’可以从tfA-tfB=to-(to+t2)=-t2(第二麦克风阵列延迟)改变(或补偿)为Δti-Δtf+Δtf=Δti=0(第一个麦克风阵列延迟)。
接收时间补偿器622可以将其接收时间差(或麦克风阵列延迟)被改变(或补偿)的声音“A”和“B”发送到波束形成器623,并且波束形成器623可以将发送的声音“A”和“B”发送到输出单元630。
在预设波束形成方向是不同于0°或180°的特定角度(例如,时间差具有不同于0的值的角度)的情况下,在图6c中,接收时间差被改变的声音“A”和“B”之间的接收时间差大于零(0)。然而,在预设波束形成方向是0°的情况下,接收时间差可以是零(0)(或者声音“A”和“B”的接收时间可以是相同的)。
图6d和图6e是示出了根据本公开实施例的基于声音的接收方向的接收时间差的图。
参考图6d,电子设备603可以包括第一麦克风613a、第二麦克风613b和第三麦克风613c。电子设备603可以使用第一麦克风613a、第二麦克风613b和第三麦克风613c沿0°方向形成波束。如果沿0°方向发出声音,则第一麦克风613a可以在tiA=to时接收到声音“A”,第二麦克风613b可以在tiB=to时接收到声音“B”,并且第三麦克风613c可以在tiC=to+ti3时接收到声音“C”。对于沿0°方向接收到的声音,第一麦克风613a和第二麦克风613b之间的接收时间差ΔtiAB可以是tiA-tiB=to-to=0,并且第一麦克风613a和第三麦克风613c之间的接收时间差ΔtiAC可以是tiA-tiC=to-(to+ti3)=-ti3。
参考图6e,电子设备604可以使用第一麦克风614a、第二麦克风614b和第三麦克风614c沿30°方向接收声音。如果沿30°方向发出声音,则第一麦克风614a可以在tfA=to时接收到声音“A”,第二麦克风614b可以在tfB=to+tf2时接收到声音“B”,并且第三麦克风614c可以在tfC=to+tf3时接收到声音“C”。对于沿30°方向接收到的声音,第一麦克风614a与第二麦克风614b之间的接收时间差ΔtfAB可以是tfA-tfB=to-(to+tf2)=-tf2,并且第一麦克风614a与第三麦克风614c之间的接收时间差ΔtfAC可以是tfA-tfC=to-(to+tf3)=-tf3。
图6f是示出了根据本公开实施例的将特定麦克风阵列延迟与声音相关联的操作的图。
如图6f所示,波束形成器643可以使用第一麦克风615a、第二麦克风615b和第三麦克风615c沿0°方向形成波束。波束形成器643可以存储第一规定时间(或第一麦克风阵列延迟),该第一规定时间被设置为使用第一麦克风615a、第二麦克风615b和第三麦克风615c沿0°方向形成波束。第一规定时间可以包括第一麦克风615a和第二麦克风615b之间的接收时间差ΔtiAB以及第一麦克风615a和第三麦克风615c之间的接收时间差ΔtiAC。第一麦克风615a和第二麦克风615b之间的接收时间差ΔtiAB以及第一麦克风615a和第三麦克风615c之间的接收时间差ΔtiAC可以按照与参照图6c进行的描述类似的方式确定。例如,第一麦克风615a与第二麦克风615b之间的接收时间差ΔtiAB以及第一麦克风615a与第三麦克风615c之间的接收时间差ΔtiAC可以基于第一麦克风615a与第二麦克风615b之间的距离以及第一麦克风615a与第三麦克风615c之间的预设波束的方向来确定。
如果在使用第一麦克风615a、第二麦克风615b和第三麦克风615c沿0°方向形成波束的同时沿30°方向发出声音,则电子设备的第一麦克风615a可以接收与所发出的声音相对应的声音“A”,第二麦克风615b可以接收与所发出的声音相对应的声音“B”,并且第三麦克风613c可以在时间tiC=to+ti3接收声音“C”。
接收方向检测器641可以基于接收到的声音“A”、“B”和“C”来获得第二麦克风阵列延迟(或每个麦克风的接收时间差),基于获得的第二麦克风阵列延迟来确定所接收的声音的接收方向,并且将接收到的声音“A”、“B”和“C”提供给接收时间补偿器642。第二麦克风阵列延迟可以包括第一麦克风615a和第二麦克风615b之间的接收时间差(或者声音“A”和“B”之间的接收时间差)以及第一麦克风615a和第三麦克风615c之间的接收时间差(或者声音“A”和“C”之间的接收时间差)。如果沿30°方向接收到声音,麦克风阵列延迟可以包括第一麦克风615a和第二麦克风615b之间的接收时间差(ΔtfAB=tfAt-tfB=to-(to+tf2)=-tf2)以及第一麦克风615a和第三麦克风615c之间的接收时间差(ΔtfAC=tfA-tfC=to-(to+tf3)=-tf3)。
接收时间补偿器642可以配置为将第二规定时间与从接收方向检测器641发送的声音“A”、“B”和“C”相关联。第二规定时间可以是预先存储的第一麦克风阵列延迟与通过接收时间补偿器642获得的第二麦克风阵列延迟之间的时间差。接收时间补偿器642可以将接收到的声音的麦克风阵列延迟从第二麦克风阵列延迟改变到第一麦克风阵列延迟。
接收时间补偿器642可以通过将第一麦克风阵列延迟ΔtiAB与第二麦克风阵列延迟ΔtfAB之差与沿30°方向接收的声音“A”和“B”之间的接收时间差ΔtfAB相关联(或相加),将接收到的声音的接收时间差改变为ΔtfAB’=0。结果,声音“A”和“B”之间的接收时间差ΔtfAB’可以从-tf2(第二麦克风阵列延迟)改变(或补偿)为0(第一麦克风阵列延迟)。
类似地,声音“A”和“C”之间的接收时间差ΔtfAC’可以从-tf3(与30°方向相对应的麦克风阵列延迟(第二麦克风阵列延迟))改变(或补偿)到-ti3(与0°方向相对应的麦克风阵列延迟(第一麦克风阵列延迟))。
接收时间补偿器642可以将其接收时间差(或者麦克风阵列延迟)被改变(或者补偿)的声音“A”、“B”和“C”发送到波束形成器643,并且波束形成器643可以将所发送的声音“A”、“B”和“C”发送到输出单元650。
在预设波束形成方向是不同于0°或180°的特定角度(例如,时间差具有不同于0的值的角度)的情况下,在图6f中,接收时间差被改变的声音“A”、“B”和“C”之间的接收时间差大于零(0)。然而,在预设波束形成方向是0°的情况下,接收时间差可以是零(0)(或者声音“A”、“B”和“C”的接收时间可以是相同的)。
图7a是示出了根据本公开实施例的电子设备101的波束形成控制方法的流程图。
参考图7a,在步骤702a中,电子设备101(或电子设备601)可以沿第一方向形成波束。
在步骤703a中,在沿第一方向形成波束之后,电子设备101可以存储用于沿第一方向形成波束的第一麦克风阵列延迟。
电子设备101可以在步骤704a中接收声音,并且在步骤705a中确定与接收到的声音相对应的方向。
如果接收到的声音的方向与作为预形成波束的方向的第一方向相同,则在步骤706a中,电子设备101可以接收声音,直到接收到沿第二方向的声音为止。
如果接收到的声音的方向是与作为预形成波束的方向的第一方向不同的第二方向,则电子设备101可以在步骤707a中获得与第二方向相对应的第二麦克风阵列延迟。
在步骤708a中,当获得第二麦克风阵列延迟时,电子设备101可以获得第一麦克风阵列延迟与第二麦克风阵列延迟之差。
在步骤709a中,当获得麦克风阵列延迟之差时,电子设备101可以将麦克风阵列延迟之差应用于(或者增加到)所接收的声音的第二麦克风阵列延迟。
在步骤710a中,电子设备可以输出应用了麦克风阵列延迟差的已补偿的声音(或者所获得的声音)。
图7b和图7c是示出了根据本公开实施例的用于使用固定波束形成器接收从移动扬声器发出的声音的方法的图。
参考图7b中,电子设备701可以使用第一麦克风711和第二麦克风712沿“①”方向设置波束形成。
如果在沿“①”方向设置波束形成的同时扬声器沿“②”方向移动并且然后沿“②”方向接收到声音,则电子设备701可以将与“①”方向相对应的第一麦克风阵列延迟和与“②”方向相对应的第二麦克风阵列延迟之差应用于沿“②”方向接收的声音,如同波束形成的方向从“①”方向改变为“②”方向一样。
如果在扬声器从“②”方向移动到“③”方向之后沿“③”方向接收到声音,则电子设备701可以将与“②”方向相对应的第一麦克风阵列延迟和与“③”方向相对应的第二麦克风阵列延迟之差应用于沿“③”方向接收的声音,如同波束形成的方向从“②”方向改变到“③”方向一样。
参考图7c所示,电子设备702可以使用第一麦克风721和第二麦克风722来沿“①”方向设置第一波束形成和沿“②”方向设置第二波束形成,并且波束形成方向的数量可以是三个或更多个,但是不限于此。在这种情况下,电子设备702可以进一步存储两个或更多个麦克风阵列延迟,这两个或更多个麦克风阵列延迟被设置为沿至少两个方向形成波束。在图7c中,电子设备702可以存储用于沿“①”方向设置第一波束形成的第三麦克风阵列延迟和用于沿“②”方向设置第二波束形成的第四麦克风阵列延迟。
如果在设置沿“①”方向的第一波束形成和沿“②”方向的第二波束形成的同时扬声器沿“③”方向移动并且然后沿“③”方向接收到声音,则电子设备702可以将与“①”方向相对应的第三麦克风阵列延迟和与“③”方向相对应的第五麦克风阵列延迟之差应用于沿“③”方向接收的声音,如同将靠近“③”方向的第一波束形成的方向改变为“③”方向一样。
如果在扬声器从“③”方向移动到“④”方向之后沿“④”方向接收到声音,则电子设备702可以将与“②”方向相对应的第四麦克风阵列延迟和与“④”方向相对应的第六麦克风阵列延迟之差应用于沿“④”方向接收的声音,如果将靠近“④”方向的沿“②”方向设置的第二波束形成的方向改变到“④”方向一样。
图7d是示出了根据本公开实施例的改变波束形成的范围的操作的图。
电子设备101或电子设备703可以改变预形成波束的范围(或者角度),下文参考电子设备703对此进行描述。电子设备703可以包括用于接收针对波束范围的改变命令的输入单元。
参考图7d,电子设备703可以使用第一麦克风731和第二麦克风732将基于特定方向(例如,0°方向)沿逆时针方向30°和沿顺时针方向30°限定的范围设置为波束形成范围。如果设置了波束形成范围,则电子设备703可以使用输出单元740仅输出沿①、②、③和④方向接收到的声音中的沿属于所述波束形成范围的①和②方向接收到的声音。
在接收到角度增加命令时,电子设备703可以响应于接收到的角度增加命令,将波束形成的范围增加到基于特定方向沿逆时针方向60°和沿顺时针方向60°限定的范围。如果波束形成范围改变,则在沿①、②、③和④方向接收到的声音中,电子设备703可以使用输出单元740不仅输出沿属于在波束形成范围增加之前给出的现有波束形成范围的①和②方向接收的声音,而且还输出沿属于在波束形成范围增加之后给出的新波束形成范围的③和④方向接收的声音。
电子设备703可以改变波束形成的范围,并且可以将波束形成的范围限定为基于波形形成的预设中心方向沿顺时针方向和逆时针方向的特定角度限定的范围(例如以幅度3dB接收到沿中心方向接收到的声音的方向)。
图8是示出了根据本公开实施例的电子设备101的波形形成控制方法的流程图。
参考图8,在步骤801中,电子设备101可以沿第一方向形成波束。
在步骤802中,如果沿第一方向形成波束,则电子设备101可以存储第一规定时间,该第一规定时间被设置为沿第一方向形成波束。
在步骤803中,如果存储了第一规定时间,则电子设备101还可以存储第一规定接收声音比率,该第一规定接收声音比率被设置为沿第一方向形成波束。
第一规定接收声音比率可以指的是多个麦克风中的每个麦克风接收的声音的接收幅度的比率。
在步骤804中,如果存储了第一规定时间,则电子设备101可以沿特定方向接收声音。
在步骤805中,如果沿特定方向接收到声音,则电子设备101可以确定沿特定方向接收的声音的接收方向。
在步骤806中,如果确定了沿特定方向接收的声音的接收方向,则电子设备101可以确定所确定的接收方向是否与不同于作为预形成波束的方向的第一方向的第二方向相同。
如果确定接收方向是与作为预形成波束的方向的第一方向相同的方向,则在步骤804中,电子设备101可以再次接收声音。
如果确定接收方向是与作为预形成波束的方向的第一方向不同的第二方向,则在步骤807中,电子设备101可以将第二规定时间与接收到的声音相关联,如同沿第二方向形成波束一样。
在步骤808中,如果第二规定时间与接收到的声音相关联,如同沿第二方向形成波束一样,则电子设备101可以将第二规定接收声音比率与接收到的声音相关联,如同沿第二个方向形成波束一样。
电子设备101可以获得利用每个麦克风接收到其方向被确定为第二方向的声音的阵列接收声音比率(即,第二麦克风阵列接收声音比率),获得所获得的第二麦克风阵列接收声音比率与预先存储的第一麦克风阵列接收声音比率之间的比率(或差),并且应用(或补偿)麦克风阵列接收声音比率与第二麦克风阵列接收声音比率(其是所接收的声音的麦克风阵列接收声音比率)的所获得的比率(或差)。
图9是示出了根据本公开实施例的电子设备101中包括接收时间补偿器和接收幅度补偿器在内的处理器的图。
参考图9,电子设备101可以包括例如输入单元910、处理器920、输出单元930和存储器940。
输入单元910可以包括第一麦克风911和第二麦克风912,并且第一麦克风911和第二麦克风912可以使用模数转换(ADC)将接收的声音转换为数字信号,并且将数字信号发送到处理器920。
处理器920可以包括用于获得所接收的声音的接收方向的接收方向检测器921、用于基于波束形成方向的接收时间差来补偿所确定的声音的接收时间差的接收时间补偿器922、用于形成波束的波束形成器923以及接收幅度补偿器924。
接收幅度补偿器924对由接收时间补偿器922补偿了接收时间差的声音进行补偿,如同沿第二方向形成波束一样,或者使得声音可以变得与沿波束形成方向的信号相同。例如,接收幅度补偿器924可以获得与由每个麦克风接收声音时的声音幅度有关的信息,获得由每个麦克风接收的声音的幅度的比率(或差),并且基于预定的波束形成方向的预定的声音幅度比率(差)来补偿所获得的声音幅度比率(或差)。
接收方向检测器921和接收时间补偿器922可以基于在存储器940中存储的接收时间差和接收方向之间的关联数据进行操作,并且接收幅度补偿器924可以基于在存储器940中存储的接收幅度差和接收方向之间的关联数据进行操作。
【表1】
表1示出了根据本公开实施例的声音的接收方向和接收时间差之间的关联关系。
如表1所示,电子设备的多个麦克风(表1中假定设置有两个麦克风)可以在相同或不同的时间沿特定方向接收声音,并且每个麦克风的麦克风阵列延迟差可以根据电子设备的预定状态(诸如电子设备中设置的多个麦克风的对准状态、麦克风的尺寸状态或者电子设备的外壳状态)而预先确定。
作为根据接收方向的麦克风阵列延迟的一个示例,如果在电子设备处沿10°方向接收到声音,则电子设备的第一麦克风和第二麦克风之间的麦克风阵列延迟差可以是1.6秒。作为另一示例,如果在电子设备处沿90°方向接收到声音,则电子设备的第一麦克风和第二麦克风之间的麦克风阵列延迟差可以是0秒。
此外,作为根据麦克风阵列延迟的接收方向的一个示例,如果确定在电子设备处接收的声音的每个麦克风阵列延迟差是0.8秒,则电子设备可以获得与0.8秒相对应的角度50°或310°作为声音的接收方向。
尽管根据电子设备的类型可以不同地确定表1中所示的麦克风阵列延迟差和接收方向之间的关联关系,但是相同的电子设备可以始终具有相同的关联关系。
当电子设备的每个麦克风接收到声音时,每个麦克风接收到的声音的幅度可以根据接收方向表示不同值,并且多个麦克风中由第一麦克风接收到的声音的幅度与由第二麦克风接收到的声音的幅度之差对于每个接收方向可以具有恒定的值。
与在使用接收时间差的情况下一样,电子设备可以获得针对每个麦克风的声音的幅度差,并且将所获得的声音的幅度差补偿为针对沿预定波束形成方向接收声音的情况的声音幅度差。
处理器920可以将由接收时间补偿器922和接收幅度补偿器924中的每一个补偿的声音发送到输出单元930,并且输出单元930可以使用扬声器931或头戴式耳机(或耳机)932输出从处理器920发送的已补偿的声音。
图10a和图10b是示出了根据本公开实施例的基于声音的接收方向的接收时间差和接收幅度比率的图。
如图10a所示,电子设备1001可以使用第一麦克风1010a和第二麦克风1010b沿0°方向形成波束。如果沿0°方向发出声音,则第一麦克风1010a可以以MiA=Mo的幅度接收声音“A”,并且第二麦克风1010b可以以MiB=Mo的幅度接收声音“B”。在图10a的情况下,对于沿0°方向接收的声音,第一麦克风1010a和第二麦克风1010b之间的接收幅度比率MiB/MiA可以是MiB/MiA=Mo/Mo=1。
如图10b所示,电子设备1002可以使用第一麦克风1011a和第二麦克风1011b沿30°方向接收声音。如果沿30°方向发出声音,则第一麦克风1011a可以以幅度MfA=Mo接收声音“A”,并且第二麦克风1011b可以以幅度MfB=Mo*M2接收声音“B”。在图10b的情况下,对于沿30°方向接收到的声音,第一麦克风1011a与第二麦克风1011b之间的接收幅度比率MfB/MfA可以是MfB/MfA=(Mo*M2)/Mo=M2。
图10c是示出了根据本公开实施例的将特定的麦克风阵列接收声音比率与声音相关联的操作的图。
如图10c所示,波束形成器1024可以使用第一麦克风1012a和第二麦克风1012b沿0°方向形成波束。波束形成器1024可以存储第一规定时间(或者第一接收时间差),该第一规定时间(或者第一接收时间差)被设置为使用第一麦克风1012a和第二麦克风1012b沿0°方向形成波束。可以使用方程ti=d*sin(0°)/c(其中c是声速,例如340m/s)来计算第一规定时间ti。
波束形成器1024可以存储第一规定接收声音比率(或者第一接收幅度比率),该第一规定接收声音比率(或者第一接收幅度比率)被设置为使用第一麦克风1012a和第二麦克风1012b沿0°方向形成波束。第一规定接收声音比率MiB/MiA可以是MiB/MiA=Mo/Mo=1。
如果在使用第一麦克风1012a和第二麦克风1012b沿0°方向形成波束的同时沿30°方向发出声音,则电子设备的第一麦克风1012a可以接收与以MfA(=M0)的幅度发出的声音相对应的声音“A”,并且第二麦克风1012b可以接收与以MfB(=M0*M2)的幅度发出的声音相对应的声音“B”。
接收方向检测器1021可以基于接收到的声音“A”和“B”获得第二麦克风阵列延迟(或每个麦克风的接收时间差),基于获得的第二麦克风阵列延迟来确定所接收的声音的接收方向,并将接收到的声音“A”和“B”发送到接收时间补偿器1022。如果沿30°方向接收到声音,则由第一麦克风1012a接收的声音“A”和由第二麦克风1012b接收的声音“B”之间的接收时间差tf(或者规定时间)可以是tfA-tfB=to-(to+t2)=-t2。
接收时间补偿器1022可以配置为将第二规定时间与从接收方向检测器1021发送的声音“A”和“B”相关联。第二规定时间可以是预先存储的第一麦克风阵列延迟与由接收时间补偿器1022获得的第二麦克风阵列延迟之间的时间差。接收时间补偿器1022可以将接收到的声音的麦克风阵列延迟从第二麦克风阵列延迟改变到第一麦克风阵列延迟。换句话说,针对沿30°方向接收的声音的麦克风阵列延迟tf’可以从tfA-tfB=to-(to+t2)=-t2(或第二麦克风阵列延迟)改变(或补偿)到ti-tf+tf=ti=0(或者第一麦克风阵列延迟)。
接收时间补偿器1022可以向接收幅度补偿器1023发送其接收时间差(或麦克风阵列延迟)被改变(或补偿)的声音“A”和“B”。
接收幅度补偿器1023可以配置为将第二规定接收声音比率与由接收时间补偿器1022补偿了其接收时间的声音“A”和“B”相关联。第二规定接收声音比率可以是预先存储的第一麦克风阵列接收声音比率与由第一麦克风1012a和第二麦克风1012b获得的第二麦克风阵列接收声音比率之间的时间差。接收幅度补偿器1023可以将针对接收到的声音的麦克风阵列接收声音比率从第二麦克风阵列接收声音比率改变为第一麦克风阵列接收声音比率。换句话说,针对沿30°方向接收的声音的麦克风阵列接收声音比率MfB’/MfA’可以从MfB/MfA=(Mo*M2)/Mo=M2(或者第二麦克风阵列接收声音比率)改变(或补偿)为MiB/MiA=Mo/Mo=1(或第一麦克风阵列接收声音比率)。
【表2】
表2示出了根据本公开实施例的声音的接收方向和麦克风阵列接收声音比率差值之间的关联关系。
参考表2,电子设备的多个麦克风可以沿特定方向以相同或不同的幅度接收声音,并且每个麦克风的麦克风阵列接收声音比率差可以根据电子设备的预定状态(诸如电子设备中设置的多个麦克风的对准状态、麦克风的尺寸状态或者电子设备的外壳状态)而预先确定。
作为根据接收方向的麦克风阵列接收声音比率的关联关系的一个示例,如果在电子设备处沿30°方向接收到声音,则电子设备的第一麦克风和第二麦克风之间的麦克风阵列接收声音比率差可以是2.4dB。作为另一示例,如果在电子设备处沿100°方向接收到声音,则电子设备的第一麦克风和第二麦克风之间的麦克风阵列接收声音比率差可以是-0.4dB。
作为根据麦克风阵列接收声音比率的接收方向的一个示例,如果确定在电子设备处接收的声音的每个麦克风阵列接收声音比率差是0.8dB,则电子设备可以获得与0.8dB相对应的角度70°或290°作为声音的接收方向。
接收幅度补偿器1023可以向波束形成器1024发送其接收时间差(或者麦克风阵列延迟)和接收幅度差(或者麦克风阵列接收声音比率)被改变(或者补偿)的声音“A”和“B”,并且波束形成器1024可以将所发送的声音“A”和“B”发送到输出单元1030。
图11是示出了根据本公开实施例的通过波束形成控制方法输出的声音的图。
图11中的第一(即顶部)曲线示出了当在波束形成方向设置为0°或180°时沿0°或180°方向接收到声音时所输出的声音的波形。
图11中的第二(即中间)曲线示出了在当波束形成方向固定为0°或180°时扬声器已经移动至90°方向的情况下,当应用声音的麦克风阵列延迟的补偿时所输出的声音的波形。
图11中的第三(即底部)曲线示出了在当波束形成方向固定的同时扬声器已经移动到90°方向的情况下,当除了应用声音的麦克风阵列延迟的补偿之外还应用麦克风阵列接收声音比率的补偿时输出的声音的波形。
通过将图11中的第二曲线和第三曲线进行比较,可以注意到,与仅简单地补偿麦克风阵列延迟的情况(第二曲线的情况)相比,对麦克风阵列延迟和麦克风阵列接收声音比率都进行补偿的情况(第三曲线的情况)示出了在将声音接收方向补偿到现有波束形成方向方面更大的效果。
图12是示出了根据本公开的实施例的波束形成控制方法的图.
参考图12,如果在沿0°方向形成波束的同时沿0°方向定位的扬声器移动到30°方向时扬声器传递到电子设备的声音的接收方向改变为不同于波束形成方向的方向,则电子设备可以响应于扬声器的移动和接收方向的改变,补偿麦克风声音接收时间,补偿接收到的声音的幅度,并且将当前沿30°方向接收的声音改变为沿0°方向接收的声音时,如同针对沿30°方向接收的声音沿30°方向形成波束一样。
类似地,如果扬声器从30°方向移动到90°方向,则电子设备可以针对扬声器沿90°方向传递的声音补偿麦克风的声音接收时间和声音幅度,以将当前沿90°方向接收的声音改变为沿作为波束形成方向的0°方向接收的声音,如同沿90°方向形成波束一样。
图13是示出了根据本公开实施例的记录已补偿的声音的操作的图。
参考图13,在设置波束形成的同时,麦克风1310可以沿与波束形成方向不同的方向接收声音;可以设置两个或更多个麦克风。
在一个实施例中,如果接收到沿与波束形成方向不同的方向的声音,则麦克风1310可以将接收到的声音发送到处理器1320。
一旦接收到声音,处理器1320就可以补偿接收到的声音,如同沿声音接收方向形成波束一样。补偿方法与参考图4a至图12所述的补偿方法相同,因此将省略其详细描述。
在一个实施例中,如果对接收的声音进行补偿,如同沿声音接收方向形成波束以一样,则处理器1320可以将已补偿的声音记录在存储器1340中以将其以声音数据的形式存储。
图14a和图14b是示出了根据本公开实施例的使用扬声器输出已补偿的声音的操作的图。
参考图14a,如果接收到沿与波束形成方向不同的方向的声音,则麦克风1411可以将接收到的声音发送到处理器1421。如果发送了所述声音,则处理器1421可以根据波束形成方向来补偿接收到的声音。如果补偿了接收到的声音,则处理器1421可以将已补偿的声音发送到扬声器1431。如果发送了已补偿的声音,则扬声器1431可以输出已补偿的声音。
参考图14b,麦克风1412可以沿多个方向接收声音。麦克风1412可以接收沿与波束形成方向不同的第二方向的声音和沿与波束形成方向不同的第三方向的声音两者。如果接收到第二方向声音和第三方向声音,则麦克风1412可以将多个声音发送到处理器1422。
处理器1422可以根据预形成波束的方向来补偿接收到的第二方向声音,并且可以根据预形成波束的方向来补偿接收到的第三方向声音。处理器1422可以通过将预设的第二规定时间与第二方向声音相关联来补偿第二方向声音,如同沿第二方向形成波束一样,并且可以通过将预设的第三规定时间与第三方向声音相关联来补偿第三方向声音,如同沿第三方向形成波束一样。
如果补偿了第二方向声音和第三方向声音,则处理器1422可以将已补偿的第二方向声音发送到第一扬声器1432,并且将已补偿的第三方向声音发送到第二扬声器1433。
第一扬声器1432可以输出所发送的第二方向补偿声音,并且第二扬声器1433可以输出所发送的第三方向补偿声音。结果,电子设备可以使用与声音接收方向相对应的分离的扬声器来输出沿与波束形成方向不同的方向接收到的扬声器的声音。
图15a至图15d是示出了根据本公开的实施例的使用通信模块向/从其他电子设备发送和接收已补偿的声音的操作的图。
根据本公开的各种实施例,电子设备可以包括麦克风1511、处理器1521和通信模块1531。
参考图15a,电子设备的麦克风1511可以沿与波束形成方向不同的方向接收声音,并将接收到的声音发送到处理器1521。
如果发送了声音,则处理器1521可以通过将预设规定时间与接收到的声音相关联来补偿接收到的声音,如同沿声音接收方向形成波束一样,并将已补偿的声音发送到通信模块1531。
通信模块1531可以配置为向第一电子设备1541或第二电子设备1542发送所发送的已补偿声音,所述第一电子设备1541或第二电子设备1542是与所述电子设备不同的电子设备。
参考图15b,电子设备的麦克风1512可以沿与波束形成方向不同的方向接收声音,并将接收到的声音发送到处理器1522。处理器1522可以配置为使用通信模块1532将呼叫从电子设备连接到通信终端,并将已补偿的声音发送到通信终端。处理器1522可以使用通信模块1532将呼叫连接请求信号发送到作为通信终端的第一电子设备1543。处理器1522可以响应于所发送的呼叫连接请求,使用通信模块1532接收从第一电子设备1543接收到的呼叫连接同意信号,并且响应于接收到的呼叫连接同意,使用通信模块1532将已补偿的声音作为扬声器的声音发送到第一电子设备1543。
参考图15c,电子设备可以包括例如麦克风1513、电话会议处理器1523和电话会议通信模块1533。电话会议处理器1523可以具有与参照图1至图15b描述的处理器(例如,图2的处理器210)相同的结构或执行相同的功能,并且电话会议通信模块1533可以具有与在图1至图3中描述的通信模块(例如,图2的通信模块220)相同的结构或执行相同的功能。
麦克风1513可以接收沿与波束形成方向不同的第一方向的声音、沿与波束形成方向不同的第二方向的声音以及沿与波束形成方向不同的第三方向的声音,并且将沿第一方向、第二方向和第三方向接收到的声音发送到电话会议处理器1523。
电话会议处理器1523可以补偿沿多个方向中的每个方向发送的声音,如同沿多个方向中的每个方向形成波束一样。例如,如果与第一声音(或第一方向声音)相对应的方向是第一方向,则电话会议处理器1523可以配置为将预设的规定时间与第一声音相关联,如同使用麦克风1513沿第一方向形成波束一样。
电话会议处理器1523可以使用电话会议通信模块1533将以下各项中的每一项发送到外部第一电子设备1544:补偿为如同沿第一方向形成波束一样的第一方向声音、补偿为如同沿第二方向形成波束一样的第二方向声音以及补偿为如同沿第三方向形成波束一样的第三方向声音。
参考图15d,电子设备的麦克风1514可以沿与波束形成方向不同的方向接收声音,并将接收到的声音发送到处理器1524。
如果发送了声音,则处理器1524可以通过将预设规定时间与接收到的声音相关联来补偿接收到的声音,如同沿声音接收方向形成波束一样,并将已补偿的声音发送到通信模块1534,以便将已补偿的声音存储在电子设备外部的服务器1545中。
通信模块1534可以配置为将所发送的已补偿的声音存储在电子设备外部的服务器1545中。
图16是示出了根据本公开实施例的基于已补偿的声音来识别用户命令的操作的图。
参考图16,麦克风1610可以沿与波束形成方向不同的方向接收包括声音“解锁”的语音信号,并且将接收到的语音信号发送到处理器1620中的接收方向检测器1621。
处理器1620可以包括:用于确定接收到的语音信号的方向的接收方向检测器1621、用于补偿接收到的信号的接收时间的接收时间补偿器1622、波束形成器1633和命令识别器1634,并且可以提供显示器1630。
接收方向检测器1621可以从所发送的“解锁”语音信号中检测接收方向信息,并将检测到的接收方向信息发送到接收时间补偿器1622,并且接收时间补偿器1622可以基于所发送的接收方向信息补偿“解锁”语音信号的接收时间,如同沿声音接收方向形成波束一样,并且将已补偿的“解锁”语音信号发送到波束形成器1633,并且波束形成器1633可以将已补偿的“解锁”语音信号发送到命令识别器1634。
命令识别器1634可以分析作为所发送的已补偿声音的“解锁”语音信号,并且根据分析结果从“解锁”语音信号中识别(或获得)“解锁”命令。
在识别出“解锁”命令之后,命令识别器1634可以将“解锁”命令发送到显示器1630,在显示器1630上将显示“解锁”命令。响应于由麦克风1610接收的“解锁”语音信号,处理器1620可以向显示器1630发送“解锁”命令以对显示器1630进行解锁。
根据本公开的各种实施例的电子设备可以包括:多个麦克风(511、512);存储器(540),配置为存储第一规定时间,所述第一规定时间被设置为使用所述多个麦克风(511、512)沿第一方向形成波束;以及处理器(520),与所述多个麦克风(511、512)相连,并且配置为使用所述多个麦克风(511、512)接收声音,确定与所接收的声音相对应的方向,以及如果所述方向与第二方向相同,则将第二规定时间与所接收的声音相关联,如同使用所述多个麦克风(511、512)沿所述第二方向形成波束一样。
根据本公开的各种实施例,所述处理器(520)还配置为:基于所述第一规定时间和对所接收的声音已经到达所述多个麦克风(511、512)的时间加以指示的第二麦克风阵列延迟,来估计所述第二规定时间。
根据本公开的各种实施例,所述第一规定时间是与所述第一方向相对应的第一麦克风阵列延迟。
根据本公开的各种实施例,所述处理器(520)还配置为:将所接收的声音的所述第二规定时间改变为所述第一规定时间。
根据本公开的各种实施例,所述处理器(520)还配置为:使用所述多个麦克风(511、512)沿所述第一方向和第三方向形成波束,以及所述存储器(540)还配置为存储用于沿所述第三方向形成波束的第三规定时间。
根据本公开的各种实施例,所述处理器(520)还配置为:将所述第一规定时间和所述第三规定时间中与更靠近所述第二方向的方向相对应的规定时间与所述声音相关联。
根据本公开的各种实施例,所述存储器(540)还配置为:存储用于使用所述多个麦克风(511、512)沿所述第一方向形成波束的第一规定接收声音比率,以及所述处理器(520)还配置为:将所述第二规定时间和第二规定接收声音比率与所述声音相关联。
根据本公开的各种实施例,所述处理器(520)还配置为:基于所述第一规定接收声音比率和对所接收的声音已经到达所述多个麦克风(511、512)的幅度加以指示的第二麦克风阵列接收声音比率,来估计所述第二规定接收声音比率。
根据本公开的各种实施例,所述处理器(520)还配置为:将所接收的声音的所述第二规定接收声音比率改变为所述第一规定接收声音比率。
根据本公开的各种实施例,所述多个麦克风(511、512)接收多个声音,以及所述处理器(520)还配置为:如果与所述多个声音中的第一声音相对应的方向与第四方向相同,则将第四规定时间与所述第一声音相关联,如同使用所述多个麦克风(511、512)沿所述第四方向形成波束一样。
根据本公开的各种实施例,还包括与所述处理器(520)相连的输出单元,所述处理器还配置为:使用所述输出单元输出通过将所述第二规定时间与所述声音相关联而获得的已补偿的声音。
根据本公开的各种实施例,还包括与所述处理器(520)相连的通信模块(220),所述处理器还配置为:使用所述通信模块(220)将通过将所述第二规定时间与所接收的声音相关联而获得的已补偿的声音发送到终端。
根据本公开的各种实施例,所述处理器(520)还配置为:使用所述通信模块(220)将呼叫连接至呼叫终端(102),并且将所获得的已补偿的声音发送到呼叫终端(102)。
根据本公开的各种实施例,所述处理器(520)还配置为:从通过将所述第二规定时间与所接收的声音相关联而获得的已补偿的声音中识别用户命令,并且响应于所识别的用户命令来控制所述电子设备的操作。
根据本公开的各种实施例的电子设备的输入/输出方法可以包括电子设备的输入/输出方法。该输入/输出方法包括:存储第一规定时间,所述第一规定时间被设置为使用多个麦克风(511、512)沿第一方向形成波束;使用所述多个麦克风(511、512)接收声音;确定与所接收的声音相对应的方向;以及如果所述方向与第二方向相同,则将第二规定时间与所接收的声音相关联,如同使用所述多个麦克风(511、512)沿所述第二方向形成波束一样。
根据本公开的装置(例如,模块或其功能)或方法(例如,操作)的至少一部分可以例如由以程序模块形式存储在计算机可读存储介质中的指令来实现。当通过至少一个处理器(例如,处理器120)执行所述指令时,所述至少一个处理器可以执行与该指令相对应的功能。例如,计算机可读存储介质可以是存储器130。
计算机可读可以包括磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、磁光介质(诸如光磁软盘)以及硬件设备(诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存)。此外,程序指令不仅可以包括诸如编译器实现的代码等的机器代码,而且还可以包括可以通过计算机使用解译器执行的高级语言代码。上述硬件设备可以被配置为操作一个或多个软件模块操作以便执行根据本发明各种实施例的操作,并且反之亦然。
根据本公开的各种实施例的模块或程序模块可以包括上述组件中的至少一个,可以省略它们的一些或者还可以包括附加的其他组件。可以通过顺序、并行、迭代或启发方式来执行由模块、程序模块或其他组件执行的操作。一些操作可以按不同顺序被执行,或者被省略,或者可增加其他操作。尽管已经展示了这里公开的实施例以描述和理解技术细节,但是并非意欲限制本发明的范围。因此,本公开的范围应被解释为包括基于本公开的技术精神而做出的所有改变或各个其他实施例。
如根据前述描述清楚的是,在本公开的各种实施例中,可以调节使用多个麦克风接收的声音的延迟时间(或者麦克风阵列延迟),以将当前接收的声音的入射角度任意改变为波束形成方向,使得可以使用现有的固定波束形成器接收迅速移动到与波束形成区域不同的区域的扬声器(或说话者)的声音,而无需改变滤波器或者无需改变麦克风的物理结构。
另外,可以使用具有最小计算量和复杂度的波束形成来跟踪扬声器,因此由于计算量的减小,可以容易地实现针对沿任意方向的扬声器或者移动扬声器的波束形成。
尽管参考本公开的特定实施例示出并描述了本公开,但是本领域技术人员将理解,可以在不脱离本公开的范围的前提下,可以在其中进行形式和细节上的各种改变。因此,本公开的范围不应被定义为受限于上述实施例,而应由所附权利要求及其等同物来限定。
Claims (15)
1.一种电子设备(101),包括:
多个麦克风(511、512);
存储器(540),配置为存储第一规定时间,所述第一规定时间被设置为使用所述多个麦克风(511、512)沿第一方向形成波束;以及
处理器(520),与所述多个麦克风(511、512)相连,并且配置为
使用所述多个麦克风(511、512)接收声音,确定与所接收的声音相对应的方向,以及如果所述方向与第二方向相同,则将第二规定时间与所接收的声音相关联,如同使用所述多个麦克风(511、512)沿所述第二方向形成波束一样。
2.根据权利要求1所述的电子设备(101),其中所述处理器(520)还配置为:基于所述第一规定时间和对所接收的声音已经到达所述多个麦克风(511、512)的时间加以指示的第二麦克风阵列延迟,来估计所述第二规定时间。
3.根据权利要求1或2所述的电子设备(101),其中所述第一规定时间是与所述第一方向相对应的第一麦克风阵列延迟。
4.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:将所接收的声音的所述第二规定时间改变为所述第一规定时间。
5.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:使用所述多个麦克风(511、512)沿所述第一方向和第三方向形成波束,以及
其中所述存储器(540)还配置为存储用于沿所述第三方向形成波束的第三规定时间。
6.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:将所述第一规定时间和所述第三规定时间中与更靠近所述第二方向的方向相对应的规定时间与所述声音相关联。
7.根据任一前述权利要求所述的电子设备(101),其中所述存储器(540)还配置为:存储用于使用所述多个麦克风(511、512)沿所述第一方向形成波束的第一规定接收声音比率,以及
其中所述处理器(520)还配置为:将所述第二规定时间和第二规定接收声音比率与所述声音相关联。
8.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:基于所述第一规定接收声音比率和对所接收的声音已经到达所述多个麦克风(511、512)的幅度加以指示的第二麦克风阵列接收声音比率,来估计所述第二规定接收声音比率。
9.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:将所接收的声音的所述第二规定接收声音比率改变为所述第一规定接收声音比率。
10.根据任一前述权利要求所述的电子设备(101),其中所述多个麦克风(511、512)接收多个声音,以及
其中所述处理器(520)还配置为:如果与所述多个声音中的第一声音相对应的方向与第四方向相同,则将第四规定时间与所述第一声音相关联,如同使用所述多个麦克风(511、512)沿所述第四方向形成波束一样。
11.根据任一前述权利要求所述的电子设备(101),还包括与所述处理器(520)相连的输出单元,所述处理器还配置为:使用所述输出单元输出通过将所述第二规定时间与所述声音相关联而获得的已补偿的声音。
12.根据任一前述权利要求所述的电子设备(101),还包括与所述处理器(520)相连的通信模块(220),所述处理器还配置为:使用所述通信模块(220)将通过将所述第二规定时间与所接收的声音相关联而获得的已补偿的声音发送到终端。
13.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:使用所述通信模块(220)将呼叫连接至呼叫终端(102),并且将所获得的已补偿的声音发送到呼叫终端(102)。
14.根据任一前述权利要求所述的电子设备(101),其中所述处理器(520)还配置为:从通过将所述第二规定时间与所接收的声音相关联而获得的已补偿的声音中识别用户命令,并且响应于所识别的用户命令来控制所述电子设备的操作。
15.一种电子设备(101)的输入/输出方法,包括:
存储第一规定时间,所述第一规定时间被设置为使用多个麦克风(511、512)沿第一方向形成波束;
使用所述多个麦克风(511、512)接收声音;
确定与所接收的声音相对应的方向;以及
如果所述方向与第二方向相同,则将第二规定时间与所接收的声音相关联,如同使用所述多个麦克风(511、512)沿所述第二方向形成波束一样。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0098538 | 2015-07-10 | ||
KR1020150098538A KR102362121B1 (ko) | 2015-07-10 | 2015-07-10 | 전자 장치 및 그 입출력 방법 |
PCT/KR2016/007378 WO2017010739A1 (en) | 2015-07-10 | 2016-07-07 | Electronic device and input/output method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107852546A true CN107852546A (zh) | 2018-03-27 |
CN107852546B CN107852546B (zh) | 2020-05-26 |
Family
ID=56097994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680040579.1A Active CN107852546B (zh) | 2015-07-10 | 2016-07-07 | 电子设备及其输入/输出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10299034B2 (zh) |
EP (1) | EP3116235A1 (zh) |
KR (1) | KR102362121B1 (zh) |
CN (1) | CN107852546B (zh) |
WO (1) | WO2017010739A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106842215A (zh) * | 2017-04-20 | 2017-06-13 | 杨永源 | 提醒用户在行进中躲避前方障碍物的电子装置及方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10396468B2 (en) * | 2016-08-18 | 2019-08-27 | Echodyne Corp | Antenna having increased side-lobe suppression and improved side-lobe level |
GB2557219A (en) * | 2016-11-30 | 2018-06-20 | Nokia Technologies Oy | Distributed audio capture and mixing controlling |
CN109859749A (zh) * | 2017-11-30 | 2019-06-07 | 阿里巴巴集团控股有限公司 | 一种语音信号识别方法和装置 |
KR20210115970A (ko) * | 2020-03-17 | 2021-09-27 | 삼성전자주식회사 | 전자 장치 및 이를 이용한 오디오 신호 처리 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1751540A (zh) * | 2003-01-20 | 2006-03-22 | 特因诺夫音频公司 | 使用多通道信号控制再生单元的方法和装置 |
CN101165775A (zh) * | 1999-09-29 | 2008-04-23 | 1...有限公司 | 定向声音的方法和设备 |
EP2197219A1 (en) * | 2008-12-12 | 2010-06-16 | Harman Becker Automotive Systems GmbH | Method for determining a time delay for time delay compensation |
US20100215184A1 (en) * | 2009-02-23 | 2010-08-26 | Nuance Communications, Inc. | Method for Determining a Set of Filter Coefficients for an Acoustic Echo Compensator |
CN102024456B (zh) * | 2009-09-21 | 2012-05-23 | 联发科技股份有限公司 | 音频处理装置及音频处理方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3302300B2 (ja) | 1997-07-18 | 2002-07-15 | 株式会社東芝 | 信号処理装置および信号処理方法 |
US6449593B1 (en) | 2000-01-13 | 2002-09-10 | Nokia Mobile Phones Ltd. | Method and system for tracking human speakers |
US20020131580A1 (en) | 2001-03-16 | 2002-09-19 | Shure Incorporated | Solid angle cross-talk cancellation for beamforming arrays |
KR100406098B1 (ko) * | 2001-12-26 | 2003-11-14 | 주식회사 메디슨 | 가중된 직교 쳐프 신호를 이용한 동시 다중 송신 집속기반의 초음파 영상 형성 장치 및 방법 |
JP2006311104A (ja) | 2005-04-27 | 2006-11-09 | Star Micronics Co Ltd | マイクロホンシステム |
JP5139111B2 (ja) | 2007-03-02 | 2013-02-06 | 本田技研工業株式会社 | 移動音源からの音の抽出方法および装置 |
KR100926132B1 (ko) | 2007-08-10 | 2009-11-11 | 한국전자통신연구원 | 로봇 환경에서의 음원 방향 결정 시스템 및 방법 |
JP2009141560A (ja) | 2007-12-05 | 2009-06-25 | Sony Corp | 音声信号処理装置、音声信号処理方法 |
KR101008060B1 (ko) | 2008-11-05 | 2011-01-13 | 한국과학기술연구원 | 실시간 음원 방향 감지 장치 및 그 방법 |
US8150063B2 (en) | 2008-11-25 | 2012-04-03 | Apple Inc. | Stabilizing directional audio input from a moving microphone array |
US8565446B1 (en) | 2010-01-12 | 2013-10-22 | Acoustic Technologies, Inc. | Estimating direction of arrival from plural microphones |
US8525868B2 (en) | 2011-01-13 | 2013-09-03 | Qualcomm Incorporated | Variable beamforming with a mobile platform |
US8705781B2 (en) * | 2011-11-04 | 2014-04-22 | Cochlear Limited | Optimal spatial filtering in the presence of wind in a hearing prosthesis |
JP2013102373A (ja) * | 2011-11-09 | 2013-05-23 | Denso Corp | ハンズフリー装置 |
US9767818B1 (en) * | 2012-09-18 | 2017-09-19 | Marvell International Ltd. | Steerable beamformer |
US9525938B2 (en) | 2013-02-06 | 2016-12-20 | Apple Inc. | User voice location estimation for adjusting portable device beamforming settings |
KR101483513B1 (ko) | 2013-02-28 | 2015-01-19 | 재단법인 포항산업과학연구원 | 음원위치추적장치 및 음원위치추적방법 |
US9338551B2 (en) * | 2013-03-15 | 2016-05-10 | Broadcom Corporation | Multi-microphone source tracking and noise suppression |
CN104065798B (zh) * | 2013-03-21 | 2016-08-03 | 华为技术有限公司 | 声音信号处理方法及设备 |
KR102150013B1 (ko) | 2013-06-11 | 2020-08-31 | 삼성전자주식회사 | 음향신호를 위한 빔포밍 방법 및 장치 |
US9479867B2 (en) | 2013-07-11 | 2016-10-25 | Texas Instruments Incorporated | Method and circuitry for direction of arrival estimation using microphone array with a sharp null |
US9940949B1 (en) * | 2014-12-19 | 2018-04-10 | Amazon Technologies, Inc. | Dynamic adjustment of expression detection criteria |
-
2015
- 2015-07-10 KR KR1020150098538A patent/KR102362121B1/ko active IP Right Grant
-
2016
- 2016-05-10 US US15/151,007 patent/US10299034B2/en active Active
- 2016-05-11 EP EP16169211.6A patent/EP3116235A1/en not_active Withdrawn
- 2016-07-07 WO PCT/KR2016/007378 patent/WO2017010739A1/en active Application Filing
- 2016-07-07 CN CN201680040579.1A patent/CN107852546B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101165775A (zh) * | 1999-09-29 | 2008-04-23 | 1...有限公司 | 定向声音的方法和设备 |
CN1751540A (zh) * | 2003-01-20 | 2006-03-22 | 特因诺夫音频公司 | 使用多通道信号控制再生单元的方法和装置 |
EP2197219A1 (en) * | 2008-12-12 | 2010-06-16 | Harman Becker Automotive Systems GmbH | Method for determining a time delay for time delay compensation |
US20100215184A1 (en) * | 2009-02-23 | 2010-08-26 | Nuance Communications, Inc. | Method for Determining a Set of Filter Coefficients for an Acoustic Echo Compensator |
CN102024456B (zh) * | 2009-09-21 | 2012-05-23 | 联发科技股份有限公司 | 音频处理装置及音频处理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106842215A (zh) * | 2017-04-20 | 2017-06-13 | 杨永源 | 提醒用户在行进中躲避前方障碍物的电子装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20170006996A (ko) | 2017-01-18 |
CN107852546B (zh) | 2020-05-26 |
WO2017010739A1 (en) | 2017-01-19 |
KR102362121B1 (ko) | 2022-02-11 |
US10299034B2 (en) | 2019-05-21 |
US20170013354A1 (en) | 2017-01-12 |
EP3116235A1 (en) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10229565B2 (en) | Method for producing haptic signal and electronic device supporting the same | |
US10217349B2 (en) | Electronic device and method for controlling the electronic device | |
US10031218B2 (en) | Method and apparatus for sensing fingerprints | |
KR102491287B1 (ko) | 전자 장치 | |
US10817034B2 (en) | Wearable electronic device and operating method therefor | |
EP3086217A1 (en) | Electronic device for displaying screen and control method thereof | |
CN108536416A (zh) | 处理用户输入的电子设备和处理用户输入的方法 | |
KR20180083587A (ko) | 전자 장치 및 그의 동작 방법 | |
KR20180000088A (ko) | Sar 저감을 위한 안테나 스위칭 방법 및 이를 지원하는 전자 장치 | |
CN107852546A (zh) | 电子设备及其输入/输出方法 | |
KR20170097519A (ko) | 음성 처리 방법 및 장치 | |
EP3141982B1 (en) | Electronic device for sensing pressure of input and method for operating the electronic device | |
KR102561572B1 (ko) | 센서 활용 방법 및 이를 구현한 전자 장치 | |
CN106462247A (zh) | 用于提供增强现实信息的可穿戴设备和方法 | |
KR102481486B1 (ko) | 오디오 제공 방법 및 그 장치 | |
US10694356B2 (en) | Mechanism to automatically manage input and output across connected wearable devices | |
KR20150141019A (ko) | 깊이 정보를 활용하는 전자 장치 및 방법 | |
US20180018443A1 (en) | Method and apparatus for providing health information | |
KR20180064717A (ko) | 콘텐츠 출력 방법 및 이를 지원하는 전자 장치 | |
CN107784268A (zh) | 基于红外线传感器使用其来测量心率的方法和电子设备 | |
US20170250718A1 (en) | Electronic device and method for managing specific absorption rate | |
KR102355759B1 (ko) | 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법 | |
CN108652594A (zh) | 用于测量生物计量信息的电子设备和方法 | |
US10250806B2 (en) | Electronic device and method for controlling image shooting and image outputting | |
KR102498362B1 (ko) | 위치 정보 계산 방법 및 그 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |