CN111277352A - 通过时间同步的联网扬声器发现环境 - Google Patents

通过时间同步的联网扬声器发现环境 Download PDF

Info

Publication number
CN111277352A
CN111277352A CN201911219774.2A CN201911219774A CN111277352A CN 111277352 A CN111277352 A CN 111277352A CN 201911219774 A CN201911219774 A CN 201911219774A CN 111277352 A CN111277352 A CN 111277352A
Authority
CN
China
Prior art keywords
speaker
arrival
coordinator
network
stimulus signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911219774.2A
Other languages
English (en)
Other versions
CN111277352B (zh
Inventor
L.G.皮尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/209,814 external-priority patent/US10412532B2/en
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN111277352A publication Critical patent/CN111277352A/zh
Application granted granted Critical
Publication of CN111277352B publication Critical patent/CN111277352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • G10K15/10Arrangements for producing a reverberation or echo sound using time-delay networks comprising electromechanical or electro-acoustic devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00Loudspeakers
    • H04R2400/01Transducers used as a loudspeaker to generate sound aswell as a microphone to detect sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种用于创建收听环境中反射表面的模型的方法,所述模型可以应用于AVB/TSN扬声器部件网络的噪声消除。协调器通过使用记录的精确到达时间、确定的到达角以及每个扬声器部件的已知或估计的位置来确定共面性并估计刺激信号的全部回声的取向。所述协调器基于共面性和估计的取向将反射点分组到平面区域中,以确定所述收听环境中每个反射表面的位置,由此创建所述收听环境中全部所述反射表面的模型。

Description

通过时间同步的联网扬声器发现环境
相关申请的交叉引用
本申请是2017年8月30日提交的共同待决的美国申请号15/690,322的部分继续申请。
技术领域
本发明的主题涉及一种用于针对联网扬声器的系统确定能反射音频波的表面的位置的系统和方法。
背景技术
精细的三维音频效果,诸如在虚拟和/或增强现实(VR/AR)系统中使用的那些,需要其中扬声器所处环境的详细表示,以便生成由VR/AR系统中的效果算法使用的正确传递函数。而且,再现三维音频效果通常需要相当精确地知道所使用扬声器的相对位置和取向。当前,已知方法需要手动努力来将多个所记录测量结果绘图,且然后分析结果并将结果制成表格。此复杂设置程序需要知识和技能,这禁止普通消费者自行设置,并且还可能导致人为误差。此设置程序还需要昂贵的装备,进一步禁止普通消费者自行设置。替代地,已知方法依靠简单估计,这可能导致降级的体验。另外,对环境中任何能反射音频波的表面进行精确建模可能会有益于三维音频效果的更精确的波束成形。
需要一种联网扬声器平台,其协调对联网扬声器系统的即时环境的测量,以生成环境中反射表面和物体的位置并创建环境中反射表面和物体的模型。
发明内容
一种用于创建收听环境中全部反射表面的模型的方法,该模型可以应用于收听环境中的扬声器网络中的噪声消除系统。该方法由具有用于存储程序代码的非暂时性存储介质的处理器执行,并且包括以下步骤:确定在收听环境中网络扬声器参与者的存在和能力以及确立网络扬声器参与者的优先级,每个网络扬声器参与者都具有在第一平面中的第一传声器阵列和在垂直于第一平面的第二平面中的第二传声器阵列,以及至少一个附加传感器,所述至少一个附加传感器相对于至少一个传声器元件阵列测量重力矢量方向。基于优先级从网络扬声器参与者中选择协调器。一次至少一个网络扬声器参与者生成刺激信号并宣布生成刺激信号的精确时间,并且每个网络扬声器参与者记录刺激信号的精确的开始和结束时间戳。
每个网络扬声器参与者在预定时间内记录刺激信号的每个回声的精确到达时间,并且每个网络扬声器参与者确定刺激信号的每个回声的到达角。在每个传声器阵列平面中确定到达角。协调器估计网络扬声器参与者在网络内的位置,并且该方法重复进行直到每个网络扬声器参与者依次生成了刺激信号并且其他网络扬声器参与者记录了其到达时间、每个回声的到达时间和每个回声的到达角都已被确定。
协调器使用所记录的精确到达时间、所确定的到达角和每个网络扬声器参与者的估计位置,通过基于共面性和估计的取向将反射点分组到平面区域中来确定共面性并估计回声的取向,以便确定收听环境中每个反射表面的位置。结果是收听环境中全部反射表面的模型,然后可以将该模型应用于噪声消除系统。
附图说明
图1是本发明主题的一个或多个实施方案的示例性扬声器的框图;
图2是示例性扬声器传声器阵列的框图;
图3是示例性扬声器网络的框图;
图4是用于示例性扬声器网络的测量和校准的方法的流程图;
图5是用于示例性扬声器网络的自动扬声器放置发现的方法的流程图;
图6是用于示例性扬声器网络的传声器元件位置矢量的二维图;
图7A是扬声器网络中的单个扬声器的框图;
图7B是示出了入射到阵列上的平面波的圆形传声器阵列的示例;
图8A至图8D是一个或多个刺激信号源信号和回声路径的声波的表示,并且当每个扬声器依次发出刺激信号时,将反射点分组到平面区域中;以及
图9A和图9B是用于对收听环境中能反射音频波的任何表面进行建模并且应用该模型以创建三维音频效果的精确的波束成形的方法的流程图。
图中的元件和步骤是为了简单和清楚起见示出,并且不一定根据任何特定顺序呈现。例如,在附图中示出可以同时或按不同次序执行的步骤以帮助改进对本发明主题的实施方案的理解。
具体实施方式
虽然参考特定说明性实施方案描述本发明主题的各个方面,但是本发明主题并不限于此类实施方案,并且可以在不背离本发明主题的情况下实现附加修改、应用和实施方案。在附图中,将使用相似附图标记来示出相同部件。本领域技术人员将认识到,可以在不改变本发明主题的范围的情况下更改本文中所阐述的各种部件。
本文提出了一种用于自组织联网扬声器平台而无需除了请求设置程序以外的人为干预的系统和方法。图1是本发明主题的一个或多个实施方案的示例性扬声器部件或参与者100的框图。在图1中示出了在联网扬声器平台中使用的扬声器部件100。扬声器部件100包括具有音频视频桥接/时间同步网络(AVB/TSN)能力的网络接口102、可调节媒体时钟源104、传声器阵列106、附加传感器108、扬声器驱动器110以及能够进行数字信号处理和控制处理的处理器112。处理器112是包括可以从使用多种编程语言和/或技术创建的计算机程序编译或解译的计算机可执行指令的计算装置。一般来说,处理器(诸如微处理器)例如从存储器、计算机可读介质或类似物接收指令,并且执行所述指令。处理器包括能够执行软件程序的指令的非暂时性计算机可读存储介质。计算机可读存储介质可以是但不限于电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或其任何合适组合。由处理器112执行的指令包括:数字信号处理算法,用于生成音频信号、对从传声器阵列106记录的音频进行波束成形的;以及控制指令,以使时钟同步、协调测量程序以及编译结果以便为扬声器网络中的每个扬声器提供共同参考系和时基。根据系统要求,处理器112可以是单个处理器或单独的控制和DSP处理器的组合。
处理器112可以在内部或通过外围装置的内部支持具有用于数字音频输出到数模转换器(DAC)和给扬声器驱动器馈送的放大器的能力。数字音频输出可以是脉冲编码调制(PCM),其中模拟音频信号被转换为数字音频信号。处理器可以在内部或通过外围装置的内部支持具有用于PCM或脉冲密度调制(PDM)的能力。处理器112可以在内部或通过外围装置的内部支持具有用于锁相环路(PLL)的精确细粒度调节的能力,所述锁相环路为DAC和传声器阵列接口提供采样时钟。数字PDM传声器可以以采样时钟的固定倍数运行。处理器110可以在内部或通过外围装置的内部支持具有用于中间时钟边缘的高分辨率时间戳捕获能力的能力。时间戳可为可准确地转换为gPTP(通用精确定时协议)并且可追溯到在时间戳时钟边缘处用时钟记录输入/输出的样本。
处理器112可以在内部或通过外围装置的内部支持具有用于一个或多个支持AVB/TSN的网络接口的能力。一个示例配置包括与允许一个菊链式扬声器部件组的支持AVB/TSN的三端口交换机集成在一起的一对接口。其他示例是单个接口,其利用具有外部AVB/TSN交换机的星形拓扑结构,或者使用无线或其他共享媒体AVB/TSN接口。
AVB/TSN网络接口的能力可以包括所发射和所接收分组根据gPTP规范的精确时间戳,以及如下机制:根据所述机制,集成定时器可以与处理器上的高分辨率系统定时器相关,使得可以在任何本机定时器与gPTP总控时间之间执行精确转换。
图2是用于扬声器部件200的一侧的传声器阵列的框图。每个扬声器部件200具有按预定的几何图案(诸如如图2中所示的圆圈)布置的传声器元件214的阵列206。预定的几何图案分布在整个三维空间中,使得波束成形算法能够基于测量结果(诸如声音的波前在不同传声器元件214处的到达时间差)确定所记录音频的相对航向和仰角。例如,传声器阵列的配置可以是一组总共十六个传声器元件214。八个元件214的第一圆圈布置在扬声器的一侧(例如顶侧)上(如图2中所示),并且八个传声器元件214的第二圆圈(图2中未示出)将定位在扬声器的另一侧上,在垂直于传声器元件214的第一圆圈的平面(或如图2中所示示例中的顶侧)的平面中。应注意,图2中所示的阵列中传声器元件的数量和预定的几何图案仅是出于示例目的。阵列206中的传声器元件的数量和图案的变化是可能的,并且本文中不胜枚举。阵列中的传声器元件的几何图案和数量的配置可以产生航向对仰角折衷。
除传声器元件214以外,传感器208还可以包括感测空气密度和距离的传感器。由于声波在空气中的传播速率基于空气密度变化,因此可以包括附加传感器208来帮助估计当前环境的空气密度,并且由此改善距离估计。附加传感器208可以是温度、湿度和大气压传感器的组合。应注意,附加传感器208用于改善距离估计的目的。与系统的成本相比,可以基于性能要求省略附加传感器208。
网络中的最小数目个扬声器部件200将提供来自传声器阵列206的足以确定网络中的扬声器部件的相对位置和取向的测量结果。具体来说,包括取向传感器(诸如MEMS加速度计、陀螺仪和磁力计(数字罗盘))的附加传感器208可以在位置发现算法中提供有价值的数据点。
图3是围绕房间308的周边布置的扬声器部件302的网络300的示例。将扬声器部件302中的一者指定为协调器304。协调器304通过引导扬声器部件302中的至少一者生成并播放刺激信号306来发起测试程序。在下文中详细描述方法。
图4是用于具有传声器阵列的时间同步的扬声器网络的测量和校准的方法400的流程图。参考图4,方法400开始于发现阶段402,该发现阶段确定网络对等体并且确立优先级。在加电并且检测到网络链接事件时,该方法进入发现阶段。发现阶段包括发起标准AVB/TSN协议操作404,诸如确定gPTP总控和流预留协议(SRP)域属性。发现阶段还包括确定网络上其他参与者406(即,联网的扬声器)的存在和能力。参与者可以包括如本文中所述的扬声器以及适当配备的个人计算机、交互式控制面板等,只要其满足AVB/TSN参与的要求并且配备有用于本文中的方法的计算机可读指令。
在发现阶段402期间还执行选择单个参与者作为网络的协调器408。协调器的选择是基于可配置优先级水平以及基于特征的默认优先级。例如,具有较高质量媒体时钟或更多处理能力的装置可具有较高默认优先级。可以通过对唯一装置标识符(诸如网络MAC地址)进行排序来打破优先级平分。如果所选择协调器退出网络,则选择新的协调器。协调器表示到扬声器网络的单个接口点。
在选择协调器408之后,该协调器通过流预留协议(SRP)在网络上建立并广告410媒体时钟同步流。其他参与者(即,扬声器)从选择协议知道所述选择并且在其听到广告410时主动收听所述流。其他参与者接收同步流并且使用该同步流来调节其自己的采样时钟锁相环路,直到其与协调器媒体时钟频率和相位对准。一旦此情况已经发生,每个参与者便向协调器宣布其完成同步。一旦网络中的全部参与者都已经向协调器报告其同步,协调器便宣布所述系统已准备好供使用。
基于诸如来自控制表面、主机系统或另一源等的用户输入或者基于预定的情况(诸如第一次通电、经过的运行时间等),协调器通过向网络扬声器参与者宣布测量程序来发起414测量程序。扬声器参与者中的一者或多者可以生成刺激信号416。该刺激信号是由指定扬声器参与者生成并播放的音频信号。在刺激信号事件生成之后,所指定扬声器参与者宣布418其生成刺激信号事件的转换为gPTP时间的精确时间。刺激信号通常将一次由一个扬声器参与者生成,但是对于一些测试程序,协调器可以引导多个扬声器参与者同时生成刺激信号。参与者借助精确开始和结束时间戳记录420与测试程序有关的传感器数据。时间戳转换为gPTP时间。
从一个测量程序414捕获的传感器数据可以用作其他程序的输入。例如,可以首先发起测量程序414以从与环境和取向相关联的传感器收集数据。此特定测量程序414不需要刺激信号,但是全部扬声器参与者将报告信息,诸如其取向、本地温度、气压测量结果等。随后,可以依次指定每个扬声器参与者产生由高频声音“啁啾声”组成的刺激信号,此后,全部其他扬声器参与者将向协调器报告第一个响应样本被记录在其传声器元件中的每一者处的时间戳。先前收集的环境数据然后可以与每个刺激信号与响应之间的时间差一起用于计算距传播时间的距离,针对本地气压进行校正。
当测量程序完成时,首先在本地编译422结果,并且然后将其传送到协调器。根据所请求的测量程序,编译422可以在任何报告发生之前在测量点处和协调器处发生。例如,当扬声器参与者记录对高频“啁啾声”刺激信号的本地响应时,其可在所述扬声器参与者处在本地执行对信号的分析。分析可以包括跨传声器阵列对第一响应信号进行波束成形以确定到达角。分析还可以包括对样本流中的其他响应的分析,从而指示可以经历波束成形的回声。根据来自协调器的请求,本地分析的结果可以替代原始样本数据或与原始样本数据一起转发。
所述结果还可以由协调器编译。当协调器从其他扬声器接收报告时,其还可以执行编译422。例如,其可以通过三角测量或多点定位将从系统中的扬声器参与者报告的估计距离和角度以及来自取向传感器的结果组合成给出扬声器在其环境中的估计位置的一组三维坐标。
编译422的另一示例可以用于扬声器将来自其传声器阵列的个别样本流在转发到协调器之前简单组合成单个多通道表示。然后,协调器可以在将其从每个扬声器参与者接收的样本转发到主机之前进行进一步编译、标记和时间对准。然后,主机将接收高通道计数数据集,就好像在单个多通道记录装置上捕获一样。
在编译422之后,传输424编译后结果。如果主机系统请求测量程序并且主机请求接收结果,则协调器将执行刺激信号序列并收集所需响应数据。在执行任何所请求编译之后,协调器将将数据转发到发起请求的主机系统,并且宣布该系统准备好用于测量或回放。
协调器还可以在请求时或自动存储测量程序的结果用于稍后向主机系统报告(如果请求),因此如果主机忘记结果或不同主机请求结果,则该过程不必重新运行。
另外或替代地,扬声器参与者可以被配置有某些预定义的测量程序,其编译程序产生关于特定扬声器参与者和/或整个系统的配置数据。所述程序可以自动地或响应于简单用户界面元件或主机命令而执行。例如,作为系统设置的一部分的基本测量可以由简单主机接口命令(诸如触摸按钮)触发。
在此情况下,一旦协调器已经完成刺激信号序列并编译了响应,其便可以将相关数据转发到网络中的全部扬声器参与者。所述扬声器参与者可以各自存储此数据用于配置目的。
例如,一个测量程序可以为系统中的每个扬声器参与者产生一组均衡器(EQ)调节和时间延迟参数。所述结果可以为每个扬声器参与者形成基线校准的回放简档。另一个程序可以产生扬声器参与者的位置的三维坐标。可以存储和返回所述坐标作为将来查询的结果。
如上所述,再现三维音频效果需要相当精确地知道用于再现3D效果的扬声器参与者的相对位置和取向。使用上文参考图1至图4讨论的具有时间同步联网和传声器阵列的联网扬声器平台,本文中提出了一种用于自动确定VR/AR房间内的扬声器参与者的精确相对位置而无需人工干预的方法。精确时间同步、扬声器参与者上具有已知几何结构的传声器阵列和附加取向传感器的组合提供足够数据来在方法400完成时将全部扬声器参与者定位在相对3D空间中。具有扬声器参与者的精确房间坐标实现3D音频效果的再现和用于诸如音频源的实时位置跟踪等成就的附加测量精度。
参考回到图3,联网的扬声器参与者302被布置成围绕在具有形成凸多边形的内部形状的房间308的周边。需要房间中任何一对扬声器参与者之间的直接声音传播路径。虽然在本示例中表示了凸多边形,但是其他形状也是可能的,只要扬声器参与者自身按凸多边形的形式布置并且没有障碍物(即,墙壁)侵入到该多边形的边缘中。可以通过将扬声器参与者定位成组(即,两组)来适应具有不寻常几何结构的房间,其中满足在扬声器之间具有直接声音传播路径的条件,并且在两组中都包括至少一个扬声器。
现在参考图5,描述了表示用于自动扬声器参与者发现的方法500的流程图。生成并记录502刺激信号。网络中的每个扬声器部件或扬声器参与者依次发出由网络中的全部扬声器参与者同时测量的信号,诸如音频信号。可接受信号需要使得传声器阵列对它灵敏并且扬声器能够产生它。例如,该信号可以在超声波范围内。一般来说,在可由所述系统解析的范围的上端附近的频率处的任何单频率声音脉冲都将是可接受的。刺激信号的精确时间由协调器提供,并且全部扬声器参与者在那时开始记录来自其传声器阵列的样本。负责生成刺激信号的扬声器参与者也进行记录,使得可以减去在用于生成刺激信号的指令与该刺激信号由扬声器参与者的实际声音发射之间的任何等待时间。负责生成刺激信号的扬声器参与者向其他扬声器参与者发出其中它记录刺激信号声音的第一音频样本的精确时间戳。系统中的其他参与者继续记录502,直到刺激信号已经由传声器阵列中的全部传声器元件记录504。未能记录声音指示系统故障506。因此,如果经过足够时间量而没有经确认的记录,则可以识别系统故障。
所记录数据由记录装置编译508。每个扬声器参与者确定在刺激信号的第一所记录样本的时间戳与从生成该刺激信号的扬声器参与者接收的时间戳之间的差。此差表示飞行时间,或刺激信号声波通过空气传播到接收刺激信号的扬声器参与者中的记录传声器所花费的时间。通过将飞行时间值乘以声音在空气中的传播速率来将其转换为在发射器(生成刺激信号的扬声器参与者)与接收器(接收并记录刺激信号的扬声器)之间的距离。
如上文参考图2所讨论,每个扬声器参与者使其传声器阵列布置在垂直平面中。第一传声器阵列在可以平行于天花板和房间地板的平面上。第二传声器阵列在垂直于第一传声器阵列的平面上。如果扬声器参与者倾斜,则可以对测量结果进行校正。例如,具有附加传感器(诸如加速度计)的扬声器参与者能够测量相对于平行于房间的天花板或地板并且已知第二阵列与其垂直的阵列的重力矢量方向。
使用波束成形算法(诸如经典延迟和波束成形器),可以在每个传声器阵列平面中确定到达角。这产生相对于扬声器参与者的面向方向的3D方位角和仰角测量结果。尚不知道扬声器参与者绝对面向,除非如果扬声器参与者配备有作为可以用于估计绝对面向的数字罗盘的附加传感器。
扬声器参与者的传声器阵列中的传声器中的每者具有到刺激信号扬声器参与者的距离和3D方向矢量,由此识别在每个传声器(收听装置)上居中的3D空间中的位置。参见图6的图示,其示出扬声器参与者602和描绘每个传声器的编译后结果的位置矢量604的二维表示600。每个矢量604是上述过程的输出,因为其与扬声器处的整个传声器阵列有关。每个矢量604(1至5)表示传声器阵列针对多个扬声器中的每个其他扬声器602(1至6)处的刺激信号事件的输出。例如,作为测量扬声器的扬声器602(1)示出矢量604(2至6),矢量604(2至6)表示当扬声器602(2至6)发出其刺激信号时扬声器602(1)上的传声器阵列的读数。
参考回到图5,位置信息与任何附加传感器信息(诸如温度、压力或取向传感器数据)一起发射到协调器。协调器选择下一个扬声器参与者生成刺激信号502,并且步骤504至508被重复直到全部扬声器参与者都已经依次生成刺激信号,并且已经收集全部响应。
协调器编译510所述结果。协调器现在具有用于高度过约束的几何系统的数据。n-扬声器系统中的每个扬声器参与者具有n–1个位置估计值。然而,每个估计值的绝对位置受到指派给测量其的扬声器参与者的绝对位置的影响。需要将全部位置估计值引入到共同坐标系(也称为全局坐标空间)中,使得从每个位置估计值捕获的测量结果与同一刺激信号的其他测量结果谐调。这相当于优化问题,其中目标函数用于一旦全部参与者和测量结果都已经转换到共同坐标系中,便使所测量位置对所指派位置的误差的平方和最小化。在该算法中,将比指派给所测量角度的置信度大的置信度指派给所测量距离。
存储和分配512编译后结果。一旦已经编译一组优化位置,便将网络中每个扬声器的位置成组发送到网络中的全部参与者。每个扬声器参与者将其自己的位置存储在全局坐标空间中并且将来自全部其他参与者的更新后位置转换成其自己的本地参考系以便在其可能被要求执行的任何本地计算中使用。
可以使用与扬声器网络通信的管理装置(诸如个人计算机、移动电话或平板电脑)来改变全局坐标系以便更好地匹配系统的用户。例如,一个转换后坐标组可以被传送到扬声器,并且扬声器仅需要更新其自己的位置,因为剩余坐标相对于其自己的位置来存储。
并不知道网络中的扬声器参与者的当前坐标的管理装置可以请求协调器装置提供当前坐标系中的坐标。协调器将请求网络中的全部扬声器参与者发送其自己的坐标、将其自己的坐标编译成列表,并且将列表返回给管理装置。
为了更精确地对三维音频内容进行波束成形,不仅要知道扬声器的位置,而且要知道房间中任何反射音频波的表面的位置,都是有帮助的。可以生成环境中反射表面的精确模型,以消除目标听众的反射,并为听众提供更好的替代环境感。图7是在一种方法中使用的扬声器和传声器阵列布置的示例,该方法用于协调系统附近环境的测量并从该测量中生成环境中反射物体的位置。
为了简单起见,本文中所述的收听环境具有标准的四壁、天花板和水平地板,其中天花板平行于地板。墙壁是直的,从地板到天花板垂直延伸,并以标准的拐角配置邻接。尽管本文中对典型的六面房间进行了建模,但应注意,本文中所述的发明主题可适用于任何房间配置。例如,收听环境可以是一个房间,该房间具有墙壁、部分墙壁、不平坦的地板、托盘或锅顶天花板、非标准或不规则的拐角门窗,并且还可能包含家具和人。在本文中所述的示例中,收听环境是具有标准墙壁、地板和天花板的六面房间。如上所述,收听环境具有围绕收听环境的边界布置的扬声器。每个扬声器配备有支持AVB/TSN的网络接口、布置在垂直平面中的两个平面传声器阵列,并且诸如通过使用上文参考图1至图6讨论的测量程序、用于协调系统环境的测量以用于从测量中生成环境中反射物体的位置的方法来知道每个扬声器相对于其他扬声器的相对位置。代替如上所述仅分析要到达的第一声波,而是确定并分析每个扬声器的每个回声的到达时间和到达角。应用几何分析,确定每个回声的反射点的位置,并将所选择的反射点组合到一组可能的反射平面中。
扬声器参与者700配备有:支持AVB/TSN的网络接口702;布置在垂直平面中的两个平面传声器阵列706a、706b;时钟704;附加传感器708;和处理器712,在图7A中示出。每个扬声器参与者的传声器阵列706a、706b以预定的几何图案布置。在图7A中示出了圆形图案。该图案可以分布在三维空间中,使得波束成形算法可能够基于诸如声音的波前在不同传声器元件处的到达时间差等测量结果确定所记录声音的相对航向和仰角。由于声波在空气中的传播速率基于空气密度变化,因此可以包括附加传感器708来帮助估计环境中的当前空气密度,其可以改善距离估计。附加传感器708可以包括但不限于温度、湿度和大气压传感器中的任何一者或多者。扬声器可以围绕环境的边界布置,使得它们在目标听众可能占据的区域周围相当均匀地分布。已经执行了同步和选择程序,并且已知每个扬声器的相对位置。
图7B是与到达圆形传声器阵列706a的中心的平面波相关联的几何结构的描绘。传声器720至730围绕中心径向定位,并且径向分量r的投影示出了入射波。实际上,对于每个扬声器参与者,至少有两个彼此垂直放置的传声器阵列,并且相对于联网系统中的其他扬声器参与者,每个扬声器参与者的位置是已知的。
为了清楚和简单起见,刺激信号路径和回声路径被示出为往返于每个扬声器参与者和反射面的单条线。参考图8A至图8D,示出了环境中的扬声器布置的示例,该示例描绘了关于回声路径(以虚线示出)的几何信息,该回声路径是从用作刺激信号源S1s的第一扬声器802行进到其他扬声器806、808的声波(以实线示出)。810包括源802。多个扬声器802、804、806、808中的扬声器802中的一者已经被指定为协调器812,如参考图3和图4所讨论的。每个扬声器802、804、806、808将依次发出刺激信号源。这在图8A中示出,其中扬声器802是源S1s。在图8B中,扬声器804是源S2s。扬声器806是在图8C中的源S3s并且扬声器808是在图8D中的源S4s
协调器812负责指派开始时间、指定扬声器发出其刺激信号源、接收与到达在每个扬声器中的每个传声器阵列的刺激信号源相关联的全部所记录的精确时间以及与每个扬声器相关联的回声路径,以及组合反射点以对环境中反射表面的位置进行建模并应用噪声消除以补偿反射表面,下文中参考图9A和图9B更详细地描述。
现在参考图9A,示出了用于测量程序的方法900,并且该方法开始于由协调器指派902开始时间到第一扬声器,该第一扬声器被指定为源并且其相对位置对于收听环境中的全部其他扬声器是已知的。指定的源扬声器正在发出904刺激信号或测试声音,并且环境中的全部其他扬声器正在收听以初始检测刺激信号和刺激信号的任何回声。当开始时间到来时,源扬声器发出904刺激信号。检测刺激信号的原始波到达,并记录906检测到刺激信号的原始波到达的精确时间。对于返回到源扬声器的每个回声的到达,记录精确时间的步骤继续908。对于返回到源扬声器的每个回声,还确定910回声到达的角度。
可以通过在每个回声上执行波束成形操作来完成到达角的确定。记录908、910持续预定时间量或直到回声停止912的时间点为止。可以基于认为足够的时间来进行发生记录的时间量,或者已经过了预定时间量以考虑环境的近似大小。
同样在指定的开始时间发生,环境中的每个扬声器开始收听和记录914。每个收听扬声器检测并记录906由源扬声器发出的刺激信号的第一次到达的精确时间和每个回声908的精确到达时间。还确定每个回声到达每个收听扬声器的角度910。同样,可以通过对每个回声执行波束成形操作来完成该确定。环境中的收听扬声器还继续记录908并为每个回声确定到达角910持续足够或预定的时间量912,这应考虑环境的近似大小。
重复916方法步骤902至914,直到协调器已经将每个扬声器轮流指派为发出904刺激信号的源扬声器。现在参考图9B中,该方法继续,其中每个扬声器装置将它们的刺激信号和每个回声的原始波到达的时间戳连同三维到达角(诸如针对每个回声通过波束成形阵列确定的)一起转发以由协调器组合920。协调器将每个扬声器的已知相对位置的几何知识与新收集的表示收听环境中的反射表面的几何信息进行组合920。协调器已经掌握了扬声器的相对位置的几何知识。该知识可以与所收集的关于每个刺激信号从其源扬声器到环境中的每个扬声器(包括源)的回声路径的几何信息进行组合。在此过程中,某些反射点可能需要丢弃(922)。例如,某些反射点可能是高阶反射或其他错误回声识别事件的结果。此类反射点应从组合中排除。
在源扬声器听到其初始刺激信号时记录的时间与每个收听扬声器听到一个或多个回声时记录的时间之间的差表示行进的距离。对于两个扬声器之间的单反射,回声的几何结构形成一个三角形,使得反射表面的位置可以由距离和到达角确定。三角形的其他两个点(源的位置和收听扬声器相对于源的位置)是已知的。每个回声的到达角有助于确定反射表面是水平表面还是竖直表面,并且表示反射点。
协调器获取全部剩余的反射点,并根据估计的取向和共面性将它们924分组到平面区域中。分组确定926环境中任何反射表面的位置926。根据此确定,创建928环境内的反射表面的模型。该模型提供了扬声器的位置的知识,并且环境中任何反射表面的位置提供了三维音频内容的更精确的波束成形930,其中可以生成声音来为目标听众消除反射并为目标听众提供感觉更好的交替环境。
在前述说明书中,已经参考特定示例性实施方案描述了本发明主题。然而,可以在不背离如权利要求中阐述的本发明主题的范围的情况下作出各种修改和改变。说明书和附图是说明性而非限制性的,并且修改意图包括在本发明主题的范围内。因此,本发明主题的范围应由权利要求及其合法等效物确定,而非仅由所描述的示例确定。
例如,在任何方法或过程权利要求中陈述的步骤都可以按任何次序执行,并且并不限于在所述权利要求中呈现的特定次序。可以使用滤波器实现测量以最小化信号噪声的影响。另外,在任何装置权利要求中陈述的部件和/或元件都可以按各种排列组装或以其他方式可操作地配置,并且因此并不限于在所述权利要求中陈述的特定配置。
上文已经关于特定实施方案描述了益处、其它优点和问题的解决方案;然而,任何益处、优点、问题的解决方案或任何可导致任何特定益处、优点或解决方案发生或变得更明显的元件将不被解释为任何或全部权利要求的关键、所需或必要特征或部件。
术语“包括(comprise/comprises/comprising)”、“具有(having)”、“包含(including/includes)”或其任何变型都意图指代非排他性包含,使得包含元件列表的过程、方法、物品、组成或设备不仅包括那些所陈述的元件,而且可以包括未明确列出或此过程、方法、物品、组成或设备固有的其他元件。除了未具体陈述的那些之外,在本发明主题的实践中使用的上述结构、布置、应用、比例、元件、材料或部件的其它组合和/或修改可以改变或以其他方式特别适于特定环境、制造规范、设计参数或其它操作要求,而不背离其一般原理。

Claims (12)

1.一种由具有用于存储程序代码的非暂时性存储介质的处理器执行的方法,所述方法包括以下步骤:
a.将具有音频视频桥接/时间同步网络(AVB/TSN)扬声器部件网络的收听环境中的一个扬声器部件指定为协调器,每个扬声器部件具有在第一平面上的第一传声器阵列和在垂直于所述第一平面的第二平面上的至少第二传声器阵列,所述收听环境中每个扬声器部件的位置是其他扬声器部件中的每一者已知的;
b.所述协调器为所述AVB/TSN扬声器部件网络中的所述扬声器部件中的一个扬声器部件指派开始时间;
c.所述一个扬声器部件在所述指派的开始时间发出刺激信号,所述刺激信号具有多个回声;
d.在每个扬声器部件处记录所述刺激信号的精确到达时间;
e.将在每个扬声器部件处记录的所述刺激信号的所述精确到达时间传递给所述协调器;
f.在每个扬声器部件处确定所述刺激信号的到达角;
g.将在每个扬声器部件处确定的所述刺激信号的所述到达角传递给所述协调器;
h.在每个扬声器部件处记录所述刺激信号的每个回声的精确到达时间;
i.将在每个扬声器部件处记录的所述刺激信号的每个回声的所述精确到达时间传递给所述协调器;
j.在每个扬声器部件处确定所述刺激信号的每个回声的到达角;
k.将在每个扬声器部件处确定的每个回声的所述到达角传递给所述协调器;
l.继续在预定时间量内记录所述刺激信号的每个回声的精确到达时间并确定所述刺激信号的每个回声的到达角的步骤,所述预定时间量允许记录每个回声的精确到达时间并将其传递给所述协调器并且确定每个回声的到达角并将其传递给所述协调器;
m.重复所述步骤(a)至(l),直到所述AVB/TSN扬声器网络中的每个扬声器都已发出刺激信号,并且全部所述记录的精确到达时间和确定的到达角都已传递给所述协调器;
n.在所述协调器处,使用所述记录的精确到达时间、确定的到达角和每个扬声器部件的所述已知位置来确定共面性并估计所述回声的取向;
o.在所述协调器处,基于共面性和估计的取向将反射点分组到平面区域中,以确定所述收听环境中每个反射表面的位置;以及
p.在所述协调器处创建所述收听环境中全部所述反射表面的模型。
2.根据权利要求1所述的方法,其中对反射点进行分组的步骤还包括消除已知为错误的反射点的步骤。
3.根据权利要求1所述的方法,其还包括以下步骤:将所述收听环境中全部所述反射表面的所述模型应用于所述AVB/TSN扬声器网络中的噪声消除系统。
4.根据权利要求1所述的方法,其中继续在预定时间量内记录所述刺激信号的每个回声的精确到达时间并确定所述刺激信号的每个回声的到达角的所述步骤的步骤还包括:持续直到全部回声都已停止的预定时间量。
5.根据权利要求1所述的方法,其中继续在预定时间量内记录所述刺激信号的每个回声的精确到达时间并确定所述刺激信号的每个回声的到达角的所述步骤的步骤还包括:考虑所述收听环境的大小的预定时间量。
6.根据权利要求1所述的方法,其中所述AVB/TSN扬声器部件网络还包括能够收集表示所述收听环境的温度、湿度和大气压以及所述收听环境内每个扬声器部件的取向的数据的附加传感器,并且其中记录精确到达时间并确定到达角的所述步骤还包括使用来自所述附加传感器的数据。
7.一种由具有用于存储程序代码的非暂时性存储介质的处理器执行的方法,所述方法包括以下步骤:
确定收听环境中网络扬声器参与者的存在和能力以及确立网络扬声器参与者的优先级,每个网络扬声器参与者都具有在第一平面中的第一传声器阵列和在垂直于所述第一平面的第二平面中的第二传声器阵列,以及至少一个附加传感器,所述至少一个附加传感器相对于至少一个传声器元件阵列测量重力矢量方向;
基于所述优先级从所述网络扬声器参与者中选择协调器;
所述协调器建立并且广告媒体时钟流;
在每个网络扬声器参与者处接收所述媒体时钟流,并且每个网络扬声器参与者同步到从所述协调器接收的所述时钟流并向所述协调器宣布同步;
相继指定至少一个网络扬声器参与者生成刺激信号并宣布所述刺激信号生成的精确时间;
每个网络扬声器参与者记录所述刺激信号的精确开始和结束时间戳以及所收集的环境数据作为结果;
每个网络扬声器参与者在预定时间内记录所述刺激信号的每个回声的精确到达时间;
每个网络扬声器参与者在所述预定时间内确定所述刺激信号的每个回声的每个到达角在每个传声器阵列平面中的到达角;
将所述结果传输到所述选择的协调器;
重复接收、指定、记录、确定和发射的步骤,直到所述网络扬声器参与者中的每一者已经依次生成刺激信号并且已经过了所述预定时间量为止;
估计所述网络内的所述网络扬声器参与者的位置;
在所述协调器处使用所述记录的精确到达时间、确定的到达角和每个网络扬声器参与者的所述估计的位置,确定共面性并估计所述回声的取向;
在所述协调器处基于共面性和估计的取向将反射点分组到平面区域中,以确定所述收听环境中每个反射表面的位置;以及
在所述协调器处创建所述收听环境中全部所述反射表面的模型。
8.根据权利要求7所述的方法,其中对反射点进行分组的步骤还包括消除已知为错误的反射点。
9.根据权利要求7所述的方法,其中所述预定时间还包括持续直到全部回声都已停止的预定时间。
10.根据权利要求7所述的方法,其中所述预定时间还包括考虑所述收听环境的大小的预定时间。
11.根据权利要求7所述的方法,其中所述网络还包括噪声消除系统,并且所述方法还包括以下步骤:将所述收听环境中全部所述反射表面的所述模型应用于所述噪声消除系统。
12.根据权利要求7所述的方法,其中所述环境数据还包括从所述系统中的传感器收集的环境数据,所述传感器选自由温度传感器、湿度传感器、大气压传感器、微机电系统(MEMS)加速度计、陀螺仪和磁力计组成的组,并且记录精确到达时间并确定到达角的步骤还包括使用其他环境数据。
CN201911219774.2A 2018-12-04 2019-12-03 通过时间同步的联网扬声器发现环境 Active CN111277352B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/209,814 2018-12-04
US16/209,814 US10412532B2 (en) 2017-08-30 2018-12-04 Environment discovery via time-synchronized networked loudspeakers

Publications (2)

Publication Number Publication Date
CN111277352A true CN111277352A (zh) 2020-06-12
CN111277352B CN111277352B (zh) 2023-06-20

Family

ID=70680998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911219774.2A Active CN111277352B (zh) 2018-12-04 2019-12-03 通过时间同步的联网扬声器发现环境

Country Status (2)

Country Link
CN (1) CN111277352B (zh)
DE (1) DE102019132544B4 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741093B1 (en) 2021-07-21 2023-08-29 T-Mobile Usa, Inc. Intermediate communication layer to translate a request between a user of a database and the database
US11924711B1 (en) 2021-08-20 2024-03-05 T-Mobile Usa, Inc. Self-mapping listeners for location tracking in wireless personal area networks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507701A (zh) * 2001-05-07 2004-06-23 参量虚拟扬声器和环绕声系统
WO2006053704A1 (en) * 2004-11-18 2006-05-26 National University Of Ireland, Galway Synchronizing multi-channel speakers over a network
WO2018041359A1 (en) * 2016-09-01 2018-03-08 Universiteit Antwerpen Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same
US20180115825A1 (en) * 2016-10-20 2018-04-26 Sony Corporation Networked speaker system with led-based wireless communication and room mapping

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375779A3 (en) 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
CN106507261A (zh) 2015-09-04 2017-03-15 音乐集团公司 用于在扬声器系统中确定或验证空间关系的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507701A (zh) * 2001-05-07 2004-06-23 参量虚拟扬声器和环绕声系统
WO2006053704A1 (en) * 2004-11-18 2006-05-26 National University Of Ireland, Galway Synchronizing multi-channel speakers over a network
US20070297459A1 (en) * 2004-11-18 2007-12-27 National University Of Ireland Synchronizing Multi-Channel Speakers Over a Network
WO2018041359A1 (en) * 2016-09-01 2018-03-08 Universiteit Antwerpen Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same
US20180115825A1 (en) * 2016-10-20 2018-04-26 Sony Corporation Networked speaker system with led-based wireless communication and room mapping

Also Published As

Publication number Publication date
CN111277352B (zh) 2023-06-20
DE102019132544A1 (de) 2020-06-04
DE102019132544B4 (de) 2023-04-27

Similar Documents

Publication Publication Date Title
CN109429166B (zh) 用于联网的扬声器系统的测量和校准的网络及方法
US10412532B2 (en) Environment discovery via time-synchronized networked loudspeakers
US7558156B2 (en) Acoustic location and enhancement
US9560446B1 (en) Sound source locator with distributed microphone array
US7729204B2 (en) Acoustic ranging
JP6150793B2 (ja) 直接音による到着時間差の判定
US10075791B2 (en) Networked speaker system with LED-based wireless communication and room mapping
US9854362B1 (en) Networked speaker system with LED-based wireless communication and object detection
EP3209029A1 (en) Distributed wireless speaker system
CN107290723B (zh) 声源定位方法、装置和电子设备
US20050254662A1 (en) System and method for calibration of an acoustic system
US9369801B2 (en) Wireless speaker system with noise cancelation
WO2015009748A1 (en) Spatial calibration of surround sound systems including listener position estimation
CN111277352B (zh) 通过时间同步的联网扬声器发现环境
US9826332B2 (en) Centralized wireless speaker system
US9924286B1 (en) Networked speaker system with LED-based wireless communication and personal identifier
US20170238114A1 (en) Wireless speaker system
US9081083B1 (en) Estimation of time delay of arrival
Akiyama et al. Time-of-arrival-based indoor smartphone localization using light-synchronized acoustic waves
US11889288B2 (en) Using entertainment system remote commander for audio system calibration
US10306394B1 (en) Method of managing a plurality of devices
CN110673097B (zh) 利用音频到达时间差对空间中发声物体的定位方法
Raykar et al. Position calibration of audio sensors and actuators in a distributed computing platform
Herrera et al. Ping-pong: Using smartphones to measure distances and relative positions
Verreycken et al. Passive acoustic sound source tracking in 3D using distributed microphone arrays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant