CN110278521A - 声学特性测定装置以及方法 - Google Patents
声学特性测定装置以及方法 Download PDFInfo
- Publication number
- CN110278521A CN110278521A CN201910102001.XA CN201910102001A CN110278521A CN 110278521 A CN110278521 A CN 110278521A CN 201910102001 A CN201910102001 A CN 201910102001A CN 110278521 A CN110278521 A CN 110278521A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- signal
- acoustic
- watermark signal
- watermark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H7/00—Measuring reverberation time ; room acoustic measurements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供声学特性测定装置以及方法,能够与通常动作并行地测定声学特性且不需要只用于测定的时间、能够防止利用者感到刺耳。声学特性测定装置具备:扬声器(110),输出嵌入有水印信号的声学信号;麦克风(150),在规定的收听位置对从扬声器(110)输出的声学信号进行声音收集;以及声学特性测定部(160),基于由麦克风(150)进行声音收集而获得的声学信号中嵌入的水印信号,来判定从扬声器(110)开始到收听位置为止的声学空间的声学特性。
Description
技术领域
本发明涉及对被设置在车厢内等的扬声器与收听位置之间的声学特性进行测定的声学特性测定装置以及方法。
背景技术
以往,公知有一种使用TSP(Time-Stretched Pulse:时间扩展脉冲)信号或正弦波信号来对从扬声器到收听点(收听位置)为止的冲击(Impulse)响应进行计算的声学处理装置(例如参照专利文献1。)。在使用TSP信号的情况下,在通过麦克风进行声音收集之后求出冲击响应。由于该冲击响应是从各扬声器输出的声音的直到收听点为止的声学特性,所以为了再生原音而被利用于从各扬声器输出的声音的延迟时间的调整、频率特性的修正。另外,在使用正弦波信号的情况下,通过对逐个频率输出正弦波信号并由麦克风进行声音收集而得到的测定音波形的上升边缘进行检测、进行系统辨识来计算从扬声器到收听点的冲击响应。
现有技术文献
专利文献
专利文献1:日本特开2008-209491号公报
然而,在上述的专利文献1所公开的声学处理装置中,由于从扬声器输出TSP信号或正弦波信号等测定用信号并由麦克风进行声音收集,所以在通常动作中使用扬声器、麦克风的期间(通常动作时),存在无法测定从扬声器到麦克风之间的声学特性这一问题。另外,虽然能够在通常动作的前后、或将通常动作中断而从扬声器输出上述的测定用信号来测定声学特性,但由于为了测定而需要时间,并且测定用信号是与声音、音乐没有关系的音,所以存在利用者有可能感到刺耳这一问题。
发明内容
本发明是鉴于这样的点而完成的,其目的在于,提供能够与通常动作并行地测定声学特性并不需要只用于测定的时间且能够防止利用者感到刺耳的声学特性测定装置以及方法。
为了解决上述的课题,本发明的声学特性测定装置具备:扬声器,输出嵌入有水印信号的声学信号;麦克风,在规定的收听位置对从扬声器输出的声学信号进行声音收集;以及声学特性判定单元,基于由麦克风进行声音收集而得到的声学信号中嵌入的水印信号,来判定从扬声器开始到收听位置为止的声学空间的声学特性。
另外,本发明的声学特性测定方法具有下述步骤:从扬声器输出嵌入有水印信号的声学信号;在规定的收听位置利用麦克风对从扬声器输出的声学信号进行声音收集;以及利用声学特性判定单元基于由麦克风进行声音收集而得到的声学信号中嵌入的水印信号,来判定从扬声器开始到收听位置为止的声学空间的声学特性。
由于使用水印信号对从扬声器开始到麦克风为止的声学空间的声学特性进行测定,所以能够并行进行使用了声学信号的通常动作和声学特性的测定动作,不需要只用于测定声学特性的时间。另外,由于水印信号被嵌入于声学信号,所以利用者不会特别意识到用于测定声学特性的信号,能够防止利用者感到刺耳。
另外,优选还具备水印信号定时通知单元,该水印信号定时通知单元通知嵌入于上述的声学信号的水印信号被扬声器输出的输出定时,声学特性判定单元根据水印信号定时通知单元的通知来进行声学特性的判定。通过知晓水印信号被扬声器输出的定时,能够测定以水印信号从扬声器输出的定时为基准的从扬声器开始到麦克风为止的声学空间的声学特性。
另外,优选上述的声学特性判定单元具备:水印嵌入位置判定单元,对由麦克风进行声音收集而得到的声学信号中的水印信号的嵌入位置进行检测;以及延迟时间计算单元,基于水印信号定时通知单元的通知和水印嵌入位置判定单元的判定结果,来计算作为声学特性的声学空间中的声学信号的延迟时间。由此,能够获得作为从扬声器输出的水印信号的输出定时与麦克风进行声音收集而得到的声学信号中所包含的水印信号的嵌入位置、即到达麦克风的水印信号的定时之差的延迟时间。
另外,优选上述的水印嵌入位置判定单元通过计算由麦克风进行声音收集而得到的声学信号与水印信号的互相关,来检测水印信号的嵌入位置。由于在嵌入于声学信号的水印信号被麦克风收集的定时该声学信号与水印信号的互相关最大,所以能够基于互相关的计算结果知晓进行声音收集而得到的声学信号中的水印信号的嵌入位置。
另外,上述的水印信号定时通知单元通知水印信号从扬声器的输出完成了的第1定时,水印嵌入位置判定单元通过检测水印信号的嵌入位置,来判定水印信号向麦克风的收入完成了的第2定时,延迟时间计算单元计算第1定时与第2定时之差作为延迟时间。由此,能够测定从扬声器输出水印信号结束的时刻开始到利用麦克风获取(声音收集)该水印信号结束的时刻为止的时间作为延迟时间。
另外,优选上述的水印信号定时通知单元使从扬声器输出水印信号的时刻作为输出定时而包含于水印信号。通过使水印信号包含其输出时刻,由此不需要同类的信息在不同系统中的通知,能够简化构成。
另外,优选上述的声学特性判定单元具备:水印信号提取单元,提取由麦克风进行声音收集而得到的声学信号中嵌入的水印信号;以及频率响应函数计算单元,基于从扬声器输出的声学信号所包含的作为水印信号的第1水印信号和由水印信号提取单元提取出的作为水印信号的第2水印信号,来计算作为声学特性的频率响应函数。该情况下,通过调查夹着从扬声器开始到麦克风为止的声学空间而输入输出的前后的两种水印信号,能够计算声学空间的声学传递特性。
另外,优选上述的频率响应函数计算单元通过计算第1水印信号以及第2水印信号各自的离散傅立叶变换,来进行频率响应函数的计算。特别是,优选上述的频率响应函数计算单元通过高速傅立叶变换来计算第1水印信号以及第2水印信号各自的离散傅立叶变换。由此,能够获得对声学信号通过声学空间时的频率和相位的变化进行表示的声学传递特性。
另外,优选上述的水印信号定时通知单元通知开始了水印信号从扬声器的输出的第3定时,频率响应函数计算单元对应于第3定时基于第1水印信号以及第2水印信号进行频率响应函数的计算。由此,能够可靠地知晓被输入至声学空间之后的声学信号的频率等的变化的内容。
另外,优选使用频谱扩展法来生成上述的水印信号。特别是,优选通过对规定的数据乘以伪随机数序列数据来生成上述的水印信号。由此,能够使用在大的频带中分散有信号成分的水印信号,对于特定频率的成分能够进一步防止利用者感到刺耳,并且,能够测定与大的频带对应的延迟时间、频率响应函数等声学特性。
另外,优选还具备:声学信号储存单元,储存嵌入有上述的水印信号的上述声学信号;以及声学信号输出单元,从上述声学信号储存单元读出上述声学信号并从上述扬声器输出。特别是,优选上述的声学信号储存单元储存有被预先准备并每次读出时内容都不变化的声学信号。由此,能够预先准备适合于声学特性的测定的声学信号。
另外,优选还具备:嵌入适否判定单元,被输入作为上述的水印信号被嵌入之前的声学信号的嵌入对象声学信号,并判定是否适合嵌入水印信号;以及声学信号制作单元,针对由嵌入适否判定单元判定为适合嵌入水印信号的嵌入对象声学信号嵌入水印信号来制作声学信号。由此,能够每次都从在通常动作中使用的声学信号之中选择适合于测定声学特性的声学信号。
另外,优选对于可听频带,在嵌入对象声学信号与水印信号相比频率成分的水平大的情况下,上述的嵌入适否判定单元作出适合于水印信号的嵌入这一内容的判定。由此,能够可靠地掩蔽为了声学特性测定所使用的水印信号。
附图说明
图1是表示本发明的声学特性测定装置的简要的构成的图。
图2是表示开始音与水印信号的嵌入位置的关系的图。
图3是表示进行延迟时间测定的声学特性测定装置的构成的图。
图4是表示对开始音嵌入水印音的处理的图。
图5是表示到达了麦克风的开始音中的水印信号的嵌入位置的图。
图6是表示延迟时间测定的变形例的图。
图7是表示延迟时间测定的其他变形例的图。
图8是表示使水印信号的输出定时包含于水印信号并进行通知的延迟时间测定的变形例的图。
图9是表示生成被嵌入了包括自身的输出完成时刻的水印信号的开始音的构成的图。
图10是表示由解码处理部实现的数据复原的概要的图。
图11是表示进行声学传递特性测定的声学特性测定装置的构成的图。
图12是表示对音频音嵌入水印信号的构成的图。
具体实施方式
以下,参照附图对应用了本发明的一个实施方式的声学特性测定装置进行说明。
图1是表示本发明的声学特性测定装置的简要的构成的图。如图1所示,应用本发明的声学特性测定装置具备开始(OP)音输出部100、扬声器110、水印信号定时通知部120、麦克风150、以及声学特性测定部160。开始音输出部100对应于声学信号输出单元,声学特性测定部160对应于声学特性判定单元,水印信号定时通知部120对应于水印信号定时通知单元。
该声学特性测定装置构成被搭载于车辆的车载装置的一部分,对开始音输出部100、扬声器110、麦克风150而言,声学特性测定以外的用途所使用的部件也可在声学特性测定的用途使用。
开始音输出部100输出规定的开始音。作为该开始音,例如,可设想在车辆的装饰开关被打开并接通了电源时,在包括导航装置、音频装置等的车载装置中使用与启动时的初始画面显示同时输出的声音和/或效果音的情况、使用从ETC车载机输出的对ETC卡插入的有无进行通知的声音的情况等,使用每次输出时内容不变化的声学信号。另外,在该开始音中预先嵌入有水印信号(watermark signal)。
关于该水印信号,例如能够使用与以下的文献中记载的“频谱扩展法”对应的水印信号。
西村明,“音響信号への情報秘匿技術”,日本音響学会誌,63卷,11号,(2007),P.660-667
特别是,对于上述的开始音而言,可以替代内容已知(固定)且以往一直使用的开始音,而准备并预先存储嵌入了水印信号的开始音,读出该存储的开始音并从扬声器110输出。另外,通过上述的频谱扩展法制作的水印信号由于被在大的频率范围扩展,所以为了掩蔽这样的水印信号而不使利用者意识到,需要对于至少被嵌入水印信号的位置,选择在相同大的频率范围具有频率成分的开始音。
另外,扬声器110以及麦克风150被配置在声学空间内的进行声学特性测定的规定位置。例如,当设想对均衡器装置、有源噪声消除器(ANC)等中所使用的声学特性(声学传递特性)进行测定的情况下,与这些装置连接的扬声器110、在利用者的收听位置附近设置的麦克风150被保持原样使用。或者,当对音频装置等中从多个扬声器分别输出的音频音到达利用者的收听位置为止的时间差进行修正的情况下,与音频装置连接的扬声器110、在利用者的收听位置附近设置的麦克风150被保持原样使用。
水印信号定时通知部120将从开始音输出部100输出的开始音(声学信号)中所嵌入的水印信号被扬声器110输出的输出定时朝向声学特性测定部160通知。
图2是表示开始音与水印信号的嵌入位置的关系的图。横轴表示经过时间t,纵轴表示开始音的信号水平。另外,将开始音的输出开始时刻设为t1,将开始音的输出完成时刻设为t4,将具有规定的时间长度而被嵌入的水印信号的输出开始时刻设为t2,将水印信号的输出完成时刻设为t3。水印信号定时通知部120将水印信号的输出开始时刻t2与输出完成时刻t3的至少一方作为输出定时进行通知。
声学特性测定部160根据水印信号定时通知部120的通知,基于由麦克风150进行声音收集而得到的声学信号(开始音)中嵌入的水印信号,来对从扬声器110到麦克风150的声学空间的声学特性进行判定(测定)。
在本实施方式中,作为成为测定对象的声学特性而考虑(1)从扬声器110输出的声学信号到达麦克风150为止的延迟时间、(2)该声学空间的声学传递特性(频率响应函数),以下对各自的声学特性的测定方法具体进行说明。
(1)延迟时间的测定
图3是表示进行延迟时间测定的声学特性测定装置的构成的图。对于与图1相同的构成使用相同的附图标记,除了必要的情况以外省略说明。另外,对与图1所示的构成对应的构成使用了类似的附图标记。
图3所示的声学特性测定装置具备开始(OP)音输出部100、扬声器110、水印信号完成定时通知部120A、麦克风150、以及延迟时间测定部160A。
如上所述,由于在开始音输出部100输出的开始音中预先嵌入有水印音,所以不需要每次嵌入水印音的处理,但为了容易理解从由麦克风150进行声音收集而得到的开始音提取水印音的处理,首先对向开始音嵌入水印音的处理简单地进行说明。
图4是表示对开始音嵌入水印音的处理的图。在利用乘法器10将规定比特数的数据(例如,识别扬声器110的信息等)与成为用于频谱扩展的信号兼用于进行解码化的秘钥的伪随机数序列相乘而生成了水印信号之后,利用水平调整器12调整水平以便被掩蔽于开始音,并通过加法器14将开始音相加。这样一来,可制作被扩展了的水印信号叠加的开始音(图2)。例如,被输入的数据每8个取样利用1或者-1的振幅来表示比特信息,如果将数据的比特数设为6,并将1比特的数据率长度(data rate length)设为8个取样50ms,则6比特的数据的整体为48个取样,水印信号的嵌入时间长度为300ms。其中,伪随机数序列按每1个取样被分配1或者-1,通过乘法器10以取样单位来进行数据与伪随机数序列的相乘。
这样制作的开始音被储存于开始(OP)音储存部16。图1、图3所示的开始音输出部100从开始音储存部16读出被嵌入了水印音之后的开始音并从扬声器110输出。上述的开始音储存部16对应于声学信号储存单元。
接下来,返回到图3,对延迟时间测定部160A的延迟时间的测定动作进行说明。延迟时间测定部160A根据水印信号完成定时通知部120A的通知,基于由麦克风150进行声音收集而得到的开始音中嵌入的水印信号,对从扬声器110开始到麦克风150为止的声学空间中的声学信号的延迟时间进行测定。
如图3所示,延迟时间测定部160A具备互相关计算部162、水印嵌入位置判定部163、以及计时器164。上述的水印信号完成定时通知部120A对应于水印信号定时通知单元,互相关计算部162、水印嵌入位置判定部163对应于水印嵌入位置判定单元,计时器164对应于延迟时间计算单元。
互相关计算部162计算出从麦克风150输出的被声音收集而得到的开始音与为了制作被嵌入于该开始音的水印信号而使用的伪随机数序列的互相关。如上所述,在水印信号由48个取样的比特数据构成的情况下,一边将开始音的对象位置错开1个取样量一边计算该48个取样量的相关值。
水印嵌入位置判定部163将由互相关计算部162计算出的相关值为最大的对象位置判定为水印信号相对于开始音的嵌入位置。
图5是表示到达了麦克风150的开始音中的水印信号的嵌入位置的图。在图5中,OP1是从扬声器110输出的开始音,与图2所示的开始音相同。在t1的时刻从扬声器110开始输出开始音OP1,在t2的时刻开始水印信号的输出。然后,在t3的时刻完成水印信号的输出,进而在t4的时刻完成开始音OP1的输出。如果将从扬声器110开始到麦克风150为止的声学信号的延迟时间设为T,则这样嵌入了水印信号的开始音OP1在被从扬声器110输出之后延迟时间T而到达麦克风150。
在图5中,OP2是被声音收集并从麦克风150输出的开始音。该开始音OP2在t11(=t1+T)的时刻开始,在t14(=t4+T)的时刻结束。另一方面,嵌入于该开始音OP2的水印信号在t12(=t2+T)的时刻开始,在t13(=t3+T)的时刻结束。
由于由上述的互相关计算部162计算出的互相关在水印信号的输出结束的t13的时刻最大,所以水印嵌入位置判定部163将该t13判定为水印信号的嵌入位置,并将水印信号的检测通知朝向计时器164输出。
在从扬声器110正输出开始音OP1且完成了被嵌入的水印信号的输出时(图2、图5中的t3的时刻),水印信号完成定时通知部120A将水印信号的输出完成通知朝向计时器164输出。
计时器164在时刻t3开始计数,然后在时刻t13停止计数,由此来计测从开始计数到停止计数为止的时间T(t13-t3=(t3+T)-t3=T),t3是从水印信号完成定时通知部120A输入了水印信号的输出完成通知的时刻,时刻t13是从水印嵌入位置判定部163输入了水印信号的检测通知的时刻。该时间T作为从扬声器110输出的开始音到达麦克风150为止的延迟时间T而从延迟时间测定部160A输出。
这样,在本实施方式的声学特性测定装置中,由于使用水印信号来测定作为从扬声器110开始到麦克风150为止的声学空间的声学特性的延迟时间T,所以能够将使用了声学信号的通常动作与声学特性的测定动作并行进行,不需要只用于测定声学特性的时间。另外,由于水印信号被嵌入于声学信号,所以利用者不会特别意识到用于测定声学特性的信号,能够防止利用者感到刺耳。
特别是,能够获得从扬声器110输出的水印信号的输出定时与到达麦克风150的水印信号的定时之差的延迟时间,其中,到达麦克风150的水印信号的定时也是由麦克风150进行声音收集而得到的声学信号所包含的水印信号的嵌入位置。
图6是表示延迟时间测定的变形例的图。图6所示的声学特性测定装置用于对从两个扬声器110(例如,在车辆的左右设置的1组扬声器)分别到麦克风150为止的声学信号的延迟时间T1、T2进行测定,与两个扬声器110分别对应地具备开始音输出部100和水印信号完成定时通知部120A。
另外,在一方的开始音输出部100从扬声器110输出的开始音OP-A中所嵌入的水印信号A和另一方的开始音输出部100从扬声器110输出的开始音OP-B中所嵌入的水印信号B中,各自的嵌入位置以不重叠的方式被错开设定。其中,对水印信号A与水印信号B而言,输入至图4所示的乘法器10的数据的内容不同,并且,水印信号A、B的制作所使用的伪随机数序列的内容不同。
一方的延迟时间测定部160A着眼于嵌入在开始音OP-A的水印信号A来测定从一方的扬声器110开始到麦克风150为止的声学信号的延迟时间T1。另外,另一方的延迟时间测定部160A着眼于嵌入在开始音OP-B的水印信号B来测定从一方的扬声器110开始到麦克风150为止的声学信号的延迟时间T2。
此外,在图6所示的构成中,对两个扬声器110与一个麦克风150的组合进行了说明,但对于3以上的多扬声器与一个麦克风150的组合、1个或者多个扬声器与2个以上麦克风的组合也是相同的,能够对图6所示的构成进行扩展。
然而,如果扬声器110的数量变多(多扬声器的情况),则存在与扬声器110的数量对应而准备的多个水印信号不收敛于开始音之虞。该情况下,只要在第一次的开始音输出时对一部分的扬声器110测定延迟时间,在下次的启动时等第二次以后的开始音输出时对剩余的扬声器110测定延迟时间即可。例如,由未图示的控制部来进行将这样的延迟时间测定分割进行的控制(实施延迟时间测定的开始音输出部100与延迟时间测定部160A的选择)。
另外,在对多个扬声器110的每一个进行延迟时间的测定的情况下,并行进行多个延迟时间测定部160A中的运算处理,但如果扬声器110的数量变多,则进行该运算处理的数字处理装置(DSP)等处理器的运算量变多,需要使用昂贵的处理器。因此,可以与上述的多扬声器的情况相同,分为多次来减少同时进行运算的延迟时间测定部160A的数量。该情况下,也由未图示的控制部来进行将延迟时间测定分割进行的控制(实施延迟时间测定的开始音输出部100与延迟时间测定部160A的选择)。
另外,该情况下,在第一次的开始音与第二次以后的开始音中,不必一定错开水印信号的嵌入位置、或变更内容,可以使用相同的水印信号。由此,能够减少与麦克风150连接的延迟时间测定部160A的数量、即延迟时间测定所需要的处理负担。
图7是表示延迟时间测定的其他变形例的图。图7所示的声学特性测定装置用于对从两个扬声器110开始分别到麦克风150为止的声学信号的延迟时间进行测定,具备1组的开始音输出部100以及水印信号完成定时通知部120A、输出未被嵌入水印信号的开始音的开始音输出部100A、两个切换开关170、172、以及控制部180。
在该声学特性测定装置中,通过第一次的开始音的输出来进行从一方的扬声器110开始到麦克风150为止的声学信号的延迟时间测定,通过第二次的开始音的输出来进行从另一方的扬声器110开始到麦克风150为止的声学信号的延迟时间测定。控制部180通过对两个切换开关170、172进行切换,从而在第一次的开始音输出时,从一方的扬声器110输出嵌入有水印信号的开始音,从另一方的扬声器110输入不含有水印信号的开始音。由此,可测定从嵌入有水印信号的一方的扬声器110开始到麦克风150为止的延迟时间。另外,控制部180通过对两个切换开关170、172进行切换,从而在第二次的开始音输出时,从另一方的扬声器110输出嵌入有水印信号的开始音,从一方的扬声器110输出不含有水印信号的开始音。由此,可测定从嵌入有水印信号的另一方的扬声器110开始到麦克风150为止的延迟时间。
然而,在上述的实施方式中,通过水印信号定时通知部120(水印信号完成定时通知部120A)将从开始音输出部100输出的开始音中所嵌入的水印信号被从扬声器110输出的输出定时通知给声学特性测定部160(延迟时间测定部160A),但也可以使同样的信号包含于水印信号来向声学特性测定部160(延迟时间测定部160A)进行通知。
图8是表示使水印信号的输出定时包含于水印信号来进行通知的延迟时间测定的变形例的图。图8所示的声学特性测定装置具备开始音输出部100B、扬声器110、麦克风150、延迟时间测定部160B。
开始音输出部100B输出所嵌入的水印信号的输出定时包含于该水印信号自身的开始音。由于如果声学特性测定装置(车载装置)启动并知晓该时间点的时刻,则也知晓开始音的输出时刻,所以能够计算在开始音的规定位置嵌入的水印信号的输出定时(例如,输出完成时刻T0)并使该水印信号自身的输出完成时刻包含于该水印信号。
图9是表示生成被嵌入了包含自身的输出完成时刻的水印信号的开始音的构成的图。图9所示的构成对图4所示的构成追加了数据制作部18。数据制作部18将表示水印信号的输出完成时刻的规定比特数的数据输出至乘法器10。运算器10以后的处理与图4所示的构成相同,嵌入了包含输出完成时刻的水印信号的开始音被储存至开始音储存部16。
图8所示的开始音输出部100B在规定的定时(与水印信号的输出完成定时包含于该水印音的数据的输出完成时刻T0一致的定时)读出开始音储存部16中储存的开始音并从扬声器110输出。
延迟时间测定部160B基于由麦克风150进行声音收集而得到的开始音中嵌入的水印信号的嵌入位置和包含于该水印信号的输出完成时刻T0,来测定从扬声器110开始到麦克风150为止的声学空间中的声学信号的延迟时间。
如图8所示,延迟时间测定部160B具备互相关计算部162、水印嵌入位置判定部163、延迟时间计算部164A、解码处理部165。对与图3相同的构成使用相同的附图标记,除了必要的情况以外省略说明。另外,对与图3所示的构成对应的构成使用了类似的附图标记。
水印嵌入位置判定部163将由互相关计算部162计算出的相关值为最大的对象位置判定为水印信号相对于开始音的特定的嵌入位置,并确定该水印信号向麦克风150的收入完成的时刻T1。
解码处理部165基于从麦克风150输出的通过声音收集而获得的开始音,将所嵌入的水印信号中包含的数据(输出完成时刻T0)复原。
图10是表示由解码处理部165进行的数据复原的概要的图。如上所述,如果由水印信号嵌入位置判定部163判定出水印信号的收入完成的时刻(时刻t13),则能够以该时刻为基准来辨识与在其紧前输入至麦克风150的开始音之中的水印信号对应的位置。加法器20通过从辨识出的位置的第1开始音(例如,假设为从麦克风150输出的开始音被暂时储存于未图示的储存部,在该位置被辨识出之后能够读出)减去与相同的位置对应的无水印信号的第2开始音,来提取开始音中嵌入的水印信号。乘法器21通过对该提取出的水印信号乘以该水印信号的制作所使用的伪随机数序列,来进行针对频谱扩展的逆扩展处理而将数据复原。其中,在实际上数据的各比特由8个取样表示的情况下,通过按每个与该8个取样相当的数据率取得振幅的平均,来进行规定比特数的第2数据的复原。
延迟时间计算部164A通过从由水印嵌入位置判定部163确定出的时刻T1(水印信号到达麦克风150的时刻)减去由解码处理部165复原出的数据所表示的时刻T0(水印信号从扬声器110输出的输出完成时刻T0),来计算它们的差、即从扬声器110开始到麦克风150为止的声学信号的延迟时间T。
这样,通过使水印信号包含其输出时刻,由于不需要对同类的信息在不同的系统中进行通知,所以能够简化构成。
此外,对于有多个扬声器110的情况、有多个麦克风150的情况等的组合,也能够通过使水印信号包含输出时刻,来同样地针对各扬声器与各麦克风的组合计算出延迟时间。另外,关于对是从哪个扬声器输出的开始音所包含的水印信号进行识别的方法,可以基于为了制作水印信号而使用的疑似符号序列来进行识别,也可以使水印信号的数据中含有扬声器的ID等来进行识别。
(2)声学传递特性(频率响应函数)的测定
图11是表示进行声学传递特性测定的声学特性测定装置的构成的图。对与图1相同的构成使用相同的附图标记,除了必要的情况以外省略说明。另外,对与图1所示的构成对应的构成使用类似的附图标记。
图11所示的声学特性测定装置具备开始(OP)音输出部100、扬声器110、水印信号开始定时通知部120B、麦克风150、频率响应函数测定部160C。
水印信号开始定时通知部120B在从扬声器110输出开始音的期间开始了所嵌入的水印信号的输出时(图2、图5中的t2的时刻),将水印信号的输出开始通知朝向频率响应函数测定部160C输出。
频率响应函数测定部160C对应于水印信号开始定时通知部120B的通知,基于由麦克风150进行声音收集而得到的开始音中所嵌入的水印信号,来测定从扬声器110开始到麦克风150为止的声学空间中的声学信号的声学传递特性(频率响应函数)。
如图11所示,频率响应函数测定部160C具备开始(OP)音储存部261、加法器262、FFT(高速傅立叶变换)处理部263、265、水印信号储存部264、频率响应函数计算部266。上述的水印信号开始定时通知部120B对应于水印信号定时通知单元,开始音储存部261、加法器262对应于水印信号提取单元,FFT处理部263、265、水印信号储存部264、频率响应函数计算部266对应于频率响应函数计算单元。
开始音储存部261在从水印信号开始定时通知部120B输出了水印信号的输出开始通知时开始储存动作,将由麦克风150进行声音收集而得到的开始音储存规定抽头数(取样数)的量。例如,如使用图4所说明那样,如果设数据的比特数为6、且1比特的数据率长度是8个取样50ms,则在6比特的数据的整体是48个取样(48个抽头)300ms的情况下,175抽头量(=1093.75ms)的开始音被储存于开始音储存部261。
加法器262通过从开始音储存部261中储存的开始音(第1开始音)减去未嵌入有水印信号的开始音(第2开始音),来从由麦克风150进行声音收集而得到的开始音中提取与水印信号对应的成分。FFT处理部263进行高速傅立叶变换来计算从加法器262输出的水印信号(由麦克风150进行声音收集而得到的水印信号)的离散傅立叶变换。
水印信号储存部264储存有从扬声器110输出的开始音中所嵌入的水印信号和规定量的零数据。具体而言,例如基于从图4的乘法器10输出的48个抽头量的水印信号、和通过127个取样(抽头)量的补零(zero padding)而追加的零数据,储存有与开始音储存部261相同地整体被设为174个抽头的水印信号(从扬声器110输出并通过声学空间之前的水印信号)。FFT处理部265进行高速傅立叶变换来计算从水印信号储存部264读出的水印信号(从扬声器110输出的水印信号)的离散傅立叶变换。
频率响应函数计算部266基于与到达麦克风150的水印信号对应的FFT处理部263的FFT结果、和与从扬声器110输出的水印信号对应的FFT处理部265的FFT结果,具体而言,通过将一方的FFT结果除以另一方的FFT结果,来计算与从扬声器110开始到麦克风150为止的声学空间对应的声学传递特性(频率响应函数)。
这样,通过调查夹着从扬声器110到麦克风150的声学空间而输入输出的前后的两种水印信号,能够计算声学空间的声学传递特性。特别是,通过使用FFT处理部263、265,能够获得对声学信号通过声学空间时的不同频率的振幅与相位的变化进行表示的声学传递特性(频率响应函数)。
此外,对于有多个扬声器110的情况、有多个麦克风150的情况等的组合,也能够通过着眼于各扬声器110与各麦克风150的1对1的组合,而同样地测定声学传递特性。另外,在有多个扬声器110的情况下,通过使用分别嵌入有内容和输出定时不同的多个水印信号的开始音,来并行测定从各个扬声器110开始到麦克风150为止的声学空间的声学传递特性这一点;以及能够通过从各扬声器110按顺序选择性地输出使用了相同的水印信号的开始音,来按顺序测定从各扬声器110开始到麦克风150为止的声学空间的声学传递特性而减少处理负担这一点,都与上述的延迟时间测定的情况相同。
另外,本发明并不限定于上述实施方式,能够在本发明的主旨的范围内进行各种变形实施。例如,在上述的实施方式中,说明了对搭载于车辆的车载装置所使用的扬声器110与麦克风150之间的声学空间中的声学信号的延迟时间、声学传递特性进行测定的情况,但在车辆以外的声学空间中测定上述的延迟时间、声学传递特性的情况也可应用本发明。
另外,在上述的实施方式中,预先设为内容采用固定的开始音,但也可以使用从音频装置输出的音频音等内容发生变化的声学信号来嵌入水印信号而测定延迟时间、声学传递特性。
图12是表示对音频音嵌入水印信号的构成的图。图12所示的构成对图4所示的构成追加了音频音缓冲器30、频谱解析部31、嵌入范围设定部32、音频音提取部33、水印信号合成部34。频谱解析部31、嵌入范围设定部32对应于嵌入适否判定单元,乘法器10、水平调整器12、加法器14、音频音提取部33、水印信号合成部34对应于声学信号制作单元。
音频音缓冲器30将从扬声器110输出之前的音频音暂时储存。频谱解析部31对音频音缓冲器30中储存的音频音进行频谱解析。嵌入范围设定部32基于频谱解析部31的解析结果,针对可听频带的整个区域将规定水平以上的信号成分所存在的音频音的范围设定为水印信号的嵌入范围。如上所述,由于通过频谱扩展法制作出的水印信号被在大的频率范围扩展,所以为了掩蔽这样的水印信号,需要嵌入该水印信号的音频音也在大的频率范围具有信号成分。频谱解析部31以及嵌入范围设定部32用于提取适用于这样的用途的音频音的一部分。此外,即便是不满足在可听频带的整个区域存在规定水平以上的信号成分这一条件的情况,在从音频信号的频谱能够期待利用者不会听到水印信号的水平的掩蔽效果的情况下,也可以设定为水印信号的嵌入范围。
音频音提取部33从音频音缓冲器30提取与由嵌入范围设定部32设定的水印信号的嵌入范围对应的部分的音频音。该部分的音频音被输入至加法器14,从水平调整器12输出的水印信号被嵌入至该部分的音频音。水印信号合成部34进行将被嵌入了水印信号的部分的音频音置换为被嵌入水印信号之前的音频音的音频音的合成处理。通过该合成处理嵌入了水印信号之后的音频音被从音频音缓冲器30读出并从扬声器110输出。
通过这样对音频音等嵌入水印信号,能够每次都从在通常动作中使用的声学信号中选择适合于声学特性的测定的声学信号。
工业上的可利用性
如上所述,根据本发明,由于能够使用水印信号来测定从扬声器开始到麦克风为止的声学空间的声学特性,所以能够并行进行使用了声学信号的通常动作和声学特性的测定动作,不需要仅为了测定声学特性的时间。另外,由于水印信号被嵌入于声学信号,所以利用者能够不特别意识用于测定声学特性的信号而能够防止利用者感到刺耳这一情况。
附图标记的说明
100、100A、100B-开始音输出部;110-扬声器;120-水印信号定时通知部;120A-水印信号完成定时通知部;120B-水印信号开始定时通知部;150-麦克风;160-声学特性测定部;160A、160B-延迟时间测定部;160C-频率响应函数测定部;162-互相关计算部;163-水印嵌入位置判定部;164-计时器;164A-延迟时间计算部;165-解码处理部;170、172-切换开关;180-控制部。
Claims (17)
1.一种声学特性测定装置,其特征在于,具备:
扬声器,输出嵌入有水印信号的声学信号;
麦克风,在规定的收听位置对从上述扬声器输出的声学信号进行声音收集;以及
声学特性判定单元,基于上述麦克风进行声音收集而得到的声学信号中所嵌入的上述水印信号,来判定从上述扬声器开始到上述收听位置为止的声学空间的声学特性。
2.根据权利要求1所述的声学特性测定装置,其特征在于,
还具备水印信号定时通知单元,该水印信号定时通知单元通知嵌入于上述声学信号的上述水印信号被上述扬声器输出的输出定时,
上述声学特性判定单元根据上述水印信号定时通知单元的通知来进行声学特性的判定。
3.根据权利要求2所述的声学特性测定装置,其特征在于,
上述声学特性判定单元具备:
水印嵌入位置判定单元,对上述麦克风进行声音收集而得到的声学信号中的上述水印信号的嵌入位置进行检测;以及
延迟时间计算单元,基于上述水印信号定时通知单元的通知和上述水印嵌入位置判定单元的判定结果,来计算作为上述声学特性的上述声学空间中的声学信号的延迟时间。
4.根据权利要求3所述的声学特性测定装置,其特征在于,
上述水印嵌入位置判定单元通过计算上述麦克风进行声音收集而得到的声学信号与上述水印信号的互相关,来检测上述水印信号的嵌入位置。
5.根据权利要求4所述的声学特性测定装置,其特征在于,
上述水印信号定时通知单元通知上述水印信号从上述扬声器的输出已完成的第1定时,
上述水印嵌入位置判定单元通过检测上述水印信号的嵌入位置,来判定上述水印信号向上述麦克风的收入已完成的第2定时,
上述延迟时间计算单元计算上述第1定时与上述第2定时之差作为延迟时间。
6.根据权利要求5所述的声学特性测定装置,其特征在于,
上述水印信号定时通知单元使从上述扬声器输出上述水印信号的时刻作为上述输出定时而包含于上述水印信号。
7.根据权利要求2所述的声学特性测定装置,其特征在于,
上述声学特性判定单元具备:
水印信号提取单元,提取上述麦克风进行声音收集而得到的声学信号中所嵌入的上述水印信号;以及
频率响应函数计算单元,基于从上述扬声器输出的声学信号中所包含的作为上述水印信号的第1水印信号和由上述水印信号提取单元提取出的作为上述水印信号的第2水印信号,来计算作为上述声学特性的频率响应函数。
8.根据权利要求6所述的声学特性测定装置,其特征在于,
上述频率响应函数计算单元通过计算上述第1水印信号以及上述第2水印信号各自的离散傅立叶变换,来进行上述频率响应函数的计算。
9.根据权利要求7所述的声学特性测定装置,其特征在于,
上述频率响应函数计算单元通过高速傅立叶变换来计算上述第1水印信号以及上述第2水印信号各自的离散傅立叶变换。
10.根据权利要求8或9所述的声学特性测定装置,其特征在于,
上述水印信号定时通知单元通知上述水印信号开始了从上述扬声器的输出的第3定时,
上述频率响应函数计算单元对应于上述第3定时基于上述第1水印信号以及上述第2水印信号进行频率响应函数的计算。
11.根据权利要求10所述的声学特性测定装置,其特征在于,
上述水印信号使用频谱扩展法来生成。
12.根据权利要求11所述的声学特性测定装置,其特征在于,
上述水印信号通过对规定的数据乘以伪随机数序列数据来生成。
13.根据权利要求12所述的声学特性测定装置,其特征在于,还具备:
声学信号储存单元,储存嵌入有上述水印信号的上述声学信号;以及
声学信号输出单元,从上述声学信号储存单元读出上述声学信号并从上述扬声器输出。
14.根据权利要求13所述的声学特性测定装置,其特征在于,
上述声学信号储存单元储存有被预先准备且每次读出时内容都不变化的上述声学信号。
15.根据权利要求12所述的声学特性测定装置,其特征在于,还具备:
嵌入适否判定单元,被输入作为嵌入上述水印信号之前的声学信号的嵌入对象声学信号,并判定是否适合嵌入上述水印信号;以及
声学信号制作单元,针对上述嵌入适否判定单元判定为适合嵌入上述水印信号的上述嵌入对象声学信号嵌入上述水印信号来制作上述声学信号。
16.根据权利要求15所述的声学特性测定装置,其特征在于,
对于可听频带,在上述嵌入对象声学信号与上述水印信号相比频率成分的水平大的情况下,上述嵌入适否判定单元判断为适合嵌入上述水印信号。
17.一种声学特性测定方法,其特征在于,具有下述步骤:
从扬声器输出被嵌入有水印信号的声学信号;
在规定的收听位置利用麦克风对从上述扬声器输出的声学信号进行声音收集;
利用声学特性判定单元,基于上述麦克风进行声音收集而得到的声学信号中所嵌入的上述水印信号,来判定从上述扬声器开始到上述收听位置为止的声学空间的声学特性。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-050296 | 2018-03-18 | ||
JP2018050296A JP6999232B2 (ja) | 2018-03-18 | 2018-03-18 | 音響特性測定装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110278521A true CN110278521A (zh) | 2019-09-24 |
CN110278521B CN110278521B (zh) | 2022-02-11 |
Family
ID=65817773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910102001.XA Active CN110278521B (zh) | 2018-03-18 | 2019-02-01 | 声学特性测定装置以及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10957332B2 (zh) |
EP (1) | EP3544319B1 (zh) |
JP (1) | JP6999232B2 (zh) |
CN (1) | CN110278521B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114487097A (zh) * | 2020-11-12 | 2022-05-13 | 株式会社东芝 | 声学检查装置以及声学检查方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6748425B2 (ja) * | 2015-12-22 | 2020-09-02 | 川崎重工業株式会社 | 鉄道車両の車体 |
US11361773B2 (en) * | 2019-08-28 | 2022-06-14 | Roku, Inc. | Using non-audio data embedded in an audio signal |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1952628A (zh) * | 2005-10-18 | 2007-04-25 | 索尼株式会社 | 声音测量设备和方法以及音频信号处理设备 |
CN102860047A (zh) * | 2011-01-17 | 2013-01-02 | 松下电器产业株式会社 | 助听器以及助听器的控制方法 |
KR20130078921A (ko) * | 2012-01-02 | 2013-07-10 | 현대모비스 주식회사 | 음향특성 보정 기능을 갖는 차량용 오디오 시스템 및 음향특성 보정 방법 |
EP2899997A1 (en) * | 2014-01-22 | 2015-07-29 | Thomson Licensing | Sound system calibration |
US20170245087A1 (en) * | 2016-02-24 | 2017-08-24 | Onkyo Corporation | Sound field control system, analysis device, and acoustic device |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10254470B4 (de) | 2002-11-21 | 2006-01-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks |
GB0402952D0 (en) | 2004-02-11 | 2004-03-17 | Koninkl Philips Electronics Nv | Remote control system and related method and apparatus |
WO2006131893A1 (en) * | 2005-06-09 | 2006-12-14 | Koninklijke Philips Electronics N.V. | Method of and system for determining distances between loudspeakers |
JP4930097B2 (ja) | 2007-02-23 | 2012-05-09 | ソニー株式会社 | 音響処理装置及び音響処理方法 |
WO2008114432A1 (ja) | 2007-03-20 | 2008-09-25 | Fujitsu Limited | データ埋め込み装置、データ抽出装置、及び音声通信システム |
EP2375779A3 (en) * | 2010-03-31 | 2012-01-18 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for measuring a plurality of loudspeakers and microphone array |
JP5835048B2 (ja) | 2012-03-23 | 2015-12-24 | ヤマハ株式会社 | サーバ装置及び認証システム |
US9106192B2 (en) * | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9165547B2 (en) * | 2012-09-17 | 2015-10-20 | Blackberry Limited | Localization of a wireless user equipment (UE) device based on audio masking |
EP3292703B8 (en) | 2015-05-15 | 2021-03-10 | Nureva Inc. | System and method for embedding additional information in a sound mask noise signal |
KR102393798B1 (ko) * | 2015-07-17 | 2022-05-04 | 삼성전자주식회사 | 오디오 신호 처리 방법 및 장치 |
US9860670B1 (en) * | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
-
2018
- 2018-03-18 JP JP2018050296A patent/JP6999232B2/ja active Active
-
2019
- 2019-02-01 CN CN201910102001.XA patent/CN110278521B/zh active Active
- 2019-03-05 US US16/292,731 patent/US10957332B2/en active Active
- 2019-03-14 EP EP19162714.0A patent/EP3544319B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1952628A (zh) * | 2005-10-18 | 2007-04-25 | 索尼株式会社 | 声音测量设备和方法以及音频信号处理设备 |
CN102860047A (zh) * | 2011-01-17 | 2013-01-02 | 松下电器产业株式会社 | 助听器以及助听器的控制方法 |
KR20130078921A (ko) * | 2012-01-02 | 2013-07-10 | 현대모비스 주식회사 | 음향특성 보정 기능을 갖는 차량용 오디오 시스템 및 음향특성 보정 방법 |
EP2899997A1 (en) * | 2014-01-22 | 2015-07-29 | Thomson Licensing | Sound system calibration |
US20170245087A1 (en) * | 2016-02-24 | 2017-08-24 | Onkyo Corporation | Sound field control system, analysis device, and acoustic device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114487097A (zh) * | 2020-11-12 | 2022-05-13 | 株式会社东芝 | 声学检查装置以及声学检查方法 |
CN114487097B (zh) * | 2020-11-12 | 2023-06-30 | 株式会社东芝 | 声学检查装置以及声学检查方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019159288A (ja) | 2019-09-19 |
EP3544319B1 (en) | 2021-05-05 |
US20190287543A1 (en) | 2019-09-19 |
CN110278521B (zh) | 2022-02-11 |
JP6999232B2 (ja) | 2022-01-18 |
EP3544319A1 (en) | 2019-09-25 |
US10957332B2 (en) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110278521A (zh) | 声学特性测定装置以及方法 | |
CN101826892B (zh) | 回声消除器 | |
EP2907323B1 (en) | Method and apparatus for audio interference estimation | |
CN111988690A (zh) | 一种耳机佩戴状态检测方法、装置和耳机 | |
CN101854571B (zh) | 头戴式耳机设备 | |
EP2190217B1 (en) | Method to reduce feedback in hearing aids and corresponding apparatus and corresponding computer program product | |
EP2765787B1 (en) | A method of reducing un-correlated noise in an audio processing device | |
US7489789B2 (en) | Method for noise reduction in an audio device and hearing aid with means for reducing noise | |
TW200536417A (en) | Method and apparatus to detect and remove audio disturbances | |
GB2581596A (en) | Headset on ear state detection | |
US8488825B2 (en) | Hearing aid and hearing aid system | |
US8103504B2 (en) | Electronic appliance and voice signal processing method for use in the same | |
US9263020B2 (en) | Control information generating apparatus and method for percussion instrument | |
EP2608198A1 (en) | System and method for reduction of mechanically-generated noise | |
WO2023005409A1 (zh) | 设备确定方法及设备确定系统 | |
EP1673964B1 (en) | Method for processing the signals from two or more microphones in a listening device and listening device with plural microphones | |
JPS61150532A (ja) | 放送受信装置における障害低減法および装置 | |
CN109561222A (zh) | 一种语音数据的异常检测方法及装置 | |
WO2020035180A1 (en) | Method of operating an ear level audio system and an ear level audio system | |
CN100370516C (zh) | 输入音处理装置 | |
JPH07334181A (ja) | 残響音生成装置 | |
CN114697849A (zh) | 耳机佩戴检测方法、装置、耳机及存储介质 | |
JP6995442B2 (ja) | 故障診断装置および方法 | |
CN106658339B (zh) | 一种音频信号处理方法及装置、系统 | |
Stautner | Analysis and synthesis of music using the auditory transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |