CN112673648B - 处理装置、处理方法、再现方法以及存储介质 - Google Patents

处理装置、处理方法、再现方法以及存储介质 Download PDF

Info

Publication number
CN112673648B
CN112673648B CN201980058765.1A CN201980058765A CN112673648B CN 112673648 B CN112673648 B CN 112673648B CN 201980058765 A CN201980058765 A CN 201980058765A CN 112673648 B CN112673648 B CN 112673648B
Authority
CN
China
Prior art keywords
time
frequency
filter
signal
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980058765.1A
Other languages
English (en)
Other versions
CN112673648A (zh
Inventor
高地邦明
村田寿子
小西正也
下条敬洋
藤井优美
永井俊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN112673648A publication Critical patent/CN112673648A/zh
Application granted granted Critical
Publication of CN112673648B publication Critical patent/CN112673648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Stereophonic System (AREA)

Abstract

本发明的目的在于提供一种能够适当地进行处理的头外定位处理系统、滤波器生成装置、方法以及程序。本实施方式涉及的处理装置(200)包括：频率信息获取部(213)，基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息；时间信息获取部(216)，基于频率信息来获取再现信号中的时间信息；时间信号提取部(217)，基于时间信息来提取与再现信号的至少一部分时间对应的时间信号；滤波器处理部(218)，对时间信号进行滤波器处理；以及增益获取部(219)，基于未进行滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取增益。

Description

处理装置、处理方法、再现方法以及存储介质
技术领域
本发明涉及处理装置、处理方法、再现方法以及程序。
背景技术
在专利文献1中公开了校正音响信号的音量的音量校正装置。专利文献1的音量校正装置用不同的平均化时间对音响信号的每个频带的信号电平进行平均化。音量校正装置对多个平均值进行加权，求出加权后的代表值。音量校正装置基于代表值决定增益(gain)，基于增益来校正音量。
然而，作为声像定位技术，有使用头戴式耳机使声像定位在收听者的头部外侧的头外定位技术。在头外定位技术中，通过消除从头戴式耳机到耳朵的特性，赋予从立体声扬声器到耳朵的4个特性(空间音响传递特性)，使声像定位在头外。
在头外定位再现中，将从2声道(以下记为ch)的扬声器发出的测量信号(脉冲音等)由设置在收听者(listener)本人的耳朵上的麦克风(以下称为麦克)录音。然后，处理装置基于采集测量信号而得到的拾音信号，生成滤波器。通过将所生成的滤波器与2ch的音频信号进行卷积，能够实现头外定位再现。
此外，为了生成用于消除从头戴式耳机到耳朵的特性的滤波器，使用设置在收听者本人的耳朵上的麦克来测量从头戴式耳机到耳根和鼓膜的特性(外耳道传递函数ECTF，也称为外耳道传递特性)。
现有技术文献
专利文件
专利文献1：日本特开2012-244246号公报。
发明内容
有时通过头外定位处理装置或均衡器等进行强调特定的频率的滤波处理。在这样的情况下，根据再现的声源或滤波器的频率特性，有时会损害音质或滤波器特性。因此，用户有时会感到不协调感。
在专利文献1的装置中，需要始终监视声源的信号电平，因此再现装置中的处理负担变大。另外，在声源再现中产生的音量变化的不协调感可能会减轻，但并不会完全消失。
本实施方式是鉴于上述问题而提出的，其目的在于提供能够适当地设定增益值的处理装置、处理方法以及程序。
本实施方式涉及一种处理装置，包括：频率信息获取部，基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息；时间信息获取部，基于所述频率信息来获取再现信号中的时间信息；提取部，基于所述时间信息来提取与所述再现信号的至少一部分时间对应的时间信号；滤波器处理部，使用所述滤波器对所述时间信号进行滤波器处理；以及增益获取部，基于未进行所述滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取针对所述再现信号的音量的增益。
本实施方式涉及一种处理方法，包括以下步骤：基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息；基于所述频率信息来获取再现信号中的时间信息；基于所述时间信息来提取与所述再现信号的至少一部分时间对应的时间信号；使用所述滤波器对所述时间信号进行滤波器处理；以及基于未进行所述滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取针对所述再现信号的音量的增益。
本实施方式涉及的处理装置是一种程序，用于使计算机执行处理方法，所述处理方法包括以下步骤：基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息；基于所述频率信息来获取再现信号中的时间信息；基于所述时间信息来提取与所述再现信号的至少一部分时间对应的时间信号；使用所述滤波器对所述时间信号进行滤波器处理；以及基于未进行所述滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取针对所述再现信号的音量的增益。
根据本实施方式，能够提供可适当地设定增益值的处理装置、处理方法、再现方法以及程序。
附图说明
图1是表示本实施方式涉及的头外定位处理装置的框图；
图2是表示进行用于设定增益值的处理的处理装置的结构的框图；
图3是表示滤波器的频率特性的图；
图4是表示再现信号的频谱图的图；
图5是用于说明获取频率信息的处理的流程图；
图6是用于说明获取时间信息的处理的流程图；
图7是表示在实施方式2中每个频带的峰值时间Tb1～Tb5的图。
具体实施方式
对本实施方式涉及的声像定位处理的概要进行说明。本实施方式涉及的头外定位处理使用空间音响传递特性和外耳道传递特性进行头外定位处理。空间音响传递特性是从扬声器等声源到外耳道的传递特性。外耳道传递特性是从头戴式耳机或入耳式耳机的扬声器单元到鼓膜的传递特性。在本实施方式中，测量未佩戴头戴式耳机或入耳式耳机的状态下的空间音响传递特性，并且测量佩戴有头戴式耳机或入耳式耳机的状态下的外耳道传递特性，使用这些测量数据实现头外定位处理。本实施方式的特征在于用于测量空间音响传递特性或外耳道传递特性的麦克系统。
本实施方式涉及的头外定位处理由个人计算机、智能电话、平板电脑 (PC)等用户终端执行。用户终端是具有处理器等处理单元、存储器或硬盘等存储单元、液晶监视器等显示单元、触摸面板、按钮、键盘、鼠标等输入单元的信息处理装置。用户终端也可以具有收发数据的通信功能。此外，具有头戴式耳机或入耳式耳机的输出单元(输出部件)连接到用户终端。用户终端与输出单元的连接可以是有线连接，也可以是无线连接。
实施方式1
(头外定位处理装置)
图1表示作为本实施方式涉及的声场再现装置的一例的头外定位处理装置100的框图。头外定位处理装置100对佩戴头戴式耳机43的用户U再现声场。因此，头外定位处理装置100对于Lch和Rch的立体声输入信号 XL、XR进行声像定位处理。Lch和Rch的立体声输入信号XL和XR是从 CD(compact Disc，紧凑型盘)播放器等输出的模拟音频再现信号、或者是诸如mp3(MPEG Audio Layer-3，动态图像专家组音频层3)的数字音频数据。另外，音频再现信号或数字音频数据被统称为再现信号。即，Lch和 Rch的立体声输入信号XL和XR是再现信号。
另外，头外定位处理装置100不限于物理上单一的装置，一部分处理也可以由不同的装置进行。例如，可以通过智能电话等执行一部分处理，其余处理通过内置于头戴式耳机43中的DSP(Digital Signal Processor，数字信号处理器)等执行。
头外定位处理装置100包括头外定位处理部10、用于保存逆滤波器Linv 的滤波器部41、用于保存逆滤波器Rinv的滤波器部42以及头戴式耳机43。头外定位处理部10、滤波器部41以及滤波器部42具体而言能够通过处理器等来实现。
头外定位处理部10包括保存空间音响传递特性Hls、Hlo、Hro、Hrs 的卷积运算部11～12、21～22以及加法器24、25。卷积运算部11～12、 21～22进行使用了空间音响传递特性的卷积处理。头外定位处理部10被输入来自CD播放器等的立体声输入信号XL、XR。在头外定位处理部10中设定有空间音响传递特性。头外定位处理部10对各ch的立体声输入信号XL、XR卷积空间音响传递特性的滤波器(以下也称为空间音响滤波器)。空间音响传递特性可以是在被测量者的头部或耳廓处测量的头部传递函数 HRTF，也可以是仿真头或第三方的头部传递函数。
将4个空间音响传递特性Hls、Hlo、Hro、Hrs作为1组的函数设为空间音响传递函数。在卷积运算部11、12、21、22中用于卷积的数据成为空间音响滤波器。通过以规定的滤波器长度切出空间音响传递特性Hls、Hlo、 Hro、Hrs，生成空间音响滤波器。
空间音响传递特性Hls、Hlo、Hro、Hrs各自通过脉冲响应测量等预先获取。例如，用户U将麦克分别安装在左耳和右耳上。配置在用户U的前方的左右扬声器分别输出用于进行脉冲响应测量的脉冲音。然后，利用麦克对从扬声器输出的脉冲音等测量信号进行拾音。基于麦克中的拾音信号获取空间音响传递特性Hls、Hlo、Hro、Hrs。测量左扬声器与左麦克之间的空间音响传递特性Hls、左扬声器与右麦克之间的空间音响传递特性Hlo、右扬声器与左麦克之间的空间音响传递特性Hro、以及右扬声器与右麦克之间的空间音响传递特性Hrs。
然后，卷积运算部11对Lch的立体声输入信号XL卷积与空间音响传递特性Hls对应的空间音响滤波器。卷积运算部11将卷积运算数据输出到加法器24。卷积运算部21对Rch的立体声输入信号XR卷积与空间音响传递特性Hro对应的空间音响滤波器。卷积运算部21将卷积运算数据输出到加法器24。加法器24将两个卷积运算数据相加，输出到滤波器部41。
卷积运算部12对Lch的立体声输入信号XL卷积与空间音响传递特性 Hlo对应的空间音响滤波器。卷积运算部12将卷积运算数据输出到加法器 25。卷积运算部22对Rch的立体声输入信号XR卷积与空间音响传递特性 Hrs对应的空间音响滤波器。卷积运算部22将卷积运算数据输出到加法器 25。加法器25将两个卷积运算数据相加，输出到滤波器部42。
在滤波器部41、42中设定有用于消除头戴式耳机特性(头戴式耳机的再现单元与麦克之间的特性)的逆滤波器Linv、Rinv。然后，将逆滤波器 Linv、Rinv与实施了头外定位处理部10中的处理的再现信号(卷积运算信号)进行卷积。通过滤波器部41对来自加法器24的Lch信号与Lch侧的头戴式耳机特性的逆滤波器Linv进行卷积。同样地，滤波器部42对来自加法器25Rch的信号与Rch侧的头戴式耳机特性的逆滤波器Rinv进行卷积。当佩戴有头戴式耳机43时，逆滤波器Linv、Rinv消除从头戴式耳机单元到麦克的特性。麦克可以配置在从外耳道入口到鼓膜之间的任何位置。
滤波器部41将处理后的Lch信号YL输出到头戴式耳机43的左单元 43L。滤波器部42将处理后的Rch信号YR输出到头戴式耳机43的右单元 43R。用户U佩戴有头戴式耳机43。头戴式耳机43向用户U输出Lch信号 YL和Rch信号YR(下文中，Lch信号YL和Rch信号YR也被统称为立体声信号)。由此，能够再现定位在用户U的头外的声像。
这样，头外定位处理装置100使用与空间音响传递特性Hls、Hlo、Hro、 Hrs对应的空间音响滤波器和头戴式耳机特性的逆滤波器Linv、Rinv，进行头外定位处理。在以下的说明中，将与空间音响传递特性Hls、Hlo、Hro、 Hrs对应的空间音响滤波器和头戴式耳机特性的逆滤波器Linv、Rinv汇总作为头外定位处理滤波器。在2ch的立体声再现信号的情况下，头外定位滤波器由4个空间音响滤波器和2个逆滤波器构成。然后，头外定位处理装置100通过使用合计6个头外定位滤波器对立体声再现信号进行卷积运算处理来执行头外定位处理。头外定位滤波器优选基于用户U个人的测量。例如，基于由佩戴在用户U的耳朵上的麦克拾音而得的拾音信号来设定头外定位滤波器。
这样，空间音响滤波器和头戴式耳机特性的逆滤波器是音频信号用的滤波器。通过将这些滤波器与再现信号(立体声输入信号XL、XR)卷积，头外定位处理装置100执行头外定位处理。
(处理装置)
使用图2对本实施方式涉及的处理装置200以及处理方法进行说明。图2是表示处理装置200的结构的框图。处理装置200也可以是与图1所示的头外定位处理装置100共用的装置。或者，处理装置200的一部分或全部也可以是与头外定位处理装置100不同的装置。
处理装置200包括滤波器211、滤波器特性获取部212、频率信息获取部213、声源214、频谱图获取部215、时间信息获取部216、时间信号提取部217、滤波器处理部218和增益获取部219。
在滤波器211中保存有头外定位处理滤波器的数据、即与空间音响传递特性Hls、Hlo、Hro、Hrs对应的空间音响滤波器和头戴式耳机特性的逆滤波器Linv、Rinv。这里，对进行使用了逆滤波器Linv的处理的例子进行说明。当然，也可以进行使用了其他滤波器的处理。滤波器211被输入到滤波器特性获取部212和滤波器处理部218。在处理装置200和头外定位处理装置100是不同装置的情况下，处理装置200通过无线通信或有线通信从头外定位处理装置100获取滤波器211的数据。
在声源214中保存有由头外定位处理装置再现的再现信号s[t]的数据。另外，再现信号s[t]例如是为了进行头外定位收听而再现的乐曲。因此，一个乐曲的再现信号的数据被保存在声源214中。
滤波器特性获取部212获取滤波器211的频率特性。滤波器特性获取部212通过FFT(Fast Fourier Transform：快速傅立叶变换)根据时域的滤波器计算频域的频谱。由此，生成滤波器的振幅特性(振幅频谱)和相位特性(相位频谱)。图3表示通过对时域的滤波器f(t)进行FFT而得到的频率特性F[w]的一例。另外，t表示时间，w表示频率。滤波器特性获取部212将频率特性F[w]输出到频率信息获取部213。
另外，也可以代替振幅频谱而使用功率频谱作为频率特性。另外，滤波器特性获取部212能够通过离散傅立叶变换、离散余弦变换将滤波器变换为频域数据(频率特性)。当然，头外定位处理装置100也可以计算频率特性。在这种情况下，处理装置200只要获取从头外定位处理装置100 发送的频率特性即可。
频率信息获取部213基于滤波器的频率特性F[w]获取频率信息。频率信息是表示评价音量的频率的信息。频率信息例如是滤波器的频率特性成为峰值的峰值频率。更具体而言，频率信息获取部213将频率特性F[w]中成为最大振幅的频率设为峰值频率F1。然后，频率信息获取部213获取峰值频率F1作为频率信息。图3示出峰值频率F1和峰值频率F1下的最大振幅P1。频率信息获取部213将频率信息输出到时间信息获取部216。
频谱图获取部215获取再现信号的频谱图S[t，w]。频谱图S[t，w]例如是以横轴为时间t、以纵轴为频率w、以亮度表示振幅的数据。图4示出当扫频信号是再现信号时的频谱图S[t，w]。在图4中，越接近白色，振幅越大，越接近黑色，振幅越小。即，振幅用多灰度的灰度级表示，从黑到白，振幅越来越大。
频谱图获取部215可以通过使用例如带通滤波器组(filter bank，滤波器组)的方法或短时傅立叶变换(STFT：Short-Time Fourier Transform)来生成频谱图S[t，w]。此外，频谱图S[t，w]可以在指定要再现的乐曲的时间点生成，也可以在指定要再现的乐曲之前预先生成。频谱图获取部215 将频谱图S[t，w]输出到时间信息获取部216。
时间信息获取部216基于频率信息和再现信号获取时间信息。时间信息是表示评价音量的时间的信息。时间信息获取部216例如参照频谱图S[t， w]获取峰值频率F1下的频谱图[t，F1]成为峰值的峰值时间T1作为时间信息。即，峰值时间T1是在峰值频率F1下再现信号的音量达到最大的时间。图4的频谱图中示出峰值频率F1和峰值时间T1。时间信息获取部216将时间信息输出到时间信号提取部217。
时间信号提取部217基于时间信息提取与再现信号s[t]的至少一部分时间对应的时间信号A。例如，时间信号提取部217基于峰值时间T1从再现信号s[t]中切出时间信号A。具体而言，时间信号A是以峰值时间T1为开始时间、与FFT的1帧长度对应的时间量的信号。时间信号提取部217将时间信号A输出到滤波器处理部218和增益获取部219。另外，开始时间也可以比峰值时间T1稍靠前(例如，几个样本～几十个样本前)。另外，时间信号A成为再现信号s[t]的一部分，但也可以是再现信号s[t]的全部。
接着，滤波器处理部218使用滤波器211对时间信号A进行滤波处理。即，将滤波器Linv与所提取的时间信号进行卷积。将进行了滤波处理的时间信号作为处理后时间信号FA。
增益获取部219基于进行滤波处理前后的时间信号来获取增益。例如，增益获取部219将时间信号A与处理后时间信号FA进行比较，设为增益G ＝Ap/FAp。这里，Ap是时间信号A的最大振幅，FAp是处理后时间信号 FA的最大振幅。这样，增益获取部219基于时间信号A和处理后时间信号 FA来计算最适合于再现信号的增益G。由此，能够求出与再现信号以及滤波器对应的增益。
然后，增益获取部219将增益G输出到头外定位处理装置100。头外定位处理装置100以与增益G对应的音量再现头外定位处理后的再现信号。由此，能够适当地校正音量。因此，用户U能够在没有不协调感的情况下收听头外定位处理后的再现信号。
由于用于头外定位处理的滤波器针对每个用户是不同的，因此可以针对每个用户适当地校正音量。此外，能够针对每个再现信号，即针对每个乐曲，针对每个再现信号适当地校正音量。另外，由于能够在再现信号的再现之前求出最优增益，所以不需要在再现中进行处理。
接着，使用图5详细说明获取频率信息的处理。图5是表示滤波器特性获取部212和频率信息获取部213中处理的一例的流程图。
首先，滤波器特性获取部212通过对滤波器f[t]进行频率变换，求出频率特性F[w](S11)。这里，将通过滤波器特性获取部212进行FFT而得到的振幅频谱设为频率特性F[w]。频率w是表示通过FFT获得的离散频率的整数。具体而言，w是1～Wmax的整数。另外，频率未必使用整数，例如，对离散的各频率附加编号并通过表格等进行管理，根据后述的w的增量将表格的频率按照编号顺序向w输入，由此能够使用整数以外的频率。
接着，频率信息获取部213对w输入1作为初始值(S12)。然后，频率信息获取部213判定w是否小于Wmax(S13)。另外，Wmax是与频率特性F[w]的最大频率对应的整数。在w小于Wmax的情况下(S13的是)，判定F[w]是否大于P1(S14)。P1是低于频率w时的最大振幅。
在F[w]大于P1的情况下(S14的是)，频率信息获取部213对P1输入F[w](S15)。并且，频率信息获取部213对峰值频率F1输入w(S16)。即，频率信息获取部213使用F[w]更新P1，使用w更新F1。然后，频率信息获取部213使w递增(S17)。
在F[w]不大于P1的情况下(S14的否)，频率信息获取部213不更新 F1、P1，而使w递增(S17)。然后，频率信息获取部213使w递增，若w 成为Wmax以上(S13的否)，则结束处理。由此，能够求出振幅为最大值的峰值频率F1。另外，不限于图5记载的处理，也可以使用基于振幅对频率和振幅的组进行排序、求出振幅成为最大的峰值频率F1等其他方法，求出峰值频率F1。
并且，使用图6详细说明获取时间信息的处理。图6是表示频谱图获取部215和时间信息获取部216中处理的一例的流程图。这里，时间t是表示再现信号的时间的整数。具体而言，t是0～Tmax的整数。乐曲的开头时间为0，结束时间为Tmax。另外，时间未必使用整数，例如，对各时间附加编号并通过表等进行管理，根据后述的t的增量将表的时间按照编号顺序输入到t，由此能够使用整数以外的时间。
首先，频谱图获取部215获取再现信号s[t]的频谱图S[t，w](S21)。例如，频谱图获取部215通过对再现信号s[t]进行短时傅立叶变换(STFT) 来获取频谱图S[t，w]。或者，也可以预先求出频谱图，并保存在存储器等中。在这种情况下，频谱图获取部215从存储器中读取频谱图S[t，w]。
接着，时间信息获取部216对t输入0作为初始值(S22)。然后，时间信息获取部216判定t是否小于Tmax(S23)。在t小于Tmax的情况下 (S23的是)，判定S[t，F1]是否大于Smax(S24)。Smax是小于时间t 时的振幅的最大值。
在S[t，F1]大于Smax的情况下(S24的是)，时间信息获取部216对 Smax输入S[t，F1](S25)。此外，时间信息获取部216对峰值时间T1输入t(S26)。即，时间信息获取部216使用S[t，F1]更新Smax，使用t更新T1。然后，时间信息获取部216使t递增(S27)。
在S[t，F1]不大于Smax的情况下(S24：否)，时间信息获取部216 不更新Smax、T1，而使t递增(S27)。然后，时间信息获取部216使t递增，若t成为Tmax以上(S23的否)，则结束处理。由此，在峰值频率F1 中，能够求出振幅成为最大值的峰值时间T1。另外，不限于图6中记载的处理，也可以使用基于振幅对时间和振幅的组进行排序、求出振幅成为最大的峰值时间T1等其他方法，求出峰值时间T1。
根据本实施方式涉及的处理方法，能够获取适当的增益G。由此，能够降低用户U进行头外定位收听时的不协调感。另外，在上述说明中，处理装置200使用Lch的逆滤波器Linv进行了处理，但也可以使用Rch的逆滤波器Rinv进行处理。并且，处理装置200也可以使用逆滤波器Linv、逆滤波器Rinv这两者进行处理。在这种情况下，可以将两个信道增益中较小的一个值或平均值等设为增益G。
另外，处理装置200能够在再现乐曲之前求出增益G。不需要监视声源的信号电平。如果指定了下一个要再现的乐曲，或者如果预测了下一个要再现的乐曲，则可以预先求出频谱图。另外，也可以针对预测再现的多个乐曲，预先求出频谱图。因此，能够防止因处理而产生延迟。
变形例1
在实施方式1中，音量评价用的频率和时间各为一个，但也可以将多个频率和时间用于音量评价。例如，在变形例1中，获取2个以上的频率作为频率信息。具体而言，频率信息获取部213从滤波器211的频率特性的振幅高的一侧起依次求出多个峰值。频率信息获取部213获取多个峰值的峰值频率作为频率信息。频率信息获取部213获取N个(N是2以上的整数)峰值的峰值频率F1、F2、……FN作为频率信息。
然后，时间信息获取部216针对峰值频率F1、F2、……FN的每一个求出振幅成为最大的峰值时间T1、T2、……TN。时间信号提取部217针对峰值时间T1、T2、……TN提取时间信号。由此，时间信号提取部217提取N 个时间信号A1、A2、……AN。滤波器处理部218针对时间信号A1、A2、…… AN分别进行滤波处理。由此，求出N个处理后时间信号FA1、FA2、…… FAN。
增益获取部219基于时间信号A1、A2、……AN和处理后时间信号FA1、 FA2、……FAN求出N个增益G1～GN。例如，增益获取部219分别比较时间信号A1、A2、……AN和处理后时间信号FA1、FA2、……FAN。增益获取部219将时间信号A1的最大振幅A1p与处理后时间信号FA1的最大振幅FA1p之比(A1p/FA1p)设为增益G1。同样，增益获取部219设 G2＝(A1p/FA1p)、……GN＝(ANp/FN1p)。然后，增益获取部219将增益G1～GN的最大值设为增益G。
变形例2
在变形例2中，针对一个峰值频率F1求出多个时间。即，在峰值频率 F1中，从振幅高的一侧开始依次获取N个(N为2以上的整数)时间T1～ TN作为时间信息。然后，通过对时间T1～TN进行与变形例1相同的处理，求出增益G1～GN。增益获取部219将增益G1～GN的最大值设为增益G。
根据变形例1、2，处理装置200能够求出更适当的增益G。头外定位处理装置100以与增益G对应的音量对再现信号进行再现。由此，能够适当地校正音量。因此，用户U能够在没有不协调感的情况下收听头外定位处理后的再现信号。当然，也可以组合变形例1和变形例2。例如，对于N 个频率F1～FN的每一个，时间信息获取部216也可以求出M个时间作为时间信息。在这种情况下，可以将N×M个增益的最大值用作增益G。
处理装置200可以是不同于头外定位处理装置100的装置。例如，在以流媒体对再现信号进行再现的情况下，处理装置200成为分发再现信号的流媒体服务器。另一方面，头外定位处理装置100是个人计算机、智能电话、平板电脑等用户终端。用户U操作作为用户终端的头外定位处理装置100，选择要再现的乐曲。头外定位处理装置100向服务器的处理装置 200发送滤波器和要再现的乐曲的信息。然后，处理装置200通过上述处理求出增益值，发送给头外定位处理装置100。
并且，处理装置200不限于物理上单一的装置。例如，图2所示的处理装置200的一部分处理也可以在服务器中进行，剩余处理在用户终端中进行。具体而言，用户终端也可以求出滤波器211的频率特性，发送给作为服务器的处理装置200。或者，用户终端也可以求出一个或多个峰值频率，并发送给处理装置200。
在进行流媒体再现的情况下，事先将滤波器的峰值频率F1发送到成为处理装置200的服务器侧即可。服务器预先与用户账号相关联地登记峰值频率F1。然后，服务器求出适当的增益，发送给作为用户终端的头外定位处理装置100。由此，能够对每个乐曲以适当增益进行再现。
实施方式2
在实施方式1中，作为用于评价音量的频率信息和时间信息，使用了滤波器的峰值频率和再现信号的峰值时间，但在实施方式2中，使用除此以外的频率信息和时间信息来评价音量。以下，使用图7说明本实施方式涉及的处理装置和处理方法。图7是表示在扫频信号被用作再现信号的情况下的频谱图的图。这里，频谱图S[t，w]被分为5个频带B1～B5。
处理装置200存储有频带B1～B5的上限及下限的频率。处理装置200 在频带B1～B5的每个中存储有振幅成为最大的峰值时间Tb1～Tb5。频率信息获取部213与实施方式1同样地求出峰值频率F1。时间信息获取部216 判定峰值频率F1包含在频带B1～B5中的哪个频带中。即，时间信息获取部216获取根据峰值频率F1选择的一个频带作为频率信息。
时间信息获取部216获取包括峰值频率F1的频带的峰值时间作为时间信息。例如，在频带B1中包含有峰值频率F1的情况下，时间信息获取部 216求出峰值时间Tb1作为时间信息。然后，对于基于峰值时间Tb1提取出的时间信号A1进行与实施方式1相同的处理即可。由此，能够适当地求出增益G。
在实施方式2中，能够预先计算出频带B1～B5的峰值时间Tb1～Tb5。因此，能够将峰值时间Tb1～Tb5作为元信息而附加在再现信号上。由此，在每次指定再现信号(要再现的乐曲)时，不需要求出频谱图的处理。即，时间信息获取部216判定峰值频率F1是否包含在哪个频带中。然后，时间信息获取部216根据判定结果选择峰值时间Tb1～Tb5中的一个即可。
由此，能够进一步减轻再现时的处理负荷。例如，在服务器侧针对每个再现信号预先求出峰值时间Tb1～Tb5即可。并且，用户终端能够将峰值频率或频带作为频率信息进行发送。因此，在每次指定再现信号(要再现的乐曲)时，不需要求出频谱图的处理。由于每个用户的频率信息是已知的，所以处理装置200能够迅速地获取时间信息及时间信号。当然，再现信号的频率特性的频带分割数不限于5。
另外，在实施方式1、2中，也可以根据当前再现的乐曲预测下一个乐曲，事先进行处理。例如，对于由音乐再现应用等的推荐功能推荐的乐曲，可以预先执行用于求出增益的处理的一部分或全部。例如，可以预先求出再现列表中的下一个乐曲的频谱图。由此，能够减轻处理负荷。
当然，在实施方式2中，时间信号提取部217也可以提取多个时间信号。例如，关于成为最大振幅的峰值时间Tb1～Tb5，提取时间信号A1～ A5。滤波器处理部218通过对时间信号A1～A5的每个卷积滤波器，生成处理后时间信号FA1～FA5。增益获取部219分别比较时间信号A1～A5和处理后时间信号FA1～FA5，求出增益G1～G5。增益获取部219将增益 G1～G5的最大值设为增益G。
另外，在实施方式1、2中，处理装置200对用于头外定位处理的滤波器进行处理，但用于处理的滤波器并没有特别限定。例如，处理装置200 可以根据每个用户的喜好或对乐曲、音乐类型等的适当性对通过均衡器等生成的滤波器进行处理。
另外，在图1、图2的框图中，可以省略一部分的框图。例如，在图2 中，可以省略频谱图获取部215、滤波器特性获取部212、滤波器211和声源214。另外，可以省略图5、图6的流程图中的一部分或全部处理。图5 是表示获取频率信息的处理的一例的图，因此可以不实施图5的一部分或全部步骤。另外，图6是表示获取时间信息的处理的一例的图，因此可以不实施图5的一部分或全部步骤。即，通过图5及图6以外的处理，也能够获取频率信息或时间信息。
上述处理中的一部分或全部可以通过计算机程序来执行。上述程序可以使用各种类型的非临时性计算机可读介质(non-transitory computer readable medium)来存储并提供给计算机。非临时性计算机可读介质包括各种类型的实体的某种存储介质(tangiblestorage medium)。非临时性计算机可读介质的例子包括磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁光记录介质(例如，磁光盘)、CD-ROM(Read Only Memory，只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩模ROM、PROM (Programmable ROM，可编程ROM)、EPROM(Erasable PROM，可擦可编程只读存储器)、闪存ROM、RAM(Random Access Memory，随机存取存储器))。另外，程序也可以由各种类型的临时性计算机可读介质 (transitorycomputer readable medium)提供给计算机。临时性计算机可读介质的例子包括电信号、光信号和电磁波。临时性计算机可读介质可以通过电线和光纤等有线通信路径或无线通信路径向计算机提供程序。
以上，基于实施方式具体说明了本发明人所完成的发明，但本发明不限于上述实施方式，在不脱离其主旨的范围内当然能够进行各种变更。
本申请要求以2018年9月21日申请的日本申请特愿2018-176868为基础的优先权，并将其公开内容全部纳入其中。
产业上的可用性
本公开可应用于进行滤波器处理的处理装置。
符号说明
U 用户
1 被测量者
10 头外定位处理部
11 卷积运算部
12 卷积运算部
21 卷积运算部
22 卷积运算部
24 加法器
25 加法器
41 滤波器部
42 滤波器部
43 头戴式耳机
200 处理装置
211 滤波器
212 滤波器特性获取部
213 频率信息获取部
214 声源
215 频谱图获取部
216 时间信息获取部
217 时间信号提取部
218 滤波器处理部
219 增益获取部

Claims (6)

1.一种对再现信号进行滤波处理的处理装置，包括：
频率信息获取部，基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息，所述频率信息与成为所述滤波器的频率特性的峰值的峰值频率对应；
时间信息获取部，基于所述频率信息来获取再现信号中的时间信息；
提取部，基于所述时间信息来提取所述再现信号的与至少一部分时间对应的时间信号；
滤波器处理部，使用所述滤波器对所述时间信号进行滤波器处理；以及
增益获取部，基于未进行所述滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取针对所述再现信号的音量的增益。
2.根据权利要求1所述的处理装置，其中，
所述时间信息获取部获取时间信息，所述时间信息与在基于所述频率信息的频率或基于所述频率信息的频带中所述再现信号的振幅成为峰值的峰值时间对应。
3.根据权利要求1所述的处理装置，其中，
在所述再现信号的频率特性中，多个频带与在每个所述频带中振幅成为峰值的峰值时间相关联，
所述频率信息获取部获取包含所述滤波器的频率特性成为峰值的频率的所述频带作为频率信息，
时间信息获取部获取作为所述频率信息而获取的频带的所述峰值时间作为所述时间信息。
4.一种对再现信号进行滤波处理的处理方法，包括以下步骤：
基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息，所述频率信息与成为所述滤波器的频率特性的峰值的峰值频率对应；
基于所述频率信息来获取再现信号中的时间信息；
基于所述时间信息来提取所述再现信号的与至少一部分时间对应的时间信号；
使用所述滤波器对所述时间信号进行滤波器处理；以及
基于未进行所述滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取针对所述再现信号的音量的增益。
5.一种再现方法，其中，
使用滤波器对再现信号进行头外定位处理，
以与权利要求4所述的处理方法求出的增益对应的音量，再现经头外定位处理后的再现信号。
6.一种计算机可读的存储介质，存储有用于对再现信号进行滤波处理的程序，所述程序用于使计算机执行处理方法，所述处理方法包括以下步骤：
基于在对再现信号的滤波器处理中使用的滤波器的频率特性来获取频率信息，所述频率信息与成为所述滤波器的频率特性的峰值的峰值频率对应；
基于所述频率信息来获取再现信号中的时间信息；
基于所述时间信息来提取所述再现信号的与至少一部分时间对应的时间信号；
使用所述滤波器对所述时间信号进行滤波器处理；以及
基于未进行所述滤波器处理的时间信号和进行了滤波器处理的处理后的时间信号来获取针对所述再现信号的音量的增益。
CN201980058765.1A 2018-09-21 2019-09-13 处理装置、处理方法、再现方法以及存储介质 Active CN112673648B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-176868 2018-09-21
JP2018176868A JP7031543B2 (ja) 2018-09-21 2018-09-21 処理装置、処理方法、再生方法、及びプログラム
PCT/JP2019/036070 WO2020059652A1 (ja) 2018-09-21 2019-09-13 処理装置、処理方法、再生方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN112673648A CN112673648A (zh) 2021-04-16
CN112673648B true CN112673648B (zh) 2022-05-03

Family

ID=69887364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980058765.1A Active CN112673648B (zh) 2018-09-21 2019-09-13 处理装置、处理方法、再现方法以及存储介质

Country Status (5)

Country Link
US (1) US11228837B2 (zh)
EP (1) EP3855765B1 (zh)
JP (1) JP7031543B2 (zh)
CN (1) CN112673648B (zh)
WO (1) WO2020059652A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534600A (zh) * 2003-01-29 2004-10-06 索尼株式会社 再现信号波形处理装置
JP2005027163A (ja) * 2003-07-04 2005-01-27 Pioneer Electronic Corp 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
CN101326855A (zh) * 2005-12-05 2008-12-17 学校法人千叶工业大学 音响信号处理装置、音响信号处理方法、音响再现系统、音响信号处理装置的设计方法
CN103503071A (zh) * 2011-04-27 2014-01-08 三菱电机株式会社 信号处理装置、信号处理方法及光盘装置
CN105900455A (zh) * 2013-10-22 2016-08-24 延世大学工业学术合作社 用于处理音频信号的方法和设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345075A (ja) * 2001-05-14 2002-11-29 Pioneer Electronic Corp 信号処理装置
US7551745B2 (en) * 2003-04-24 2009-06-23 Dolby Laboratories Licensing Corporation Volume and compression control in movie theaters
BRPI0518278B1 (pt) * 2004-10-26 2018-04-24 Dolby Laboratories Licensing Corporation Método e aparelho para controlar uma característica de sonoridade particular de um sinal de áudio
KR101200615B1 (ko) * 2006-04-27 2012-11-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 청각 이벤트 검출에 기반한 비-라우드니스를 이용한 자동 이득 제어
KR101356206B1 (ko) * 2007-02-01 2014-01-28 삼성전자주식회사 자동 오디오 볼륨 기능을 갖는 오디오 재생 방법 및 장치
WO2010005033A1 (ja) * 2008-07-11 2010-01-14 クラリオン株式会社 音響処理装置
JP5702666B2 (ja) 2011-05-16 2015-04-15 富士通テン株式会社 音響装置および音量補正方法
WO2013125257A1 (ja) * 2012-02-20 2013-08-29 株式会社Ｊｖｃケンウッド 雑音信号抑制装置、雑音信号抑制方法、特殊信号検出装置、特殊信号検出方法、報知音検出装置、および、報知音検出方法
EP3111557B1 (en) * 2014-02-27 2019-10-09 Sony Corporation Gain optimized equalizer
US9590580B1 (en) * 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
JP6701824B2 (ja) * 2016-03-10 2020-05-27 株式会社Ｊｖｃケンウッド 測定装置、フィルタ生成装置、測定方法、及びフィルタ生成方法
JP6688141B2 (ja) * 2016-04-19 2020-04-28 クラリオン株式会社 音響処理装置および音響処理方法
JP6609865B2 (ja) 2017-04-06 2019-11-27 三菱造船株式会社 浮体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534600A (zh) * 2003-01-29 2004-10-06 索尼株式会社 再现信号波形处理装置
JP2005027163A (ja) * 2003-07-04 2005-01-27 Pioneer Electronic Corp 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
CN101326855A (zh) * 2005-12-05 2008-12-17 学校法人千叶工业大学 音响信号处理装置、音响信号处理方法、音响再现系统、音响信号处理装置的设计方法
CN103503071A (zh) * 2011-04-27 2014-01-08 三菱电机株式会社 信号处理装置、信号处理方法及光盘装置
CN105900455A (zh) * 2013-10-22 2016-08-24 延世大学工业学术合作社 用于处理音频信号的方法和设备

Also Published As

Publication number Publication date
JP2020048147A (ja) 2020-03-26
US20210195327A1 (en) 2021-06-24
CN112673648A (zh) 2021-04-16
EP3855765A4 (en) 2021-11-24
EP3855765A1 (en) 2021-07-28
WO2020059652A1 (ja) 2020-03-26
JP7031543B2 (ja) 2022-03-08
EP3855765B1 (en) 2024-02-28
US11228837B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
US11115743B2 (en) Signal processing device, signal processing method, and program
CN110612727B (zh) 头外定位滤波器决定系统、头外定位滤波器决定装置、头外定位决定方法以及记录介质
US10555108B2 (en) Filter generation device, method for generating filter, and program
US10264387B2 (en) Out-of-head localization processing apparatus and out-of-head localization processing method
CN110313188B (zh) 头外定位处理装置、头外定位处理方法以及存储介质
CN112673648B (zh) 处理装置、处理方法、再现方法以及存储介质
CN110268722B (zh) 滤波器生成装置以及滤波器生成方法
US11044571B2 (en) Processing device, processing method, and program
JP2012213114A (ja) 音響信号処理装置及び音響信号処理方法
US20230040821A1 (en) Processing device and processing method
US20230045207A1 (en) Processing device and processing method
CN113412630B (zh) 处理装置、处理方法、再现方法和程序
JP2023024038A (ja) 処理装置、及び処理方法
JP2023047706A (ja) フィルタ生成装置、及びフィルタ生成方法
JP2023047707A (ja) フィルタ生成装置、及びフィルタ生成方法
JP2023024040A (ja) 処理装置、及び処理方法
JP6295988B2 (ja) 音場再生装置、音場再生方法、音場再生プログラム
CN116778949A (zh) 个性化响度补偿方法、装置、计算机设备和存储介质
JP2024036908A (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
CN113965859A (zh) 头外定位滤波器确定系统、方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant