CN101136136A - 电子设备及其使用的声音信号处理方法 - Google Patents
电子设备及其使用的声音信号处理方法 Download PDFInfo
- Publication number
- CN101136136A CN101136136A CNA2007101424792A CN200710142479A CN101136136A CN 101136136 A CN101136136 A CN 101136136A CN A2007101424792 A CNA2007101424792 A CN A2007101424792A CN 200710142479 A CN200710142479 A CN 200710142479A CN 101136136 A CN101136136 A CN 101136136A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- signal
- waveform
- sound
- clapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
正确检测出来自电子设备主体的声音、及被周围杂音淹没的用于电子设备控制的拍手声。其中,电子设备具有:扬声器(122),输出基于电子设备产生的第1声音信号的第1声波;麦克(101),拾音第2声波,并输出第2声音信号,上述第2声波是将为了控制电子设备而产生的声波重叠到第1声波上而成。此外,第1波形生成器(125、126)根据第1声音信号生成第1波形信号,第二波形生成器(105、106)根据第2声波信号生成第2波形信号,波形整形器(128)输出将第1波形信号在时间轴方向扩大的第3波形信号,减法器(130)从第2波形信号减去第3波形信号。
Description
技术领域
本发明涉及到一种电子设备及其使用的声音信号处理方法,特别涉及到一种对从电子设备主体输出的声音信号和从电子设备外部输入的声音信号进行处理的电子设备及其使用的声音信号处理方法。
背景技术
当前使用的电视图像接收机、音频设备、空调等电子设备一般通过接触主体的操作按钮、或使用遥控器进行控制。在前一情况下,必须靠近到控制对象的电子设备的主体,当电子设备距离操作者较远时控制非常麻烦。这一问题通过使用后者的摇控器来解决。
但是,虽然只要一次将遥控器置于手中之后即可无需移动地进行控制,但当遥控器不在操作者附近时,必须去寻找遥控器所在地点。这一点在不想继续进行控制、而只想进行某个简单的控制时,例如只想暂时接通电源等情况下,会使操作者感到繁杂。并且还存在较多的想使用遥控器但找不到的情况。
专利文献1(日本专利特开平03-54989号公报)、专利文献2(日本专利特开平03-184497号公报)中记载了以拍手声代替遥控器以控制电子设备的方法。
专利文献1:日本专利特开平03-54989号公报
专利文献2:日本专利特开平03-184497号公报
通过拍手声控制电子设备时存在以下问题:拍手声被电子设备主体发出的声音、及电子设备周围产生的声音淹没,无法按照预想进行控制。并且还存在将由电子设备主体输出的声音作为拍手声检测出来,引起误动作的问题。
而通过拍手声控制电子设备(例如电视图像接收机(以下称为电视)时,如图17(A)所示,当电视1201的电源为断开状态时,可正常进行控制。而如该图17(B)所示,当电视1201的电源为接通状态时,不仅拍手声被拾音,同时正收视的节目、内容的声音(以下称为主体声)从扬声器1202中输出,也由麦克101拾音,因此拍手声淹没到主体声中,可能会妨碍控制。
并且,主体声也可能引起误动作。例如在收视的节目中有拍手时,如果是一定程度以上的音量,则会作为拍手声被检测出来,该拍手如持续预定次数,可能会引起误动作。
为了解决这一问题,在电子设备电源接通时可禁止用拍手声进行控制,但这种情况下可用拍手声进行的操作只限定于电源断开时的控制,例如限于电源从断开到接通,所利用的范围过于狭窄,会制约功能的发挥。
发明内容
本发明鉴于以上问题而产生,其目的在于提供一种电子设备、及电子设备的声音信号处理方法,在通过拍手声等对电子设备进行控制时,可检测出被来自电子设备主体的声音及周围杂音淹没的拍手声,其误动作少。
为了解决上述课题,本发明提供(a)-(f)。
(a)一种电子设备,其特征在于具有:扬声器(122),对由电子设备产生的第1声音信号进行电-声转换并输出;拾音器(101),对第2声波进行拾音并进行声-电转换,输出第2声音信号,所述第2声波是将为了控制上述电子设备而产生的声波重叠到第1声波上而成,该第1声波是由上述扬声器产生的、基于上述第1声音信号的声波;第1波形生成器(125、126),对上述第1声音信号进行预定的信号处理,生成第1波形信号;第2波形生成器(105、106),对由上述拾音器输出的第2声音信号进行预定的信号处理,生成第2波形信号;波形整形器(128),将上述第1波形信号在时间轴方向上扩大,并作为第3波形信号输出;以及减法器(130),从上述第2波形信号减去上述第3波形信号。
(b)根据(a)所述的电子设备,其特征在于,上述第1波形生成器具有:第1偏移成分去除部(105),生成从上述第1声音信号去除了偏移成分的声音信号;和第1绝对值化电路(106),将从上述第1偏移成分去除部输出的声音信号绝对值化,并输出上述第1波形信号,上述第2波形生成器具有:第2偏移成分去除部(125),生成从上述第2声音信号去除了偏移成分的声音信号;和第2绝对值化电路(126),将从上述第2偏移成分去除部输出的声音信号绝对值化,并输出上述第2波形信号。
(c)根据(a)或(b)所述的电子设备,其特征在于,上述波形整形器具有:多个保持器(1521~152N),以预定的时间保持上述第1波形信号;提取器(153),提取从上述多个保持器输出的多个上述第1波形信号的各最大值,以时间序列合成所提取的上述多个最大值,并生成上述第3波形信号。
(d)一种声音信号处理方法,其特征在于包括以下步骤:电-声转换步骤,对由电子设备产生的第1声音信号进行电-声转换,并作为第1声音信号输出;拾音步骤,对第2声波进行拾音,该第2声波是将为了控制上述电子设备而产生的声波重叠到基于上述第1声音信号的第1声波上而成;声-电转换步骤,对上述第2声波进行声-电转换,并输出第2声音信号;第1波形生成步骤,对上述第1声音信号进行预定的信号处理,生成第1波形信号;第2波形生成步骤,对上述第2声音信号进行预定的信号处理,生成第2波形信号;波形整形步骤,将上述第1波形信号在时间轴方向上扩大,并作为第3波形信号输出;以及减法步骤,从上述第2波形信号减去上述第3波形信号。
(e)根据(d)所述的声音信号处理方法,其特征在于,上述第1波形生成步骤包括:第1偏移成分去除步骤,生成从上述第1声音信号去除了偏移成分的声音信号;和第1绝对值化步骤,将从上述第1偏移成分去除步骤中输出的声音信号绝对值化,并输出上述第1波形信号,上述第2波形生成步骤包括:第2偏移成分去除步骤,生成从上述第2声音信号去除了偏移成分的声音信号;和第2绝对值化步骤,将从上述第2偏移成分去除步骤中输出的声音信号绝对值化,并输出上述第2波形信号。
(f)根据(d)或(e)所述的声音信号处理方法,其特征在于,还包括以下步骤:保持步骤,分别以预定的时间保持多个上述第1波形信号;提取步骤,提取上述多个第1波形信号的各最大值,以时间序列合成所提取的上述多个最大值,并生成上述第3波形信号。
根据本发明,通过去除由电子设备主体产生的声音、及周围的杂音等,可从输入的声音信号中检测出拍手声。
附图说明
图1是本发明的第一实施方式的电子设备的框图。
图2是表示从主体扬声器122输出的声音和输入到麦克101的声音的、由放大器放大前后的波形信号的图。
图3是表示图1中的主体声去除电路107及边沿信号提取器108的构成及处理内容的一个例子的图。
图4是表示图1中的波形整形滤波器128的构成和处理内容的一个例子的图。
图5是表示图1中的边沿脉冲发生器109的处理内容的图。
图6是说明本发明的第一实施方式的控制方法的时序图。
图7是表示本发明的第一实施方式的控制方法可应对各种拍手节拍的图。
图8是表示在本发明的第一实施方式的控制方法中判定为失败的例子的图。
图9是表示本发明的第二实施方式的边沿信号提取器108’的处理内容的图。
图10是本发明的第三实施方式的电子设备的框图。
图11是说明图10中的噪声状态检测部171的动作的图。
图12是表示图10中的判定处理部172对拍手三次确定识别时的评价的图。
图13是说明本发明的第四实施方式的控制方法的时序图。
图14是说明用本发明的第四实施方式的电子设备进行的判定条件的图。
图15是说明利用本发明控制电视的电源接通/断开的实施例的图。
图16是说明利用本发明进行电视的不同控制的图。
图17是说明用拍手控制电视时的问题的图。
具体实施方式
(第一实施方式)
图1是表示本发明的电子设备的第一实施方式的框图。第一实施方式的电子设备例如是电视,通过由操作者产生的彼此设定有预定时间间隔的一系列声波(例如拍手声)来控制。
在图1中,电子设备具有:对操作者的拍手声进行拾音的麦克风(以下简称麦克)101;对来自麦克101的模拟声音信号进行放大的放大器102;将从放大器102输出的模拟声音信号转换为数字信号的A/D转换器103;中央处理装置(CPU)104,将从A/D转换器103输出的数字声音信号通过软件处理进行信号处理并检测出拍手声后,进行本实施方式特有的预定的判定处理,生成控制信号并输出。
进一步包括:主体放大器121,对来自电子设备内的公知的声音检波电路的声音信号(电视解码声)进行放大;主体扬声器122;放大器123,对来自主体放大器121的声音信号进行放大;和A/D转换器124,将由放大器123输出的模拟声音信号转换为数字声音信号。
麦克101是对电子设备外产生的声波进行拾音的拾音器。麦克101将拾音的声波进行声-电转换,并输出模拟声音信号。模拟声音信号在由放大器102放大为对后级的A/D转换器103的A/D转换的动态范围最佳的振幅电平后,提供到A/D转换器103。A/D转换器103将模拟声音信号转换为数字声音信号,并提供到CPU 104。
主体放大器121对由电子设备产生的电视解码(television decode)声进行放大,提供到主体扬声器122及放大器123。主体扬声器122将提供的声音信号进行电-声转换并输出到电子设备的外部。放大器123对提供的声音信号进行放大,提供到A/D转换器124。A/D转换器124将模拟声音信号转换为数字声音信号,提供到CPU 104。
CPU 104根据提供的数字声音信号生成并输出控制电子设备的控制信号。CPU 104具有:对基于由麦克101拾音的声波的声音信号进行处理的偏移成分去除部105和绝对值化电路106;对由电子设备产生的声音信号进行处理的偏移成分去除部125和绝对值化电路126。进一步具有对从绝对值化电路106、126输出的声音信号进行处理的主体声音去除电路107、边沿信号提取器108、边沿脉冲生成器109、及判定处理部112。
偏移成分去除部105生成从由A/D转换器103提供的数字声音信号中去除了偏移成分的声音信号。对偏移成分稍后论述。绝对值化电路106将由偏移成分去除部105输出的声音信号绝对值化。偏移成分去除部105及绝对值化电路106,是对由麦克101输出的声音信号进行信号处理、并生成波形信号的波形生成器。
偏移成分去除部125生成从由A/D转换器124提供的数字声音信号中去除了偏移成分的声音信号。绝对值化电路126将由偏移成分去除部125输出的声音信号绝对值化。偏移成分去除部125及绝对值化电路126,是对由电子设备主体产生的声音信号进行信号处理、并生成波形信号的波形生成器。
偏移成分去除部105、125分别是相同的构成。例如,对输入的数字声音信号生成由低频滤波器(LPF)衰减了高频成分的声音信号,在减法器中从输入的数字声音信号减去衰减了高频成分的声音信号,从而去除数字声音信号具有的偏移成分。LPF通过增大时间常数使追踪变慢,通过求得输入的数字声音信号的大致平均值,可使无信号时的电平稳定。无信号时的电平是后一级绝对值化时作为基准电平的零电平。
主体声去除电路107,根据由绝对值化电路106及绝对值化电路126提供的声音信号,生成去除了由电子设备主体产生的声音信号后的声音信号。主体声去除电路107如下所述,具有波形整形滤波器128、延迟器129、减法器130、及核化处理部131。
边沿信号提取器108,根据由主体声去除电路107输出的声音信号生成边沿信号,边沿脉冲生成器109根据边沿信号生成边沿脉冲。此外,边沿信号提取器108基于以下理由为双输入。
判定处理部112具有计数器110及判定处理部111。判定处理电路111,根据边沿脉冲及来自计数器110的计数值生成各种标志(flag),并输出控制信号。
并且在本实施方式中,从A/D转换器103、124输出的数字声音信号的处理通过CPU 104的软件进行,但其一部分或全部也可由硬件构成。由硬件构成时,在电子设备待机时也易于进行所需控制。
以下对于图1所示的第一实施方式按照处理顺序详细说明。图2是表示由麦克101拾音的声波的波形信号和由放大器102放大的声音信号的波形信号、及根据由电子设备产生的声音信号(电视解码声)从主体扬声器122发出的声波的波形信号及由放大器123放大的声音信号的波形信号的图。
实际的波形信号如图2的各波形信号201~204所示,由各种频率成分/振幅构成,但为了简化图示,以下以波形信号的包络线表示。但处理对实际的波形信号来进行。
在图2中,电视解码声通过主体放大器121放大为适于从主体扬声器122输出的电平,并由主体扬声器122进行电-声转换,作为波形信号202输出。并且,由主体放大器121放大的声音信号进一步由放大器123放大,作为波形信号201提供到A/D转换器124。波形信号201的电视解码声在主体声去除电路107中如下所述使用。
波形信号203,向基于由主体扬声器122发出的声音信号(波形信号202)的声波,重叠了为了控制电子设备而产生的拍手声的声波。通过放大器102对基于波形信号203的声波的声音信号进行放大后,成为波形信号204。
其中,波形信号202和波形信号203的振幅水平大幅不同的情况较多。因此,通过放大器102及放大器123分别将波形信号203及波形信号202调整为适于进行之后的处理的电平。此外,增益也可能是1以下。
这里的适当的电平是指,输入到A/D转换器103的波形信号204中基于主体声成分的波形信号的平均振幅、和输入到A/D转换器124的波形信号201的平均振幅为同一程度。
在本实施方式中,放大器123的增益是固定的,以使波形信号为适当的电平,但也可通过波形信号203和波形信号202的振幅值的差分来动态地改变增益,以进行调整。
此外,也可将由主体放大器121放大前的声音信号提供到A/D转换器124,但其条件是由主体扬声器122输出的波形信号的振幅和由主体放大器121放大前的波形信号的振幅为正比关系,即是音量控制后的声音信号。这种情况下如上所述,也需要进行放大,以变为适当的电平。
由放大器102放大为适当电平的波形信号204、及由放大器123放大为适当电平的波形信号201分别通过A/D转换器103、124从模拟值转换为数字值。转换为数字值的波形信号204通过偏移成分去除部105及绝对值化电路106进行处理,成为下述波形信号301。同样,波形信号201通过偏移去除部125及绝对值化电路126被处理,成为下述波形信号302。
接着,参照图3对图1所示的主体声去除电路107及边沿信号提取器108进行说明。并且之后的处理全部按照各A/D转换周围TAD进行。
在图3中,主体声去除电路107如上所述具有:延迟器129,接收由绝对值化电路106提供的波形信号301;波形整形滤波器128,接收由绝对值化电路126提供的波形信号302;减法器130;和核化处理部131。如上所述,波形信号301是基于麦克101拾音的声波的信号,波形信号302是基于电子设备产生的声波的信号。
在此,希望通过在主体声去除电路107中从波形信号301减去波形信号302,从而在由麦克101拾音的声音信号中去除作为由电子设备产生的声音信号的主体声成分。但是,仅从波形信号301中减去波形信号302,难以充分去除波形信号301中含有的主体声成分。这是因为,虽然波形信号301中含有的主体声成分及波形信号302本来是相同的信号,但因从主体扬声器122到麦克101的路径的传送特性,频率成分、振幅不同。
为了使波形信号301中含有的主体声成分和波形信号302一致,需要求得上述传送特性,但传送特性取决于主体扬声器122和麦克101的位置关系、周围环境。并且,为了动态求得传送特性,需要大规模的电路和处理量,实际应用困难。
因此,在本实施方式中,为了从波形信号301中充分去除主体声成分,通过波形整形滤波器(波形整形器)128对波形信号302进行整形。波形整形滤波器128使波形信号302如下所述在时间轴方向上扩大,作为波形信号304输出。进一步,通过简单的电路实现波形整形滤波器128。
图4表示图1及图3中的波形整形滤波器128的构成和处理内容的一个例子。波形整形滤波器128具有:对输入信号的低频成分进行频率选择的低频滤波器(LPF)150;对LPF 150的输出信号进行下述预定处理的宽幅处理部151;对由宽幅处理部151输出的信号乘以预定的相乘系数k1的乘法器154。
在图4中,宽幅处理部151包括:级联连接的各延迟时间TAD的N个延迟器1521~152N;和从来自延迟器1521~152N的各输出信号及来自LPF 150的输出信号中提取最大值的最大值提取器153。宽幅处理部151构成将输入信号的峰值保持N·TAD的时间的峰值保持电路。
说明向上述波形整形滤波器128输入了图4所示的波形信号401的情况。首先,通过LPF 150对输入到波形整形滤波器128的波形信号401进行处理。LPF 150频率选择输入信号的低频频率成分,因此在形成波形信号401的成分中,频率较高的成分被去除,仅剩余频率低的成分。因此,从LPF 150输出迟于波形信号401的包络线而追踪的波形信号402这样的信号。
接着,通过宽幅处理部151进行使波形信号402向时间轴方向扩大的处理。在本实施方式中,使输入到宽幅处理部151的波形信号402通过N个延迟器1521~152N依次延迟时间TAD,从波形信号402及使波形信号402延迟的N个波形信号403中,通过最大值提取器153提取最大值。延迟器1521~152N是将各输入的信号保持延迟时间TAD的保持器。最大值提取器153按照时序序列合成提取的最大值,生成波形信号404并输出。输出波形信号404和输入波形信号402相比在时间轴方向上宽幅。
最后,波形信号404通过乘法器154变为k1倍,作为波形整形滤波器128的输出波形信号输出。乘法器154的输出波形信号相当于图3的输出波形信号304。
再次利用图3进行说明。使波形信号302通过波形整形滤波器128而产生的延迟的量,通过延迟器129对波形信号301施加适当的延迟,成为波形信号303。波形信号301和波形信号303相同。减法器130从波形信号303中减去从波形整形滤波器128输出的波形信号304。这样一来,减法器130可输出从基于麦克101拾音的声波的波形信号303中去除了主体声成分的波形信号。
通过图4的宽幅处理部151使波形信号302的振幅大的部分在时间轴方向扩大,从而可充分去除波形信号301中含有的除拍手声外的振幅较大的脉冲性成分。乘法器154的常数值k1是使波形信号304的振幅大于波形信号303的主体声成分的振幅的值,以使主体声成分基本被去除。而当波形信号304的振幅过大时,波形信号303的拍手声成分也不残留,无法检测出拍手声,因此需要选择可满足这些条件的适当的值。
从减法器130输出的波形信号,通过核化处理部131进行使比某一阈值小的值为“0”的核化处理。这样一来,可去除剩余的较小的噪声,生成波形信号305这样的仅残留拍手声成分的波形。
接着,通过边沿信号提取器108进行从波形信号305仅提取边沿信号的处理。边沿信号提取器108中包括第一输入和第二输入二个输入,在本实施方式中,从主体声去除电路107输出的波形信号305变为第一输入、第二输入。
边沿信号提取器108包括LPF 141、乘法器142、减法器143、核化处理部144。第一输入是对减法器143的输入,第二输入是对LPF 141的输入。LPF 141生成使波形信号305的高频成分衰减的波形信号306。LPF 141的目的在于获得适当的延迟和波形。乘法器142向波形信号306乘以常数值k2,生成波形信号307。减法器143从波形信号305减去波形信号307。
减法器143进行减法的结果是,波形信号305的频率高的上升部分原样保留,而波形信号307可充分追踪波形信号305中含有的说话声、周围的噪声等频率较低的声音,因此其以外的部分下降为负。
核化处理部144对从减法器143输出的波形信号进行使与小于某一阈值的输入值对应的输出值为“0”的核化处理,生成波形信号308这样的具有陡峭的边沿的波形信号。核化处理部144的阈值并不设定为“0”,而是设定为适当的正值,从而可去除残留的较小的噪声。
边沿脉冲生成器109,根据从边沿信号提取器108输出的波形信号308(边沿信号),生成边沿脉冲。其中,可仅使边沿信号电平限幅而生成边沿脉冲。但是为了进一步提高对噪声的耐性及对边沿信号的灵敏度,在本实施方式中使用图5所示的方法。
图5所示的波形信号451是放大了图3的波形信号308的信号,圆圈表示各采样数据。边沿脉冲生成器109具有由保持采样数据的N个存储器(rm0~rmN-1)构成的环形存储器452。
设当前时刻为t=0,则存储器rm1中保存波形信号451中的t=-N·Δt的采样数据,存储器rm2中保存波形信号t=(-N+1)·Δt的值。同样地,波形信号451中的t=(-N+2)·Δt、...、t=0的各采样数据依次保存到存储器rm3、...、rm0中。环形存储器452中保存自当前时刻t=0的过去N次的采样数据。此外,Δt是A/D转换器103、124中的A/D转换的周期。
接着在t=Δt的时刻下,波形信号451中的t=Δt的采样数据被存储器rm1重写更新。即,在当前时刻t=Δt中,在存储最早的时刻的采样数据(在此t=-N·Δt)的存储器中存储当前时刻的采样数据。从存储器rm2到rm0为止,保存和t=0时存储的值相同的值。同样地,按照各Δt,存储器依次逐个更新,可参照从当前时刻开始到过去N次的值。
边沿脉冲生成器109在这种环形存储器452中存储的N个采样数据内,在从存储时刻较早(较旧)的开始依次加权平均了x个(x小于N)的sum0、及从包括当前的值在内的存储时刻较晚(较新)的开始依次加权平均了x个的sum1满足sum1-sum0>yth时,视为已经输入了边沿信号,输出图3的波形信号309这样的具有预定的脉冲宽度的边沿脉冲。在本实施方式中,将系数设为1/4求得加权平均值。并且,设定x,使得按照从早到晚记录了x个采样数据的时刻、及包含当前时刻的值在内的按照从晚到早的顺序记录了x个采样数据的时刻,具有时间间隙。即,是x+x<N的关系的值。
在本实施方式中,如上所述设置间隙,但也可设定x,使按照从早到晚记录x个采样数据的时刻、及包含当前时刻的值在内的按照从晚到早的顺序记录x个采样数据的时刻邻接。此时,是x+x=N的关系。
其中,通过核化处理部144进行核化处理并获得的波形信号308并不是仅具有一个大的边沿,而是如图5所示的波形信号451那样,实际上呈波形弯曲。因此,边沿脉冲生成器109,通过输出具有预定脉冲宽度的边沿脉冲而设置非感应带,避免对一次拍手检测出多次。
上述yth是边沿检测的阈值,其越小越易于检测出较小的拍手声,但因周围的杂声等误检测也较多。另一方面,yth越大误检测越少,但拍手声也难于检测到。因此,设定可切实检测出拍手声、且使误检测尽量少的yth。
如本实施方式所示,边沿脉冲生成器109,不是波形的一个振幅值,而是根据加权平均了x个值的sum0、sum1求得差分,因此即使波形钝化,边沿信号的差分值也变大,故而优选。并且,对响声、噪声的耐性较强,可进行良好的边沿检测处理。
接着详细说明图1所示的判定处理部112。判定处理部112如上所述,根据由边沿脉冲生成器109输出的边沿脉冲及来自计数器110的计数值,进行本实施方式特有的判定处理。
图6是表示判定处理部112的控制方法(判定处理算法)的时序图。图6表示为了控制电子设备而产生的声波(拍手声)的次数为3次时的情况。以下说明其概要。
在图6中,为了控制电子设备而产生的拍手声、和拍手声类似的噪声为未发生状态的期间设为ts时,判定处理电路111生成图6(C)所示的寂静标志Fs。寂静标志Fs生成后,麦克101对由用户发出的作为第1声波的拍手声进行拾音。该第1声波是用户为了控制电子设备而要产生的、彼此设定了预定的时间间隔的一系列的声波的最初的声波。边沿脉冲生成器109生成和图6(A)所示的第1声波对应的第1边沿脉冲501。判定处理电路111生成图6(B)所示的具有时间宽度t2的第二次拍手声用的门(gate)504,用于检测从边沿脉冲生成器109生成第1边沿脉冲501的第一时刻开始经过了第1预定时间t1后,是否产生了作为一系列声波的第二次声波的第2声波。
接着,用户在门504内产生一系列声波的第2声波。边沿脉冲生成器109,生成和图6(A)所示的第2声波对应的第2边沿脉冲502。判定处理电路111生成图6(B)所示的具有时间宽度t3的第三次拍手声用的门505,用于检测从边沿脉冲生成器109生成第2边沿脉冲502的第二时刻开始经过了第2预定时间tIN-(t3/2)后,是否产生了作为一系列声波的第三次声波的第3声波。
接着,用户在门505内产生一系列声波的第3声波。边沿脉冲生成器109生成和图6(A)所示的第3声波对应的第3边沿脉冲503。判定处理电路111从边沿脉冲生成器109生成第3边沿脉冲503的第3时刻开始、在经过了第3预定时间tIN+(t3/2)后,生成表示对麦克101的声波输入停止的无声标志FN。并且,判定处理电路111通过生成无声标志FN确定对麦克101的声波输入停止。
接着依次说明判定处理部112的判定动作。在本实施方式中,图6中的寂静标志FS、标志F1~F3、无声标志FN全部设定的构成示例为优选的控制方法。
首先,判定处理部112的判定处理电路111,判定图6(C)所示的寂静标志FS是否被设定(步骤S1)。从寂静标志FS未被设定、且图5(A)所示的边沿脉冲FP是“0”的状态,计数器110开始计数。计数值从计数开始时刻(t=0)开始如图6(I)所示一样增加,判定处理电路111,判定在计数值达到规定值ts为止的一定期间ts内,如图6(A)所示边沿脉冲FP未被设定的状态是否持续(逻辑0的状态)。
当边沿脉冲Fp未被设定的状态持续一定期间ts时,判定处理电路111认定为寂静,如图6(C)所示设定寂静标志Fs(为逻辑1)。这样一来,计数器110的时刻t重置为“0”,开始一系列判定动作。
在未经过一定期间ts、未设定寂静标志Fs的期间,边沿脉冲FP被设定时,计数器110将时刻t重置为“0”,再度开始计数。此外,为了防止溢出,如图6(I)所示,在计数器110中预先设置极限值。
当设定了寂静标志Fs时,计数器110的时刻t从“0”开始增加。此时,在寂静标志Fs为“1”、且下述第一次拍手声的标志F1为初始值“0”的状态下,变为基于第一次拍手声的边沿脉冲FP的输入等待状态。
当基于第一次拍手声的边沿脉冲FP如图6(A)的501所示被输入时,判定边沿脉冲FP为“1”,判定处理电路111如图6(D)所示一样设定第一次拍手声的标志F1(逻辑“1”),判定为第1次拍手。计数器110将时刻t再次设定为“0”,在边沿脉冲FP上升时,计数器110如图6(I)所示再次开始计数。
之后,寂静标志FS和标志F1为“1”、且下述第二次拍手声的标志F2为初始值“0”的状态下,变为基于第二次拍手声的边沿脉冲FP的输入等待状态。判定处理电路111在基于第二次拍手声的边沿脉冲FP如图6(A)中的502所示被输入、判定边沿脉冲FP为“1”时,判定边沿脉冲FP的上升时刻t是否是t≥t1、且t<t1+t2。
即,判定处理电路111判定基于第二次拍手声的边沿脉冲FP的上升时刻t是否处于图6(B)所示的具有时间宽度t2的第2次拍手声用的门504(门标志FG)内,如果在门504内,则如图6(E)所示,设定第2次拍手声的标志F2。同时,将从基于第一次拍手声的边沿脉冲FP的上升时刻开始、到基于第二次拍手声的边沿脉冲FP的上升时刻t为止的值(时间),作为第一次拍手声和第二次拍手声的间隔期间tIN存储,计数器110将时刻t重置为t=0,再度开始计数。
接着,在寂静标志FS和各次拍手声的标志F1和F2为“1”、且下述第三次拍手声的标志F3为初始值“0”的状态下,基于第三次拍手声的边沿脉冲FP如图6(A)503所示被输入时,判定处理电路111判定边沿脉冲FP为“1”。进一步判定基于第三次拍手声的边沿脉冲FP的上升时刻t是否是t≥tIN-(t3/2)、且t<tIN+(t3/2)。
即,判定处理电路111判定基于第三次拍手声的边沿脉冲FP的上升时刻t是否处于图6(B)所示的具有比时间宽度t2小的时间宽度t3的第3次拍手声用的门505(门标志FG)内,如果在门505内,则如图6(F)所示,设定第3次拍手声的标志F3。进一步,设定了第三次拍手声标志F3后,再度将计数器110重置为t=0,开始计数。此外,第三次拍手声用门505设定为:从基于第二次拍手声的边沿脉冲FP上升的时刻开始,经过从间隔期间tIN减去t3/2的时间后上升。
在该时刻下,寂静标志Fs、拍手声标志F1、F2、F3均为逻辑“1”,并且第四次拍手声的标志F4是初始值“0”的状态。在该状态下时刻t增大,直到变为t≥tIN+(t3/2)为止,边沿脉冲FP未被设置的状态持续时,如图6(G)所示,设定无声标志FN。
判定处理电路111设定无声标志FN,确定对麦克101的声波输入停止。
并且,寂静标志FS、各拍手声标志F1~F3、无声标志FN均被设定,满足本实施方式的构成示例,因此如图6(H)所示,判定标志FJ仅在一定期间tF输出。其中,用于控制的拍手声被正确输入时,完成一系列的判定动作。判定处理部112在经过一定期间tF后,将所有标志和计数值重置为“0”,计数器110再次开始计数,用于下一判定动作。
以上是本实施方式的判定处理部112的判定动作。
此外,判定处理部112,在基于第二次拍手声的边沿脉冲FP(502)未被输入的状态持续(t1+t2)的时间的情况下,判定为输入失败,重置寂静标志FS、间隔期间tIN、及第一次拍手声标志F1。
同样地,在基于第三次拍手声的边沿脉冲FP(503)未被输入的状态持续tIN+(t3/2)的时间的情况下,判定为输入失败,重置寂静标志FS、间隔期间tIN、及拍手声标志F1、F2。
并且,在设定第三次拍手声的标志F3后、经过tIN+(t3/2)时间前,输入了边沿脉冲FP时,比预先确定的拍手声的次数多,因此仍然判定为输入失败。
根据本实施方式,在生成用于检测是否产生第三次拍手声的门505时,反映从生成与第一次拍手声对应的第1边沿脉冲501的时刻开始、到生成与第二次拍手声对应的第2边沿脉冲502的时刻为止的间隔期间tIN。因此,第三次拍手声用的门505,在从生成第2边沿脉冲502的时刻开始经过了如下时间后生成:从间隔期间tIN减去了第三次拍手声用门505的时间宽度t3的1/2时间。
图6中虽未图示,但使产生拍手声的次数为4次以上时,也和上述第三次拍手声用的门505同样地,生成一个或多个用于检测第四次之后的第n(n为4以上的整数)拍手声的第m(m为3以上的整数,且小于n)门即可。分别生成第m门,以使第三次拍手声用门505和用于检测出是否产生第n拍手声的第m门中的相邻的门的间隔,为从间隔期间tIN减去第三次拍手声用门505的时间宽度t3的1/2时间后的时间。
这样一来,通过生成用于检测第三次之后的拍手声的门时反映间隔期间tIN,可进行调整,使生成第三次拍手声用门之后的相邻的拍手声用门(门标志FG)的间隔为等间隔。
并且在本实施方式中,通过较长地设定第二次拍手用门504的时间宽度t2,可对应于用户的各种拍手节拍。并且通过反映间隔期间tIN,可使第三次之后的拍手声用门的时间宽度t3小于时间宽度t2。通过间隔期间tIN可判定用户产生拍手声的间隔,即使是较小的时间宽度t3也可充分检测出拍手声。通过减小时间宽度t3,也可减少因无意中产生的拍手声、不定期产生的环境噪声等而产生的误运转。
判定处理部112,将基于由麦克101拾音的一系列声波的边沿脉冲FP的个数、及产生间隔作为判定条件。当需要进一步正确地进行判定时,将一系列声波发生前的声波的未发生状态(寂静标志FS)及一系列声波发生后的声波的未发生状态(无声标志FN)作为判定条件。
此外,也可是含有寂静标志FS或无声标志FN的任意一个的判定条件、或不含有任一标志的判定条件,这种情况下,判定处理部112的判定动作变得简单。
但是,将寂静标志FS及无声标志FN作为判定条件时,用户如果拍手预定次数,则进行预定次数+2次的判定,无需使用户增加拍手次数,判定处理部112的判定动作的误动作较少,较为优选。进一步,对于周围产生的声音等的耐性也比其他判定条件的情况高,较为优选。
人发出的拍手的节拍是各种各样的,例如以较缓慢节拍拍手的人如图7(A)的701~703所示,各边沿脉冲FP以较长的间隔输入。与之相伴,第三次拍手声用的门标志FG(705)如图7(B)所示被生成。并且例如以较快节拍拍手的人如图7(C)708~710所示,各边沿脉冲FP以较短间隔输入,第三次拍手声用的门标志FG(712)如图7(D)所示被生成。
图7(A)、(C)的任意一种情况下,均使从与第二次拍手声对应的第2边沿脉冲702、709产生的时刻开始到第三次拍手声用门705、712上升为止的期间,反映第一次和第二次拍手声的间隔期间TIN,因此根据本实施方式,也可应对拍手间隔的波动。
但如果允许任意的节拍,则会导致误运转,因此最好将第一次拍手到最后一次拍手的时间确定在一定程度。具体而言,如图7的三次拍手的情况下,可以设定t1和t2,以使第一次到第三次为止的拍手在3秒左右进行时判定为正常。
此外,本实施方式中示例了三次拍手进行控制的情况,但不限于此。如果增加次数,则判定条件变得严格,因此对误运转的耐性也提高。但是当次数过多时会使用户感到繁杂,并且失败的情况也较多,因此3~4次较适当。
并且,减少拍手次数时,例如为二次时,无法如三次以上时那样适用可反映间隔期间tIN的算法。这种情况下,对误运转的耐性降低,但如上所述,通过将拍手声产生前后的寂静状态加入到判定条件,可进行2+2次的判定,和仅根据二次拍手进行判定时相比,可获得较高的耐性。
图8表示在门标志FG的设定期间之外生成边沿脉冲FP、输入失败时的时序图。图8(A)中生成801所示的基于第一次拍手声的边沿脉冲FP,图8(B)中生成804所示的基于第二次拍手声的拍手声用的门标志FG,图8(A)中生成802所示的基于第二次拍手声的边沿脉冲FP。并且如图8(C)、(D)、(E)所示,寂静标志FS、标志F1、标志F2被设定。
目前为止和图6相同,但图8(A)中803所示的基于第三次拍手声的边沿脉冲FP,在图8(B)所示的第三拍手声用门805外生成。
这种情况下,视其为无意产生的声音、来自周围的噪声,输入失败,如图8(F)、(G)所示,标志F3、无声标志FN不被设定。因此判定动作结束,如图8(H)所示不输出判定标志FJ。不输出判定标志FJ而结束时,判定处理部109在这一时刻将所有标志和计数器重置为0,计数器110再次开始计数时刻t,以备下一判定动作的开始。
即,在本实施方式中,门期间之外只要输入一次边沿脉冲FP,则视作用于控制的拍手输入失败,因此可正确地进行拍手声的检测。
此外,当主体声不发生及主体电源断开时,图1及图3中所示的输入到主体音去除电路107的波形信号302基本为零或多少具有噪声成分。因此,本实施方式的电子设备与不具有主体声去除电路107的构成的电子设备一样动作。
通过以上处理,可减少电视、音响设备等的主体声产生的误动作。并且主体声从主体扬声器输出、由麦克输入的声音中含有主体声成分时,只要拍手声比主体声大一定程度,则可作为拍手声检测出来,可根据检测出的拍手声生成控制信号。
(第二实施方式)
接着说明本发明的第二实施方式。图9表示本发明的电子设备的第二实施方式的重要部件的框图。在该图中对和图3相同的构成部分标以相同的标号,并省略其说明。
在第一实施方式中,向LPF 141提供从核化处理部131输出的波形信号305,而在第二实施方式中,向边沿信号提取器108’的LPF 141提供从延迟器129输出的波形信号303。
从控制对象的电子设备输出主体声时,根据第一实施方式,主体声的影响基本消除,可不会产生误动作地进行拍手声的控制。但是,当主体扬声器122输出的声音非常大等情况下,在主体声去除电路107中很少充分去除主体声,在图1及图3的边沿信号提取器108内的处理中存在残留无法去除完的脉冲性的噪声。当噪声不被彻底去除时,可能会通过边沿脉冲生成器109将噪声误识别为拍手声。
因此,在第二实施方式中,如上所述,使提供到LPF 141的第二输入为从延迟器129输出的波形信号303,从而可避免这一情况。
在图9中,在对边沿信号提取器108’的二个输入中,第一输入与第一实施方式一样,使用主体声去除电路107的输出波形信号305。第二输入如上所述,不是主体声去除电路107的输出波形信号305,而使用波形信号303。波形信号303是基于由麦克101拾音的声音信号的信号,是含有基于由电子设备发出的主体声的声音信号的信号。
波形信号303通过LPF 141衰减了高频成分后,通过乘法器142乘以常数值k2,成为波形信号310。减法器143从第一输入的波形信号305中减去波形信号310,核化处理部144将该波形信号核化处理。
这样一来,在边沿信号提取器108’的处理中,不仅进行边沿信号提取处理,而且进行第二次主体声去除处理,因此较大振幅的脉冲性的噪声也被充分去除,对误动作的耐性可提高。而由于存在多消除应检测的拍手声成分的可能性,因此需要将图4所示的波形整形滤波器128内的乘法器154的系数值k1、及图9所示的边沿信号提取器108’内的乘法器142的系数值k2设定为适当的值。
(第三实施方式)
通过拍手声控制电子设备时,当周围除了拍手声外有很大噪声时,拍手声可能淹没到周围的声音中,而无法检测出来。并且,例如以较大音量听音乐等情况下,音乐中与拍手声相似的声音(振幅值、频带等)鸣响时,会识别为拍手声,而产生误动作。
将因拍手声以外的周围的声音使得由拍手进行控制变得困难的状态、此外将可能引起误动作的状态,称为噪声状态。
因此,在第三实施方式中实现以下功能:判断是否是噪声状态,当判断为噪声状态时,禁止通过拍手控制电子设备。
拍手声具有脉冲性波形,因此几乎在全部频带中具有信号成分。利用这一特征,将输入的声音用频带滤波器分割为多个频带,各自进行第一实施方式所示的拍手声检测处理,则可区别拍手声和其他声音、例如仅存在于某特定频带的声音。频带分割数越多,则区分精度越高。在此说明最简单的将频带一分为二的例子。
图10是表示作为本发明的电子设备的第三实施方式的框图。该图中对和图1相同的构成部件标以相同的标号,并省略其说明。在第一实施方式中,在偏移成分去除部105、125的后级分别设置绝对值化电路106、126,但在第三实施方式中,在偏移成分去除部105、125的后级分别设置频带分割处理部161、164及之后的电路块。
第三实施方式的电子设备如图10所示,在频带分割处理部161的后级具有高频成分绝对值化部162及低频成分绝对值化部163,在频带分割处理部164的后级具有高频成分绝对值化部165及低频成分绝对值化部166。进一步,在高频成分绝对值化部162、165的后级具有高频成分主体声去除部167及高频成分拍手声检测处理部169,在低频成分绝对值化处理部163、166的后级具有低频成分主体声去除部168及低频成分拍手声检测处理部170。并且还具有噪声状态检测部171及判定处理部172。判定处理部172是和第一实施方式的判定处理部112相同的构成。
从偏移成分去除部105、125分别输出的数字声音信号,由频带分割处理部161、164分割为二个频带,即高频成分和低频成分。频带分割处理部161、164分别为相同的构成,例如由低频滤波器(LPF)和减法器构成。
LPF取出通过偏移成分去除部105、125去除了偏移成分的信号的低频成分并输出。减法器将由LPF输出的低频成分从去除了由偏移成分去除部105、125输出的偏移成分的信号中减去。因此,减法器输出去除了偏移成分的信号中衰减了低频成分的、即赋予了高频滤波特性的高频成分。
作为频带分割处理部161、164内的LPF,考虑到在后级检测出基于拍手声的边沿上升,优选频率迁移区域在一定程度上较陡峭的特性。并且,LPF为了抑制耗电量并在采样周期内完结处理,优选尽量为抽头系数小的滤波方式,例如使用最大平坦半带FIR滤波器(MaximumFlat Half Band Finite Impulse Response Filter)。
从频带分割处理部161、164输出的高频成分分别提供到高频成分绝对值化部162、165并被绝对值化,并且从频带分割处理部161、164输出的低频成分分别提供到低频成分绝对值化部163、177并被绝对值化。由高频成分绝对值化部162、165绝对值化的二个高频成分提供到高频成分主体声去除部167,通过低频成分绝对值化部163、166绝对值化的二个低频成分提供到低频成分主体声去除部168。
高频成分主体声去除部167和低频成分主体声去除部168的构成是和图1所示的主体声去除电路107相同的构成。不同点在于输入的信号是高频成分或低频成分。高频成分主体声去除部167和低频成分主体声去除部168,通过和主体声去除电路107同样的处理去除输入信号(高频成分、低频成分)中含有的主体声成分。
高频成分拍手声检测处理部169,提供去除了来自高频成分主体声去除部167的主体声成分的高频成分(高频成分绝对值),检测其中的拍手声,并生成高频成分的边沿脉冲FPH。另一方面,低频成分拍手声检测处理部170,提供去除了来自低频成分主体声去除部168的主体声成分的低频成分(低频成分绝对值),检测其中的拍手声,并生成低频成分的边沿脉冲FPL。
高频成分拍手声检测处理部169及低频成分拍手声检测处理部170均是由图1所示的边沿信号提取器108及边沿脉冲生成器109构成的构成,其动作已经说明,因此省略。
图10的噪声状态检测部171,根据由高频成分主体声去除部167输出的高频成分绝对值及从低频成分主体声去除部168输出的低频成分绝对值的一个或二个,判断周围除了拍手声以外是否存在连续的较大的声音,并将判断结果输出到判定处理部172。判定处理部172和图1所示的判定处理部112基本一样,由计数器和判定处理电路构成。
在此,噪声状态检测部171进行以下说明的1~4中的任意一动作。
(1)对低频成分绝对值设定适当的阈值,仅通过低频成分检测出噪声状态。(2)对高频成分绝对值设定适当的阈值,仅通过高频成分检测出噪声状态。(3)对低频成分绝对值和高频成分绝对值分别设定适当的阈值,检测出各自的噪声状态,当检测到任意一个或二个为噪声状态时,判定为噪声状态(一个还是两个取决于判断的严格性)。(4)对低频成分和高频成分的噪声状态检测对象值(分别绝对值化后的值)进行相加或对乘以某个比率的值进行相加(例如:α×低频成分绝对值+β×高频成分绝对值),对该值设定适当的阈值,以判定噪声状态。
接着参照图11说明噪声状态检测部171的检测动作。图11(A)表示提供到噪声状态检测部171的噪声状态下的绝对值化后的波形信号1002的形态。输入的波形信号1002中的拍手声的成分1001淹没在噪声状态的成分中,通过第一实施方式的处理难于检测。
因此,在本实施方式中如图11所示,首先,对波形信号1002设定适当的阈值1003。并且,将波形信号1002的值减去阈值1003的值作为变量,累积变量成为变量sum。波形信号1002的值如果小于阈值1003,则成为负值的加法,即为从变量sum减去的减法。
图11(A)中记载为加法的范围中,输入比阈值1003大的值,因此将和阈值1003的差分与变量sum相加,在记载为减法的范围中,和阈值1003相比,输入的值较小,因此从变量sum中减去差分。此时的变量sum如图11(B)表示。
接着,对变量sum设定适当的阈值1004,当变量sum大于该阈值1004时,噪声状态检测部171将该状态视为噪声状态,将拍手控制禁止标志FF输出到判定处理部172。在此,如果波形信号1002的值持续超过阈值1003,则变量sum持续相加,因此为了防止溢出,对变量sum如图11(B)所示设定极限值1005。并且,变量sum的下限值为0。
图10的判定处理部172内的判定处理电路,在未输入拍手控制禁止标志FF时,进行和第一实施方式的判定处理电路111相同的判定动作。另一方面,当输入了拍手控制禁止标志FF时,停止判定动作等,通过禁止拍手控制来防止周围噪声引起的误运转。并且,当设定了拍手控制禁止标志FF时,为了使用户识别到处于无法接受拍手控制的状态,可在画面进行预定的显示,或由扬声器发出预定的声音。
在图11中,对波形信号1002的值进行电平限幅并判定时,拍手声的成分在上升时具有较大的振幅,因此会因拍手声自身,使得拍手控制禁止标志FF被设定。但如本实施方式所示,不对波形信号1002的值、而对其累积值的变量sum进行判定,从而可仅对连续的较大的周围的声音设定拍手控制禁止标志FF。
图12表示拍手三次控制电子设备时的评估示例。“○”表示各边沿脉冲在门期间内被检测出的情况,“×”表示未检测到边沿脉冲的情况。
在图12的示例中,未检测出基于第二次拍手的高频边沿脉冲FPH,但检测出基于全部拍手的低频边沿脉冲FPL。作为评价的方法,将第一次拍手作为全部的开始,重视避免误检测,将高频边沿脉冲FPH和低频边沿脉冲FPL两者的逻辑积作为第一次拍手的计算结果算出。
另一方面,第二次拍手及第三次拍手的计算结果通过取高频边沿脉冲FPH和低频边沿脉冲FPL逻辑和来计算。并且,作为第一评价,确认存在基于第一次到第三次拍手声的边沿脉冲的计算结果。第二评价来评价第二次和第三次拍手中的边沿脉冲FPH、FPL的检测次数的总和。若完全检测出边沿脉冲FPH、FPL,则检测次数为4次,在此为了提高识别率,只要检测次数为3次以上即可确定识别。之所以这样处理是为了提高对误识别的耐性。
例如,电子设备的警告音等被称为哔哔声(beep)的电子音等具有特定的频率成分。因而如同拍手一样,例如重复三次哔哔声时,检测出边沿脉冲,无法区别。假设在这种情况下,根据图12的评价方法,全部三次拍手中有一次如上所述具有逻辑积,因此需要同时确立高频边沿脉冲FPH和低频边沿脉冲FPL两者,可避免对哔哔声等电子音的误识别。这是因为,哔哔声等电子音具有特定的频率成分,高频边沿脉冲FPH和低频边沿脉冲FPL两者不可同时确立。
此外,评价方法不仅包括图12所示的方法,也可是以下较严格的评价:在所有次数的拍手中,使计算内容为高频边沿脉冲FPH和低频边沿脉冲FPL的逻辑积。
并且,也可将在所有次数的拍手中,使计算内容为高频边沿脉冲FPH和低频边沿脉冲FPL的逻辑和来评价边沿脉冲的检测次数的总和。优选根据环境进行设定,是提高检测精度还是提高对误识别的耐性。
判定处理部172在未从噪声检测部171输入拍手控制禁止标志FF时,进行和第一实施方式的判定处理电路111相同的判定动作。另一方面,当输入了拍手控制禁止标志FF时,进行使判定动作停止等动作,通过禁止拍手控制防止周围噪声引起的误动作。并且,当设定了拍手控制禁止标志FF时,为了使用户认识到其处于无法接受拍手控制的状态,可在画面进行预定的显示,或使扬声器产生预定的声音。
如上所述,通过导入拍手控制禁止标志FF,可防止图11(A)所示的存在连续的较大噪声时的误动作。进一步,如果存在上述可使用户认识到禁止状态的显示等,则在无法进行拍手控制的状态下不必无端拍手。并且,如果噪声的原因例如是音乐时,可采取停止音乐等措施。
(第四实施方式)
接着说明本发明的第四实施方式。在第一实施方式中,示例了仅判定确定限定次数(在第一实施方式中为3次)的拍手声的判定处理部112的控制方法(判定处理算法)。但是,如果只能对某一确定的次数进行判断,则实际使用该拍手声进行电子设备控制时,即使根据电子设备的状态改变控制,在该时刻下也仅可进行一种控制。这在使用本发明时是一个较大的制约。
如果可识别多种拍手次数、分别设定和各次数对应的控制动作,则发明的利用范围也扩大。因此,在本实施方式中,说明判定多种拍手次数的控制方法。
图13作为本实施方式的一个实施例,示例了判定三次和四次拍手的控制方法。图13(A)表示三次拍手控制时、图13(B)表示四次拍手控制时的边沿脉冲FP。在第三次拍手为止完成输入的状态、即图6所示的寂静标志FS及各拍手声标志F1~F3设定的状态为止,与第一实施方式相同,因此省略其说明及图示,对基于第三次拍手声的边沿脉冲FP的输出之后的判定处理部112(或172)的动作进行说明。
如图13(A)所示,判断处理电路111在图13(C)所示的第三次拍手声门1301中检测出基于第三次拍手声的边沿脉冲FP时,计数器110从t=0再次开始计数。之后,在图13(C)的T1及T2的期间内(t<tIN+(t3/2))不生成边沿脉冲FP,当t≥tIN+(t3/2)时,满足上述三次拍手的判定条件,输入成功。如第一实施方式所示。
另一方面,图13(C)的T1及T2期间内(t<tIN+(t3/2))检测出边沿脉冲FP时,在第三次拍手后,未满足预定期间内未检测出边沿脉冲FP的条件,因此三次拍手的控制失败。
图13(B)所示的四次拍手的情况下,和图13(A)一样,基于第三次拍手声的边沿脉冲FP在图13(C)所示的第三次拍手声的门1301中检测出来时,计数器110从t=0再次开始计数。接着,判定处理电路111,在从边沿脉冲生成器109生成基于第三次拍手声的边沿脉冲FP的时刻t开始、经过预定的时间tIN-(t3/2)后,生成用于检测是否产生第四次拍手声的门1302。
在此分别说明在图13(C)所示的各期间T1~T3中生成基于第四次拍手声的边沿脉冲Fp的情况。
首先,在门1302之外的期间T1(t<tIN-(t3/2))内生成基于第四次拍手声的边沿脉冲FP时,四次拍手的控制失败。
在门1302内的期间T2、即t≥tIN-(t3/2)、且t<tIN+(t3/2)的期间,生成基于第四次拍手声的边沿脉冲FP时,判定处理电路111检测到产生基于第四次拍手声的声波。当确认从生成基于第四次拍手声的边沿脉冲FP的时刻t开始、到经过作为T3的期间的tIN+(t3/2)为止,未生成边沿脉冲FP时,满足四次拍手的判定条件,四次拍手的控制成功。
另外,在门1302以外的期间T3中生成基于第四次拍手声的边沿脉冲FP时,四次拍手的控制也失败。从已经生成基于第三次拍手声的边沿脉冲FP的时刻t开始经过了tIN+(t3/2),因此即使输入第四次声波也不会被识别。
如本实施例所示,通过三次或四次拍手进行控制的设定中,如上所述,由于满足了三次拍手的判定条件,因此判定是三次拍手的控制。
以上考虑了分别判定三次拍手声和四次拍手声的条件,各判定条件汇总如图14所示。在图14中,“○”表示在其期间内设定一次边沿脉冲FP,“×”表示在其期间内没有设定一次边沿脉冲FP,“—”表示无关。
在期间T1内设定了边沿脉冲FP时,拍手次数与三次、四次的任意一个判定条件均不一致,因此输入失败。在期间T2内如果未设定边沿脉冲FP,则判定为三次拍手,在期间T2内若设定了边沿脉冲FP则不可能是三次拍手。进一步,在期间T2内设定了边沿脉冲FP、在期间T3内未设定边沿脉冲FP时,判定为四次拍手。
通过实现以上判定动作,可识别三次和四次拍手。并且,该判定方法逻辑上不用于限定次数、次数的种类,因此可广泛应用。即,例如也可识别三以上的多种拍手次数。
(实施例)
作为以上说明的本发明的各实施方式下的通过拍手声控制电子设备的一个示例,图15表示控制电视图像接收机(以下称为电视)的实施例。在该图中,对和图1、图2、图10相同的构成部分标以相同的标号。
图15(A)表示电源断开时、图15(B)表示电源接通时的电视201。电视201的正面上部设有麦克101,正面下部设有主体扬声器122。并且,与麦克101相邻设有由发光色不同的多个发光二极管(LED)构成的指示灯202。指示灯202是对用户表示当前从麦克101输入的声音处于怎样的状态。
麦克101优选设置在可良好拾音的位置上,如图15(A)、(B)所示,可设置在电视201的上部中央,也可设置在其他场所。但是,因主体扬声器122和麦克101的距离、角度、使用环境不同,环绕麦克101的主体声的频率成分、振幅产生差异,用于去除主体声的参数可能改变,因此麦克101的位置优选固定,而非可变。
将拍手三次下的控制分配到电子设备的电源接通和电源断开时,在图15(B)的电源接通时可以推测到主体声引起的误动作、及对操作控制的妨碍。为了对应这一点,在电源接通时,当输入到麦克101的音量超过设定的阈值时,只有采用禁止拍手控制这样的牺牲用户便利性的方法。
但是根据本发明,在图15(A)的电源断开时、或图15(B)的电源接通时,通过主体声去除电路107、主体声去除部167、168去除主体声,因此用户无须意识到电源的接通/断开的不同,可以同样的拍手声进行控制。
并且,电子设备通常在电源断开时,内部的个人计算机变为待机状态或被称为停止模式的状态,和通常动作时相比,时钟频率下降,或时钟供给停止。在该状态下,难于用软件执行所述的处理,因此例如需要使所有处理用硬件进行,并向个人计算机输入作为插入信号的信号等对应。
图16表示对于电视201的控制,将不同次数的拍手分别分配到其他控制的实施例。该图,对和图15相同的构成部分标以相同的标号,并省略其说明。其中,将四次拍手分配到电源接通/断开,将三次拍手分配到频道上升。
这样一来,如图16(A)所示,电视201在电源断开的状态下拍手四次时,通过电视201中内置的本发明的实施方式的电子设备识别该四次拍手声所获得的控制信号,电视201如图16(B)所示,转换到电源接通的状态。并且,图16(B)所示的电视201在电源接通的状态下拍手四次时,电视201如图16(A)所示,转换到电源断开的状态。
并且,图16(B)所示的电视201在电源接通的状态下拍手三次时,电视201从当前收看的频道上升一个,如图16(C)所示一样,被操作控制为接收上升后的频道。
这样一来,为了可按照各拍手次数进行不同的控制,需要图13及图14同时说明的第四实施方式的构成,通过适用该实施方式在电视视听时可不影响主体声地进行拍手声控制。
总之,使用第一至第四实施方式的电子设备及其声音信号处理方法时,可不被主体声影响地进行拍手声下的电子设备控制。并且在第一至第四实施方式中,说明了三次以上的拍手的判定,但通过一次或二次拍手也可控制电子设备。但是,当拍手小于三次时,不仅判定次数较少,而且如第一实施方式所述,无法适用将第一次和第二次拍手的间隔期间反映到下一个间隔期间的控制方法,因此和三次以上拍手时相比,误动作大幅增加。因此如上述实施方式所述,拍手次数为三次以上是现实的。
并且,在上述实施方式及实施例中,说明了通过用户(操作者)产生的拍手控制电子设备的情况,但不限于此。用户为了控制电子设备只要产生预定次数的声波即可,作为声波产生方法,拍手以外的方法(例如,用户将手持的物体敲打离得最近的桌子等所产生的打击声等)也包含在本发明中。
并且,通过软件使CPU动作并实现上述各实施方式的计算机程序也包含在本发明中。该计算机程序可从记录介质取入到计算机中,也可通过通信网络进行发送并下载到计算机中。
Claims (6)
1.一种电子设备,其特征在于,具有:
扬声器,对由电子设备产生的第1声音信号进行电-声转换并输出;
拾音器,对第2声波进行拾音并进行声-电转换,输出第2声音信号,所述第2声波是将为了控制上述电子设备而产生的声波重叠到第1声波上而成,该第1声波是由上述扬声器产生的、基于上述第1声音信号的声波;
第1波形生成器,对上述第1声音信号进行预定的信号处理,生成第1波形信号;
第2波形生成器,对由上述拾音器输出的第2声音信号进行预定的信号处理,生成第2波形信号;
波形整形器,将上述第1波形信号在时间轴方向上扩大,并作为第3波形信号输出;以及
减法器,从上述第2波形信号减去上述第3波形信号。
2.根据权利要求1所述的电子设备,其特征在于,
上述第1波形生成器具有:第1偏移成分去除部,生成从上述第1声音信号去除了偏移成分的声音信号;和第1绝对值化电路,将从上述第1偏移成分去除部输出的声音信号绝对值化,并输出上述第1波形信号,
上述第2波形生成器具有:第2偏移成分去除部,生成从上述第2声音信号去除了偏移成分的声音信号;和第2绝对值化电路,将从上述第2偏移成分去除部输出的声音信号绝对值化,并输出上述第2波形信号。
3.根据权利要求1或2所述的电子设备,其特征在于,
上述波形整形器具有:
多个保持器,以预定的时间保持上述第1波形信号;和
提取器,提取从上述多个保持器输出的多个上述第1波形信号的各最大值,以时间序列合成所提取的上述多个最大值,并生成上述第3波形信号。
4.一种声音信号处理方法,其特征在于,包括以下步骤:
电-声转换步骤,对由电子设备产生的第1声音信号进行电-声转换,并作为第1声音信号输出;
拾音步骤,对第2声波进行拾音,该第2声波是将为了控制上述电子设备而产生的声波重叠到基于上述第1声音信号的第1声波上而成;
声-电转换步骤,对上述第2声波进行声-电转换,并输出第2声音信号;
第1波形生成步骤,对上述第1声音信号进行预定的信号处理,生成第1波形信号;
第2波形生成步骤,对上述第2声音信号进行预定的信号处理,生成第2波形信号;
波形整形步骤,将上述第1波形信号在时间轴方向上扩大,并作为第3波形信号输出;以及
减法步骤,从上述第2波形信号减去上述第3波形信号。
5.根据权利要求4所述的声音信号处理方法,其特征在于,
上述第1波形生成步骤包括:第1偏移成分去除步骤,生成从上述第1声音信号去除了偏移成分的声音信号;和第1绝对值化步骤,将从上述第1偏移成分去除步骤中输出的声音信号绝对值化,并输出上述第1波形信号,
上述第2波形生成步骤包括:第2偏移成分去除步骤,生成从上述第2声音信号去除了偏移成分的声音信号;和第2绝对值化步骤,将从上述第2偏移成分去除步骤中输出的声音信号绝对值化,并输出上述第2波形信号。
6.根据权利要求4或5所述的声音信号处理方法,其特征在于,还包括以下步骤:
保持步骤,分别以预定的时间保持多个上述第1波形信号;和
提取步骤,提取上述多个第1波形信号的各最大值,以时间序列合成所提取的上述多个最大值,并生成上述第3波形信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006230879 | 2006-08-28 | ||
JP2006230879 | 2006-08-28 | ||
JP2007173784 | 2007-07-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101136136A true CN101136136A (zh) | 2008-03-05 |
CN100527185C CN100527185C (zh) | 2009-08-12 |
Family
ID=39160218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007101424792A Active CN100527185C (zh) | 2006-08-28 | 2007-08-27 | 电子设备及其使用的声音信号处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100527185C (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102483918A (zh) * | 2009-11-06 | 2012-05-30 | 株式会社东芝 | 声音识别装置 |
CN102857827A (zh) * | 2012-09-29 | 2013-01-02 | 深圳Tcl新技术有限公司 | 一种电视机及其控制方法 |
CN105576466A (zh) * | 2016-01-19 | 2016-05-11 | 浙江大学 | 一种看闪拍手声控电源插座及其控制方法 |
-
2007
- 2007-08-27 CN CNB2007101424792A patent/CN100527185C/zh active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102483918A (zh) * | 2009-11-06 | 2012-05-30 | 株式会社东芝 | 声音识别装置 |
US8762145B2 (en) | 2009-11-06 | 2014-06-24 | Kabushiki Kaisha Toshiba | Voice recognition apparatus |
CN102857827A (zh) * | 2012-09-29 | 2013-01-02 | 深圳Tcl新技术有限公司 | 一种电视机及其控制方法 |
CN105576466A (zh) * | 2016-01-19 | 2016-05-11 | 浙江大学 | 一种看闪拍手声控电源插座及其控制方法 |
CN105576466B (zh) * | 2016-01-19 | 2018-03-09 | 浙江大学 | 一种看闪拍手声控电源插座及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100527185C (zh) | 2009-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100555353C (zh) | 电子设备的控制装置及电子设备的控制方法 | |
EP1556857B1 (en) | Controlling an apparatus based on speech | |
CN109920419B (zh) | 语音控制方法和装置、电子设备及计算机可读介质 | |
JP5115058B2 (ja) | 電子機器の制御装置及び電子機器の制御方法 | |
US10791406B2 (en) | Method and apparatus for processing sound hole of speaker and electronic device | |
CN109461449B (zh) | 用于智能设备的语音唤醒方法及系统 | |
CN108681440A (zh) | 一种智能设备音量控制方法及系统 | |
CN109478409B (zh) | 用于计算设备的话筒噪声抑制 | |
JP4985230B2 (ja) | 電子機器及びこれに用いる音声信号処理方法 | |
CN102324241A (zh) | 具有语音控制功能的电子装置及语音控制方法 | |
EP3065043A1 (en) | Mobile device | |
CN108091330A (zh) | 输出声强调节方法、装置、电子设备及存储介质 | |
CN105304093A (zh) | 用于语音识别的信号前端处理方法及装置 | |
CN103903606A (zh) | 一种噪声控制方法及设备 | |
CN103873988A (zh) | 基于耳机插座的外接设备识别电路、方法、装置和系统 | |
CN111356008A (zh) | 一种电视音量自动调节方法、智能电视及存储介质 | |
CN105100672A (zh) | 显示装置及其视频通话执行方法 | |
CN100527185C (zh) | 电子设备及其使用的声音信号处理方法 | |
CN108733341B (zh) | 一种语音交互方法及装置 | |
CN104217728A (zh) | 一种音频处理方法及电子设备 | |
CN103168479A (zh) | 振鸣抑制装置、助听器、振鸣抑制方法和集成电路 | |
US8738382B1 (en) | Audio feedback time shift filter system and method | |
CN110691016B (zh) | 一种基于音频设备实现的交互方法及音频设备 | |
CN114586095A (zh) | 实时语音检测 | |
US9351089B1 (en) | Audio tap detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: JVC KENWOOD CORPORATION Free format text: FORMER OWNER: VICTORY CO. LTD. Effective date: 20140304 |
|
TR01 | Transfer of patent right |
Effective date of registration: 20140304 Address after: Kanagawa Patentee after: JVC Kenwood Corp. Address before: Yokohama City, Kanagawa Prefecture, Japan Patentee before: Victory Co., Ltd. |
|
TR01 | Transfer of patent right |