具体实施方式
以下,参照附图说明本发明涉及的声音分析装置的实施方式。
(实施方式1)
<便携式电话机1的构成>
本发明涉及的声音分析装置100例如配备在便携式电话机1中。图1是示出便携式电话机1的构成的功能框图。如图1所示,便携式电话机1 具备:声音信号收音部10、声音分析装置100、记录部20、来信音需要与否判定部30、以及模式设定部40。
声音信号收音部10具体构成为包括麦克风,并且将由麦克风获取的声音信号发送到声音分析装置100中。
声音分析装置100根据从声音信号收音部10输入的声音信号,判定便携式电话机1的周围的环境,将判定结果作为环境信息发送到记录部20以及来信音需要与否判定部30。
记录部20记录从声音分析装置100输入的环境信息。
来信音需要与否判定部30根据从声音分析装置100输入的环境信息,判定是否需要来信音,将判定结果发送到模式设定部40。
模式设定部40根据从来信音需要与否判定部30输入的判定结果设定便携式电话机1的模式。
<声音分析装置100的构成>
接着,对声音分析装置100的内部结构进行说明。图2是示出声音分析装置100的功能框图。声音分析装置100构成为包括环境音分类部110以及事件分割点判定部120。
声音分析装置100具体是由DSP、微处理器、ROM、RAM等构成的计算机系统。在ROM中存储着计算机程序。通过DSP以及微处理器按照计算机程序进行操作,声音分析装置100完成其功能。
环境音分类部110具体由DSP等来实现,构成为包括音响参数计算部111、类别分类部112、以及事前学习数据保持部113。
音响参数计算部111按照单位时间(例如1秒)从声音信号收音部10获取声音信号,计算每单位时间的声音信号(以下,称为「部分声音信号」)的音响参数。将计算的各音响参数发送到类别分类部112。
音响参数例如是音响谱、谱重心、倒谱、倒谱区域的特征量MFCC(唛频倒谱系数:Mel Frequency Cepstrum Coefficient)等。
类别分类部112一边参照保持在事前学习数据保持部113中的事前学习数据,一边决定与从音响参数计算部111输入的各音响参数对应的单位时间的部位声音信号属于哪个环境音类别。
在此,环境音类别例如是室内、室外、BGM、语音、徒步、汽车、公共 汽车内、以及电车内等。室内进一步分类为暗噪音、非固定音、人群音、其他声音。暗噪音如风扇噪音、空调音等。非固定音如摩擦音、衣服摩擦音、敲打等。人群音如咿咿呀呀的声音、餐厅内的声音等。其他声音例如室内的杂乱音等除了上述声音以外的室内音。
室外进一步分类为自然杂音、交通杂音、其他声音。自然杂音如风的声音、河流动的声音、鸟的鸣叫声等。交通杂音如车、摩托车、以及电车等的交通音。其他声音如室外的杂乱音等除了上述声音以外的室外音。语音不限于会话,包含可判定为语音的声音。BGM是作为背景音以音乐为主的声音。徒步是以行走音为主的声音。汽车是语音以外的声音,是汽车内的移动时的声音,如引擎声。公共汽车内是语音以外的声音,是公共汽车内的移动时的声音,如引擎声。电车内是语音以外的声音,是电车内的移动时的声音,如马达音。
对环境音类别的分类进行详细说明。环境音类别的分类可以使用高斯混合模型(GMM:Gaussian Mixture Model)或熵-先验隐马尔可夫模型(EP-HMM)等机械学习方法。在这些机械学习方法中,事前预备各环境音类别的声音信号的音响参数作为事前学习数据。然后,将从音响参数计算部111输入的各音响参数与保持在事前学习数据保持部113中的每个环境音类别的音响参数(事前学习数据)比较,并且决定是不是与该事前学习数据相似的声音。类别分类部112将类别分类对象的部分声音信号分类成与被决定为相似的音响参数对应的环境音类别,并且将分类结果发送到蓄积部121。
事前学习数据保持部113将各环境音类别的声音信号的音响参数保持作为事前学习数据。
事件分割点判定部120由微处理器等实现,构成为包括蓄积部121、时间区间设定部122、读入部123、类别占有率计算部124、以及环境判定部125。
蓄积部121具体由缓冲器等构成,蓄积从类别分类部112输入的各部分声音信号的分类结果。以001、010、011、100…这样的位来定义各环境音类别,蓄积部121按照单位时间以位来蓄积所分类的分类结果。图3是示出分类结果的蓄积的图。如本图所示,将时刻与该时刻的环境音类别相 对应地蓄积。
时间区间设定部122根据预先存储的设定信息,在时间轴上随着时间经过随时设定判定对象区间的开始点以及结束点。具体地,判定对象区间是包含多个(例如3个以上)连续的单位时间的区间(例如30秒)。而且,蓄积部121具备为了至少蓄积判定对象区间量的分类结果所需的容量。
读入部123判定是否在蓄积部121中蓄积着由时间区间设定部122设定的判定对象区间量的分类结果,在判定为蓄积着的情况下,从蓄积部121读取分类结果,将读取的分类结果发送到类别占有率计算部124。
类别占有率计算部124根据从读入部123输入的各部分声音信息的分类结果,计算判定对象区间中的类别占有率。而后,将计算的类别占有率发送到环境判定部125中。类别占有率是各环境音类别占整个判定对象区间的比例。
环境判定部125根据从类别占有率计算部124输入的类别占有率,判定便携式电话机1的周围的环境。将示出被判定的环境的环境信息发送到记录部20以及来信音需要与否判定部30。接着,在环境变化的情况下检测其变化时刻,发送到记录部20。
<声音分析装置100的动作>
图4是示出声音分析装置100的处理步骤的流程图。在本流程图中,i是确定一个环境音类别的变量,类别数为n。音响参数计算部111依次接收由声音信号收音部10收音的部分声音信号(步骤S101)。若接收部分声音信号,则计算该部分声音信号的音响参数(步骤S102)。若计算音响参数,则初始化i(步骤S103),与该环境音类别中的音响参数比较(步骤S104)。存储比较结果(步骤S105),判断是否i=n(步骤S106)。还存在其他环境音类别存在的情况下(在步骤S106中为否),对i加1(步骤S107),转移到步骤S104。若与全部的环境音类别中的音响参数比较结束(在步骤S106中为是),则决定部分声音信号属于哪个环境音类别(步骤S108)。具体地,决定该部分声音信号的音响参数最接近哪个环境音类别中的音响参数。
读入部123判定在蓄积部121中是否蓄积着需要的蓄积量(步骤S109)。在达到需要的蓄积量的情况下(在步骤S109中为是),读入分类结果,并且将读入的分类结果发送到类别占有率计算部124(步骤S110)。类别占有 率计算部124根据分类结果计算判定对象区间中的类别占有率(步骤S111),判定是否存在已经存储的类别占有率(步骤S112)。在没有被存储的类别占有率的情况下(在步骤S112中为否),存储该类别占有率,并且根据该类别占有率判定环境(步骤S113)。具体地,在判定对象区间中,通过决定在各环境音类别的占有率之中占有率最高的环境音类别来判定环境。若判定了环境,则将环境信息发送到记录部20以及来信音需要与否判定部30(步骤S117)。由此,能够实现与环境对应的应用的动作。
在有已经存储的类别占有率的情况下(在步骤S112中为是),计算示出相对于该类别占有率的变化的比例的比例值(步骤S114)。按照环境音类别计算比例值,环境判定部125对于各比例值,与预先设定的域值相比较,判断比例值是否大于域值(步骤S115)。在全部的比例值为域值以下的情况下(在步骤S115中为否),存储所计算的类别占有率,转移到步骤S109。在存在大于域值的比例值的情况下(在步骤S115中为是),检测出与所计算的类别占有率相对应的判定对象区间的开始点作为环境变化时刻,并且进行环境的判定(步骤S116)。具体地,在超过域值且占有率增加的环境音类别存在的情况下,将该环境音类别作为变化后的环境,在超过域值且占有率减少的环境音类别存在的情况下,将各环境音类别之中的占有率最高的环境音类别作为变化后的环境。而后,将存储部20中环境信息和环境的变化时刻发送到来信音需要与否判定部30(步骤S117)。
这样,环境判定部125若新接收到类别占有率,则通过判定相对于先前的判定对象区间的类别占有率的变化的比例是否超过域值来判定环境,并且在环境变化的情况下检测环境的变化时刻。
<便携式电话机1的动作>
图5是示出有关便携式电话机1向礼貌模式的自动转移功能的处理步骤的流程图。来信音需要与否判定部30接收从声音分析装置100输入的环境信息(步骤S201)。若接收到环境信息,则判定该环境信息是否示出公共汽车或电车(步骤S202)。
在除去环境信息示出公共汽车或电车以外的情况下(在步骤S202中为否),转移到步骤S201。在环境信息示出公共汽车或电车的情况下(在步骤S202中为是),模式设定部40判定来信状态是否是礼貌模式(步骤S203)。
在来信状态是礼貌模式的情况下(在步骤S203中为是),转移到步骤S201。在来信状态不是礼貌模式的情况下(在步骤S203中为否),将来信状态设定为礼貌模式(步骤S204)。
<具体例>
图6是示意地示出实施方式1特征的图。本图上部是示出每个环境音类别的分类结果的图。本图下部是在时间序列上示出时间区间单位中的类别占有率的变化的图。本图中的横轴是时间轴。图中的公共汽车、电车、语音、室内、以及室外示出环境音类别。
图7、8是示出图6所示的包含在各时间区间中的环境音类别的详情的图。如图7、8所示,各时间区间是30秒,分别在时间轴方向上各偏离10秒。
时间区间设定部122如图6上部所示,例如在时间轴方向上使判定对象区间重叠地依次设定(时间区间1、时间区间2、时间区间3、时间区间4、时间区间5、…)。这是为了提高环境变化的检测精度。判定对象区间的设定根据预先保持在时间区间设定部122中的、示出时间区间的长度的时间区间信息或示出使其重叠到什么程度的重叠信息等来进行。
类别占有率计算部124按照时间区间计算各环境音类别的占有率。如图7所示,在时间区间1中,判定为“公共汽车”的时间是合计24秒,判定为“语音”的时间是合计3秒,判定为“室内”的时间是合计3秒,因此计算为“公共汽车”的占有率80%、“语音”以及“室内”的占有率10%。因为“公共汽车”占有率最高,所以环境判定部125判定在时间区间1内环境是“公共汽车”。
以下相同,在时间区间2中,判定为“公共汽车”的时间是合计21秒,判定为“语音”的时间是合计6秒,判定为“室内”的时间是合计3秒,因此计算为“公共汽车”的占有率70%、“语音”的占有率20%、“室内”的占有率10%。
在时间区间3中,判定为“公共汽车”的时间是合计20秒,判定为“语音”的时间是合计3秒,判定为“室内”的时间是合计3秒,判定为“电车”的时间是合计4秒,因此计算为“公共汽车”的占有率67%、“语音”以及“室内”的占有率10%、“电车”的占有率13%。
在时间区间4中,判定为“公共汽车”的时间是合计13秒,判定为“语音”的时间是合计6秒,判定为“电车”的时间是合计11秒,因此计算为“公共汽车”的占有率43%、“语音”的占有率20%、“电车”的占有率37%。
在时间区间5中,判定为“电车”的时间是合计21秒,判定为“语音”的时间是合计3秒,判定为“公共汽车”的时间是合计6秒,因此计算为“电车”的占有率70%、“语音”的占有率10%、“公共汽车”的占有率20%。
在此,若用于与类别占有率的变化的比例相比较的域值是0.3(类别占有率30%),则当分别从时间区间1转移到时间区间2、从时间区间2转移到时间区间3、从时间区间3转移到时间区间4时,各类别占有率未超过域值。
因此,环境判定部125判定在这些时间区间中环境是“公共汽车”。但是,可知在从时间区间4转移到时间区间5中,“电车”的占有率从35%位移到70%,这是超过域值的变化。
因此,环境判定部125判定在时间区间5中环境是“电车”,同时如本图下部的圆圈标记(时刻T1),检测出时间区间5的开始点作为环境的变化时刻。
这样,通过计算每个判定对象区间的类别占有率,判定类别占有率是否超过域值地变化,从而在混入了语音等杂音的情况下,也能够确切地判定环境。
如上所述根据本实施方式,在某判定对象区间中,即使因杂音的影响而各环境音类别的占有率下降,也能够通过与其他环境音类别的比较来决定占有率相对高的环境音类别,从而判定环境,因此能够提高对环境判定的健壮性。另外,因为便携式电话机1记录了环境的变化时刻,所以能够据此进行用户的行为模式的分析等。
(实施方式2)
在实施方式1中,由时间区间设定部122设定的判定对象区间是30秒的固定值,但是本实施方式根据声音信号的功率谱的时间位移来设定判定对象区间(以下,称为「段」)。
<声音分析装置100a的构成>
图9是本实施方式中的声音分析装置100a的功能框图。如图9所示,声音分析装置100a除了实施方式1中的声音分析装置100的构成要素以外,还包含功率谱计算部130。另外,事件分割点判定部120a构成为包括段决定部126以代替实施方式1中的时间区间设定部122。
功率谱计算部130计算从声音信号收音部10输入的声音信号的功率谱,将计算的功率谱发送到段决定部126。具体地,将从声音信号收音部10输入的声音信号以规定的时间单位划分,使用FFT(快速傅里叶变换:Fast Fourier Transform),计算每规定时间的声音信号的功率谱。
段决定部126根据从功率谱计算部130输入的每规定时间的声音信号的功率谱来决定段的开始点以及结束点。具体地,使相邻的规定时间区间的功率谱重合,检测出特定频率的位移量,判定检测出的位移量是否超过预先设定的域值。而后,在检测出的位移量超过预先设定的域值的情况下,将与检测的位移量对应的相邻的规定时间区间的边界点判定为段的边界点。该边界点是新段的开始点,同时也是先前段的结束点。在段决定部126接下来判定位移量超过域值时,将与该位移量对应的、相邻的规定时间区间的边界点作为新的段的结束点。
这样,段决定部126决定段的开始点以及结束点,并且将决定的段的开始点以及结束点发送到读入部123a。
读入部123a接收由段决定部126发送的段的开始点以及结束点,从蓄积部121读取所接收的段区间量的类别分类结果,并且将读取的分类结果发送到类别占有率计算部124。
<声音分析装置100a的工作>
接着,图10是示出与声音分析装置100a的段决定有关的处理步骤的流程图。在本流程图中,i是确定一个规定时间区间的变量。功率谱计算部130依次接收由声音信号收音部10收音的声音信号(步骤S301)。若接收了声音信号,则计算每个规定时间区间的功率谱(步骤S302)。段决定部126初始化i(步骤S303),检测出规定时间区间i和规定时间区间i+1中的特定频率的位移量(步骤S304)。将检测出的位移量与域值比较(步骤S305),在位移量为域值以下的情况下(在步骤S305中为否),对i加1(步 骤S306),转移到步骤S304。
在位移量大于域值的情况下(在步骤S305中为是),读入部123a读取与该位移量对应的、相邻的规定时间区间的边界点之前的分类结果作为段区间的分类结果(步骤S307)。类别占有率计算部124计算段区间中的类别占有率(步骤S308),环境判定部125根据该类别占有率来判定该段区间的环境(步骤S309)。若判定了环境,则将环境信息发送到存储部20以及来信音需要与否判定部30中(步骤S310)。
<具体例>
图11是示意地示出实施方式2特征的图。本图上部是示出每个环境音类别的分类结果的图。本图下部是在时间序列上示出段单位的类别占有率的变化的图。本图中的横轴是时间轴。公共汽车、电车、语音、室内、以及室外示出环境音类别。
与实施方式1中的具体例的差异在于,不计算某个固定的时间区间单位(30秒)的类别占有率,而计算段区间的类别占有率。图中从时刻t1到时刻t5的各时刻示出功率谱超过域值发生变化的时刻,即段的边界点。从时刻t1到时刻t2的区间是段区间,声音分析装置100a计算该段区间中的类别占有率。
同样地,从时刻t2到时刻t3、从时刻t3到时刻t4、从时刻t4到时刻t5分别为段区间。
环境判定部125在各段区间中根据类别占有率来判定环境,并且在时间上处于前后的两个段区间中的类别占有率超过规定域值地变化时,将这些段的边界判定为环境变化的划分点。
如上所述根据本实施方式,首先,通过声音信号的功率谱的时间位移来设定段,其后,根据该段中的类别占有率来判定环境,因此能够提高环境判定的精度。另外,设定段后,用根据环境音类别结果的类别占有率的变化的比例来确定环境的变化时刻,因此能够进一步提高环境变化时刻的检测精度。例如,即使在类别占有率缓慢变化的情况下,也能够更加没有误差地检测出环境变化时刻。
而且,在本实施方式中,蓄积部121不像实施方式1那样蓄积由时间区间设定部122设定的时间量的的类别结果,而是蓄积由段决定部126决 定的段的从开始点到结束点的分类结果。即,不能单独设定在蓄积部121中应该蓄积的分类结果的时间量。因此,也可以在决定段边界时,存储在蓄积部121中可蓄积的最大时间长度,将在其范围内示出最大位移量的时刻判定为段边界点。
(实施方式3)
在实施方式1中,将在时间上位于前后的两个判定对象区间的类别占有率的变化的比例超过域值地变化的情况作为环境变化,并检测出该时刻,但可以假定在没有用户动作时发生环境变化的可能性低。因此,在本实施方式中,声音分析装置具备检测用户动作的结构,在用户动作中时,进行环境判定,并且在环境变化时检测环境的变化时刻。
<声音分析装置100b的构成>
图12是本实施方式中的声音分析装置100b的功能框图。如图12所示,声音分析装置100b除了实施方式1中的声音分析装置100的构成要素以外,还包括动作检测部140。另外,本实施方式中的事件分割点判定部120b除了实施方式1中的事件分割点判定部120的构成要素以外,还构成为包括用户动作判定部127。
动作检测部140构成为包括:3轴加速度传感器或陀螺仪传感器、电子高度计、电子指南针等,检测用户的动作,并且将检测出的动作信息发送到用户动作判定部127中。3轴加速度传感器或陀螺仪传感器的抽样频率,例如设定为30Hz以上。而且,这些传感器可以与声音分析装置100b一起设置在便携式电话机1内,传感器类也可以直接佩戴于用户的身体。
用户动作判定部127根据从动作检测部140输入的动作信息判定用户是否在动作中。具体地,因为用户在步行或跑步状态下在2~4Hz出现特征峰值,所以根据能否检测出该特征峰值来判定用户是否在动作中。
另外,用户动作判定部127将基于判定结果的通知发送到时间区间设定部122b中。
时间区间设定部122b除了实施方式1的时间区间设定部122的功能以外,具有根据从用户动作判定部127输入的与用户动作有关的通知来控制读入部123b的功能。具体地,在输入了表示用户动作中的通知时,对读入部123b允许读入,在输入了表示用户不在动作中的通知时,制止由读入部 123b的读入。
读入部123b在由时间区间设定部122b允许读入时,即,在用户动作区间,与实施方式1的读入部123同样地从蓄积部121读入分类结果。在由时间区间设定部122b制止读入时,即,在用户动作区间以外的区间,不从蓄积部121读入分类结果。
<声音分析装置100b的动作>
接着,图13是示出声音分析装置100b的处理步骤的流程图。步骤S401的环境音分类处理与图4示出的环境音分类处理相同。用户动作判定部127判定用户是否在动作中(步骤S402),在判定是肯定的情况下(在步骤S402中为是),声音分析装置100b进行环境判定处理(步骤S403)。该环境判定处理与图4示出的环境判定处理相同。用户动作判定部127判定用户动作是否结束(步骤S404),在判定是肯定的情况下(在步骤S404中为是),转移到步骤S402,在判定是否定的情况下(在步骤S404中为否),转移到步骤S403。即,在判定为用户在动作中的区间中进行环境判定处理。
<具体例>
图14是示意地示出实施方式3的图。本图上部是示出每个环境音类别的分类结果的图。本图下部是在时间序列上示出时间区间单位中的类别占有率的变化的图。本图中的横轴是时间轴。公共汽车、电车、语音、室内、以及室外示出环境音类别。
与实施方式1中的具体例不同点在于,在判定为用户动作中的区间中进行环境的判定。图中从时刻t11到时刻t12示出用户在动作中的期间。同样地,从时刻t13到时刻t14、从时刻t15到时刻t16也分别示出用户在动作中的期间。声音分析装置100b在这些区间中,根据各判定对象区间中的类别占有率进行环境判定。与环境判定一起,在检测出用户动作的区间,且在时间上位于前后的两个判定对象区间中的类别占有率超过规定域值地变化的情况下,将这些判定对象区间的边界判定为环境变化的划分点。
如上所述根据本实施方式,在用户动作中的区间,且在时间上位于前后的两个判定对象区间中的类别占有率超过规定域值地变化的情况下,将这些判定对象区间的边界判定为环境变化的划分点,因此能够提高环境变化的分界点的检测精度。另外,在用户动作时间以外的区间中,不读入分 类结果,即,不进行分类占有率的计算以及环境判定,因此能够提高运算效率。
(实施方式4)
本实施方式是特定于与交通手段有关的环境判定的实施方式。
<声音分析装置100c的构成>
图15是本实施方式中的声音分析装置100c的功能框图。如图15所示,声音分析装置100c构成为包括交通手段判定部128,以代替实施方式1中的环境判定部125。另外,将在环境音分类部110中分类的环境音类别作为特定于交通的环境音类别(以下,称为「交通手段」)。与特定于交通的环境音类别相当的是如步行、列车、公共汽车、车、自行车、以及电梯等。
本实施方式中的事前学习数据保持部113如在步行情况下保持脚步声,在列车、公共汽车、以及车的情况下保持加减速时或惯性运转时的马达音或引擎音,在自行车的情况下保持风吹音或链条旋转的声音,在电梯的情况下保持其寂静音,来作为各自的音响参数。由此,可以进行用于交通手段判定的声音识别。
交通手段判定部128基本上与实施方式1中的环境判定部125相同。即,根据判定对象区间中类别占有率来判定环境。另外,由类别占有率发生变化的比例来判定交通手段是否变化,在变化的情况下将交通手段的变化时刻作为环境的变化时刻。
而且,在仅仅根据类别占有率来判定环境的情况下,非常难以对例如是否是电梯进行判定。原因在于,难以判别电梯内的寂静音和室内的寂静音。因此,也可以为了提高环境的判定精度,声音分析装置100c还具备电子高度计,根据类别占有率和高度位移判定是否是电梯。
若采用以上那样的本实施方式,能够仅仅通过声音信号判定所利用的交通。
(实施方式5)
本实施方式不像实施方式4那样仅由环境音判定交通手段,而是由环境音和用户动作来判定交通手段的实施方式。
<声音分析装置100d的构成>
图16是本实施方式中的声音分析装置100d的功能框图。如图16所示, 声音分析装置100d除了实施方式1中的声音分析装置100的构成要素以外,还含有动作检测部140。另外,声音分析装置100d中的事件分割点判定部120d构成为包括交通手段判定部128d,以代替环境判定部125,还含有利用交通手段候选推测部129。
利用交通手段候选推测部129根据从动作检测部140输入的加速度信息或高度信息,选择一个以上与本装置有关的用户利用的交通手段的候选,并且将选择的交通手段的候选发送到交通手段判定部128d中。
交通手段判定部128d根据从利用交通手段候选推测部129输入的利用交通手段候选以及从类别占有率计算部124输入的类别占有率,判定交通手段。将示出被判定的交通手段的交通手段信息发送到记录部20以及来信音需要与否判定部30中。进而,判定交通手段是否变化,在变化的情况下检测出交通手段的变化时刻作为环境变化时刻,并且发送到记录部20中。
具体地,例如,在是判定对象区间的类别占有率之中的占有率最高的交通手段,而且,是被选定为在该判定对象区间中利用交通手段候选的交通手段的情况下,交通手段判定部128d决定该判定对象区间的环境是该交通手段。另外,在最近的判定对象区间和先前的判定对象区间,类别占有率超过规定域值地变化,而且,在利用交通手段候选发生变化的情况下,将最近的判定对象区间的开始点判定为交通手段变化的划分点。而且,也可以只在检测出环境的变化时刻的情况下使用利用交通手段候选,各判定对象区间中的交通手段的判定仅根据类别占有率来进行。
<交通手段候选选择>
图17是示出交通手段候选选择处理的流程图。利用交通手段候选推测部129首先,根据高度信息计算规定期间中的高度位移值(步骤S501)。接着,根据规定期间和高度位移值计算垂直方向的速度(步骤S502)。利用交通手段候选推测部129预先存储第一域值以及第二域值,比较第一域值和垂直方向的速度,判定垂直方向的速度是否大于第一域值(步骤S503),比较第二域值和高度位移值,判定高度位移值是否大于第二域值(步骤S505)。垂直方向的速度大于第一域值的情况下(在步骤S503中为是),或者高度位移值大于第二域值的情况下(在步骤S505中为是),选定电梯作为交通手段的候选(步骤S504)。
在步骤S503以及505中的判定都是否定的情况下,利用交通手段候选推测部129例如定是否在3轴加速度传感器中检测出大于15Hz的加速度值(步骤S506)。在检测出大于15Hz的加速度的情况下(在步骤S506中为是),选定公共汽车、车、列车以及自行车中的任一个以上。特别是在公共汽车、车、以及自行车中,能够频繁地观察到上下方向的微小加速度,因此通过在时间方向上追踪功率谱的平均值,能够比较性地检测出移动和停止。因此,利用交通手段候选推测部129判定是否检测出一定时间以上的上下方向的微小加速度(步骤S507),在检测出一定时间以上的上下方向的微小加速度的情况下(在步骤S507中为是),选定公共汽车、车、以及自行车作为交通手段的候选(步骤S508)。
在没有检测出一定时间以上的上下方向的微小加速度的情况下(在步骤S507中为否),选定列车作为交通手段的候选(步骤S509)。
这样,根据移动以及停止频度等可以将公共汽车、车、以及自行车与列车区别。
另外,因为对于步行以及跑步,在2~4Hz中出现特征峰值,所以通过检测出这样的特征峰值,能够将步行以及跑步与其他交通手段区别。因此,在加速度值为15Hz以下的情况下(在步骤S506中为否),判定是否在2~4Hz存在特征峰值(步骤S510)。在2~4Hz中检测出峰值的情况下(在步骤S510中为是),选定步行以及跑步作为交通手段(步骤S511)。在2~4Hz中没有检测出峰值的情况下(在步骤S510中为否),设为不可选定(步骤S512)。
利用交通手段候选推测部129将这样选定的交通手段的几个作为利用交通手段候选输出到交通手段判定部128d中。
另外,利用交通手段候选推测部129也可以将上述那样被选定的时刻作为该交通手段的开始点,将变得不选定该交通手段的时刻作为结束点来存储。
<声音分析装置100d的动作>
接着,图18是示出声音分析装置100d的处理步骤的流程图。步骤S601的环境音分类处理与图4所示的环境音分类处理相同。在本流程图中,与图4所示的流程图不同点有以下四点。第一点是交通手段判定部128d获取 交通手段候选这一点(步骤S604)。第二点是交通手段判定部128d判定是否已经存储了类别占有率以及交通手段候选这一点(步骤S606)。第三点是在步骤S606中判定是否定的情况下,根据类别占有率以及交通手段候选判定环境这一点(步骤S607)。第四点是判定比例值大于域值、而且交通手段候选是否发生变化这一点(步骤S609)。
如上所述根据本实施方式,使用一个以上的利用交通手段候选和环境音分类结果来检测出交通手段的变化时刻,因此能够提高环境变化的分界点的检测精度。
(实施方式6)
参照图19对本实施方式中的声音分析装置进行说明。
<声音分析装置100e的构成>,
图19示出本实施方式中的声音分析装置100e的构成的一例。构成声音分析装置100e除了实施方式1中的声音分析装置100的构成要素以外,构成为还包括位置信息检测部150以及地图信息保持部160。另外,声音分析装置100e中的事件分割点判定部120e构成为包括交通手段判定部128e以代替环境判定部125,还包括利用交通手段候选推测部129e。
具体地,位置信息检测部150构成为包括GPS(全球定位系统)等,检测出用户乃至本装置的位置信息,将检测出的位置信息输出到利用交通手段候选推测部129e。
地图信息保持部160保持地图信息。特别是保持与交通机构(列车或公共汽车)有关的路线信息以及道路信息。
利用交通手段候选推测部129e根据从位置信息检测部150输入的每固定时间的用户乃至本装置的位置信息,求出用户乃至本装置的移动路线。将移动路线与保持在地图信息保持部160中的路线信息对照,选出利用交通手段的候选。而后,将选出的利用交通手段候选发送到交通手段判定部128d。
例如,如果用户乃至本装置的移动路线与列车的移动路线相同,那么选出列车作为利用交通手段的候选。如果用户乃至本装置的移动路线与公共汽车的移动路线相同,那么选出公共汽车作为利用交通手段的候选。在除此以外的情况下,选出徒步、汽车、以及自行车作为利用交通手段的候 选。
声音分析装置100e中的其他构成要素与实施方式5中的构成要素相同。
如上所述根据本实施方式,使用一个以上的利用交通手段候选和环境音分类结果来检测出交通手段的变化时刻,因此能够提高环境变化的分界点的检测精度。
(实施方式7)
参照图20对本实施方式中的声音分析装置进行说明。
<声音分析装置100f的构成>
图20是示出本实施方式中的声音分析装置100f的构成的一例的图。声音分析装置100f构成为包括速度推测部170以代替实施方式6的声音分析装置100e的利用交通手段推测部129e以及地图信息保持部160。其他构成要素与实施方式6的声音分析装置100e中的各构成要素相同。
速度推测部170根据从位置信息检测部150输入的每固定时间的用户乃至本装置的位置信息,求出用户乃至本装置的移动速度。进而,从推测的移动速度来推测交通手段,将所推测的交通手段发送到交通手段判定部128f。
具体地,例如,若预先设定为以1秒间隔输入位置信息,则使用各时刻上的位置信息(纬度、经度信息)和胡贝尼(Hubeny)距离计算公式,计算各相邻时间的2点间的距离。因为该距离相当于平均单位时间的移动距离,所以能够原样近似为秒速。从这样计算的速度,计算移动期间或停止期间、最大速度等,并且推测交通手段。
速度推测部170例如,至少间隔数分钟以上存在移动期间以及停止期间,且计算的最大速度超过80km/h的情况下,推测是列车移动。而后,作为交通手段,将示出列车的信息发送到交通手段判定部128f中。
另外,如果在更短的间隔内有移动期间以及停止期间,且计算的最大速度在60km/h以下,那么推测是车或是公共汽车移动,如果计算的最大速度在10km/h以下,那么推测是徒步移动。
交通手段判定部128f根据从速度推测部170输入的交通手段候选以及从类别占有率计算部124输入的类别占有率,判定交通手段。将示出所判 定的交通手段的交通手段信息发送到记录部20以及来信音需要与否判定部30中。进而,判定交通手段是否发生变化,在变化的情况下检测出交通手段的变化时刻作为环境变化时刻,并且发送到记录部20中。环境的判定和变化时刻的检测方法的详情与交通手段判定部128d相同。
如上所述根据本实施方式,使用一个以上的利用交通手段候选和环境音分类结果来检测出交通手段的变化时刻,因此能够提高环境变化的分界点的检测精度。
而且,速度推测方法不限于在本实施方式中使用的速度推测方法。
(变形例)
以上,根据实施方式对本发明涉及的声音分析装置进行说明,但本发明并不限于上述的实施方式。
在上述实施方式中,便携式电话机1是按照由声音分析装置判定的环境自动进行向礼貌模式的转移的结构,但也可以是按照环境执行来信限制的结构。在这样的情况下,便携式电话机代替来信音需要与否判定部30,具备来信需要与否判定部,根据从声音分析装置100输入的环境信息来判定是否需要来信,并且将判定结果发送到来信制止部;代替模式设定部40,具备来信制止部,根据从来信需要与否判定部输入的判定结果制止来信。更详细地,例如在环境信息是示出公共汽车或电车的情况下,来信不需要判定部判定不需要来信,来信制止部制止来信。由此,能够按照来信时的接收侧的状况防止不需要的来信。
另外,也可以是按照环境将按键时的声音设定为无声的结构。在这样的情况下,便携式电话机代替来信音需要与否判定部30,具备判定部,根据从声音分析装置输入的环境信息来判定是否应该将按键时的声音设成无声,并且将判定结果发送到按键音设定部;代替模式设定部40,具备按键音设定部,根据从判定部输入的判定结果转移到无声设定,使按键时的声音变为无声。更详细地,例如在环境信息是示出公共汽车或电车的情况下,判定部判定应该使按键时的声音变为无声,按键音设定部设定使按键时的声音变为无声。
在上述实施方式中,对便携式终端是便携式电话机的情况进行了说明,但除此以外,也可以是例如可佩戴式终端、万步计(注册商标)、携带式PC、 数字静态照相机、数字视频摄像机、助听器等。
对便携式终端是可佩戴式照相机的情况进行说明。可佩戴式照相机是例如佩戴在胸前位置或挂眼镜的部位等,常时拍摄并记录佩戴者体验的设备。通过将上述声音分析装置配备在可佩戴式照相机上,可以实现例如用环境音捕捉工厂中的工作人员的停留场所的变化,并且将它们作为记录保留的功能。具体地,可佩戴式照相机具备:判定部,根据从声音分析装置输入的环境信息来判定环境有无变化,将判定结果发送到环境变化时刻记录部中;和环境变化时刻记录部,与记录时刻一起记录从判定部输入的判定结果。更详细地,例如在环境信息从室内变化到室外的情况下,或者从室外变化到室内的情况下,环境变化时刻记录部记录该变化时刻的时间和环境信息。其他构成要素与便携式电话机1的构成要素相同。
接着,对便携式终端是万步计的情况进行说明。万步计是例如佩戴在腰的位置,计测佩戴者步数的设备。通过将上述声音分析装置配备在万步计上,可以实现例如详细地分类步行状态的功能,该步行状态为什么时候、在怎样的环境下进行步行。具体地,万步计具备:步行时环境获取部,根据从声音分析装置输入的环境信息获取步行中的环境信息;和步行时环境记录部,与记录时刻、以及步数一起记录从步行时环境获取部输入的环境信息。其他构成要素与便携式电话机1的构成要素相同。由此,例如能够判定是每天早晚在室外上下班移动时的步行、还是在工作地点的室内工作时的步行等,能够期待对万步计佩戴者给予在健康管理方面的新发现的效果。
接着,对便携式终端是照相机的情况进行说明。在不仅记录静止图像、而且也相应地记录拍摄静止图像的时刻前后的声音的数字静止照相机(包括便携式电话机等的静止图像摄影功能等),或将动画和声音对应起来记录的数字视频摄像机(也包括便携式电话机的视频摄像功能等)中,将拍摄的场景氛围作为元数据与其场景对应记录,从而能够自动地对场景进行分类。具体地,数字静止照相机或者数字视频摄像机具备:支配性环境音判定部,汇总从环境判定部125依次输入的环境判定结果,判定规定区间中的支配性的环境音;和支配性环境音记录部,将从支配性环境音判定部输入的支配性环境音的信息,与记录在照相机中的声音以及图像信号关联记 录。例如,在拍摄的场景20秒中,按时间序列顺序从环境判定部125向支配性环境音判定部输入20个环境判别结果(例如以1秒为单位输入),设根据这些判别结果,例如室外的杂乱声是支配性的(例如设20秒之中占有的比例是7成以上等、某个固定比例以上的情况下是支配性的),对于拍摄的场景赋予「室外杂乱声」的标签作为氛围信息。
由此,能够将拍摄场景按氛围信息分别分类,能够期待用户此后易于简单回想起该场景的效果。而且,判定是否是支配性的方法,并不限于上述方法,也可以将在该场景中分类为最多的环境音判定是支配性的。
接着,对便携式终端是助听器的情况进行说明。作为助听器的具体结构,具备:助听方法选择部,按照从环境判定部125输入的环境判定结果选择助听方法;和助听处理部,按照选择的助听方法进行助听处理。在助听器中,通过与声音的环境相对应来改变用于助听的信号处理,能够大幅改善清晰度。例如,当室内杂乱时,提高频率的中高频域部分以便不产生不快感,当在室外交通噪音下,提高频率的低频域部分以不产生不快感。
接着,对便携式终端是携带式PC的情况进行说明。在携带式PC的情况下,具体地,为了在PC上实现以便携式电话机或照相机说明的功能,可以考虑将各自的构成要素的全部或者一部分安装至在PC上工作的软件、或者PC卡或USB连接等的外部设备等。
在上述实施方式中,环境音分类部110具体地由DSP等实现,但也可以由微处理器实现。另外,事件分割点判定部120具体地由微处理器等实现,也可以由DSP实现。
在上述实施方式中,时间区间的设定是重合设定的,但也可以不重合地设定时间区间。
在上述实施方式6中,位置信息检测部150构成为含有GPS等,但也不限于此。也可以是利用PHS/TV广播波的位置信息系统等。
在上述实施方式中,在判定为比例值大于域值的情况下,检测出与新接收的类别占有率对应的时间区间的开始点作为环境的变化时刻,但也不限于此。例如,也可以检测出与存储的类别占有率对应的时间区间的结束点作为环境变化时刻,也可以将占有率超过规定域值地变化的时刻,判定为环境变化的划分点,检测出该时刻作为变化时刻。
在上述实施方式中,在比例值超过域值变化的情况下,检测出变化时刻,但也可以在类别占有率中的一个环境音类别的占有率超过规定域值的情况下(例如,在公共汽车的占有率超过90%的情况下),检测出变化时刻。
在上述实施方式中,通过判定比例值是否大于域值来判定环境,但也可以不计算比例值,根据各时间区间中的各环境音类别的占有率来判定环境。在这样的情况下,也可以例如环境判定部125接收从类别占有率计算部124发送的类别占有率,通过决定在接收的类别占有率中各环境音类别的占有率之中的、占有率最高的环境音类别,来进行环境的判定。图21是关于不使用比例值的情况的环境判定的流程图。步骤S701~711是与图4中的步骤S101~111相同的处理。与图4中的处理不同点在于,在步骤712中,根据计算的类别占有率来判定环境,在步骤S713中,判定是否在判定的环境发生了变化,在发生环境变化时,在步骤S714中,将判定的环境发送到记录部20以及来信音需要与否判定部30。
另外,即使不计算类别占有率,也可以通过对判定对象区间中的各环境音类别的数量进行计数来判定环境。例如,环境的判定也可以通过决定在判定对象区间中数量最多的环境音类别来进行。
在上述实施方式中,便携式电话机1作为记录环境信息和时刻的结构,但也可以是根据环境信息和时刻,自动生成用于回想什么时候、在何处、做了什么的日记,或者自动生成例如旅行记录。另外,也可以根据环境信息和时刻,实时地推测用户的状况,进行按照其状况的导航服务等。
在上述实施方式中,对声音分析装置进行了说明,但本发明也可以是包含上述流程图中示出的步骤的方法,以及是包含使计算机执行上述流程图中示出的步骤的程序代码的程序,以及系统LSI等集成电路。系统LSI因集成度不同,也可以称为IC、LSI、超级LSI、特大型LSI。
另外,集成电路化的手段不限于LSI,也可以用专用电路或者通用处理器来实现。也可以在制造LSI后,利用可编程的FPGA(现场可编程门阵列:Field Programmable Gate Array)、可重新构成LSI内部的电路元件的连接或设定的可重构处理器。
进而,如果因半导体技术的进步或者派生的技术而出现替换LSI的集成电路化的技术,当然,也可以使用这样的技术进行功能块的集成电路化。 例如,可以有应用于生物技术的可能性。
工业上的利用可能性
本发明涉及的声音分析装置作为主要用于便携式终端等的声音分析装置是有用的。在此,所谓便携式终端是可佩戴式照相机、万步计、携带式PC、便携式电话机、数字静态照相机、数字视频摄像机以及助听器等。