CN101820565B - 音源位置的推断方法及其装置 - Google Patents

Abstract

一种音源的推断方法和装置，使用将多个麦克风(M1～M5)和摄像装置(12)一体化的声音图像采集单元(10)来同时采集声音信息和图像信息，将作为声音信息的声压波形数据和作为图像信息的图像数据存储于存储机构(24)，并从存储机构(24)仅抽取声压波形数据在显示机构(25)的显示画面(25M)显示声压级的时间序列波形图，在该图上指定了进行音源方向解析的时刻(t_c)之后，使用以该时刻(t_c)为中心的运算时间长度(T_c)的声压波形数据，计算由多个麦克风(M1～M5)采集到的声音的声压信号之间的相位差来推断音源方向，将所推断出的音源方向和在时刻(t_c)拍摄到的图像数据(G_c)合成，生成并显示描绘有表示音源方向的图形的音源位置推断图像。

Description

音源位置的推断方法及其装置

技术领域

本发明涉及使用由多个麦克风采集到的声音的信息和由摄像机构(image pickup means)拍摄到的图像的信息来推断音源的方法及其装置。 

背景技术

以往，作为推断声音到来方向的方法，提出有如下的所谓声学的方法：构筑等间距配置多个麦克风而形成的麦克风阵列，根据各麦克相对于基准麦克风的相位差来推断作为声波到来方向的音源方向(例如参照非专利文献1)。 

另外，还提出如下方法：不是根据配置在测量点上的多个麦克风的输出信号的相位差进行推断，而是将多个麦克风配置成相互交叉的直线状而构成多个麦克风对，根据相当于成对的两个麦克风之间的相位差的到达时间差与另一成对的两个麦克风之间的到达时间差之比来推断音源方向(例如参照专利文献1～3)。 

具体而言，如图10所示，将4个麦克风M1～M4分别以预定间隔配置在相互正交的两条直线上而构成2组麦克风对(M1、M3)和麦克风对(M2、M4)，根据输入到构成上述麦克风对(M1、M3)的麦克风M1、M3的声压信号的到达时间差与输入到构成上述麦克风对(M2、M4)的麦克风M2、M4的声压信号的到达时间差之比，推断测量点与音源位置所成的水平角θ，并将第五麦克风M5配置成不位于上述麦克风M1～M4所形成的平面上，进而构成4组麦克风对(M5、M1)、(M5、M2)、(M5、M3)、(M5、M4)，根据构成各麦克风对的麦克风之间的到达时间差来推断测量点和音源位置所成的仰角φ。 

由此，与使用麦克风阵列推断音源方向的情况相比，能够以较少的麦克风数量正确推断音源方向。 

此时，设置CCD摄像装置等图像采集机构拍摄上述推断的音源方向的图像后，若将该图像数据和音源方向数据合成而在图像中以图形显示上述推断的音源方向和声压级，则能够在视觉上掌握音源。 

也采用如下的推断音源的方法：在与声音采集的同时由图像采集机构连续拍摄图像，将图像信息作为动态图像而与声音信息一起存储于计算机中，其后通过进行音源方向的计算而在图像中以图形显示所推断的音源方向和声压级，以此来推断音源。 

专利文献1：日本特开2002-181913号公报 

专利文献2：日本特开2006-324895号公报 

专利文献3：日本特开2008-224259号公报 

非专利文献1：大贺寿郎、山崎芳男、金田丰；音响系统和数字处理，corona社，1995 

发明内容

但是，在上述以往的方法中，将声音信息和图像信息输入计算机后，使用所有输入的信息进行音源方向的计算。因此，对于音源位置的解析需要花费时间，不能在现场马上得知音源位置的推断结果。此外，还存在对于测量的妥当性无法进行验证这样的问题。 

本发明是鉴于以往的问题点而作出的，目的在于提供一种在现场抽取测量数据的任意部分来推断音源位置的方法及其装置。 

本发明的技术方案1是音源的推断方法，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息，将所采集到的声音的声压信号的数据即声压波形数据和图像的图像数据分别存储于存储机构，并且从存储机构仅抽取上述声压波形数据来显示声压级的时间序列波形图(graph of a time-series waveform：时序波形图)，在该图上指定了进行用于推断音源方向的运算的时间位置之后，使用包括该所指定的时间位置在内的预定运算时间长度的 声压波形数据，计算上述多个麦克风所采集到的声音的声压信号之间的相位差来推断音源方向，将上述所推断出的音源方向和在上述运算时间内拍摄到的图像数据合成，生成描绘有表示上述所推断的音源方向的图形的音源位置推断图像，使用该音源位置推断图像推断上述音源。 

技术方案2是在技术方案1所述的音源的推断方法中，包括如下步骤：第一步骤，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息；第二步骤，对上述所采集到的声音的声压信号进行A/D转换，作为声压波形数据存储于存储机构，对所采集的图像信号进行A/D转换，作为图像数据存储于存储机构；第三步骤，从存储机构抽取上述声压波形数据生成声压级的时间序列波形图，而显示在显示机构的显示画面上；第四步骤，在上述显示画面上指定图上的特定点，指定进行用于推断音源方向的运算的时间位置；第五步骤，从上述存储机构抽取包括该所指定的时间位置在内的预先设定的运算时间长度的声压波形数据；第六步骤，使用上述抽取出的声压波形数据计算上述多个麦克风所采集到的声音的声压信号之间的相位差来推断音源方向；第七步骤，从上述存储机构抽取在上述运算时间的开始时刻和结束时刻之间的时刻处的图像数据；第八步骤，将在上述第六步骤推断出的音源方向的数据和在上述第七步骤抽取的图像数据合成，生成描绘有表示上述所推断的音源方向的图形的音源位置推断图像；第九步骤，使用该音源位置来推断图像推断上述音源。 

技术方案3是在技术方案2所述的音源的推断方法中，在上述第三步骤中，从上述存储机构抽取的声压级的时间序列波形是采集音的大小的时间序列波形。 

技术方案4是在技术方案2所述的音源的推断方法中，在上述第三步骤中，设置如下两个步骤，即：指定要推断的声压信号的频带的步骤、和对从上述存储机构抽取出的声压级的时间序列波形进行频率分析来求出上述所指定的频带中的声压级的时间序列波形的步骤，将 上述求出的指定频带的声压级的时间序列波形图显示于显示机构的显示画面。 

技术方案5是在技术方案1所述的音源的推断方法中，将上述所采集到的声音的声压信号的数据即声压波形数据和所采集的图像的图像数据分别存储于暂时保存机构，并且在音源方向的测量开始的指令发出时，抽取在从上述测量开始的指令发出的时刻起回溯预定逆流时间长度而成的时刻起、到再经过预先设定的解析时间长度的时刻之间存储于上述暂时保存机构的声压波形数据和图像数据，将这些数据分别作为声音文件和动态图像文件而存储于上述存储机构，使用该存储的声音文件的声压波形数据，计算上述多个麦克风所采集到的声音的声压信号之间的相位差来推断音源方向之后，将上述所推断的音源方向和存储于上述动态图像文件中的、在用于推断上述音源方向的时间内拍摄到的图像数据进行合成，生成描绘有表示上述所推断的音源方向的图形的音源位置推断图像。 

技术方案6是在技术方案5所述的音源的推断方法中，包括如下步骤：第一步骤，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息；第二步骤，对所采集的声音的声压信号和图像信号进行A/D转换，分别作为声压波形数据和图像数据，并将数据在暂时保存机构中存储预定期间；第三步骤，发出音源方向的测量开始的指令；第四步骤，从上述暂时保存机构抽取推断音源所使用的解析时间长度的声压波形数据和图像数据，将上述抽取出的声压波形数据和图像数据分别作为声音文件和动态图像文件而存储于上述存储机构；第五步骤，从上述声音文件抽取上述音源方向的推断运算所使用的运算时间长度的声压波形数据，计算上述多个麦克风所采集到的声音的声压信号之间的相位差来推断音源方向；第六步骤，从上述动态图像文件抽取在上述运算的开始时刻和结束时刻之间的时刻处的图像数据；第七步骤，将在上述第五步骤推断出的音源方向和在上述第六步骤抽取出的图像数据合成，生成描绘有表示上述所推断的音源方向的图形的音源位置推断图像；第八步骤，使用该 音源位置推断图像推断音源，在上述第四步骤从暂时保存机构抽取的上述解析时间长度的声压波形数据和图像数据是在自比发出上述测量开始的指令的时刻即第一时刻提前了预先设定的逆流时间长度的时刻即第二时刻起到上述第一时刻为止的期间存储于上述暂时保存机构的声压波形数据和图像数据、和在自上述第一时刻起到第三时刻为止的期间存储于上述暂时保存机构的声压波形数据和图像数据，上述第三时刻是自上述第一时刻起经过了比上述解析时间长度少了上述逆流时间长度的时间长度而成的时刻。 

技术方案7是在技术方案6所述的音源的推断方法中，在上述第四步骤与上述第五步骤之间，设置根据存储为上述声音文件的声压波形的数据而生成并显示声压波形的时间序列波形图的步骤、和指定上述显示的图的任意时刻的步骤，在上述第五步骤中，从上述声音文件抽取自所指定的时刻起经过了上述运算时间长度的声压波形数据。 

技术方案8是音源的推断装置，包括：具有分别以预定间隔配置于相互交叉的两条直线上的2组麦克风对的麦克风组、在音源方向拍摄到的图像的摄像机构、以及显示机构，根据由上述麦克风组采集到的自音源传播的声音的声压信号和拍摄音源方向的图像信号，生成显示了音源位置的数据的图像而显示于显示机构，从而推断音源，该音源的推断装置的特征在于：包括：A/D转换器，将由上述各麦克风采集到的声压信号和由摄像机构拍摄到的图像信号分别转换为数字信号；存储机构，将经过上述A/D转换后的声压信号按时间序列排列而成的声压波形数据作为声音文件存储，将上述A/D转换后的图像信号按时间序列排列而成的动态图像数据作为动态图像文件存储；声压波形生成机构，从上述声音文件抽取预先设定的运算时间长度的声压波形数据，生成声压级的时间序列波形图；运算位置指定机构，通过指定上述时间序列波形图的特定点，来指定进行用于推断音源方向的运算的时间位置；音源方向推断机构，从上述声音文件抽取包括所指定的时间位置在内的预先设定的运算时间长度的声压波形数据，对该抽取的声压波形数据进行频率解析，求出构成上述2组麦克风对的麦克 风之间的各相位差，根据所求出的2组麦克风对的相位差之比推断音源方向；图像数据抽取机构，从上述动态图像文件抽取在上述运算时间的开始时刻和结束时间之间的时刻处的图像数据；音源位置推断图像生成机构，将上述所推断的音源方向的数据和上述抽取出的图像数据合成，生成描绘出表示上述所推断的音源方向的图形的音源位置推断图像，上述多个麦克风和上述摄像机构被组装为一体，同时采集声音信息和图像信息，上述显示机构显示由上述声压波形生成机构生成的声压波形的图和由上述音源位置推断图像生成机构生成的音源位置推断图像。 

技术方案9是在技术方案8所述音源的推断装置中，设置有：暂时保存机构，将上述A/D转换后的声压信号作为声压波形数据、并将上述A/D转换后的图像信号作为图像数据而暂时存储预定期间； 

输出机构，输出用于开始音源方向的推断的指令信号； 

解析文件生成机构，从上述暂时保存机构抽取预先设定的解析时间长度的声压波形数据和图像数据，生成声音文件和动态图像文件， 

上述解析文件生成机构，在被输入了上述指令信号时，抽取在从第二时刻到第一时刻为止的期间存储于上述暂时保存机构的声压波形数据和图像数据、在从上述第一时刻到第三时刻为止的期间存储于上述暂时保存机构的声压波形数据和图像数据而生成声音文件和动态图像文件，上述第一时刻是发出上述测量开始的指令的时刻，上述第二时刻是比上述第一时刻提前了预先设定的逆流时间长度的时刻，上述第三时刻是自上述第一时刻起经过了比上述解析时间长度少了上述逆流时间长度的时间长度的时刻，上述存储机构存储由上述解析文件生成机构生成的声音文件和动态图像文件。 

技术方案10是在技术方案8或9所述音源的推断装置中，在上述麦克风组追加不位于上述2组麦克风对所形成的平面上的第五麦克风，并且，在上述音源方向推断机构，使用构成上述2组麦克风对的麦克风之间的相位差、与由上述第五麦克风和构成上述2组麦克风对的4个麦克风分别构成的4组麦克风对的各麦克风之间的相位差，来推断音源方向。 

根据本发明，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息，将所采集的声音的声压信号的数据即声压波形数据和图像的图像数据分别存储于存储机构，并且使用从存储机构仅调用上述声压波形数据并显示的声压级的时间序列波形图，指定进行用于推断音源方向的运算的时间位置，使用包括该所指定的时间位置在内的预定运算时间长度的声压波形数据来推断音源方向，因此，能够在现场抽取测量数据的任意部分来进行音源位置的推断。因此，能够大幅度缩短音源位置的推断时间。 

在推断音源时，将所推断的音源方向和在上述运算施加内拍摄到的图像数据合成，生成描绘有表示所推断的音源方向的图形的音源位置推断图像，使用该音源位置推断图像推断上述音源，因此能够可靠地推断音源。 

对于测量点的位置不适当等测量的妥当性，也能够提前判断，因此能够高效率地进行音源位置的推断。而且，能够取出任意时间的数据，因此也能够掌握音源位置的变化，并能够在现场验证所传播的声音的传播过程。 

按照技术方案2记载的步骤推断音源，则能够在现场可靠地抽取测量数据的任意部分来进行音源位置的推断。 

若使显示的声压级的时间序列波形为采集音的大小的时间序列波形，则能够进行与传播音的大小相应的音源位置的推断。 

若使显示的声压级的时间序列波形为预定频带的声压级的时间序列波形，则例如能够进行以来自电源盒的变压器的声音、空调机的振动声音等来自特定设备的传播音为对象的音源位置的推断。 

根据本发明，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息，将所采集的声音的声压信号的数据即声压波形数据和图像的图像数据分别存储于暂时保存机构，并在发出了音源方向的测量开始的指令时，抽取在从指令发出的时刻起回溯预定逆流时间长度而成的时刻起、到再经过预先设定的解 析时间长度的时刻为止的期间存储于上述暂时保存机构的声压波形数据和图像数据，将这些数据分别作为声音文件和动态图像文件而存储于上述存储机构，使用该存储的声音文件的声压波形数据，计算上述多个麦克风所采集到的声音的声压信号之间的相位差来推断音源方向，因此，即使在发生了突发声音、间歇声音的情况下，也能可靠地推断这些声音的发生源方向。因此，能够消除测量损失，并能够防止增加不需要的测量数据，因此，能够高效率地进行音源位置的推断。 

在推断音源时，将所推断的音源方向和在进行音源方向的推断运算的时间内拍摄到的图像数据合成，生成描绘有表示所推断的音源方向的图形的音源位置推断图像，使用该音源位置推断图像推断上述音源，因此能够可靠地推断音源。 

按照技术方案6记载的步骤推断音源，则能够可靠地推断突发声音、间歇声音的发生源。 

若使显示的声压级的时间序列波形为采集音的大小的时间序列波形，则能够进行与传播音的大小相应的音源位置的推断。 

根据存储为声音文件的声压波形数据生成并显示声压波形的时间序列波形图，并指定该图的任意时刻，从声音文件抽取自所指定的时刻起经过了运算时间长度的声压波形数据来推断音源方向，从而能够高效率且有效地利用存储为声音文件的声压波形的数据，因此能够高效率地进行音源位置的推断。 

通过使用技术方案8记载的音源的推断装置，能够可靠地抽取测量数据的任意部分，因此能够高效率地进行音源位置的推断。 

通过使用技术方案9记载的音源的推断装置，能够可靠地推断突发声音、间歇声音的发生源。 

此时，构成由构成分别以预定间隔配置于相互交叉的两条直线上的2组麦克风对的第一～第四麦克风、和不位于2组麦克风对所形成的平面上的第五麦克风构成的声音采集机构，使用构成2组麦克风对的麦克风之间的相位差之比和上述第一～第五麦克风之间的相位差推断音源方向，则能够以较少的麦克风数量，高效率且正确地推断水 平角θ和仰角φ。 

上述技术方案的概要并非列举了本发明的全部的必要特征，这些特征组中的子组合也可作为本发明的技术方案。 

附图说明

图1是表示本发明实施方式1的音源推断系统的构成的功能框图。 

图2是表示本实施方式1的音源的推断方法的流程图。 

图3是表示声压级的时间序列波形的一例子的图。 

图4是表示显示了音源位置推断图像的显示画面的一例子的图。 

图5是表示本发明实施方式2的音源推断系统的构成的功能框图。 

图6是表示本实施方式2的音源的推断方法的流程图。 

图7是用于说明逆流模式的数据取出方法的图。 

图8是表示显示了音源位置推断画面的显示画面的一例子的图。 

图9是表示显示了声压级的时间序列波形图的显示画面的一例子的图。 

图10是表示以往的使用麦克风对的音源探查方法的各麦克风排列的图。 

附图标记的说明 

1、2 音源推断系统 

10 声音图像采集单元 

11 声音采集机构 

M1～M5 麦克风 

12 CCD摄像装置 

13 麦克风固定部 

14 摄像装置支承座 

15 支柱 

16 旋转台 

16r 旋转构件 

17 基座 

20、20Z 音源位置推断装置 

21 放大器 

22 A/D转换器 

23 图像输入输出机构 

24 存储机构 

25 显示机构 

25 M显示画面 

25a 声压级显示部 

25b 图像显示部 

26 运算时间长度设定机构 

27 运算频率指定机构 

28 声压波形生成机构 

29 运算位置指定机构 

30 声压波形数据取出机构 

31 音源方向推断机构 

32 图像数据取出机构 

33 数据合成机构 

34 表示音源方向的图形 

35 音源位置推断画面 

36 声压波形显示画面 

37 声压级显示画面 

41 模式切换机构 

41a 模式切换部 

41b 测量开始信号输出部 

41p 测量可能显示部 

41q 逆流有效显示部 

42 缓存 

42a 第一缓存 

42b 第二缓存 

43 解析时间长度设定机构 

44 逆流时间长度设定机构 

45 文件生成机构 

45a 声音文件 

45b 动态图像文件 

具体实施方式

以下，通过实施方式详细说明本发明，但以下的实施方式不是用来限定权利要求书的技术方案，实施方式中说明的特征的组合不都限定为本发明的解决问题的必要特征。 

实施方式1 

图1是表示本发明实施方式1的音源推断系统1的构成的功能框图。 

音源推断系统1包括声音图像采集单元10和音源位置推断装置20。 

声音图像采集单元10包括声音采集机构11、作为图像采集机构的CCD摄像装置(以下称为摄像装置)12、麦克风固定部13、摄像装置支承座14、支柱15、旋转台16、基座17。声音采集机构11包括多个麦克风M1～M5。 

麦克风M1～M5设置在麦克风固定部13上，摄像装置12设置在摄像装置支承座14上，麦克风固定部13和摄像装置支承座14由三根支柱15连接。即，声音采集机构11和摄像装置12被一体化。麦克风M1～M5配置在摄像装置12的上部。 

基座17是由三个支脚构成的支承构件，在该基座17上设置有旋转台16。摄像装置支承座14搭载于旋转台16的旋转构件16r上。 

因此，通过使旋转构件16r旋转，能够使声音采集机构11和摄像装置12一体旋转。 

麦克风M1～M5分别测量从未图示的音源传播的声音的声压级。 

麦克风M1～M5的配置与上述图10所示的配置相同，将4个麦克风M1～M4配置为构成分别以预定间隔配置在相互正交的两条直线上而成的2组麦克风对(M1、M3)和麦克风对(M2、M4)，并且将第五麦克风M5配置成不位于上述麦克风M1～M4所形成的平面上，详细而言，将第五麦克风M5配置在以麦克风M1～M4所形成的正方形为底面的四角锥的顶点位置。由此，由构成4组麦克风对(M5、M1)～(M5、M4)。 

在本例中，将摄像装置12的拍摄方向设定为穿过上述正交的两条直线的交点且与上述两条直线成大致45°的方向。因此，声音图像采集单元10的朝向为图1的空心箭头D的方向。摄像装置12采集与声音图像采集单元10的朝向相对应的图像。 

音源位置推断装置20包括放大器21、A/D转换器22、图像输入输出机构23、存储机构24、显示机构25、运算时间长度设定机构26、运算频率指定机构27、声压波形生成机构28、运算位置指定机构29、声压波形数据取出机构30、音源方向推断机构31、图像数据取出机构32、数据合成机构33。 

放大器21具有低通滤波器，从麦克风M1～M5所采集的声音的声压信号除去高频噪声成分，并将上述声压信号放大而输出到A/D转换器22。A/D转换器22生成将上述声压信号A/D转换而成的声压波形数据，并将其输出到存储机构24。 

图像输入输出机构23输入由摄像装置12连续拍摄到的图像信号，每隔预定时间(例如1/30秒)将拍摄方向的图像数据输出到存储机构24。 

存储机构24以时间序列排列并存储声压波形数据和图像数据。 

作为以时间序列排列并存储声压波形数据和图像数据的方法，可以使用同步存储声压波形数据和图像数据、或分别对声压波形数据和图像数据赋予时刻数据来进行存储等公知的方法。 

以下将存储了声压波形数据的文件称为声音文件，将存储了图像 数据的文件称为动态图像文件。 

显示机构25包括显示画面25M，该显示画面25M包括用于显示后述的声压波形数据的图的声压级显示部25a和显示用于推断音源位置的音源位置推断图像的图像显示部25b。由声压波形生成机构28生成声压波形数据的图，由数据合成机构33生成音源位置推断图像。 

运算时间长度设定机构26设定用于推断音源方向的运算所使用的声压波形数据的大小、即运算时间长度。 

运算频率指定机构27指定由声压波形生成机构28生成的声压级的时间序列波形的频带。 

声压波形生成机构28从存储机构24的声音文件抽取声压波形数据，生成用于显示声压级的时间序列波形图的数据。该声压波形生成机构28具有频率分析机构28F，在由运算频率指定机构27指定了频带的情况下，对从存储机构24的声音文件调出的声压级的时间序列波形进行频率分析，生成用于显示预定频带的声压级的时间序列波形图的数据。 

运算位置指定机构29指定显示于显示画面25M的声压级显示部25a的图的特定点，来指定进行用于推断音源方向的运算的时间位置。 

声压波形数据取出机构30从存储机构24的声音文件抽取进行用于推断音源方向的运算的声压波形数据、即以上述所指定的时间位置为中心的时间宽度为运算时间长度的声压波形数据，并将其输出到音源方向推断机构31。 

音源方向推断机构31根据所取出的声压波形数据求出各麦克风M1～M5之间的相位差，根据该所求出的相位差推断音源方向，将其推断结果输出到数据合成机构33。关于推断音源方向的运算的详细情况将在后述说明。 

图像数据取出机构32从存储机构24抽取上述运算时间的开始时刻和结束时刻中的最中间时刻处的图像数据，并将其输出到数据合成机构33。 

数据合成机构33将由音源方向推断机构31推断出的音源方向的 数据和从图像数据取出机构32输出的图像数据合成，生成在图像中描绘有表示音源方向的图形的图像即音源位置推断图像而将其输出到显示机构25。 

接着，参照图2的流程图说明使用音源推断系统1推断音源方向的方法。 

首先，将声音图像采集单元10和音源位置推断装置20连接之后，将声音图像采集单元10设置在测量点。然后，使摄像装置12的拍摄方向朝向测量预定位置，用麦克风M1～M5采集声音，用摄像装置12采集测量预定位置的图像(步骤S 11)。此时，例如以3°/sec左右的缓慢速度使旋转台16以测量预定位置为中心往返，同时采集声音和图像。旋转范围为±60°左右较为适当。 

接着，对麦克风M1～M5的输出信号和摄像装置12的图像信号分别进行A/D转换，将声压波形数据存储于存储机构24的声音文件，将图像数据存储于动态图像文件(步骤S12)。 

接着，从声音文件调出声压波形数据来生成声压级的时间序列波形图，将该图显示于显示机构25的显示画面25M上所设置的声压级显示部25a(步骤S13)。 

图3是表示其一例子的图，图的横轴表示时间(秒)，纵轴表示声压级(dB)，实线表示的图P(t)表示采集声音的大小，即是表示所有频率的声压级的时间变化的图。显示于声压级显示部25a的、图P(t)所显示的画面称为声压波形显示画面36。 

图像显示部25也未必一定显示图像，在图3中，将当前所拍摄的图像作为动态图像来显示。 

测量者输入是从最初进行音源方向的推断还是指定测量时刻来进行音源方向的推断(步骤S14)。但是，在采集声音和图像的时间较短的情况下，要指定测量时刻来进行音源方向的推断在作业方面较为困难，因此在采集到声音和图像之后，优选是采用与指定测量时刻来进行音源方向的推断时相同的方法进行音源方向的推断。 

在从最初进行音源方向的推断的情况下，从声音文件的开头抽取 预先设定的运算时间长度T_c的声压波形数据来进行音源方向的推断(步骤S15)。 

关于音源方向的推断用FFT对声压波形数据进行频率解析，按各频率分别求出麦克风M1～M5之间的各相位差，根据该求出的相位差按各频率推断音源方向。在本例中，取代相位差，而使用与相位差成正比的物理量即到达时间差来求出水平角θ和仰角φ。 

对于该步骤S15的水平角θ和仰角φ的计算方法将在后述。 

接着，从动态图像文件中抽取位于运算时间的中心时刻t_m、即从测量开始时刻t₀起经过了运算时间长度T_c的一半长度的时刻t_m＝t₀+(T_c/2)的图像数据G_c(步骤S16)。 

然后，将上述计算出的各频率的音源方向的数据(θ_f，φ_f)和上述图像数据G_c合成(步骤S17)，并将该合成后的图像即音源位置推断图像显示于显示机构25的显示画面25M上所设置的图像显示部25b上，并在声压级显示部25a显示作为音源位置推断图像的数据的图像数据G_c的采集时间(步骤S18)。 

图4是表示其一例子的图，图像显示部25b中显示在上述图像数据G_c上描绘出表示音源方向的图形(网眼图案的圆形记号)34的音源位置推断画面35。音源位置推断画面35的横轴表示水平角θ_f，纵轴表示仰角φ_f。圆形大小表示声压级。 

可以对每个预先设定的频带显示所推断的音源方向。此时，只要对每个频带设定网眼图案的圆形记号34的颜色即可。 

也可以取代声压级的时间序列波形图，而在声压级显示部25a显示将横轴设为水平角θ时的显示声压级(dB)的声压级显示画面37。 

最后，根据音源位置推断画面35推断音源(步骤S19)。在音源位置推断画面35中，在描绘出表示音源方向的图形34的部位所反映出的图像就是所推断的音源的图像。 

在指定测量时刻来进行音源方向的推断的情况下，进入步骤S21。在步骤S21中，通过指定上述声压级的时间序列波形图上的特定点，来指定进行用于推断音源方向的运算的时间位置。 

例如，在由计算机构成音源位置推断装置20的存储机构24～数据合成机构33的情况下，在显示于显示器(显示机构25)的画面上的声压级的时间序列波形图上，具有鼠标的单击位置，取得图上的时间位置，从而指定进行用于推断音源方向的运算的时间位置。 

将所指定的时间位置设为时刻t_c时，该时刻t_c成为运算时间的中心时刻，因此从声音文件抽取自比时刻t_c提前了运算时间长度T_c一半长度的时刻起到比时刻t_c滞后了解析时间长度T_c一半长度的时刻的声压波形数据，进行音源方向的推断(步骤S22)。 

关于音源方向的推断与上述步骤S15相同。 

音源方向的推断完成后，在运算时间的中心时刻即时刻t_c，从动态图像文件抽取拍摄的图像数据和G_c(步骤S23)，将上述计算出的每频率的音源方向的数据(θ_f、φ_f)和上述图像数据G_c合成(步骤S24)，将上述合成的图像即音源位置推断画面35显示于显示画面25M的图像显示部25b，并将上述图像数据G_c的采集时间显示于声压级显示部25a(步骤S25)。上述音源位置推断画面35是与图4所示相同的画面。 

最后，根据音源位置推断画面35推断音源(步骤S26)。 

通过反复进行从上述步骤S21到步骤S26的作业，能够高效率地推断多个时刻的音源方向，因此，能够高效率且可靠地进行音源的推断。在步骤S26中得到的音源位置推断画面35中描绘的音源方向的偏差较大时，优选是改变声音图像采集单元10的设置位置来进行再测量。 

步骤S15中的水平角θ及仰角φ的计算方法如下所示。 

设各麦克风对(Mi、Mj)的麦克风Mi和麦克风Mj之间的到达时间差为D_ij，则作为声音入射方向的水平角θ及仰角φ由下式(1)、(2)表示，因此，使用FFT对各麦克风M1～M5的输出信号进行频率解析，计算作为对象的频率f处的各麦克风M_i、M_j之间的到达时间差D_ij，从而能够求出上述水平角θ及仰角φ。 

(式1) 

$\mathrm{\θ}={\tan }^{-1}\left(\frac{D_{13}}{D_{24}}\right)....\left(1\right)$

$\mathrm{\φ}={\tan }^{-1}\left(\frac{D_{51}+D_{52}+D_{53}+D_{54}}{2\sqrt{3}\·\sqrt{{D^2}_{13}+{D^2}_{24}}}\right)....\left(2\right)$

即，根据输出到构成分别以预定间隔配置在相互正交的两条直线上的2组麦克风对(M1、M3)及麦克风对(M2、M4)的麦克风M1、M3的声压信号的到达时间差D₁₃与输入到构成上述麦克风对(M2、M4)的麦克风M2、M4的声压信号的到达时间差D₂₄之比，推断测量点和音源位置的水平角θ，根据上述到达时间差D₁₃、D₂₄、和上述第五麦克风M5与其它麦克风M1～M4的到达时间差D_5j(j＝1～4)推断测量点与音源位置所成的仰角φ。 

求出输入到两个麦克风对(M_i、M_j)的信号的交叉光谱P_ij(f)，并使用作为对象的上述频率f的相位角信息Ψ(rad)，通过下式(3)计算上述到达时间差D_ij。 

(式2) 

$D_{\mathrm{ij}}=\frac{1}{2\mathrm{\πf}}\mathrm{\Ψ}\left[P_{\mathrm{ij}}\left(f\right)\right]\left(\sec \right)....\left(3\right)$

根据每隔预定时间存储的拍摄方向的每个图像数据进行音源方向的推断。 

这样，在本实施方式1中，使用将多个麦克风M1～M5和摄像装置12一体化的声音图像采集单元10同时采集声音和图像后，进行A/D转换，将声压波形数据存储于存储机构24的声音文件，将图像数据存储于动态图像文件，并且从存储机构24仅调出声压波形数据，在显示机构25的显示画面25M显示声压级的时间序列波形图，在该图上指定进行用于推断音源方向的运算的时刻t_c之后，使用以该指定的时刻t_c为中心的运算时间长度T_c的声压波形数据，计算由多个麦克风M1～M5采集到的声音的声压信号之间的相位差来推断音源方向，将该推断的音源方向和在时刻t_c拍摄到的图像数据G_c合成，生成描绘有表示所推断的音源方向的图形的音源位置推断图像，来推断音 源，因此能够大幅度缩短音源位置的推断时间。 

在测量点的位置不适当等测量的妥当性存在问题的情况下，能够提前判断，因此能够高效率地进行音源位置的推断。 

在上述实施方式1中，在采集声音和图像的同时指定测量时刻来进行音源方向的推断，但也可以在采集了声音和图像之后，指定测量时刻来进行音源方向的推断。若使用本发明的指定测量时刻来推断音源方向的方法，则能够取出任意时间的数据来生成音源位置推断图像，因此与以往相比，能够大幅度减少音源位置推断图像的生成张数。因此，能够大幅度缩短音源位置的推断时间。而且，也能够掌握音源位置的变化，并且对于传播的声音的传播过程，也能够在现场进行验证。 

在上述例子中，将声压级的时间序列波形图P(t)作为采集声音的大小，但也能够将其切换为每个预先设定的频带的声压级的图。 

具体而言，利用运算频率指定机构27指定由声压波形生成机构28生成的声压波形的频带，使用设于声压波形生成机构28的频率分析机构28F，对从存储机构24的声音文件调出的声压波形数据进行频率解析，生成用于显示上述所指定的频带的声压级的时间序列波形图的数据即可。 

作为具有以频率f为中心的预定频带宽度的频带的声压波形的图，例如如图3的虚线所示的图P_f(t)那样，大多具有比所有频率的声压波形的图都尖锐的峰值。 

如此，通过使用限制了频带的声压波形的图，能够高精度地进行以来自电源盒的变压器的声音、空调机的振动声音等来自特定设备的传播音为对象的音源位置的推断。 

如在车厢内进行音源推断的情况那样的、低频率的声音是车外的噪音而不需要对其解析的情况下，优选是使用限制了频带的声压波形的图，进行仅中频带区域声音的音源推断。 

在上述例子中，一边使声音图像采集单元10旋转一边采集声音和图像，但在间歇发生声音、预想到存在随时间变化的音源的情况下， 优选是固定声音图像采集单元10进行测量。 

在上述例子中，使用五个麦克风M1～M5推断测量点与音源位置所成的水平角θ和仰角φ，但在仅凭水平角θ足以推断音源位置的情况下，省略麦克风M5，仅使用分别以预定间隔配置在相互交叉的两条直线上的2组麦克风对(M1、M3)、(M2、M4)即可。 

实施方式2 

但是，想到在上述实施方式1中，会存在对于产生了突发声音、间歇声音的情况，无法充分应对、存在测量损失。 

因此，如图5所示，具有将由A/D转换器22进行了A/D转换后的声压信号和由图像输入输出机构23进行了A/D转换后的图像信号分别作为声压波形数据和图像数据暂时保持、并输出用于开始音源方向推断的指令信号的机构(模式切换机构41的测量开始信号输出部41a)，在被发出音源方向的测量开始的指令时，抽取从自发出指令的时刻起后退预定逆流时间长度而成的时刻起、到经过了预先设定的解析时间长度的时刻之间的声压波形数据和图像数据，构筑使用这些数据推断音源的音源推断系统2，则即使在发生了突发声音、间歇声音的情况下，也能可靠地进行音源的推断。 

图5是表示本实施方式2的音源推断系统2的构成的功能框图，音源推断系统2包括声音图像采集单元10和音源位置推断装置40Z。 

声音图像采集单元10的构成和动作与上述实施方式1相同，因此省略其说明。 

音源位置推断装置40Z包括模式切换机构41、放大器21、A/D转换器22、图像输入输出机构23、作为暂时保存机构的缓存器42、存储机构24、解析时间长度设定机构43、逆流时间长度设定机构44、文件生成机构45、显示机构25、声压波形数据取出机构30、音源方向推断机构31、图像数据取出机构32、数据合成机构33。 

本例子的音源推断系统2具有通常模式和逆流模式这两个测量模式。 

通常模式是使用自作为用于开始音源方向推断的指令信号的测 量开始信号输入的时刻起经过了预定的解析时间长度的数据进行音源推断。逆流模式是使用自测量开始信号的输入时起回溯预定时间的时刻的数据进行音源推断。 

模式切换机构41包括模式切换部41a、测量开始信号输出部41b、测量可能显示部41p、逆流有效显示部41q和测量开始用开关41S。 

模式切换部41a将测量模式切换为通常模式和逆流模式中的任一模式，并对文件生成机构45指示从存储机构24取出数据的取出方法。 

测量开始信号输出部41b在被按下测量开始用开关41S时输出测量开始信号。 

测量可能显示部41p使LED点亮等来使测量者目视确认到缓存器42中已存储了可测量的数据数这一状况。 

逆流有效显示部41q使LED点亮等来使测量者目视确认到缓存器42中已存储了可测量的数据数这一状况。在逆流模式下，在逆流有效显示部41q的LED不点亮的状态，不输出测量开始信号。 

放大器21具有低通滤波器，从由麦克风M1～M5采集的声音的声压信号除去高频噪声成分，并将上述声压信号放大而输出到A/D转换器22。A/D转换器22生成将上述声压信号进行了A/D转换而成的声压波形数据，并将其输出到缓存器42。 

图像输入输出机构23输入由摄像装置12连续拍摄到的图像信号，每隔预定时间(例如1/30秒)将拍摄方向的图像数据输出到上述缓存器42。 

缓存器42暂时存储声压波形数据和图像数据预定期间。该缓存器42包括第一缓存器42a和第二缓存器42b。 

若第一缓存器42a存满，则在第二缓存器42b存储新的声压波形数据和图像数据。然后，若第二缓存器42b存满，则将存储于第一缓存器42a的数据全部删除，在第一缓存器42a存储新的声压波形数据和图像数据。 

在将声压波形数据和图像数据存储于第一缓存器42a或第二缓存器42b时，可以使用使声压波形数据和图像数据同步地存储或对声压 波形数据和图像数据分别赋予时刻数据而存储等公知的方法。 

解析时间长度设定机构43设定用于解析声压波形数据和图像数据来推断音源的时间长度、即解析时间长度T_w。 

逆流时间长度设定机构44设定从发出用于推断音源的测量开始信号的时刻即第一时刻t1起后退的逆流时间长度T_z。 

文件生成机构45从缓存器42取出在作为第二时刻的时刻t₂＝t₁-T_z与作为第三时刻的时刻t₃＝t₁+(T_w-T_z)之间存储于上述缓存器42的声压波形数据和图像数据，由声压波形数据生成声音文件45a，由图像数据生成动态图像文件45b，将这些文件45a、45b存储于存储机构24。 

存储机构24存储由文件生成机构45生成的声音文件45a和动态图像文件45b。存储机构24由RAM构成，可进行改写。 

显示机构25包括显示画面25M，该显示画面25M包括用于显示后述的用于推断音源位置的图像即音源位置推断图像的图像显示部25a、表示出音源方向的水平角θ和声压级之间关系的声压级显示部25b。 

声压波形数据取出机构31从存储于存储机构24的声音文件45a取出用于进行音源方向的推断运算的声压波形数据、即预先设定的解析时间的声压波形数据，并将其输出到音源方向推断机构34。 

音源方向推断机构31根据所取出的各声压波形数据求出各麦克风M1～M5之间的相位差，根据所求出的相位差推断音源方向，将该推断结果输出到数据合成机构33。关于推断音源方向的详细情况，与上述实施方式1相同。 

图像数据取出机构32从存储于存储机构24的动态图像文件45b抽取上述解析时间的开始时刻和结束时刻中的最中间时刻处的图像数据，并将其输出到数据合成机构33。 

数据合成机构33将由音源方向推断机构31推断出的音源方向的数据和从图像数据取出机构32输出的图像数据合成，生成在图像中描绘有表示音源方向的图形的音源位置推断图像而将其输出到显示机构25。 

接着，参照图6的流程图说明使用音源推断系统2推断音源方向的方法。 

首先，将声音图像采集单元10和音源位置推断装置20Z连接之后，将声音图像采集单元10设置在测量点(步骤S31)。 

接着，设定了解析时间长度T_w和逆流时间长度T_z之后(步骤S32)，选择测量模式(步骤S33)。 

首先，对在步骤S33中选择测量模式为逆流模式的情况进行说明。 

选择了测量模式之后，使摄像装置12的拍摄方向朝向测量预定位置，用麦克风M1～M5采集声音，用摄像装置12采集测量预定位置的图像(步骤S34)。 

在本例子中，由于使测量预定位置为间歇发出声音的喷泉，因此，将声音图像采集单元10固定来进行测量。在喷泉的附近进行测量时，整个喷泉不进入图像视场，因此，例如以3°/sec左右的缓慢速度使旋转台16以喷泉的中央部为中心往返，同时采集声音和图像即可。旋转范围为±60°左右较为适当。 

接着，对麦克风M1～M5的输出信号和摄像装置12的图像信号分别进行A/D转换，将声压波形数据和图像数据(以下称为数据)存储于缓存器42(步骤S35)。 

在缓存器42存储逆流时间长度T_z的数据时，逆流有效显示部41q的LED点亮，因此，测量者通过该LED的点亮，判断是否可进行逆流模式的测量(步骤S36)。 

在逆流有效显示部41q的LED未点亮时，缓存器42中未存储逆流时间长度T_z的数据。因此，不能进行逆流模式的测量，继续存储数据，直到逆流有效显示部41q的LED点亮。 

在逆流有效显示部41q的LED点亮时，可进行逆流模式的测量，任何时候均可输出测量开始信号。 

接着，判断是否输出测量开始信号(步骤S37)。在未输出测量开始信号的情况下，继续存储数据。 

在输出了测量开始信号之后，也继续进行将麦克风M1～M5的输出信号和摄像装置12的图像信号分别作为声压波形数据和图像数据存储于缓存器42的操作(步骤S38)。 

然后，通过测量可能显示部41p的LED的点亮判断缓存器42中是否存储了解析时间长度T_w的数据(步骤S39)。 

在缓存器42中未存储解析时间长度T_w的数据时，继续存储数据。 

在缓存器42中存储了解析时间长度T_w的数据时，测量可能显示部41p的LED点亮，因此从缓存器42取出数据，由文件生成机构45生成声音文件45a和动态图像文件45b，将这些文件45a、45b存储于存储机构24(步骤S40)。 

在步骤S40中，如图7所示，从缓存器42取出的数据由在从第二时刻t₂＝t₁-T_z起到作为测量开始时刻的第一时刻t₁为止的期间存储于缓存器42的数据即逆流数据D_z、在从第一时刻t₁到第三时刻t₃＝t₁+(T_w-T_z)为止的期间存储于上述缓存器42中的数据即残余测量数据D_r构成。即，自输出了测量开始信号后到将解析时间长度T_w的数据存储于缓存器42为止的等待时间为(T_w-T_z)。 

接着，从声音文件45a抽取预先设定的运算时间长度T_c的声压波形数据，进行音源方向的推断(步骤S41)。 

音源方向的推断与上述实施方式1同样，用FFT对声压波形数据进行频率解析，按各频率求取麦克风M1～M5间各自的相位差，该求取方法将在后面说明。 

接着，从动态图像文件抽出位于运算时间的中心时刻t_m、即从测量开始时刻t_c开始经过了运算时间长度T_c的一半长度的时刻t_m＝t_c+(T_c/2)的图像数据G_c(步骤S42)。 

然后，将上述计算出的各频率的音源方向的数据(θ_f，φ_f)和上述图像数据G_c合成，将该合成的图像即音源位置推断图像显示于显示机构25的显示画面25M上所设置的图像显示部25b上，作为音源位置推断画面(步骤S43)。 

图8是表示其一例子的图，图像显示部25b中显示基于上述图像 数据G_c描绘出表示音源方向的图形(网眼图案的圆形记号)34的音源位置推断画面35。音源位置推断画面35的横轴表示水平角θ_f，纵轴表示仰角φ_f。圆形大小表示声压级。 

可以对每个预先设定的频带显示所推断的音源方向。此时，只要对每个频带设定网眼图案的圆形记号34的颜色即可。 

在声压级显示部25a显示将横轴设为水平角θ(deg.)时的显示声压级(dB)的声压级显示画面37。 

最后，根据音源位置推断画面35推断音源(步骤S44)。在音源位置推断画面35中，在描绘出表示音源方向的图形34的部位所反映出的图像就是所推断的音源的图像。 

在步骤S33中，选择了通常模式时，进入步骤S45，使摄像装置12的拍摄方向朝向测量预定位置，用麦克风M1～M5采集声音，用摄像装置12采集测量预定位置的图像，对麦克风M1～M5的输出信号和摄像装置12的图像信号分别进行A/D转换，将声压波形数据和图像数据存储于缓存器42。 

接着，判断是否输出测量开始信号(步骤S46)。在未输出测量开始信号的情况下，继续存储数据。 

在输出了测量开始信号之后，也继续进行将麦克风M1～M5的输出信号和摄像装置12的图像信号分别作为声压波形数据和图像数据存储于缓存器42的操作(步骤S47)。 

然后，通过测量可能显示部41p的LED的点亮判断缓存器42中是否存储了解析时间长度T_w的数据(步骤S48)。 

在缓存器42中未存储解析时间长度T_w的数据时，继续存储数据。 

在缓存器42中存储了解析时间长度T_w的数据时，测量可能显示部41p的LED点亮，因此从缓存器42取出数据，由文件生成机构45生成声音文件45a和动态图像文件45b，将这些文件45a、45b存储于存储机构24(步骤S49)。 

在步骤S49中，从缓存器42取出的数据是在从测量开始时刻即第一时刻t₁经过了解析时间长度T_w的时刻t_w＝t₁+T_w为止的期间存 储于上述缓存器42中的数据。 

步骤S49以后进行的音源方向的推断、图像数据的抽取、音源位置推断画面的生成和显示以及对音源推断的处理步骤，通常模式和逆流模式相同，因此，在将声音文件45a和动态图像文件45b存储于存储机构24后，进入步骤S41，进行步骤S41～步骤S44的处理来推断音源。 

这样，在本实施方式2中，使用将多个麦克风M1～M5和摄像装置12一体化的声音图像采集单元10同时采集声音和图像后，进行A/D转换，将其暂时存储于缓存器42，在由模式切换机构41的测量开始信号输出部41a发出测量开始信号的指令时，抽取在从指令发出的第一时刻t₁起回溯预定逆流时间长度T_z的第二时刻t₂＝t₁-T_z与作为第三时刻的时刻t₃＝t₁+(T_w-T_z)之间存储于上述缓存器42的声压波形数据和图像数据，由声压波形数据生成声音文件45a，由图像数据生成动态图像文件45b，将这些文件45a、45b存储于存储机构24，使用该存储的声音文件45a的声压波形数据，计算多个麦克风M1～M5所采集到的声音的声压信号之间的相位差来推断作为音源方向的水平角θ和仰角φ，因此，即使在发生了突发声音、间歇声音的情况下，也能可靠地推断这些声音的发生源方向。因此，不会产生测量损失。 

在推断音源时，将所推断的音源方向(θ、φ)和在运算时间长度T_c内拍摄到的图像数据G_c合成，显示描绘有表示所推断的音源方向的图形34的音源位置推断画面35，来推断上述音源，因此能够可靠地推断音源。 

在上述实施方式2中，从声音文件的开头进行音源方向的推断，但也可以从上述声音文件调出声压波形数据，生成声压级的时间序列波形图，使用该图确定抽取声音文件的运算时间长度T_c的声压波形数据的时间位置。 

图9是表示声压级的时间序列波形图的一例子的图，在将声压级的时间序列波形图显示于显示画面25M时，声压级显示画面37所显 示的声压级显示部25a显示声压级的时间序列波形图。图的横轴表示时间(秒)，纵轴表示声压级(dB)。能够通过指定显示有该声压级的时间序列波形图的声压波形显示画面36上的特定点(这里为位于测量后3秒处的峰值)，来指定进行音源方向解析的时间位置。 

作为声压级的时间序列的图，可以是表示采集声音的大小即表示所有频率的声压级的时间变化的图P(t)，也可以是表示每个预先设定的频带的声压级的时间变化的图。 

图9中水每次喷上时声压级增加，因此，能够通过指定图上的峰值推断音源方向，来推断该所指定的峰值是喷泉的哪部分发出的声音。 

在上述实施方式2中，也是使用五个麦克风M1～M5推断测量点与音源位置所成的水平角θ和仰角φ，但在仅凭水平角θ足以推断音源位置的情况下，可以省略麦克风M5，仅使用分别以预定间隔配置在相互交叉的两条直线上的2组麦克风对(M1、M3)、(M2、M4)即可。 

以上，使用实施方式说明了本发明，但本发明的保护范围不限于上述实施方式记载的范围。本领域技术人员自然清楚，可对上述实施方式施加各种改变或改良。从权利要求书的记载可知，施加这样的改变或改良的方式也包含于本发明的保护范围之内。 

如上所述，根据本发明，在现场能够抽取测量数据的任意部分来进行音源方向的推断，因此，能够大幅度缩短音源位置的推断时间，能够高效率地进行音源的推断。 

对于测量点的位置不适当等测量的妥当性也能够提前判断，因此能够高效率地进行音源位置的推断。 

Claims (10)

1.一种音源位置的推断方法，其特征在于，

使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息，将所采集到的声音的声压信号数据即声压波形数据和图像的图像数据分别以时间序列排列并存储在存储机构中，并且从上述存储机构中仅抽取上述声压波形数据来显示声压级的时间序列波形图，当在上述显示的图上选择并指定了进行用于推断音源方向的运算的时间位置之后，使用以该指定的时间位置为中心的、时间宽度为预定运算时间长度的声压波形数据来计算用上述多个麦克风采集到的声音的声压信号之间的相位差，从而推断音源方向，对上述推断的音源方向和在上述指定的时间位置拍摄到的图像数据进行合成来生成描绘有表示上述推断的音源方向的图形的音源位置推断图像，使用该音源位置推断图像来推断上述音源的位置。

2.根据权利要求1所述的音源位置的推断方法，其特征在于，包括：

第一步骤，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息；

第二步骤，对上述采集到的声音的声压信号进行A/D转换来作为按时间序列排列而成的声压波形数据存储在存储机构中，对上述图像信号进行A/D转换来作为按时间序列排列而成的图像数据存储在存储机构中；

第三步骤，从上述存储机构中抽取上述声压波形数据来生成声压级的时间序列波形图，并将其显示在显示机构的显示画面上；

第四步骤，通过在上述显示画面上选择并指定图上的特定点来指定进行用于推断音源方向的运算的时间位置；

第五步骤，从上述存储机构中抽取包括以上述指定的时间位置为中心的、时间宽度为预先设定的运算时间长度的声压波形数据；

第六步骤，使用上述抽取的声压波形数据来计算用上述多个麦克风采集到的声音的声压信号之间的相位差，从而推断音源方向；

第七步骤，从上述存储机构中抽取在上述指定的时间位置拍摄到的图像数据；

第八步骤，对在上述第六步骤中推断出的音源方向的数据和在上述第七步骤中抽取的图像数据进行合成来生成在图像中描绘有表示上述推断的音源方向的图形的音源位置推断图像；以及

第九步骤，使用上述音源位置推断图像来推断上述音源。

3.根据权利要求2所述的音源位置的推断方法，其特征在于，

在上述第三步骤中，从上述存储机构中抽取的声压级的时间序列波形是采集音的大小的时间序列波形。

4.根据权利要求2所述的音源位置的推断方法，其特征在于，

在上述第三步骤中设置以下两个步骤：指定要推断的声压信号的频带的步骤；和通过对从上述存储机构中抽取的声压级的时间序列波形进行频率分析来求出上述指定的频带的声压级的时间序列波形的步骤，将上述求出的指定频带的声压级的时间序列波形图显示在显示机构的显示画面上。

5.根据权利要求1所述的音源位置的推断方法，其特征在于，

将上述采集到的声音的声压信号数据即声压波形数据和采集到的图像的图像数据分别存储在暂时保存机构中，并且在音源方向的测量开始的指令发出时抽取暂时保存机构中的声压波形数据和图像数据，上述声压波形数据和图像数据从自上述测量开始的指令发出的时刻起回溯了预定的逆流时间长度的时刻开始至经过了预先设定的解析时间长度的时刻为止的期间被存储在上述暂时保存机构中，将这些数据分别作为声音文件和动态图像文件来存储在上述存储机构中，在使用该存储的声音文件的声压波形数据计算用上述多个麦克风采集到的声音的声压信号之间的相位差来推断音源方向之后，对上述推断的音源方向和存储在上述动态图像文件中的、在用于推断上述音源方向的时间内拍摄到的图像数据进行合成来生成描绘有表示上述推断的音源方向的图形的音源位置推断图像。

6.根据权利要求5所述的音源位置的推断方法，其特征在于，包括：

第一步骤，使用将多个麦克风和摄像机构组成一体的声音图像采集单元来同时采集声音信息和图像信息；

第二步骤，对上述采集到的声音的声压信号和图像信号进行A/D转换，分别作为声压波形数据和图像数据，并将该数据在暂时保存机构中存储预定期间；

第三步骤，发出音源方向的测量开始的指令；

第四步骤，从上述暂时保存机构中抽取用于推断音源的解析时间长度的声压波形数据和图像数据，将上述抽取出的声压波形数据和图像数据分别作为声音文件和动态图像文件来存储在上述存储机构中；

第五步骤，从上述声音文件中抽取上述音源方向的推断运算中使用的运算时间长度的声压波形数据来计算用上述多个麦克风采集到的声音的声压信号之间的相位差，从而推断音源方向；

第六步骤，从上述动态图像文件中抽取在上述运算的开始时刻和结束时刻之间的时刻的图像数据；

第七步骤，对在上述第五步骤中推断出的音源方向和在上述第六步骤中抽取出的图像数据进行合成，生成描绘有表示上述推断的音源方向的图形的音源位置推断图像；以及

第八步骤，使用上述音源位置推断图像来推断音源，

在上述第四步骤中从暂时保存机构中抽取的上述解析时间长度的声压波形数据和图像数据是在从比发出上述测量开始的指令的时刻即第一时刻提前了预先设定的逆流时间长度的时刻即第二时刻开始至上述第一时刻为止的期间存储在上述暂时保存机构中的声压波形数据和图像数据、和在从上述第一时刻开始至第三时刻为止的期间存储在上述暂时保存机构中的声压波形数据和图像数据，其中，上述第三时刻是从上述第一时刻开始经过了比上述解析时间长度短了上述逆流时间长度的时间长度的时刻。

7.根据权利要求6所述的音源位置的推断方法，其特征在于，

在上述第四步骤与上述第五步骤之间，设置根据存储在上述声音文件中的声压波形数据来生成并显示声压波形的时间序列波形图的步骤和指定上述显示的图的任意时刻的步骤，

在上述第五步骤中，从上述声音文件中抽取从所指定的上述显示的图的任意时刻开始经过了上述运算时间长度的声压波形数据。

8.一种音源位置的推断装置，包括：具有分别以预定间隔配置在相互交叉的两条直线上的构成2组麦克风对的4个麦克风的麦克风组；拍摄音源方向的图像的摄像机构；以及显示机构，根据由上述麦克风组采集到的从音源传播的声音的声压信号和在音源方向拍摄到的图像信号，生成显示了音源位置数据的图像来显示在显示机构上，从而推断音源的位置，

上述音源位置的推断装置的特征在于，包括：

A/D转换器，将由上述各麦克风采集到的声压信号和由摄像机构拍摄到的图像信号分别转换为数字信号；

存储机构，将上述A/D转换后的声压信号按时间序列排列而成的声压波形数据作为声音文件存储，并且，将上述A/D转换后的图像信号按时间序列排列而成的动态图像数据作为动态图像文件存储；

声压波形生成机构，从上述声音文件中抽取预先设定的运算时间长度的声压波形数据来生成声压级的时间序列波形图；

运算位置指定机构，通过选择并指定上述时间序列波形图的特定点来指定进行用于推断音源方向的运算的时间位置；

音源方向推断机构，从上述声音文件中抽取包括以所指定的时间位置为中心的、时间宽度为预先设定的运算时间长度的声压波形数据，对该抽取的声压波形数据进行频率解析来求出构成上述2组麦克风对的麦克风之间的各相位差，根据所求出的2组麦克风对的相位差之比来推断音源方向；

图像数据抽取机构，从上述动态图像文件中抽取在上述指定的时间位置拍摄到的图像数据；以及

音源位置推断图像生成机构，对上述推断出的音源方向的数据和上述抽取出的图像数据进行合成来生成描绘有表示上述推断出的音源方向的图形的音源位置推断图像，

上述4个麦克风和上述摄像机构被组装为一体来同时采集声音信息和图像信息，

上述显示机构显示由上述声压波形生成机构生成的声压波形图和由上述音源位置推断图像生成机构生成的音源位置推断图像。

9.根据权利要求8所述的音源位置的推断装置，其特征在于，还设置有：

暂时保存机构，将上述A/D转换后的声压信号作为声压波形数据、并将上述A/D转换后的图像信号作为图像数据来暂时存储预定期间；

输出机构，输出用于开始音源方向推断的指令信号即测量开始信号；以及

解析文件生成机构，从上述暂时保存机构中抽取预先设定的解析时间长度的声压波形数据和图像数据来生成声音文件和动态图像文件，其中，

上述解析文件生成机构，在被输入上述测量开始信号时，抽取在从第二时刻开始至第一时刻为止的期间存储在上述暂时保存机构中的声压波形数据和图像数据、和在从上述第一时刻开始至第三时刻为止的期间存储在上述暂时保存机构中的声压波形数据和图像数据来生成声音文件和动态图像文件，其中，上述第一时刻是输入上述测量开始信号的时刻，上述第二时刻是比上述第一时刻提前了预先设定的逆流时间长度的时刻，上述第三时刻是从上述第一时刻开始经过了比上述解析时间长度短了上述逆流时间长度的时间长度的时刻，

上述存储机构存储由上述解析文件生成机构生成的声音文件和动态图像文件。

10.根据权利要求8或9所述的音源位置的推断装置，其特征在于，

在上述麦克风组中追加上述2组麦克风对所形成的平面上没有的第五麦克风，并且，在上述音源方向推断机构中，使用构成上述2组麦克风对的麦克风之间的相位差、和构成4组麦克风对的麦克风之间的相位差来推断音源方向，上述4组麦克风对由上述第五麦克风和构成上述2组麦克风对的4个麦克风分别构成。