CN1764828B - 摄录物体声学图像的方法和装置 - Google Patents

Abstract

本发明涉及用有与被测物体的参考图像相关的声学设备帮助的声卡摄录物体声学图像的方法和装置。本发明也与信息程序产品和能用相应的计算机读出的记录设施相关，能用于照片和连续图像的记录以及对于机器、仪器和车辆这样的噪声源的声音分析。本发明使用一声音相机，该声学相机由集成了视频相机的麦克风阵列，与麦克风和角度传感器相连接的数据记录单元，核准装置和计算机组成。所述的视频相机使它能以下列方式自动记录每一次测量；相机录下照片信息并同时记录与时间同步信号相关的时间函数及麦克风参数和数据记录仪的实现以及文件中的所有信息。时间函数、频率函数、声压、坐标、音调或与已知的时间函数的相关性等能对声学图像的每一点在所说的位置点上点击鼠标的方式或右击鼠标从菜单中调出。声学相机也有其它如自动照明的功能，这使得能够选择不同方式(绝对、相对、手动、-Δ、线性/对数、全部有效值、电影)适当地预设置色标的最小和最大值。

Description

摄录物体声学图像的方法和装置

本发明是一种通过使用一记录声学图的麦克风阵列来摄录物体声学图像的方法和装置，这些记录的声学图有一个被摄物体相关的被测量物体的参考图像，

本发明可专门用于拍照和拍连续图像并用于，比如机器，设备或交通工具等噪声源的声学分析。

本发明可用于制备声学照片或声学连续图像，选频图像，特定地点的频谱，不同距离运动物体的声学图像。

测定或描述声学发射的许多不同的方法是已知的(DE 3918815 A1，DE4438643 A1，DE 4037387 A1，DE 19844870 A1，WO 85/02022，WO 9859258，WO9845727A，WO 9964887 A，WO 9928760 A，WO 9956146 A，WO 9928763 A，WO 11495A，WO 10117 A，WO 9940398 A，WO-A-8 705 790，WO 85/03359，US 5258922，US5515298)；Heckl，M，Muller，H.A.：Taschenbuch der technischen Akustik[工程声学手册]，第2版，柏林-海德堡-纽约，Springer-Verlag；1995；Michel，U.Barsikow，B.，Haverich，B.，Schuttpelz，M.：用麦克风阵列研究高速飞行中的机身和喷气噪声；第3次AIAA/CEAS航空声学会议，1997年5月12-14日，亚特兰大，AIAA-97-1596；Hald，J.：声音场空间变换(STSF)技术在汽车工业中的应用；Bruel&Kjaer，技术评论No.1，1995，PP.1-23；Estorff，O.v.，Brugmann，G.，等，Berechnung der Schallabstrahlung vonFahrzeugkomponenten bei BMW(在BMW公司、车辆部件的声学幅射的计算)；Automobiltechnische Zeitschrift[ATZ]，96(1994)issue 5，PP.316-320)，Brandstein，M.，Ward，D.；麦克风阵列，Springer-Verlag：2001，ISBN3-540-41953-5。

已知技术的欠缺之处在于实际上无法在工业进程中进行测量。已知技术的设置和拆卸，像图片的预处理和后处理一样是非常耗时的。一张声学图和一张照片通过手工叠加物体的草图和照片联系起来。该设备大而笨重。在计算中可能出错。只有大的物体才能被制成声学图。连续图像就无法进行计算。特别是已知的人工进行的光学和声学的数据叠加存在很多出错的可能性。

根据基于通常所说的海因茨干涉转换(HIT)基础上的区域重建，自1996年3月起申请人开发出了具有新特性，如可以计算移动源的声音图像，请参看网址http://www.acoustic-camera.com

Projects。这样可以得到一个极慢动作的射击过程的照片，以及一个发出噪音物体的声学照片。世界上第一次把一张声学图像叠加于视频图像上是在1999年公开的，请参看如下网址：seearticle at http://www.acoustic-camera.com

Press：Hannover trade show，MesseZeitung(MZ)，4/24/1999，p.4，“16只耳朵的听觉超过2只”。从那时起，该方法就进一步得到发展和试验，直至可在工业条件下对所有工程物体的整个范围里简易地开发声学图，频谱图，和声音连续图像。

本发明的目的是描述摄录物体声学图像的方法和装置，使可以快捷而简便的定位分析工业进程中的噪声源。对于各种用途和大小各异的小到剃须刀，大到飞机的物体，可以摄制它们的声学静止图像，声学连续图像，频谱图像，或行扫描很容易设置的装置(声学相机)。一个专门的数据结构使得它甚至能在数年后重新准确无误地计算图像。声学图像可以全自动的方式正确显示。通过提供特定模块，它可用来研究众多的工程物体。该装置可小到能装进小客车的行李箱，安装和拆卸都可以在几分钟内完成。本发明揭示了一种不同于曾被用来重建时间函数的基本算法的新的测量装置。为了避免计算错误，每次测量都会自动地被记录在一张照片上。该发明装置能尽可能对抗对不在图像区域内的干扰和噪声源。

如上述，本发明的目的通过下面的技术方案来实现。

提供一种通过用一个麦克风阵列记录声学图来摄录物体声学图像的方法，这些声学图有一与被摄物体相关的被摄物体的参考图像，其特征在于：

·麦克风阵列和光学相机互相以确定的位置放置，光学相机自动记录至少部分测量结果；

·通过物体距离和光学相机的孔径角确定光学图像区域，该光学图像区域和声学图重叠，并在该区域内合成声学图；

·一个阵列的麦克风和光学相机的与计算相关的参数以准确无误的方式存储在与该阵列相关的参数文件中；

·放大器参数存储在与放大器模块或数据记录器相关的一个或多个参数文件中；

·分别给麦克风阵列和放大器模块或数据记录器一个电子签名，该电子签名准确地载入相应的参数文件；

·合成的声学图像区域被分解为分区，它们的重心代表了要合成的像素的坐标；

·通过选择各种方式包括绝对，相对，手动，负δ，线性/对数，全部，有效值以及峰值来确定最适合的最大最小色标，以使声学图得到最理想的显示；

·用麦克风阵列和数据记录器的参数文件里的相应参数来补偿图片，以去除所有麦克风和放大器通道的同步误差；

·摄制的图片记录和与之相关的麦克风时间函数，时间同步信号，现场信息，麦克风阵列和数据记录器参数文件的相关记录和与它们相关联的信息一起被储存。

提供一种用麦克风阵列摄录物体声学图像的装置，该装置用麦克风阵列记录声学图，这些声学图有一与被摄物体相关的被摄物体的参考图像，其特征在于麦克风整合了一个光学相机，这样两者形成一套设备，在此设备中，包括的麦克风阵列、数据记录器和数据处理设备通过数据转换的方式互相交换麦克风数据、相机摄取的图像和时间同步信息。

本发明摄录物体声学图像的方法的一个特别的优点是通过在指定的位置排列的麦克风阵列和光学相机，在工业进程中能够快捷和简便地定位和分析噪声源，光学相机至少可以自动记录部分测量结果，通过物距和相机的孔径角确定进行声学图计算的光学图像区域，并将声学图和光学图叠加在一起，准确地将阵列中麦克风和相机的相关计算参数储存在一个与阵列相关的参数文件中，将放大器的参数储存在一个或多个与放大器模块或数据记录器相关的参数文件中，并给麦克风阵列和放大器模块或数据记录器各自确定一个准确下载相应参数文件的电子签名，将计算的声音图像区域分解为几个分区，它们的重心代表了要计算的像素的坐标，通过选择各种方式(绝对，相对，手动，负δ，线性/对数，全部，有效值，峰值)来确定最适合的最大最小色标值，以达到最理想展示效果的声学图。通过来自麦克风阵列和数据记录器的参数文件里的相应参数来补偿图片，以去除所有麦克风和放大器通道的同步误差，并存储摄制的图片记录和与之相关的麦克风时间函数，时间同步信号，实况信息，麦克风阵列和数据记录器的参数文件以及它们相关联信息的记录。如果摄取的图片记录存储在一个数据文件里，而该图片记录不可避免地与麦克风时间函数，时间同步信号，所有的实况信息，麦克风阵列和数据记录器的记录在数据文件中合在一起，那就更为有利了。

一种摄录物体声学图像的装置，用麦克风阵列来记录声学图，该声学图有一与它们相关的被测量物体的参考图像，最好在麦克风阵列中集成一个光学相机，形成一个整体，并设置了麦克风阵列、数据记录器和数据处理设备，该数据处理设备用于交换麦克风数据，相机图像，和通过数据传输获得的时间同步信息。如果声学相机是视频像机，数据处理设备是个人电脑或笔记本电脑，那就更好了。

一个摄录物体声学图像的计算机程序产品包括储存了计算机程序的计算机可读的存储介质，一旦它被下载到计算机内存，就允许计算机运用麦克风阵列摄录物体的声学图像，记录下声学图，该声学图有一与它们相关的被测量对象的参考图像。该摄录过程包括的步骤在上述技术方案中得以描述。

为了实施摄录物体声学图像的方法，最好利用计算机可读存储介质，计算机程序存储在该介质中，一旦下载到计算机的内存中，就允许计算机利用一个麦克风阵列摄录物体的声学图像，并在摄录过程中记录下声学图，该声学图有一与它们相关的被测量对象的参考图像，该摄录过程的步骤在上述技术方案中得以描述。

本发明的方法的一个较佳实施例是在麦克风阵列中始终内置一个摄像机，它可以自动记录每次测量摄下的图像或图像序列，或以视频或示波器的模式连续记录图像。

本发明的方法的另一较佳实施例是通过在麦克风的时间函数显示中标志-时间间隔，将该时间间隔分解为对应处理器缓冲结构的区域，并将它的帧平均分配到整个图像中去，来产生静止的声学图像或连续图像。

对连续图像的计算而言，如果由时间间隔分解的各个区域的长度是由选中的图像频率确定的，而且如果一幅图像是由各个区域组成的，一个因素可用来专门确定选择多少个这样的区域能平均分配到每幅图像中。

本发明的方法的另一优点是声学图是通过将彩色的声学图叠加到视频图像上随着色表一起显示的，视频图像的边缘可通过一个边缘算子截取和/或通过对比度或灰度控制器进行调整。一个特别的实施例是用一个菜单按钮来控制声学图和视频图的叠加，这样可以打开各种视图(边缘图像，灰度图像，视频图像，声学图)；一个滑动触头控制边缘算子的阈值或者控制视频图像的对比度或灰度的阈值。

如果时间函数，频率函数，声压，坐标，声音，或与已知时间函数的相关性信息可以在声学图像上的每一点通过右单击弹出的菜单来得到是有好处的。另外一个优点是一个窗口用于选择频率间隔，第二个窗口用于显示相关的频谱图像，或选择频谱范围，其声学图像就会依次在第一个窗口显示。通过计算声学照片和像素的重建时间函数与所选择的时间函数相关，来形成一个时间函数相关图像，并在另一个新的窗口显示结果，也是不错的。另一个较佳实施例是在“声学照片”和“行扫描”模式中，在触发的时间点摄制视频图像，而且这个触发时间点在时间函数中得以显示。

在本发明的方法的另一个较佳实施例中，个人电脑，数据记录器和摄像机交换着时间同步信息，该同步信息在视频图像和麦克风的时间函数之间进行时间分配。

本发明的装置的一个较佳实施例中，一个阵列的所有麦克风数据通过一个通用连接(电缆或总线)和通用的一个或多个插孔的插头馈送至数据记录器，和/或摄像机的导线也是集成到这个通用连接线中。

本发明的装置的另一较佳实施例中，麦克风阵列在连接到数据记录器的插头中包括一个签名芯片。

进而，还有的优点是麦克风阵列有不同数目可兼容插头的通道，允许它们通过对不同阵列都一样的一个或多个插头类型连接数据记录器，在某些情况下，插头中不用的输入端可以被短路。

本发明的装置的一个专门的实施例的特点在于用于两维室内测量的一个可透声的麦克风阵列是通过一个摄像机和几个麦克风以相等距离的环形设置来实现，或一个用于两维的室内测量的反射声音的麦克风阵列是由一个摄像机和几个麦克风环绕一个圆形的表面等角度设置来实现；一个便携式的实施例是将一个数据记录器设置于其中；或者用于室内的三维的测量的麦克风阵列是使麦克风均匀地分布在一个球形的表面上。数据的传输方式是以电缆，无线电或红外线方式来实现。

本发明在下面的实施例中将会得到更详细的描述。

图1是本发明用于发动机测量的一个典型实施例的示意图。组成麦克风阵列MA的多个麦克风MIC均匀分布在一圆形管子RO上，该管子RO通过一个连接部GE和一支撑臂AR固定于一三角架ST上，这些麦克风通过一个连接线MB连接一个数据记录器dRec。一个摄像机VK也通过一连接线Vi也连接数据记录器dRec，或者也可以通过连接线Vi′直接连接计算机。数据记录器dRec通过连接线CL连接一个包括扬声器LT的刻度检测机KT，计算机PC和数据记录器之间通过数据连接线DV相联。将数据记录器dRec整合到麦克风阵列中是这实施例的一种改进。

图2是麦克风阵列用于远程感知的一个特定实施例，该装置安装于一个可折叠的三角架ST上。麦克风安装在支撑臂A1至A3上。它们都可围绕一个扣接点GE枢转，这样这个可折叠的系统可用旅行车运输。这个系统也始终内置有一个摄像机VK。

图3是图像叠加操作的一个典型菜单。按键NOISE是控制声学图的开关，按键VIDEO是控制摄像机影像的开关，按键GRAY可用来去除视频图像的颜色，按键EDGES控制视频图像的边缘截取，当用到按键GRAY和EDGES时，滑动条用来控制亮度、对比度或边缘宽度。

图4是标定声学图色表的典型菜单。按键LOG用于切换声学图像色表的线性转换和对数转换。按键ABS用于在声压的最小与最大绝对值之间对全部连续图像进行标定，按键REL可分别标定连续图像的每张单独的图像以达到最大相对对比度。按键MAN打开了两个输入窗口，分别在窗口中手动设定最大值和最小值。按键“-△”可进行声学图像的自动颜色标定。它打开了一个输入窗口以输入差值，这样，相对于显示在图像中的最大值而言，最小值也会降低。按键ALL用于传递所选择的最大和最小值至另外的图像或连续图像。按键EFF用于打开有效值图像，按键PEAK用于显示求取的峰值图像。

图5是开发声学连续图像的较佳步骤的示意图，这个步骤可以节省计算时间。根据选定的图像频率，在通道数据中选择一块计算连续图像的区域，被计算的连续图像被分为F1到F6六个帧。在一个输入窗口选择几帧图像叠加(在图5中是三帧)。第一幅图像B1就是通过形成一个移动平均值合成前三个帧F1到F3而得到的。第二个图像B2就是通过合成帧F2到F4得到的，依此类推。这样6个帧可以形成连续图像的4个图像B1到B4。当这样做了以后，视频图像和帧就以一个视频图像属于合成出它的每一个帧的方式联系起来。在慢动作中，帧切换的速度比选定的视频图像的切换速度高，最后一个视频图像总是连续与接下去的帧相联系，直到下一个视频图像出现。一旦声学帧被合成，这种方式就避免了多次合成。而且，图像的重叠因子可以得到调整，使图像序列如愿地平稳。

图6是存储在测量数据文件CHL中的信息的示意图表。缩写的意思如下：TF表示时间函数，包括采样速率；IMG表示一个序列的单一图像或视频图像；REC表示每个麦克风通道的放大器参数；ARY表示阵列参数，包括视频摄像机CA的孔径和像素分辨率，识别麦克风MI的灵敏度和位置，视频相机和麦克风的座标和取向CO。数据文件CHL中还储存了实况参数SCE，如孔径，测量距离，空气压力，温度，以及特定通道的传输系数和参数SEN。数据类型REC，ARY和SEN来自特定的预先储存的文件；参数文件REC和ARY是在校准过程中产生的，作为一个局部函数的数据类型SEN是变化的。

图7展示了如何从孔径角WX和WY，以及物距A中得到虚拟图像区域SCR的坐标。WX，WY和A是用于决定线段DX和DY，DX和DY进一步决定虚拟图像的坐标。

图8是麦克风K1到KN在阵列ARR中的空间排列。

图9是显示了麦克风通道K1和K2的时间函数ZP曲线随时间的移动。

如果没有被测物体的参考图像叠加其上的话，声学图是很难读出的。对所取的参考点的手动叠加非常耗时而且容易出错。如果场景是运动的(如果连续图像是一系列的照片)，或者实验装置是未知的，那就几乎不可能做到了。本发明克服了这个困难，对每一次测量，通过将(数码)摄像机集成到每个麦克风阵列中，来摄取相片或连续图像，这些相片和麦克风记录下来的数据相结合，一起作为一个文件储存和下载。这个数据文件也包括所有的测量设定值，所用到的麦克风阵列参数和数据记录器的参数。

为了使操作尽可能的简单，照片和图的叠加应自动完成。为了实现这一点，本发明的方法将摄像机在每米距离上X和Y方向的孔径值存储在阵列的参数文件中。如果摄像机有几个孔径，所有的可能都要存储。到被测物体的距离是手动测量的。摄像机现有的孔径和物体的距离共同决定了要合成的图像区域的坐标。另外，该图像的网格分辨率要手动确定，比如，沿着X轴。这样才能对这个图像进行合成。这样做了以后，开始进行对每个网格点的单独合成。这让用户能根据网格分辨率来确定计算时间：高网格分辨率就需要更长的计算时间。

如果一个声学相机要用在不同大小的物体上，小至剃须刀，大至飞机，它必须轻便紧凑，可靠耐用。这样就要求相对较少的麦克风通道(典型是30个)，但是声学限制是：麦克风之间的距离必须接近所期望的主波长，否则外界干涉现象会影响波的重现，(波i与前一个波i-1互相干涉或与后一个波i+1互相干涉)。而且该阵列的孔径不能任意变化：如果这个阵列与物体靠得太近，麦克风通道会部分地被遮住而引起出错。如果选择的物体距离太远，声学图就会太模糊。因为很大的一个波长范围(100赫兹≈3.4m到100000赫兹≈3.4mm)都要被扫描到，要求很少量的通道就意味着唯一的解决办法是建立不同大小的麦克风阵列，它们的大小，形状，麦克风之间的距离要选择得适合于各自的被摄物体。这样，开发出三个基本的阵列形状，实际上覆盖了整个声学范围。要实现该发明的目的，还要考虑为了避免外界干扰，麦克风应该有一个随机的排列，而为了避免位置错误，它们又要有相对于坐标轴(2维的：X轴和Y轴，3维的：X轴，Y轴和Z轴)规则的对称排列。在本发明的方法中应用时，这三种基本的阵列形状都已得到验证。

(1)为了完成内部三维环绕图(比如在旅行车中)，一个可透声的，碳纤维叠制成的，直径30cm和32个通道的20面立体阵列装置是很适合的。此阵列对所有三个轴有很好的对称性，还显示了很好的单轴随机性。这个设计可以由五边形、六边形相连构成。

(2)为了摄录机器的二维图，一个环形阵列被证明是很有效的。麦克风在这个环形中等距离设置。奇数个通道可使定位点的旁叶最小化，而偶数个通道有最好的对称性。依赖于环形装置的范围在10cm到1.5m时，对给定频率，该设计可以是声学上透明(环形)或声学上反射(圆片)的。透声的环形阵列可以接收来自前后的声音，而阵列是反射设计时，后场区域就无法听到。这里的反射表面位于麦克风振动模的平面上。圆形设置的阵列显示了对两个轴的最好的对称性和最好的单轴的随机性。

(3)为了摄录远距离的外部二维图，考虑便携性很有必要。具有奇数个(至少三个)麦克风支撑臂的可折叠装置是极为适合的。此阵列打开时，极有可能会产生后部衰减的情况，本发明的方法通过支撑臂在展开状态下位于不同平面上来解决这个问题。与四个支撑臂的设置相比，三个支撑臂的装置能更好地对抗外界的干扰。通过在麦克风在支撑臂上的对数分布设置可使定位点达到平衡。

错误的麦克风坐标会导致错误的计算结果，当使用不同的麦克风阵列时，在与该阵列相关的参数文件中记录话筒碳精盒的位置坐标，它们的序列号，电特性，激光和相机的位置和轴向是非常有用的。(被动地用ASCII码或主动地以动态链接库的形式)。该文件还包含作为选定的分辨率和变焦镜函数的相机孔径。当用上替换镜头时，该文件也包含各自镜头类型的孔径，这样只要说明镜头类型和距离就可以将照片唯一地分配到虚拟三维坐标系统中。当软件启动时就读取文件。给麦克风阵列一个数字签名芯片，以使得每个阵列都可以被唯一地识别和分配任务，这个阵列的参数文件存储了关于相机和麦克风的如下数据：关于相机：相机类型，驱动类型，序列号，分辨率，镜头，孔径和图像速率。关于每个麦克风：麦克风类型，序列号，识别灵敏度，振动膜中心的坐标，三维方向矢量，振幅的定位点和延迟时间，以及通道数量和阵列签名。数据记录器的参数文件存储如下参数：通道数量，每个放大级别的所有通道的放大率，采样速率，最大记录深度，硬件配置，和传感器传输函数。

所有关于图片的数据应正确无误的存储，并正确地在接下去的再合成时使用。为实现这一点，麦克风坐标和方向，识别灵敏度和定位点，当前焦点，摄像机用到的孔径，放大器、相机和麦克风以及阵列的标定数据，采样速率，视频图像或视频连续图像，和所有麦克风和专门通道的时间函数都存储在一个单一的数据文件中。这样利用该文件可在任何时间再合成先前的图片，而无需当时场景的专门信息。

一个简单的方法可分为声学图和摄像机图像的自动分配或草图和声学图的手动分配。两种分配方式随本发明方法使用时都已验证了其价值。

(1)自动：物体距离是在对话框中人为设定的。这个距离和阵列参数文件中得知的摄像机透镜的孔径共同决定了要合成的声学图的物理界线和坐标。选定的视频图像格式和调焦格式以表格或数字的形式确定孔径WX，WY，并与物体距离A一起确定像场的物理坐标。

(2)手动：草图上的已知距离和已知点被标记下来。使得要合成的图像区域随同坐标一起确定下来。

为了节省计算时间，将声学图手动分割成像素来合成更有效。要实现这一点，将要合成的声学图像区域(平面的或三维的物体)分割成几个分区，它们的重心代表了要合成的像素的坐标。与重心相关的干涉值以色彩显示在表面上。用户在对话框中确定沿X或Y轴的像素数量，或以相应方式确定呈三角形分解的三维模型。

要将该装置作为测量工具使用，要有一个能重现结果的方法。这是通过在选定的时间间隔内重建分区重心的时间函数来实现的。例如它们的有效值表征了一个等距离的各向同性辐射器的声压。

摄像机提供的图像有枕型畸变的特点。需要一个在图像的所有像素上正确叠加视频图像和声音图像的方法。为了不产生正交失真，声学图应是相符的(与视频图像)，而通常的转换一定会使来自于重建的正交声音图像失真，或者会修正光学图像。如果摄像机不设置于麦克风阵列的中心位置，相应的物体距离上的图像的偏移也必定会通过转换加入到图像的合成中去。

长波会产生模糊的，低声压对比度的图像，需要一定的方法，甚至是呈自动的方法来曝光和加强对比度以提供好的图像。这可以通过调整色表来完成：通过对每个像素的合成，对每幅图像的每张声学图的一个全程的最大和最小值进行合成。一个菜单功能“REL”(相对对比度)用于在全程最大最小值之间设定每张声学图中的色表。这样，产生一张已经能够辨认的声学图。另一个菜单功能“ABS”用于在整个连续图像的最大最小值之间设定色表。如果对一个确定的对比度系数(比如，-3dB，或-50mPa)有兴趣，最好的方式(比如在连续图像中)是从图像最大值里面减去一个互动的调整值“-Δ”来确定要显示的最小值。作为一种设置方式，与“ABS”和“REL”方式相比，这种方法以全自动的方式提供高质量的图像和连续图像，并可以立即确定这些图像中的最大值。如果假定一个图像被集中在一个特定的色表中用于比较，这是通过菜单“MAN”手动实现的。选择这个菜单功能会打开两个对话框(最大值和最小值)。另一个菜单功能“LOG”在色表的线性帕斯卡显示和对数dB显示之间进行切换。如果要比较所发送的几张要合成的图像，会用到菜单功能“ALL”：它可以将现在图像上的色表设置传递到所有的其它图像上。

为了简便地产生声学静止图像(1)和声学连续图像(2)。本发明采用如下方法：

(1)为了产生个别的声学图像，在时间函数窗口中标记所关注的时间间隔，它可能会被分解为对应处理器缓冲结构的更小的区域。对每个像素而言相干值已确定并加以缓冲。一个区域的各个图像以这样的方式加以合成。各区域图像加上一个动态平均值后再加到所合成的区域的整个图像上并得以显示。这可从所得图像的连续变化的组成中看出来。在实况预览或声学示波器工作模式中，合成区域并不是人为规定的，而是会选择一个设定值加以确定。

(2)为了合成声学连续图像，同样要确定所关注的时间间隔。图像频率的选择决定了所有个别图像的时间间隔。每个区域产生一个单独的帧。但是以这种方式合成的连续图像仍然不大连贯。为了得到连贯的连续图像，大量的帧被互相平均化。被平均化的图像数目是一个相互作用的特殊因子。以同样的方式，也可以规定图像的频率和每个图像的间隔，从间隔宽度确定这个因子。

数字化的时间函数在计算机中的一个包含麦克风坐标x，y，z的虚拟空间里按时重现。在与源和激发地点相应的位置会发生干涉。

要实现这一点，对-要合成的面上每个确定的位置点，它到阵列ARR中每个麦克风(或传感器)的距离是确定的。这个距离用来确定信号从激发点P到传感器(麦克风)K1，K2到KN(图8)的传播时间T1，T2到TN。(TF是声音从阵列中心-可以是相机放置的地点-到点P的距离)。

要合成的面上每个要确定的点都给出与麦克风相关的一组时间位移或时间延迟(时标)如果现在麦克风的通道数据按所合成的位置点的时标沿着时间轴作补偿漂移，那么通过简单而考虑周到的采样，时间函数Z1，Z2到Zn的代数组合，可以与要确定的点P的时间函数ZP*相近。此方法是已知的，不过效率不高：如果必须要合成很多点的话，每个通道的相对漂移来补偿时间漂移是非常耗时的。

对于位置点P和时间点To，最好通过访问由位置标记移动所造成的通道数据漂移的每个元素来确定时间函数的代数组合。为了实现这一点，标记MSK必须放在时间行进的方向上的通道数据K1，K2…KN上。图9显示了在通道数据K1和K2上的位置点P(连同从P点开始的时间函数ZP一起)的标记MSK。就属于图8中P点和麦克风K1，K2…KN之间的线段PK1，PK2…PKN的时间漂移或延迟时间T1到TN形成位置点P的标记。

如果我们现在通过P点标记上的空隙访问通道数据(象征性说法)，这就给出一个P点的时间函数的近似。从这个时间函数，通常可能确定一个最大和最小有效值(以数字形式)，这样这个数字就以所谓的该点的干涉值被存储。

现在可以用通道数据的不同采样数来确定干涉值。频谱范围是从一个采样到通道数据的全长。

如果要对一要确定的面上所有点说出最终的干涉值，就要对所有点算出一幅图像每一时间点的灰度或色彩值，如果在所有的时间点上持续这个步骤，就可以得到一个回放的波场的连接图像。其特征在于，与我们以往的经验相反，时间上超前的脉冲峰值位于环形波阵面的内部。

如果该连续图像在前行的时间方向进行合成，波场是向后运行并且这些波是聚在一起的。如果以逆时间方向进行合成，波以我们经验中的方向传播，但是波阵面始终是在波内部。

相反，如果对所有时间点，结合其标记MSK计算位置点P的时间函数，那么，要用到一些通常的算符比如有效值，最大值，S形等来决定该位置点的个别值，并允许说明时间函数的平均值。

如果对图像所有点的干涉值都被确定下来，就可以形成一个干涉值的矩阵。如果干涉值是以灰度或色彩值的形式分配给像素，我们可以得到该观察物体的一个声音图像。

远距离测量的一个较好的实施例包括记录不在时间函数ZP*的时间点T0，而是在时间点Tx沿着标记的附加结果，这样消除了所有通道的时间延迟。举例而言，在T1例中，Tx减去T0的时间差值，正好与P点到传感器(麦克风)K1到KN之间最小的延迟一样大。

如果平均传播速度是变化的，连续图像或图像就要有一个可以比较的时间基准。为实现这一点，一个较好的实施例包括选择位置Tx，Tx是在最终的时间函数ZP*的中点的标记操作的入口。为了实现这一点，能确定Tx的时间漂移能从图像区中心P点的最大时标值TN与最小时标值T1的差值的一半来确定：Tx＝T0+(TN-T1)/2

我们处理了数字化的通道数据，但是P点和麦克风之间的时间间隔不是整数，可以提供两种处理方式：第一种是在最接近的相关通道中取样。第二种是在两个邻接的通道中插入取样。

通道数据可以以两种方式处理，一种是沿时间轴方向，尽管波场向后运行，外部时间参考仍被保存下来。这种类型适用于声学图像序列叠加于光学图像上。相反，如果连续图像是沿时间轴相反方向的，那么波场是扩张的，就得到相应于我们的试验值的结果。

现在我们用相同的装置也能随着恒定正向运行的时间计算(大部分是镜像)投影，正如从光学中得知的。为了实现这一点，我们要一个附加的补偿寄存器存放各个通道的延迟补偿。通道数据根据存入的补偿量漂移一段时间值，然后再次存储。

这个补偿寄存器还可以用于校准麦克风。如果所有收到的通道数据在存储前根据补偿寄存器加以补偿，可以平衡参数上的小波动。

有色的声学图和有色的视频图的直接叠加会难以辨认，本发明的方法通过菜单键允许不同类型的图像叠加。“noise”是声学图的开关，“video”是视频图的开关，“EDGES”是视频图像边缘取舍的开关，：“GRAY”是视频图像灰度转化的开关。一个滑动触头控制视频图像边缘取舍或对比度或灰度操作的阈值。

对于机器的分析，许多信息都很重要，比如不同地点的时间函数，声压，坐标，频率函数或声音。对在地点和频率或时间函数之间的有效互动应该确定一种方法。这通过用不同的菜单来实现。

(1)鼠标功能：声学图上的位置点可以通过移动鼠标来选定。随着鼠标的移动，总会伴随一个小窗口最佳地显示相应位置点的声压或坐标。右键打开一个包括如下入口的菜单：

-该位置点的重建时间函数

-该位置点的重建频率函数

-该位置点的坐标显示

-该位置点的声压显示

-作为图像存储(比如JPG，GIF，或BMP)，或作为连续图像存储(比如，AVI或MPG)

-以专门文件格式存储矩阵值(图像或连续图像)

(2)图像收听：每个像素后面的重建时间函数得以缓冲。如果选中菜单功能“听”，鼠标指针可以通过声卡输出时间函数；并可根据需要重复。

(2)频谱图像显示：计算这一选项有两个互动的窗口：图像窗口和频谱窗口。在图像窗口用鼠标左键单击某点，会使该图像点的频谱在另一个窗口的得以显示。记下那点的频率间隔可以使所选的频率间隔的图像出现。为实现这点，每个图像都有大量的，与以三维形式存储在后面的所选择的取样数量相应的付立叶系数。可用的存储选项为图片(比如JPG)，当前图像的矩阵值，一个区域所有图像的矩阵值或一个区域所有连续图像的影片(AVI)等。

(3)不同图像显示：起初必须以矩阵值的形式下载一个参考图像。菜单提供选项“差别图像”。随之计算一个声学图像，提取该声学图像和参考图像的有效值的差值，从这个差值计算并显示该差别图像。

(4)时间函数相关图像显示：为了在图像中找到一定的干涉，对一个声学图像加以计算。重建时间函数在第三维的像素后得以缓冲。另外，要适当地标明时间函数的区域。如果这一点得以确定，所有像素的交互相关系数用标明的时间函数进行计算并显示结果图像。

(5)频谱差值图像显示：举例来说，为了对马达进行分类，在理想的和实际地点之间选择位置的相关性是很重要的。为了实现这一点，一个图像或频谱图像作为一个参考图像下载，然后计算或下载一个与参考图像相同分辨率的图像或频谱图像。在时间或频率范围内计算像素的时间函数的交互相关并显示结果。一个可以叠加在图像上的阈值标记也可以进行分类。

(6)图像或连续图像的自动相关：如果要寻找一个只知道周期的声音，而不知道它的时间函数，可以用如下方法。选择菜单项。打开一个对话框提示输入所要寻找的声音的周期长度。就会对一个个像素计算重建时间函数并且与其自身周期改变的自相关。该结果系数会以已知技术的方式加以显示。

因为制造公差的存在，阵列的坐标在毫米级范围内是不精确的。如果在较低的超声波范围内有信号分量，会产生错误的图像。应该采取一些措施来避免这些错误。使用本发明的方法，通过校准软件的某特定部分可以校正麦克风的坐标。从一个测试信号开始，测量一个平均延迟时间。用这种方法校正在麦克风阵列初始文件中的每个麦克风坐标。

外来干扰会危及高频短波的显示，特别是，必须采取措施使在取样范围内的所有的麦克风和放大器通道同步。这是通过测量所有的放大器设置、传播时间和有自动测量装置的前置放大器的频率相关性来实现的。数据存储在记录器的参数文件中，并用测量数据对时间函数加以补偿。为了补偿，麦克风是特别要加以选定的，测量延迟时间并与不同频率的各个位置一起存储在阵列的参数文件中。如果需要的话，对麦克风阵列的坐标进行声学检查并校正。

在一次测量之前要保证视频图像和声学图像的精确叠加和取向。要实现这一点，要通过所谓的配对器来进行系统的校准试验。利用高音调的扬声器得到一个测试声音。如果在扬声器中声学图和视频图恰好重合，该系统就能正确地运行。

该麦克风阵列、摄像机、像场和三维物体需要确定一个适当的坐标系。本发明的解决方式是在单座标系中运行，该单座标系的轴按右手定则确定。麦克风阵列和摄像机形成一套设备，它的坐标存储在一个参数文件中，要合成的图像区域最好也由阵列的坐标系决定。三维物体通常位于它们自身的相对坐标系内，通过相应的坐标转换加以整合。

如果声学图是复杂物体的，事实上可以预见到的一些情况(太多的环境噪声等)会对图像质量有很大的影响。为了防止这一点并保证得到高质量的图像，最好是有一个类似摄像机取景器的取景功能(实景)。可重复选择的时间函数适应这一情况，相关照片加以收集和处理，并和进入一个声学取景器显示的图像一起计算。在计算的时间里，新的数据也在收集。等计算一结束，循环又再一次开始。这个取景器图像的处理方式和其它声学图完全一样。当取景器图像窗口打开的时候自动启动这个取景器功能，而且如果计算能力允许，一些不同程度变化的类似影片一样的环境噪声会以电影的方式瞬间显示出来。

麦克风通道的过驱动会引起个别通道的不确定的附加延迟，这会使声学图显著失真。应采取措施使失真图能够识别。本发明的方法可以方便地通过一个驱动电平指示器的软件，监控在时间函数记录器中记录的取样电平。此外，当取样被收集在时间函数显示窗口中，相应于记录器的模数转换器(ADC)的全驱动，一个固定标度会初始化。这样可以更方便地鉴别模数转换器(ADC)处于低速驱动还是超速驱动，甚至是以后对图像的计算中也可以做到这一点。

时间函数的压缩常常会伴随信息的丢失，为了更有效和无损耗的存储，需要采取相应的措施。本发明的方法包括，可以以常规的sigma-delta格式或时间函数的样本专门的数据格式，如16位格式加上对一个通道(麦克风)所有样本都有效的补偿值的格式储存。在16位的模数转换器中，常数相应于前置放大器的调整好的放大倍数，在更高分辨率的转换器(比如24位)，也只能存储16位信息和补偿值。

一个声学相机需要观测偶发的声音。这种声音一旦产生，再启动相机就来不及了。因此，本发明的方法中包含将所有的时间函数和图像写入缓冲器的过程，该缓冲器有一个环形结构，这个写入过程可以在启动(停止启动)的瞬间停止，或者在启动的时刻一直运行到一个周期结束(开始启动)。

数据记录器可以用一些便宜的，批量供应的元件，因此，该发明的方法用一个信号发生器测量数据记录器的每个通道。对各个数据记录器，会产生一个特定装置的参数文件或装置驱动器，它们包括每个通道所有的本级增益和基本放大倍数。该文件可以下载并且可以在摄取图像的开始就选定并下载。

识别灵敏度、位置和麦克风以及放大器通道的延迟要确保准确地判读。为实现这一点，每个通道的总放大倍数是由麦克风阵列(麦克风灵敏度)以及记录器(调整放大倍数)的初始文件中的数据来确定的。每个通道的声压是由模数转换器(ADC)的取样值来确定的，并兼顾了当前调整好的放大倍数。

外部信号(专用通道，比如电压曲线，压力曲线等等)通常和阵列的麦克风时间函数一起收集。但是，它们的源头通常有不同的驱动。因此，本发明的方法包括用一个控制器来统一驱动阵列的麦克风，但是所有的专用通道是单独驱动的。

专用通道常常为各种传感器，比如为电压曲线、电流曲线和亮度的传感器服务。这在以后可能会引起混乱。本发明的方法在每个通道中存储了一个转移因子。

麦克风阵列的参数通常是不变的，而专用通道的参数常常是变化的。本发明的方法将两种参数存放在不同的文件中，以使得阵列参数能重新初始化。

在时间函数中显示声压要用到麦克风常数。如果检查了放大器通道，会产生不同大小的读数。本发明的方法包括一个可用的切换选项，使得可以在放大器输入处显示电压(不需要麦克风常数)。

本发明并不限于这里列举的实施例，在不背离本发明构架的前提下通过组合和修改上述方法和特征，可以实现其它多种实施例。

Claims (51)

1.一种通过用一个麦克风阵列记录声学图来摄录物体声学图像的方法，这些声学图有一与被摄物体相关的被摄物体的参考图像，其特征在于：

·麦克风阵列和光学相机互相以确定的位置放置，光学相机自动记录至少部分测量结果；

·通过物体距离和光学相机的孔径角确定光学图像区域，该光学图像区域和声学图重叠，并在该区域内合成声学图；

·一个阵列的麦克风和光学相机的与计算相关的参数以准确无误的方式存储在与该阵列相关的参数文件中；

·放大器参数存储在与放大器模块或数据记录器相关的一个或多个参数文件中；

·分别给麦克风阵列和放大器模块或数据记录器一个电子签名，该电子签名准确地载入相应的参数文件；

·合成的声学图像区域被分解为分区，它们的重心代表了要合成的像素的坐标；

·通过选择各种方式包括绝对、相对、手动、负δ、线性/对数、全部、有效值以及峰值来确定最适合的最大最小色标，以使声学图得到最理想的显示；

·用麦克风阵列和数据记录器的参数文件里的相应参数来补偿图片，以去除所有麦克风和放大器通道的同步误差；

·摄制的图片记录和与之相关的麦克风时间函数、时间同步信号、现场信息、麦克风阵列和数据记录器的参数文件以及它们相关联的信息一起被储存。

2.按权利要求1所述的方法，其特征在于时间函数在计算机中以包括麦克风坐标的虚拟三维坐标系统中重现，来显示激发源和/或激发地点。

3.按权利要求2所述的方法，其特征在于时间函数是按时重现的。

4.按权利要求1所述的方法，其特征在于声学图上的各位置点有一系列的时间延迟，这些时间延迟由包括在激发地点和阵列麦克风之间的声学信号的时间延迟确定。

5.按权利要求1或4所述的方法，其特征在于声学图上各位置点的干涉值是对：

-一个时间点；或

-一系列时间点具体显现的。

6.按权利要求1所述的方法，其特征在于某个点的时间函数是通过执行时间函数的代数组合为所有时间点计算的，其方法为：在访问麦克风通道数据时，对相关系列的时间延迟进行估算，然后通过代数运算为该时间函数确定与这个点相关的单值。

7.按权利要求6所述的方法，其特征在于：要使物体的声学图像可视化，时间函数的干涉值以灰度值或色彩值的形式被分配给像素。

8.按权利要求6所述的方法，其特征在于：代数运算的结果，标注为时间点Tx，这样可以限制所有通道的共同延迟时间。

9.按权利要求6所述的方法，其特征在于：通道数据

-在时间方向上进行处理，以保持对叠加的声音和图像的声学和光学序列的外部时间参考；

-在时间轴的逆向进行处理，以重现展开的声学波区域。

10.按权利要求1所述的方法，其特征在于所述光学相机始终固定在麦克风阵列里，所述光学相机在每次测量时自动记录一幅图像或图像序列，或以视频方式或以示波器模式连续记录图像。

11.按权利要求1所述的方法，其特征在于包括麦克风阵列中的每个麦克风的类型、识别灵敏度、振动膜中心的坐标轴(x，y，z)、轴取向(dx，dy，dz)、振幅位置和延迟时间以及每个光学相机的类型、孔径、最大图像频率和像素分辨率存储在与麦克风阵列相关的参数文件中，并分配给一个特定的识别号，作为阵列的硬件签名。

12.按权利要求1所述的方法，其特征在于：光学相机到被摄声学图像的物体的距离是通过软件设定的一个对话框加以确定的，并存储在数据文件中，这样已知光学相机的透镜孔径，要合成的声学图的物理界限和坐标可被自动确定。

13.按权利要求1所述的方法，其特征在于：声学静止图像和连续图像是通过在麦克风的时间函数显示中标记一时间间隔来产生的，将这些间隔分解为相应于处理器缓冲结构的各个小区域，并将它的帧平均分配到所有的图像中去。

14.按权利要求1所述的方法，其特征在于在频谱图窗口中通过拖动鼠标同时选择一个频率和时间范围，一个声学图像或连续图像在这范围内产生。

15.按权利要求1所述的方法，其特征在于：要合成一个连续图像，每个小区域的长度根据所选择的图像频率加以确定，一个单一图像是由各个小区域组成的，可确定一个系数专门用于选择每幅图像应平均分到多少个小区域。

16.按权利要求1所述的方法，其特征在于：声学图是和色彩表一同显示的，通过在视频图像上叠加一个彩色的声学图，其中该视频图像的边缘可通过一个边缘算符加以选取和/或通过对比度控制器或灰度控制器加以调整。

17.按权利要求1所述的方法，其特征在于：声学图和视频图像的叠加是由菜单功能键控制的，可打开各种视图包括边缘图像、灰度图像、视频图像、声学图；一个滑动触头控制边缘算符或视频图像的对比度或灰度的阈值。

18.按权利要求1所述的方法，其特征在于：所有的麦克风和放大器通道是通过测量所有放大器设置、传播时间和前置放大器的频率相关性，将所有的数据存储在相应的参数文件中，并且以在这个方式中获得的标定数据来补偿时间函数来实现同步。

19.按权利要求1所述的方法，其特征在于：在测量之前，先通过用校准试验器产生一个测试声音来检查光学图像和声学图像的叠加和方位的精确度，该校准试验器用来检查相机图像和声学图像是否正确叠加。

20.按权利要求1所述的方法，其特征在于：光学相机和阵列的麦克风设置在普通的三维坐标系中，麦克风阵列和光学相机形成一套设备，并且在同一个图像区域中加以校准。

21.按权利要求1所述的方法，其特征在于：视频和声学图像在所有像素上的正确叠加是通过在声学图像上产生枕形畸变，或者调整光学图像的普通转换实现的。

22.按权利要求1所述的方法，其特征在于：记录器模数转换器的驱动被显示和存储在一个数据文件中。

23.按权利要求1所述的方法，其特征在于：在声学图像上的每一位置点的时间函数、频率函数、声压、坐标、声音或已知时间函数关系的参数都可通过菜单用鼠标右单击该点调用出来。

24.按权利要求1所述的方法，其特征在于一个窗口用来选择频率间隔，第二个窗口用来显示相关的频谱图像，或第二个窗口用来选择频谱范围，而其声学图像转过来显示在第一个窗口中。

25.按权利要求1所述的方法，其特征在于用鼠标在声学图像的一个像素上单击，使得相关的频谱或时间函数在第二个窗口得以显示。

26.按权利要求1所述的方法，其特征在于，可以打开一个可听模式，在此模式下用鼠标点击一个声学图像的像素，使得它的时间函数得以重建并回放声音。

27.按权利要求1所述的方法，其特征在于图像、移动的连续图像和频谱的连续图像以一种专门的文件格式作为图像或连续图像存储和/或作为干涉值矩阵存储，以允许已经计算得到的结果可以快速地再次载入，并且不同结果的色表可以互相平衡。

28.按权利要求1所述的方法，其特征在于从两个声学图像的有效值的差来计算一个图像，并作为一个差值图像显示。

29.按权利要求1所述的方法，其特征在于通过计算一张声学照片和将像素的重建的时间函数和选定的时间函数相关联，形成一个时间函数相关图像，并将结果显示在另一个窗口中。

30.按权利要求1所述的方法，其特征在于麦克风数据写入一个环形结构的内存，这样就可以在启动之前，之中，之后动态地记录这些数据。

31.按权利要求1所述的方法，其特征在于在“声学照片”和“行扫描”模式中，在触发的时间点上摄取一个视频图像，触发时间点在时间函数中显示。

32.按权利要求1所述的方法，其特征在于，电脑、数据记录器和光学相机互相交换时间同步信息，这些信息给出视频图像和麦克风的时间函数之间的时间分配。

33.按权利要求1所述的方法，其特征在于在“声学连续图像”模式时，光学相机在确定的时间里重复启动，或光学相机持续提供图像并给数据记录器一个时间同步信号，该时间同步信号是记录在同步通道里面的。

34.按权利要求1所述的方法，其特征在于可设置一个示波器或实况预览模式，在此模式中一个针对问题可重复选择的时间函数部分和相关的视频图像与显示的一声学图像一起得以集中收集、处理并计算，而数据记录器在计算时间内正接受和缓冲新的数据。

35.一种用麦克风阵列摄录物体声学图像的装置，该装置用麦克风阵列记录声学图，这些声学图有一与被摄物体相关的被摄物体的参考图像，其中麦克风整合了一个光学相机，这样两者形成一套设备，在此设备中，麦克风阵列、数据记录器和数据处理设备通过数据转换的方式互相交换麦克风数据、相机摄取的图像和时间同步信息，其特征在于：

该装置以如下方式：

-阵列中的麦克风和相机的计算相关参数准确地存储在与阵列相关的参数文件中；

-所有麦克风和放大通道的同步误差通过图片补偿得以消除，图片补偿通过麦克风阵列和数据记录器的参数文件中相应的参数值得以实现。

36.按权利要求35所述的装置，其特征在于一个阵列的麦克风数据通过一个通用连接线馈入并通过一个或多个插头连接到数据记录器。

37.按权利要求36所述的装置，其特征在于所述通用连接线为电缆或者总线，光学相机的导线也整合于这个通用连接线中。

38.按权利要求35所述的装置，其特征在于一个麦克风阵列连接到数据记录器的插头中包括一个签名芯片。

39.按权利要求35所述的装置，其特征在于一个数据记录器可以有一个连接该数据记录器的校准试验装置，该校准试验装置包括一个可产生声音的装置。

40.按权利要求35所述的装置，其特征在于此装置包括一个麦克风阵列和光学相机的单元，光学相机以不可拆卸的方式安装在一个三角架上以便于枢转。

41.按权利要求35所述的装置，其特征在于有不同数目通道的麦克风阵列与插头兼容，对各种麦克风阵列允许通过一个或多个插孔的相同插头连接数据记录器。

42.按权利要求35所述的装置，其特征在于数据记录器集成在麦克风阵列中，整个装置安装在三角架上以便于枢转。

43.按权利要求35所述的装置，其特征在于，也可以用集成在数据记录器中的一个信号处理板或专用的计算机。

44.按权利要求35所述的装置，其特征在于可远距离测量的可折叠的麦克风阵列包括一个光学相机和至少三个管子，每个都装有至少一个麦克风，它们不在一个平面上，且至少以两个连接部来连接。

45.按权利要求35所述的装置，其特征在于对于二维室内测量，可透声的麦克风阵列包括一个光学相机和在一个环上等距离设置的麦克风。

46.按权利要求35所述的装置，其特征在于对于二维室内测量，声学反射的麦克风阵列包括一个光学相机和围绕一个圆形表面等角度设置的多个麦克风；一个便携式装置的实施例有集成在其中的数据记录器。

47.按权利要求35所述的装置，其特征在于对室内三维测量的麦克风阵列是以在一规则球面上均匀分布设置多个麦克风的形式形成的。

48.按权利要求35所述的装置，其特征在于数据传输的方式是电缆连接或无线连接。

49.按权利要求48所述的装置，其特征在于所述无线连接为红外连接。

50.按权利要求35所述的装置，其特征在于光学相机是视频相机。

51.按权利要求35所述的装置，其特征在于数据处理装置是个人电脑或笔记本电脑。

Images