CN114359390A - 一种基于图像的鸣笛检测系统声源定位偏差估计方法 - Google Patents

Abstract

本发明提供的基于图像的鸣笛检测系统声源定位偏差估计方法，涉及声学声源定位与计算机视觉的交叉领域。该基于图像的鸣笛检测系统声源定位偏差估计方法包括:获取鸣笛检测系统所在空间的空间信息；在监测区域内发生鸣笛时，获取鸣笛抓拍图像；拟合鸣笛抓拍图像，以得到监测区域的特征点信息；根据空间信息和特征点信息，计算鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系；根据鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，计算实际声源与图像定位位置的偏差。本发明可以无需知道摄像机内部参数，定量计算出鸣笛监测系统获取的鸣笛图像内声源位置与实际声源偏差，以为使用鸣笛监测系统提供准确性的定量结果依据。

Description

一种基于图像的鸣笛检测系统声源定位偏差估计方法

技术领域

本发明涉及声学声源定位与计算机视觉的交叉领域，具体而言，涉及一种基于图像的鸣笛检测系统声源定位偏差估计方法。

背景技术

随着人民生活水平的日益提高，国内使用机动车的家庭也逐渐增多，大部分的车辆都集中在人们居住的城市里，城市居民也面临着交通噪声的问题，为监管禁止鸣笛区域中出现的乱鸣笛的情况，开发出来鸣笛监测系统来辅助监管。

该鸣笛监测系统由传声器阵列、高清摄像头与信息处理模块三部分组成。该系统通过传声器阵列接收到声音信号，同时信息处理模块识别出鸣笛声并通过对传声器阵列中各个阵元接收到的信号分析，得到鸣笛声源的位置，从而给高清相机一个抓拍信号，将鸣笛车辆拍摄下来，并在拍摄的图片或视频中标注出鸣笛车辆，得出鸣笛证据。

鸣笛监测系统拍摄的鸣笛图像中存在鸣笛定位信息，该信息多为定性信息，为对鸣笛结果进行定量分析，得出较为准确的实际声源位置与系统定位位置的偏差结果。本发明是通过对鸣笛监测系统抓拍的鸣笛结果图像进行图像分析，根据鸣笛监测系统所处的空间信息和鸣笛图像上的信息计算图片给定区域内的图片像素所代表的距离，从而定量计算出鸣笛监测系统定位结果与实际声源位置的偏差大小。从而对鸣笛监测设备的声源定位性能给出依据，为鸣笛监测系统的质量监测报告提供检测数学原理依据。

发明内容

本发明的目的包括，例如，提供一种基于图像的鸣笛检测系统声源定位偏差估计方法，其可以无需知道摄像机内部参数，定量计算出鸣笛监测系统获取的鸣笛图像内声源位置与实际声源偏差，以为使用鸣笛监测系统提供准确性的定量结果依据。

本发明的实施例可以这样实现：

本发明实施例提供一种基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，包括:

获取鸣笛检测系统所在空间的空间信息，其中，所述鸣笛检测系统包括高清摄像头及其监测区域；

在所述监测区域内发生鸣笛时，获取鸣笛抓拍图像；

拟合所述鸣笛抓拍图像，以得到所述监测区域的特征点信息；

根据所述空间信息和所述特征点信息，计算所述鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，其中，所述像素坐标为所述鸣笛抓拍图像中的坐标；

根据所述鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，计算实际声源与图像定位位置的偏差。

进一步地，在可选的实施例中，所述获取鸣笛检测系统所在空间的空间信息的步骤包括：

获取所述高清摄像机的安装高度H；

获取所述监测区域与所述高清摄像机的水平距离L。

进一步地，在可选的实施例中，在所述获取所述监测区域与所述高清摄像机的水平距离L的步骤中，所述监测区域为四块尺寸为M×N的标定板组成的田字形区域。

进一步地，在可选的实施例中，所述在所述监测区域内发生鸣笛时，获取鸣笛抓拍图像的步骤包括：

在所述监测区域内放置鸣笛声源；

控制所述鸣笛声源发声，并通过所述鸣笛监测系统获得所述监测区域内的鸣笛抓拍图像。

进一步地，在可选的实施例中，在拟合所述鸣笛抓拍图像，以得到所述监测区域的特征点信息的步骤中，所述监测区域四块尺寸为M×N的标定板组成的田字形区域，且具有五个特征点，所述五个特征点分别位于所述监测区域的四个定点和一个中心点。

进一步地，在可选的实施例中，在拟合所述鸣笛抓拍图像，以得到所述监测区域的特征点信息的步骤中，通过直线拟合和角点检测，获得所述五个特征点的像素坐标，分别为E(u_e，v_e)、F(u_f，v_f)、X(u_x，v_x)、Y(u_y，v_y)、Z(u_z，v_z)。

进一步地，在可选的实施例中，在所述根据所述空间信息和所述特征点信息，计算所述鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系的步骤中，分别在水平方向和垂直方向上，计算所述像素坐标与所述监测范围内的实际坐标的对应关系。

进一步地，在可选的实施例中，在水平方向上，计算所述像素坐标与所述监测范围内的实际坐标的对应关系的步骤中，由于成像平面内的监测区域水平方向的特征点为E和F，该两点在图像上的像素坐标分别为(u_e，v_e)和 (u_f，v_f)，由所述空间信息可知，特征点E和F的实际水平距离为2N，因此出所述监测区域内水平方向上的像素对应关系为：

进一步地，在可选的实施例中，在垂直方向上，计算所述像素坐标与所述监测范围内的实际坐标的对应关系的步骤中，由于摄像机成像原理，可以清楚的知道成像平面与参考成像平面存在相似关系；其中参考成像平面过点 Z(L+2*M，0)，直线l_z为参考成像平面与垂直方向切面的交线，点Z在其直线l_z上；点N(x_n，y_n)和M(x_m，y_m)分别是特征点Y(L+M，0)和X(L，0)在参考成像平面的对应点；

由以上的信息可以知道像素坐标中的点W(u，v)与其对应的实际监测区域的点W(x_w，0)之间的关系为：

本发明提供的基于图像的鸣笛检测系统声源定位偏差估计方法具有以下有益效果：该方案主要包括获取空间信息和图片特征点信息、计算对应关系从而计算实际声源与图像定位位置的偏差。该计算方法需先获取空间信息，作为该方法的已知条件，之后声源发声获取鸣笛监测设备抓拍到的图像，通过对图像直线拟合与角点检测的方式获取特征点的像素坐标，特征点是已知空间关系的特殊的点，根据已知的空间信息、特征点像素坐标信息和特征点内自身信息计算出，检测范围内空间坐标与图片像素的对应关系，最后根据对应关系和图像中实际声源像素坐标与系统定位声源像素坐标从而定量计算出系统定位的偏差。根据此本发明的计算方法可以明确计算鸣笛监测系统的定位偏差的数学原理，同时不需要对鸣笛检测系统的校准实验环境有特定要求，可以自由设置实验中环境参数且参数设置简便，同时结果可以作为评判鸣笛监测系统的定位性能指标提供依据，具有重要的实际参考价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明具体实施例所述的基于图像的鸣笛检测系统声源定位偏差估计方法的流程示意图；

图2为本发明具体实施例所述的鸣笛监测系统声源定位示意图；

图3为本发明具体实施例所述的鸣笛监测系统抓拍图像示意图；

图4为本发明具体实施例所述的鸣笛监测系统水平方向对应关系示意图；

图5为本发明具体实施例所述的鸣笛监测系统垂直方向对应关系示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

下面结合附图，对本发明的具体实施方式进行详细说明。

请参阅图1，本实施例提供了一种基于图像的鸣笛检测系统声源定位偏差估计方法，其可以无需知道摄像机内部参数，定量计算出鸣笛监测系统获取的鸣笛图像内声源位置与实际声源偏差，以为使用鸣笛监测系统提供准确性的定量结果依据。

请结合参阅图1至图5，本发明实施例提供一种基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，包括以下步骤。

步骤S100：获取鸣笛检测系统所在空间的空间信息，其中，鸣笛检测系统包括高清摄像头及其监测区域。

在可选的实施例中，获取鸣笛检测系统所在空间的空间信息的步骤包括：获取高清摄像机的安装高度H；以及，获取监测区域与高清摄像机的水平距离 L。

可选地，监测区域为四块尺寸为M×N的标定板组成的田字形区域。

步骤S200：在监测区域内发生鸣笛时，获取鸣笛抓拍图像。

在可选的实施例中，在监测区域内发生鸣笛时，获取鸣笛抓拍图像的步骤包括：在监测区域内放置鸣笛声源；以及，控制鸣笛声源发声，并通过鸣笛监测系统获得监测区域内的鸣笛抓拍图像。

步骤S300：拟合鸣笛抓拍图像，以得到监测区域的特征点信息。

在可选的实施例中，在拟合鸣笛抓拍图像，以得到监测区域的特征点信息的步骤中，监测区域四块尺寸为M×N的标定板组成的田字形区域，且具有五个特征点，五个特征点分别位于监测区域的四个定点和一个中心点。

进一步地，在拟合鸣笛抓拍图像，以得到监测区域的特征点信息的步骤中，通过直线拟合和角点检测，获得五个特征点的像素坐标，分别为E(u_e，v_e)、 F(u_f，v_f)、X(u_x，v_x)、Y(u_y，v_y)、Z(u_z，v_z)。

步骤S400：根据空间信息和特征点信息，计算鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，其中，像素坐标为鸣笛抓拍图像中的坐标。

在可选的实施例中，在根据空间信息和特征点信息，计算鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系的步骤中，分别在水平方向和垂直方向上，计算像素坐标与监测范围内的实际坐标的对应关系。

在水平方向上，计算像素坐标与监测范围内的实际坐标的对应关系的步骤中，由于成像平面内的监测区域水平方向的特征点为E和F，该两点在图像上的像素坐标分别为(u_e，v_e)和(u_f，v_f)，由空间信息可知，特征点E和F的实际水平距离为2N，因此出监测区域内水平方向上的像素对应关系为：

在垂直方向上，计算像素坐标与监测范围内的实际坐标的对应关系的步骤中，由于摄像机成像原理，可以清楚的知道成像平面与参考成像平面存在相似关系；其中参考成像平面过点Z(L+2*M，0)，直线l_z为参考成像平面与垂直方向切面的交线，点Z在其直线l_z上；点N(x_n，y_n)和M(x_m，y_m)分别是特征点Y(L+M，0)和X(L，0)在参考成像平面的对应点；

由以上的信息可以知道像素坐标中的点W(u，v)与其对应的实际监测区域的点W(x_w，0)之间的关系为：

步骤S500：根据鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，计算实际声源与图像定位位置的偏差。

本发明所采用的技术方案的具体流程参考图1，该方案主要包括获取空间信息和图片特征点信息、计算对应关系从而计算实际声源与图像定位位置的偏差。该计算方法需先获取空间信息，作为该方法的已知条件，之后声源发声获取鸣笛监测设备抓拍到的图像，通过对图像直线拟合与角点检测的方式获取特征点的像素坐标，特征点是已知空间关系的特殊的点，根据已知的空间信息、特征点像素坐标信息和特征点内自身信息计算出，检测范围内空间坐标与图片像素的对应关系，最后根据对应关系和图像中实际声源像素坐标与系统定位声源像素坐标从而定量计算出系统定位的偏差。

根据此本发明的计算方法可以明确计算鸣笛监测系统的定位偏差的数学原理，同时不需要对鸣笛检测系统的校准实验环境有特定要求，可以自由设置实验中环境参数且参数设置简便，同时结果可以作为评判鸣笛监测系统的定位性能指标提供依据，具有重要的实际参考价值。

步骤1)：如图图2所示，获取鸣笛检测系统所在空间的空间信息。其中包括鸣笛监测系统高清摄像头的安装高度H；沿道路方向放置四块尺寸为 M×N的标定板，四块标定板组成的田字形状的区域设置为监测区域；监测区域最下边与高清摄像头的水平距离为L。只需确保监测区域在高清摄像头的拍摄范围内，安装高度H与水平距离L可随意设置，满足上述条件获取的空间信息即可用于本方法的计算。

步骤2)：在监测区域上放置鸣笛声源，鸣笛声源发声后，鸣笛检测系统获得鸣笛抓拍图片，其鸣笛抓拍图片的效果图如图图3所示，其中点W(u，v) 即为鸣笛检测系统定位的声源，但真实的声源在监测区域的中心点Y处。

步骤3)：如图图3所示，在抓拍的图像中由标定板构成的田字形状的区域存在如图所示的五个点为特征点，由直线拟合与角点检测获取特征点精确的像素坐标，五个特征点的像素坐标分别为E(u_e，v_e)、F(u_f，v_f)、X(u_x，v_x)、 Y(u_y，v_y)、Z(u_z，v_z)。

步骤4)：根据步骤1与步骤3获取的空间信息和特征点信息，结合摄像机成像原理，则可以推导出像素坐标与检测范围内实际坐标的对应关系，其中分为两个方向描述其对应关系，两方向分为水平方向于垂直方向。

如图图4所示的水平方向，由于成像平面内的监测区域水平方向的特征点为E和F，该两点在图像上的像素坐标分别为(u_e，v_e)和(u_f，v_f)，其中水平方向对应关系只考虑图3中u轴方向，由步骤1中的空间信息可知两点的实际水平距离为2N，因此该监测区域内水平方向上的像素对应关系为：

如图图5所示的垂直方向，由于摄像机成像原理，可以清楚的知道成像平面与参考成像平面存在相似关系；其中参考成像平面过点Z(L+2*M，0)，直线l_z为参考成像平面与垂直方向切面的交线，点Z在其直线l_z上；点N(x_n，y_n) 和M(x_m，y_m)分别是特征点Y(L+M，0)和X(L，0)在参考成像平面的对应点。其中存在的关系有：

直线l_z：k*x-y-k*(L+2*M)＝0；

其中k为直线l_z的斜率，摄像机正常工作时，成像平面不可能垂直于地面，因此斜率k一定存在，不可能出现斜率不存在的情况。

直线HX为：H*x+L*y＝H*L；

直线HY为：H*x+(L+M)*y＝H*(L+M)；

其中，H、L和M为步骤1中获取的空间信息。

点M(x_m，y_m)和点N(x_n，y_n)的关系有：

同时向量

阳向量

呈线性相关关系，满足条件如下：

则可以知道斜率k和点M的坐标为：

在图3抓拍图像的监测区域内存在点W(u，v)，点W为鸣笛监测系统定位的鸣笛声源位置，该点在像素坐标上v轴方向的坐标为v，同时有v_z＜v＜v_x，根据之前已知信息，设其在参考成像面对应的点为V(x_v，y_v)，其中点V的位置可以推导出来。图片监测区域内的点W在垂直方向上的实际地面对应的点为W(x_w，0)，点W可以通过直线HV和直线y＝0求出。其中关系如下：

因此，综上所述鸣笛监测系统声源定位位置W(u，v)与实际声源位置 Y(u_y，v_y)之间的关系为：

水平方向上为：

垂直方向上为：

本实施例提供的基于图像的鸣笛检测系统声源定位偏差估计方法：该方案主要包括获取空间信息和图片特征点信息、计算对应关系从而计算实际声源与图像定位位置的偏差。该计算方法需先获取空间信息，作为该方法的已知条件，之后声源发声获取鸣笛监测设备抓拍到的图像，通过对图像直线拟合与角点检测的方式获取特征点的像素坐标，特征点是已知空间关系的特殊的点，根据已知的空间信息、特征点像素坐标信息和特征点内自身信息计算出，检测范围内空间坐标与图片像素的对应关系，最后根据对应关系和图像中实际声源像素坐标与系统定位声源像素坐标从而定量计算出系统定位的偏差。根据此本发明的计算方法可以明确计算鸣笛监测系统的定位偏差的数学原理，同时不需要对鸣笛检测系统的校准实验环境有特定要求，可以自由设置实验中环境参数且参数设置简便，同时结果可以作为评判鸣笛监测系统的定位性能指标提供依据，具有重要的实际参考价值。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (9)

1.一种基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，包括:

获取鸣笛检测系统所在空间的空间信息，其中，所述鸣笛检测系统包括高清摄像头及其监测区域；

在所述监测区域内发生鸣笛时，获取鸣笛抓拍图像；

拟合所述鸣笛抓拍图像，以得到所述监测区域的特征点信息；

根据所述空间信息和所述特征点信息，计算所述鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，其中，所述像素坐标为所述鸣笛抓拍图像中的坐标；

根据所述鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系，计算实际声源与图像定位位置的偏差。

2.根据权利要求1所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，所述获取鸣笛检测系统所在空间的空间信息的步骤包括：

获取所述高清摄像机的安装高度H；

获取所述监测区域与所述高清摄像机的水平距离L。

3.根据权利要求2所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，在所述获取所述监测区域与所述高清摄像机的水平距离L的步骤中，所述监测区域为四块尺寸为M×N的标定板组成的田字形区域。

4.根据权利要求1所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，所述在所述监测区域内发生鸣笛时，获取鸣笛抓拍图像的步骤包括：

在所述监测区域内放置鸣笛声源；

控制所述鸣笛声源发声，并通过所述鸣笛监测系统获得所述监测区域内的鸣笛抓拍图像。

5.根据权利要求4所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，在拟合所述鸣笛抓拍图像，以得到所述监测区域的特征点信息的步骤中，所述监测区域四块尺寸为M×N的标定板组成的田字形区域，且具有五个特征点，所述五个特征点分别位于所述监测区域的四个定点和一个中心点。

6.根据权利要求5所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，在拟合所述鸣笛抓拍图像，以得到所述监测区域的特征点信息的步骤中，通过直线拟合和角点检测，获得所述五个特征点的像素坐标，分别为E(u_e，v_e)、F(u_f，v_f)、X(u_x，v_x)、Y(v_y，v_y)、Z(u_z，v_z)。

7.根据权利要求6所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，在所述根据所述空间信息和所述特征点信息，计算所述鸣笛抓拍图像的像素坐标与实际鸣笛坐标的对应关系的步骤中，分别在水平方向和垂直方向上，计算所述像素坐标与所述监测范围内的实际坐标的对应关系。

8.根据权利要求7所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，在水平方向上，计算所述像素坐标与所述监测范围内的实际坐标的对应关系的步骤中，由于成像平面内的监测区域水平方向的特征点为E和F，该两点在图像上的像素坐标分别为(u_e，v_e)和(u_f，v_f)，由所述空间信息可知，特征点E和F的实际水平距离为2N，因此出所述监测区域内水平方向上的像素对应关系为：

9.根据权利要求8所述的基于图像的鸣笛检测系统声源定位偏差估计方法，其特征在于，在垂直方向上，计算所述像素坐标与所述监测范围内的实际坐标的对应关系的步骤中，由于摄像机成像原理，可以清楚的知道成像平面与参考成像平面存在相似关系；其中参考成像平面过点Z(L+2*M，0)，直线l_z为参考成像平面与垂直方向切面的交线，点Z在其直线l_z上；点N(x_n，y_n)和M(x_m，y_m)分别是特征点Y(L+M，0)和X(L，0)在参考成像平面的对应点；

由以上的信息可以知道像素坐标中的点W(u，v)与其对应的实际监测区域的点W(x_w，0)之间的关系为：

Images