CN101295017B - 基于规则声阵列和双目视觉的获取运动声场视频的方法 - Google Patents
基于规则声阵列和双目视觉的获取运动声场视频的方法 Download PDFInfo
- Publication number
- CN101295017B CN101295017B CN2008101148852A CN200810114885A CN101295017B CN 101295017 B CN101295017 B CN 101295017B CN 2008101148852 A CN2008101148852 A CN 2008101148852A CN 200810114885 A CN200810114885 A CN 200810114885A CN 101295017 B CN101295017 B CN 101295017B
- Authority
- CN
- China
- Prior art keywords
- moving object
- video camera
- video
- tested
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明提出的基于规则声阵列和双目视觉的获取运动声场视频的方法,属于噪声分析和控制技术领域。首先在被测运动物体粘贴标志点,布置传声器阵列和两台摄像机,对摄像机进行标定,得到投影矩阵;传声器阵列获取被测运动物体中声源的声压信号,摄像机获取被测运动物体的动态视频,将动态视频拆解成图像;在视频图像中识别出被测运动物体上的标志点,对匹配后的标志点进行三维重构,获取被测运动物体的空间位置;对声压信号进行波束成型处理,得到被测运动物体的声场特征函数分布图,将其视频图像进行逐帧空间坐标叠加,并还原成动态视频图像。本发明方法使运动噪声的测量和识别变得容易,为进一步的声源识别和降噪工作提供更准确的依据。
Description
技术领域
本发明涉及一种基于规则声阵列和双目视觉的获取运动声场视频的方法,属于噪声分析和控制技术领域。
背景技术
汽车、火车等复杂运动机械的噪声对环境影响很大。由于运动的原因,对这类(多声源)运动型噪声,要比较精确地获取其声场,将各个声源分辨出来,并准确定位是比较困难的。而声场的可视化可以使噪声源的定位分析更加实用,从而为进一步的噪声治理工作提供依据,对噪声测量以及治理工作都具有重要意义。
在目前的研究中,声场可视化一般都是通过声场等高线图或三维声貌图与被测物体图片匹配显示后来实现。这一方法也延续到了运动声源声场的显示上,在很多学者的研究中,都是通过激光定位运动物体的位置,假定物体在测量过程中匀速运动,实现运动物体与测量信号的空间位置关系建立,然后人工手动将测量结果与运动物体的图片进行叠加,实现声源的定位和分析。在这种方法下,运动声源的准确定位是比较困难和复杂的,需要很专业的技术人员才能完成,这将影响测量方法的推广应用。
目前,世界上针对交通工具类的运动声源,对其声场进行测量分析研究的主要有声全息方法和阵列方法。全息法测量运动声场受多普勒效应影响很大,其工程实际应用受到了局限。与全息技术相比,阵列技术在运动声源识别研究中的应用更为广泛。双目立体视觉技术是一种比较成熟的技术,已经被广泛应用于机器人导航、智能车辆自动驾驶、三维测量和虚拟现实等领域。
发明内容
本发明的目的是提出一种基于规则声阵列和双目视觉的获取运动声场视频的方法,使得运动声源的定位分析更加准确,以实现对噪声的控制。
本发明提出的基于规则声阵列和双目视觉的获取运动声场视频的方法,包括以下步骤:
(1)在被测运动物体侧面粘贴标志点,在与被测运动物体相距D处布置传声器阵列;
(2)在与被测运动物体相距L处设置两台摄像机,两台摄像机之间的距离为d,对两台摄像机分别进行标定,获取第一台摄像机的内部参数:摄像机主点坐标(u01,v01)、镜头焦距f1及像素的物理尺寸dx1×dy1,第一台摄像机的外部参数:摄像机旋转矩阵R1及平移向量t1;获取第二台摄像机的内部参数:摄像机主点坐标(u02,v02)、镜头焦距f2及像素的物理尺寸dx2×dy2,第二台摄像机的外部参数:摄像机旋转矩阵R2及平移向量t2;由第一台摄像机和第二台摄像机的内外部参数,分别得到其投影矩阵为:
(3)被测运动物体以速度v行驶,传声器阵列获取被测运动物体中声源的声压信号,第一台摄像机和第二台摄像机分别获取被测运动物体的动态视频,采用外触发的方式保证两路视频信号和声压信号三者同步;
(4)分别将上述两台摄像机获取的动态视频拆解成图像;
(5)在上述拆解后的视频图像中识别出被测运动物体上的标志点,对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配,使被测运动物体上的同一标志点在两台摄像机图像上的位置相对应,对匹配后的标志点进行三维重构,获取被测运动物体的空间位置;
(6)对上述传声器阵列获取的声压信号进行波束成型处理,得到被测运动物体上s(ε,η)处在t1至t2时间内的声场特征函数:
pi(t)为t时刻第i个传声器接收到的信号声压,ri(t,ε,η)为t时刻面上任意点s(ε,η)与第i个传声器之间的物理距离,c为声速,N为传声器数目,摄像机每帧图像间的时间间隔为ΔT,设已经根据T1时刻的图像获得了被测运动物体的空间位置,取 遍历被测运动物体表面,得到被测运动物体的声场特征函数分布图;
(7)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加,并还原成动态视频图像。
上述方法中,所述的传声器阵列的布置形式为一字、十字、X形或圆形规则传声器阵列中的任何一种。
上述方法中,对所述的匹配后的标志点进行三维重构的方法为:
设被测运动物体上的标志点在第一台摄像机和第二台摄像机所获取图像上所成的像的齐次坐标分别为(u1,v1,1)T,(u2,v2,1)T,设K点在世界坐标系下的齐次坐标为(X,Y,Z,1)T,
则
其中,Zc1、Zc2分别为K点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标,将式中的Zc1、Zc2消去,得到关于X、Y、Z的四个线性方程:
用最小二乘法求解上述方程组,获得被测运动物体上的标志点K在世界坐标系下的坐标。
本发明提出的基于规则声阵列和双目视觉的获取运动声场视频的方法,引了入双目立体视觉技术,并其与规则声阵列结合,实现了声场可视化。利用双目立体视觉技术进行声场空间的三维测量和运动物体的自动追踪,建立声场空间与信号之间的时空关系,并自动将声场测量结果与摄像机的三维视频图像匹配在一起,将物体的运动过程与声场的动态变化过程以动态视频的效果直观显示出来,实现运动声源声场的视频可视化。从而使测量者在测量过程中就可以从视频中直接获取运动物体在运动过程中的噪声辐射状况,直观获得各个噪声源的位置。本发明方法使已有的声场可视化的方法更准确实用,使运动噪声的测量和识别变得容易,为进一步的声源识别和降噪工作提供更准确的依据。
附图说明
图1是使用本发明方法的场地布置示意图。
图2是本发明中外触发方式示意图。
图3是标志点匹配示意图。
图4是三维重构原理图。
图5是本发明中视频和声场数据的处理流程。
图1中,1是被测运动物体,2是摄像机,3是传声器阵列,4是前置放大接口箱,5是信号采集仪,6是电脑,7是信号发生器。
图2中,S1是信号发生器产生的方波信号,S2和S3分别是两台摄像机的曝光信号示意波形,S4是传声器阵列开关信号示意波形。
图3中,M1是第一台摄像机获取的被测运动物体的图像,M2是第二台摄像机获取的被测运动物体的图像,P1’、P2’、P3’、P4’分别为标志点P1,P2,P3,P4在M1上所成的像,P1”、P2”、P3”、P4”分别为标志点P1,P2,P3,P4在M2上所成的像。
图4中,π1是第一台摄像机的成像平面,π2是第二台摄像机的成像平面,O-XwYwZw是世界坐标系,u101v1是第一台摄像机的图像坐标系,u202v2是第二台摄像机的图像坐标系,Oc1-Xc1Yc1Zc1是第一台摄像机的摄像机坐标系,Oc2-Xc2Yc2Zc2是第二台摄像机的摄像机坐标系,K点是被测运动物体上的一个标志点,k1、k2分别为K点在π1和π2上所成的像。
具体实施方式
以下结合附图详细介绍本发明提出的基于规则声阵列和双目视觉的获取运动声场视频的方法:
(1)如附图1所示,在被测运动物体1侧面粘贴3~30个标志点,在与被测运动物体相距D处布置传声器阵列,D的取值范围为4~6m。
(2)如附图1所示,在与被测运动物体1相距L处布置两台摄像机2,L的取值范围为4~6m,两台摄像机之间的距离为d,d的取值范围为1~2m。两台摄像机的位置在不与传声器阵列3相互遮挡的情况下尽可能的靠近。对两台摄像机分别进行标定,获取第一台摄像机的内部参数:摄像机主点(即摄像机光轴与成像平面的交点)坐标(u01,v01)、镜头焦距f1及像素的物理尺寸dx1×dy1,第一台摄像机的外部参数:摄像机旋转矩阵R1及平移向量t1;获取第二台摄像机的内部参数:摄像机主点(即摄像机光轴与成像平面的交点)坐标(u02,v02)、镜头焦距f2及像素的物理尺寸dx2×dy2,第二台摄像机的外部参数:摄像机旋转矩阵R2及平移向量t2;由第一台摄像机、第二台摄像机的内外部参数,可以分别得到第一台摄像机和第二台摄像机的投影矩阵为:
(3)如附图1所示,由信号发生器7产生方波信号,触发摄像机2和传声器阵列3同时开始工作,并保证两路摄像机信号和声压信号同步。被测运动物体1以速度v行驶,传声器阵列3获取被测运动物体中声源的声压信号,两台摄像机2分别获取被测运动物体的动态视频。信号前置接口箱4对被测声源的声压信号进行放大,提高信噪比。信号采集仪5将经过前置接口箱4后的声压信号进行滤波放大,转化为数字信号。电脑6对声压信号和视频信号进行采集和处理。两路摄像机信号和声压信号同步方式如附图2所示,用方波信号S1的每个上升沿触发两台摄像机进行拍摄,用方波信号S1的第一个上升沿触发传声器阵列,使其开始工作。
(4)分别将上述两台摄像机获取的动态视频拆解成图像。
(5)在上述拆解后的视频图像中识别出被测运动物体上的标志点,对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配,使被测运动物体上的同一标志点在两台摄像机所获图像上的位置相对应,如附图3所示。以标志点P1为例,即获取P1在M1上的像P1’的中心点的位置与P1在M2上的像P1”的中心点的位置,将它们配成一对。
(5)对匹配后的标志点进行三维重构,获取被测运动物体的空间位置。如附图4所示,设被测运动物体上的标志点的中心点在两台摄像机所获取图像上所成的像的齐次坐标分别为(u1,v1,1)T,(u2,v2,1)T,设K点在世界坐标系下的齐次坐标为(X,Y,Z,1)T。则可以得到:
其中,Zc1、Zc2分别为K点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标。将式中的Zc1、Zc2消去,可以得到关于X、Y、Z的四个线性方程:
用最小二乘法求解上述方程组,即可获得被测运动物体上的标志点K在世界坐标系下的坐标。
(6)对上述传声器阵列获取的声压信号进行波束成型处理,得到被测运动物体上s(ε,η)处在t1至t2时间内的声场特征函数:
pi(t)为t时刻第i个传声器接收到的信号声压,ri(t,ε,η)为t时刻面上任意点s(ε,η)与第i个传声器之间的物理距离,c为声速,N为传声器数目。摄像机每帧图像间的时间间隔为ΔT,设已经根据Ti时刻的图像获得了被测运动物体的空间位置,为了获取该时刻被测运动物体表面的声场特征函数分布图,取 遍历被测运动物体表面,得到被测运动物体的声场特征函数分布图;根据被测运动物体表面声场特征函数分布图上各处声场特征函数的相对强弱就可以识别出运动物体侧面上各主要噪声源的位置。
(7)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加,并还原成动态视频图像。视频和声场数据的处理流程如附图5所示。
Claims (3)
1.一种基于规则声阵列和双目视觉的获取运动声场视频的方法,其特征在于该方法包括以下步骤:
(1)在被测运动物体侧面粘贴标志点,在与被测运动物体相距D处布置传声器阵列;
(2)在与被测运动物体相距L处设置两台摄像机,两台摄像机之间的距离为d,对两台摄像机分别进行标定,获取第一台摄像机的内部参数:摄像机主点坐标(u01,v01)、镜头焦距f1及像素的物理尺寸dx1×dy1,第一台摄像机的外部参数:摄像机旋转矩阵R1及平移向量H1;获取第二台摄像机的内部参数:摄像机主点坐标(u02,v02)、镜头焦距f2及像素的物理尺寸dx2×dy2,第二台摄像机的外部参数:摄像机旋转矩阵R2及平移向量H2,由第一台摄像机和第二台摄像机的内、外部参数,分别得到第一台摄像机和第二台摄像机的投影矩阵为:
(3)被测运动物体以速度v行驶,传声器阵列获取被测运动物体中声源的声压信号,第一台摄像机和第二台摄像机分别获取被测运动物体的动态视频,采用外触发的方式保证两路视频信号和声压信号三者同步;
(4)分别将上述第一台摄像机和第二台摄像机获取的动态视频拆解成图像;
(5)在上述拆解后的视频图像中识别出被测运动物体上的标志点,对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配,使被测运动物体上的同一标志点在两台摄像机图像上的位置相对应,对匹配后的标志点进行三维重构,获取被测运动物体的空间位置;
(6)对上述传声器阵列获取的声压信号进行波束成型处理,得到被测运动物体上s(ε,η)处在t1至t2时间内的声场特征函数:
pi(t)为t时刻第i个传声器接收到的信号声压,ri(t,ε,η)为t时刻面上任意点s(ε,η)与第i个传声器之间的物理距离,c为声速,N为传声器数目,摄像机每帧图像间的时间间隔为ΔT,设根据T1时刻的图像获得了被测运动物体的空间位置,取 遍历被测运动物体表面,得到被测运动物体的声场特征函数分布图;
(7)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加,并还原成动态视频图像。
2.如权利要求1所述的方法,其特征在于其中所述的传声器阵列的布置形式为一字、十字、X形或圆形规则传声器阵列中的任何一种。
3.如权利要求1所述的方法,其特征在于其中对所述的匹配后的标志点进行三维重构的方法为:
设被测运动物体上的标志点在第一台摄像机和第二台摄像机所获取的图像上所成的像的齐次坐标分别为(u1,v1,1)T,(u2,v2,1)T,设K点在世界坐标系下的齐次坐标为(X,Y,Z,1)T,则:
其中,Zc1、Zc2分别为K点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标,将式中的Zc1、Zc2消去,得到关于X、Y、Z的四个线性方程:
用最小二乘法求解上述方程组,获得被测运动物体上的标志点K在世界坐标系下的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101148852A CN101295017B (zh) | 2008-06-13 | 2008-06-13 | 基于规则声阵列和双目视觉的获取运动声场视频的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101148852A CN101295017B (zh) | 2008-06-13 | 2008-06-13 | 基于规则声阵列和双目视觉的获取运动声场视频的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101295017A CN101295017A (zh) | 2008-10-29 |
CN101295017B true CN101295017B (zh) | 2011-01-12 |
Family
ID=40065427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101148852A Expired - Fee Related CN101295017B (zh) | 2008-06-13 | 2008-06-13 | 基于规则声阵列和双目视觉的获取运动声场视频的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101295017B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102980647A (zh) * | 2012-11-26 | 2013-03-20 | 北京神州普惠科技股份有限公司 | 一种噪声源识别定位测试方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101413824B (zh) * | 2008-12-04 | 2010-04-07 | 清华大学 | 一种基于随机传声器阵列的运动物体声场测量方法 |
CN101414000B (zh) * | 2008-12-04 | 2011-04-27 | 清华大学 | 基于随机传声器阵列和双目视觉的获取运动声场视频的方法 |
CN101917550B (zh) * | 2010-07-01 | 2012-11-14 | 清华大学 | 高时空分辨率视频去模糊方法及系统 |
CN103090963B (zh) * | 2011-11-07 | 2018-03-13 | 技嘉科技股份有限公司 | 音量检测方法及音量检测装置 |
CN103412053B (zh) * | 2013-07-22 | 2015-11-18 | 北京航空航天大学 | 一种基于双声发射传感阵列和波束形成的无需波速的声发射源定位方法 |
JP6266371B2 (ja) * | 2014-02-10 | 2018-01-24 | 株式会社小野測器 | 音源探査システム |
CN106600627A (zh) * | 2016-12-07 | 2017-04-26 | 成都通甲优博科技有限责任公司 | 一种基于标志点的刚体运动捕捉方法及系统 |
CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
CN112198476B (zh) * | 2020-10-16 | 2023-10-27 | 昆明理工大学 | 一种基于立体视觉和波束形成的移动声源的三维定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1293350A (zh) * | 2000-12-15 | 2001-05-02 | 清华大学 | 高速运动物体表面声场分析方法 |
CN101072366A (zh) * | 2007-05-24 | 2007-11-14 | 上海大学 | 基于光场和双目视觉技术的自由立体显示系统和方法 |
-
2008
- 2008-06-13 CN CN2008101148852A patent/CN101295017B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1293350A (zh) * | 2000-12-15 | 2001-05-02 | 清华大学 | 高速运动物体表面声场分析方法 |
CN101072366A (zh) * | 2007-05-24 | 2007-11-14 | 上海大学 | 基于光场和双目视觉技术的自由立体显示系统和方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102980647A (zh) * | 2012-11-26 | 2013-03-20 | 北京神州普惠科技股份有限公司 | 一种噪声源识别定位测试方法 |
CN102980647B (zh) * | 2012-11-26 | 2014-12-17 | 北京神州普惠科技股份有限公司 | 一种噪声源识别定位测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101295017A (zh) | 2008-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101295017B (zh) | 基于规则声阵列和双目视觉的获取运动声场视频的方法 | |
CN110363820B (zh) | 一种基于激光雷达、图像前融合的目标检测方法 | |
CN101414000B (zh) | 基于随机传声器阵列和双目视觉的获取运动声场视频的方法 | |
CN108229366B (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
CN101794349B (zh) | 机器人遥操作增强现实实验系统及方法 | |
CN109186586A (zh) | 一种面向动态泊车环境的同时定位及混合地图构建方法 | |
CN109048926A (zh) | 一种基于立体视觉的机器人智能避障系统及方法 | |
CN103335630B (zh) | 低成本三维激光扫描仪 | |
CN111060924B (zh) | 一种slam与目标跟踪方法 | |
Ye et al. | Universal semantic segmentation for fisheye urban driving images | |
CN101290347B (zh) | 用规则声阵列和单摄像机获取静止声源声场图像的方法 | |
CN110758243A (zh) | 一种车辆行驶过程中的周围环境显示方法和系统 | |
CN103197095A (zh) | 分层同步三维粒子图像测速方法与装置 | |
CN103175485A (zh) | 一种飞机涡轮发动机叶片修复机器人的视觉标定方法 | |
CN103796001A (zh) | 一种同步获取深度及色彩信息的方法及装置 | |
CN112734921B (zh) | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 | |
CN103727927A (zh) | 基于结构光的高速运动物体位姿视觉测量方法 | |
CN103778643A (zh) | 一种实时生成目标深度信息的方法及其装置 | |
CN112017248B (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
CN106296825A (zh) | 一种仿生三维信息生成系统及方法 | |
US20230351677A1 (en) | Model Generation Method and Apparatus, Image Perspective Determining Method and Apparatus, Device, and Medium | |
CN103260008B (zh) | 一种影像位置到实际位置的射影转换方法 | |
Schönbein et al. | Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems. | |
CN112348941A (zh) | 一种基于点云与图像数据的实时融合方法及装置 | |
Yu et al. | Multistage fusion approach of lidar and camera for vehicle-infrastructure cooperative object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110112 Termination date: 20170613 |
|
CF01 | Termination of patent right due to non-payment of annual fee |