CN101359043A - 一种声学摄像机系统中声场重建平面的确定方法 - Google Patents
一种声学摄像机系统中声场重建平面的确定方法 Download PDFInfo
- Publication number
- CN101359043A CN101359043A CNA2008101193612A CN200810119361A CN101359043A CN 101359043 A CN101359043 A CN 101359043A CN A2008101193612 A CNA2008101193612 A CN A2008101193612A CN 200810119361 A CN200810119361 A CN 200810119361A CN 101359043 A CN101359043 A CN 101359043A
- Authority
- CN
- China
- Prior art keywords
- centerdot
- monumented point
- image
- point
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000004744 fabric Substances 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012552 review Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提出的声学摄像机系统中声场重建平面的确定方法,属于噪声分析和控制技术领域。首先在被测运动物体粘贴标志点,对系统中两台摄像机中的同步图像利用模板匹配方法进行标志点识别,并对识别结果进行匹配,找出相应的像点对;对经过匹配的像点对利用双目立体视觉方法进行空间定位,得到这些标志点相对选定的坐标系下的坐标,据此计算过这些标志点的空间平面,并以此平面作为声场的重建平面。本发明方法为声学摄像机系统提供声场重建平面参数,确立了融合声场图像和视频图像的依据。
Description
技术领域
本发明涉及一种声学摄像机系统中声场重建平面的确定方法,属于噪声分析和控制技术领域。
背景技术
汽车、火车等复杂运动机械的噪声对环境影响很大。由于运动的原因,对这类(多声源)运动型噪声,要比较精确地获取其声场,将各个声源分辨出来,并准确定位是比较困难的。而声场的可视化可以使噪声源的定位分析更加实用,从而为进一步的噪声治理工作提供依据,对噪声测量以及治理工作都具有重要意义。
为提高声源定位和声场可视化的效率,并更加直观的进行声源分析,近年在噪声分析领域出现了将声场重建图像和实际视频图像进行融合,得到更加直观的声场可视化图像的方法,被称为声学摄像机系统。现有的声学摄像机系统基本采用的是固定声场重建平面方法,在对动态声源的定位和声源的定位精度方面有一定的局限性。
发明内容
本发明的目的是提出一种声学摄像机系统中声场重建平面的确定方法,在已有的标志点识别和双目立体视觉技术的基础上,为声学摄像机系统提供空间声场重建的位置信息,作为系统实现声场可视化的基础,为声源识别和噪声控制提供更准确的依据。
本发明提出的声学摄像机系统中声场重建平面的确定方法,包括以下步骤:
(1)在被测物体的一侧粘贴标志点,被测物体前部粘贴1型标志点n个,后部粘贴-1型标志点m个,标志点均匀分布,截取1型标志点的中心正方形区域作为模板图像;
(2)在距离被测物体设定距离L处架设A、B两台摄像机,用两台摄像机分别对被测物体侧面进行同步拍摄,对每一曝光时刻同步获取的A目标图像和B目标图像进行二值化处理,得到0和1目标二值图像,对目标二值图像的每一像素值减0.5,最后得到-0.5和+0.5的A目标二值图像和B目标二值图像;
(3)对上述模板图像进行二值化处理,得到0和1模板二值图像,对模板二值图像的每一像素值减0.5,得到-0.5和+0.5的模板二值图像;
(4)运用矩阵的模板匹配方法对上述A目标二值图像和B目标二值图像中的每一像素,以上述模板二值图像为模板进行匹配,分别得到上述A目标图像和B目标图像中所有标志点的匹配值,根据匹配值图像,将图像中与峰值点对应的标志点定义为1型标志点,与谷值点对应的标志点定义为-1型,得到A图像中标志点中心像素点序列和B图像中标志点中心像素点序列;
(5)并根据标志点的类型,分别对上述A图像中标志点中心像素点序列和B图像中标志点中心像素点序列进行排序编号,将两个标志点中心像素点序列中编号相同的像素点作为在两台摄像机中同时成像的标志点的像素点;
(6)运用双目立体视觉方法分别对上述标志点在被测物体所在三维坐标中的位置进行计算,得到相应标志点的空间坐标;
(7)根据上述标志点的空间坐标,获取声场重建空间平面的参数。
上述方法中,所述的步骤(5)中根据标志点的类型,分别对上述A中心像素点序列和B中心像素点序列进行排序编号的过程为:
若两幅摄像机图像中均有标志点出现,且仅有1型标志点,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅摄像机图像中的一幅图像或两幅图像出现-1型标志点,且-1型标志点的数量小于m,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅图像中的1型标志点数量均为n,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅图像中均有-1型标志点,并且至少一幅图像中的1型标志点的数量小于n,则对两幅图像中的标志点按前进方向从n+m开始递减编号,两幅图像中的同号标志点配对。
上述方法中,所述的步骤(7)中根据标志点的空间坐标,获取声场重建空间平面的参数的方法为:
定义空间坐标系为右手坐标系,x轴正向水平指向右侧,y轴正向铅直向上,平面上的点坐标(x,y,z)T满足平面方程:Ax+By+Cz+D=0,此平面的法向量为(A,B,C),其中取C=1;
当标志点只有1个,即(x1,y1,z1)时,取经过该点且与XOY平面平行的平面,则该平面的法向量为(0,0,1),平面方程为z=z1,A=0,B=0,C=1,D=Z1;
当标志点有两个,即(x1,y1,z1)和(x2,y2,z2)时,取经过该两点且与XOZ平面垂直的平面,该平面的法向量为(A,0,1),平面方程为:A(x2-x1)+(z2-z1)=0,则 B=0,C=1,D=-Ax1-z1=-Ax2-z2;
当标志点大于等于三个时,设点的坐标分别为(x1,y1,z1),(x2,y2,z2),…,(xn,yn,zn),且满足平面方程Ax+By+z+D=0,即-Ax-By-D=z,得方程组:
本发明提出的声学摄像机系统中声场重建平面的确定方法,应用于基于声阵列和双目视觉的声学摄像机系统,动态的获取声场重建平面参数,为声场的可视化提供依据。运用模板匹配方法对两台摄像机图像中的标志点进行识别,并对两组识别结果进行匹配,利用双目立体视觉方法得到标志点的空间坐标,计算通过这些标志点的空间平面参数,并以此平面作为声场的重建平面。通过应用本发明方法,使声学摄相机系统能够动态的确定声场重建平面,实现对动态运动声源更准确的定位和分析。
附图说明
图1是实现本发明方法的系统示意图。
图2是本发明方法中标志点和模板图像的示意图。
图3是本发明方法中的模板匹配过程示意图。
图4是标志点匹配示意图。
图1中,A是声学摄像机系统中用于声场数据采集的传声器阵列,B是声学摄像机系统中用于视频采集的双目摄像机,C为被测物体侧面的声场重建平面。
图2中,A是1型标志点,B是-1型标志点,C是匹配模板。
图3中,A是匹配目标矩阵,B是匹配模板矩阵,C是匹配结果。
图4中,1、2、3、4是贴附在被测物体侧面的标志点,A是左侧摄像机所拍摄的图像,L2、L3、L4分别为标志点2、3、4在左侧摄像机所拍摄的图像中的像,B是右侧摄像机所拍摄的图像,R1、R2、R3分别为标志点1、2、3在右侧摄像机所拍摄的图像中的像。
具体实施方式
以下结合附图,详细介绍本发明提出的声学摄像机系统中声场重建平面的确定方法。实现本发明方法的系统如图1所示:
(1)在被测物体侧面粘贴标志点,将运动物体侧面分为前、后两部分,前部所贴附标志点为如图2所示的1型标志点n个,后部贴附如图2所示的-1型标志点m个。标志点均匀分布,纵向间距不大于物体纵向尺寸的20%。所取世界坐标系为右手坐标系,x轴的正向水平指向右侧,y轴的正向铅直向上;
(2)在距离被测物体设定距离L处架设A、B两台摄像机,摄像机的布置须满足单摄像机视野宽度大于被测物体纵向尺寸,两摄像机视野的公共部分宽度不小于被测物体纵向尺寸的80%。用两台摄像机分别对被测物体侧面进行同步拍摄,对每一曝光时刻同步获取的A目标图像和B目标图像进行二值化处理,得到0和1目标二值图像,对目标二值图像的每一像素值减0.5,最后得到-0.5和+0.5的A目标二值图像和B目标二值图像;
(3)对上述模板图像进行二值化处理,得到0和1模板二值图像,对模板二值图像的每一像素值减0.5,得到-0.5和+0.5的模板二值图像;
(4)图像的本质是以每个像素为元素的矩阵,以经过步骤(2)处理的两幅同步目标二值图像作为目标矩阵A,经过步骤(3)处理的模板二值图像作为模板矩阵M,如图3所示,目标矩阵中Ai,j点的值为ai,j,模板矩阵中Mk,l点的值为mk,l,定义Ai,j点的匹配值为αi,j则:当M是一个(2n+1)×(2n+1)的矩阵时, 当M是一个2n×2n的矩阵时, 1型标志点中心的匹配值呈现峰值,-1型标志点中心的匹配值呈现谷值;
(5)对两幅图像经过步骤(4)处理的匹配结果进行配对,摄像机的放置规则和标志点的贴附规则限定了可能出现的几种情况,如图4所示,具体配对方法为:
若两幅摄像机图像中均有标志点出现,且仅有1型标志点,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅摄像机图像中至少有一幅图像出现-1型标志点,且-1型标志点的数量小于m,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅图像中的1型标志点数量均为n,无论有无-1型标志点,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅图像中均有-1型标志点,并且至少一幅图像中的1型标志点的数量小于n,则对两幅图像中的标志点按前进方向从n+m开始递减编号,两幅图像中的同号标志点配对;
(6)对两台摄像机分别进行标定,获取左侧摄像机的内部参数:镜头光心投影坐标(u0l,v0l)、镜头光心至成像平面的像距fl与像素横向、纵向物理尺寸dxl、dyl的比值 左侧摄像机的外部参数:摄像机旋转矩阵Rl及平移向量tl;获取右侧摄像机的内部参数:镜头光心投影坐标(u0r,v0r)、镜头光心至成像平面的像距fr与像素横向、纵向物理尺寸dxr、dyr的比值 右侧摄像机的外部参数:摄像机旋转矩阵Rr及平移向量tr;由左侧摄像机和右侧摄像机的内外部参数,分别得到其投影矩阵为:
设标志点P在世界坐标系下的坐标为(X,Y,Z)T,P在左、右侧摄像机中所成像点的像素坐标分别为(ul,vl)T,(ur,vr)T,根据成像原理得到物点空间坐标和像点像素坐标的关系为:
其中Zcl和Zcr分别是P在左、右侧摄像机坐标系下沿主光轴方向的坐标,将上两式展开,消去Zcl和Zcr,得到关于X、Y、Z的线性方程组:
用最小二乘法解此方程组,得到P在世界坐标系下的坐标(X,Y,Z)。
运用上述双目立体视觉方法对步骤(5)中配对得到的像素坐标对进行计算,得到相应标志点在世界坐标系下的空间坐标;
(7)根据步骤(6)中所得的一组配对标志点的空间坐标,计算经过这些点的空间平面的参数:
设此平面上的点坐标(x,y,z)T满足平面方程:Ax+By+Cz+D=0,此平面的法向量为(A,B,C),其中统一取C=1。
当配对标志点只有1个,即(x1,y1,z1)时,近似取过该点且与XOY平面平行的平面,法向量为(0,0,1),平面方程为z=z1,则A=0,B=0,C=1,D=z1。
当配对标志点有两个,即(x1,y1,z1)和(x2,y2,z2)时,近似取过这两点且与XOZ平面垂直的平面,法向量为(A,0,1),平面方程为:A(x2-x1)+(z2-z1)=0,则 B=0,C=1,D=-Ax1-z1=-Ax2-z2。
当配对点大于等于三个时,设这些点的坐标为(x1,y1,z1),(x2,y2,z2),…,(xn,yn,zn),均满足平面方程Ax+By+z+D=0,即-Ax-By-D=z,得方程组:
Claims (3)
1、一种声学摄像机系统中声场重建平面的确定方法,其特征在于该方法包括以下步骤:
(1)在被测物体的一侧粘贴标志点,被测物体前部粘贴1型标志点n个,后部粘贴-1型标志点m个,标志点均匀分布,截取1型标志点的中心正方形区域作为模板图像;
(2)在距离被测物体设定距离L处架设A、B两台摄像机,用两台摄像机分别对被测物体侧面进行同步拍摄,对每一曝光时刻同步获取的A目标图像和B目标图像进行二值化处理,得到0和1目标二值图像,对目标二值图像的每一像素值减0.5,最后得到-0.5和+0.5的A目标二值图像和B目标二值图像;
(3)对上述模板图像进行二值化处理,得到0和1模板二值图像,对模板二值图像的每一像素值减0.5,得到-0.5和+0.5的模板二值图像;
(4)运用矩阵的模板匹配方法对上述A目标二值图像和B目标二值图像中的每一像素,以上述模板二值图像为模板进行匹配,分别得到上述A目标图像和B目标图像中所有标志点的匹配值,根据匹配值图像,将图像中与峰值点对应的标志点定义为1型标志点,与谷值点对应的标志点定义为-1型,得到A图像中标志点中心像素点序列和B图像中标志点中心像素点序列;
(5)并根据标志点的类型,分别对上述A图像中标志点中心像素点序列和B图像中标志点中心像素点序列进行排序编号,将两个标志点中心像素点序列中编号相同的像素点作为在两台摄像机中同时成像的标志点的像素点;
(6)运用双目立体视觉方法分别对上述标志点在被测物体所在三维坐标中的位置进行计算,得到相应标志点的空间坐标;
(7)根据上述标志点的空间坐标,获取声场重建空间平面的参数。
2、如权利要求1所述的方法,其特征在于其中所述的步骤(5)中根据标志点的类型,分别对上述A中心像素点序列和B中心像素点序列进行排序编号的过程为:
若两幅摄像机图像中均有标志点出现,且仅有1型标志点,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅摄像机图像中的一幅图像或两幅图像出现-1型标志点,且-1型标志点的数量小于m,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅图像中的1型标志点数量均为n,则对两幅图像中的标志点按前进方向的逆向从1开始递增编号,两幅图像中的同号标志点配对;
若两幅图像中均有-1型标志点,并且至少一幅图像中的1型标志点的数量小于n,则对两幅图像中的标志点按前进方向从n+m开始递减编号,两幅图像中的同号标志点配对。
3、如权利要求1所述的方法,其特征在于其中所述的步骤(7)中根据标志点的空间坐标,获取声场重建空间平面的参数的方法为:
定义空间坐标系为右手坐标系,x轴正向水平指向右侧,y轴正向铅直向上,平面上的点坐标(x,y,z)T满足平面方程:Ax+By+Cz+D=0,此平面的法向量为(A,B,C),其中取C=1;
当标志点只有1个,即(x1,y1,z1)时,取经过该点且与XOY平面平行的平面,则该平面的法向量为(0,0,1),平面方程为z=z1,A=0,B=0,C=1,D=z1;
当标志点有两个,即(x1,y1,z1)和(x2,y2,z2)时,取经过该两点且与XOZ平面垂直的平面,该平面的法向量为(A,0,1),平面方程为:A(x2-x1)+(z2-z1)=0,则 ,B=0,C=1,D=-Ax1-z1=-Ax2-z2;
当标志点大于等于三个时,设点的坐标分别为(x1,y1,z1),(x2,y2,z2),…,(xn,yn,zn),且满足平面方程Ax+By+z+D=0,即-Ax-By-D=z,得方程组:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101193612A CN101359043B (zh) | 2008-09-05 | 2008-09-05 | 一种声学摄像机系统中声场重建平面的确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101193612A CN101359043B (zh) | 2008-09-05 | 2008-09-05 | 一种声学摄像机系统中声场重建平面的确定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101359043A true CN101359043A (zh) | 2009-02-04 |
CN101359043B CN101359043B (zh) | 2011-04-27 |
Family
ID=40331539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101193612A Expired - Fee Related CN101359043B (zh) | 2008-09-05 | 2008-09-05 | 一种声学摄像机系统中声场重建平面的确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101359043B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110133663A (zh) * | 2019-05-08 | 2019-08-16 | 西安联丰迅声信息科技有限责任公司 | 一种分布式声像联合校准定位方法 |
CN110231624A (zh) * | 2019-06-06 | 2019-09-13 | Oppo广东移动通信有限公司 | 物体的检测方法及相关产品 |
CN111595299A (zh) * | 2020-04-14 | 2020-08-28 | 武汉倍思凯尔信息技术有限公司 | 一种基于摄影测量的服装信息采集系统 |
CN111936829A (zh) * | 2018-03-28 | 2020-11-13 | 日本电产株式会社 | 声学解析装置及声学解析方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102980647B (zh) * | 2012-11-26 | 2014-12-17 | 北京神州普惠科技股份有限公司 | 一种噪声源识别定位测试方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9307986D0 (en) * | 1993-04-17 | 1993-06-02 | Adaptive Audio Ltd | Method of reproducing sound |
CN1207700C (zh) * | 2003-06-19 | 2005-06-22 | 上海交通大学 | 采用近场声全息技术辨识非平稳声源的方法 |
CN1202408C (zh) * | 2003-06-19 | 2005-05-18 | 上海交通大学 | 采用主成分分析技术辨识非平稳声源特性的方法 |
JP2007068000A (ja) * | 2005-09-01 | 2007-03-15 | Toshio Saito | 音場再生装置および音場再生装置用リモコン |
-
2008
- 2008-09-05 CN CN2008101193612A patent/CN101359043B/zh not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111936829A (zh) * | 2018-03-28 | 2020-11-13 | 日本电产株式会社 | 声学解析装置及声学解析方法 |
CN110133663A (zh) * | 2019-05-08 | 2019-08-16 | 西安联丰迅声信息科技有限责任公司 | 一种分布式声像联合校准定位方法 |
CN110133663B (zh) * | 2019-05-08 | 2023-03-10 | 西安联丰迅声信息科技有限责任公司 | 一种分布式声像联合校准定位方法 |
CN110231624A (zh) * | 2019-06-06 | 2019-09-13 | Oppo广东移动通信有限公司 | 物体的检测方法及相关产品 |
CN110231624B (zh) * | 2019-06-06 | 2021-08-10 | Oppo广东移动通信有限公司 | 物体的检测方法及相关产品 |
CN111595299A (zh) * | 2020-04-14 | 2020-08-28 | 武汉倍思凯尔信息技术有限公司 | 一种基于摄影测量的服装信息采集系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101359043B (zh) | 2011-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
CN101755190B (zh) | 校准方法、校准装置及具备该校准装置的校准系统 | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN103616016B (zh) | 基于点线组合特征的位姿视觉测量方法 | |
CN105469389B (zh) | 一种用于视觉传感器标定的网格球靶标及相应标定方法 | |
CN101359043B (zh) | 一种声学摄像机系统中声场重建平面的确定方法 | |
WO2007032940A3 (en) | System and methods for generating three-dimensional images from two-dimensional bioluminescence images and visualizing tumor shapes and locations | |
CN108234984A (zh) | 双目深度相机系统和深度图像生成方法 | |
CN103337069B (zh) | 基于复合摄像机的高质量三维彩色图像获取方法及装置 | |
CN105184857A (zh) | 基于点结构光测距的单目视觉重建中尺度因子确定方法 | |
CN110246124A (zh) | 基于深度学习的目标尺寸测量方法及系统 | |
CN102253057B (zh) | 内窥镜系统及使用内窥镜系统的测量方法 | |
CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
CN103852060A (zh) | 一种基于单目视觉的可见光图像测距方法 | |
CN109373912A (zh) | 一种基于双目视觉的非接触式六自由度位移测量方法 | |
CN111996883B (zh) | 一种检测公路路面宽度的方法 | |
CN105844633A (zh) | 基于De序列和相位编码的单帧结构光深度获取方法 | |
CN109781068B (zh) | 面向空间应用的视觉测量系统地面模拟评估系统及方法 | |
CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
CN104766345A (zh) | 基于衣服特征点的身体扫描及运动捕捉方法 | |
CN112232319A (zh) | 一种基于单目视觉定位的扫描拼接方法 | |
CN105739106A (zh) | 一种体感多视点大尺寸光场真三维显示装置及方法 | |
CN112710864A (zh) | 结合混合模糊和双目成像的粒子轨迹测速装置及测速方法 | |
CN115880344A (zh) | 一种双目立体匹配数据集视差真值获取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110427 Termination date: 20170905 |