CN109858479B - 基于图像配准的机动车违法鸣笛抓拍系统 - Google Patents

基于图像配准的机动车违法鸣笛抓拍系统 Download PDF

Info

Publication number
CN109858479B
CN109858479B CN201810750656.3A CN201810750656A CN109858479B CN 109858479 B CN109858479 B CN 109858479B CN 201810750656 A CN201810750656 A CN 201810750656A CN 109858479 B CN109858479 B CN 109858479B
Authority
CN
China
Prior art keywords
image
microphone array
feature point
module
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810750656.3A
Other languages
English (en)
Other versions
CN109858479A (zh
Inventor
张南雄
魏敦楷
李宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Keygo Technologies Co ltd
Original Assignee
Shanghai Keygo Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Keygo Technologies Co ltd filed Critical Shanghai Keygo Technologies Co ltd
Priority to CN201810750656.3A priority Critical patent/CN109858479B/zh
Priority to PCT/CN2018/098427 priority patent/WO2020010659A1/zh
Priority to EP18899032.9A priority patent/EP3822854A4/en
Publication of CN109858479A publication Critical patent/CN109858479A/zh
Application granted granted Critical
Publication of CN109858479B publication Critical patent/CN109858479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902—Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/19067—Matching configurations of points or features, e.g. constellation matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种基于图像配准的机动车违法鸣笛抓拍系统，包括：用于实时采集音频和图像的集成式麦克风阵列、用于实时采集高解析度图像的高清摄像机、控制单元和图像配准系统，通过分别采集同一时刻低解析度图像和高解析度图像，获取两帧图像的特征点和特征点描述子，由特征点描述子计算获得特征点相似度，然后可以基于特征点相似度排序获取两帧图像相似度最高且位置在图像上固定的六对特征点为匹配特征点，也可以手动选择六对特征点为匹配特征点，最后通过线性坐标变换计算出两帧图像的图像间变换系数，实现鸣笛抓拍系统的精确校准。本发明能够自动精确校准集成式麦克风阵列和高清摄像机的相对位置信息。本发明可以在每次鸣笛触发后进行集成式麦克风阵列和高清摄像机位置校准。

Description

基于图像配准的机动车违法鸣笛抓拍系统
技术领域
本发明涉及的是一种智能交通管理领域的技术，特别是一种基于图像配准的机动车违法鸣笛抓拍系统。
背景技术
现有的机动车违法鸣笛抓拍系统中麦克风阵列获得的鸣笛声源中心位置坐标与高清摄像机获得的高清图片之间的坐标变换系数，一般需要在实施现场安装后进行标定，该坐标变换系数与麦克风阵列和高清摄像机的安装位置、角度、高度等因素有关。传统的坐标变换系数标定的一般流程为：使用测试汽车，在抓拍范围内不同位置分别按喇叭，麦克风阵列采集音频信号并计算获得鸣笛声源的中心位置坐标；在高清图像中找到鸣笛时刻测试车辆车牌所在位置对应的像素点，通过线性坐标变换公式计算鸣笛声中心位置坐标和车牌像素点之间的坐标变换系数。
此种坐标变换系数的标定方法存在以下三个问题：1、标定过程比较繁琐，在安装现场需要使用测试汽车人为制造鸣笛声，可能造成扰民等不良影响。2、现场使用测试车辆按喇叭标定的坐标变换系数可能存在较大的误差，最终造成违法鸣笛车辆定位不准确。误差来自两方面，一是由于现场声音受干扰，麦克风阵列计算得到的鸣笛声中心位置坐标可能有偏差；另外一方面，不同测试汽车的喇叭安装位置和结构不同，发声位置会有很大差异，而在标定时假设发声位置在车牌所在的中间位置。计算得到的鸣笛声源中心位置坐标和在高清图像中指定的测试车辆的发声位置都存在误差，标定得到的坐标变换系数一定存在误差。3、一旦标定完成，获得的坐标变换系数是固定的，但是使用过程中因为天气、温度、人为等因素可能导致麦克风阵列和高清摄像机之间的相对位置发生变化，原来标定的坐标变换系数将不再适用，抓拍系统的准确率将下降，甚至出现抓错鸣笛车辆的可能。
发明内容
本发明针对现有技术存在的不足，提出了一种基于图像配准的机动车违法鸣笛抓拍系统，能够自动精确校准麦克风阵列获得的鸣笛声源中心位置坐标与高清摄像机获得的高清图片像素点之间的坐标变换系数；
本发明是通过以下技术方案实现的：
本发明涉及一种基于图像配准的机动车违法鸣笛抓拍系统，包括：用于实时采集音频和图像的集成式麦克风阵列、用于实时采集高解析度图像的高清摄像机、控制单元和图像配准系统，其中：集成式麦克风阵列包含多个麦克风组成的麦克风阵列和一个用于采集低解析度图像的摄像机，控制单元监测鸣笛发生时从集成式麦克风阵列获取叠加有鸣笛声源中心位置坐标的一帧低解析度图像，并同时从高清摄像机获取一帧高解析度图像并输出至图像配准系统，图像配准系统获取低解析度图像和高解析度图像之间的图像间变换系数，得到鸣笛声源的中心位置坐标在高解析度图像上对应位置，并通过图像目标识别技术识别得到此位置对应车辆的车牌信息。
所述的集成式麦克风阵列中的摄像机与麦克风阵列为一体化设计，一旦集成式麦克风阵列本身装配校准完成，在违法鸣笛抓拍系统的安装和使用过程中，摄像机与麦克风阵列所有麦克风的相对位置不变，集成式麦克风阵列计算获得的声源中心位置坐标与低解析度图像中像素点的预置坐标系数不变，集成式麦克风阵列输出叠加有鸣笛声源中心位置坐标的低解析度图像给控制单元。
本发明涉及一种基于上述系统的图像配准方法，通过控制单元采集来自集成式麦克风阵列和高清摄像机的同一时刻的两帧图像，通过图像配准系统获取图像的特征点和对应特征点描述子，根据特征点描述子信息获得特征点相似度，对特征点相似度排序，选择特征点相似度最大且位置在图像上固定的若干特征点为两帧图像的匹配特征点，然后通过线性坐标变换计算出集成式麦克风阵列摄像机和高清摄像机之间的图像间变换系数，实现低解析度图像到高解析度图像之间的位置配准。
所述的获取图像的特征点是指：对图片进行高斯模糊后构建高斯金字塔，得到不同的尺度空间，然后在不同的尺度空间上通过极值点检测获得局部极值点，最后对局部极值点初步精确定位、剔除边缘响应点，获得特征点。
所述的特征点优选至少四对，进一步优选为六对。
所述的特征点描述子，根据特征点的梯度幅值和方向生成特征点描述子。
所述的特征点相似度是指：针对高解析度图像中特征点描述子Ri＝(ri1,ri2,…,ri128)和低解析度图像中特征点描述子Si＝(si1,si2,…,si128)，计算任意两个特征点描述子之间的相似性度量
Figure BDA0001725460300000021
本发明涉及一种实现上述方法的图像配准系统，包括：图像预处理模块、特征点计算模块、特征点描述子计算模块、特征点相似度计算模块、排序模块和线性坐标变换模块，其中：图像预处理模块与特征点计算模块相连并输出灰度化处理的图片给特征点计算模块；特征点计算模块和特征点描述子计算模块相连并输出特征点信息给特征点描述子计算模块；特征点描述子计算模块和特征点相似度计算模块相连并输出特征点描述子信息给特征点相似度计算模块；特征点相似度计算模块和排序模块相连并输出特征点相似度信息给排序模块；排序模块和线性坐标变换模块相连并输出匹配特征点给线性坐标变换模块；线性坐标变换模块计算获得两帧图像的图像间变换系数。
技术效果
与现有技术相比，本发明采用集成式麦克风阵列和高清摄像机同时进行鸣笛监控，采用基于图像配准方法完成集成式麦克风阵列与高清摄像机之间的坐标变换，能够快速准确地对集成式麦克风阵列和高清摄像机进行图像间变换系数的标定，无需测试车辆现场按喇叭，标定误差极小，不受安装现场环境影响。在系统使用过程中，可选择是否在每次鸣笛抓拍时，通过图像配准对图像间变换系数进行重新计算，即使系统在使用过程中因为自然、人为等因素引起集成式麦克风阵列和高清摄像机的相对位置发生变化，也能够确保每次鸣笛抓拍的准确性。
附图说明
图1为本发明流程图；
图2为实施例示意图；
图3为集成式麦克风阵列示意图；
图中：1为麦克风阵列中的麦克风，2为摄像机；
图4为图像配准计算流程图
图5为根据图像配准计算获得的两帧图像的相似度最高且位置在图像上固定的六对匹配特征点；
图中：a为低解析度图像，b为高解析度图像；
图6为本发明以图形示意的取证流程图；
本发明附图中的牌照号码及数字内容均经修改，与实际该牌照车辆无任何关系。
具体实施方式
如图2和图3所示，本实施例包括：集成式麦克风阵列、高清摄像机、控制单元和图像配准系统，其中：集成式麦克风阵列包含多个麦克风组成的麦克风阵列和一个摄像机，实时采集音频信息以及静态和/或动态的低解析度图像，高清摄像机实时采集高解析度图像；集成式麦克风阵列所包含的摄像机通常分辨率较低，获得的图像为低解析度图像；高清摄像机获得的图像为高解析度图像，可用于识别车辆车牌信息。
所述的图像配准系统，包括：图像预处理模块、特征点计算模块、特征点描述子计算模块、特征点相似度计算模块、排序模块和线性坐标变换模块，其中：图像预处理模块与特征点计算模块相连并输出灰度化处理的图片给特征点计算模块；特征点计算模块和特征点描述子计算模块相连并输出特征点信息给特征点描述子计算模块；特征点描述子计算模块和特征点相似度计算模块相连并输出特征点描述子信息给特征点相似度计算模块；特征点相似度计算模块和排序模块相连并输出特征点相似度信息给排序模块；排序模块和线性坐标变换模块相连并输出匹配特征点给线性坐标变换模块；线性坐标变换模块计算获得两帧图像的图像间变换系数。
如图1和图6所示，控制单元判定鸣笛发生，从集成式麦克风阵列获取叠加有鸣笛声源中心位置坐标的一帧低解析度图像，并同时从高清摄像机获取一帧高解析度图像，用图像配准系统获取低解析度图像和高解析度图像之间的图像间变换系数，得到鸣笛声源的中心位置坐标在高解析度图像上对应位置，并结合图像目标识别技术给出此位置对应车辆的车牌信息。
如图4所示，所述的图像配准系统自动采集来自集成式麦克风阵列摄像机和高清摄像机的同一时刻的两帧图像，获取图像的特征点和对应特征点描述子，根据特征点描述子信息获得特征点相似度，对特征点相似度排序，自动选择特征点相似度最大且位置在图像上固定的若干特征点为两帧图像的匹配特征点，然后通过线性坐标变换计算出集成式麦克风阵列摄像机和高清摄像机之间的图像间变换系数，由图像间变换系数计算出集成式麦克风阵列摄像机获取的图像上的任一像素点坐标在高清摄像机获取的图像上的对应的像素点坐标，具体过程如下：
第一步，对图像进行灰度化处理。
第二步，对图片进行高斯模糊后构建高斯金字塔，得到不同的尺度空间，然后在不同的尺度空间上通过极值点检测获得局部极值点，经过局部极值点初步精确定位和剔除边缘响应点后获得特征点，根据特征点的梯度幅值和方向生成特征点描述子，根据特征点描述子信息获得特征点相似度，对特征点相似度排序，可以自动选择特征点相似度最大且位置在图像上固定的n对特征点为两帧图像的匹配特征点，也可以手动选择n对特征点为两帧图像的匹配特征点，n≥4，本实施例选取n＝6，n不限于本实施例的取值6，如图5所示。
所述的高斯模糊是指：使用N维空间高斯函数计算得到二维模糊模板，并使用该二维模糊模板与原图像做卷积运算，达到模糊图像的目的。
所述的N维空间高斯函数为：
Figure BDA0001725460300000041
其中：σ是正态分布的标准差，σ值越大，图像越模糊，r为模糊半径，模糊半径是指模板元素到模板中心的距离。
所述的卷积是指：根据σ的值计算出高斯模板矩阵的大小，计算高斯模板矩阵的值，与原图像做卷积，获得原图像的高斯模糊图像，即一个图像的尺度空间L(x,y,σ)定义为一个变化尺度的高斯函数G(x,y,σ)与原图像I(x,y)的卷积，L(x,y,σ)＝G(x,y,σ)*I(x,y)，其中：*表示卷积运算。
所述的二维模糊模板大小为m*n，模板上的元素(x,y)对应的高斯计算公式为：
Figure BDA0001725460300000042
为了确保模板矩阵中的元素在[0,1]之间，优选将二维模糊模板矩阵归一化，5*5的高斯模板如下表所示：
6.58573e-006 0.000424781 0.00170354 0.000424781 6.58573e-006
0.000424781 0.0273984 0.109878 0.0273984 0.000424781
0.00170354 0.109878 0.440655 0.109878 0.00170354
0.000424781 0.0273984 0.109878 0.0273984 0.000424781
6.58573e-006 0.000424781 0.00170354 0.000424781 6.58573e-006
所述的高斯金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定，层数n＝log2{min(M，N)}-t，t∈[0，log2{min(M，N)}]，其中其中M，N为原图像的大小，t为塔顶图像的最小维数的对数值。
所述的高斯金字塔中采用高斯差分算子(Difference of Gaussian，简称DOG算子)进行极值检测，即D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，将每一个像素点与其图像域和尺度域上的相邻点进行比较并获得局部极值点。
所述的初步精确定位是指：DOG算子在尺度空间的Taylor展开式(拟合函数)为：
Figure BDA0001725460300000051
其中：X＝(x，y，σ)T，通过求导方式得到极值点的偏移量为：
Figure BDA0001725460300000052
对应方程的值为
Figure BDA0001725460300000053
所有
Figure BDA0001725460300000054
小于0.04的极值点删除，获得初步精确定位结果，0.04为经验值。
优选地，对上述得到的初步精确定位结果进一步进行不稳定边缘响应点的剔除，具体为：构建Hessian矩阵，
Figure BDA0001725460300000055
其中：rr(H)＝Dxx+Dxy＝α+β，Det(H)＝DxxDyy-(Dxy)2＝αβ，α代表x方向的梯度，β代表y方向的梯度，为了检测主曲率是否在某域值r下，r一般取10，检测
Figure BDA0001725460300000056
成立时将特征点保留，反之剔除，获得精确定位结果。
所述的特征点梯度的模值和方向为：像素点的梯度表示为
Figure BDA0001725460300000057
梯度幅值：
Figure BDA0001725460300000058
梯度方向：
Figure BDA0001725460300000059
所述的特征点描述子是指：用一组向量描述特征点，使该向量不随比如光照、视角等的变化而变化；所述的向量，即特征点描述子包括特征点、特征点周围对其有贡献的像素点，并且特征点描述子应该有较高的独特性，以便于提高特征点正确匹配的概率。
所述的特征点描述子通过以下方式计算得到：
A1：确定计算特征点描述子所需的图像区域
Figure BDA00017254603000000510
其中：σoct为特征点所在组的组内尺度，d为特征点附近的邻域划分的子区域个数，一般取d＝4。
A2：将坐标移至特征点主方向旋转后新坐标为：
Figure BDA0001725460300000061
A3：在图像半径区域内对每个像素点求其梯度幅值和方向，然后第每个梯度幅值乘以高斯权重参数，生成方向直方图：
Figure BDA0001725460300000062
Figure BDA0001725460300000063
其中：xk为该点与特征点的列距离，yk为该点与特征点的行距离，σw为特征点描述子窗口宽度3σ×直方图列数的一半，dr为对邻近行的贡献因子，dc为对临近列的贡献因子，do为对邻近方向的贡献因子。
A4：特征点描述子向量规范化，128特征点描述子向量为W＝(w1,w2,…,w128)，规范化后的向量为L＝(l1,l2,…,l128)，其中：
Figure BDA0001725460300000064
所述的特征点相似度是指：针对高解析度图像中特征点描述子Ri＝(ri1,ri2,…,ri128)和低解析度图像中特征点描述子Si＝(si1,si2,…,si128)，计算任意两个特征点描述子之间的相似性度量
Figure BDA0001725460300000065
所述的特征点相似度排序，根据特征点相似度从高到低对特征点排序，可以自动选择特征点相似度最高且位置在图像上固定的n对特征点，也可以手动选择n对特征点，定义为匹配特征点，n≥4，本实施例选取n＝6，n不限于本实施例的取值6。
第三步、空间坐标变换：
A1：射影变换公式：
Figure BDA0001725460300000066
其中：(x,y)为集成式麦克风阵列获得的低解析度图像上的声源中心位置坐标，(x',y')为高清摄像机获得的高解析度图像像素点的坐标，
Figure BDA0001725460300000067
为旋转矩阵，[h31 h32]为平移矢量，
Figure BDA0001725460300000068
为缩放尺度。
A2：所述的集成式麦克风阵列获得的低解析度图像像素点坐标和高清摄像机获得的高解析度图像像素点坐标的图像间变换系数，建立如下所示方程组，用最小二乘法求解，获得图像间变换系数：
Figure BDA0001725460300000071
其中：(xi,yi)为集成式麦克风阵列获得的低解析度图像匹配特征点坐标，(x'i,y'i)为高清摄像机获得的高解析度图像匹配特征点坐标，i＝1,2,3,…n，n≥4，本实施例选取n＝6。
[h11 h12 h13 h21 h22 h23 h31 h32]T为图像间变换系数。
A3：由射影变换公式得到，集成式麦克风阵列获得的低解析度图像上声源中心位置坐标(x,y)对应在高清摄像机获得的高解析度图像中坐标(x',y')为：
Figure BDA0001725460300000072
所述的鸣笛声源的中心位置坐标，采用基于球面波的除自谱的波束成型算法对鸣笛车辆进行声源定位，生成声压云图，声压云图中声压最大值对应的坐标，即为鸣笛声源中心位置坐标。
所述的波束成型算法具体为：
Figure BDA0001725460300000073
其中：V(k,w)为波数成型的均方值，k为聚焦方向，w为角频率，M为麦克风阵列的传感器数量，Cnm为第m号传声器接收声压信号相对于第n号传声器接收声压信号的互谱，rm为第m号传声器的坐标向量，rn为第n号传声器的坐标向量。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (9)

1.一种基于图像配准的机动车违法鸣笛抓拍系统，包括：用于实时采集音频和图像的集成式麦克风阵列、用于实时采集高解析度图像的高清摄像机、控制单元和图像配准系统，其中：集成式麦克风阵列包含多个麦克风组成的麦克风阵列和一个用于采集低解析度图像的摄像机，控制单元监测鸣笛发生时从集成式麦克风阵列获取叠加有鸣笛声源中心位置坐标的一帧低解析度图像，并同时从高清摄像机获取一帧高解析度图像并输出至图像配准系统，图像配准系统获取低解析度图像和高解析度图像之间的图像间变换系数，得到鸣笛声源的中心位置坐标在高解析度图像上对应位置，并通过图像目标识别技术识别得到此位置对应车辆的车牌信息；
所述的集成式麦克风阵列中的摄像机与麦克风阵列为一体化设计，即摄像机与麦克风阵列所有麦克风的相对位置不变，集成式麦克风阵列计算获得的声源中心位置坐标与低解析度图像中像素点的预置坐标系数不变，集成式麦克风阵列输出叠加有鸣笛声源中心位置坐标的低解析度图像给控制单元。
2.一种基于权利要求1所述系统的图像配准方法，其特征在于，通过控制单元采集来自集成式麦克风阵列和高清摄像机的同一时刻的两帧图像，通过图像配准系统获取图像的特征点和对应特征点描述子，根据特征点描述子信息获得特征点相似度，对特征点相似度排序，选择特征点相似度最大且位置在图像上固定的若干特征点为两帧图像的匹配特征点，然后通过线性坐标变换计算出集成式麦克风阵列摄像机和高清摄像机之间的图像间变换系数，实现低解析度图像到高解析度图像之间的位置配准。
3.根据权利要求2所述的方法，其特征是，所述的获取图像的特征点是指：对图片进行高斯模糊后构建高斯金字塔，得到不同的尺度空间，然后在不同的尺度空间上通过极值点检测获得局部极值点，最后对局部极值点初步精确定位、剔除边缘响应点，获得特征点。
4.根据权利要求2所述的方法，其特征是，所述的特征点至少四对。
5.根据权利要求2所述的方法，其特征是，所述的特征点描述子，根据特征点的梯度幅值和方向生成。
6.根据权利要求2所述的方法，其特征是，所述的特征点描述子通过以下方式计算得到：
A1：确定计算特征点描述子所需的图像区域
Figure FDA0003837652210000011
其中：σoct为特征点所在组的组内尺度，d为特征点附近的邻域划分的子区域个数；
A2：将坐标移至特征点主方向旋转后新坐标为：
Figure FDA0003837652210000021
A3：在图像半径区域内对每个像素点求其梯度幅值和方向，然后第每个梯度幅值乘以高斯权重参数，生成方向直方图：
Figure FDA0003837652210000022
Figure FDA0003837652210000023
其中：xk为该点与特征点的列距离，yk为该点与特征点的行距离，σw为特征点描述子窗口宽度3σ×直方图列数的一半，dr为对邻近行的贡献因子，dc为对临近列的贡献因子，do为对邻近方向的贡献因子；
A4：特征点描述子向量规范化，128特征点描述子向量为W＝(w1，w2，...，w128)，规范化后的向量为L＝(l1，l2，...，l128)，其中：
Figure FDA0003837652210000024
7.根据权利要求2所述的方法，其特征是，所述的特征点相似度是指：针对高解析度图像中特征点描述子Ri＝(ri1，ri2，...，ri128)和低解析度图像中特征点描述子Si＝(si1，si2，...，si128)，计算任意两个特征点描述子之间的相似性度量
Figure FDA0003837652210000025
Figure FDA0003837652210000026
Figure FDA0003837652210000027
8.根据权利要求2所述的方法，其特征是，所述的线性坐标变换，具体包括以下步骤：
A1：射影变换公式：
Figure FDA0003837652210000028
其中：(x,y)为集成式麦克风阵列获得的低解析度图像上声源中心位置坐标，(x',y')为高清摄像机获得的高解析度图像像素点的坐标，
Figure FDA0003837652210000029
为旋转矩阵，[h31 h32]为平移矢量，
Figure FDA00038376522100000210
为缩放尺度；
A2：所述的集成式麦克风阵列获得的低解析度图像像素点坐标和高清摄像机获得的高解析度图像像素点坐标的图像间变换系数，建立如下所示方程组，用最小二乘法求解，获得图像间变换系数：
Figure FDA0003837652210000031
其中：(xi,yi)为集成式麦克风阵列获得的低解析度图像匹配特征点坐标，(x′i,y′i)为高清摄像机获得的高解析度图像匹配特征点坐标，i＝1,2,3,…n，n≥4，[h11 h12 h13 h21 h22 h23 h31 h32]T为图像间变换系数；
A3：由射影变换公式得到，集成式麦克风阵列获得的低解析度图像上声源中心位置坐标(x,y)对应在高清摄像机获得的高解析度图像中坐标(x',y')为：
Figure FDA0003837652210000032
9.一种实现权利要求2～8中任一所述方法的图像配准系统，其特征在于，包括：图像预处理模块、特征点计算模块、特征点描述子计算模块、特征点相似度计算模块、排序模块和线性坐标变换模块，其中：图像预处理模块与特征点计算模块相连并输出灰度化处理的图片给特征点计算模块；特征点计算模块和特征点描述子计算模块相连并输出特征点信息给特征点描述子计算模块；特征点描述子计算模块和特征点相似度计算模块相连并输出特征点描述子信息给特征点相似度计算模块；特征点相似度计算模块和排序模块相连并输出特征点相似度信息给排序模块；排序模块和线性坐标变换模块相连并输出匹配特征点给线性坐标变换模块；线性坐标变换模块计算获得两帧图像的图像间变换系数。
CN201810750656.3A 2018-07-10 2018-07-10 基于图像配准的机动车违法鸣笛抓拍系统 Active CN109858479B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810750656.3A CN109858479B (zh) 2018-07-10 2018-07-10 基于图像配准的机动车违法鸣笛抓拍系统
PCT/CN2018/098427 WO2020010659A1 (zh) 2018-07-10 2018-08-03 基于图像配准的机动车违法鸣笛抓拍系统
EP18899032.9A EP3822854A4 (en) 2018-07-10 2018-08-03 ILLEGAL MOTOR VEHICLE WHISTLING SPONTANEOUS PHOTOGRAPHY SYSTEM BASED ON IMAGE RECORDING

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810750656.3A CN109858479B (zh) 2018-07-10 2018-07-10 基于图像配准的机动车违法鸣笛抓拍系统

Publications (2)

Publication Number Publication Date
CN109858479A CN109858479A (zh) 2019-06-07
CN109858479B true CN109858479B (zh) 2022-11-18

Family

ID=66889678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810750656.3A Active CN109858479B (zh) 2018-07-10 2018-07-10 基于图像配准的机动车违法鸣笛抓拍系统

Country Status (3)

Country Link
EP (1) EP3822854A4 (zh)
CN (1) CN109858479B (zh)
WO (1) WO2020010659A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647949B (zh) * 2019-10-21 2024-02-20 中国计量大学 一种基于深度学习的汽车鸣笛抓拍装置的校准方法
CN111476829A (zh) * 2020-03-12 2020-07-31 梦幻世界科技(珠海)有限公司 一种基于光流的增强现实虚实图像动态配准方法及装置
CN111556282A (zh) * 2020-03-16 2020-08-18 浙江大华技术股份有限公司 远距离音视频采集的系统、方法、计算机设备和存储介质
CN111915918A (zh) * 2020-06-19 2020-11-10 中国计量大学 一种基于动态特性的汽车鸣笛抓拍装置现场校准系统及方法
CN111932593B (zh) * 2020-07-21 2024-04-09 湖南中联重科智能技术有限公司 基于触摸屏手势校正的图像配准方法、系统及设备
CN112511817B (zh) * 2020-11-23 2022-09-16 浙江省计量科学研究院 一种鸣笛抓拍系统动态参数校准方法及其校准装置
CN113064592A (zh) * 2021-03-31 2021-07-02 新代科技(苏州)有限公司 开槽机图形导入编程方法及系统
CN113936472B (zh) * 2021-10-27 2023-12-22 安徽隼波科技有限公司 一种高速公路分流区实线变道检测方法及检测装置
CN114202568B (zh) * 2021-12-14 2024-09-06 广西云高智慧城市科技有限公司 从2d图像获得3d特征汽车底盘投影框的方法及其应用
WO2023122927A1 (en) * 2021-12-28 2023-07-06 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
WO2024077366A1 (pt) * 2022-10-11 2024-04-18 Perkons S/A Sistema e método para detecção de ruído de veículos automotores e memória lida por computador correspondente
CN116736227B (zh) * 2023-08-15 2023-10-27 无锡聚诚智能科技有限公司 一种麦克风阵列和摄像头联合标定声源位置的方法
CN117132913B (zh) * 2023-10-26 2024-01-26 山东科技大学 基于无人机遥感与特征识别匹配的地表水平位移计算方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243534A (ja) * 2001-02-20 2002-08-28 Omron Corp 騒音計測装置
JP4065770B2 (ja) * 2002-12-11 2008-03-26 松下電器産業株式会社 移動体検出装置
CN100466011C (zh) * 2007-04-23 2009-03-04 凌子龙 车辆违章鸣笛电子取证装置、电子警察系统及取证方法
CN104766319B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 提升夜间拍照图像配准精度的方法
CN105046644B (zh) * 2015-07-06 2021-08-13 嘉恒医疗科技（上海）有限公司 基于线性相关性的超声与ct图像配准方法和系统
CN105096606A (zh) * 2015-08-31 2015-11-25 成都众孚理想科技有限公司 汽车鸣笛闯红灯抓拍系统
CN106296714B (zh) * 2016-08-23 2019-05-03 东方网力科技股份有限公司 一种图像配准方法和装置
CN106384510B (zh) * 2016-10-11 2019-10-08 擎翌(上海)智能科技有限公司 一种违法鸣笛抓拍系统
CN106355893A (zh) * 2016-10-28 2017-01-25 东方智测（北京）科技有限公司 用于实时定位鸣笛的机动车的方法及系统
CN107045784B (zh) * 2017-01-22 2020-04-17 苏州奇梦者网络科技有限公司 一种基于麦克风阵列的电子交警系统
CN106875678A (zh) * 2017-01-23 2017-06-20 上海良相智能化工程有限公司 一种汽车鸣笛执法取证系统
CN207082221U (zh) * 2017-05-24 2018-03-09 长沙艾克赛普仪器设备有限公司 违法鸣笛多目标实时抓拍电子警察系统

Also Published As

Publication number Publication date
WO2020010659A1 (zh) 2020-01-16
EP3822854A4 (en) 2022-04-27
EP3822854A1 (en) 2021-05-19
CN109858479A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109858479B (zh) 基于图像配准的机动车违法鸣笛抓拍系统
CN110363158B (zh) 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN111830502B (zh) 数据集的建立方法、车辆和存储介质
CN111750820B (zh) 影像定位方法及其系统
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
CN110297232A (zh) 基于计算机视觉的单目测距方法、装置及电子设备
CN104933398B (zh) 车辆辨识系统与方法
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN103353941B (zh) 基于视角分类的自然标志物注册方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN111830470B (zh) 联合标定方法及装置、目标对象检测方法、系统及装置
CN114372992A (zh) 一种基于动平台的边缘角点检测四目视觉算法
CN114120236B (zh) 对低空目标进行识别定位的方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN111538008B (zh) 变换矩阵确定方法、系统及装置
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN114119437A (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN113298725A (zh) 一种轮船图标图像叠加误差的纠正方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法
WO2018143278A1 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN112946627B (zh) 基于视觉信息的毫米波雷达检测系统及检测方法
CN111626180A (zh) 基于偏振成像的车道线检测方法及其装置
CN118097437B (zh) 一种自动空间对准的高光谱图像融合方法及系统、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant