CN111629143B - 一种基于光源识别和声源定位结合的目标搜寻系统及方法 - Google Patents

一种基于光源识别和声源定位结合的目标搜寻系统及方法 Download PDF

Info

Publication number
CN111629143B
CN111629143B CN202010334173.2A CN202010334173A CN111629143B CN 111629143 B CN111629143 B CN 111629143B CN 202010334173 A CN202010334173 A CN 202010334173A CN 111629143 B CN111629143 B CN 111629143B
Authority
CN
China
Prior art keywords
microphone
target
camera
sound
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010334173.2A
Other languages
English (en)
Other versions
CN111629143A (zh
Inventor
姚瑶
潘逸轩
杨宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010334173.2A priority Critical patent/CN111629143B/zh
Publication of CN111629143A publication Critical patent/CN111629143A/zh
Application granted granted Critical
Publication of CN111629143B publication Critical patent/CN111629143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20—Position of source determined by a plurality of spaced direction-finders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供了一种基于对特定光源的识别和声源定位结合的目标搜寻系统及方法，可在矿下、地震后夜间等危险性较大且难以人工搜救时，对有呼救信号的目标进行搜救，呼救信号包括发出呼救声或人造光源。所述系统主要包括一个摄像头、五个麦克风和一块主控板。通过失焦摄像头采集图像信息，再将图像进行二值化处理，再利用霍夫变换检测圆找出搜寻目标，当目标像素个数到达设定阈值即为找到目标位置。将麦克风阵列分为横、纵、垂直三组，计算根据声音到达三组麦克风的时间差计算出横纵两个角度，横向角度用于修正搭载平台移动方向，纵向角度用于调整摄像头俯仰角，在未发现目标光源的情况下，当声音大小到达设定阈值，亦为找到目标位置。

Description

一种基于光源识别和声源定位结合的目标搜寻系统及方法
技术领域
本发明涉及信号处理、目标追踪领域，具体涉及一种基于对特定光源的识别和声源定位结合的目标搜寻系统及方法。可应用在矿下、地震后夜间等危险性较大且不便于人工搜救的特定情况下，完成对发出救援信号的被困人员的搜救。
背景技术
世界上每年都会发生各种灾难性的事故，造成大量的人员伤亡和经济损失。为了尽可能的减少人员伤亡，救灾任务就显得尤为重要。这其中，对类似于煤矿灾难、地震这种受灾面积大，有效救援时间短，救灾危险性大的救援就显得更加困难。当发生这类事故后，救援人员往往很难第一时间进入救灾现场，而且人工搜救不仅效率较为低下，更严重的是可能会发生灾后的二次事故，例如有毒气体泄漏、余震等，带来一些不必要的人员伤亡。这时如果用机器人代替救援人员进入灾难现场，就可以在快速有效搜救的同时，最大程度的保证救援人员和被困人员的安全。
对于救灾机器人的研究，许多国家从20世纪80年代就已经开始，并已迈入实用阶段。例如日本大阪大学开发了一种蛇形机器人，其能够在废墟上行进，并可以使用身体上的传感器发现幸存；中国科学院沈阳自动化研究所研制了一款可变形废墟搜救机器人，集成了红外摄像头、拾音器等实用搜索任务载荷，可实现废墟内部的图像、声音信息的采集与识别。
随着科技的飞速发展，救灾机器人的研究也在不断的推进，虽然在近些年已经有了很大的进展，但仍然有许多的问题还有待进一步研究解决。现阶段救灾机器人大多是远程操控，需要大量的人力进行观测和控制，智能性较低，无法在黑暗条件下自动进行路径规划。
发明内容
发明目的：为了实现在矿下、地震后夜间等危险性较大且不便于人工搜救的特定情况下，完成对发出救援信号的被困人员的搜救，并且减少操作人员数量，完成自动搜救任务，本发明提供了一种基于对特定光源的识别和声源定位结合的救灾机器人搜寻系统及方法。本发明可对手电筒、手机闪光灯、矿帽顶灯等人造点光源进行快速搜索，并结合声源定位，扩大搜救范围。
本发明系统的技术方案为：一种基于对特定光源的识别和声源定位结合的目标搜寻系统，该系统包括摄像头、麦克风阵列、主控板、搜寻系统一层平台(1)、麦克风阵列一层平台(2)、麦克风阵列二层平台(3)、舵机支架(4)及摄像头固定平台(5)；麦克风阵列一层平台(2)由连接铜柱一(17)通过铜柱连接孔一(6)固定在搜寻系统一层平台(1)上；麦克风阵列二层平台(3)由连接铜柱二(19)通过铜柱连接孔二(13)固定在麦克风阵列一层平台(2)上；舵机支架(4)由连接铜柱三(18)通过铜柱连接孔三(16)固定在圆形的搜寻系统一层平台(1)上；主控板通过主控板定位孔(12)与搜寻系统一层平台(1)相连；主控板分别和摄像头阵列、麦克风相连；
摄像头固定在L形的摄像头固定平台(5)上，摄像头固定平台(5)通过固定孔二(21)与舵机(14)上的舵机法兰盘(15)连接，舵机(14)通过固定孔一(20)与舵机支架(4)固定连接；
麦克风阵列包括麦克风一(7)、麦克风二(8)、麦克风三(9)、麦克风四(10)、麦克风五(11)；
麦克风五(11)通过魔术贴固定在麦克风阵列二层平台(3)上，麦克风一(7)、麦克风二(8)、麦克风三(9)及麦克风四(10)通过魔术贴固定在T形的麦克风阵列一层平台(2)上，四个麦克风分别位于T形的麦克风阵列一层平台(2)的三个顶点及中间的交点位置上；
其中，麦克风二(8)及麦克风三(9)组成横向麦克风组，麦克风四(10)及麦克风五(11)组成纵向麦克风组，麦克风一(7)及麦克风四(10)组成垂直向麦克风组；
麦克风四(10)与其余四个麦克风的距离均相等。
本发明方法的技术方案为：一种基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，通过失焦摄像头检测是否有特定光源的存在，通过麦克风阵列检测出是否有有效声音，然后计算出横向角度和纵向角度，将横向角度反馈给搭载移动平台，将纵向角度反馈给摄像头舵机，从而控制目标搜寻系统的移动方向和摄像头的检测方向直至确定目标位置；该方法包括以下步骤：
步骤1：对摄像头进行设置使其处于失焦状态；
步骤2：采集图像信息，用摄像头截取一帧图片；
步骤3：对图像进行二值化处理和霍夫变换；
步骤4：判断是否有特定光源存在，若有则继续判断所测目标圆像素个数是否达到阈值，达到则为找到目标，未达到则调整移动平台方向，使目标处于中心位置后向前移动，若无则进入步骤5；
步骤5：采集声音信息；
步骤6：对声音信息进行预处理；
步骤7：判断声音信息是否有效，若有效则继续判断声音幅值大小是否达到阈值，达到阈值则为找到目标，未达到阈值则进入步骤8，若无效则按原方向向前移动；
步骤8：利用广义互相关时延估计算法计算出三组麦克风声音到达时间差，进而计算出横纵两个方向角度，将横向角度反馈给搭载移动平台，将纵向角度反馈给摄像头舵机，然后跳转至步骤2继续检测。
进一步，所述步骤1具体包括：
步骤1.1，调整对焦环，使摄像头拍摄的图像处于合适的虚焦状态；
步骤1.2，初始化感光元件；
步骤1.3，设置画面为灰度模式；
步骤1.4，设置画面分辨率为160*120像素；
步骤1.5，关闭自动增益，设置自动增益系数为当前的0.8；
步骤1.6，关闭白平衡，设置背景色调的RGB值为(-8.886325,-6.02073,-4.886325)；
步骤1.7，关闭自动曝光时间，设置自动曝光时间系数为当前的0.8；
步骤1.8，延迟200ms，跳过起始画面，获取稳定图像。
进一步，所述步骤3具体包括：
按照设定好的阈值对图像进行二值化处理，选取大于阈值的部分作为新的感兴趣区域，提高信息处理速度，利用人造点光源在摄像头失焦状态下会呈现膨胀效果，变为一个较为完整的圆这一特性，进行霍夫变换检测目标圆。
进一步，所述步骤4具体包括：
如果在步骤3中检测到目标圆，摄像头模块将返回两种信息，一是目标圆的中心点坐标信息，二是目标圆的像素个数信息；判断目标圆像素个数是否大于设定好的阈值，即判断光源位置与搜救机器人之间距离是否小于设定距离；若像素个数大于阈值，则为找到目标，并将当前位置发回上位机；反之则判断目标圆中心点坐标是否处于整个图像中心，计算出目标圆中心点坐标与图像中心坐标的差值Δx和Δy，Δx用于调整移动平台向左向右，Δy用于调整摄像头的俯仰角，直至Δx和Δy逼近于零，即Δx<ε，Δy<ε，ε为一设定值，完成后向前移动一定距离，跳转至步骤2继续检测。
进一步，所述步骤5具体包括：
此时系统未采集到目标图像信息，处于声音采集状态，对麦克风输出的电压信号进行采样。
进一步，所述步骤6具体包括：
将麦克风采集到的信号进行分帧处理，对一帧信号进行滤波后计算出这一帧信号的能量，根据现场环境设定“噪声门限”，即一帧的能量小于这一门限时认为是噪声。
进一步，所述步骤7具体包括：
当有足够多帧的连续信号能量超过噪声门限，即有有效声音信号，将其存储采集；若有效声音幅值大于设定的阈值则为找到目标，并将当前位置发回上位机，反正则对有效信号进行进一步处理，转至步骤8。
进一步，所述步骤8具体包括：
在计算声源所在位置方向中，首先利用广义互相关时延估计算法，该算法以基本互相关为理论基础，通过求两信号之间的互功率谱，再反变换到时域得到两信号之间的互相关函数，由此计算出信号之间的时延τ；具体步骤如下：
步骤8.1，一组麦克风阵列阵元分别采集到两组信号x(n)和y(n)；
步骤8.2，对两组信号分别作傅里叶变换，得到X(ω)和Y(ω)，然后计算出互功率谱密度Gxy(ω)，即Gxy(ω)＝X(ω)Y*(ω)，其中，Y*(ω)为Y(ω)的共轭；
步骤8.3，为了保证时延不受信号本身的影响，尽可能抑制噪声干扰，锐化相关信号，对信号的互功率谱密度Gxy(ω)进行加权，加权信号ψxy(ω)采用相位变换方法，即
Figure GDA0003162077920000041
步骤8.4，根据维纳-辛钦定理，互相关函数Rxy(τ)是互功率谱密度的傅里叶反变换：
Figure GDA0003162077920000042
最终得出广义互相关函数
Figure GDA0003162077920000043
为：
Figure GDA0003162077920000044
ejωτ为傅里叶向量；
步骤8.5，根据相关函数的性质可知，当τ＝T时，互相关函数R(τ-T)取最大值，其中，T为x(n)和y(n)的时间差，利用峰值检测计算出该时间差；其中，横向麦克风组与纵向麦克风计算出两组具体时间差τ1和τ2，垂直向麦克风组利用时间差τ3的正负性来判断声音信号在正向180度内还是反向180度内；
步骤8.6，根据声源距离麦克风的远近，可以将声源模型分为两种：远场模型和近场模型；近场模型将声波看成球面波，它考虑麦克风阵列接受信号间的幅度差，远场模型则将声波看成平面波，忽略阵元接受信号间的幅度差，认为各接收信号之间是简单的时延关系；将广义互相关时延算法计算出的时间差τ代入远场模型中，可以得到：
Figure GDA0003162077920000051
式中θ为声源信号与麦克风阵列的夹角，c为声音的传播速度，即c＝340m/s，τ为声源信号到达的时间差，d为麦克风阵列两阵元的距离；
然后计算出横向角度θ1和纵向角度θ2，首先通过τ3的正负性判断移动平台是否要旋转180度，再由θ1通过线性关系控制移动平台方向左右调整，θ2通过线性关系控制摄像头俯仰角调整，其中线性关系为t＝kθ，t为脉冲宽度，用于控制舵机转向角，k为常数，调整好后向前移动一定距离，跳转至步骤2继续检测。
本发明的有益效果是：
(1)本发明相比于其他需要远程操控的救灾机器人方法，可以实现自动搜索任务，不需要人工监测画面，自动完成定位，减少在监测上使用的人力。
(2)本发明相比于单一方向的救灾方法，使用了声源定位来辅助视觉监测，可扩大搜救的范围，提高搜救的效率。
(3)本针对于特定的情况，如矿下、震后夜间等黑暗环境，可以快速搜寻到指定目标，通过利用目标的特性，简化算法，加快了搜寻速度。
附图说明
附图1为本发明搜寻系统机械部分正视图
附图2为本发明搜寻系统机械部分侧视图
附图3为本发明搜寻系统机械部分俯视图
附图4为基于对特定光源的识别和声源定位结合的目标搜寻方法流程图
附图5为摄像头在正常与失焦状态下效果对比图
附图6为摄像头检测到目标示意图
附图7为本发明采用的声音模型图
附图8为声源定位采用的GCC时延估计算法框图
其中：图1、图2、图3为本发明搜寻系统机械部分示意图。
1-搜寻系统一层平台；2-麦克风阵列一层平台；3-麦克风阵列二层平台；4-舵机支架；5-摄像头固定平台；6-铜柱连接孔1；7-麦克风一；8-麦克风二；9-麦克风三；10-麦克风四；11-麦克风五；12-主控板定位孔；13-铜柱连接孔二；14-舵机；15-舵机法兰盘；16-铜柱连接孔三；17-连接铜柱一；18-连接铜柱三；19-连接铜柱二；20-固定孔一；21-固定孔二。
具体实施方式
下面结合附图和实例对本发明作更进一步的说明：
下面结合示意图具体说明所发明的基于对特定光源识别和声源定位结合的救灾搜救机器人系统的工作过程。
本发明的一种基于对特定光源的识别和声源定位结合的目标搜寻系统，该系统包括摄像头、麦克风阵列、主控板、搜寻系统一层平台(1)、麦克风阵列一层平台(2)、麦克风阵列二层平台(3)、舵机支架(4)及摄像头固定平台(5)；麦克风阵列一层平台(2)由连接铜柱一(17)通过铜柱连接孔一(6)固定在搜寻系统一层平台(1)上；麦克风阵列二层平台(3)由连接铜柱二(19)通过铜柱连接孔二(13)固定在麦克风阵列一层平台(2)上；舵机支架(4)由连接铜柱三(18)通过铜柱连接孔三(16)固定在圆形的搜寻系统一层平台(1)上；主控板通过主控板定位孔(12)与搜寻系统一层平台(1)相连；主控板分别和摄像头阵列、麦克风相连；摄像头固定在L形的摄像头固定平台(5)上，摄像头固定平台(5)通过固定孔二(21)与舵机(14)上的舵机法兰盘(15)连接，舵机(14)通过固定孔一(20)与舵机支架(4)固定连接；麦克风阵列包括麦克风一(7)、麦克风二(8)、麦克风三(9)、麦克风四(10)、麦克风五(11)；麦克风五(11)通过魔术贴固定在麦克风阵列二层平台(3)上，麦克风一(7)、麦克风二(8)、麦克风三(9)及麦克风四(10)通过魔术贴固定在T形的麦克风阵列一层平台(2)上，四个麦克风分别位于T形的麦克风阵列一层平台(2)的三个顶点及中间的交点位置上。
如图1、图2、图3所示，分别为本发明机械部分正视图、侧视图、俯视图。1-搜寻系统一层平台；2-麦克风阵列一层平台；3-麦克风阵列二层平台；4-舵机支架；5-摄像头固定平台；6-铜柱连接孔1；7-麦克风一；8-麦克风二；9-麦克风三；10-麦克风四；11-麦克风五；12-主控板定位孔；13-铜柱连接孔二；14-舵机；15-舵机法兰盘；16-铜柱连接孔三；17-连接铜柱一；18-连接铜柱三；19-连接铜柱二；20-固定孔一；21-固定孔二。
本发明的系统机械硬件部分包括：圆形的搜寻系统一层平台与T形的麦克风阵列一层平台通过铜柱连接孔相连；麦克风阵列一层、二层平台通过铜柱连接孔相连；舵机支架通过铜柱连接到搜寻系统一层平台；舵机通过法兰盘与L形摄像头固定平台连接；主控板通过定位孔固定在搜寻系统一层平台与麦克风阵列一层平台之间；麦克风阵列通过魔术贴固定在麦克风阵列一层、二层平台上。
其中，麦克风二(8)及麦克风三(9)组成横向麦克风组，麦克风四(10)及麦克风五(11)组成纵向麦克风组，麦克风一(7)及麦克风四(10)组成垂直向麦克风组；
麦克风四(10)与其余四个麦克风的距离均相等。
如图4所示，本发明基于对特定光源的识别和声源定位结合的目标搜寻方法流程图。对摄像头进行特殊设置后采集图像信息，对图像进行二值化处理和霍夫变换检测。判断是否有特定光源存在，若有则继续判断所测目标像素个数是否达到阈值，达到则为找到目标，未达到调整移动平台方向，使目标处于中心位置后向前移动，若无特定光源存在则开始采集声音信息。对声音信息进行处理后判断声音信息是否有效，若有效则继续判断声音大小是否达到阈值，达到则为找到目标，未达到则计算出声音位置角度，用计算出的角度控制摄像头俯仰角和搭载平台方向，然后重新循环检测，若无效则按原方向向前移动，重新循环检测；
如图5所示，为摄像头在正常与失焦状态下效果对比图。图5(a)为正常对焦情况下，对手机后闪光灯拍摄的图片，图5(b)为该图片二值化处理后效果。图5(c)为虚焦情况下，对手机后闪光灯拍摄的图片，图5(d)为该图片二值化处理后效果。对比可以看出，正常对焦二值化后，点光源的形状为不规则的近圆形，所占像素个数少，虚焦二值化后，点光源的形状为一个较为完整的圆且所占像素个数多，为下一步的目标检测提供了很大的便利。
如图6所示，为摄像头检测到目标示意图。通过霍夫变换检测圆，可以快速的找到虚焦状态下的点光源。
如图7所示，为本发明采用的声音模型图。根据声源距离麦克风的远近，可以将声源模型分为两种：远场模型和近场模型。近场模型将声波看成球面波，它考虑麦克风阵列接受信号间的幅度差，远场模型则将声波看成平面波，忽略阵元接受信号间的幅度差，近似认为各接收信号之间是简单的时延关系。本发明则将GCC时延估计计算出的时间差τ代入远场模型中，可以得到：
Figure GDA0003162077920000081
式中θ为声源信号与麦克风阵列的夹角，c为声音的传播速度，即c＝340m/s，τ为声源信号到达的时间差，d为麦克风阵列两阵元的距离。
如图8所示，GCC以基本互相关为理论基础，通过求两信号之间的互功率谱，再反变换到时域得到两信号之间的互相关函数，由此计算出信号之间的时延τ。具体步骤如下：
(1)一组麦克风阵列阵元分别采集到信息x(n)和y(n)；
(2)对两组信号分别作FFT变换的到后计算出互功率谱密度Gxy(ω)，即
Gxy(ω)＝X(ω)Y*(ω)；
(3)为了保证时延不受信号本身的影响，尽可能抑制噪声干扰，锐化相关信号，对信号的功率谱进行加权，加权信号ψxy(ω)采用PHAT方法，即
Figure GDA0003162077920000082
(4)根据维纳-辛钦定理，互相关函数与互功率谱密度之间的关系：
Figure GDA0003162077920000083
最终得出广义互相关函数：
Figure GDA0003162077920000084
(5)根据相关函数的性质可知，当τ＝T时，R(τ-T)取最大值，其中T为x(n)和y(n)的时间差，利用峰值检测求的该时间差。
本发明采用的技术方案是：通过失焦摄像头检测是否有特定光源的存在，通过麦克风阵列检测出是否有有效声音，并可分别计算出横纵两个角度分别反馈给搭载移动平台和摄像头舵机，从而控制整个搜救装置的移动方向和摄像头检测方向，通过视觉和声音结合确定目标位置。本发明的全部步骤具体如下：
步骤1：对摄像头进行设置；
步骤2：采集图像信息；
步骤3：对图像进行二值化处理和霍夫变换检测；
步骤4：判断是否有特定光源存在，若有则继续判断所测目标像素个数是否达到阈值，达到则为找到目标，未达到调整移动平台方向，使目标处于中心位置后向前移动，若无特定光源存在则继续完成步骤5；
步骤5：采集声音信息；
步骤6：对声音信号进行预处理；
步骤7：判断声音信息是否有效，若有效则继续判断声音大小是否达到阈值，达到则为找到目标，未达到继续完成步骤8，若无效则按原方向向前移动；
步骤8：利用GCC时延估计算法计算出三组麦克风声音到达时间差，进而计算出横纵两个方向角度，横向角度反馈给搭载移动平台，纵向角度反馈给摄像头舵机，跳转至步骤2继续检测；
进一步，对于上述步骤1，对摄像头进行初始化设置，具体步骤如下：
(1)调整对焦环，使摄像头拍摄的图像处于合适的虚焦状态；
(2)初始化感光元件；
(3)设置画面为GRAYSCALE灰度模式；
(4)设置画面分辨率为QQVGA即为160*120像素；
(5)关闭自动增益，设置自动增益系数为当前的0.8；
(6)关闭白平衡，设置背景色调的RGB值为(-8.886325,-6.02073,-4.886325)；
(7)关闭自动曝光时间，设置自动曝光时间系数为当前的0.8；
(8)延迟200ms，跳过起始画面，获取稳定图像。
进一步，对于上述步骤2，用摄像头截取一帧图片。
进一步，对于上述步骤3，按照设定好的阈值对图像进行二值化处理，选取大于阈值的部分作为新的感兴趣区域，提高信息处理速度。利用人造点光源在摄像头虚焦状态下会呈现膨胀效果，变为一个较为完整的圆这一特性，进行霍夫变换检测圆。
进一步，对于上述步骤4，如果在步骤3中检测到目标圆，摄像头模块将返回两种信息，一是目标圆的中心点坐标信息，二是目标圆的像素个数信息。判断目标圆像素个数是否大于设定好的阈值，即判断光源位置与搜救机器人之间距离是否小于设定距离。若像素个数大于阈值，则为找到目标，并将当前位置发回上位机。反之则判断目标圆中心点坐标是否处于整个图像中心，计算出目标圆中心点坐标与图像中心坐标的差值Δx和Δy，Δx用于调整移动平台向左向右，Δy用于调整摄像头的俯仰角，直至Δx和Δy逼近于零，即Δx<ε，Δy<ε，ε为一设定值。完成后向前移动一定距离，跳转至步骤2继续检测。
进一步，对于上述步骤5，此时系统未采集到目标图像信息，处于声音采集状态，对麦克风输出的电压信号进行采样。
进一步，对于上述步骤6，将麦克风采集到的信号进行分帧处理，对一帧信号进行滤波后计算出这一帧信号的能量，根据现场环境设定“噪声门限”，即一帧的能量小于这一门限时认为是噪声。
进一步，对于上述步骤7，当有足够多帧的连续信号能量超过阈值，即有有效声音信号，将其存储采集。若有效声音幅值大于设定的阈值则为找到目标，并将当前位置发回上位机，反正则对有效信号进行进一步处理，转至步骤8。
进一步，对于上述步骤8，在计算声源所在位置方向中，首先利用广义自相关时延估计算法，GCC以基本互相关为理论基础，通过求两信号之间的互功率谱，再反变换到时域得到两信号之间的互相关函数，由此计算出信号之间的时延τ。具体步骤如下：
(1)一组麦克风阵列阵元分别采集到信息x(n)和y(n)；
(2)对两组信号分别作FFT变换的到后计算出互功率谱密度Gxy(ω)，即Gxy(ω)＝X(ω)Y*(ω)；
(3)为了保证时延不受信号本身的影响，尽可能抑制噪声干扰，锐化相关信号，对信号的功率谱进行加权，加权信号ψxy(ω)采用PHAT方法，即
Figure GDA0003162077920000101
(4)根据维纳-辛钦定理，互相关函数与互功率谱密度之间的关系：
Figure GDA0003162077920000102
最终得出广义互相关函数：
Figure GDA0003162077920000103
(5)根据相关函数的性质可知，当τ＝T时，R(τ-T)取最大值，其中T为x(n)和y(n)的时间差，利用峰值检测计算出该时间差。其中，横向麦克风组与纵向麦克风计算出两组具体时间差τ1和τ2，垂直组麦克风利用时间差τ3的正负性来判断声音信号在正向180度内还是反向180度内；
(6)根据声源距离麦克风的远近，可以将声源模型分为两种：远场模型和近场模型。近场模型将声波看成球面波，它考虑麦克风阵列接受信号间的幅度差，远场模型则将声波看成平面波，忽略阵元接受信号间的幅度差，近似认为各接收信号之间是简单的时延关系。本发明则将GCC时延估计计算出的时间差τ代入远场模型中，可以得到：
Figure GDA0003162077920000111
式中θ为声源信号与麦克风阵列的夹角，c为声音的传播速度，即c＝340m/s，τ为声源信号到达的时间差，d为麦克风阵列两阵元的距离。
完成后计算出横向角度θ1和纵向角度θ2，首先通过τ3的正负性判断移动平台是否要旋转180度，再由θ1通过线性关系控制移动平台方向左右调整，θ2通过线性关系控制摄像头俯仰角调整，调整好后向前移动一定距离，跳转至步骤2继续检测。
综上所述，本发明提供了一种基于对特定光源识别和声源定位结合的目标搜寻方法，实现该方法的所述平台包括了一个用于实时捕捉画面的摄像头，五个按阵列排放的获取声音信息的麦克风和一块主控板。通过摄像头采集失焦情况下的图像信息，再将图像进行二值化处理，因为手机、手电筒等人造点光源在失焦状态下会呈现膨胀效果，二值化后形成一个较为完整的圆，最终利用霍夫变换检测圆找出搜寻目标，当目标像素个数到达设定阈值即为找到目标位置。将麦克风阵列分为横、纵、垂直三组，运用GCC时延估计算法计算出三组麦克风声音到达时间差，从而计算出横纵两个角度，其中将横向角度用于控制搭载平台移动方向的修正，纵向角度用于控制摄像头俯仰角的调整，在未发现目标光源的情况下，当声音大小到达设定阈值，亦为找到目标位置。本发明能够在矿下、地震后夜间等危险性较大且不便于人工搜救的特定情况下，完成对有呼救信号的被困人员的搜救，呼救信号包括发出呼救声或者是有人造光源，例如：手机闪光灯、矿帽灯、手电筒等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于，该系统包括摄像头、麦克风阵列、主控板、搜寻系统一层平台(1)、麦克风阵列一层平台(2)、麦克风阵列二层平台(3)、舵机支架(4)及摄像头固定平台(5)；麦克风阵列一层平台(2)由连接铜柱一(17)通过铜柱连接孔一(6)固定在搜寻系统一层平台(1)上；麦克风阵列二层平台(3)由连接铜柱二(19)通过铜柱连接孔二(13)固定在麦克风阵列一层平台(2)上；舵机支架(4)由连接铜柱三(18)通过铜柱连接孔三(16)固定在圆形的搜寻系统一层平台(1)上；主控板通过主控板定位孔(12)与搜寻系统一层平台(1)相连；主控板分别和摄像头阵列、麦克风相连；摄像头固定在L形的摄像头固定平台(5)上，摄像头固定平台(5)通过固定孔二(21)与舵机(14)上的舵机法兰盘(15)连接，舵机(14)通过固定孔一(20)与舵机支架(4)固定连接；麦克风阵列包括麦克风一(7)、麦克风二(8)、麦克风三(9)、麦克风四(10)、麦克风五(11)；麦克风五(11)通过魔术贴固定在麦克风阵列二层平台(3)上，麦克风一(7)、麦克风二(8)、麦克风三(9)及麦克风四(10)通过魔术贴固定在T形的麦克风阵列一层平台(2)上，四个麦克风分别位于T形的麦克风阵列一层平台(2)的三个顶点及中间的交点位置上；其中，麦克风二(8)及麦克风三(9)组成横向麦克风组，麦克风四(10)及麦克风五(11)组成纵向麦克风组，麦克风一(7)及麦克风四(10)组成垂直向麦克风组；麦克风四(10)与其余四个麦克风的距离均相等；
所述目标搜寻系统的方法包括：通过失焦摄像头检测是否有特定光源的存在，通过麦克风阵列检测出是否有有效声音，然后计算出横向角度和纵向角度，将横向角度反馈给搭载移动平台，将纵向角度反馈给摄像头舵机，从而控制目标搜寻系统的移动方向和摄像头的检测方向直至确定目标位置；该方法包括以下步骤：
步骤1：对摄像头进行设置使其处于失焦状态；
步骤2：采集图像信息，用摄像头截取一帧图片；
步骤3：对图像进行二值化处理和霍夫变换；
步骤4：判断是否有特定光源存在，若有则继续判断所测目标圆像素个数是否达到阈值，达到则为找到目标，未达到则调整移动平台方向，使目标处于中心位置后向前移动，若无则进入步骤5；
步骤5：采集声音信息；
步骤6：对声音信息进行预处理；
步骤7：判断声音信息是否有效，若有效则继续判断声音幅值大小是否达到阈值，达到阈值则为找到目标，未达到阈值则进入步骤8，若无效则按原方向向前移动；
步骤8：利用广义互相关时延估计算法计算出三组麦克风声音到达时间差，进而计算出横纵两个方向角度，将横向角度反馈给搭载移动平台，将纵向角度反馈给摄像头舵机，然后跳转至步骤2继续检测。
2.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤1具体包括：
步骤1.1，调整对焦环，使摄像头拍摄的图像处于合适的虚焦状态；
步骤1.2，初始化感光元件；
步骤1.3，设置画面为灰度模式；
步骤1.4，设置画面分辨率为160*120像素；
步骤1.5，关闭自动增益，设置自动增益系数为当前的0.8；
步骤1.6，关闭白平衡，设置背景色调的RGB值为(-8.886325,-6.02073,-4.886325)；
步骤1.7，关闭自动曝光时间，设置自动曝光时间系数为当前的0.8；
步骤1.8，延迟200ms，跳过起始画面，获取稳定图像。
3.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤3具体包括：
按照设定好的阈值对图像进行二值化处理，选取大于阈值的部分作为新的感兴趣区域，提高信息处理速度，利用人造点光源在摄像头失焦状态下会呈现膨胀效果，变为一个较为完整的圆这一特性，进行霍夫变换检测目标圆。
4.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤4具体包括：
如果在步骤3中检测到目标圆，摄像头模块将返回两种信息，一是目标圆的中心点坐标信息，二是目标圆的像素个数信息；判断目标圆像素个数是否大于设定好的阈值，即判断光源位置与搜救机器人之间距离是否小于设定距离；若像素个数大于阈值，则为找到目标，并将当前位置发回上位机；反之则判断目标圆中心点坐标是否处于整个图像中心，计算出目标圆中心点坐标与图像中心坐标的差值Δx和Δy，Δx用于调整移动平台向左向右，Δy用于调整摄像头的俯仰角，直至Δx和Δy逼近于零，即Δx＜ε，Δy＜ε，ε为一设定值，完成后向前移动一定距离，跳转至步骤2继续检测。
5.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤5具体包括：
此时系统未采集到目标图像信息，处于声音采集状态，对麦克风输出的电压信号进行采样。
6.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤6具体包括：
将麦克风采集到的信号进行分帧处理，对一帧信号进行滤波后计算出这一帧信号的能量，根据现场环境设定“噪声门限”，即一帧的能量小于这一门限时认为是噪声。
7.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤7具体包括：
当连续帧的信号能量超过噪声门限，即有有效声音信号，将其存储采集；若有效声音幅值大于设定的阈值则为找到目标，并将当前位置发回上位机，反正则对有效信号进行进一步处理，转至步骤8。
8.根据权利要求1所述的基于对特定光源的识别和声源定位结合的目标搜寻系统的方法，其特征在于：所述步骤8具体包括：
在计算声源所在位置方向中，首先利用广义互相关时延估计算法，该算法以基本互相关为理论基础，通过求两信号之间的互功率谱，再反变换到时域得到两信号之间的互相关函数，由此计算出信号之间的时延τ；具体步骤如下：
步骤8.1，一组麦克风阵列阵元分别采集到两组信号x(n)和y(n)；
步骤8.2，对两组信号分别作傅里叶变换，得到X(ω)和Y(ω)，然后计算出互功率谱密度Gxy(ω)，即Gxy(ω)＝X(ω)Y*(ω)，其中，Y*(ω)为Y(ω)的共轭；
步骤8.3，为了保证时延不受信号本身的影响，尽可能抑制噪声干扰，锐化相关信号，对信号的互功率谱密度Gxy(ω)进行加权，加权信号ψxy(ω)采用相位变换方法，即
Figure FDA0003162077910000031
步骤8.4，根据维纳-辛钦定理，互相关函数Rxy(τ)是互功率谱密度的傅里叶反变换：
Figure FDA0003162077910000041
最终得出广义互相关函数
Figure FDA0003162077910000042
为：
Figure FDA0003162077910000043
ejωτ为傅里叶向量；
步骤8.5，根据相关函数的性质可知，当τ＝T时，互相关函数R(τ-T)取最大值，其中，T为x(n)和y(n)的时间差，利用峰值检测计算出该时间差；其中，横向麦克风组与纵向麦克风计算出两组具体时间差τ1和τ2，垂直向麦克风组利用时间差τ3的正负性来判断声音信号在正向180度内还是反向180度内；
步骤8.6，根据声源距离麦克风的远近，可以将声源模型分为两种：远场模型和近场模型；近场模型将声波看成球面波，它考虑麦克风阵列接受信号间的幅度差，远场模型则将声波看成平面波，忽略阵元接受信号间的幅度差，认为各接收信号之间是简单的时延关系；将广义互相关时延算法计算出的时间差τ代入远场模型中，可以得到：
Figure FDA0003162077910000044
式中θ为声源信号与麦克风阵列的夹角，c为声音的传播速度，即c＝340m/s，τ为声源信号到达的时间差，d为麦克风阵列两阵元的距离；
然后计算出横向角度θ1和纵向角度θ2，首先通过τ3的正负性判断移动平台是否要旋转180度，再由θ1通过线性关系控制移动平台方向左右调整，θ2通过线性关系控制摄像头俯仰角调整，其中线性关系为t＝kθ，t为脉冲宽度，用于控制舵机转向角，k为常数，调整好后向前移动一定距离，跳转至步骤2继续检测。
CN202010334173.2A 2020-04-24 2020-04-24 一种基于光源识别和声源定位结合的目标搜寻系统及方法 Active CN111629143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010334173.2A CN111629143B (zh) 2020-04-24 2020-04-24 一种基于光源识别和声源定位结合的目标搜寻系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010334173.2A CN111629143B (zh) 2020-04-24 2020-04-24 一种基于光源识别和声源定位结合的目标搜寻系统及方法

Publications (2)

Publication Number Publication Date
CN111629143A CN111629143A (zh) 2020-09-04
CN111629143B true CN111629143B (zh) 2021-10-12

Family

ID=72260977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010334173.2A Active CN111629143B (zh) 2020-04-24 2020-04-24 一种基于光源识别和声源定位结合的目标搜寻系统及方法

Country Status (1)

Country Link
CN (1) CN111629143B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333903B (zh) * 2020-10-28 2023-04-07 浙江大华技术股份有限公司 灯光场景下的聚焦方法及装置
CN115166632A (zh) * 2022-06-20 2022-10-11 青岛海尔科技有限公司 声源朝向的确定方法和装置、存储介质及电子装置
CN117347948B (zh) * 2023-10-08 2024-07-26 深圳市南科物联科技有限公司 基于一维和二维无线混合的区域边缘精准定位系统及方法
CN117611929B (zh) * 2024-01-23 2024-04-23 湖北经济学院 基于深度学习的led光源识别方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833476A (zh) * 2012-08-17 2012-12-19 歌尔声学股份有限公司 终端设备用摄像头和终端设备用摄像头的实现方法
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN105094136A (zh) * 2015-09-14 2015-11-25 桂林电子科技大学 自适应麦克风阵列的声音定位救援机器人及其使用方法
CN206020953U (zh) * 2016-09-14 2017-03-15 北京地平线机器人技术研发有限公司 智能控制装置和包括该智能控制装置的家电设备
CN107333120A (zh) * 2017-08-11 2017-11-07 吉林大学 一种基于麦克风阵列和立体视觉的集成传感器
CN108122195A (zh) * 2018-01-10 2018-06-05 北京小米移动软件有限公司 图片处理方法及装置
CN208874651U (zh) * 2018-11-07 2019-05-17 杭州晨安科技股份有限公司 双云台智能摄像机
CN109791602A (zh) * 2016-09-06 2019-05-21 昕诺飞控股有限公司 在一组移动设备中定位移动设备的方法
CN110488223A (zh) * 2019-07-05 2019-11-22 东北电力大学 一种声源定位方法
JP2020008785A (ja) * 2018-07-11 2020-01-16 パナソニックＩｐマネジメント株式会社 撮像装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833476A (zh) * 2012-08-17 2012-12-19 歌尔声学股份有限公司 终端设备用摄像头和终端设备用摄像头的实现方法
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN105094136A (zh) * 2015-09-14 2015-11-25 桂林电子科技大学 自适应麦克风阵列的声音定位救援机器人及其使用方法
CN109791602A (zh) * 2016-09-06 2019-05-21 昕诺飞控股有限公司 在一组移动设备中定位移动设备的方法
CN206020953U (zh) * 2016-09-14 2017-03-15 北京地平线机器人技术研发有限公司 智能控制装置和包括该智能控制装置的家电设备
CN107333120A (zh) * 2017-08-11 2017-11-07 吉林大学 一种基于麦克风阵列和立体视觉的集成传感器
CN108122195A (zh) * 2018-01-10 2018-06-05 北京小米移动软件有限公司 图片处理方法及装置
JP2020008785A (ja) * 2018-07-11 2020-01-16 パナソニックＩｐマネジメント株式会社 撮像装置
CN208874651U (zh) * 2018-11-07 2019-05-17 杭州晨安科技股份有限公司 双云台智能摄像机
CN110488223A (zh) * 2019-07-05 2019-11-22 东北电力大学 一种声源定位方法

Also Published As

Publication number Publication date
CN111629143A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111629143B (zh) 一种基于光源识别和声源定位结合的目标搜寻系统及方法
WO2022193420A1 (zh) 近水桥梁多类型病害智能检测方法与无人船设备
US10557916B2 (en) UAV detection
Okutani et al. Outdoor auditory scene analysis using a moving microphone array embedded in a quadrocopter
CN104469154B (zh) 一种基于麦克风阵列的摄像头引导装置及引导方法
Chen et al. Obstacle detection system for visually impaired people based on stereo vision
CN1784900A (zh) 用于音源追踪的装置和方法
US10094911B2 (en) Method for tracking a target acoustic source
CN103903237A (zh) 一种前扫声纳图像序列拼接方法
CN112489091B (zh) 一种基于直瞄模板的全捷联图像导引头目标跟踪方法
CN109040565A (zh) 全景摄像系统
Mount et al. 2d visual place recognition for domestic service robots at night
Vousdoukas et al. A semi automatic technique for Rapid Environmental Assessment in the coastal zone using Small Unmanned Aerial Vehicles (SUAV)
Davanthapuram et al. Visually impaired indoor navigation using YOLO based object recognition, monocular depth estimation and binaural sounds
JP6664119B2 (ja) モニタリングシステム及びモニタリング方法
CN109815773A (zh) 一种基于视觉的低慢小航空器探测方法
CN110907894A (zh) 一种遥控式生命探测装置及其探测方法
CN211315927U (zh) 基于激光和led双光源的观测装置及观测装置安装设备
CN211627805U (zh) 一种遥控式生命探测装置
CN220368738U (zh) 一种车载式走航动物观测装置
CN113110562A (zh) 一种基于多个广角摄像头的无人机避障装置及其避障方法
CN208836304U (zh) 一种基于声源定位的公路复眼相机监控系统
CN115023733A (zh) 检测装置、追踪装置、检测程序以及追踪程序
LEE et al. Wave driven sand ripple formation and evolution on a mound
CN110515086A (zh) 一种应用于无人艇的海上目标搜索模拟系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant