CN114096874A - 声源可视化装置及方法 - Google Patents

声源可视化装置及方法 Download PDF

Info

Publication number
CN114096874A
CN114096874A CN202080050101.3A CN202080050101A CN114096874A CN 114096874 A CN114096874 A CN 114096874A CN 202080050101 A CN202080050101 A CN 202080050101A CN 114096874 A CN114096874 A CN 114096874A
Authority
CN
China
Prior art keywords
sound source
information
signal
height
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080050101.3A
Other languages
English (en)
Inventor
金永彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN114096874A publication Critical patent/CN114096874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20—Position of source determined by a plurality of spaced direction-finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/06—Emergency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明涉及一种声源可视化装置及方法。根据实施例的声源可视化装置包括：声源感测模块，通过多个声源感测传感器来感测包括周围声音、声源及噪声的声源信号；预处理模块，从感测到的声源信号过滤噪声，并放大声源信号；计算模块，分析预处理后的声源信号而从所述声源可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置；搜索模块，利用由声源感测传感器中的每一个感测的声源的高度信息来生成包括所述高度信息的多个伪平面(Pseudo plane)，并对所述多个平面进行筛选，并且将利用选择的平面获得的高度信息应用于声源简易位置而生成三维声源位置信息；以及可视化模块，将包括三维声源位置信息、声源高度信息及声源强度信息的声源信息输出到系统主机，或者转换为可视化信号并显示。

Description

声源可视化装置及方法
技术领域
本发明涉及一种声源可视化装置及方法，尤其涉及一种通过多个声源感测传感器来掌握声源位置、高度、方向、强度、间隔距离等声源信息而使得用户通过视觉直观地识别声源的位置、高度、强度、间隔距离的声源可视化装置及方法。
背景技术
除非在本说明书中另有说明，否则本部分中说明的内容并非针对本申请的权利要求的现有技术，即使包含在本部分中，也不应被认为是现有技术。
自动驾驶汽车是即使驾驶员不操作方向盘、制动器、踏板等也能够自动行驶的汽车，是通过传感器掌握周围状况、避开障碍物、选择到目的地的最佳行驶路径而自动行驶的汽车。自动驾驶车辆需要高速公路驾驶支持系统、车道偏离警报系统、车道保持支持系统、后侧方警报系统、保持车辆之间的距离恒定的高级智能巡航控制、自动紧急制动系统等。自动驾驶汽车是未来汽车技术的核心，是谷歌等跨国企业正在积极研究开发的领域。
自动驾驶汽车的技术开发阶段通常分为等级0至等级5。自动驾驶汽车技术的等级0是与自动驾驶没有任何相关技术的阶段，等级1是驾驶时仍然需要驾驶员介入的阶段。级别2是汽车能够自行转动方向盘并执行加速及减速行驶的阶段，级别3是还能够躲避道路障碍物的阶段。从等级3开始，驾驶时监控基准从人转到系统。从等级3开始，随着监测基准的改变，驾驶员的注意会大大减少。级别4是对应于多种道路状况和驾驶状况的技术阶段，级别5是不需要发放驾驶执照而能够实现完全自动驾驶的技术水平。现在，拥有第3、4级技术水平的自动驾驶车辆正逐渐上市。
对于现在处于级别3阶段的现有自动驾驶汽车及无人驾驶汽车技术而言，识别障碍物及车辆周围客体的过程大部分通过相机等传感器而以视觉方式识别客体。但是，在人实际驾驶的过程中，通过声音来识别车辆周围客体，也经常通过声音来判断危急状况。例如，物体声音、碰撞声、冲击声或警报器声音等紧急信号是驾驶员应该重要解读的声源。
但是，以往倾向于开发在判断驾驶状况时利用视觉信号的技术。为了未来在级别5阶段实现如人驾驶一样的完美的自动驾驶技术，需要自动驾驶车辆的声源信号处理及可视化技术。
发明内容
技术问题
本发明提供了一种通过多个声源感测传感器识别声源的方向、位置、高度、强度、间隔距离等多种声源信息而使得用户能够直观且快速地识别声源的位置的声源可视化装置及方法。
并且，使声源的高度被包括于包含声源的方向、强度、位置的声源简易位置信息中，或者通过校正声源高度信息及位置信息，使得用户能够以包括声源高度信息的三维的方式识别周围的生源位置。
并且，将诸如声源的移动方向、动作、大小之类的声源信息全部可视化，从而能够更直观地掌握声源的大小和危险性。
技术方案
根据实施例的声源可视化装置包括：声源感测模块，通过沿对角线设置于不同高度的多个声源感测传感器来感测包括周围声音、声源及噪声的声源信号；预处理模块，从感测到的声源信号过滤噪声，并放大声源信号；计算模块，分析预处理后的声源信号而从所述声源可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置；搜索模块，利用由声源感测传感器中的每一个感测的声源的高度信息来生成包括高度信息的多个伪平面(Pseudo plane)，并对多个平面进行筛选，并且使利用选择的平面获得的高度信息包括于声源简易位置而生成三维声源位置信息；以及可视化模块，将包括三维声源位置信息、声源高度信息及声源强度信息的声源信息输出到系统主机，或者转换为可视化信号并显示。
根据另一实施例的声源的可视化方法包括如下步骤：(A)在声源感测模块中通过多个声源感测传感器感测包括周围声音、声源及噪声的声源信号；(B)从在预处理模块感测到的声源信号过滤噪声并放大声源信号；(C)在计算模块分析预处理后的声源信号而从所述声音可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置；(D)在搜索模块利用在所述声源感测传感器中的每一个感测到的声源的高度信息来生成包括所述高度信息的多个伪平面，并对所述多个平面进行筛选，并且使从所选择的平面获得的高度信息包括于声源简易位置而生成三维声源位置信息；以及(E)在可视化模块将包括三维声源位置信息、声源高度信息及声源强度信息的声源信息输出到系统主机，或者转换为可视化信号并显示。
有益效果
通过如上所述的声源可视化装置及方法可以掌握包括声源的高度、方向、与用户之间的距离、位置、强度的多种声源信息，从而可以通过声源更准确地掌握用户周围的客体的存在与否及危险信号。
并且，在自动驾驶车辆中，通过视觉地转换周围声源信号并作为视觉信息提供给系统或同乘驾驶员，使得系统或同乘驾驶员可以掌握基于无法由相机或视觉来识别的周围客体的动作或声音的紧急状况。
并且，针对声源感测传感器中的每一个生成以三维方式表示声源位置的伪平面(Pseudo plane)，并使其一致化来校正声源高度信息，从而即使在声源不存在于平面的情况下也能够准确地向用户提供声源高度信息。
并且，在根据实施例的声源可视化装置被提供给听力较弱的用户及老年人的情况下，听力较弱的人可以在通过视觉来掌握声源信号。
并且，在根据实施例的声源可视化装置被设置在老年人运动辅助设备等的情况下，听力相对较弱的老年人可以通过视觉来掌握听觉信息，从而能够预防安全事故。
本发明的效果并不局限于上述效果，应理解为包括可从本发明的详细说明或权利要求书中记载的发明的构成推论的所有效果。
附图说明
图1是示出根据实施例的声源可视化装置的图。
图2是示出根据实施例的声源可视化装置的数据处理块的图。
图3是示出根据实施例的声源可视化装置的更具体的数据处理块的图。
图4是示出根据实施例的声源可视化装置的可视化模板的图。
图5是示出根据实施例的声源信息可视化过程的流程图。
图6是进一步具体地示出根据实施例的声源位置信息生成及校正过程的图。
图7是进一步详细地示出根据实施例的声源简易位置计算及声源强度掌握过程的流程图。
图8是用于更详细地说明根据实施例的误差修正过程的图。
图9a是用于说明根据实施例的声源间距离及位置校正计算过程的图。
图9b是用于说明根据实施例的在计算模块计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息在内的声源简易位置的方法以及假平面的生成的图。
图10是示出根据实施例的声源信息可视化过程的流程图。
最佳实施方式
根据实施例的声源可视化装置包括：声源感测模块，通过沿对角线设置于不同高度的多个声源感测传感器来感测包括周围声音、声源及噪声的声源信号；预处理模块，从感测到的声源信号过滤噪声，并放大声源信号；计算模块，分析预处理后的声源信号而从所述声源可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置；搜索模块，利用由声源感测传感器中的每一个感测的声源的高度信息来生成包括高度信息的多个伪平面(Pseudo plane)，并对多个平面进行筛选，并且使利用选择的平面获得的高度信息包括于声源简易位置而生成三维声源位置信息；以及可视化模块，将包括三维声源位置信息、声源高度信息及声源强度信息的声源信息输出到系统主机，或者转换为可视化信号并显示。
具体实施方式
参照与附图一起详细后述的实施例，可以明确本发明的优点和特征以及达成这些的方法。然而本发明可以实现为互不相同的多种形态，并不局限于以下公开的实施例，本实施例仅用于使本发明的公开完整并且向本发明所属技术领域中具有普通知识的人完整地告知发明范围而被提供，本发明仅由权利要求的范围而被定义。贯穿整个说明书，相同的附图标记指代相同的构成要素。
在说明本发明的实施例时，如果判断为对相关的公知功能或者构成的具体说明有可能会对本公开的主旨带来不必要的混淆，则省略对其的详细说明。并且，后述的术语均为考虑到本发明的实施例中的功能而定义的术语，其可能根据使用者、运用者的意图或惯例等而不同。因此，需要以贯穿本说明书整体的内容为基础而对其下定义。
图1是示出根据实施例的声源可视化装置的图。
参照图1，根据实施例的声源可视化装置识别包括用户周围声源的大小、位置、方向、高度的声源信息，将声源信息转换为可视化客体并显示给用户。在实施例中，虽然提出了钟表形状的辐射形可视化模板(a)，但是声源可视化模板不限于图1所示的示例。在实施例中，对于由多个声源识别传感器感测到的声源而言，声源的大小、方向、距用户的距离等声源信息的各个项目可以分别被转换为与声源可视化模板相对应的可视化客体，从而可以以视觉方式向用户提供详细的声源信息。如图1所示，声源信息的可视化模板可以显示在声源可视化装置的上部面(A)或侧面(B)等。
根据实施例的声源可视化装置可以应用于自动驾驶车辆等多种系统和设备。在这种情况下，声源可视化装置可以通过系统中预先设定的可视化模板来显示声源信息。
图2是示出根据实施例的声源可视化装置的数据处理块的图。
参照图2，根据实施例的声源可视化装置可以构成为包括声源感测模块210、预处理模块230、计算模块250、搜索模块270及可视化模块290。本说明书中使用的术语“模块”应该根据使用术语的上下文被解释为包括软件、硬件或其组合。例如，软件可以为机器语言、固件(firmware)、嵌入式代码(embedded code)、应用软件。作为又一示例，硬件可以是电路、处理器、计算机、集成电路、集成电路核心、传感器、微机电系统(MEMS：Micro-Electro-Mechanical System)、无源设备或其组合。
声源感测模块210利用沿对角线设置于相同高度或不同高度的多个声源感测传感器来感测包括周围声音、声源及噪音的声源信号。在实施例中，四个声源感测传感器中的每一个可以感测周围的声音、声源及噪声。
预处理模块230从感测到的声源信号中过滤噪声并放大声源信号。例如，预处理模块230可以掌握通过传感器收集的声源的频率及强度而过滤杂音信号，并且将主要的声源信号放大到预定分贝或级别以上。
计算模块250分析预处理后的声源信号而计算包括声源的间隔距离、方向、声源强度、二维位置及简易高度信息的声源简易位置。在实施例中，声源简易位置是通过基于从预处理模块230接收的声源信号而在用户位置初步地计算包括声源的相对位置、大小、声源高度等的声源信息而获得的。
搜索模块270利用在声源感测传感器中的每一个感测到的声源的高度信息来生成多个伪平面，并对多个平面进行筛选，并且使由选择的平面获得的高度信息包括在声源简易位置，从而生成三维声源位置信息。在实施例中，搜索模块270校正在计算模块250初步地计算的声源高度信息及声源位置信息。具体地，搜索模块270可以利用在传感器中的每一个感测的声源信息来生成包括声源的位置(x，y)坐标和声源的高度(z)坐标的伪平面，并且对在传感器中的每一个生成的平面进行筛选来校正声源高度信息。在实施例中，在由传感器中的每一个生成的平面中，可以利用作为声源高度信息的z坐标的平均值、中间值、众数或模拟来校正声源高度信息。在实施例中，可以将校正后的信息生成为声源高度信息。
可视化模块290将包括三维声源位置信息、声源高度信息及声源强度信息的声源信息输出到系统主机或者转换为与可视化模板对应的可视化信号及可视化客体并显示。
图3是示出根据实施例的声源可视化装置的更具体的数据处理块的图。
参照图3，根据实施例的计算模块250可以包括声源强度计算部251及声源位置计算部253，搜索模块270可以包括声源高度搜索部271及校正部273，可视化模块290可以包括转换部291、显示部293及声源高度显示部295。
计算模块250的声源强度计算部251掌握在声源感测传感器识别的声源数据及声源信号的大小，并计算与掌握的大小相对应的声源强度等级。例如，声源强度计算部251掌握声源强度并计算与掌握的声源强度相对应的声源强度等级。具体地，可以以使0-50分贝对应于1等级、51-100分贝对应于2等级、101-150分贝对应于3等级的方式计算声源强度等级，并且声源强度等级的范围和间隔可以在设计系统时调整。在实施例中，设定的声源级别中的每一个可以与颜色、照明的亮度(lux)、闪烁频率匹配，从而声源的强度可以通过视觉的方式显示。
声源位置计算部253分析在声源感测传感器中的每一个掌握的声源感测信号在预处理模块中被处理的声源信号，从而计算声源的发生位置及声源移动位置。
搜索模块270的声源高度搜索部271利用计算出的声源位置信息及由声源感测传感器中的每一个感测的声源信息中包括的声源的高度数据来生成表示由声源感测传感器中的每一个识别的声源的高度信息的平面，并且从生成的平面提取信息而掌握声源的高度。
校正部273将搜索到的声源高度信息添加到声源简易位置信息，或者校正生成的声源位置、声源距离、强度及声源高度。
可视化模块290的转换部291将根据预先设定的辐射形等的可视化模板而识别的声源的方向及用户与声源之间的隔开距离转换为与预先设定的可视化模板对应的可视化客体。或者，将校正后的声源信息输出到系统主机。
显示部293将与识别到的声源的强度对应的颜色或光的强度进行匹配，并根据声源的强度而变更可视化的客体的颜色或光的亮度并显示。
声源高度显示部295将掌握的声源高度转换成与可视化模板对应的角度并显示，或者将声源的高度信息与由声源转换的可视化客体一同显示。
图4是示出根据实施例的声源可视化装置的可视化模板的图。
参照图4，在实施例中，声源可视化模板可以构成为辐射形形态。辐射形模板的中心C表示用户位置，可以相对于用户位置的声源位置被相对地计算，并被显示为视觉客体A、B等。
辐射形形态的可视化模板可以将与用户隔开的声源的方向和距离转换为顺时针方向及圆的直径来相对地显示。并且，在实施例中，针对冲击声、摩擦声及特定强度以上的声源可以以冲击显示D可视化，或者将声源的强度与颜色及灯光的闪烁频率等匹配而可视化。在利用根据实施例的辐射形形态的声源可视化模板的情况下，在自动驾驶车辆中，将周围声源信号进行视觉转换，并将声源信息作为视觉信息提供给设置于车辆的主系统或同乘驾驶员，使得驾驶员可以识别通过相机无法识别的周围客体的移动或情况。即，在将根据实施例的声源可视化方法及程序利用在自动驾驶车辆的系统或装置中的情况下，可以与由根据实施例的可视化装置提供的模板分开地输出掌握为声源的周围客体的位置信息。例如，在设置有声源可视化程序的系统中，可以通过系统上已设定的模板输出通过声源信息掌握的周围客体信息，或者输出为语音或视觉信息。
并且，在将根据实施例的声源可视化模板及声源可视化装置设置在老年人运动辅助设备等的情况下，听力相对较弱的老年人可以以视觉方式识别听觉信息，从而预防安全事故。
图5是示出根据实施例的声源信息可视化过程的流程图。
参照图5，在步骤S510中，在声源感测模块通过多个声源感测传感器感测包括周围声音、声源及噪声的声源信号。在步骤S530中，在预处理模块感测到的声源信号中过滤噪声，并放大声源信号。在步骤S550中，计算模块分析预处理后的声源信号而从声源可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置，并掌握用户周围声源强度。在步骤S570中，搜索模块利用在声源感测传感器中的每一个感测到的声源的高度信息来生成包括高度信息的多个伪平面，并对多个平面进行筛选，并且将从选择的平面获得的高度信息应用于声源简易位置来生成三维声源位置信息。在步骤S590中，可视化模块将包括三维声源位置信息、声源高度信息及声源强度信息的声源信息转换为可视化信号并显示。
图6是进一步具体地示出根据实施例的简易声源位置信息的生成及提取信号校正过程的图。
参照图6，在S551步骤中，在计算模块中组合在各个传感器完成预处理之后提取的信号来计算声源强度，并按各个声源生成强度等级。
在步骤S552中，在计算模块利用按传感器提取的声源信号来生成各自的耳间时间差(ITD：Inter-aural Time Difference)。声源时间差(ITD)作为基于声源的位置的到两个传感器的路径差所引起的时间差，是主要有助于感知水平方向声源的位置的数值。在实施例中，由各个传感器中生成针对同一个声源的ITD，使得能够更准确地执行声源与用户之间的距离的计算以及声源方向和声源位置的掌握。
在步骤S553中，在搜索模块中，以从四个声音传感器输入的信号为基准排除关于高度的特性，并假设为相同的水平面而搜索水平面上的方向，从而识别简易位置。
在步骤S554中，利用通过位置搜索而识别的位置来生成包括高度的相同水平面并搜索关于声源的高度。
在S555步骤中，可以利用生成的简易位置和简易高度来造出针对各传感器的平面一致，使得能够提取信号。例如，可以按各个传感器生成平面z坐标，并且通过众数、中间值、平均值等来计算用于使平面一致的声源高度信息。在步骤S557中，从通过平面一致被重建的传感器的位置重建各个传感器的信号而提取信号。在S559步骤中，通过对提取的数据的验证及模拟来校正提取的信号并输出。
图7是进一步详细地示出根据实施例的声源位置信息的生成及校正过程的流程图。
在步骤S575中，在计算模块利用从各个传感器生成的ITD来计算声源位置。
在步骤S577中，在计算模块的高度计算中，利用生成的ITD和位置计算结果来计算声源的高度。
在步骤S579中，利用在各个传感器生成的ITD和计算出的声源的位置及高度信息来计算用户之间的距离。
在步骤S581中，计算模块对在步骤S577的高度计算过程中发生的声源位置信息的误差进行修正，并对在步骤S579的距离计算过程中发生的声源位置与用户之间的误差信息进行修正。误差修正完成后，进入步骤S590，将声源信息转换为可视化客体。
图8是用于更详细地说明根据实施例的误差修正过程的图。
参照图8，在步骤S583中，将在计算模块预处理后被校正而提取的声源信号在校正部进行位置校正为最终信号并输出。
在步骤S585中，在校正部进行高度校正，其中，以通过位置校正识别的位置校正高度计算结果并输出。在步骤S587中，在校正部通过反映位置校正结果和高度校正结果来校正距离，以校正用户与声源之间的距离。在步骤S589中，最终确认在校正部校正的结果并输出结果。
图9a是用于说明根据实施例的声源间距离及位置校正计算过程的图。
参照图9a，在配备于根据实施例的声源可视化装置的声源感测传感器为A、B、C、D，声源为S的情况下，从声源到各个传感器的到达时间和从各个传感器到声源的距离被测量为全部不同。如果按声速为340m/s计算，则可以在各个传感器通过特定声源所到达的时间差来掌握各个传感器与声源之间的距离a、b、c。如果掌握到传感器D和传感器C的ITD，则可以视为距离b和声源S与点p之间的距离相同而计算距离y。由于距离x是已知的数值，所以可以假设y和z构成直角而计算角度θ，进而掌握声源的方向和高度。在图9所示的计算角度θ的方法中，假设声源S隔开无限远的距离并计算角度θ，因此，在实施例中，可以通过声源S与各个传感器之间的距离ITD等指标粗略地计算y和z来计算角度θ，从而掌握声源的方向和高度。并且，在实施例中，在声源高度及位置校正过程中，可以通过再次计算y和z或再次设定y和z而校正角度θ来校正声源的高度和方向。
图9b是用于说明根据实施例的在计算模块计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息在内的声源简易位置的方法的图。
在根据实施例的计算模块250中，声源强度可以通过将来自各个传感器的声源信号相加来检测。例如，计算模块250将四个传感器的信号输出相加或进行比较来判断声源的强度及基本方向，并利用从三个传感器中获得的两个ITD而通过三角法来计算二维简易发生位置、方向及隔开距离，其中，所述三个传感器通过四个传感器中的三个形成直角的图9b的BDC、DCA、CAB或ABD的传感器组合中计算出的声源的强度来选择。在实施例中，移动方向通过在周期性的发生位置的计算中获得的前后位置的比较结果来获得。并且，可以通过将由ITD计算的距离与模块中既定的对角线距离进行比较来简易地计算声源的高度信息，所述ITD从所述传感器的组合中的设置于对角线的两个传感器获得。
并且，在实施例中，搜索模块可以如下所述地获取声源的高度信息。如上文所述，搜索模块也将四个传感器的信号输出相加或进行比较来判断声源的强度及基本方向，并利用从三个传感器中获得的两个ITD而通过三角法来计算二维简易发生位置、方向及隔开距离，其中，所述三个传感器从四个传感器中的三个形成直角的BDC、DCA、CAB或ABD的传感器组合中选择。此时，移动方向通过将在周期性的发生位置的计算中获得的前后位置比较的结果来获得。并且，可以通过将由ITD计算的距离与模块中既定的对角线距离进行比较来简易地计算声源的高度信息，所述ITD从所述传感器的组合中的设置于对角线的两个传感器获得。之后，搜索模块生成多个伪平面，并对生成的多个平面进行筛选，之后利用选择的平面获取高度信息。如图9b所示，在实施例中，ADC、三个传感器生成构成为ADC'的平面，并生成利用选择的平面来获得的高度信息和位置信息。
图10是示出根据实施例的声源信息可视化过程的流程图。
在步骤S591中，根据预先设定的辐射形的可视化模板，将识别到的所述声源的方向及用户与声源之间的隔开距离转换为与预先设定的辐射形的可视化模板对应的可视化客体。
在步骤S593中，将与识别到的声源的强度对应的颜色或光的强度进行匹配，并根据所述声源的强度变更可视化的客体的颜色或光的亮度并显示。
在步骤S595中，将声源的校正后的高度信息与声源转换后的可视化客体一同显示。在实施例中，显示装置不仅可以使用LED，而且可以使用LCD、OLED等。
以上所述的声源可视化装置及方法可以掌握包括声源的高度及位置、强度的多种声源信息，从而通过声源更准确地掌握用户周围的客体存在与否及危险信号。并且，针对声源感测传感器中的每一个生成以三维方式包括声源位置的伪平面，并且使其一致而校正声源高度信息，从而即使在声源不存在于平面的情况下，也可以准确地向用户提供声源高度信息。
并且，在根据实施例的声源可视化装置被提供给听力较弱的用户及老年人的情况下，将声源信号可视化而提供给周围客体及声源信息，使得能够快速地掌握可视化的听觉信息。此外，声源可视化过程可以应用于自动驾驶车辆而用于掌握车辆周围客体。
公开的内容仅为例示，在不脱离权利要求书中请求的权利要求的主旨的情况下，可以由本技术领域中具有通常知识的人员进行多样的变更实施，因此，公开的内容的保护范围并不局限于上述特定的实施例。
产业上的可利用性
在自动驾驶车辆中，通过视觉地转换周围声源信号并将声源信息作为视觉信息提供给系统或同乘驾驶员，使得系统或同乘驾驶员可以掌握基于无法由相机或视觉来识别的周围客体的动作或声音的紧急情况。
并且，针对各个声源感测传感器生成以三维方式表示声源位置的伪平面(Pseudoplane)，并使其一致化来校正声源高度信息，从而即使在声源不存在于平面的情况下，也能够准确地向用户提供声源高度信息。在根据实施例的声源可视化装置被提供给听力较弱的用户及老年人的情况下，听力较弱的人可以通过视觉来掌握声源信号。在将根据实施例的声源可视化装置设置在老年人运动辅助设备等的情况下，听力相对较弱的老年人可以通过视觉来识别听觉信息，从而预防安全事故。

Claims (11)

1.一种声源可视化装置，包括：
声源感测模块，通过多个声源感测传感器来感测包括周围声音、声源及噪声的声源信号；
预处理模块，从感测到的所述声源信号过滤噪声，并放大声源信号；
计算模块，分析预处理后的声源信号而从所述声源可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置；
搜索模块，利用由所述声源感测传感器中的每一个感测的声源的高度信息来生成反映所述高度信息的多个伪平面，并对所述多个平面进行筛选，并且将利用选择的平面获得的信息应用于声源简易位置而生成三维声源位置信息及高度信息；以及
可视化模块，将包括所述三维声源位置信息、声源高度信息及声源强度信息的声源信息输出到预设的系统主机，或者转换为可视化信号并显示。
2.根据权利要求1所述的声源可视化装置，其特征在于，
所述计算模块包括：
声源强度计算部，掌握在声源感测传感器识别的声源数据及声源信号的大小，并且计算与掌握的声源信号的大小相对应的声源强度等级；以及
声源位置计算部，分析在所述声源感测传感器中的每一个掌握的声源感测信号和从预处理模块传递的声源信号而计算声源的发生位置及声源移动方向。
3.根据权利要求1所述的声源可视化装置，其特征在于，
所述搜索模块包括：
声源高度搜索部，利用在所述声源感测传感器中的每一个感测到的声源信息中包括的声源的高度数据来生成作为由声源感测传感器中的每一个识别的声源的高度信息的包括z坐标的伪平面，并对生成的所述平面进行筛选来掌握声源高度。
4.根据权利要求3所述的声源可视化装置，其特征在于，
所述搜索模块还包括：
校正部，校正声源位置、声源距离及声源高度。
5.根据权利要求1所述的声源可视化装置，其特征在于，
所述可视化模块包括：
转换部，根据预设的可视化模板，将识别到的所述声源的方向及用户与声源之间的隔开距离转换为与预设的可视化模板对应的可视化客体；
声源强度显示部，将与识别到的声源的强度对应的颜色或光的强度进行匹配，根据所述声源的强度而变更可视化的客体的颜色或光的亮度并显示；以及
声源高度显示部，将声源的校正后的高度信息与由所述声源转换的可视化客体一同显示。
6.一种声源可视化方法，声源的可视化方法包括如下步骤：
(A)在声源感测模块中通过多个声源感测传感器感测包括周围声音、声源及噪声的声源信号；
(B)从在预处理模块感测到的所述声源信号过滤噪声并放大声源信号；
(C)在计算模块分析预处理后的声源信号而从所述声音可视化装置计算包括声源的隔开距离、方向、声源强度、二维位置及高度信息的声源简易位置；
(D)在搜索模块利用在所述声源感测传感器中的每一个感测到的声源的高度信息来生成应用所述高度信息的多个伪平面，并对所述多个平面进行筛选，并且将从所选择的平面获得的高度信息应用于声源简易位置来生成三维声源位置信息；以及
(E)在可视化模块将包括所述三维声源位置信息、声源高度信息及声源强度信息的声源信息转换为可视化信号并显示。
7.根据权利要求6所述的声源可视化方法，其特征在于，
所述步骤(C)包括如下步骤：
掌握在声源感测传感器识别的声源数据及声源信号的大小，并且计算与掌握的声源信号的大小相对应的声源强度等级；以及
分析在所述声源感测传感器中的每一个掌握的声源感测信号和从预处理模块传递的声源信号而计算声源的发生位置及声源移动位置。
8.根据权利要求6所述的声源可视化方法，其特征在于，
所述步骤(D)包括如下步骤：
利用计算出的所述声源位置信息以及在声源感测传感器中的每一个感测到的声源信息中包括的声源的高度数据来生成反映在声源感测传感器中的每一个识别的声源的高度信息的伪平面，并对生成的所述平面进行筛选，并且汇集提取出的信息来掌握声源高度。
9.根据权利要求6所述的声源可视化方法，其特征在于，
所述步骤(D)还包括如下步骤：
利用提取出的所述声源高度信息来校正声源简易位置信息，并校正声源位置、声源距离、强度及声源高度。
10.根据权利要求6所述的声源可视化方法，其特征在于，
所述步骤(E)包括如下步骤：
根据预设的可视化模板，将识别到的所述声源的方向及用户与声源之间的隔开距离转换为与预设的可视化模板对应的可视化客体；
将与识别到的声源的强度对应的颜色或光的强度进行匹配，根据所述声源的强度变更可视化后的客体的颜色或光的亮度并显示；
将声源的校正后的高度信息与所述声源变更后的可视化客体一同显示。
11.根据权利要求10所述的声源可视化方法，其特征在于，
所述步骤(E)还包括如下步骤：
从设置有声源可视化程序的系统将声源的校正后的高度信息与所述声源变更后的可视化客体一同输出。
CN202080050101.3A 2019-07-10 2020-06-10 声源可视化装置及方法 Pending CN114096874A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0083252 2019-07-10
KR1020190083252A KR102227489B1 (ko) 2019-07-10 2019-07-10 음원 시각화 장치 및 방법
PCT/KR2020/007503 WO2021006491A1 (ko) 2019-07-10 2020-06-10 음원 시각화 장치 및 방법

Publications (1)

Publication Number Publication Date
CN114096874A true CN114096874A (zh) 2022-02-25

Family

ID=74114008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080050101.3A Pending CN114096874A (zh) 2019-07-10 2020-06-10 声源可视化装置及方法

Country Status (4)

Country Link
US (1) US11927682B2 (zh)
KR (1) KR102227489B1 (zh)
CN (1) CN114096874A (zh)
WO (1) WO2021006491A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114279557A (zh) * 2022-03-02 2022-04-05 山东卓朗检测股份有限公司 一种分布式声学检测设备及其检测方法
CN116299181A (zh) * 2023-03-17 2023-06-23 成都理工大学 一种声源三维空间定位系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102579046B1 (ko) * 2021-01-29 2023-09-15 조관희 음악에 기초하여 이미지 패턴을 생성하는 방법 및 이를 운용하는 시스템
CN114018499B (zh) * 2021-09-28 2022-09-09 雅砻江流域水电开发有限公司 一种水电站水车室噪声声源成像方法
KR20230086053A (ko) * 2021-12-08 2023-06-15 주식회사 유에스엔케이 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법
CN115019829A (zh) * 2022-08-09 2022-09-06 中航信移动科技有限公司 用于航班座位显示的数据处理方法、电子设备及存储介质
CN117008056B (zh) * 2023-10-07 2024-01-12 国网浙江省电力有限公司宁波供电公司 一种基于mems确定目标声源的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53140079A (en) * 1977-04-15 1978-12-06 Nippon Hoso Kyokai <Nhk> Automatic recognizing system for moving sound source
KR101014884B1 (ko) 2008-10-08 2011-02-15 충남대학교산학협력단 음악 인식을 통한 로봇의 동작제어장치
WO2014167700A1 (ja) * 2013-04-12 2014-10-16 株式会社日立製作所 移動ロボット、及び、音源位置推定システム
JP6030032B2 (ja) * 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
KR101445367B1 (ko) 2014-04-01 2014-10-02 주식회사 다이나맥스 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
JP6532284B2 (ja) * 2015-05-12 2019-06-19 アルパイン株式会社 音響特性測定装置、方法およびプログラム
KR101645135B1 (ko) * 2015-05-20 2016-08-03 단국대학교 산학협력단 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템
KR101793942B1 (ko) * 2015-11-10 2017-11-06 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법
KR101851360B1 (ko) * 2016-10-10 2018-04-23 동서대학교산학협력단 다채널 스피커 기반 플레이어 적응형 입체사운드 실시간 제공시스템
KR101892028B1 (ko) * 2016-10-26 2018-08-27 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
US10724996B2 (en) * 2017-03-17 2020-07-28 Kabushiki Kaisha Toshiba Position location system, position location method, and non-transitory computer readable storage medium
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置
US10088868B1 (en) * 2018-01-05 2018-10-02 Merry Electronics(Shenzhen) Co., Ltd. Portable electronic device for acustic imaging and operating method for the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114279557A (zh) * 2022-03-02 2022-04-05 山东卓朗检测股份有限公司 一种分布式声学检测设备及其检测方法
CN114279557B (zh) * 2022-03-02 2022-05-17 山东卓朗检测股份有限公司 一种分布式声学检测设备及其检测方法
CN116299181A (zh) * 2023-03-17 2023-06-23 成都理工大学 一种声源三维空间定位系统

Also Published As

Publication number Publication date
US20220357417A1 (en) 2022-11-10
US11927682B2 (en) 2024-03-12
KR20210007218A (ko) 2021-01-20
WO2021006491A1 (ko) 2021-01-14
KR102227489B1 (ko) 2021-03-15

Similar Documents

Publication Publication Date Title
CN114096874A (zh) 声源可视化装置及方法
KR101730321B1 (ko) 운전자 보조 장치 및 그 제어방법
JP4879189B2 (ja) 安全走行支援装置
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
EP3261076A1 (en) Approaching-body warning device for automobile
CN110057441A (zh) 危险噪声的检测
JP6353434B2 (ja) 規制情報報知装置及び方法
KR101687073B1 (ko) 터널 높이 추정 장치 및 터널 높이 추정 방법
JP2009163434A (ja) 緊急退避システム、緊急退避方法
CN109720343B (zh) 车辆控制设备
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
KR20180007412A (ko) 멀티센서 기반의 융합형 물체 감지 장치 및 방법
US11847562B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
KR20150055656A (ko) 차량 충돌 방지 장치 및 그 방법
KR20200076989A (ko) 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
US20210009135A1 (en) Driving support device
EP4152275A1 (en) Vehicle collision detection and driver notification system
JP5082298B2 (ja) 自律移動装置
KR102616203B1 (ko) 차량 후측방 경보 제어장치 및 방법
WO2020090250A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR102219339B1 (ko) 운전 보조 장치 및 이를 이용한 운전 보조 방법
KR102217973B1 (ko) 차로 가이드 장치 및 차로 가이드 방법
EP4357872A1 (en) Information-generating method, information-generating device, and program
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination