CN108226854A - 提供后车的可视化信息的装置和方法 - Google Patents

提供后车的可视化信息的装置和方法 Download PDF

Info

Publication number
CN108226854A
CN108226854A CN201711091333.XA CN201711091333A CN108226854A CN 108226854 A CN108226854 A CN 108226854A CN 201711091333 A CN201711091333 A CN 201711091333A CN 108226854 A CN108226854 A CN 108226854A
Authority
CN
China
Prior art keywords
information
vehicle
sound
target
rear car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711091333.XA
Other languages
English (en)
Other versions
CN108226854B (zh
Inventor
张鈗豪
金在广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN108226854A publication Critical patent/CN108226854A/zh
Application granted granted Critical
Publication of CN108226854B publication Critical patent/CN108226854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/22—
    • B60K35/28—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00—Measuring mechanical or acoustic impedance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20—Position of source determined by a plurality of spaced direction-finders
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • B60K2360/178—
    • B60K2360/179—
    • B60K2360/188—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Abstract

本发明涉及提供后车的可视化信息的装置和方法，其中，提供后车的可视化信息的方法包括：利用由多个麦克风中的每一个所接收的声音信号来计算位于主车后方的声源的位置；将关于位置的信息与在由后方摄像机生成的图像信息上显示的目标进行匹配；显示第一图标，所述第一图标表示在所述图像信息上的目标，其中，所述第一图标包括目标在由位置信息指示的区域内存在的概率的信息。

Description

提供后车的可视化信息的装置和方法
与相关申请的交叉引用
本申请要求2016年12月9日提交的韩国专利申请第10-2016-0167410号的权益，该申请的全部内容通过引用结合于此。
技术领域
本发明涉及提供后车的可视化信息的装置和方法，更具体地，本发明涉及这样的装置和方法：其利用声源跟踪信息来识别在车辆周围行驶的邻车，从而可视地向车辆的驾驶员提供邻车的位置信息。
背景技术
行驶车辆周围会产生各种声音。然而，听力不佳的高龄驾驶员或感官知觉不佳的驾驶员可能不会很快处理驾驶员应该注意的特定声音(例如，喇叭声或警笛声)。此外，由于车辆隔音的发展，即使是有良好听力的人也可能经常难以准确地听到从车辆外部产生的声音。此外，在识别出从车辆后方产生的特定声音的驾驶员向后看以确认声音的情况下，这种行为可能是不安全的。
因此，需要在不妨碍安全驾驶的情况下通知驾驶员有关特定声音的信息，例如，关于在驾驶员的车辆周围产生声音以及产生声音的方向的信息。
除了为驾驶员提供简单的通知信息(例如，关于在车辆周围产生声音以及产生声音的方向的信息)，为了辅助车辆的整体驾驶控制，需要在不妨碍驾驶的情况下，以可视化形式在显示屏上向驾驶员提供听觉信息。具体地，车辆的外部声音可以转换为位于车辆周围的邻车的位置信息，而所转换的位置信息可以采用可视化信息的形式提供给车辆的驾驶员。
相应地，需要这样的详细的方法：该方法在驾驶时使用主车周围产生的声音，以向主车的驾驶员可视地提供位于主车周围的邻车的位置。
发明内容
因此，本发明提供了一种向驾驶员提供后车的可视化信息的装置和方法。
具体地，本发明的目的在于提出一种装置和方法，其通过使用声音跟踪信息来计算车辆周围的后车的位置，并以可视化的方式来向车辆的驾驶员提供计算的位置，从而提供后车的可视化信息的。
通过本发明所能实现的目的并不局限于以上具体描述的内容，通过下文的详细描述，本领域技术人员将更清楚地理解本文未描述的其他技术目的。
为了实现这些目的和其他优点，根据在本文中所实施和概括地描述的本发明的目的，一种提供后车的可视化信息的方法包括：利用由多个麦克风中的每一个所接收的声音信号，通过控制器来计算位于主车后方的声源的位置；通过所述控制器将关于位置的信息(下文称为位置信息)与显示于由后方摄像机生成的图像信息上的至少一个目标中的任一个进行匹配；通过输出单元显示第一图标，该第一图表表示在所述图像信息上的目标，其中，所述第一图标包括关于目标存在于位置信息所指示的区域内的概率的信息(下文称为位置信息)。
根据一个实施方案，该方法可以进一步包括：检测图像信息中包括的车道；通过将所检测到的车道与表示车道信息的第二图标进行匹配来显示所检测的车道。
根据一个实施方案，将所检测到的车道与表示车道信息的第二图标进行匹配可以包括从图像信息所包括的车道中检测位于主车和目标之间的第一车道。
根据一个实施方案，所述位置信息可以包括主车与目标之间的角度的信息(下文称为角度信息)。
根据一个实施方案，角度信息可以是基于作为参考轴线的主车后侧而由主车后侧的中心与目标的连接轴线形成的角度的信息。
根据一个实施方案，所述第一图标可以包括在第一车道上的垂直于第一车道的至少一个子块，所述子块位于连接轴线和第一车道之间的交叉点处。
根据一个实施方案，概率信息可以显示为指示考虑了声音信号的大小的概率的至少一个图形。
根据一个实施方案，概率信息可以显示为指示考虑了主车和目标之间距离的概率的至少一个图形。
根据一个实施方案，所述子块可以根据概率而表示为不同的颜色或不同的颜色深度。
根据一个实施方案，所述子块可以根据概率而具有不同的高度。
在本发明的另一方面，一种提供后车的可视化信息的方法包括：利用由多个麦克风中的每一个所接收的声音信号来计算位于主车后方的声源的位置；将关于位置的信息(在下文中称为位置信息)与关于主车和声源之间的角度的信息(在下文中称为角度信息)进行匹配，并将主车后侧的中心设置为半圆的中心，并且在所述半圆的预定区域上显示声源在由角度信息指示的区域内存在的概率的信息(在下文中，称为概率信息)，其中，所述角度信息是基于作为参考轴线的主车后侧而由声源和主车后侧的中心的连接轴线所形成的角度的信息。
根据一个实施方案，所述半圆可以包含指示概率信息的子半圆，所述子半圆可以包括与所述半圆具有相同中心的层。
根据一个实施方案，所述子半圆根据概率可以具有不同的颜色或不同的颜色深度。
在本发明的另一方面，提供了一种计算机可读记录介质，其中记录有执行上述方法的程序。
在本发明的另一个方面，一种提供后车的可视化信息的装置包括：多个麦克风，其配置为接收来自于位于主车后方的声源的声音信号；控制器，其配置为利用声音信号来计算声源的位置，并且将有关位置的信息(在下文中称为位置信息)与显示于由后方摄像机生成的图像信息上的至少一个目标中的任一个进行匹配；输出单元，其配置为显示第一图标，所述第一图标表示在图像信息上的目标，其中，所述第一图标包括关于目标存在于位置信息所指示的区域内的概率的信息(在下文中称为概率信息)。
根据一个实施方案，所述控制器可以检测在图像信息中包括的车道，所述输出单元可以通过将所检测到的车道与表示车道信息的第二图标进行匹配来显示所检测到的车道。
根据一个实施方案，所述控制器可以从图像信息中所包括的车道中检测位于主车和目标之间的第一车道。
根据一个实施方案，位置信息可以包括关于主车与目标之间的角度的信息(下文中称为角度信息)。
根据一个实施方案，角度信息可以是基于作为参考轴线的主车后侧而由主车后侧的中心与目标的连接轴线所形成的角度的信息。
根据一个实施方案，所述第一图标可以包括在第一车道上的垂直于第一车道的至少一个子块，所述子块位于连接轴线和第一车道之间的交叉点处。
根据一个实施方案，概率信息可以显示为指示考虑了声音信号的大小的概率的至少一个图形。
根据一个实施方案，概率信息可以显示为指示考虑了主车和目标之间距离的概率的至少一个图形。
根据一个实施方案，所述子块可以根据概率而表示为不同的颜色或不同的颜色深度。
根据一个实施方案，所述子块可以根据概率具有不同的高度。
在本发明的另一方面，一种提供后车的可视化信息的装置包括：多个麦克风、控制器和输出单元；所述麦克风配置为接收来自于位于主车后方的声源的声音信号；所述控制器配置为利用所述声音信号来计算所述声源的位置，并且将关于位置的信息(在下文中称为位置信息)与关于主车和声源之间的角度的信息(在下文中称为角度信息)进行匹配；所述输出单元配置为将主车后侧的中心设置为半圆的中心，并且在所述半圆的预定区域上显示声源在由角度信息指示的区域内存在的概率的信息(在下文中称为概率信息)，其中，所述角度信息是基于作为参考轴线的主车后侧而由声源和主车后侧的中心的连接轴线所形成的角度的信息。
根据实施方案，所述半圆可以包含指示概率信息的子半圆，所述子半圆可以包括与所述半圆具有相同中心的层。
根据实施方案，所述子半圆可以根据概率而具有不同的颜色或不同的颜色深度。
应该理解的是，上述一般描述和以下详细描述都是示例性的和解释性的，目的是提供所要求的本发明的进一步解释。
附图说明
所包含的附图用于提供对本发明的进一步理解，并且并入和构成本申请的一部分。附图显示了本发明的实施方案，并与描述结合在一起，以解释本发明的原理。在附图中：
图1是根据本发明的实施方案的车辆的示意图；
图2是图1所示的声音跟踪装置的详细方框图；
图3是显示了图2所示的声音跟踪装置运行的流程图；
图4A和图4B是显示了根据本发明的实施方案的可视地显示后车的声音信号的方法的示意图；
图5是显示了根据本发明的实施方案的作为概率分布的声音跟踪结果的示意图；
图6是显示了将图4A和图4B所示的后方摄像机与摄像机图像进行匹配的方法的示意图；
图7是显示了根据本发明的实施方案的声音跟踪装置的跟踪结果的示意图；
图8是显示了根据本发明的另一实施方案的以3D方式可视地输出声音跟踪结果的方法的示意图；
图9是显示了根据本发明的另一实施方案的以3D方式可视地输出图8的声音跟踪结果的另一方法的示意图；以及
图10是显示了根据本发明的实施方案的使用俯视图的输出声音跟踪结果的方法的示意图。
具体实施方式
应当理解的是，本文中所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆，包括各种舟艇、船舶的船只，航空器等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如，源于非石油能源的燃料)。正如本文所提到的，混合动力车辆是具有两种或更多种动力源的车辆，例如汽油动力和电力动力两者的车辆。
在本文中使用的术语只用于描述具体实施方案，而不意图用于限制本发明。正如本文中所使用的，单数形式“某一个”、“一个”和“该”意图用来同样包括复数形式，除非上下文明确表示不包括复数形式。还将进一步理解当在本明书中使用术语“包括”和/或“包括了”时，指明存在所述特征、整体、步骤、操作、元件和/或部件，但是不排除存在或加入一种或更多种其他的特征、整体、步骤、操作、元件、部件和/或其群体。正如本文所使用的，术语“和/或”包括一种或更多种相关列举项的任何和所有组合。在整个说明书中，除非被明确地描述为相反的含义，否则词语“包括”和例如“包括有”或“包括了”之类的变体将被理解为包括了所描述的元件，但是不排除任何其他元件。此外，说明书中所描述的术语“单元”、“器”、“机”和“模块”表示用于处理至少一个功能和操作的单元，这些单元可以由硬件部件或软件部件和它们的组合来实现。
尽管构成本发明实施方案的所有元件都被描述为单一的或作为单一的来工作，但是本发明并不一定局限于这样的实施方案。根据实施方案，在本发明的目的和范围内，所有元件都可以选择性地结合为一个或更多个，以及作为一个或更多个来工作。每个元件都可以作为独立的硬件来实施。或者，一些或全部的元件可以选择性地合并到计算机程序中，所述计算机程序具有结合为一个或更多个硬件的执行一些或所有的功能的程序模块。构成计算机程序的代码和代码段可以很容易地由本发明所属技术领域的技术人员来推理。计算机程序可以存储在计算机可读介质中，从而计算机程序被计算机读取和执行以实施本发明实施方案。计算机程序存储介质可以包括磁性记录介质、光学记录介质和载波介质。
在描述实施方案时，当元件被称为“上(上方)”或“下(下方)”，“之前(前方)”或“之后(后方)”时，这包括以下含义：两个元件直接接触彼此，或一个或更多个其他元件布置在这两个元件之间。
此外，在描述本发明的部件时，使用例如第一、第二、A、B、(a)和(b)的术语。这些仅仅是为了将部件与另一部件区分开来，而本领域普通技术人员可以理解，这些术语并不意味着或暗示部件的物质、顺序或次序。如果部件被描述为“连接”、“联接”或“联结”至另一部件，那么本领域技术人员可以理解，部件不一定是直接地“连接”、“联接”或“联结”，也可以是通过第三部件间接地“连接”、“联接”或“联结”。
此外，在本文中所公开的实施方案的以下描述中，当可能使在本文中所公开的实施方案的主题内容变得不清楚时，将会省略对相关已知技术的详细描述。
图1是根据本发明的实施方案的车辆的示意图。
参照图1，当根据驾驶员的操作而行驶时，车辆10可以告知车辆10的驾驶员特定声音的信息，例如，在车辆10周围产生的声音以及声音产生的方向。
车辆10可以包括多通道麦克风50和声音跟踪装置100；多通道麦克风50能够收集车辆10的外部声音；声音跟踪装置100能够基于麦克风50所收集的声音信息来生成关于特定声音的信息。多通道麦克风50的每一个都可以理解为一个通道。多通道麦克风50的数量(例如，2或3)和麦克风50在车辆10上的安装位置并不局限于图1所示的示例。
如图1所示，如果有两个多通道麦克风50，则在除了声音跟踪装置100的后方区域(在180到360度的范围内)外不需要对声音跟踪装置100的前方区域(在0到180度的范围内)进行邻车的声音检测的情况下，假设多通道麦克风50所收集的声音信息被用于生成对声音跟踪装置100的后车检测区域(在180到360度的范围内)的声音跟踪结果。
多通道麦克风50的数量和麦克风50在车辆10上的安装位置并不局限于图1所示的示例。
随后将参照图2对声音跟踪装置100的详细操作进行描述。
图2是图1所示的声音跟踪装置的详细方框图。
参照图2，声音跟踪装置100可以包括信号处理器110、数据存储单元120、声音识别单元130、声音跟踪单元140、三维(3D)信息生成器150和通知生成器160。为车辆设计的声音跟踪装置100可以实施为车辆10的头部单元的一部分。但是，本发明的范围并不局限于此。
多通道麦克风50可以感测在车辆10周围产生的声音，通过模拟数字转换来生成声音数据，以及将声音数据发送至信号处理器110。
在车辆10的附近有各种声音。例如，位于车辆10周围的其他车辆的发动机声或轮胎摩擦声，交通信号灯、电子显示屏等生成的声音以及自然的声音。
在驾驶期间，驾驶员希望知道在车辆10的前方或侧方不能看到的、在车辆10的左后侧或右后侧或在车辆10的后侧行驶的车辆的状态(例如，所述车辆是否想要通过车辆10)，也希望知道该车辆的相对位置。
一些外部声音由于被车辆10的隔音系统所阻隔而没有传递给驾驶员。当听到车辆10外面的喇叭声时，驾驶员希望知道这个喇叭声是哪个方向产生的、以及喇叭声是否指向驾驶员的车辆10。基于驾驶员是否识别到喇叭声，驾驶员可以采取各种措施，例如包括：使车辆减速、改变车道和使用应急灯。
由于车辆10的音响系统的音量太高，驾驶员可能听不到喇叭声。在这种情况下，需要以可视方式或通过车辆10的音响系统来通知驾驶员这样的事实：在驾驶员的车辆10周围出现了喇叭声。
驾驶员可能对其他声音感兴趣，例如，在车辆突然停车时由轮胎和地面之间摩擦所产生的大摩擦声。这种摩擦声可能有关于交通事故的发生或交通事故前一刻的情况，因此驾驶员需要注意驾驶。另一示例是，在由车辆之间发生碰撞所引起的事故时发生的碰撞声。如果向识别到车辆10的前方或侧方产生的碰撞声的驾驶员提供碰撞声产生的方向的信息，则可能避免随后的事故。
如果在车辆10附近的警车或救护车上响起警笛，驾驶员应该采取措施，例如改变车道，以使得警车或救护车可以通过。在具体情况下，驾驶员可能会由于没有采取必要措施而受到法律惩处。因此，驾驶员需要识别属于公共组织的车辆所产生的警笛声。
信号处理器110可以对所获取的声音数据进行噪声过滤。通过噪声过滤，可以去除不能用于识别声音的特征或来源的各种噪声。驾驶员所感兴趣的大多数声音(例如喇叭声、警笛声、轮胎摩擦声和碰撞声)具有足够高的分贝水平(例如，70dB或更高)。因此，信号处理器110可以确定已去除噪声的声音数据的分贝水平(即，大小)是否等于或高于参考值。也就是说，其大小小于参考值的声音数据可以由信号处理器10去除。
数据存储单元120可以存储已去除噪声的声音数据。数据存储单元120可以在帧的基础上存储声音数据，并在帧的基础上向声音识别单元130提供声音数据。在本文中，帧可以表示同时收集的声音数据。帧之间的间隔可以具有特定的期间(例如，40ms或100ms)，但本发明的范围并不局限于此。
声音识别单元130识别声音数据的特征。即使当任何声音数据的分贝水平高于参考值时，这样的声音数据对于驾驶员来说可能并不重要。例如，火车经过时产生的声音或在机场周围的飞机噪声尽管具有相当高的分贝水平，但是对驾驶的影响可能并不大。在道路的修复或重建期间所产生的噪声也不会对驾驶产生很大的影响。相反，持续地通知驾驶员这种噪声的声音数据可能会减慢驾驶员的反应速度，或者可能导致驾驶员对驾驶员应该识别的情况没有反应。
声音识别单元130在时域和频域中从所接收的来自数据存储单元120的声音数据中提取特征值。声音识别单元130可以将特征值的均值和方差建立为数据库。特征值可以是梅尔频率倒谱系数(MFCC)、总频谱功率、子带频谱功率和/或基频的值。声音识别单元130可以在数据库中存储预定时间段内(例如，100ms)的帧的声音数据的均值和方差。
在声音信号处理的领域，基于频域内的非线性梅尔尺度上的对数功率谱的余弦变换，梅尔频率倒谱(MFC)表示信号的短期功率谱。MFCC是共同组成MFC的系数。通过对短期语音数据(信号)应用预加重滤波、对预加重滤波后的语音数据进行离散傅里叶变换(DFT)、使用梅尔尺度滤波器组来生成功率谱、对各个梅尔尺度功率取对数、并在对数梅尔尺度功率上进行离散余弦变换(DCT)，可以获得MFCC。
总功率谱表示在预定的帧持续时间内的总谱的能量分布。一般情况下，子带功率表示频谱在四个子带间隔内(例如[0，1/8f0]，[1/8f0，1/4f0]，[1/4f0，1/2f0]，和[1/2f0，f0])的能量分布值。通过检测归一化自相关函数的峰值，可以获取基频。
通过经由分类器来对所获取的声音数据的特征值进行分类，声音识别单元130可以确定所获取的声音数据是否是用户感兴趣的声音。分类器可以是神经网络(NN)分类器、支持向量机(SVM)分类器和贝叶斯分类器中的一种。
在本说明书中，将通过描述NN分类器来对分类器进行举例说明。
声音识别单元130的分类器可以根据声音的类型来将声音分成多个类别，并基于所获取的声音数据和多个类别之间的相似度，通过使用声音数据的特征值来计算置信度。也就是说，置信度可以表示声音数据对应于特定类别的声音的概率。置信度的总和可以是1。
由声音识别单元130的分类器产生的声音分类的结果可以包括有关各个类别的信息、对应于各个类别的声音类型以及对应于各个类别的置信度。
声音识别单元130可以根据置信度是否等于或高于参考值(例如，0.7)来生成确定结果，并且在声音分类结果中包括确定结果。也就是说，如果置信度等于或高于参考值，那么声音识别单元130可以将对应于置信度的类别的声音类型确定为当前声音数据的类型。
相应地，声音识别单元130可以通过分析声音数据的特征来生成声音分类结果，所述声音分类结果是对应于声音数据的声音类型的信息。
基于置信度等于或高于参考值的类别的声音类型(或目标声源)的声音数据，声音跟踪单元140可以跟踪产生声音的方向。声音类型可以由声音识别单元130来提供。
声音跟踪140单元可以积累对应于连续帧的声音数据，从而基于声音的时域特征(波形)来识别各个麦克风输入的声音的同一性、比较相同声音的大小、以及计算到达各个麦克风的声音的到达时间的差值。时域特征可以由声音识别单元130来提供。
声音的大小与到源的距离的平方成反比。因此，当到声音所产生的位置的距离加倍时，声音的大小就会减少到1/4(大约6分贝)。假设典型车辆的宽度和长度分别为大约2m和3m，那么基于声音生成的点的位置，所感测的声音的大小的差值可以具有足够有意义的值。
例如，当多通道麦克风50布置为如图1中所示，并且声音在车辆的右上侧产生时，由位于车辆上侧的麦克风所感测到的声音的大小高于位于车辆的左下侧和右下侧的麦克风所感测到的声音大小的平均值。此外，由位于右下侧的麦克风所感测到的声音大小高于位于车辆的左下侧的麦克风所感测到的声音大小。
通过使用从各个麦克风收集的声音大小，这些属性被用于基于车辆10的中心位置来跟踪大致方向。
此外，可以利用声音到达各个麦克风的到达时间之间的差值(信号延迟)来计算对应于产生声音的位置的角度。声音跟踪单元140预存储有对角度(对应于产生声音的位置)和信号延迟(对应于每个麦克风)进行映射的图表。例如，当有三个多通道麦克风50时，t1(对应于第一麦克风的信号延迟)、t2(对应于第二麦克风的信号延迟)和t3(对应于第三麦克风的信号延迟)被映射至表格中一度的角度，并且通过将信号延迟t1、t2和t3应用至存储在数据存储单元120中的各个麦克风的声音数据，可以计算跟踪目标在一度的角度存在的概率，然后对应用结果求和。如图1所示，当存在两个多通道麦克风50时，对应于各个麦克风的信号延迟可以被映射为对应于在表中180到360度的范围内产生声音的位置的角度。通过将信号延迟t1和t2应用于存储在数据存储单元120中的各个麦克风的声音数据，然后对应用结果求和，可以计算出跟踪目标在一度的角度存在的概率。
也就是说，通过将所有角度的延迟值应用至当前信号，可以得到被跟踪的目标在每个角度存在的概率。因此，可以估计产生声音的位置。这可以实现的原因是：对应于产生声音的位置的角度与对应于各个麦克风的信号延迟的组合一一对应。
通过利用上述信息，声音跟踪单元140可以在随时间的每个连续帧上产生每个角度(基于车辆10的中心或车辆10后部的中心)的声音跟踪结果。
换句话说，作为实施方案，声音跟踪结果可以被表示为车辆10后部的中心和邻车之间的角度。在车辆10后部的中心和声源之间的角度可以定义为声源跟踪角值，而声源跟踪角值可以认为是声音跟踪结果。
声音跟踪结果可以是这样的信息：在随时间的每个连续帧上，关于对应于目标声源的目标在每个角度存在的概率。
在本说明书中，假设目标源限于车辆轮胎的摩擦声。因此，声音跟踪结果可以是这样的信息：在随时间的每个连续帧上，关于对应于轮胎摩擦声的在目标(车辆10)(以下称为“主车”)周围行驶的车辆(以下称为“邻车”)在每个角度存在的概率。
基于到达各个麦克风的声音的到达时间的差值，3D信息生成器150可以产生目标声源存在位置的3D坐标。3D坐标表示在以多通道麦克风的任一个为中心的空间坐标系统上的坐标。同时，3D信息生成器150可以不计算目标声源的3D坐标，不需要关于目标声源的3D坐标的通知，并且可以不进行通知。
3D信息生成器150可以利用声源所在位置的3D坐标来生成关于主车与邻车之间的角度的信息。关于角度的信息可以是这样的信息：基于将主车后侧作为参考轴线，由邻车和主车后侧的中心的连接轴线所形成的角度。
通知生成器160可以基于目标源的3D坐标来生成关于目标声源的信息(例如，位置、速度和角度)。通过将目标声源的3D坐标与由声音跟踪装置100的外部装置(例如，后方摄像机)来拍摄的图像进行匹配，通知生成器160可以生成合成图像。
基于由声音跟踪装置100所提供的关于邻车的信息，通知输出单元200为驾驶员提供关于目标声源的信息。通知输出单元200可以在视觉上或听觉上提供关于目标声源的信息。通知单元200还可以用视觉和听觉两种方法来提供信息。
通知输出单元200可以由平视显示器(HUD)或车辆10上安装的组合仪表来实施，从而可视地提供关于声音生成区域的信息。通知输出单元200也可以在通过有线通信(例如，控制器局域网(CAN总线))连接至声音跟踪装置100的导航系统中实施，或者在通过短程无线通信(例如，蓝牙、NFC或Wi-Fi等)连接至声音跟踪装置100的智能装置(智能手机、平板电脑、智能手表等)中实施。
通知生成器160可以采集来自后方摄像机的图像，并通过以下方式来生成合成图像：将至少一个目标声源的位置图标与考虑了后方摄像机的位置、图像拍摄方向、视野(FOV)和多通道麦克风50之间的3D位置差的图像进行匹配和合成。
作为声音跟踪结果，在一帧中可以存在多个目标声源。声音跟踪装置100可以进行用于独立跟踪每个目标声源的操作。
基于声音跟踪装置100所提供的邻车的信息，通知输出单元200为驾驶员提供关于目标声源的信息。具体地，通过在显示器上生成可视图像，通知输出单元200可以为驾驶员提供能够从后方摄像机的图像直观地识别出目标声源的位置的屏幕。
换句话说，声音跟踪装置100可以将目标声源的3D坐标与后方摄像机的图像进行合成，然后显示合成图像，从而驾驶员可以从后方摄像机的图像直观地识别出目标声源的位置。
图3是显示了图2所示的声音跟踪装置的操作的流程图。参照图3，显示了图2所示的声音跟踪装置100的操作，即，提供声音跟踪信息的方法。
信号处理器110可以接收通过对所感测的车辆10周围产生的声音进行模数转换来生成的声音数据(S310)。
信号处理器110可以对所接收的声音数据进行噪声过滤，数据存储单元120可以存储已去除噪声的声音数据(S320)。
声音识别单元130可以在时域和频域中提取从数据存储单元120接收的声音数据的特征值，并通过经由分类器对特征值进行分类来生成声音分类结果(S330)。
声音跟踪单元140可以生成声音跟踪结果，所述声音跟踪结果是这样的信息：基于随时间的每个连续帧中的声音数据，对于每个角度所提供的、在声音分类结果中与置信度等于或高于参考值的声音类别的类型相对应的目标的存在概率(S340)。
3D信息生成器150可以基于声音跟踪结果来生成目标声源所在位置的3D坐标(S350)。
通知生成器160可视地生成声音信息(S360)。
下文将参照图4A至图9介绍以下详细方法：将基于声源跟踪结果的指示目标声源所在位置的3D坐标作为可视化信息而提供给驾驶员。
图4A和图4B是显示了根据本发明的实施方案的可视地显示后车的声音信号的方法的示意图。
参照图4A，主车可以包括安装在主车后侧的后方摄像机。在车辆行驶时，后方摄像机可以连续提供车辆后侧的图像，或者仅在特定情况下提供车辆后侧的图像。
例如，当判断出主车改变车道时(例如，当转向信号灯打开时或当方向盘的转向角的变化值超过阈值时)，可以向驾驶员提供由后方摄像机拍摄的图像。
随着没有安装侧视镜的无镜车辆的出现，在车辆行驶时，后方摄像机可以连续为驾驶员提供通过拍摄车辆的后方情况所获取的图像。
虽然后方摄像机可以与盲点检测(BSD)系统链接运行，但后方摄像机可以独立于BSD系统而连续拍摄车辆的后侧或左后侧或右后侧的图像，并将所拍摄的图像提供给驾驶员。
与此同时，如图4A所示，仅通过后方摄像机所生成的图像信息，驾驶员可能难以识别出邻车的位置。也就是说，仅通过图像信息，驾驶员可能难以识别出主车和邻车之间的距离。此外，如果在后方摄像机的镜头上形成了水滴，或者如果在后方摄像机里有异物，则可能难以读取图像信息。此外，在夜间或恶劣天气中，后方摄像机的图像可能不可见。
在这种情况下，本发明是设计用于以下目的：通过使用除了后方摄像机所拍摄的图像之外的声音信号，向驾驶员可视地提供邻车的位置信息，从而提高能见度，从而帮助驾驶员做出决定，例如，是否改变车道。
参照图4B，表示车辆(目标)的图标(第一图标)被显示在由后方摄像机所拍摄到的图像信息上显示的目标上。第一图标可以表示位于主车周围，具体地，位于主车的后侧的邻车。
可以根据来自邻车产生的声音信号的声音跟踪结果所生成的位置信息来显示第一图标。第一图标可以包括概率信息，所述概率信息指示邻车存在于位置信息指示的区域内的概率。
例如，如图4B所示，在邻车所显示的区域中，可以显示具有不同颜色或不同颜色深度的多个区块。当颜色深度较深时，在基于声源跟踪结果所生成的指示目标声源所在位置的位置信息的区域中存在邻车的概率较高。
通过附加图标(第二图标)，邻车所在的车道可以与邻车一起显示在图像信息上。
通过有助于驾驶员进行整体车辆控制(例如改变车道)的图像信息，可以向驾驶员提供表示邻车的第一图标和表示车道的第二图标，所述第一图标中包括概率信息。
图5是显示了根据本发明的实施方案的作为概率分布的声音跟踪结果的示意图。
参照图5，可以在X轴上指示主车的后侧的参考轴线，可以在Y轴上指示作为概率信息的从邻车接收到的声音信号所产生的声音跟踪结果。声音跟踪结果可以是这样的信息：在每个实时的连续帧中，对应于目标声源的目标相对于每个角度存在的概率。
通知输出单元200可以根据邻车存在的概率分布而将声音跟踪结果与颜色进行匹配。通知输出单元200可以配置为，根据概率分布的大小而将具有高概率的跟踪模式的角度与深颜色进行匹配。
在大约40度的角度存在邻车的概率接近1，而在大约140度的角度存在邻车的概率接近0.7。为了向驾驶员可视地提供车辆存在的概率，概率是1到0.8的声源跟踪度可以显示为红色，概率是0.8到0.6的声源跟踪度可以显示为黄色，概率是0.6到0.4的声源跟踪度可以显示为绿色。
尽管可以根据颜色来显示邻车位于声源跟踪角度的概率，但是根据另一实施方案，可以根据同一颜色的深度来显示概率。驾驶员可以根据角度直观地识别出存在邻车的概率，因此可以很容易地对整体驾驶控制做出决定，例如，确定是否要改变车道。
图6是显示了将图4A和图4B所示的后方摄像机与摄像机图像进行匹配的方法的示意图，图7是显示了根据本发明的实施方案的声音跟踪装置的跟踪结果的示意图。
图7的声音跟踪结果可以用于图6的匹配方法。因此，将参照图6和图7对匹配方法进行描述。
参照图6，基于检测到的车道信息和/或邻车的声源跟踪结果(声源跟踪角度值)，可以通过的像素匹配来显示与后方摄像机(例如，无镜车辆的摄像机)所拍摄到的图像信息一起显示的图标。换句话说，可以通过将显示屏上的像素和声源跟踪角度之间进行匹配来显示根据对应于角度值的声音大小的颜色。
通知输出单元200可以从后方摄像机的图像信息中提取车道信息。通知输出单元200可以从显示于图像信息的多个车道中只提取位于主车和邻车(目标)之间的车道(S610)。
通知输出单元200可以利用已识别的邻车的侧车道(即，在主车和邻车之间的车道)来计算主车与邻车之间的角度(S620)。
关于角度的信息可以设置为这样的信息：基于作为参考轴线的主车的后侧，由邻车和主车后侧的中心的连接轴线所形成的角度。
该角度可以由根据声音跟踪结果的位置信息来确定。与此相关，参照图7，根据时间的邻车位置可以表示为关于主车和邻车之间的角度的信息。
图7显示了关于邻车与主车之间的基于主车后侧的0到180度的角度的信息。图7可以显示作为声源跟踪结果的关于邻车存在的概率的信息。在图7中，在由高浓度指示的两个区域中，邻车存在的概率高。声源有很大的概率产生于基于主车后侧的220度和300度的角度。
通知输出单元200可以使用声源所在的声源跟踪角度计算所包括的角度，并在主车和邻车之间的车道(第一车道)上显示所述角度(S630)。
通知输出单元200可以在第一车道上显示垂直于第一车道的至少一个子块，所述子块位于第一车道与主车和邻车的连接轴线之间的交叉点处(S640)。
可以使用不同的颜色或颜色深度来显示子块，以在根据声源跟踪结果所生成的位置信息中指示关于存在邻车的概率的信息(S650)。
如图5的声源跟踪结果，邻车存在的概率高的区域的子块的颜色可以显示为红色，概率低的区域的子块的颜色可以显示为绿色。
图8是显示了根据本发明的另一实施方案的以3D方式可视地输出声音跟踪结果的方法的示意图，图9是显示了根据本发明的另一实施方案的以3D方式可视化地输出声音跟踪结果的另一方法的示意图。图9的方法与图8的方法相似。将参考图8和图9对该方法进行描述。
通知输出单元200可以显示在由根据声源跟踪结果所生成的位置信息所指示的区域中存在邻车的概率的信息。图6所示，通知输出单元200可以在平面上显示概率信息，如图8和图9所示，通知输出单元200可以以3D方式显示概率信息。
通知输出单元200可以通过堆叠子块来显示概率信息，以作为将对应于声源跟踪角度值的图像信息的位置区域中的概率信息可视化的方法。针对于声源跟踪角度，对于邻车存在的概率高的角度，通知输出单元200可以堆叠高子块，并且根据子块高度来区别地显示不同的颜色。
此外，通知输出单元200可以在频域和时域中计算声源的特征，并基于声音信号的分析结果来显示关于邻车的类型的信息。
尽管没有在图8中显示，但是通知输出单元200可以识别出异常的轮胎摩擦声(例如，在车辆事故中，可以在突然停车时生成的轮胎摩擦声)和碰撞声。当接收到对应于摩擦音或碰撞声的声音信号时，通知输出单元200可以生成表示摩擦声或碰撞声的图标，并给予驾驶员警告。
参照图9，当邻车发出喇叭声时，通知输出单元200可以分析喇叭声的声音信号，并且在确定出声音信号是喇叭信号时，显示表示喇叭声的图标。
图10是显示了根据本发明的实施方案的使用俯视图的输出声音跟踪结果的方法的示意图。
参照图10，可以向司机提供显示为俯视图的声音跟踪结果。
图5的概率分布可以将主车的后侧(集中于主车后侧的中心)匹配为半圆的中心。通过与主车后侧的半圆区域进行匹配，通知输出单元200可以显示图5的概率分布。
通知输出单元200可以包括多个显示器。作为实施方案，通知输出单元200可以在车辆的AVN系统中包括的显示器、独立无镜摄像机输出单元以及在HUD或组合仪表中包括的显示器的至少一个处为驾驶员可视地提供声源跟踪结果。
通过识别显示为红色的在大约40度的角度区域，驾驶员可以认识到这样事实：邻车在基于主车后侧的中心的大约40度处存在的概率较高。通过在大约140度的角度处显示为橙色的区域，驾驶员还可以确定另一车辆可以存在于识别为大约140度的角度的区域。
根据本发明的提供后车的可视化信息的装置和方法具有以下效果。
第一，通过将车辆的外部听觉信息转化为可视化信息并向车辆的驾驶员提供该可视化信息，本发明可以帮助驾驶员直观地识别邻车。
第二，在后方摄像机的图像并不清晰的情况下(例如，在夜晚或在恶劣的天气里)，本发明可以通过向驾驶员提供除了听觉信息之外的可视化信息来提高驾驶员的可视性。
第三，本发明可以提供关于邻车类型的信息以及邻车的位置信息，并显示关于声音的信息(例如，喇叭声)以及关于车辆的信息。
第四，通过一起显示车辆和邻车所在的车道的信息以及关于邻车位置的信息，本发明可以帮助驾驶员决定是否改变车道。
第五，本发明甚至可以向听不到外部声音的驾驶员可视地提供车辆周围的声音信息。
本领域技术人员将理解通过本发明所能达到的效果并不局限于以上具体描述的内容，而从以上详细描述，本文未描述的其他优点将更清楚地被理解。
根据上述实施方案的方法可以实施为可以在计算机可读的媒介中记录的计算机可执行程序。计算机可读介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘、光学数据存储器和载波(例如，通过互联网的数据传输)。
计算机可读记录介质可以分布在连接至网络的计算机系统上，从而计算机可读代码以分散的方式被写到计算机可读记录介质和从计算机可读记录介质执行。实现上述方法所需的功能性程序、代码和代码段可以很容易地由本领域编程人员得到。
本领域技术人员可以理解，不使用在本文中所述的那些形式，本发明可以以其他特定的形式来实施，而不会背离本发明的精神和基本特征。
因此，以上详细描述将在所有方面都应理解为说明性而非限制性。本发明的范围应由对所附权利要求的合理解释而确定，并且在本发明等价范围内的所有变更都在本发明范围之内。

Claims (20)

1.一种提供后车的可视化信息的方法，该方法包括：
利用由多个麦克风中的每一个所接收的声音信号，通过控制器来计算位于主车后方的声源的位置；
通过所述控制器将关于位置的信息与显示于由后方摄像机生成的图像信息上的至少一个目标中的任一个进行匹配；
通过输出单元显示第一图标，所述第一图表表示在所述图像信息上的目标，
其中，所述第一图标包括关于目标存在于位置信息所指示的区域内的概率的信息。
2.根据权利要求1所述的提供后车的可视化信息的方法，其进一步包括：
检测图像信息中包括的车道；
通过将所检测到的车道与表示车道信息的第二图标进行匹配来显示所检测的车道。
3.根据权利要求2所述的提供后车的可视化信息的方法，其中，将所检测到的车道与表示车道信息的第二图表进行匹配包括从图像信息所包括的车道中检测位于主车和目标之间的第一车道。
4.根据权利要求3所述的提供后车的可视化信息的方法，其中，所述位置信息包括主车与目标之间的角度的信息。
5.根据权利要求4所述的提供后车的可视化信息的方法，其中，角度信息是基于作为参考轴线的主车后侧而由主车后侧的中心与目标的连接轴线形成的角度的信息。
6.根据权利要求5所述的提供后车的可视化信息的方法，其中，所述第一图标包括在第一车道上的垂直于第一车道的至少一个子块，所述子块位于连接轴线和第一车道之间的交叉点处。
7.根据权利要求5所述的提供后车的可视化信息的方法，其中，概率信息显示为至少一个图形，该至少一个图形指示考虑了声音信号的大小的概率。
8.根据权利要求5所述的提供后车的可视化信息的方法，其中，概率信息显示为指示考虑了主车和目标之间距离的概率的至少一个图形。
9.根据权利要求6所述的提供后车的可视化信息的方法，其中，所述子块根据概率而表示为不同的颜色或不同的颜色深度。
10.根据权利要求6所述的提供后车的可视化信息的方法，其中，所述子块根据概率而具有不同的高度。
11.一种提供后车的可视化信息的装置，该装置包括：
多个麦克风，其配置为接收来自于位于主车后方的声源的声音信号；
控制器，其配置为利用声音信号来计算声源的位置，并且将有关位置的信息与显示于由后方摄像机生成的图像信息上的至少一个目标中的任一个进行匹配；
输出单元，其配置为显示第一图标，所述第一图标表示在图像信息上的目标，
其中，所述第一图标包括关于目标存在于位置信息所指示的区域内的概率的信息。
12.根据权利要求11所述的提供后车的可视化信息的装置，其中，所述控制器检测在图像信息中包括的车道，所述输出单元通过将所检测到的车道与表示车道信息的第二图标进行匹配来显示所检测到的车道。
13.根据权利要求12所述的提供后车的可视化信息的装置，其中，所述控制器从图像信息中所包括的车道中检测位于主车和目标之间的第一车道。
14.根据权利要求13所述的提供后车的可视化信息的装置，其中，位置信息包括关于主车与目标之间的角度的信息。
15.根据权利要求14所述的提供后车的可视化信息的装置，其中，角度的信息是基于作为参考轴线的主车后侧而由主车后侧的中心与目标的连接轴线所形成的角度的信息。
16.根据权利要求15所述的提供后车的可视化信息的装置，其中，所述第一图标包括在第一车道上的垂直于第一车道的至少一个子块，所述子块位于连接轴线和第一车道之间的交叉点处。
17.根据权利要求15所述的提供后车的可视化信息的装置，其中，概率信息显示为指示考虑了声音信号的大小的概率的至少一个图形。
18.根据权利要求15所述的提供后车的可视化信息的装置，其中，概率信息显示为指示考虑了主车和目标之间距离的概率的至少一个图形。
19.根据权利要求16所述的提供后车的可视化信息的装置，其中，所述子块根据概率而表示为不同的颜色或不同的颜色深度。
20.根据权利要求16所述的提供后车的可视化信息的装置，其中，所述子块根据概率具有不同的高度。
CN201711091333.XA 2016-12-09 2017-11-08 提供后车的可视化信息的装置和方法 Active CN108226854B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0167410 2016-12-09
KR1020160167410A KR20180066509A (ko) 2016-12-09 2016-12-09 후방 차량의 시각화 정보 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
CN108226854A true CN108226854A (zh) 2018-06-29
CN108226854B CN108226854B (zh) 2023-09-08

Family

ID=62489338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711091333.XA Active CN108226854B (zh) 2016-12-09 2017-11-08 提供后车的可视化信息的装置和方法

Country Status (3)

Country Link
US (1) US10607488B2 (zh)
KR (1) KR20180066509A (zh)
CN (1) CN108226854B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113752945A (zh) * 2020-05-19 2021-12-07 丰田自动车株式会社 车载显示系统
CN113932912A (zh) * 2021-10-13 2022-01-14 国网湖南省电力有限公司 一种变电站噪声抗干扰估计方法、系统及介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018210488B4 (de) * 2018-06-27 2020-01-09 Zf Friedrichshafen Ag Dachfinne für ein Fahrzeug zur Erfassung von Umgebungsgeräuschen, Fahrzeug mit einer derartigen Dachfinne, Bausatz für eine an einem Fahrzeug nachrüstbare Dachfinne und Verfahren zum Herstellen einer Dachfinne
CN109032696A (zh) * 2018-07-17 2018-12-18 掌阅科技股份有限公司 一种页面调起方法、终端及计算机存储介质
US10970899B2 (en) * 2018-10-23 2021-04-06 International Business Machines Corporation Augmented reality display for a vehicle
CN109741609B (zh) * 2019-02-25 2021-05-04 南京理工大学 一种基于麦克风阵列的机动车鸣笛声监测方法
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
KR102208421B1 (ko) * 2019-08-01 2021-01-27 숙명여자대학교산학협력단 청각장애인을 위한 자동차 안전운행 지원방법 및 그 전자장치
US11957985B2 (en) 2020-07-27 2024-04-16 Vetnos Llc Platform for enhanced chance-based games with fixed odds payouts
KR102603896B1 (ko) * 2021-07-05 2023-11-17 대구대학교 산학협력단 차량 외부 음원의 시각화 방법
GB2611559A (en) * 2021-10-08 2023-04-12 Virtual Vehicle Res Gmbh Method and device to detect traffic hazards based on sound events

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257323A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 運転支援装置、運転支援装置を搭載した自動車、および運転支援方法
JP2009164932A (ja) * 2008-01-08 2009-07-23 Pioneer Electronic Corp 受信装置、受信制御方法、受信制御プログラム及び記録媒体
JP2009281814A (ja) * 2008-05-21 2009-12-03 Denso Corp ナビゲーション装置およびナビゲーション装置用のプログラム
WO2010035434A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 死角車両検出装置及びその方法
WO2011007484A1 (ja) * 2009-07-17 2011-01-20 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011122854A (ja) * 2009-12-08 2011-06-23 Takahiro Yamashita 音の到来方向判定システム及びプログラム
WO2012160590A1 (ja) * 2011-05-20 2012-11-29 本田技研工業株式会社 車線変更支援情報可視化システム
US20140278045A1 (en) * 2013-03-15 2014-09-18 Industrial Technology Research Institute Assistance system and generation method of dynamic driving information
US20140320637A1 (en) * 2013-04-29 2014-10-30 Intellectual Discovery Co., Ltd. Vehicular image processing apparatus and method of providing information using the vehicular image processing apparatus
CN104252706A (zh) * 2013-06-27 2014-12-31 株式会社理光 特定平面的检测方法和系统
JP2015022453A (ja) * 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
US20150221321A1 (en) * 2014-02-06 2015-08-06 OtoSense, Inc. Systems and methods for identifying a sound event
WO2015197237A1 (en) * 2014-06-27 2015-12-30 Connaught Electronics Ltd. Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250315B2 (en) * 2009-03-04 2016-02-02 Toyota Motor Engineering & Manufacturing North America, Inc. Collision avoidance system and method
EP2473871B1 (en) * 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257323A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 運転支援装置、運転支援装置を搭載した自動車、および運転支援方法
JP2009164932A (ja) * 2008-01-08 2009-07-23 Pioneer Electronic Corp 受信装置、受信制御方法、受信制御プログラム及び記録媒体
JP2009281814A (ja) * 2008-05-21 2009-12-03 Denso Corp ナビゲーション装置およびナビゲーション装置用のプログラム
WO2010035434A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 死角車両検出装置及びその方法
WO2011007484A1 (ja) * 2009-07-17 2011-01-20 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011122854A (ja) * 2009-12-08 2011-06-23 Takahiro Yamashita 音の到来方向判定システム及びプログラム
WO2012160590A1 (ja) * 2011-05-20 2012-11-29 本田技研工業株式会社 車線変更支援情報可視化システム
US20140278045A1 (en) * 2013-03-15 2014-09-18 Industrial Technology Research Institute Assistance system and generation method of dynamic driving information
US20140320637A1 (en) * 2013-04-29 2014-10-30 Intellectual Discovery Co., Ltd. Vehicular image processing apparatus and method of providing information using the vehicular image processing apparatus
CN104252706A (zh) * 2013-06-27 2014-12-31 株式会社理光 特定平面的检测方法和系统
JP2015022453A (ja) * 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
US20150221321A1 (en) * 2014-02-06 2015-08-06 OtoSense, Inc. Systems and methods for identifying a sound event
WO2015197237A1 (en) * 2014-06-27 2015-12-30 Connaught Electronics Ltd. Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113752945A (zh) * 2020-05-19 2021-12-07 丰田自动车株式会社 车载显示系统
CN113752945B (zh) * 2020-05-19 2023-11-21 丰田自动车株式会社 车载显示系统
CN113932912A (zh) * 2021-10-13 2022-01-14 国网湖南省电力有限公司 一种变电站噪声抗干扰估计方法、系统及介质
CN113932912B (zh) * 2021-10-13 2023-09-12 国网湖南省电力有限公司 一种变电站噪声抗干扰估计方法、系统及介质

Also Published As

Publication number Publication date
US10607488B2 (en) 2020-03-31
KR20180066509A (ko) 2018-06-19
CN108226854B (zh) 2023-09-08
US20180165964A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN108226854A (zh) 提供后车的可视化信息的装置和方法
CN107985225B (zh) 提供声音追踪信息的方法、声音追踪设备及具有其的车辆
Foggia et al. Audio surveillance of roads: A system for detecting anomalous sounds
CN107179119B (zh) 提供声音检测信息的方法和装置以及包括该装置的车辆
Xie et al. D 3-guard: Acoustic-based drowsy driving detection using smartphones
CN107018467A (zh) 用于车辆的外部声音合成的系统和方法
CN107176123B (zh) 声音检测信息提供方法、车辆周围声音检测装置及车辆
CN106114352B (zh) 基于电动车辆的警示方法、装置及车辆
US20180290590A1 (en) Systems for outputting an alert from a vehicle to warn nearby entities
US9733346B1 (en) Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
CN107305772B (zh) 用于提供声音检测信息的方法、装置及包括该装置的车辆
KR101519255B1 (ko) 차량 주변 소리 알림 시스템 및 그 방법
CN111976593A (zh) 一种对车外对象的语音提示方法、装置、设备及存储介质
Furletov et al. Auditory scene understanding for autonomous driving
Valiveti et al. Soft computing based audio signal analysis for accident prediction
CN112706691B (zh) 车辆提醒的方法和装置
Leiba et al. Acoustical classification of the urban road traffic with large arrays of microphones
CN110706496A (zh) 基于声学的环境感知方法及系统
Gabrielli et al. An advanced multimodal driver-assistance prototype for emergency-vehicle detection
KR101748270B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
WO2020250574A1 (ja) 運転支援装置、運転支援方法及びプログラム
EP4273832A1 (en) A vehicle and a system and method for use with a vehicle
GB2591756A (en) A method for warning a user of a motor vehicle after detecting a motor vehicle with special authorization, as well as detection device
Wimalasena et al. Audio-Based Vehicle Detection System: Enhancing Safety for Bicycle Riders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant