CN110194181B - 驾驶支持方法、车辆和驾驶支持系统 - Google Patents

驾驶支持方法、车辆和驾驶支持系统 Download PDF

Info

Publication number
CN110194181B
CN110194181B CN201910133249.2A CN201910133249A CN110194181B CN 110194181 B CN110194181 B CN 110194181B CN 201910133249 A CN201910133249 A CN 201910133249A CN 110194181 B CN110194181 B CN 110194181B
Authority
CN
China
Prior art keywords
driving support
vehicle
sound
sound source
support information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910133249.2A
Other languages
English (en)
Other versions
CN110194181A (zh
Inventor
因幡千寻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110194181A publication Critical patent/CN110194181A/zh
Application granted granted Critical
Publication of CN110194181B publication Critical patent/CN110194181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/01—Determining conditions which influence positioning, e.g. radio environment, state of motion or energy consumption
    • G01S5/018—Involving non-radio wave signals or measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

一种驾驶支持方法、车辆和驾驶支持系统。用于车辆的驾驶支持方法，包括：获取位于车辆的外部的声源的声音；和以表示所述声源相对于所述车辆的相对位置的显示模式在显示部上显示与所述声音的话语内容相对应的驾驶支持信息，所述声音的所述话语内容由声音识别处理识别出，所述相对位置是基于所述声音指定的。

Description

驾驶支持方法、车辆和驾驶支持系统
技术领域
本发明涉及驾驶支持方法、车辆和驾驶支持系统。
背景技术
已知一种对诸如汽车的车辆执行驾驶支持的技术。例如，日本未审查专利申请公开第2016-203815(JP 2016-203815 A)公开了以下配置。即，当由车载麦克风取得的声音的音量或音量的变化超过第一判定阈值并且由车外麦克风取得的声音的音量或音量的变化是在第二判定阈值以下时，判定存在乘员的紧急话语，并且停止自动车窗的驱动电机。此外，日本未审查专利申请公开第2010-067165号(JP 2010-067165 A)公开了以下配置。即，基于由设置在车辆上的不同位置处的多个麦克风获得的警笛声检测状态来指定发出警笛声的紧急车辆的接近方向，并且根据紧急车辆的接近方向执行与识别支持和驾驶支持中的至少任一个相对应的输出。此外，日本未审查专利申请公开第2006-092482号(JP 2006-092482 A)公开了以下配置。即，例如，从车辆外部的声音中挑选出诸如紧急车辆的警报声的特定声音，并且基于该特定声音的发生方向的检测结果，指示导航系统显示特定声音在地图数据上的发生位置。此外，日本未审查专利申请公开第8-002339号(JP 8-002339 A)公开了一种配置，其中由麦克风收集的车外声音被放大器放大，并且车外声音在车厢中由扬声器播放。此外，日本专利第5622819号公开了一种配置，其中当基于来自立体相机的图像识别出位于车辆前方的车外物体时，显示对于车外物体的警告。此外，日本未审查专利申请公开第2007-034348号(JP 2007-034348 A)公开了以下配置。即，例如从车辆周围的声音中识别出的诸如救护车警报声之类的紧急性声音的结果通过振动、声音或显示被通知给驾驶员。
发明内容
同时，根据认知科学领域的最新研究，发现当听者试图从言语上识别话语内容时，会对听者产生认知负荷。因此，车辆的驾驶员可能无意识地避免识别在车辆外部发生的话语内容，从而降低认知负荷。因此，例如，与诸如紧急车辆的警报声等的非言语声音相比，车辆的驾驶员识别出由在车辆外部发出的话语引起的声音的可能性低。
此外，由于在相对长的时间内连续地发出警报声，因此驾驶员很可能识别出紧急车辆的警报。同时，就话语而言，仅在发出话语时发出声音，使得话语相对不太可能被驾驶员识别。
例如，上述技术是通过使用诸如紧急车辆的警报声等的非言语声音来执行对车辆的驾驶支持，并且不通过使用由车辆外部发出的话语引起的声音来执行对车辆的驾驶支持。
本发明提供一种驾驶支持方法、车辆和驾驶支持系统，其中每一个均可以通过使用由在所述车辆的外部发出的话语引起的声音来实现对车辆的驾驶支持。
本发明的第一方案提供了一种用于车辆的驾驶支持方法。所述驾驶支持方法包括：获取位于所述车辆的外部的声源的声音；和以表示所述声源相对于所述车辆的相对位置的显示模式在显示部上显示与所述声音的话语内容相对应的驾驶支持信息，所述声音的所述话语内容由声音识别处理识别出，所述相对位置是基于所述声音指定的。
本发明的第二方案提供了一种车辆。所述车辆包括：声音获取部，其被配置为获取位于所述车辆的外部的声源的声音；和控制部，其被配置为以表示所述声源相对于所述车辆的相对位置的显示模式在显示部上显示与所述声音的话语内容相对应的驾驶支持信息，所述声音的所述话语内容由声音识别处理识别出，所述相对位置是基于所述声音指定的。
本发明的第三方案提供了一种驾驶支持系统。所述驾驶支持系统包括：车辆；和配置为与所述车辆通信的服务器，其中：所述车辆被配置为获取位于所述车辆的外部的声源的声音；所述车辆或所述服务器被配置为基于所述声音指定所述声源相对于所述车辆的相对位置；所述车辆或所述服务器被配置为通过声音识别处理来识别所述声音的话语内容；和所述车辆被配置为以表示所述声源的所述相对位置的显示模式在显示部上显示与所述话语内容相对应的驾驶支持信息。
利用根据上述方案的驾驶支持方法、车辆和驾驶支持系统，可以通过使用由在车辆的外部发出的话语引起的声音来实现对车辆的驾驶支持。
附图说明
下面将参考附图描述本发明的示例性实施例的特征、优点以及技术和工业重要性，附图中相同的数字表示相同的元件，并且其中：
图1是示出根据本发明的一个实施例的驾驶支持系统的概略配置的框图；
图2是示出车辆周围的周边状况的示例的图；
图3是示出在显示装置上显示的画面的第一示例的图；
图4是示出在显示装置上显示的画面的第二示例的图；
图5是示出在显示装置上显示的画面的第三示例的图；
图6是示出在显示装置上显示的画面的第四示例的图；
图7是示出在显示装置上显示的画面的第五示例的图；
图8是示出在显示装置上显示的画面的第六示例的图；
图9是示出驾驶支持系统的操作的顺序图；
图10是示出根据实施例的变形例的信息处理系统中存储的信息的示例的图；和
图11是示出变形例中在显示装置上显示的画面的示例的图。
具体实施方式
现在描述本发明的实施例。
驾驶支持系统的配置
参考图1，下面描述根据本发明的一个实施例的驾驶支持系统1的概要。驾驶支持系统1包括车辆10和服务器20。车辆10包括例如汽车，但是可以包括其他车辆。服务器20包括可彼此通信的一个或多个服务器设备。在本实施例中，为了简化描述，该说明书将服务器20作为一个服务器设备来论述。车辆10和服务器20经由网络30可通信地彼此连接。例如，网络30可以包括因特网，但是可以包括其他网络。
在驾驶支持系统1中，车辆10和服务器20一起工作以执行对车辆10的驾驶支持。总之，驾驶支持系统1从位于车辆10的外部的声源获取声音。这里，本说明书中的“声音”指示具有言语含义的一系列声音。驾驶支持系统1基于如此获取的声音指定声源相对于车辆10的相对位置。驾驶支持系统1通过声音识别处理识别声音的话语内容。驾驶支持系统1以表示声源相对于车辆10的相对位置的显示模式，以在视觉上可识别的方式向驾驶员显示对应于识别的话语内容的驾驶支持信息。
通过驾驶支持系统1的操作，例如，在位于车辆10外部的交通管制员向车辆10发出话语的情况下，显示指示话语的内容的诸如文本串等的驾驶支持信息。因此，即使在驾驶员无法听到交通管制员的话语的情况下，驾驶员也可以通过视觉识别驾驶支持信息而一眼就能够在视觉上识别出话语内容。因此，这通过使用由在车辆10的外部发出的话语引起的声音实现了对车辆10的驾驶支持。
此外，在交通管制员位于车辆10的前方左侧的情况下，以表示车辆10的前方左侧的显示模式显示驾驶支持信息。因此，例如，即使在驾驶员没有注意到交通管制员的存在的情况下，驾驶员也可以通过视觉识别驾驶支持信息而一眼就能识别交通管制员的相对位置。因此，这通过使用由在车辆10的外部发出的话语引起的声音来提供对车辆10的驾驶支持的便利性。
接下来将描述驾驶支持系统1的每个组成部分的细节。
车辆的配置
如图1中所示，车辆10包括声音获取部11、成像部12、显示部13、通信部14、存储部15和控制部16。例如，声音获取部11、成像部12、显示部13、通信部14、存储部15和控制部16可经由诸如控制器局域网(CAN)的车载网络或专用线路彼此通信。
声音获取部11包括设置在车辆10中的不同安装位置处的三个以上麦克风。在本实施例中，声音获取部11的每个麦克风从位于车辆10的外部的一个以上声源获取声音。例如，在如图2所示的车辆10周围的周边状况下，声音获取部11的三个麦克风110(110a至110c)中的每一个获取位于车辆10的外部的两个声源40(40a和40b)的声音。声源40例如是交通管制员，但是不限于此。声源40可以包括发出话语的人、机器等。
成像部12包括一个或多个相机。在本实施例中，成像部12生成位于车辆10的外部的声源40的被拍摄图像。成像部12可以以预定帧速率产生多个被拍摄图像(即，视频图像)。例如，在如图2所示的车辆10周围的周边状况下，成像部12产生位于车辆10的前方左侧的声源40a和位于车辆10的前方右侧的声源40b的一个或多个被拍摄图像。
声音获取部11的声音获取和成像部12的产生被拍摄图像可以同步地执行。例如，在声音由声音获取部11获取的同时，被拍摄图像可以由成像部12以预定帧速率产生。在下面的描述中，在从声源40获取声音期间由成像部12产生的声源40的一个或多个被拍摄图像，也被称为对应于声源40的一个或多个被拍摄图像。
显示部13包括用于显示任何给定信息的显示器。在本实施例中，显示部13可以是将信息投射到驾驶员视野的平视显示器。在这种情况下，例如，诸如挡风玻璃或组合器等车辆10的光学构件可构成平视显示器的一部分。或者，显示部13可以是用于在诸如液晶面板或有机电致发光(EL)面板的显示面板上显示信息的面板显示器。在这种情况下，例如，车辆10中设置的导航装置的显示器或诸如智能手机的移动终端的显示器可以用作显示部13。
通信部14包括一个或多个通信接口。在本实施例中，车辆10经由通信部14和网络30与服务器20无线通信。
存储部15包括一个或多个存储器。存储器可以包括例如半导体存储器、磁存储器、光存储器等。例如，存储部15中包括的每个存储器可以用作主存储器、辅助存储器或高速缓冲存储器。用于车辆10的操作的信息存储在存储部15中。
控制部16包括一个或多个处理器。处理器可以包括通用处理器和专用于特定处理的专用处理器。例如，设置在车辆10中的电子控制单元(ECU)可以用作控制部16。控制部16控制整个车辆10的操作。
例如，控制部16基于由声音获取部11获取的位于车辆10的外部的声源40的声音来指定声源40相对于车辆10的相对位置。通过使用其原点设定在车辆10处的任何给定坐标系来指定相对位置。例如，相对位置可以由声源40相对于车辆10处的原点的方向和距离来指定，即通过极坐标。在由声音获取部11获取声源40的声音的情况下，控制部16指定每个声源40的相对位置。这里，对于声源40的相对位置的指定，可以采用任何给定的声源定位算法。例如，控制部16可以基于声音获取部11中包含的麦克风110的安装位置和声源40的声音到达各个麦克风110的时间差来指定声源40的相对位置。
控制部16将由声音获取部11获取的声音中的各个声源40的声音彼此隔离。这里，对于各个声源40的声音的彼此隔离，可以采用任何给定的声音隔离算法。例如，控制部16可以通过执行波束形成以将声音获取部11的指向性指向由声源位置指定的从车辆10朝向各个声源40的方向，从而将各个声源40的声音彼此隔离。此外，控制部16可以执行从如此隔离的每一个声音中减少或去除噪声。
控制部16对如此隔离的每个声音执行话语检测处理。可以通过话语检测处理来检测声音中的话语。任何给定的话语检测算法都可以用于话语检测处理。例如，控制部16可以检测基于声音信号的幅度和零交叉数确定的每个声音区作为话语。
控制部16将检测到话语的声音与对应于该声音的声源40相关联地发送给服务器20。此外，控制部16向服务器20发送与检测到话语的声音相对应的声源40的相对位置和一个或多个被拍摄图像。
控制部16可以从服务器20接收如下文将描述的与由服务器20执行的声音识别处理识别出的声音的话语内容相对应的驾驶支持信息。当控制部16从服务器20接收到驾驶支持信息时，控制部16以表示相应声源40的相对位置的显示模式在显示部13上显示驾驶支持信息。将在后面描述在显示部13上显示的画面的具体示例。
服务器的配置
如图1所示，服务器20包括服务器通信部21、服务器存储部22和服务器控制部23。
服务器通信部21包括一个或多个通信接口。在本实施例中，服务器20经由服务器通信部21和网络30与车辆10无线通信。
服务器存储部22包括一个或多个存储器。例如，服务器存储部22中包括的每个存储器可以用作主存储器、辅助存储器或高速缓冲存储器。用于服务器20的操作的信息存储在服务器存储部22中。
服务器控制部23包括一个或多个处理器。服务器控制部23控制整个服务器20的操作。
例如，服务器控制部23从车辆10接收检测到话语的声音以及与该声音对应的声源40的相对位置和一个或多个被拍摄图像。服务器控制部23通过声音识别处理将声音转换为文本串，并从言语上识别声音的话语内容。
服务器控制部23基于关于与话语内容对应的声音的声源40的一条或多条信息来评估所识别的话语内容的重要性。在以下描述中，关于声源40的信息也称为声源信息。在本实施例中，服务器控制部23基于如下五条声源信息中的至少一个来评估话语内容的重要性：即，声源40的声音或其话语内容的长度(第一声源信息)、话语内容中包含的词语(第二声源信息)、话语内容的上下文(第三声源信息)、声音的声压(第四声源信息)以及使用声音的声源40的一个或多个被拍摄图像的图像识别处理的执行结果(第五声源信息)。更具体地，如后面将说明的，服务器控制部23判定针对各条声源信息确定的分数的总值、平均值或最大值(下文中称为“总值等”)是否是预定参考值以上。在分数的总值等是参考值以上的情况下，服务器控制部23确定话语内容是重要的。同时，在分数的总值等小于参考值的情况下，服务器控制部23确定话语内容是不重要的。
这里，下面描述服务器控制部23确定第一声源信息到第五声源信息中的每一个所对应的分数的操作的具体示例。
首先描述的是第一声源信息。服务器控制部23将话语内容的声音的时间长度或指示话语内容的文本串中的字母数确定为声源40的声音或话语内容的长度。然后，服务器控制部23基于声音或话语内容的长度确定第一声源信息所对应的分数。这里，随着声音或话语内容的长度越长，应该由车辆10的驾驶员识别的信息越可能包括在话语内容中。因此，随着声音或话语内容的长度越长，服务器控制部23可以给出与第一声源信息所对应的分数越大。
随后，以下描述第二声源信息。一个或多个关键词和关键词所对应的各个分数预先存储在服务器存储部22中。例如，可以基于关键词的属性(诸如紧急性或重要性)将关键词所对应的分数确定为给定量。例如，具有高紧急性的话语中非常可能使用的关键词“停止”可以比具有低紧急性的话语中非常可能使用的关键词“移动”具有更大的分数。当如上所述识别出话语内容时，服务器控制部23检测话语内容中包括的关键词。服务器控制部23将各个检测到的关键词所对应的分数的总值等确定作为第二声源信息所对应的分数。
接下来将描述第三声源信息。就评估其重要性的话语内容的声音的声源40而言，服务器控制部23判定声源40的先前话语的话语内容是否被确定为是重要的。在服务器控制部23判定先前话语的话语内容是重要的情况下，服务器控制部23确定第三声源信息所对应的分数。同时，在服务器控制部23判定先前话语的话语内容是不重要的情况下，服务器控制部23可以不确定第三声源信息所对应的分数，或者服务器控制部23可以将比判定先前话语的话语内容是重要的时给出的分数小的分数确定为第三声源信息所对应的分数。
接下来将描述第四声源信息。服务器控制部23检测话语内容的声音的声压。这里，随着车辆10与声源40之间的距离变长，如上所述车辆10中获取的声音的声压降低。因此，基于声源40相对于车辆10的相对位置，服务器控制部23可以将检测到的声压补正为随着车辆10和声源40之间的距离越长而越大。服务器控制部23基于检测到的声压确定第四声源信息所对应的分数。这里，随着声音的声压越大，话语内容越可能是应该由车辆10的驾驶员识别的信息。因此，随着检测到的声压越大，服务器控制部23可以为第四声源信息给出越大的分数。
接下来将描述第五声源信息。服务器控制部23基于通过图像识别处理的声源40的一个或多个被拍摄图像来判定声源40的话语是否指向车辆10。例如，在声源40是人的情况下，服务器控制部23可以参考所述一个或多个被拍摄图像并从被拍摄图像中剪出在估计声源方向上的图像以便提取人，并且服务器控制部23可以识别出人的视线和行为(例如，手势)。该手势包括例如引导动作(诸如挥动引导灯的动作、挥动手旗的动作或促使车辆停止的动作)，或询问动作(诸如指向动作或挥手动作)。在服务器控制部23判定手势的情况下，需要使用视频图像(运动图像)。在这种情况下，服务器控制部23从多个连续帧中剪出在估计声源方向上的一部分，并且通过使用诸如神经网络的技术对提取的部分(片段)执行识别处理。当识别的视线和行为指向车辆10时，服务器控制部23可以判定声源40的话语指向车辆10。然而，该判定不限于上述示例，并且可以采用任何使用一个或多个被拍摄图像的给定算法。在判定声源40的话语指向车辆10的情况下，服务器控制部23确定第五声源信息所对应的分数。同时，在判定声源40的话语不是指向车辆10的情况下，服务器控制部23可以不确定第五声源信息所对应的分数，或服务器控制部23可以将比判定声源40的话语指向车辆10时给出的分数小的分数确定为第五声源信息所对应的分数。
在服务器控制部23基于声源信息判定话语内容是重要的情况下，服务器控制部23向车辆10发送与话语内容相对应的驾驶支持信息。例如，驾驶支持信息可以包括指示话语内容的文本串。这里，如上所述，指示话语内容的文本串是通过声音识别处理从话语的声音转换的文本串。或者，驾驶支持信息可包括通过缩短指示话语内容的文本串(第一文本串)而获得的文本串(第二文本串)。更具体地，服务器控制部23省略、总结或替换指示话语内容的第一文本串中包括的一些表达，并确定如此缩短的第二文本串。例如，可以通过省略第一文本串中包括的叹词来确定第二文本串。这里，例如，可能不会从第一文本串中省略例如高可能给予车辆10的驾驶员的诸如“嘿”的叹词。然而，通过缩短第一文本串来确定第二文本串的技术不限于上述示例，可以以任何给定方式确定。此外，驾驶支持信息不限于上述示例，可以包括任何给定信息，基于该给定信息，车辆10的驾驶员可以通过视觉识别来识别出话语内容。如上所述，发送给车辆10的驾驶支持信息以表示相应声源40的相对位置的显示模式显示在车辆10的显示部13上。这里，在第一文本串比预定基准长的情况下，服务器控制部23可以确定第二文本串并将包括第二文本串的驾驶支持信息发送给车辆10。通过这样的配置，例如，可以减少诸如由于在车辆10的显示部13上显示这种相对长的第一文本串而导致的驾驶员分心等的不便的发生。同时，在服务器控制部23基于声源信息判定话语内容是不重要的情况下，服务器控制部23可以不向车辆10发送与话语内容相对应的驾驶支持信息。
参考图2至图8，下面描述以表示声源40的相对位置的显示模式显示的驾驶支持信息的具体示例。如图2所示，例如，下面论述如下情况：声源40a位于车辆10前方的左侧，声源40b位于车辆10前方的右侧，并且通过声源40a和40b发出话语。例如，当声源40a发出话语“请原谅”、“请在那里停一下”和“停！”，并且声源40b发出话语“停车！”时，在车辆10的显示部13上显示与这些话语的话语内容相对应的驾驶支持信息。
参考图3，下面描述在显示部13是平视显示器的情况下的画面的第一示例。在图3中，驾驶支持信息50(50a和50b)显示在车辆10的挡风玻璃130上，挡风玻璃130构成平视显示器的一部分。驾驶支持信息50a和驾驶支持信息50b分别对应于声源40a和声源40b。
驾驶支持信息50a包括指示声源40a的话语内容“请原谅”、“请在那里停一下”和“停！”的文本串以及围绕这些文本串的框。类似地，驾驶支持信息50b包括指示声源40b的话语内容“停车！”的文本串和围绕该文本串的框。在第一示例中，驾驶支持信息50显示在驾驶员通过挡风玻璃130视觉识别的声源40附近，或者显示为叠加在声源40上。这里，在由声源40新发出话语的情况下，例如，所显示的驾驶支持信息50可以在挡风玻璃130上向上滚动。
在显示部13的画面的第一示例中，车辆10的驾驶员可以通过视觉地识别驾驶支持信息50中包括的文本串来识别声源40的话语内容。此外，由于驾驶支持信息50显示在其相应声源40的位置处或相应声源40附近，因此车辆10的驾驶员可以识别出话语内容与声源40之间的对应关系。
随后，参考图4，下面描述在显示部13是平视显示器的情况下的画面的第二示例。在图4中，驾驶支持信息51(51a和51b)显示在车辆10的挡风玻璃130上。驾驶支持信息51a和驾驶支持信息51b分别对应于声源40a和声源40b。第二示例中的驾驶支持信息51与第一示例中的驾驶支持信息50的不同之处在于：驾驶支持信息51包括指示驾驶支持信息51与声源40之间的对应关系的第一显示元素。
更具体地，驾驶支持信息51a包括指示声源40a的话语内容的文本串、围绕文本串的框510(510a)以及从各个框510a突出以便指向声源40a的第一显示元素511(511a)。类似地，驾驶支持信息51b包括指示声源40b的话语内容的文本串、围绕该文本串的框510(510b)以及从框510b突出以便指向声源40b的第一显示元素511(511b)。可以像第一示例中的驾驶支持信息50那样滚动驾驶支持信息51。
在显示部13的画面的第二示例中，车辆10的驾驶员可以通过视觉地识别在驾驶支持信息51中包括的文本串来识别声源40的话语内容，类似于其他示例。此外，类似于其他示例，车辆10的驾驶员可以通过视觉地识别指向声源40的第一显示元素511来识别话语内容和声源40之间的对应关系。此外，与第一示例不同，不需要在声源40的位置处或声源40附近显示驾驶支持信息51，从而提高了驾驶支持信息51的显示位置的自由度。
随后，参考图5，下面描述在显示部13是平视显示器的情况下的画面的第三示例。在图5中，驾驶支持信息52(52a和52b)显示在车辆10的挡风玻璃130上。驾驶支持信息52a和驾驶支持信息52b分别对应于声源40a和声源40b。第三示例中的驾驶支持信息52与第二示例的不同之处在于指示驾驶支持信息52和声源40之间的对应关系的第一显示元素的细节。
更具体地，驾驶支持信息52a包括指示声源40a的话语内容的文本串、围绕文本串的框520(520a)以及围绕声源40a的第一显示元素521(521a)。类似地，驾驶支持信息52b包括指示声源40b的话语内容的文本串、围绕文本串的框520(520b)以及围绕声源40b的第一显示元素521(521b)。可以像第一示例中的驾驶支持信息50那样滚动驾驶支持信息52。
这里，与声源40所对应的框520和第一显示元素521以共同的显示模式显示。例如，显示模式可以包括线的类型、线的颜色、线的形状等。此外，框520和第一显示元素521的共同显示模式根据声源40而改变。
在显示部13的画面的第三示例中，车辆10的驾驶员可以通过视觉地识别在驾驶支持信息52中包括的文本串来识别声源40的话语内容，类似于其他示例。此外，由于围绕文本串的框520和围绕声源40的第一显示元素521以共同的显示模式显示，并且框520和第一显示元素521的共同显示模式根据声源40而改变，所以车辆10的驾驶员可以识别话语内容与声源40之间的对应关系，与其他示例类似。
参考图6，下面描述在显示部13是平视显示器的情况下的画面的第四示例。在图6中，驾驶支持信息53(53a和53b)显示在车辆10的挡风玻璃130上。驾驶支持信息53a和驾驶支持信息53b分别对应于声源40a和声源40b。第四示例是假设声源40a和40b位于驾驶员不能通过挡风玻璃130在视觉上识别声源40a和40b的位置的情况的示例。第四示例中的驾驶支持信息53与在第一至第三示例中的驾驶支持信息的不同之处在于，驾驶支持信息53包括指示声源40相对于车辆10的方向的第二显示元素。
更具体地，驾驶支持信息53a包括指示声源40a的话语内容的文本串、围绕文本串的框530(530a)以及指示声源40a相对于车辆10的方向的第二显示元素531(531a)。类似地，驾驶支持信息53b包括指示声源40b的话语内容的文本串、围绕文本串的框530(530b)和指示声源40b相对于车辆10的方向的第二显示元素531(531b)。驾驶支持信息53可以像第一示例中的驾驶支持信息50那样滚动。
这里，对应于声源40的框530和第二显示元素531以共同的显示模式显示。例如，显示模式可以包括线的类型、线的颜色、线的形状等。此外，框530和第二显示元素531的共同显示模式根据声源40而改变。
在显示部13的画面的第四示例中，车辆10的驾驶员可以通过视觉地识别在驾驶支持信息53中包括的文本串来识别声源40的话语内容，类似于其他示例。此外，由于围绕文本串的框530和指示声源40相对于车辆10的方向的第二显示元素531以共同的显示模式显示并且框530和第二显示元素531的共同显示模式根据声源40改变，所以车辆10的驾驶员可以识别话语内容与声源40之间的对应关系，类似于其他示例。
在车辆10的控制部16判定声源40位于驾驶员不能通过挡风玻璃130在视觉上识别声源40的位置的情况下，控制部16可以以第四示例的显示模式显示驾驶支持信息53。例如，驾驶员通过挡风玻璃130能够可视地识别的车辆10周围的周边范围预先存储在车辆10的存储部15中。当声源40相对于车辆10的相对位置位于周边范围之外时，控制部16以第四示例的显示模式显示驾驶支持信息53。此外，在声源40相对于车辆10的相对位置位于车辆10后方的情况下，控制部16以表示声源40的相对位置在车辆10后方的显示模式显示驾驶支持信息53。
随后，参考图7，下面描述在显示部13是面板显示器的情况下的画面的第五示例。在图7中，驾驶支持信息53(53a和53b)显示在显示部13的显示面板131上。与上述第四示例类似，驾驶支持信息53包括指示声源40的话语内容的文本串、围绕文本串的框530以及指示声源40相对于车辆10的方向的第二显示元素531。除了显示部13是面板显示器之外，第五示例与第四示例相同。
随后，参考图8，下面描述在显示部13是面板显示器的情况下的画面的第六示例。在图8中，车辆10的图像、指示声源40a的相对位置的图像和驾驶支持信息54(54a)显示在显示部13的显示面板131的右侧区域中。驾驶支持信息54a对应于声源40a。此外，例如，导航系统的地图信息和车辆10的位置信息显示在显示面板131的左侧区域中。第六示例中的驾驶支持信息54与第四和第五示例中的驾驶支持信息的不同在于指示声源40相对于车辆10的方向的第二显示元素的细节。
更具体地，驾驶支持信息54包括指示声源40a的话语内容的文本串、围绕文本串的框540(540a)以及指示图像的方向的第二显示元素541(541a)，该图像指示声源40a相对于车辆10的图像的相对位置。
在显示部13的画面的第六示例中，车辆10的驾驶员可以通过视觉地识别在驾驶支持信息54中包括的文本串来识别声源40的话语内容，类似于其他示例。此外，由于第二显示元素541与车辆10的图像和指示声源40a的相对位置的图像一起显示，因此，例如与第五示例相比，车辆10的驾驶员可以更准确地识别发出话语的声源40的相对位置。
驾驶支持系统的操作流程
参考图9，下面描述驾驶支持系统1的操作的流程。例如，可以在车辆10的点火开启时重复执行该操作。
步骤S100：车辆10获取位于车辆10外部的声源40的声音。此外，车辆10产生与声源40对应的一个或多个被拍摄图像。
步骤S101：车辆10基于在步骤S100中获取的声音而指定声源40相对于车辆10的相对位置。
步骤S102：车辆10将在步骤S100中获取的声音中的各个声源40的声音彼此隔离。
步骤S103：车辆10对这样彼此隔离的各个声音执行话语检测处理，以检测声音中的话语。
步骤S104：车辆10将检测到话语的声音与对应于该声音的声源40相关联地向服务器20发送。此外，车辆10向服务器20发送与检测到话语的声音对应的声源40的相对位置和声源40的一个或多个被拍摄图像。
步骤S105：服务器20通过声音识别处理识别从车辆10接收的声音的话语内容。
步骤S106：服务器20评估在步骤S105中识别的话语内容的重要性。
步骤S107：服务器20向车辆10发送与在步骤S106中被确定为重要的话语内容相对应的驾驶支持信息。
步骤S108：车辆10以表示其相应声源40的相对位置的显示模式显示如此从服务器20接收的驾驶支持信息。
如上所述，在本实施例的驾驶支持系统1中，与位于车辆10外部的声源40的声音的话语内容对应的驾驶支持信息以表示声源40相对于车辆10的相对位置的显示模式显示。通过这样的配置，例如，即使在车辆10的驾驶员不能听到声源40的话语的情况下，驾驶员也可以通过视觉地识别驾驶支持信息而一眼就识别出话语内容。因此，这通过使用由在车辆10外部发出的话语引起的声音来实现对车辆10的驾驶支持。此外，例如，即使在驾驶员没有注意到声源40的存在的情况下，驾驶员也可以通过视觉地识别驾驶支持信息而一眼就识别出声源40的相对位置。因此，这通过使用由在车辆10外部发出的话语引起的声音来改善对车辆10的驾驶支持的便利性。
已经基于附图和实施例描述了本发明，但是应该注意，本领域技术人员可以基于本公开容易地进行各种修改和变更。因此，应该注意，那些修改和变更包括在本发明的范围内。例如，每个装置、每个步骤等中包括的功能等是可重新定位的，只要它不会引起任何逻辑矛盾，并且多个装置、步骤等可以组合成一个或者可以被分割。
例如，在本实施例中，由车辆10执行的处理的至少一些可以由服务器20执行。例如，服务器20可以执行图9中所示的步骤S101至S103的处理。类似地，由服务器20执行的处理的至少一些可以由车辆10执行。例如，车辆10可以执行图9所示的步骤S105和S106的处理。此外，车辆10或服务器20执行的处理中的至少一些可以由车辆10和服务器20彼此协作地执行。例如，图9中所示的步骤S101至S103、S105和S106的处理可以由车辆10和服务器20彼此协作地执行。
此外，在上述实施例中，已经参考图9描述了驾驶支持系统1的操作流程。然而，可以省略操作流程中包括的一些步骤或一个步骤中包括的一些操作。如果改变不会引起任何逻辑矛盾，则可以改变步骤的顺序。
此外，在上述实施例中，车辆10的一些组成部分和功能可以设置在可与车辆10通信的设备中。可以使用任何给定的通用设备或用于驾驶支持系统1的专用设备作为该设备。通用设备可以包括例如诸如智能手机的移动终端、行车记录仪、导航设备等。
此外，上述实施例描述了其中驾驶支持信息包括指示话语内容的文本串的配置。然而，驾驶支持信息可以包括诸如指示话语内容的图标的图像。例如，可以通过声音识别处理识别的话语内容的类型和包括与该类型对应的图像的驾驶支持信息被预先存储在服务器20的服务器存储部22中。图像可以是任何图像，基于该图像，其对应的话语内容的类型可由车辆10的驾驶员识别。例如，在图10所示的示例中，示出了对应于两种类型的两个图像，即“停车”和“前进”。当服务器控制部23识别从车辆10接收的声音的话语内容时，服务器控制部23从服务器存储部22读出包括与话语内容的类型相对应的图像的驾驶支持信息并将其发送给车辆10。车辆10在显示部13上显示如此从服务器20接收的驾驶支持信息。
例如，图11示出了在显示部13是平视显示器的情况下显示作为图像的驾驶支持信息55的画面的示例。在图11中，驾驶支持信息55(55a和55b)显示在车辆10的挡风玻璃130上，挡风玻璃130构成平视显示器的一部分。驾驶支持信息55a和驾驶支持信息55b分别对应于声源40a和声源40b。驾驶支持信息55是与图10所示的话语内容“停车”的类型相对应的图像。在本示例中，驾驶支持信息55显示在驾驶员通过挡风玻璃130视觉识别的声源40附近，或者显示为叠加在声源40上，类似于图3所示的示例性画面。然而，驾驶支持信息55也可以包括第一显示元素或第二显示元素，类似于图4至图6中所示的示例性画面。
此外，上述实施例论述了其中驾驶支持系统1包括一个车辆10的配置。然而，驾驶支持系统1可以被配置为包括多个车辆10。例如，可以基于由能彼此通信的车辆10获取的声源40的声音来指定声源40相对于车辆10的相对位置。换句话说，通过使用设置在能彼此通信的车辆10中的麦克风110来指定声源40的相对位置。利用这样的配置，与例如驾驶支持系统1包括一个车辆10的配置相比，用于指定声源40的相对位置的麦克风110的数量增加，从而使得可以提高指定的声源40的相对位置的准确度。
此外，上述实施例论述了这样的配置：其中，在确定第二声源信息所对应的分数时，将一个或多个关键词和与关键词对应的各个分数预先存储在服务器20的服务器存储部22中。这里，服务器20的服务器控制部23可以更新存储在服务器存储部22中的信息。例如，服务器控制部23可以添加新关键词和与该关键词对应的分数的组合。此外，例如，服务器控制部23可以修正与关键词对应的分数。
此外，在上述实施例中，车辆10的控制部16可以被配置为在显示部13上显示表示使用由话语引起的声音的声音识别处理的执行结果的准确度(例如，话语内容的识别准确度)的信息。更具体地，服务器控制部23将声音识别处理的执行结果的准确度与驾驶支持信息一起发送给车辆10。当判定从服务器20接收的准确度小于预定基准时，控制部16在显示部13上显示指示话语内容的识别准确度相对较低的信息。
此外，上述实施例论述了在车辆10的显示部13上显示多条驾驶支持信息的示例。这里，在显示部13上同时显示的驾驶支持信息的数量或者在显示部13上同时显示的每条驾驶支持信息中包括的字母总数可以具有上限。利用这样的配置，例如，可以减少诸如由于在车辆10的显示部13上显示相对大量的信息而导致的驾驶员分心等不便的发生。
此外，设置在诸如移动终端或导航设备的通用电子设备中的处理器例如可以用作本实施例的车辆10的控制部16。更具体地，这可以被实现为使得实现本实施例的车辆10的每个功能的处理内容的程序存储在电子设备的存储器中，并且该程序由电子设备的处理器读取和执行。
在实施例中，显示部可以是平视显示器；并且在显示部上显示驾驶支持信息可以包括将驾驶支持信息显示为使得驾驶支持信息的至少一部分叠加在声源上。
在实施例中，显示在显示部上的驾驶支持信息可以包括第一显示元素，所述第一显示元素指示驾驶支持信息和声源之间的对应关系。
在实施例中，显示在显示部上的驾驶支持信息可以包括第二显示元素，所述第二显示元素指示声源相对于车辆的方向。
在实施例中，可以基于以下中的至少一个来确定驾驶支持信息是否显示在显示部上：i)声音或话语内容的长度；ii)话语内容中包含的词语；iii)话语内容的上下文；iv)声音的声压；v)使用声源的一个或多个被拍摄图像的图像识别处理的执行结果。
在实施例中，驾驶支持方法可以包括在显示部上显示表示声音识别处理的执行结果的准确度的信息。
在实施例中，驾驶支持信息可包括文本串和图像中的至少一个，所述文本串和图像指示话语内容。
在实施例中，驾驶支持信息可以包括通过缩短指示话语内容的第一文本串而获得的第二文本串。

Claims (10)

1.一种用于车辆的驾驶支持方法，所述驾驶支持方法的特征在于包括：
获取位于所述车辆的外部的声源的声音；和
以表示所述声源相对于所述车辆的相对位置的显示模式在显示部上显示与所述声音的话语内容相对应的驾驶支持信息，所述声音的所述话语内容由声音识别处理识别出，所述相对位置是基于所述声音指定的，
其中，在所述显示部上显示所述驾驶支持信息包括将所述驾驶支持信息显示为使得所述驾驶支持信息的至少一部分叠加在所述声源上。
2.根据权利要求1所述的驾驶支持方法，其特征在于：
所述显示部是平视显示器。
3.根据权利要求1或2所述的驾驶支持方法，其特征在于，在所述显示部上显示的所述驾驶支持信息包括第一显示元素，所述第一显示元素指示所述驾驶支持信息和所述声源之间的对应关系。
4.根据权利要求1或2所述的驾驶支持方法，其特征在于，在所述显示部上显示的所述驾驶支持信息包括第二显示元素，所述第二显示元素指示所述声源相对于所述车辆的方向。
5.根据权利要求1或2所述的驾驶支持方法，其特征在于，基于以下中的至少一个来确定所述驾驶支持信息是否显示在所述显示部上：
i)所述声音或所述话语内容的长度；
ii)所述话语内容中包含的词语；
iii)所述话语内容的上下文；
iv)所述声音的声压；和
v)使用所述声源的一个或多个被拍摄图像的图像识别处理的执行结果。
6.根据权利要求1或2所述的驾驶支持方法，其特征在于，还包括在所述显示部上显示表示所述声音识别处理的执行结果的准确度的信息。
7.根据权利要求1或2所述的驾驶支持方法，其特征在于，所述驾驶支持信息包括文本串和图像中的至少一个，所述文本串和所述图像指示所述话语内容。
8.根据权利要求1或2所述的驾驶支持方法，其特征在于，所述驾驶支持信息包括通过缩短指示所述话语内容的第一文本串而获得的第二文本串。
9.一种车辆，其特征在于包括：
声音获取部，其被配置为获取位于所述车辆的外部的声源的声音；和
控制部，其被配置为以表示所述声源相对于所述车辆的相对位置的显示模式在显示部上显示与所述声音的话语内容相对应的驾驶支持信息，所述声音的所述话语内容由声音识别处理识别出，所述相对位置是基于所述声音指定的，其中，在所述显示部上显示所述驾驶支持信息包括将所述驾驶支持信息显示为使得所述驾驶支持信息的至少一部分叠加在所述声源上。
10.一种驾驶支持系统，其特征在于包括：
车辆；和
配置为与所述车辆通信的服务器，其中：
所述车辆被配置为获取位于所述车辆的外部的声源的声音；
所述车辆或所述服务器被配置为基于所述声音指定所述声源相对于所述车辆的相对位置；
所述车辆或所述服务器被配置为通过声音识别处理来识别所述声音的话语内容；和
所述车辆被配置为以表示所述声源的所述相对位置的显示模式在显示部上显示与所述话语内容相对应的驾驶支持信息，其中，在所述显示部上显示所述驾驶支持信息包括将所述驾驶支持信息显示为使得所述驾驶支持信息的至少一部分叠加在所述声源上。
CN201910133249.2A 2018-02-27 2019-02-22 驾驶支持方法、车辆和驾驶支持系统 Active CN110194181B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-033596 2018-02-27
JP2018033596A JP7063005B2 (ja) 2018-02-27 2018-02-27 運転支援方法、車両、及び運転支援システム

Publications (2)

Publication Number Publication Date
CN110194181A CN110194181A (zh) 2019-09-03
CN110194181B true CN110194181B (zh) 2022-07-05

Family

ID=67684296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910133249.2A Active CN110194181B (zh) 2018-02-27 2019-02-22 驾驶支持方法、车辆和驾驶支持系统

Country Status (3)

Country Link
US (2) US10759447B2 (zh)
JP (1) JP7063005B2 (zh)
CN (1) CN110194181B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111194440A (zh) * 2017-08-07 2020-05-22 北美日产公司 自主车辆通知系统和方法
JPWO2021210088A1 (zh) * 2020-04-15 2021-10-21
US20210232836A1 (en) * 2021-03-25 2021-07-29 Intel Corporation Vehicle data relation device and methods therefor
CN114987518A (zh) * 2021-07-23 2022-09-02 上海博汽智能科技有限公司 一种车载人机交互方法及系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082339A (ja) 1994-06-16 1996-01-09 Mitsubishi Automob Eng Co Ltd 車外音導入装置
JPH1031882A (ja) 1996-07-16 1998-02-03 Niles Parts Co Ltd 車両用音声記憶装置
JP2003004521A (ja) 2001-06-27 2003-01-08 Kenwood Corp 車外音の識別装置
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
JP2006092482A (ja) 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
ATE509332T1 (de) * 2005-03-14 2011-05-15 Harman Becker Automotive Sys Automatische erkennung von fahrzeugbetrieb- geräuschsignalen
JP2007034348A (ja) 2005-07-22 2007-02-08 Hitachi Ltd 音声感知システム
JP2008009568A (ja) 2006-06-27 2008-01-17 Toyota Motor Corp 説明表示装置
ATE424329T1 (de) * 2006-10-02 2009-03-15 Harman Becker Automotive Sys Sprachsteuerung von fahrzeugelementen von ausserhalb einer fahrzeugkabine
JP4930407B2 (ja) 2008-02-18 2012-05-16 トヨタ自動車株式会社 情報提供装置、情報表示方法、ナビゲーション装置
US8319620B2 (en) * 2008-06-19 2012-11-27 Personics Holdings Inc. Ambient situation awareness system and method for vehicles
JP5397735B2 (ja) 2008-09-12 2014-01-22 株式会社デンソー 車両用緊急車両接近検出システム
DE102010001684A1 (de) * 2010-02-09 2011-08-11 Robert Bosch GmbH, 70469 Verfahren zum Betreiben eines Head-Up-Display-Systems, Head-Up-Display-System
JP2011232292A (ja) 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
WO2012097150A1 (en) * 2011-01-12 2012-07-19 Personics Holdings, Inc. Automotive sound recognition system for enhanced situation awareness
EP2709891B1 (en) * 2011-05-20 2016-10-26 Valeo Schalter und Sensoren GmbH Method for supporting a driver using a portable device in a vehicle
JP5622819B2 (ja) 2012-09-28 2014-11-12 富士重工業株式会社 視線誘導システム
JP2015001776A (ja) 2013-06-13 2015-01-05 三菱電機株式会社 運転支援装置
JP2015005935A (ja) 2013-06-21 2015-01-08 株式会社Ｊｖｃケンウッド 警報音認知機能を備えた音響機器
US9262924B2 (en) * 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
JP6361565B2 (ja) 2015-04-23 2018-07-25 株式会社デンソー 車載機器の動作制御装置
US9844981B2 (en) * 2015-06-02 2017-12-19 Karma Automotive Llc Systems and methods for use in a vehicle for detecting external events
KR101977090B1 (ko) * 2015-07-22 2019-05-10 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
KR20170099188A (ko) * 2016-02-23 2017-08-31 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US10088846B2 (en) * 2016-03-03 2018-10-02 GM Global Technology Operations LLC System and method for intended passenger detection
KR101768145B1 (ko) 2016-04-21 2017-08-14 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량

Also Published As

Publication number Publication date
US11097745B2 (en) 2021-08-24
JP2019149023A (ja) 2019-09-05
US10759447B2 (en) 2020-09-01
JP7063005B2 (ja) 2022-05-09
US20190263426A1 (en) 2019-08-29
CN110194181A (zh) 2019-09-03
US20200353946A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN110194181B (zh) 驾驶支持方法、车辆和驾驶支持系统
KR100810275B1 (ko) 차량용 음성인식 장치 및 방법
CN113302664A (zh) 运载工具的多模态用户接口
US11176948B2 (en) Agent device, agent presentation method, and storage medium
US10994612B2 (en) Agent system, agent control method, and storage medium
US20170046578A1 (en) Focus system to enhance vehicle vision performance
JP2005343431A (ja) 車両用情報処理システム
US10901503B2 (en) Agent apparatus, agent control method, and storage medium
CN112061024A (zh) 车辆外部扬声器系统
JP2014120114A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
US11021147B2 (en) Vehicles and methods for determining objects of driver focus
US20200317055A1 (en) Agent device, agent device control method, and storage medium
CN111731320B (zh) 智能体系统、智能体服务器及其控制方法、存储介质
JP2014120113A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2014120112A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
JP2019200125A (ja) 経路案内制御装置および経路案内制御方法
US11518399B2 (en) Agent device, agent system, method for controlling agent device, and storage medium
JP2018195167A (ja) 情報提供装置および情報提供方法
US20200234591A1 (en) Vehicle, vehicle control method, and vehicle control program
JP2014154125A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP7192561B2 (ja) 音声出力装置および音声出力方法
JP2017161423A (ja) 車載用情報提示装置、情報提示方法
US10812924B2 (en) Control apparatus configured to control sound output apparatus, method for controlling sound output apparatus, and vehicle
US20220084518A1 (en) Information Processing Device And Information Processing Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant