CN106364430B - 车辆控制装置及其车辆控制方法 - Google Patents

Abstract

车辆控制装置及其车辆控制方法。一种车辆控制装置，该车辆控制装置包括：相机，该相机被配置为拍摄车辆周围的图像；显示单元，该显示单元被配置为显示从所述相机接收到的所述图像；至少一个声音传感器，该至少一个声音传感器被布置在所述车辆上并被配置为感测在所述车辆内部或外部生成的声音；至少一个声音输出单元，该至少一个声音输出单元被布置在所述车辆上并被配置为输出在所述车辆内部或外部生成的声音；以及控制器，该控制器被配置为基于所感测到的在所述车辆内部或外部生成的声音来感测所述车辆的情况，并且基于所感测到的所述车辆的情况来控制所述声音传感器、所述声音输出单元和所述显示单元中的至少一个输出信息。

Description

车辆控制装置及其车辆控制方法

技术领域

本公开涉及能够利用声音信息来控制车辆的车辆控制装置及其车辆控制方法。

背景技术

终端通常可分为移动/便携式终端或固定终端。移动终端还可分为手持终端或车载终端。移动终端已经变得越来越多功能。这些功能的示例包括数据和语音通信、经由相机捕获图像和视频、记录音频、经由扬声器系统播放音乐文件、以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能，而其它终端被配置为多媒体播放器。

此外，随着电子技术的发展，已经大大发展了车辆的自动化技术。并且，已经与电子技术的发展一起开发了用于辅助驾驶员的驾驶的各种功能。这些技术通常被称作为高级驾驶员辅助系统(ADAS)。

为了辅助车辆的驾驶，在车辆领域中已经开发了各种传感器，并且已经开发了通过这些传感器来识别车辆周围的情况信息的技术。然而，这些传感器限于通过相机感测视觉信息等。因此，本公开提出了一种提供利用通过声音传感器感测到的听觉信息来辅助车辆的驾驶的功能的方法。

发明内容

因此，详细描述的一个方面在于基于声音信息来检测车辆周围的情况信息。

详细描述的另一方面在于提供一种车辆内部的驾驶员在不用打开窗户的情况下与车辆外部的行人谈话的方法。

详细描述的再一个方面在于基于声音信息来提供各种多媒体功能。

为了实现这些和其它优点并且根据本说明书的目的，如本文所具体实现和广义描述的，一种车辆控制装置包括：相机，该相机被配置为拍摄车辆周围的图像；显示单元，该显示单元被配置为显示从所述相机接收到的所述图像；声音传感器，该声音传感器被配置为感测在所述车辆内部或外部生成的声音；声音输出单元，该声音输出单元被配置为输出在所述车辆内部或外部生成的所述声音；以及控制器，该控制器被配置为基于与所述声音传感器所感测到的所述声音对应的声音信息来激活所述显示单元、所述声音传感器和所述声音输出单元中的至少一个，使得功能与所述声音有关。

为了实现这些和其它优点并且根据本说明书的目的，如本文所具体实现和广义描述的，一种车辆控制装置的车辆控制方法包括以下步骤：感测在车辆内部或外部生成的声音；基于与所生成的声音对应的声音信息来检测与所述车辆有关的情况信息；以及执行与和所述车辆有关的所述情况信息有关的至少一个功能。

本申请的适用性的进一步范围将从下文给出的详细描述而变得更显而易见。然而，应该理解，详细描述和特定示例虽然指示本公开的优选实施方式，但是仅通过例示给出，因为对于本领域技术人员而言，在本公开的精神和范围内的各种改变形式和修改形式将从详细描述变得显而易见。

附图说明

附图被包括以提供对本公开的进一步理解，并且被并入本说明书并构成本说明书的一部分，附图例示了示例性实施方式，并且与本说明书一起用来说明本公开的原理。

附图中：

图1A是例示了根据示例性实施方式的车辆控制装置的框图；

图1B是例示了根据示例性实施方式的远程信息处理(telematics)终端系统的概念图；

图1C是例示了根据示例性实施方式的远程信息处理终端的框图；

图2是例示了根据示例性实施方式的车辆控制装置中的车辆中设置的传感器的布置的概念图；

图3是例示了在根据示例性实施方式的车辆控制装置中基于与在车辆周围生成的声音对应的声音信息来控制车辆的方法的流程图；

图4A、图4B、图4C、图5A、图5B、图5C和图5D是例示了图3的控制方法的概念图；

图6A至图6C是例示了基于在显示单元中显示的情况信息来控制车辆的方法的概念图；

图7A和图7B是例示了基于声音信息按照不同的输出形式显示在显示单元上显示的图形对象的方法的概念图；

图8A和图8B是例示了基于与在车辆周围生成的声音对应的声音信息来提供驾驶引导信息的方法的概念图；

图9是例示了基于与在车辆周围生成的声音对应的声音信息来控制噪声灵敏度的方法的概念图；以及

图10A、图10B、图11A和图11B是例示了基于声音信息来推荐或执行多媒体功能的方法的概念图。

具体实施方式

现在将参照附图根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的组件提供相同的或相似的附图标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给予任何特殊含义或功能。在本公开中，为了简洁，通常已经省略相关领域的普通技术人员所公知的内容。使用附图来帮助容易地理解各种技术特征，应该理解，本文呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。

本发明中的车辆可以是用于感测与车辆周围的环境有关的信息并执行电子控制的车辆。

图1A是例示了根据示例性实施方式的车辆控制装置的框图。车辆控制装置100可包括无线通信单元110、输入单元120、驱动单元130、感测单元140、输出单元150、接口单元160、存储器170、控制器180、电源单元190等。不要求实现所示的所有组件，可另选地实现更多或更少的组件。

现在参照图1A，车辆控制装置100被示出为具有无线通信单元110，该无线通信单元110配置有多个通常实现的组件。例如，无线通信单元110通常包括允许车辆控制装置100与无线通信系统或移动终端所在的网络之间的无线通信的一个或更多个组件。

无线通信单元110通常包括允许通信(例如，车辆控制装置100与无线通信系统之间的无线通信、车辆控制装置100与另一移动终端之间的通信、车辆控制装置100与外部服务器之间的通信)的一个或更多个模块。另外，无线通信单元110通常包括将车辆控制装置100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信，无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。

无线通信单元110可按照无线方式与移动终端或服务器交换数据。无线通信单元110可与车辆驾驶员的移动终端以无线方式交换数据。无线方式可包括蓝牙、Wi-Fi直连、Wi-Fi、APix、NFC等。无线通信单元110可从移动终端或服务器接收天气信息或者关于道路上的交通情况的信息，例如传输协议专家组(TPEG)信息。

当用户登上车辆时，用户的移动终端和车辆控制装置100可自动地或根据用户的请求通过短距离通信模块114执行配对。输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如，触摸键、按键、机械键、软键等)。数据(例如，音频、视频、图像等)通过输入单元120来获得，并且可由控制器180根据装置参数、用户命令及其组合来分析和处理。

驱动单元130可控制构成车辆的总体组件。驱动单元130可包括灯驱动单元131、转向驱动单元132、制动驱动单元133、动力源驱动单元134、天窗驱动单元135、悬挂驱动单元136、空调驱动单元137、窗户驱动单元138、气囊驱动单元139等。

灯驱动单元131可控制布置在车辆内部或外部的灯的开启/关闭。并且，灯驱动单元131可控制从灯发射的光的强度、方向等。例如，灯驱动单元131可开启或关闭车辆中设置的方向指示灯、制动灯等。

转向驱动单元132可执行车辆中的转向设备的电子控制。转向设备可以是车辆中设置的用于控制车辆的主体的移动的用户输入单元。例如，转向设备可成为手柄或转向盘。转向设备可基于用户输入来控制车辆的主体的运动方向。例如，当用户使转向盘向右转时，转向设备可控制车辆使得车辆的前进方向面向右。

制动驱动单元133可执行车辆中的制动设备的电子控制。制动设备是提供来制动车辆的组件。制动设备可通过向车轮和其它设备传递制动力来制动车辆的移动。制动设备可基于用于生成制动力的力而包括手制动器、空气制动器、电制动器等。

制动驱动单元133可控制制动设备，使得由该制动设备生成的制动力被传递给车轮和其它设备。作为示例，制动驱动单元133可通过控制布置在车轮处的制动器的移动来减小车辆的速度。作为另一示例，制动驱动单元133可通过使得分别布置在左车轮和右车轮处的制动器能够不同地操作来控制车辆向左或向右的前进方向。

动力源驱动单元134可执行车辆中的动力源的电子控制。作为示例，当基于化石燃料的发动机被用作动力源时，动力源驱动单元134可执行发动机的电子控制。因此，动力源驱动单元134能够控制发动机的输出转矩等。作为另一示例，当基于电的电机被用作动力源时，动力源驱动单元134可执行电机的控制。因此，动力源驱动单元134能够控制电机的转速、转矩等。

天窗驱动单元135可执行车辆中的天窗设备的电子控制。例如，天窗驱动单元135可控制车辆的天窗的打开或关闭。悬挂驱动单元136可执行车辆中的悬挂设备的电子控制。例如，当在路面上存在不平坦时，悬挂驱动单元136可控制悬挂设备，使得车辆的振动减小。

空调驱动单元137可执行车辆中的空调的电子控制。例如，当车辆内部的温度较高时，空调驱动单元137可控制空调，使得冷空气被供应到车辆中。窗户驱动单元138可执行车辆中的窗户设备的电子控制。例如，窗户驱动单元138可控制布置在车辆的侧面处的左窗户和右窗户的打开或关闭。

气囊驱动单元139可执行车辆中的气囊设备的电子控制。例如，气囊驱动单元139可控制气囊设备，使得当感测到车辆的事故时，气囊吹胀。

感测单元140可包括用于车辆内信息、围绕车辆的周围环境信息和用户信息中的至少一个的一个或更多个传感器。例如，感测单元140可包括以下传感器中的至少一个：接近传感器141、照明传感器142、声音传感器143、航向传感器、偏航传感器、车辆前进/后退传感器、车轮传感器、车辆速度传感器、触摸传感器、加速度传感器、磁传感器、重力(G)传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机(参见121))、麦克风(参见122)、电池电量计、环境传感器(例如，气压计、湿度计、温度计、放射性传感器、热传感器、气体传感器等)、化学传感器(例如，电子鼻、保健传感器、生物传感器等)、车体倾斜传感器、电池传感器、燃料传感器、轮胎传感器以及用于感测转向车轮的旋转程度的转向传感器。此外，本说明书中公开的车辆可使用由这些传感器中的至少两个传感器感测到的信息的组合。

另外，感测单元140还可包括加速器踏板传感器、压力传感器、发动机速度传感器、气流传感器(AFS)、气温传感器(ATS)、水温传感器(WTS)、油门位置传感器(TPS)、TDC传感器、曲柄角传感器(CAS)等。声音传感器143可以是麦克风122的组件，或者可独立于麦克风122提供。声音传感器可被形成为感测音频信号。音频信号可以是在车辆外部或内部生成的声音。本说明书中公开的车辆可以使用与声音传感器143所感测到的音频信号对应的信息。

输出单元150通常被配置为输出各种类型的信息，例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。显示单元151可具有与触摸传感器的中间层结构或集成结构，以便方便触摸屏。触摸屏可在车辆控制装置100与用户之间提供输出接口，并且用作在车辆控制装置100与用户之间提供输入接口的用户输入单元123。

显示单元151可包括在车辆内部前面的仪表板(cluster)或平视显示器(HUD)。此外，当显示单元151是HUD时，显示单元151可包括用于将图像投影到车辆控制装置100的前玻璃上的投影模块。

接口单元160用作与可连接到车辆控制装置100的各种类型的外部装置的接口。例如，接口单元160可包括任何车辆ECU 270、车辆传感器260、有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下，车辆控制装置100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。

存储器170通常被实现为存储用于支持车辆控制装置100的各种功能或特征的数据。例如，存储器170可被配置为存储在车辆控制装置100中执行的应用程序、用于车辆控制装置100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在车辆控制装置100内，针对车辆控制装置100的基本功能(例如，道路引导功能、车辆控制功能等)，通常是这种情况。常见的是，应用程序被存储在存储器170中，被安装在车辆控制装置100中，并由控制器180执行以执行车辆控制装置100的操作(或功能)。

除了与应用程序关联的操作以外，控制器180通常还用于控制车辆控制装置100的总体操作。控制器180可通过对由图1A所示的各种组件输入或输出的信号、数据、信息等进行处理、或者激活存储在存储器170中的应用程序，来提供或处理适合于用户的信息或功能。作为一个示例，控制器180根据存储在存储器170中的应用程序的执行来控制图1A至图1C所例示的一些或全部组件。控制器180可被理解为执行与车辆电子控制单元(ECU)相同的功能或相似的功能的组件。

电源单元190可被配置为接收外部电力或提供内部电力，以便供应对包括在车辆控制装置100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池，所述电池可被配置为嵌入终端主体中，或者被配置为可从终端主体拆卸。

图1B是例示了根据本说明书中公开的示例性实施方式的具有通信终端的远程信息处理终端系统的框图。如图1B所示，车辆远程信息处理终端系统可包括：信息提供中心40，其用于提供交通信息和各种数据(例如，程序、执行文件等)；以及安装在车辆中的远程信息处理终端200，其用于经由远程无线通信网络30和/或短距离无线通信网络接收交通信息，并基于交通信息和经由卫星20接收到的GPS信号来提供道路引导服务。这里，通信网络的示例还可包括有线/无线通信网络，诸如局域网(LAN)、广域网(WAN)等。

各种交通信息(例如，道路交通信息或关注区域信息)以及交通灯信息经由通信网络收集，并且所收集的信息由信息提供中心40(例如，服务器)根据传输协议专家组(TPEG)标准进行处理，以便被发送给广播站。因此，广播站将包括交通灯信息的这种交通信息插入在广播信号中并且将该广播信号广播给远程信息处理终端200。这里，当车辆接近对应的交通灯时，可另选地从安装在交通灯中的服务器接收交通灯信息。

服务器可将(经由连接至通信网络的不同路径收集的，例如，通过操作员的输入、经由有线/无线互联网和数字广播服务(诸如传输数据信道(TDC)和多媒体对象传输(MOC))或从其它服务器或探测车收集的)各种交通信息重构为交通信息格式(诸如根据针对交通信息服务的标准的TPEG标准的格式)，从而将经重构的交通信息发送给广播站。服务器因此可生成TPEG标准的包括交通灯信息的交通信息格式以发送给广播站。

广播站然后可将从服务器接收到的包括交通灯信息的交通信息加载在广播信号中并且将该广播信号以无线方式发送给被安装在车辆中以起到交通信息接收终端的作用的远程信息处理终端200，例如，导航设备。交通信息可不仅包括交通灯信息而且包括与各种交通条件有关的信息，所述各种交通条件是运转车辆、船只和飞机所需要的，诸如事故，道路条件、交通堵塞、道路建设、路障、公共交通网延迟、飞机延迟等。

广播站可接收由服务器处理的包括交通灯信息的交通信息，并且根据各种数字广播标准经由数字信号将其发送给远程信息处理终端200，数字广播标准的示例可包括基于Eureka-147(ETSI EN 300 401)的欧洲数字音频广播(DAB)、地面/卫星数字多媒体广播(DMB-T/S)、地面数字视频广播(DVB-T)、手持便携式数字视频广播(DVB-H)、媒体仅前向链路(MFLO)等。

并且，广播站可经由有线/无线网络(诸如有线/无线互联网)发送包括交通灯信息的交通信息。具有远程信息处理终端200的车辆指示典型汽车、公共汽车、火车、船只、飞机等(其通过采用机械和电子装置来制造以用于携带或运输人或物体的目的)的任何运输。车辆具有用于从广播站接收交通灯信息的交通信息接收终端。交通灯信息被处理以按照图形、文本和/或音频格式发送给用户。

远程信息处理终端200可包括移动通信模块。该移动通信模块可通过移动通信网络向基站10、外部终端和服务器中的至少一个发送无线信号/从基站10、外部终端和服务器中的至少一个接收无线信号。这里，无线信号可包括语音呼叫信号、电话呼叫信号和/或响应于文本/多媒体消息的发送/接收的各种类型的数据。

远程信息处理终端200可利用有线/无线通信技术与车辆终端700进行通信。车辆终端700可执行典型的车辆控制，提供诸如速度、齿轮状态等的车辆相关信息，开启/关闭车辆的应急灯，开启/关闭前灯，通过安装在车辆的座位内的传感器来确定乘客是否已经坐下，吹喇叭等。车辆终端700可包括HUD或投影仪。

图1C是例示了根据本说明书中公开的示例性实施方式的远程信息处理终端200的配置的框图。如图1C所示，远程信息处理终端200可包括主板210。主板210可包括用于远程信息处理终端200的总体控制的控制器(例如，中央处理单元(CPU))212、用于存储各种类型的信息的存储器213、用于控制各种类型的键信号的键控制器211以及用于控制LCD的液晶显示器(LCD)控制器214。

存储器213可存储用于在数字地图上显示道路引导信息的地图信息(地图数据)。并且，存储器213可存储用于根据车辆当前正在行进的道路条件来使得能够输入交通信息的交通信息收集控制算法和用于控制该算法的信息。

主板210可包括：无线通信模块206，其用于执行远程信息处理终端200与无线通信系统之间的无线通信或远程信息处理终端200与该远程信息处理终端200所在的网络之间的无线通信；位置信息模块207，其用于接收全球定位系统(GPS)信号以引导车辆的位置、跟踪从出发点至到达点的前进路线等，或者发送由用户利用GPS信号收集的交通信息；光盘(CD)机芯208，该光盘(CD)机芯208用于再现记录在CD上的信号；陀螺仪传感器209等。无线通信模块206和位置信息模块207可分别经由对应的天线204和天线205发送和接收信号。

无线通信模块206可包括：移动通信模块206a，其作为具有唯一地给出的装置编号的移动通信终端以用于通过移动通信网络利用基站、外部终端和服务器中的至少一个来发送和接收无线信号；无线互联网模块206b，其用于通过诸如无线LAN(WLAN)、Wi-Fi、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行链路分组接入(HSDPA)等的技术来允许无线互联网接入；以及短距离通信模块206c，其用于通过诸如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、无线LAN(诸如蓝牙、802.11n等的协议)等的技术来执行通信。

广播接收模块222可连接至主板210以经由天线223接收广播信号。主体210可经由接口板203与由LCD控制器214控制的显示器(LCD)201、由键控制器211控制的前板202以及用于捕获车辆的内部和/或外部的相机227连接。显示器201可显示各种视频信号、文本信号等。前板202可被设置有用于各种类型的键信号输入的按钮，并且向主板210提供与用户选择的按钮对应的键信号。并且，显示器201可以包括图2所示的接近传感器和触摸传感器(触摸屏)。

前板202可包括用于允许交通信息的直接输入的菜单键。菜单键可由键控制器211控制。音频板217可连接至主板210以处理各种音频信号。音频板217可包括用于控制音频板217的微计算机219、用于接收无线电信号的调谐器218、用于向微计算机219供应电力的电源单元216以及用于处理各种音频信号的信号处理器215。

音频板217还可包括用于接收无线电信号的无线电天线220以及用于再现音频磁带的磁带机221。音频板217还可包括用于输出在音频板217中处理的音频(语音)信号的音频输出单元(例如，放大器)226。

音频输出单元(放大器)226可连接至车辆接口224。也就是说，音频板217和主板210可连接至车辆接口224。车辆接口224还可被提供用于连接用于输入语音信号的免提225a、用于乘客的安全的气囊226a、用于检测车辆速度的速度(速率)传感器225c。速度传感器225c可计算车辆速度并且将所计算出的速度信息提供给控制器(CPU)212。

应用于远程信息处理终端200的导航会话300可基于地图数据和与车辆有关的当前位置信息来生成道路引导信息，并且向用户通知所生成的道路引导信息。显示器201可经由接近传感器检测显示窗口内的接近触摸。例如，显示器201在指点器(例如，手指或手写笔)生成接近触摸时检测接近触摸的位置，并且向控制器212输出与所检测到的位置对应的位置信息。

语音识别装置(或语音识别模块)301可识别用户的语音，并且根据经识别的语音信号来执行对应的功能。应用于远程信息处理终端200的导航会话300可在地图数据上显示行进路径。组件中的至少一些可彼此协作地操作，以便根据将在下面描述的各种示例性实施方式来实现车辆的操作、控制或控制方法。并且，车辆的操作、控制或控制方法可通过驱动存储在存储器170中的至少一个应用程序来实现在车辆中。

在下文中，将利用附图来描述与能够在包括图1A和图1C所描述的组件当中的一个或更多个组件的车辆控制装置或远程信息处理终端中实现的车辆控制方法有关的示例性实施方式。对于本领域技术人员而言显然的是，本公开可在不脱离其精神或本质属性的情况下以其它特定形式具体实现。在以下描述中，将基于车辆控制装置来描述控制方法。然而，相同的控制方法可应用于远程信息处理终端。

在下图的描述中，将基于在左上侧处绘制的图按照顺时针方向顺序或垂直顺序依次描述这些图。本公开能够利用与在车辆周围生成的声音对应的声音信息来控制车辆。在下文中，将参照附图描述根据本公开的实施方式的车辆控制装置基于与在车辆周围生成的声音对应的声音信息来控制车辆的方法。

图2是例示了根据示例性实施方式的车辆控制装置中的车辆中设置的传感器的布置的概念图。根据本公开的实施方式的车辆控制装置能够包括声音传感器143(或声音感测单元)、麦克风122、声音输出单元152和包括图像传感器的相机121。本公开能够通过独立地设置或包括在麦克风122中的声音传感器143来感测车辆内部或外部的声音。

声音传感器143可被配置为感测车辆内部或外部的声音。例如，声音传感器143可以是用于感测具有比音频频率高的频率的声音的超声传感器、用于感测具有比音频频率低的频率的声音的地震传感器、用于感测具有音频频率的声音的语音识别传感器等。也就是说，声音传感器143可感测车辆内部或外部的声音，从而生成与该声音对应的音频数据。音频数据可被理解为声音信息。

声音传感器143可能对在预定方向上生成的声音具有高灵敏度。声音传感器143可执行定向麦克风的相同功能。并且，声音传感器143可能对在与预定方向不同的方向上生成的声音具有低灵敏度。也就是说，与在不同于预定方向的方向上生成的声音相比，声音传感器143可更好地感测在预定方向上生成的声音。例如，与在后方向上生成的声音相比，声音传感器可更好地感测在前方向上生成的声音。

在根据本公开的实施方式的车辆控制装置中，可提供多个声音传感器143。在这种情况下，可基于车辆将声音传感器143布置在车辆外部或内部的不同位置处以感测在各个方向上生成的声音。作为示例，如图2所示，多个声音传感器300a、300b、300c和300d可被配置为感测在车辆外部生成的声音。在所述多个声音传感器300a、300b、300c和300d当中，两个声音传感器300a和300b可被布置在车辆前面，并且两个声音传感器300c和300d可被布置在车辆后部。在前面的两个声音传感器300a和300b以及在后部的两个声音传感器300c和300d可被布置为在车辆的主体的左侧和右侧处彼此间隔开。这里，布置在车辆的主体的外部的声音传感器300a、300b、300c和300d可被理解为与术语“外部声音感测单元”相同的意义。

作为另一示例，所述多个声音传感器可被布置为在车辆的主体内部彼此间隔开以便感测车辆内部生成的声音。例如，多个声音传感器(在图4A和图4B中的示例中示出了声音传感器320a、320c)可被布置为在车辆的主体内部的前侧、后侧、左侧和右侧处彼此间隔开。

声音输出单元152能够输出与声音信息对应的声音。声音输出单元152能够在预定方向上输出声音。声音输出单元152可用作定向扬声器。也就是说，声音输出单元151可以在与预定方向不同的方向上不输出任何声音。例如，声音输出单元152能够在基于其前面顺时针移动45度的方向上输出声音。在这种情况下，位于另一方向上的用户无法听到由声音输出单元152生成的声音。

在该车辆中，可提供多个声音输出单元151。在这种情况下，像上述声音传感器一样，如图2所示的多个声音输出单元310a、310b、310c和310d可被布置为在车辆的主体外部彼此间隔开，使得车辆在各个方向上输出声音。另外，多个声音输出单元(在图4A和图4B中的示例中示出了声音输出单元330a、330c)可被布置为在车辆的主体内部彼此间隔开。

相机121可被配置为拍摄(或捕获)车辆的内部或外部。可提供多个相机121，以便拍摄车辆的主体周围的图像。例如，多个相机可被布置在车辆的主体的前侧、后侧和两侧反光镜处，以拍摄车辆的所有前图像、后图像、左图像和右图像。在这种情况下，控制器180能够通过对前图像、后图像、左图像和右图像进行合成来生成车辆周围的图像，并将所生成的图像显示在显示单元151上。因此，用于基于车辆的主体来拍摄车辆周围的图像并且提供图像如同用户查看(从空中查看)车辆周围的图像一样的系统可被称作全景监控(AVM)系统。

在上文中，已经描述了根据本公开的实施方式的车辆控制装置中的声音传感器143、声音输出单元152和相机121的布置结构。在以下描述中，将基于多个地提供了声音传感器143、声音输出单元152和相机121中的每一个的车辆对本公开进行描述。然而，本公开能够应用于被作为一个系统提供或者当提供了仅一个声音传感器、一个声音输出单元和一个相机时的声音传感器143、声音输出单元152和相机121。并且，在以下描述中，将在假定声音传感器和声音输出单元是定向声音传感器和定向声音输出单元时描述本公开。然而，本公开可应用于通常的声音传感器和通常的麦克风。

在下文中，将描述在根据本公开的实施方式的车辆控制装置中利用在车辆周围生成的声音来控制车辆的方法。具体地，图3是例示了在根据示例性实施方式的车辆控制装置中基于与在车辆周围生成的声音对应的声音信息来控制车辆的方法的流程图。图4A、图4B、图4C、图5A、图5B、图5C和图5D是例示了图3的控制方法的概念图。

首先，根据本公开的实施方式的车辆控制装置中的控制器180能够感测在车辆外部或内部生成的声音(S310)。控制器180能够通过声音传感器143来感测在车辆外部或内部生成的声音。

在车辆外部或内部生成的声音可以是位于车辆内部的用户的语音、由车辆的主体的振动导致的声音、从车辆的组件生成的声音、从位于车辆外部的人生成的声音、从另一车辆生成的声音等。如果感测到声音，则根据本公开的实施方式的车辆控制装置中的控制器180基于与所感测到的声音对应的声音信息来执行与所感测到的声音有关的功能(S320)。

如果声音由声音传感器143感测到，则控制器180能够基于与所感测到的声音对应的声音信息来执行与所感测到的声音有关的功能。声音信息可包括频率、音量、音色、音高和持续时间或长度。控制器180能够基于与所感测到的声音对应的声音信息来检测情况信息。

情况信息可包括救护车的接近信息、声音生成源的位置信息、路面的状态信息、车辆呼叫信息、免下车状态信息、外部噪声信息、外部物体的种类信息、停车汽笛信息、障碍物信息等。控制器180能够在存储在存储器170中的多个声音信息当中检测与所感测到的声音信息对应的声音信息。

可将与多个声音信息分别对应的情况信息存储在存储器170中。例如，可将与第一声音信息对应的第一情况信息和与第二声音信息对应的第二情况信息存储在存储器中。因此，控制器180能够检测存储在存储器170中的情况信息，其对应于与所感测到的声音对应的声音信息。例如，当与所感测的声音对应的声音信息对应于救护车的汽笛声音信息时，控制器180能够检测到表示救护车正在接近的情况信息。

控制器180能够基于与所感测到的声音对应的声音信息来检测生成由多个声音传感器143感测到的声音的声音生成源的位置。更具体地，控制器180能够利用多个声音传感器143来感测从声音生成源生成的声音，并且利用与由多个声音传感器143感测到的声音分别对应的多个声音信息来检测声音生成源的位置。例如，控制器180能够基于关于当声音由各个声音传感器143感测到时的时间点和所感测到的声音的音量的信息来检测声音生成源的位置。

控制器180能够基于声音信息来检测路面状态信息。路面状态信息可以是表示路面的状态的信息。例如，路面状态信息可以是路面的摩擦信息、关于路面上障碍物的存在的信息等。

更具体地，控制器180能够基于车轮与路面之间生成的摩擦声音来检测路面的摩擦力。例如，当车轮与路面之间生成的摩擦声音是由于路面上的水分而导致的时，控制器180能够基于车轮与路面之间生成的摩擦声音检测到路面的摩擦力较小。因此，用户能够认识到车辆可能由于车轮与路面之间的小摩擦力而滑行的事实并通过考虑该事实来控制车辆。

当感测到包括预定单词的声音信息时或者当在特定距离内感测到音量等于或大于预定音量的声音时，控制器180能够检测到车辆呼叫信息。车辆呼叫信息可以是表示是否已经从外部呼叫该车辆的信息。作为示例，可基于包括驾驶员的名字、车辆的车号牌和预定车辆数量的声音信息来检测车辆呼叫信息。作为另一示例，可基于在离车辆特定距离内音量等于或大于预定音量的声音信息来检测车辆呼叫信息。

控制器180能够基于位置信息和包括预定单词的声音信息中的至少一个来检测免下车状态信息。免下车状态信息可以是表示驾驶员打算在车辆内部定购食物的状态的信息。作为示例，可基于包括单词“您准备点餐吗？(Are you ready to order？)”的声音信息来检测免下车状态信息。作为另一示例，可基于特定餐馆的位置信息来检测免下车状态信息。

控制器180能够基于外部声音来检测外部噪声信息、外部物体的种类信息或停车汽笛信息。外部噪声信息可以是关于外部噪声的量的信息。外部物体的种类信息可以是诸如救护车、自行车或人的声音生成源的种类信息。

如果基于声音检测到情况信息，则控制器180能够向用户推荐适合于该情况信息的功能，或者自动地执行适合于该情况信息的功能。适合于情况信息的功能可以是与声音有关的功能。

与声音有关的功能可以是使用与声音对应的声音信息作为输入信息的功能、输出声音和与该声音有关的通知信息的功能、显示与和声音对应的声音信息有关的信息的功能等。例如，如图4A所示，如果感测到生成了从外部呼叫车辆的声音，则控制器180能够激活声音传感器143和声音输出单元152，使得在车辆内部的用户与生成声音的声音生成源对话。

这里，激活对应于声音传感器或声音输出单元随着电力被供应给声音传感器或声音输出单元而感测或输出声音。相反，非激活对应于声音传感器或声音输出单元随着对声音传感器或声音输出单元的电力的供应被切断而不感测或输出任何声音。

也就是说，当多个声音传感器和多个声音输出单元被布置为在车辆内部或外部彼此间隔开时，控制器180能够基于呼叫车辆的声音来检测声音生成源的位置。并且，控制器180能够激活多个声音传感器143和多个声音输出单元152当中的被定位为与声音生成源的位置对应的至少一个声音传感器143和至少一个声音输出单元152，以朝向声音生成源的位置输出声音或者感测在声音生成源的位置处生成的声音。

另外，控制器180能够相对于未被布置在与声音生成源的位置对应的位置处的其它声音传感器和其它声音输出单元降低声音的灵敏度或声音的输出大小。此外，控制器180能够不激活未被布置在与声音生成源的位置对应的位置处的其它声音传感器和其它声音输出单元。

也就是说，本公开能够提供从声音生成源生成的声音被更灵敏地感测到并且朝向声音生成源输出的声音被更响亮地输出，从而平滑地执行声音生成源与车辆之间的对话的方法。例如，如图4A所示，控制器180能够感测到已经生成包括被称作标明车辆的车号牌的“5885”的单词的声音。在这种情况下，控制器180能够将声音确定为呼叫车辆的声音，并且基于与该声音对应的声音信息来检测该声音的声音生成源。

当声音生成源位于车辆后部时，如图4A和图4B所示，控制器180能够激活多个声音传感器和多个声音输出单元当中的被布置在车辆后部的声音传感器和声音输出单元。因此，用户能够通过布置在车辆后部的声音输出单元听到在车辆后部生成的被称作“5885”的声音。并且，用户能够通过布置在车辆后部的声音输出单元向位于车辆后部的声音生成源发送被称作“您为什么呼叫我？”或“您为何呼叫我？”的语音。

因此，用户能够听到由在车辆后部的声音生成源生成的声音，以直观地确定声音生成源的位置。此外，用户能够向在车辆后部的声音生成源发送声音，以与声音生成源对话。控制器180能够降低或不激活未被定位为与声音生成源的位置对应的其它声音传感器和其它声音输出单元的灵敏度。因此，在本公开的实施方式中，能够拦截导致用户与声音生成源之间的对话中断的声音。

当满足预定条件时，控制器180能够控制相机121，使得声音生成源的图像被显示在显示单元151上。预定条件可包括声音信息是救护车的汽笛信息的条件、声音生成源位于驾驶员的视角之外的条件、车辆周围的障碍物的数量等于或大于预定数量的条件、声音生成源位于离车辆预定距离之外的条件以及车辆当前位于交通事故多发地段处的条件中的至少一个。

作为示例，如图4C所示，当确定了声音生成源已经位于车辆后部(在驾驶员的视角之外)时，控制器180能够通过相机121来拍摄声音生成源的图像，并且在布置在车辆的仪表板处的显示单元151上显示声音生成源(人)的图像。因此，用户能够在无需移动用户的眼睛的情况下标识在用户的眼睛之外的声音生成源。这里，用户的视角可通过用于感测驾驶员的眼睛的眼睛感测单元来感测。眼睛感测单元被配置为感测用户的眼睛。例如，眼睛感测单元可被配置为用于拍摄驾驶员的眼睛的相机。

作为另一示例，当声音生成源位于离车辆预定距离之外时，控制器180能够通过相机121来拍摄声音生成源的图像，并且将声音生成源的图像显示在显示单元151上。因此，当即使声音生成源位于用户的眼睛内声音生成源也远离车辆定位时，用户能够通过显示单元151来标识声音生成源的图像。

当不满足用于显示声音生成源的图像的预定条件时，控制器180不能够在显示单元151上显示声音生成源的图像。作为示例，当确定了声音生成源已经位于驾驶员的视角内时，控制器180不能够在显示单元151上显示声音生成源的图像。在这种情况下，控制器180不能够通过确定驾驶员能够直接标识声音生成源来在显示单元151上独立地显示声音生成源的图像。

作为另一示例，当声音生成源被定位为离车辆预定距离内时，控制器180不能够在显示单元151上显示声音生成源的图像。在这种情况下，控制器180不能够通过确定驾驶员能够充分地识别声音生成源来在显示单元151上显示声音生成源的图像。

另外，控制器180能够基于位置信息和声音信息中的至少一个来检测情况信息，并基于该情况信息来执行与声音有关的功能。例如，如图5A所示，控制器180能够基于免下车可能的位置信息和与被称作“您准备点餐吗？”的语音对应的声音信息中的至少一个来检测免下车情况信息。

如果感测到免下车情况信息，则控制器180能够激活声音传感器143和声音输出单元152，使得驾驶员能够与声音生成源对话。在这种情况下，控制器180能够基于声音信息来检测声音生成源的位置，并控制声音传感器143和声音输出单元152，使得驾驶员与声音生成源对话。也就是说，当设置了多个声音传感器和多个声音输出单元时，控制器180能够激活位于与声音生成源的位置对应的位置处的至少一个声音传感器和至少一个声音输出单元。

如图5B所示，当声音生成源被定位在驾驶员座位的方向上时，控制器180能够激活位于与驾驶员座位的方向对应的位置处的声音传感器和声音输出单元。也就是说，控制器180能够通过位于与驾驶员座位的方向对应的位置处的声音输出单元来输出被称作“您准备点餐吗？”的声音。

如图5C所示，控制器180能够通过位于与驾驶员座位的方向对应的位置处的声音输出单元来输出被称作“请给我一个汉堡”的声音，使得位于车辆内部的驾驶员的话音声音面向位于车辆外部的声音生成源。因此，驾驶员能够在无需打开车辆的窗户的情况下与声音生成源对话。

如图5D所示，如果检测到免下车情况信息，则控制器180能够将与该免下车情况信息有关的画面信息显示在显示单元151上。与免下车情况信息有关的画面信息可以包括餐馆的菜单信息、价格信息、折扣优惠券信息以及用于控制声音输出单元的图形对象。

用于确定声音传感器和声音输出单元是否被激活的信息可以是与分别控制被布置为彼此间隔开的声音传感器和声音输出单元的激活的功能有关的图形对象。例如，如图5D所示，可在显示单元151上显示用于激活和不激活布置在与驾驶员座位对应的位置处的声音输出单元的图形对象510a和图形对象510b、用于激活和不激活布置在与乘客座位对应的位置处的声音输出单元的图形对象520a和图形对象520b以及用于激活和不激活分别布置在与后座对应的位置处的声音输出单元的图形对象530a至图形对象540b。

控制器180能够基于施加到与分别控制被布置为彼此间隔开的声音传感器和声音输出单元的激活的功能有关的图形对象的触摸输入来控制声音传感器和声音输出单元中的每一个的激活。例如，控制器180能够基于施加到用于将布置在与乘客座位对应的位置处的声音输出单元激活的图形对象520a的触摸输入来将布置在与乘客座位对应的位置处的声音输出单元激活。类似地，控制器180能够基于施加到用于不激活布置在与乘客座位对应的位置处的声音输出单元的图形对象520b的触摸输入来不激活布置在与乘客座位对应的位置处的声音输出单元。因此，除了位于驾驶员座位处的驾驶员之外，位于乘客座位处的用户还能够与外部声音生成源对话以便直接定购食物。

此外，控制器180能够通过声音传感器和声音输出单元在驾驶员正与外部声音生成源对话的同时感测窗户的打开状态。在这种情况下，控制器180能够基于窗户的打开状态来确定声音传感器和声音输出单元是否被激活。

更具体地，如果感测到窗户的状态从窗户关闭的状态改变为窗户打开的状态，则控制器180能够不激活声音传感器和声音输出单元。也就是说，当车辆内部的声音随着窗户打开而将被直接发送到车辆的外部时，根据本公开的实施方式的车辆控制装置可以不执行通过声音传感器和声音输出单元来发送声音的功能。因此，根据本公开的实施方式的车辆控制装置可以不激活不必要的声音传感器和声音输出单元。

另外，当确定了声音生成源是有车辆事故的风险的行人时，控制器180能够输出通知信息。在这种情况下，可基于声音信息来确定声音生成源是否为有车辆事故的风险的行人。更具体地，当声音生成源被定位在离车辆预定距离内时，控制器180能够确定声音生成源是有车辆事故的风险的行人。相反，当声音生成源不被定位在离车辆预定距离内时，控制器180能够确定声音生成源是没有车辆事故的风险的行人。

通知信息可按照视觉方式、听觉方式和触觉方式中的任一种方式输出。例如，通知信息可成为被称作“小心！”的语音或者从灯朝向行人输出的光。例如，当声音生成源被定位在离车辆预定距离内时，控制器180能够通过声音输出单元152输出被称作“小心！”的通知信息。

相反，当声音生成源不被定位在离车辆预定距离内时，控制器180能够控制声音输出单元152，使得通知信息不通过声音输出单元152输出。

根据本公开的实施方式的车辆控制装置能够操作灯驱动单元，使得光朝向声音生成源输出。在这种情况下，光可按照与如上所述声音通过声音传感器和声音输出单元输出的相同方式从灯驱动单元输出。例如，控制器180能够控制灯驱动单元，使得光面向声音生成源的位置。

在上文中，已经描述了基于在车辆周围生成的声音来检测情况信息并提供适合于该情况信息的功能的方法。在下文中，将描述显示基于在车辆周围生成的声音检测到的情况信息并基于显示在显示单元上的该情况信息来控制车辆的方法。图6A至图6C是例示了基于显示在显示单元上的情况信息来控制车辆的方法的概念图。

根据本公开的实施方式的车辆控制装置中的控制器180能够通过感测在车辆内部或外部生成的声音来检测车辆周围的情况信息。在这种情况下，为了在视觉上将情况信息提供给用户，控制器180能够将该情况信息转换成图形对象或文本，并且将经转换的图形对象或文本显示在显示单元151上。除了图形对象或文本之外，控制器180还能够将通过拍摄车辆周围的情况而获得的图像作为情况信息显示在显示单元151上。

例如，如图6A所示，控制器180能够在显示单元151上显示表示至少一个声音生成源的图形对象600a、600b、600c和600d、表示外部声音的大小的图形对象610以及表示通知信息的输出大小的图形对象620。

至少一个声音生成源可以是人、自行车、车辆、建筑物等。在这种情况下，控制器180能够基于与声音对应的声音信息来确定声音生成源的种类。并且，控制器180能够根据声音生成源的种类来将声音生成源显示为不同的图形对象。例如，如果确定了声音生成源是人，则控制器180能够显示人形状的图形对象。如果确定了声音生成源是自行车，则控制器180能够显示自行车形状的图形对象。

控制器180能够基于声音信息来检测声音生成源的位置。并且，控制器180能够在显示单元151上的整个区域中的与声音生成源的位置对应的区域上显示表示声音生成源的图形对象。例如，如图6A所示，控制器180能够在与表示至少一个声音生成源的图形对象的位置对应的区域上显示表示至少一个声音生成源的图形对象600a、600b、600c和600d中的至少一个。

控制器180能够基于声音信息来检测声音生成源的安全程度，并且将所检测到的安全程度显示在显示单元151上。安全程度是指表示声音生成源与车辆之间的事故的风险程度的信息。如果事故的风险较低，则安全程度可能较高。如果事故的风险较高，则安全程度可能较低。

例如，如图6A所示，控制器180能够将表示安全程度较高的“安全”显示在与安全程度被确定为较高的声音生成源相邻的区域上，并且将表示安全程度较低的“危险”显示在与安全程度被确定为较低的声音生成源相邻的区域上。

表示外部声音的大小的图形对象610可表示感测到的声音的大小信息。例如，如图6A所示，控制器180能够将外部声音的大小信息显示为条状图形。表示通知信息的输出大小的图形对象620可表示用于向外部输出通知信息的声音设置的输出大小。例如，如图6A所示，控制器180能够显示声音设置的输出大小，使得被称作“请让步”的通知信息以大小4来输出。

当用户的请求或声音信息满足预定条件时，控制器180能够将声音信息转换成图形对象或文本，并且将经转换的图形对象或文本显示在显示单元151上。预定条件可以是要求在车辆的驾驶期间在视觉上提供附加信息的条件。例如，预定条件可以是确定了车辆已经进入到小巷中的条件、在车辆周围感测到的障碍物的数量等于或大于预定数量的条件、外部声音的大小等于或大于预定值的条件、车辆进入到交通事故多发地段中的条件等。

也就是说，根据本公开的实施方式的车辆控制装置能够在用户在降低车辆的速度并避免车辆周围的障碍物的同时驾驶车辆的情况下在视觉上为用户提供车辆周围的障碍物。控制器180能够基于施加到显示单元151的触摸输入来输出通知信息。更具体地，控制器180能够响应于施加到一个图形对象的触摸输入来控制声音输出单元151，使得通知信息朝向由显示在显示单元151上的表示至少一个声音生成源的图形对象600a至图形对象600d当中的任一个图形对象表示的声音生成源输出。这里，声音输出单元152的控制可意指激活设置在车辆中的多个声音输出单元当中的布置在与施加有触摸输入的声音生成源的位置对应的位置处的声音输出单元并且不激活其它声音输出单元。

作为示例，如图6B所示，控制器180能够响应于施加到图形对象600b的触摸输入来控制布置在车辆前面的声音输出单元朝向由图形对象600a至图形对象600d当中的任一个图形对象600b表示的声音生成源输出被称作“小心！”的声音。

作为另一示例，如图6C所示，控制器180能够响应于施加到图形对象600d的触摸输入来控制布置在车辆后部的声音输出单元朝向由图形对象600a至图形对象600d当中的另一图形对象600d表示的声音生成源输出被称作“小心！”的声音。因此，选择的声音生成源能够准确地听到朝向那里输出的通知信息。并且，除了所选择的声音生成源之外的其它声音生成源未听到不必要的通知信息。

控制器180能够基于声音生成源与车辆之间的相对距离和外部噪声程度中的至少一个来确定通知信息的输出大小。输出大小可以是按照听觉方式输出的通知信息的音量。作为示例，当声音生成源与车辆之间的相对距离是第一距离时，控制器180能够按第一音量输出通知信息。当声音生成源与车辆之间的相对距离是比第一距离短的第二距离时，控制器180能够按小于第一音量的第二音量输出通知信息。作为另一示例，当外部噪声程度具有第一值时，控制器180能够按第一音量输出通知信息。当外部噪声程度具有大于第一值的第二值时，控制器180能够按大于第一音量的第二音量输出通知信息。

当声音生成源是行人时，控制器180能够基于声音生成源的图像信息来输出不同的通知信息。在这种情况下，可通过相机接收声音生成源的图像信息。

更具体地，控制器180能够基于预定算法来分析声音生成源的图像信息，并确定声音生成源的年龄和性别。用于确定包括在图像中的人的年龄和性别的算法通常可被用作预定算法。

作为示例，如果确定了声音生成源是年长行人，则控制器180能够输出被称作“请给我让路”的礼貌通知信息。如果确定了声音生成源是年轻行人，则控制器180能够输出提供好像驾驶员与朋友对话的感觉。

作为另一示例，当声音生成源是女人时，控制器180能够输出被称作“美丽的女士”的声音。当声音生成源是男人时，控制器180能够输出被称作“先生”的声音。另外，控制器180还能够在显示单元151上显示通过执行声音生成源与车辆内部的人之间的对话而获得的对话记录。

在上文中，已经描述了通过施加到显示单元的触摸输入来控制车辆的方法。在下文中，将描述基于声音信息按照不同的输出形式显示在显示单元上显示的图形对象的方法。图7A和图7B是例示了基于声音信息按照不同的输出形式显示在显示单元上显示的图形对象的方法的概念图。

根据本公开的实施方式的车辆控制装置中的控制器180能够感测车辆周围的声音，并基于与所感测到的声音对应的声音信息，将声音信息转换成图形对象，然后将经转换的图形对象显示在显示单元151上。

在这种情况下，控制器180能够基于声音信息将声音信息转换成不同形式的图形对象。更具体地，控制器180能够基于声音信息来检测车辆与声音生成源之间的相对距离，并根据该相对距离按不同的输出大小显示声音信息。

例如，如图7A所示，当第一声音生成源与车辆之间的相对距离是第一距离时，控制器180能够按第一大小显示表示第一声音生成源的图形对象700。当第二声音生成源与车辆之间的相对距离是比第一距离长的第二距离时，控制器180能够按小于第一大小的第二大小来显示表示第二声音生成源的图形对象710。因此，用户能够直观地识别声音生成源与车辆之间的相对距离。

控制器180能够基于声音信息来检测声音生成源的交通事故风险程度。这里，交通事故风险程度可指代交通事故的风险发生程度。更具体地，基于声音信息，控制器180能够基于声音生成源与车辆之间的相对距离以及声音生成源与车辆之间的相对速度的变化来检测交通事故风险程度。例如，当声音生成源与车辆之间的相对距离减小、并且声音生成源与车辆之间的相对速度逐渐增加时，控制器180能够确定交通事故风险程度较低。

在这种情况下，控制器180能够根据交通事故风险程度用不同的颜色输出表示声音生成源的图形对象。例如，如图7B所示，当第一声音生成源的交通事故风险程度具有第一值时，控制器180能够用红色显示表示第一声音生成源的图形对象700。当第二声音生成源的交通事故风险程度具有小于第一值的第二值时，控制器180能够用黑色显示表示第二声音生成源的图形对象710。也就是说，控制器180能够预先存储与各个交通事故风险程度对应的颜色，并且根据预先存储的颜色来确定图形对象的输出颜色。因此，用户能够直观地确定与位于车辆周围的声音生成源有关的交通事故风险程度。

在上文中，已经描述了基于与在车辆周围生成的声音对应的声音信息来在显示单元上显示声音信息的方法。在下文中，将描述基于与在车辆周围生成的声音对应的声音信息来提供驾驶引导信息的方法。图8A和图8B是例示了基于与在车辆周围生成的声音对应的声音信息来提供驾驶引导信息的方法的概念图。

根据本公开的实施方式的车辆控制装置中的控制器180能够基于与在车辆周围生成的声音对应的声音信息来检测情况信息。并且，控制器180能够基于情况信息来输出驾驶引导信息。在这种情况下，控制器180能够将驾驶引导信息输出为语音，或者可将驾驶引导信息显示在显示单元151上。

例如，如图8A所示，控制器180能够基于与救护车的汽笛声音对应的声音信息来检测表示救护车正在接近的情况信息。在这种情况下，控制器180能够基于表示救护车正在接近的情况信息来输出指示车辆移动到道路的右侧以便提供救护车的前进路径的驾驶引导信息。

控制器180能够将驾驶引导信息显示在显示单元151上。例如，如图8A所示，控制器180能够显示包括被称作“救护车正接近左侧，请将您的车辆移向右侧”的文本信息以及表示车辆的运动方向的图形对象800和在视觉上表示救护车的汽笛信息的图形对象810的驾驶引导信息。如果感测到与救护车的汽笛声音对应的声音信息，则控制器180能够通过相机来拍摄救护车的图像。然后，控制器180能够将所拍摄的救护车的图像显示在显示单元151上。

控制器180能够基于与停车场的汽笛声音对应的声音信息来检测表示在车辆周围存在停车场的情况信息。并且，控制器180能够基于声音信息来检测停车场的位置信息。在这种情况下，如图8B所示，显示器180可在显示单元151上显示被称作“在前面感测到停车场的汽笛，请仔细察看您的前面”的文本信息作为驾驶引导信息。并且，控制器180能够在显示单元151上显示表示与停车场的位置对应的区域中的停车场的图形对象810。

在上文中，已经描述了基于声音信息提供驾驶引导信息的方法。因此，根据本公开的实施方式的车辆控制装置能够基于与在车辆周围生成的声音对应的声音信息来提供驾驶引导信息。在下文中，将描述基于与在车辆周围生成的声音对应的声音信息来控制噪声灵敏度的方法。图9是例示了基于与在车辆周围生成的声音对应的声音信息来控制噪声灵敏度的方法的概念图。

根据本公开的实施方式的车辆控制装置中的控制器180能够感测在车辆周围(在车辆内部或外部)生成的声音，并且基于与所感测到的声音对应的声音信息来确定情况信息。如果基于声音信息确定了在车辆周围存在许多障碍物，则控制器180能够感测到表示车辆驾驶中的危险情况的情况信息。在这种情况下，控制器180能够基于表示车辆驾驶中的危险情况的情况信息来增加噪声灵敏度。障碍物可以是在车辆周围移动的主体、十字路口、建筑物等。噪声灵敏度可指代在感测外部声音时的灵敏度。

例如，当确定了在车辆周围存在许多运动主体时，控制器180能够增加噪声灵敏度。因此，根据本公开的实施方式的车辆控制装置增加噪声灵敏度以便改进车辆的驾驶稳定性，从而更灵敏地感测车辆周围的障碍物。另选地，控制器180能够基于用户的控制命令来改变噪声灵敏度。更具体地，控制器180能够在显示单元151上显示与控制噪声灵敏度的功能有关的条状图形对象。

条状图形对象还可包括显示当前的噪声灵敏度值的图形对象900。控制器180能够基于施加到条状图形对象的预定触摸输入来控制噪声灵敏度。例如，如图9所示，控制器180能够基于施加到显示噪声灵敏度值的图形对象900的触摸输入来改变当前的噪声灵敏度值。触摸输入可以是拖曳触摸输入。

更具体地，控制器180能够将噪声灵敏度值改变为与完成了施加到图形对象900的触摸输入的感测的区域对应的噪声灵敏度值。例如，如图9所示，控制器180能够基于在当前的噪声灵敏度值被设定为第一值的状态下施加到图形对象900的触摸输入来将噪声灵敏度值改变为大于第一值的第二值。

在上文中，已经描述了基于与在车辆周围生成的声音对应的声音信息来控制噪声灵敏度的方法。在下文中，将描述基于声音信息来推荐或自动地执行多媒体功能的方法。图10A、图10B、图11A和图11B是例示了基于声音信息来推荐或执行多媒体功能的方法的概念图。

根据本公开的实施方式的车辆控制装置中的控制器能够基于与在车辆内部或外部生成的声音对应的声音信息来推荐或执行多媒体功能。多媒体功能是用于辅助驾驶车辆的功能。多媒体功能可包括再现音乐的功能、提供天气的功能等。

控制器180可以不检测在车辆内部或外部生成的任何声音达预定时间或更长时间。在这种情况下，控制器180能够输出白噪声，补偿低频率，或者输出用于推荐多媒体功能的引导信息。这里，白噪声是用于防止驾驶员的睡意、降低驾驶员的注意力、驾驶员的疾病和驾驶员的压力的声音。白噪声可以是爵士音乐、雨的声音、咖啡杯的声音等。并且，补偿低频率的方法可包括按照惯例使用的各种方法。利用吸声材料的方法或生成附加噪声的方法可被用作补偿低频率的方法。

在这种情况下，控制器180能够响应于施加到引导信息的触摸输入来再现音乐。例如，如图10A所示，控制器180能够响应于施加到与确认功能有关的图形对象的触摸输入来再现音乐。另选地，控制器180不能够响应于施加到与取消功能有关的图形对象的触摸输入来执行再现音乐的功能。

当与在车辆外部生成的声音对应的声音信息是音乐信息时，控制器180能够检测与该音乐信息有关的信息。例如，控制器180能够检测音乐标题、音乐文件、歌手信息、专辑信息等。控制器180能够在显示单元151上显示与音乐信息有关的信息。并且，如图10B所示，控制器180能够输出用于再现音乐的引导信息1020。因此，用户能够容易地识别关于从外部听到的音乐的信息。此外，引导信息可作为语音被输出。

控制器180能够基于与在车辆外部生成的与天气有关的声音对应的声音信息来执行提供天气信息的功能。与天气有关的声音可以是超出听觉频率的雷的声音、车轮与路面之间的摩擦声音等。例如，在雨天的情况下，可能由于路面的雨水的原因而感测到与晴天时车轮与路面之间的摩擦声音不同的摩擦声音。

在这种情况下，控制器180能够输出用于通知针对与和天气有关的声音对应的声音信息的警告的通知信息，或者可通过连接至网页来提供天气信息。作为示例，在雨天的情况下，控制器180能够通过声音输出单元来输出用于通知用户要注意路面滑溜的通知信息。

作为另一示例，如图11A所示，如果感测到雷的声音，则控制器180能够输出被称作“三秒后将打雷，请确保安全驾驶”的通知信息1100。因此，用户能够预先预测雷的声音，并且确保安全驾驶。此外，引导信息可作为语音被输出。

作为另一个示例，如图11B所示，控制器180能够输出用于执行搜索天气信息的功能的引导信息1110。在这种情况下，控制器180能够基于从用户接收到的用于搜索天气信息的控制命令来执行搜索天气信息的功能。控制器180能够将所搜索到的天气信息显示在显示单元151上。

控制器180能够基于路面的摩擦声音来检测路面状态信息。当路面状态信息对应于预定信息时，控制器180能够输出用于通知该路面状态信息的通知信息。

通知信息可以是表示路面的状态的信息或与道路的状态有关的驾驶引导信息。例如，当确定了路面的状态是滑溜状态时，控制器180能够输出被称作“路面滑，请确保安全驾驶”或“路面滑，所以减速至80km或80km以下”的通知信息。

在上文中，已经描述了基于声音信息来执行多媒体功能的方法。因此，根据本公开的实施方式的车辆控制装置能够利用与在车辆内部或外部生成的声音对应的声音信息来向用户提供灵敏服务。在下文中，将描述基于与在车辆周围生成的声音对应的声音信息来确定车辆的状态的方法。

根据本公开的实施方式的车辆控制装置中的控制器180能够基于关于从车辆的组件生成的声音或车轮与路面之间的摩擦声音的信息来确定车辆的状态。更具体地，控制器180能够基于关于车轮与路面之间的摩擦声音的信息来检测车轮的磨损程度。并且，控制器180能够基于关于从发动机生成的噪声的信息和关于从制动器生成的噪声的信息来检测发动机和制动器是否正常。

当确定了车辆的状态不是正常状态而是其它状态(异常状态)时，控制器180能够输出通知信息，使得用户识别车辆的异常状态。通知信息可按照视觉方式、听觉方式和触觉方式中的任一种方式输出。例如，当确定了发动机的状态是异常状态时，控制器180能够输出表示在发动机中已经发生问题(“在发动机中已经发生问题”)的通知信息作为语音。

高级驾驶员辅助系统(ADAS)被用作用于如上所述实时地感测车辆的状态的系统。在这种情况下，根据本公开的实施方式的车辆控制装置能够向ADAS提供声音信息，从而感测车辆的状态信息。另选地，根据本公开的实施方式的车辆控制装置能够独立于ADAS来基于声音信息检测车辆的状态信息。

根据本公开的实施方式，能够基于与在车辆内部或外部生成的声音对应的声音信息来检测情况信息。因此，用户能够迅速地感测要通过声音感测的情况信息，并执行与该情况信息有关的功能。并且，根据本公开的实施方式，能够提供与声音有关的信息，从而为用户提供方便。并且，根据本公开的实施方式，能够提供车辆内部的驾驶员在无需打开窗户的情况下与车辆外部的行人对话的方法。

各种实施方式可利用存储有指令的机器可读介质来实现，所述指令由处理器执行以执行本文呈现的各种方法。可能的机器可读介质的示例包括HDD(硬盘驱动器)、SSD(固态盘)、SDD(硅磁盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置、本文呈现的其它类型的存储介质及其组合。如果需要，机器可读介质可按照载波的形式实现(例如，经由互联网的传输)。所述处理器可包括移动终端的控制器180。

上述实施方式和优点仅是示例性的，不应被解释为限制本公开。本教导可容易地应用于其它类型的设备。此说明书旨在为例示性的，而非限制权利要求的范围。对于本领域技术人员而言，许多另选形式、修改形式和变化形式将是显而易见的。本文所述的示例性实施方式的特征、结构、方法和其它特性可按照各种方式来组合以获得附加的和/或另选的示例性实施方式。

由于本发明的特征可在不脱离其特性的情况下按照多种形式具体实现，所以还应该理解，除非另外指明，否则上述实施方式不受以上描述的任何细节的限制，而是应该在所附权利要求书中限定的范围内广义地解释，因此，落入权利要求书的范围或其等同范围内的所有变化和修改旨在被所附权利要求书涵盖。

Claims (19)

1.一种车辆控制装置，该车辆控制装置包括：

相机，该相机被配置为拍摄车辆周围的图像；

显示单元，该显示单元被配置为显示从所述相机接收到的所述图像；

至少一个声音传感器，该至少一个声音传感器被布置在所述车辆上并被配置为感测在所述车辆内部或外部生成的声音；

至少一个声音输出单元，该至少一个声音输出单元被布置在所述车辆上并被配置为输出在所述车辆内部或外部生成的声音；以及

控制器，该控制器被配置为：

基于所感测到的在所述车辆内部或外部生成的声音来控制所述声音传感器、所述声音输出单元和所述显示单元中的至少一个输出信息，

其中，所述控制器还被配置为，响应于预定条件被满足，基于生成所述声音的声音生成源的位置来控制所述相机捕获所述声音生成源的图像，并将从所述相机接收到的所述图像显示在所述显示单元上。

2.根据权利要求1所述的车辆控制装置，其中，所述控制器还被配置为：

检测生成所述声音的所述声音生成源的位置，并且

基于所检测到的所述声音生成源的位置来控制所述声音输出单元朝向所述声音生成源输出通知信息。

3.根据权利要求2所述的车辆控制装置，其中，所述控制器还被配置为，控制所述声音传感器和所述声音输出单元，使得在所述车辆内部生成的所述声音朝向位于所述车辆外部的所述声音生成源输出。

4.根据权利要求2所述的车辆控制装置，其中，所述控制器还被配置为，响应于所检测到的所述声音生成源的位置在离所述车辆预定距离内，控制所述声音输出单元朝向所述声音生成源输出所述通知信息。

5.根据权利要求2所述的车辆控制装置，其中，所述控制器还被配置为，响应于所检测到的所述声音生成源的位置不在离所述车辆预定距离内，控制所述声音输出单元不朝向所述声音生成源输出所述通知信息。

6.根据权利要求1所述的车辆控制装置，其中，所述至少一个声音输出单元包括被布置为彼此间隔开的多个声音输出单元，并且

其中，所述控制器还被配置为，控制所述多个声音输出单元当中的布置在与所述声音生成源的位置对应的位置处的声音输出单元输出与所感测到的在所述车辆内部或外部生成的声音有关的通知信息。

7.根据权利要求1所述的车辆控制装置，其中，所述控制器还被配置为，基于与从由包括在所述图像中的至少一个图形对象指示的声音生成源接收到的声音分别对应的声音信息来检测与所述至少一个图形对象有关的事故风险程度和相对距离信息。

8.根据权利要求7所述的车辆控制装置，其中，所述控制器还被配置为，将与所述至少一个图形对象有关的所述事故风险程度和所述相对距离信息同时显示在显示有所述至少一个图形对象的区域周围的区域上。

9.根据权利要求7所述的车辆控制装置，其中，所述控制器还被配置为：

接收施加到所述至少一个图形对象当中的第一图形对象的触摸输入，并且

控制所述声音输出单元朝向与所述第一图形对象对应的声音生成源输出通知信息。

10.根据权利要求1所述的车辆控制装置，其中，所述控制器还被配置为：

感测安装在所述车辆中的窗户的打开/关闭状态，并且

响应于在所述声音输出单元和所述声音传感器被激活时感测到从所述窗户的关闭状态到所述窗户的打开状态的改变，将经激活的所述声音输出单元和经激活的所述声音传感器的状态改变为不激活状态。

11.根据权利要求1所述的车辆控制装置，其中，所述控制器还被配置为：

基于所感测到的在所述车辆内部或外部生成的声音来感测所述车辆的情况信息；并且

在所述显示单元上显示与所述情况信息有关的信息，使得驾驶员识别所述情况信息。

12.根据权利要求11所述的车辆控制装置，其中，所述情况信息包括所述车辆的组件状态信息、所述车辆外部的噪声的水平信息、声音生成源的类型信息、障碍物信息和路面的状态信息中的至少一种。

13.根据权利要求12所述的车辆控制装置，其中，所述控制器还被配置为，响应于由所述声音传感器感测的任何声音在预定时间内未被感测到，控制所述声音输出单元执行再现音乐的功能或者生成白噪声。

14.根据权利要求12所述的车辆控制装置，其中，所述控制器还被配置为，响应于所述声音信息对应于预定声音信息，在所述显示单元上显示与所述车辆的驾驶有关的驱动引导信息。

15.根据权利要求1所述的车辆控制装置，其中，所述控制器还被配置为：

检测在所述车辆周围存在障碍物，并且

控制所述声音传感器的声音灵敏度。

16.一种控制车辆控制装置的方法，该方法包括以下步骤：

经由布置在车辆上的相机来捕获车辆周围的图像；

经由显示单元来显示从所述相机接收到的所述图像；

经由布置在所述车辆上的至少一个声音传感器来感测在所述车辆内部或外部生成的声音；

经由布置在所述车辆上的至少一个声音输出单元来输出在所述车辆内部或外部生成的声音；

以及

经由所述车辆控制装置的控制器基于所感测到的在所述车辆内部或外部生成的声音来控制所述声音传感器、所述声音输出单元和所述显示单元中的至少一个输出信息，

其中，响应于预定条件被满足，经由所述控制器，基于生成所述声音的声音生成源的位置来控制所述相机捕获所述声音生成源的图像，并将从所述相机接收到的所述图像显示在所述显示单元上。

17.根据权利要求16所述的方法，该方法还包括以下步骤：

检测生成所述声音的所述声音生成源的位置；以及

基于所检测到的所述声音生成源的位置来控制所述声音输出单元朝向所述声音生成源输出通知信息。

18.根据权利要求17所述的方法，该方法还包括以下步骤：

控制所述声音传感器和所述声音输出单元，使得在所述车辆内部生成的所述声音朝向位于所述车辆外部的所述声音生成源输出。

19.根据权利要求17所述的方法，该方法还包括以下步骤：响应于所检测到的所述声音生成源的位置在离所述车辆预定距离内，控制所述声音输出单元朝向所述声音生成源输出所述通知信息。

Images