CN111650557A - 驾驶辅助系统 - Google Patents

Abstract

本公开涉及一种驾驶辅助系统，该驾驶辅助系统包括：多个车辆，多个车辆中的每个车辆中安装有多个麦克风和传感器；以及服务器，服务器包括获取单元，获取单元被配置为，获取由麦克风记录的音频信号和由传感器测量的感测数据。服务器还包括：存储单元，存储单元被配置为，存储将音频信号和感测数据与指示声源的危险性的信息相关联的学习数据；模型生成单元，模型生成单元被配置为，通过使用学习数据来生成用于基于音频信号和感测数据预测声源的危险性的学习模型；以及提供单元，提供单元被配置为，向车辆提供该危险性。

Description

驾驶辅助系统

技术领域

本发明涉及一种驾驶辅助系统。

背景技术

在相关技术中，存在一种同时识别由物体接近本车所产生的声音的方向和声音所来自的位置，并向驾驶员通知包括方向信息的接近信息的已知技术，该技术披露于日本未审查专利申请公开第6-344839号(JP 6-344839A)中。

发明内容

然而，由于声源类型、接近方式和车辆周围环境的种类繁多，即使在理想情况下可能进行声源危险性预测的情况下，在实际行驶时预测准确度也可能不高。

本发明提供了一种驾驶辅助系统，利用该系统可以在各种情况下以更高的准确度预测声源的危险性。

本发明的一个方面涉及一种包括多个车辆和服务器的驾驶辅助系统。在每个车辆中安装有多个麦克风和传感器。服务器包括获取单元，获取单元被配置为获取由麦克风记录的音频信号和由传感器测量的感测数据。服务器还包括：存储单元，被配置为存储将音频信号和感测数据与指示声源的危险性的信息相关联的学习数据；模型生成单元，被配置为通过使用学习数据来生成用于基于音频信号和感测数据预测声源的危险性的学习模型；以及提供单元，被配置为向多个车辆提供所述危险性。

在这种情况下，由于通过使用在车辆实际行驶时记录的音频信号以及通过传感器测量的感测数据作为学习数据来生成学习模型，并且通过学习模型来预测声源的危险性，因此可以在各种情况下以更高的准确度预测声源的危险性。

在根据该方面的驾驶辅助系统中，模型生成单元通过使用包括新获取的音频信号和感测数据的学习数据来更新学习模型。

在这种情况下，由于累积了学习数据并且不断更新学习模型，因此可以通过使用在更多各种情况下获取的学习数据来生成学习模型，并可以以更高的准确度预测声源的危险性。

在根据该方面的驾驶辅助系统中，传感器可以测量车辆的位置信息，并且学习模型可以基于音频信号和位置信息来预测危险性。

在这种情况下，可以根据车辆行驶的位置以更高的准确度预测声源的危险性。

在根据该方面的驾驶辅助系统中，传感器可以捕获所述车辆的周围区域的图像，并且服务器还包括生成单元，该生成单元被配置为基于图像来生成指示危险性的信息。

在这种情况下，可以执行关于音频信号和感测数据的注释，并且可以高速地累积学习数据。

在根据该方面的驾驶辅助系统中，服务器可以进一步包括成像单元，该成像单元被配置为控制安装在车辆中的传感器，使得传感器捕获声源的图像。

在这种情况下，由于捕获了声源的图像，因此可以弄清楚声源的类型，增强学习数据，并生成学习模型，利用该学习模型，可以以更高的准确度预测声源的危险性。

在根据该方面的驾驶辅助系统中，获取单元可以进一步关于车辆周围环境的信息，并且学习模型可以基于音频信号和关于周围环境的信息来预测危险性。

在这种情况下，可以根据车辆行驶的环境以更高的准确度预测声源的危险性。

在根据该方面的驾驶辅助系统中，服务器还可以包括减速控制器，该减速控制器被配置为，计算声源接近多个车辆中的任何一个的概率，并且在该概率等于或大于阈值的情况下，使对应车辆减速。

在这种情况下，可以在车辆与声源之间的距离变短之前使车辆减速，从而可以实现安全性提高。

在根据该方面的驾驶辅助系统中，减速控制器可以基于所述多个车辆中处于减速控制中的车辆的数量、所述概率已变得等于或大于所述阈值的事件的记录、关于所述音频信号的获取日期和时间的信息以及关于所述多个车辆行驶的周围环境的信息中的至少一项、所述危险性以及所述音频信号来计算所述概率。

在这种情况下，可以更准确地计算出声源接近车辆的概率。

根据本发明的一方面，可以提供一种驾驶辅助系统，利用该驾驶辅助系统，可以在各种情况下以更高的准确度预测声源的危险性。

附图说明

下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，附图中相同的附图标记表示相同的元件，并且其中：

图1是示出根据本发明实施例的驾驶辅助系统的网络结构的图；

图2是示出根据实施例的驾驶辅助系统的功能模块的图；

图3是示出根据实施例的服务器的物理部件的图；

图4是根据实施例的由服务器执行的第一处理的流程图；以及

图5是根据实施例的由服务器执行的第二处理的流程图。

具体实施方式

将参考附图描述本发明的实施例。注意，在每个附图中，被赋予相同附图标记的元件具有相同或相似的结构。

图1是示出根据本发明实施例的驾驶辅助系统100的概要的图。驾驶辅助系统100包括服务器10、第一车辆20和第二车辆30。在第一车辆20和第二车辆30的每一个中安装有多个麦克风和多个传感器。可以在第一车辆20和第二车辆30的每一个中安装测量本车的位置的传感器。例如，可以在第一车辆20和第二车辆30的每一个中安装全球定位系统(GPS)接收器。另外，可以在第一车辆20和第二车辆30的每一个中安装捕获周围区域的图像的传感器(照相机)。服务器10获取通过安装在第一车辆20和第二车辆30中的多个麦克风记录的音频信号、第一车辆20和第二车辆30的位置信息以及通过对第一车辆20和第二车辆30的附近进行成像而获取的图像，并将音频信号、位置信息和图像与指示声源的危险性的信息相关联地累积作为学习数据。在图1所示的示例中，声源50是自行车。在这种情况下，声源50的危险性可能是声源50接近车辆的概率。服务器10通过使用学习数据来生成用于基于音频信号和感测数据(位置信息等)预测声源50的危险性的学习模型。注意，在本实施例中，将描述驾驶辅助系统100包括两个车辆的情况。然而，驾驶辅助系统100可以包括任意数量的车辆。

作为声源50的自行车在左侧为森林ENV1、右侧为居住区ENV2的道路上行驶，并从成为第二车辆30的盲点的位置接近T型路口(因为该位置是被居住区ENV2遮挡)。在这种情况下，仅通过使用由安装在第二车辆30中的麦克风记录的音频信号，很难以高准确度预测声源50的危险性。根据本实施例的服务器10预测声源50的危险性，并且基于由安装在第一车辆20中的麦克风经过森林ENV1所记录的声源50的音频信号和第一车辆20的位置信息来计算声源50出现在第二车辆30的前方的概率。随后，服务器10将预测出的声源50的危险性提供给第一车辆20和第二车辆30。由此，第二车辆30的驾驶员可以知道来自盲点的声源50的接近并且可以安全地驾驶。

如上所述，在根据本实施例的驾驶辅助系统100的情况下，由于通过使用在车辆20、30实际行驶时记录的音频信号和由传感器测量的感测数据作为学习数据来生成学习模型，并通过学习模型预测声源50的危险性，可以在各种情况下以更高准确度预测声源50的危险性。

图2是示出根据本发明实施例的驾驶辅助系统100的功能模块的图。驾驶辅助系统100具有服务器10、第一车辆20和第二车辆30。服务器10包括获取单元11、存储单元12、模型生成单元13、提供单元14、生成单元、成像单元16和减速控制器17。第一车辆20包括第一麦克风21、第二麦克风22、第三麦克风23和照相机24。第二车辆30包括第一麦克风31、第二麦克风32和照相机33。

获取单元11获取由麦克风(第一麦克风21、第二麦克风22、第三麦克风23、第一麦克风31和第二麦克风32)记录的音频信号以及由传感器(GPS接收器(未示出)、照相机24和照相机33)测量的感测数据。获取单元11可以经由无线通信网络从第一车辆20和第二车辆30获取音频信号和感测数据。获取单元11可以进一步获取关于车辆20、30的周围环境的信息。例如，关于周围环境的信息可以基于车辆20、30的位置信息从地图信息中提取，并且可以是在图1所示的示例的情况下关于森林ENV1和居住区ENV2的信息。获取单元11可以将音频信号和感测数据与获取音频信号和感测数据的时间相关联地存储在存储单元12中。

存储单元12存储学习数据12a，在学习数据12a中，音频信号和感测数据与指示声源的危险性的信息相关联。学习数据可以是其中音频信号和位置信息与指示声源的危险性的信息相关联的数据集，可以是其中音频信号和关于周围环境的信息与指示声源的危险性的信息相关联的数据集，或者可以是其中音频信号、位置信息和关于周围环境的信息与指示声源的危险性的信息相关联的数据集。存储单元12存储由模型生成单元13生成的学习模型12b。

模型生成单元13通过使用学习数据来生成用于基于音频信号和感测数据预测声源50的危险性的学习模型12b。模型生成单元13可以通过使用包括新获取的音频信号和感测数据的学习数据12a来更新学习模型12b。当累积了学习数据12a并且以这种方式连续更新学习模型12b时，可以通过使用在更多的各种情况下获取的学习数据12a来生成学习模型12b，并且可以以更高的准确度预测声源50的危险性。

在借助于安装在车辆20、30中的传感器测量车辆20、30的位置信息的情况下，模型生成单元13可以生成用于基于音频信号和位置信息来预测声源50的危险性的学习模型12b。在这种情况下，可以根据车辆20、30行驶的位置以更高的准确度预测声源50的危险性。

另外，模型生成单元13可以生成用于基于音频信号和关于周围环境的信息来预测声源50的危险性的学习模型12b。在这种情况下，可以根据车辆20、30行驶的环境以更高的准确度预测声源50的危险性。

提供单元14将由学习模型12b预测的危险性提供给车辆20、30。提供单元14可以经由无线通信网络将预测出的声源50的危险性提供给第一车辆20和第二车辆30。因此，车辆20、30的驾驶员可以掌握在盲点处的声源50的危险性并且可以安全地行驶。

生成单元15基于由照相机24、33捕获的图像生成指示声源50的危险性的信息。生成单元15可以通过使用已知图像识别技术来识别图像中示出的声源50的名称，并计算指示声源50相对于车辆20、30的接近程度的值，以生成指示声源50的危险性的信息。利用生成单元15，可以执行关于音频信号和感测数据的注释，并且高速地累积学习数据12a。

成像单元16控制安装在车辆20、30中的传感器(照相机24、33)以捕获声源50的图像。在声源50的音频信号被车辆20、30记录的情况下，成像单元16可以控制安装在车辆20、30中的照相机24、33以捕获声源50的图像。由于捕获了声源50的图像，因此可以弄清楚声源50的类型，以增强学习数据12a，并生成学习模型12b，利用该学习模型12b可以更高的准确度地预测声源50的危险性。

减速控制器17计算声源50接近车辆20、30中的任何一个的概率，并且在概率等于或大于阈值的情况下，减速控制器17使对应车辆减速。这里，在任何声源50接近车辆20、30中的任何一个的概率等于或大于阈值的情况下，存储单元12可以存储音频信号、位置信息、关于周围环境的信息、声源50的图像以及关于与上述事件有关的日期和时间的信息。例如，减速控制器17可以计算声源50接近第二车辆30的概率，并且在概率等于或大于阈值的情况下，减速控制器17可以强制使第二车辆30减速。因此，可以在车辆与声源之间的距离变短之前使车辆减速，因此可以实现安全性的提高。

减速控制器17可以基于车辆20、30中处于减速控制中的车辆的数量、声源50接近车辆的概率变为等于或大于阈值的事件的记录、关于音频信号的获取日期和时间的信息以及关于车辆20、30行驶的周围环境的信息中的至少一项、由学习模型12b预测的危险性以及音频信号来计算声源50接近车辆的概率。在这种情况下，可以更准确地计算出声源接近车辆的概率。

图3是示出根据本发明实施例的服务器10的物理部件的图。服务器10包括对应于计算单元的中央处理单元(CPU)10a、对应于存储单元的随机存取存储器(RAM)10b、对应于存储单元的只读存储器(ROM)10c、通信单元10d、输入单元10e和显示单元10f。上述部件通过总线彼此连接，使得数据可以在彼此之间进行发送和接收。注意，尽管在该示例中将描述服务器10包括一台计算机的情况，但是服务器10可以由彼此组合的多台计算机来实现。另外，图3中所示的部件仅是示例。服务器10可以包括除了图3所示的部件之外的部件，可以不包括图3所示的部分部件。

CPU 10a是执行与存储在RAM 10b或ROM 10c中的程序的执行或数据计算和处理有关的控制的控制器。CPU 10a是计算单元，其执行用于基于从车辆获取的音频信号和感测数据来预测声源的危险性的程序(驾驶辅助程序)。CPU 10a从输入单元10e或通信单元10d接收各种数据，使显示单元10f显示数据计算的结果，或者将各种数据存储在RAM 10b或ROM10c中。

RAM 10b是其中可以重写数据的存储单元，并且例如可以是半导体存储元件。RAM10b可以存储要由CPU 10a执行的程序、音频信号以及诸如位置信息和车速信息之类的数据。注意，上述仅是示例，并且RAM 10b可以存储除上述那些数据之外的数据，并且上述那些数据中的一部分可以不存储在RAM 10b中。

ROM 10c是可以从中读取数据的存储单元，并且例如可以是半导体存储元件。ROM10c可以存储例如驾驶辅助程序或不被重写的数据。

通信单元10d是将服务器10连接到另一设备的接口。通信单元10d可以连接到诸如因特网的通信网络N。

输入单元10e接收来自用户的数据输入，并且例如可以包括键盘和触摸板。

显示单元10f可视地显示由CPU 10a执行的计算的结果，并且可以是例如液晶显示器(LCD)。显示单元10f可以显示例如由生成单元15生成的指示声源的危险性的信息。

驾驶辅助程序可以通过存储在诸如RAM 10b或ROM 10c的计算机可读存储介质中来提供，并且可以通过经由通信单元10d连接的通信网络来提供。在服务器10中，当CPU 10a执行驾驶辅助程序时，实现参考图2描述的获取单元11、模型生成单元13、提供单元14、生成单元15、成像单元16和减速控制器17的操作。注意，其中描述的物理部件仅是示例，并且这些部件可以不彼此独立。例如，服务器10可以设置有通过集成CPU10a、RAM 10b和ROM 10c而获得的大规模集成(LSI)电路。

图4是根据本发明实施例的由服务器10执行的第一处理的流程图的示例。第一处理是新创建学习模型的处理或更新学习模型的处理。

首先，服务器10获取音频信号、位置信息、关于周围环境的信息以及图像(S10)。然后，服务器10基于图像生成指示声源的危险性的信息(S11)。此后，服务器10存储学习数据，在该学习数据中，音频信号、位置信息和关于周围环境的信息与表示声源的危险性的信息相关联(S12)。

在累积了预定量或更多的学习数据的情况下，服务器10通过使用学习数据来生成用于基于音频信号、位置信息和关于周围环境的信息预测声源的危险性的学习模型(S13)。

此后，在学习模型要连续更新的情况下(S14：是)，服务器10重复S10至S13中的处理。同时，在不更新学习模型的情况下(S14：否)，第一处理终止。

图5是根据本发明实施例的由服务器10执行的第二处理的流程图的示例。第二处理是通过生成的学习模型预测声源危险性的处理。

首先，服务器10获取音频信号、位置信息以及关于周围环境的信息(S20)。然后，服务器10基于音频信号、位置信息和周围环境，通过学习模型来预测声源的危险性(S21)。服务器10将预测出的声源的危险性提供给多个车辆(S22)。

另外，服务器10计算声源接近任何车辆的概率(S23)。在概率等于或大于阈值的情况下(S24：是)，服务器10执行控制以使对应车辆减速(S25)。另外，服务器10执行控制以利用安装在车辆中的照相机对声源成像(S26)。服务器10可以基于所捕获的声源图像来生成指示声源的危险性的信息，并且将该信息与音频信号、位置信息和周围环境相关联地存储为新的学习数据。然后，服务器10的第二处理终止。注意，服务器10可以重复第二处理。

上述实施例旨在促进对本发明的理解，不应解释为限制本发明。实施例中包括的元件和元件的布置、材料、条件、形状和尺寸不限于例示的那些，并且可以适当地修改。另外，在不同实施例中描述的部件可以部分地替代或彼此组合。

Claims (8)

1.一种驾驶辅助系统，包括：

多个车辆，所述多个车辆中的每个车辆中安装有多个麦克风和传感器；以及

服务器，所述服务器包括获取单元，所述获取单元被配置为，获取由所述麦克风记录的音频信号和由所述传感器测量的感测数据，

其中，所述服务器还包括：存储单元，所述存储单元被配置为，存储将所述音频信号和所述感测数据与指示声源的危险性的信息相关联的学习数据；模型生成单元，所述模型生成单元被配置为，通过使用所述学习数据来生成用于基于所述音频信号和所述感测数据预测所述声源的所述危险性的学习模型；以及提供单元，所述提供单元被配置为，向所述多个车辆提供所述危险性。

2.根据权利要求1所述的驾驶辅助系统，其中，所述模型生成单元通过使用包括新获取的音频信号和感测数据的所述学习数据来更新所述学习模型。

3.根据权利要求1或2所述的驾驶辅助系统，其中：

所述传感器测量所述车辆的位置信息；并且

所述学习模型基于所述音频信号和所述位置信息预测所述危险性。

4.根据权利要求1至3中任一项所述的驾驶辅助系统，其中：

所述传感器捕获所述车辆的周围区域的图像；并且

所述服务器还包括生成单元，所述生成单元被配置为，基于所述图像生成指示所述危险性的信息。

5.根据权利要求4所述的驾驶辅助系统，其中，所述服务器还包括成像单元，所述成像单元被配置为，控制安装在所述车辆中的所述传感器，使得所述传感器捕获所述声源的图像。

6.根据权利要求1至5中任一项所述的驾驶辅助系统，其中：

所述获取单元还获取关于所述车辆的周围环境的信息；并且

所述学习模型基于所述音频信号和关于所述周围环境的所述信息来预测所述危险性。

7.根据权利要求1至6中的任一项所述的驾驶辅助系统，其中，所述服务器还包括减速控制器，所述减速控制器被配置为，计算所述声源接近所述多个车辆中的任何一个的概率，并且在所述概率等于或大于阈值的情况下，使对应车辆减速。

8.根据权利要求7所述的驾驶辅助系统，其中，所述减速控制器基于所述多个车辆中处于减速控制中的车辆的数量、所述概率已变得等于或大于所述阈值的事件的记录、关于所述音频信号的获取日期和时间的信息以及关于所述多个车辆行驶的周围环境的信息中的至少一项、所述危险性以及所述音频信号来计算所述概率。

Images