CN112534499A - 声音对话装置、声音对话系统以及声音对话装置的控制方法 - Google Patents

Abstract

基于车辆(100)的行驶状态、车辆的外部环境的状态以及车辆的乘员的状态中的至少一个状态，来判定乘员的负荷的状态，使用与负荷的状态相应的对话程序来与乘员进行对话。

Description

声音对话装置、声音对话系统以及声音对话装置的控制方法

技术领域

本发明涉及一种声音对话装置、声音对话系统以及声音对话装置的控制方法。

背景技术

已知一种对话装置，与向车室内输出声音的声音输出器一起搭载于车辆，能够与该车辆的驾驶员进行对话，该对话装置具备：对话执行部，其生成面向驾驶员的会话文本，并通过声音输出器来表达该会话文本；负荷判定部，其对于车辆正在行驶的道路判定驾驶员的驾驶负荷是不是高；以及表达控制部，其在被负荷判定部判定为驾驶负荷高的情况下，设为禁止对话实现部开始表达的禁止状态，在被负荷判定部判定为驾驶负荷低的情况下，设为允许对话执行部开始表达的允许状态(专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2017-67849号公报

发明内容

发明要解决的问题

在现有技术中，存在如下问题：在判定为驾驶操作等乘员的负荷高的情况下，无法继续与乘员的对话。

本发明要解决的课题在于，提供一种无论乘员的负荷的状态如何、都能够继续与乘员的对话的声音对话装置、声音对话系统以及声音对话装置的控制方法。

用于解决问题的方案

本发明通过以下方案来解决上述课题：基于车辆的行驶状态、车辆的外部环境的状态以及车辆的乘员的状态中的至少一个状态，来判定乘员的负荷的状态，使用与负荷的状态相应的对话程序来与乘员进行对话。

发明的效果

根据本发明，无论乘员的负荷的状态如何，都能够继续与乘员的对话。

附图说明

图1是示出本实施方式所涉及的声音对话系统的块结构图的图。

图2是用于判定驾驶负荷的大小的项目及判定基准的一例。

图3是用于说明第一实施方式中的第一对话模式和第二对话模式的图。

图4是示出本实施方式所涉及的控制器所执行的处理的流程图。

图5是在使用第一对话程序的情况下进行的对话的一例。

图6是在使用第二对话程序的情况下进行的对话的一例。

图7是用于说明第二实施方式中的第一对话模式和第二对话模式的图。

图8是用于说明第三实施方式中的第一对话模式和第二对话模式的图。

具体实施方式

下面，基于附图来说明本发明的实施方式。

《第一实施方式》

图1是示出本实施方式所涉及的声音对话系统的结构的图。如图1所示，在本实施方式中，以声音对话系统搭载于车辆100的结构为例列举并进行说明。

车辆100具备传感器组110、周围检测装置120、导航装置130、外部信息获取装置140、驱动装置150、室内摄像机160、室内麦克风170、扬声器180以及控制器190。这些装置通过CAN(Controller Area Network，控制器局域网)或其它车载LAN来连接，以相互进行信息的发送接收。此外，本实施方式所涉及的声音对话装置具备控制器190。

作为本实施方式的车辆100，能够例示具备电动马达来作为驱动源的电动汽车、具备内燃机来作为驱动源的发动机汽车、具备电动马达和内燃机双方来作为驱动源的混合动力汽车。此外，以电动马达作为驱动源的电动汽车、混合动力汽车也包括以二次电池作为电动马达的电源的类型、以燃料电池作为电动马达的电源的类型。

传感器组110由对车辆的行驶状态进行检测的装置构成。具体地说，本实施方式的传感器组110由车速传感器111、发动机转速传感器112、加速器开度传感器113、制动器开度传感器114、转向角传感器115、变速杆传感器116构成。

车速传感器111测量驱动轴等驱动系统的旋转速度，基于此来检测车辆的行驶速度(以下也称为车速)。车速传感器111将车速信息输出到控制器190。此外，在本实施方式中，车辆100也可以具备加速度传感器的结构来替代车速传感器111或者与车速传感器111同时具备。

发动机转速传感器112检测发动机转速，并将发动机转速的信息输出到控制器190。加速器开度传感器113检测加速器踏板的操作量，并将加速器踏板的操作量的信息输出到控制器190。制动器开度传感器114检测制动器踏板的操作量，并将制动器踏板的操作量的信息输出到控制器190。转向角传感器115检测转向器的转向角，并将转向器的转向角的信息输出到控制器190。变速杆传感器116检测变速杆的位置(变速杆挡位)，并将变速杆的位置信息输出到控制器190。

周围检测装置120检测在车辆100的周边存在的对象物。作为周围检测装置120，能够列举出车载摄像机121、雷达122。车载摄像机121对车辆100的周边进行拍摄。车载摄像机121例如由对车辆100的前方进行拍摄的前方摄像机、对车辆100的后方进行拍摄的后方摄像机、对车辆100的侧方进行拍摄的侧方摄像机构成。雷达122检测在车辆100的周边存在的障碍物。雷达122例如由对在车辆100的前方存在的障碍物进行检测的前方雷达、对在车辆100的后方存在的障碍物进行检测的后方雷达、对在车辆100的侧方存在的障碍物进行检测的侧方雷达构成。雷达122检测从车辆100到障碍物的距离以及障碍物所在的方向。

作为周围检测装置120检测的对象物，能够列举出行人、自行车、摩托车、汽车、路上障碍物、交通信号灯、路面标示以及人行横道等。此外，作为周围检测装置120，也可以设为使用上述的车载摄像机121、雷达122中的任1个的结构，也可以设为将2种以上进行组合的结构。周围检测装置120将拍摄得到的信息、检测结果作为周边信息输出到控制器190。

导航装置130基于由GPS 131检测出的车辆100的位置信息，来示出从车辆100的当前位置到目的地的路径来对驾驶员进行引导。导航装置130具有地图信息，根据车辆100的位置信息和目的地的位置信息来计算车辆100的行驶路径。导航装置130将车辆100的位置信息和车辆100的行驶路径的信息输出到控制器190。车辆100的行驶路径包括车辆100实际上已行驶的路径以及车辆100要行驶的预定的路径。

外部信息获取装置140与存在于车辆100的外部的网络连接，来获取车辆100的外部环境的信息。作为外部信息获取装置140，能够列举出经由通信线路以规定的周期从车外的网络获取各种信息的装置。例如，外部信息获取装置140从VICS(注册商标)系统获取道路拥堵信息、道路施工信息、事故信息。另外，例如，外部信息获取装置140从外部服务器获取天气信息。外部信息获取装置140将从车外获取到的信息输出到控制器190。此外，外部信息获取装置140不限于从外部服务器获取信息，也能够在网络上搜索所需信息并根据搜索结果来访问对信息进行管理的服务器。

另外，外部信息获取装置140不限于经由通信线路获取外部环境的信息的装置，例如也可以是检测环境温度的环境温度传感器、检测湿度的湿度传感器、检测雨滴的雨滴传感器。环境温度传感器将环境温度的信息作为检测结果输出到控制器190。湿度传感器将湿度的信息作为检测结果输出到控制器190。雨滴传感器将雨滴的信息作为检测结果输出到控制器190。

驱动装置150具备车辆100的驱动机构。在驱动机构中包含上述的作为车辆100的行驶驱动源的电动马达和/或内燃机、动力传递装置以及对车轮进行制动的制动装置(未图示)等，其中，所述动力传递装置包含将来自这些行驶驱动源的输出传递到驱动轮的驱动轴、自动变速器。驱动装置150基于通过驾驶员的加速器操作和制动器操作而产生的输入信号、从车辆控制器(未图示)或行驶控制装置(未图示)获取到的控制信号来生成这些驱动机构的各控制信号，执行包括车辆的加减速在内的行驶控制。通过向驱动装置150送出指令信息，能够自动地进行包括车辆的加减速在内的行驶控制。此外，在混合动力汽车的情况下，与车辆的行驶状态相应的分别向电动马达和内燃机输出的转矩分配也被送出到驱动装置150。

对本实施方式的车辆100进行驾驶的主体是对驱动装置150进行控制的主体，是车辆100的驾驶员或车辆控制器。车辆100通过驾驶员的驾驶操作、或者通过车辆控制器的自动驾驶操作来行驶。例如，在图1中虽未图示，但是在车辆100中设置有用于切换驾驶操作的主体的设备(例如，按钮形状的开关等)。驾驶员能够通过对该开关进行切换，来在通过手动进行的驾驶操作与通过车辆控制器进行的驾驶操作之间进行切换。通过车辆控制器进行的驾驶操作被称为通过所谓的自动驾驶进行的驾驶操作，是能够使车辆自动地行驶的驾驶操作。自动驾驶的技术能够适当使用本申请提出时已知的技术。驱动装置150将正在驾驶车辆100的驾驶主体的信息作为驾驶主体信息输出到控制器190。

室内摄像机160设置于能够拍摄车辆100的乘员的位置，对乘员进行拍摄。在本实施方式中，室内摄像机160对车辆100的乘员中的驾驶员进行拍摄。室内摄像机160优选设置于能够拍摄包括驾驶员的视线在内的驾驶员的表情、由驾驶员进行的驾驶操作的位置。室内摄像机160将驾驶员的摄像图像的信息输出到控制器190。

室内麦克风170获取车辆100的乘员的声音信息，并至少暂时存储该声音信息。在本实施方式中，室内麦克风170获取车辆100的乘员中的驾驶员的声音信息。室内摄像机160的设置位置没有特别限定，但是优选的是设置于乘员的坐席附近。

扬声器180向车辆100的乘员输出声音信息。在本实施方式中，扬声器180向车辆100的乘员中的驾驶员输出声音信息。扬声器180的设置位置没有特别限定，但是优选的是设置于乘员的坐席附近。

接下来，说明本实施方式的控制器190。控制器190由ROM(Read Only Memory，只读存储器)、CPU(Central Processing Unit，中央处理单元)以及RAM(Random AccessMemory，随机存取存储器)构成，所述ROM保存有使用与车辆100的乘员的负荷相应的对话程序来执行与乘员之间的对话处理的程序，所述CPU执行该ROM中保存的程序，所述RAM作为能够访问的存储装置发挥功能。此外，作为动作电路，能够使用MPU(Micro Processing Unit，微处理单元)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等来替代CPU或者与CPU同时使用。

控制器190通过由CPU执行ROM中保存的程序，而具备获取与车辆100的行驶状态有关的信息的行驶状态信息获取功能、获取与车辆100的外部环境有关的信息的外部信息获取功能、获取与车辆100的驾驶操作有关的信息的驾驶操作信息获取功能、基于获取到的信息来判定车辆100的乘员的驾驶负荷的大小的驾驶负荷判定功能、以及选择与驾驶负荷的大小相应的对话程序来与驾驶员进行对话的对话功能。下面，说明控制器190所具备的各功能。

控制器190通过行驶状态信息获取功能来获取与车辆100的行驶状态有关的信息。与行驶状态有关的信息包括车辆100的车速、发动机转速、加速器操作量、制动器操作量、转向器的转向角。另外，在车辆100中包含有如导航装置130那样通过应用程序进行动作的装置的情况下，向控制器190输入启动中的应用程序的类别的信息。在该情况下，与行驶状态有关的信息除了上述的信息以外，还包括应用程序的类别的信息。

控制器190通过外部信息获取功能来获取与车辆100的外部环境有关的信息。与外部环境有关的信息包括到存在于车辆100的周围的障碍物的距离及障碍物所在的方向、与车辆100正在行驶的道路有关的信息(包括类别信息、拥堵信息、施工信息以及事故信息)、车辆100的当前位置。

控制器190通过驾驶操作信息获取功能获取与驾驶操作有关的信息。与驾驶操作有关的信息包括变速杆挡位、车辆100的驾驶主体的信息、驾驶员的驾驶姿势的信息。驾驶姿势的信息是指基于由室内摄像机160拍摄到的驾驶员的摄像图像的信息。控制器190对驾驶员的摄像图像执行图像处理，由此掌握驾驶员的驾驶姿势。

控制器190通过驾驶负荷判定功能来判定驾驶员的驾驶负荷的大小。本实施方式的控制器190基于通过行驶状态信息获取功能获取到的与行驶状态有关的信息、通过外部环境信息获取功能获取到的与外部环境有关的信息、通过驾驶操作信息获取功能获取到的与驾驶操作有关的信息中的至少任一个信息，来判定驾驶负荷的大小比规定的基准大还是比规定的基准小。此外，在本实施方式中，以将驾驶负荷的大小分为比规定的基准大还是比规定的基准小的2个类别的结构为例举例并进行说明，但是驾驶负荷的大小的判定方法不限定于此。例如，也可以将驾驶负荷的大小分为3个以上的类别。此外，此处所说的判定驾驶负荷的大小是指控制器190基于通过行驶状态信息获取功能获取到的与行驶状态有关的信息、通过外部环境信息获取功能获取到的与外部环境有关的信息、通过驾驶操作信息获取功能获取到的与驾驶操作有关的信息中的至少任一个信息来判定将驾驶负荷的状态分类为2个以上的分类中的哪一个。在本实施方式中，作为2个以上的分类，判定符合驾驶负荷大的状态、驾驶负荷小的状态中的哪一个。

在此，驾驶负荷是指在驾驶员对车辆100进行驾驶操作时驾驶员所负担的负荷。在驾驶负荷大的情况下，要求驾驶员对驾驶高度集中注意力。因此，对于以驾驶以外的事物为对象的操作，驾驶员有意或无意地降低优先级。作为以驾驶以外的事物为对象的操作，例如能够列举出用于空调的温度调整或者风量调整的操作、用于音乐、收音机的音量调整的操作等。

接着，参照图2来说明具体的驾驶负荷的大小的判定方法。图2是用于判定驾驶负荷的大小的项目及判定基准的一例。

如图2所示，控制器190根据车辆100的行驶状态来判定驾驶负荷的大小。控制器190在车辆100的行驶状态符合“行驶中”的情况下，判定为驾驶负荷大。另一方面，控制器190在车辆100的行驶状态符合“停车中”的情况下，判定为驾驶负荷小。例如，控制器190在变速杆挡位位于“D(驱动)”的情况下，检测为车辆的行驶状态是“行驶中”。另外，例如，控制器190在变速杆挡位位于“P(停车)”或者“N(空挡)”的情况下，检测为车辆的行驶状态是“停车中”。此外，使用了行驶状态的判定方法不限于上述的判定方法，例如也可以根据车速、发动机转速、加速器踏板的操作量、制动器踏板的操作量来判定车辆的行驶状态。

另外，在图2中，作为行驶状态的项目，以“行驶中”或者“停车中”为例来列举，但是行驶状态的项目不限于此。例如，在虽然车辆100为行驶中，但车速却在规定速度以下的情况下，控制器190也可以判定为驾驶负荷小。另外，例如，在虽然车辆100为停车中，但变速杆挡位却位于“D(驱动)”、且制动器踏板的操作量为规定值以上的情况下，控制器190也可以判断为车辆100是出发前的停车状态，判定为驾驶负荷大。

另外，如图2所示，控制器190根据车辆100的驾驶主体来判定驾驶负荷的大小。在车辆100的驾驶主体符合“驾驶员”的情况下，控制器190判定为驾驶负荷大。另一方面，在车辆100的驾驶主体符合“车辆控制器”的情况下，控制器190判定为驾驶负荷小。例如，控制器190根据从驱动装置150获取到的驾驶主体信息，来检测当前的驾驶主体是驾驶员还是车辆控制器。此外，使用了驾驶主体的判定方法不限于上述的判定方法。例如设为，控制器190根据由室内摄像机160拍摄到的驾驶员的摄像图像而检测到：虽然车辆正在行驶，但驾驶员却未对方向盘进行操作。在该情况下，控制器190判定为驾驶主体符合“车辆控制器”，驾驶负荷小。

另外，如图2所示，控制器190根据驾驶操作来判定驾驶负荷的大小。控制器190在驾驶操作符合“车辆入库”、“侧方停车”、“倒车入位”中的任一操作的情况下，判定为驾驶负荷大。例如，当检测到变速杆挡位成为“R(倒车)”时，控制器190暂时地判断为驾驶操作有可能符合“驻车”。

然后，控制器190在根据车辆100的周边信息而检测出车辆100位于车库的周边的情况下，判定为驾驶操作符合“车辆入库”。另外，控制器190在根据车辆100的周边信息而检测出其它车辆或者纵向用的停车场的情况下，判定为驾驶操作符合“侧方停车”。另外，控制器190在根据转向角和制动器操作量而检测出车辆100正在朝向后方驻车的情况下，判定为驾驶操作符合“倒车入位”。此外，使用了驾驶操作的判定方法是一例，并没有特别限定。例如，也可以根据转向角、车速、制动器操作量、加速器操作量来估计车辆100的行驶轨迹，从而判定驾驶操作符合“车辆入库”、“侧方停车”、“倒车入位”中的哪一个操作。

另外，如图2所示，控制器190根据车辆100的外部环境来判定驾驶负荷的大小。外部环境包括行驶场所、交通状况、天气、时间段、周边存在的障碍物的多少或到障碍物的距离等。在车辆100的行驶场所符合“高速道路”的情况下，控制器190判定为驾驶负荷大。另一方面，在车辆100的行驶场所符合“拥堵中的道路”的情况下，控制器190判定为驾驶负荷小。例如，在车辆100的当前位置为高速道路、且在当前位置的周边没有拥堵信息的情况下，控制器190检测为车辆100的行驶场所是“高速道路”。另外，在车辆100的当前位置的周边有拥堵信息的情况下，控制器190检测为车辆100的行驶场所是“拥堵中的道路”。

另外，在车辆100的行驶场所符合“路口”的情况下，控制器190判定为驾驶负荷大。另一方面，在车辆100的行驶场所符合“直行道路”的情况下，控制器190判定为驾驶负荷小。另外，在车辆100的周边存在的障碍物(其它车辆、摩托车、行人等)比规定的数量少的情况下，控制器190判定为驾驶负荷大。另一方面，在障碍物为规定的数量以上的情况下，控制器190判定为驾驶负荷小。

此外，上述的判定基准是一例，并没有特别限定。控制器190也可以将在车辆100的室内启动的应用程序的类别包含为车辆100的行驶状态的项目。在该情况下，控制器190根据启动中的应用程序的类别来判定驾驶负荷的大小。此外，应用程序的类别没有特别限定。优选的是按照以实验的方式求出的基准来进行基于应用程序的类别的驾驶负荷的大小的判定。

至此，说明了按图2所示的每个项目来判定驾驶负荷的大小的方法的一例，但是驾驶负荷的大小无需根据一个项目来判定，只要对于多个项目中的至少任一个项目来进行驾驶负荷的大小的判定即可。

例如，在控制器190对于多个项目进行了驾驶负荷的大小的判定的情况下，控制器190使用规定的方法来决定驾驶负荷的大小。例如，控制器190也可以对每个项目的判定结果进行预先按每个项目设定的加权，来决定驾驶负荷的大小。另外，控制器190也可以对各个项目的判定结果进行多数表决，由此决定驾驶负荷的大小。

另外，进行判定的项目也可以根据驾驶员的驾驶熟练度而不同。例如，控制器190根据预先登记的驾驶员的信息来估计驾驶熟练度。然后，在驾驶熟练度比规定值高的驾驶员进行驾驶的情况下，控制器190不对图2所示的“行驶状态”的项目进行判定。这是基于以下观点：驾驶熟练度高的驾驶员是已习惯驾驶的驾驶员或者喜欢驾驶的驾驶员，因此在判定这种驾驶员的驾驶负荷时，仅通过判定车辆是在行驶还是在停车，难以判定驾驶负荷的大小。相反地，在驾驶熟练度低的驾驶员的情况下(例如，没有经验的新手司机等)，仅进行驾驶就成为很大的驾驶负荷，因此在驾驶熟练度为规定值以下的驾驶员进行驾驶的情况下，控制器190进行对于行驶状态的项目的驾驶负荷的判定。此外，规定值并没有特别限定，优选的是以实验的方式求出的值。

接着，说明对话功能。控制器190通过对话功能，使用与驾驶负荷的大小相应的对话程序，来与车辆100的乘员进行对话。在本实施方式中，在驾驶负荷的大小比规定的基准大的情况下控制器190使用第一对话程序，在驾驶负荷的大小比规定的基准小的情况下控制器190使用与第一对话程序不同的第二对话程序。在本实施方式中，各对话程序预先存储于ROM或数据库(未图示)，控制器190通过对话功能，从ROM或数据库选择与驾驶负荷的大小相应的对话程序并执行。此外，通过执行第一对话程序来实现第一对话模式，通过执行第二对话程序来实现第二对话模式。另外，在第一对话程序和第二对话程序中，生成声音的技术能够使用本申请提出时已知的技术。

各对话程序由识别乘员的声音的程序、以及向乘员输出声音的程序构成。控制器190通过执行输出声音的程序，经由扬声器180来输出声音，从而向乘员讲话。另外，控制器190通过执行识别声音的程序，对经由室内麦克风170输入的乘员的声音进行识别。控制器190通过重复进行声音的输出和乘员的声音的识别，来与乘员进行对话。

以后，适当使用图3来说明各对话模式。图3是用于说明本实施方式中的第一对话模式和第二对话模式的图。

第一对话程序被编写为与第二对话程序相比，乘员的回应中包含的单词数量少。回应是指对来自控制器190的提问、呼唤(以后也称为提问等)进行回答。乘员的回应不仅包括对1次提问等的回应，还包括从对话开始起到结束为止的期间进行的所有回应。作为减少乘员要说的单词数量的方法，例如能够列举出减少乘员回应的次数的方法、减少在一次回应中乘员要说的单词数量的方法、使乘员要说的单词本身变短的方法。

另外，第一对话程序被编写为与第二对话程序相比，经由扬声器180输出的单词数量少。作为使输出的单词数量少的方法，例如能够列举出不附加不需要的信息地进行提问、呼唤的方法、使用清楚的表达的方法等。

下面，举出从控制器190向乘员进行提问的情况下的具体例，来说明第一对话程序。此外，应用第一对话程序不限于进行提问的情况，能够对“讲话”所包括的全部行为应用第一对话程序。例如，第一对话程序也能够应用于进行呼唤的情况下、进行通知的情况下、进行说明的情况下等。

例如，控制器190进行使乘员择一地回答“是”或者“否”那样的提问。例如，在确定车辆100的目的地的场景中，控制器190向乘员进行“目的地是○○吧？”的提问。之后，例如，控制器190在作为乘员的回应而识别出“是”这一声音的情况下，访问导航装置130来将车辆100的目的地设定为○○。另外，例如，控制器190在作为乘员的回应而识别出“否”这一声音的情况下，再次向乘员进行“目的地是△△么？”的提问。此外，关于识别出乘员的回应之后的处理，在本实施方式中没有特别限定。

另外，例如，控制器190对回答的候选赋予编号，并进行使乘员择一地做出回答编号的提问。当以上述的确定目的地的场景为例列举并进行说明时，例如，控制器190进行“目的地是1.○○、2.△△、3.××中的哪一个？”的、使乘员用1～3的编号来做出回答的提问。例如，控制器190在作为乘员的回应而识别出“1”这一声音的情况下，访问导航装置130，来将车辆100的目的地设定为○○。此外，以回答候选的数量为3个的情况为例列举并进行了说明，但是回答候选的数量没有特别限定。

这样，通过进行要择一地回答的提问，能够减少在对话的一次回应中乘员所说的单词数量。另外，能够缩短乘员要说的单词包含的文字数。由此，即使在乘员的驾驶负荷大的场景中，乘员也能够在维持对驾驶集中注意力的状态下进行对话。

另外，例如，控制器190如“目的地可以是○○吧？”那样，仅进行使用清楚的表达、且不附加多余的信息的提问。由此，乘员易于听到来自控制器190的提问，并且易于理解所听到的内容。其结果，能够防止向没能理解提问的内容的乘员再次进行提问。在驾驶负荷大的场景中，能够尽可能地减少与乘员的交互，能够减少乘员回应的次数。

与此相对地，关于本实施方式所涉及的第二对话程序中的声音输出，如图3所示，不对乘员的回应中包含的单词数量设置限制。另外，在第二对话程序中，不对经由扬声器180输出的单词数量设置限制。因此，控制器190在使用第二对话程序进行对话的情况下，向乘员提供详细的信息、附属性的信息。

在第二对话程序中，以上述的确定目的地的场景为例列举并进行说明。例如，控制器190不仅向乘员进行提问还提供附属性的信息，如“今天天气晴朗，因此能够列举出○○、△△、××来作为推荐的目的地，把哪里作为目的地呢？另外，今天好像在这周边从下午开始进行□□的活动。”。在上述的例子的情况下，在附属性的信息中包含天气的信息、推荐的目的地的信息、与活动有关的信息。对于用作第二对话程序的技术，能够适当使用本申请提出时已知的对话程序的技术。

另外，在本实施方式中，如图3所示，关于第一对话程序中的声音识别和第二对话程序中的声音识别，使用了被称为所谓的语句识别的技术。作为语句识别的技术，例如能够列举出“Sentences recognition”(句子识别)、“Speech to text”(语音转文本)。语句识别是指以文章为单位来识别乘员的声音。

参照图3来说明语句识别的特征。在语句识别中，到识别出乘员所说出的内容为止所需的单词数量比较多。另外，在语句识别中，以文章为单位识别乘员的声音，来理解乘员所说出的内容，因此要进行语法的检查。因此，在本实施方式中，关于到控制器190理解乘员所说的内容为止的处理时间，第一对话程序和第二对话程序均比较长。

接着，使用图4来说明本实施方式所涉及的控制器190所执行的处理。图4是示出本实施方式所涉及的控制器190所执行的处理的流程图。

在步骤S101中，控制器190获取车辆100的行驶状态、车辆100的外部环境的状态以及车辆100的驾驶操作的状态的信息。例如，控制器190从变速杆传感器116获取变速杆挡位的信息来作为行驶状态的信息。另外，例如，控制器190从周围检测装置120获取车辆100的周围信息来作为外部环境的信息。另外，例如，控制器190对由室内摄像机160拍摄到的车辆100的驾驶员的摄像图像进行图像处理。控制器190通过图像处理来掌握驾驶员的驾驶姿势，获取驾驶操作的信息。

在步骤S102中，控制器190基于在步骤S101中获取到的信息，来判定车辆100的乘员的驾驶负荷的大小。例如，控制器190在车辆100处于行驶中的情况下，判定为驾驶负荷大，在车辆100处于停车中的情况下，判定为驾驶负荷小。另外，例如，控制器190在车辆100正在高速道路中行驶的情况下，判定为驾驶负荷大，在车辆100正在拥堵中的道路中行驶的情况下，判定为驾驶负荷小。另外，例如，控制器190在驾驶员正在进行车辆入库的驾驶操作的情况下，判定为驾驶负荷大。在判定为驾驶负荷大的情况下，进入到步骤S103，相反地，在判定为驾驶负荷小的情况下，进入到步骤S105。此外，上述的判定方法是一例，并没有特别限定。

在步骤S103中，控制器190使用第一对话程序来与乘员进行对话。控制器190通过执行第一对话程序，进行例如能够用“是”或者“否”回答的提问。另外，控制器190例如使用清楚的表达来进行提问。

图5是在使用第一对话程序的情况下进行的对话的一例。图5的(A)是以下场景中的对话例：在等信号而处于停车中的车辆100中，乘员为了设定目的地而对导航装置130进行了操作，但是由于信号变了，因此车辆100出发了。另外，图5的(B)是以下场景中的对话例：在乘员正在高速道路中驾驶时，车辆100的室内温度上升。如图5的(A)、(B)所示，通过执行第一对话程序，乘员能够对来自控制器190的提问如“嗯”、“不，不用了”那样用简单且短的单词来回应。

在步骤S104中，控制器190判定步骤S103中的与乘员之间的对话是否已结束。例如，在预先决定了对话结束的条件的情况下，控制器190判定是否符合该条件，由此判定对话是否已结束。使用图5的(A)的例子，作为对话结束的条件，能够列举出通过乘员的回应而确定了目的地的情况。在对话已结束的情况下，控制器190所进行的处理结束。相反地，在对话未结束的情况下，返回到步骤S103。

另外，在步骤S102中判定为驾驶负荷小的情况下，进入到步骤S105。在步骤S105中，控制器190执行使用第二对话程序的对话。

图6是在使用第二对话程序的情况下进行的对话的一例。图6是在车辆100停车于停车场等的场景中的对话例。如图6所示，通过执行第二对话程序，乘员能够根据由控制器190提供的信息(餐厅的数量)，来指定料理和场所。并且，乘员能够根据由控制器190提供的信息(到餐厅的移动时间、当前的空位状况)，来决定餐厅。

在步骤S106中，控制器190判定步骤S105中的与乘员之间的对话是否已结束。当使用图6的例子时，作为对话结束的条件，能够列举出通过乘员的回应而确定了目的地的情况。在对话已结束的情况下，控制器190所进行的处理结束。相反地，在对话未结束的情况下，返回到步骤S105。

如以上那样，本实施方式所涉及的声音对话装置具备控制器190，该控制器190使用搭载于车辆100的传感器组110、周围检测装置120、导航装置130、外部信息获取装置140、驱动装置150、室内摄像机160，来与车辆100的乘员进行对话。传感器组110检测车辆100的行驶状态。周围检测装置120、导航装置130以及外部信息获取装置140检测车辆100的外部环境的状态。驱动装置150和室内摄像机160检测车辆100的乘员的驾驶操作的状态。控制器190基于车辆100的行驶状态、外部环境的状态、乘员的驾驶操作的状态中的至少一个，来判定乘员的驾驶负荷的大小，并使用与驾驶负荷的大小相应的对话程序来与乘员进行对话。由此，能够通过与驾驶负荷的大小相应的对话程序来与乘员进行对话，因此无论驾驶负荷的大小如何，都能够持续进行与乘员之间的对话。

另外，在本实施方式中，在驾驶负荷的大小比规定的基准大的情况下控制器190使用第一对话程序，在驾驶负荷的大小比规定的基准小的情况下控制器190使用与第一对话程序不同的第二对话程序，来与乘员进行对话。由此，能够通过与驾驶负荷的大小相应的不同的2个对话模式，来持续进行与乘员之间的对话。

并且，在本实施方式中，控制器190通过执行第一对话程序来从乘员获取对提问的回应，通过执行第二对话程序来从乘员获取对提问的回应。第一对话程序被编写为与第二对话程序相比，乘员的回应中包含的单词数量少。由此，即使在驾驶负荷大的情况下，乘员也能够一边维持对驾驶集中注意力一边进行对话。

除此以外，在本实施方式中，控制器190使用第一对话程序来进行使得乘员择一地做出回答的提问。由此，即使在驾驶负荷大的情况下，例如，对来自控制器190的提问，仅表达“是”或者“否”的简单的单词就能够进行对话。另外，仅表达从多个回答候选中选择的选择结果就能够进行对话。

另外，在本实施方式中，在车辆100正在通过乘员的驾驶来行驶的情况下，控制器190判定为驾驶负荷的大小比规定的基准大。例如，对没有经验的新手司机等驾驶熟练度比较小的驾驶员来说，进行驾驶就成为很大的负荷，因此能够适当地判定驾驶负荷的大小。

并且，在本实施方式中，在乘员正在进行用于驻车的驾驶操作的情况下，控制器190判定为驾驶负荷的大小比规定的基准大。一般而言，在使车辆驻车时，驾驶员集中注意力在驾驶操作上，因此能够适当地判定驾驶负荷的大小。

除此以外，在本实施方式中，在车辆100正在高速道路或者路口行驶的情况下，控制器190判定为驾驶负荷的大小比规定的基准大。一般而言，对驾驶员来说，高速道路中的驾驶成为很大的负荷，因此能够适当地判定驾驶负荷的大小。另外，对驾驶员来说，相向车辆有可能右转的路口处的驾驶成为很大的负荷，因此能够适当地判定驾驶负荷的大小。

另外，在本实施方式中，在车辆100处于停车状态的情况下，控制器190判定为驾驶负荷的大小比规定的基准小。一般而言，在停车的状态下，对驾驶员施加的负荷比较小，因此能够适当地判定驾驶负荷的大小。

并且，在本实施方式中，在车辆100正在通过自动驾驶来行驶的情况下，控制器190判定为驾驶负荷的大小比规定的基准小。在车辆的驾驶主体不是驾驶员的情况下，对驾驶员施加的负荷比较小，因此能够适当地判定驾驶负荷的大小。

除此以外，在本实施方式中，在车辆100正在拥堵中的道路中行驶的情况下，或者在车辆100正在直线道路中行驶的情况下，控制器190判定为驾驶负荷的大小比规定的基准小。一般而言，以缓行速度行驶、或者在重复进行停止和起步的拥堵中，对驾驶员施加的负荷比较小，因此能够适当地判定驾驶负荷的大小。

另外，在本实施方式中，控制器190从存储于ROM或数据库的对话程序中选择与驾驶负荷的大小相应的对话程序并执行对话程序，由此经由室内麦克风170和扬声器180来与乘员进行对话。室内麦克风170识别乘员的声音，扬声器180向乘员输出声音。由此，控制器190能够识别乘员的声音，并且能够通过声音向乘员传达提问等。

《第二实施方式》

接着说明第二实施方式所涉及的声音对话装置。本实施方式的声音对话装置除了控制器190所使用的第一对话程序及第二对话程序不同的点以外，具有与上述的实施方式相同的结构，因此省略重复的说明，引用在上述的实施方式中说明过的内容。

使用图7来说明本实施方式所涉及的对话程序。图7是用于说明本实施方式中的第一对话模式和第二对话模式的图。

首先，说明第二实施方式所涉及的第一对话程序。本实施方式所涉及的第一对话程序与上述的第一实施方式所涉及的第一对话程序相比，不同之处在于声音输出和声音识别。在本实施方式中，关于第一对话程序中的声音识别，使用了被称为所谓的孤立词识别的技术。作为孤立词识别的技术，例如能够列举出“Keyword Spotting”(关键词识别)。孤立词识别是指，不将乘员的声音信息作为文章来进行识别，而是识别乘员的声音信息中包含的规定的单词(以后，也称为关键词)。

参照图7来说明孤立词识别的特征。在孤立词识别中，为了识别乘员所说出的内容所需的单词数量比较少。另外，在孤立词识别中，通过是否符合关键词的判断，来识别乘员所说出的内容，因此不进行语法的检查。因此，与上述的语句识别相比，由乘员表达出的单词的识别精度高。例如，在路面状态差的道路中行驶的情况下，所谓的路面噪声变大，但是，在该情况下，若使用孤立词识别，则能够高精度地识别乘员所说出的单词。另外，由于没有语法检查，因此与上述的语句识别相比，到控制器190理解乘员的发声内容为止的处理时间变短。

接着，说明关键词。关键词是指预先登记在ROM或数据库等存储装置中的单词。关键词的类别和文字数没有特别限定。另外，关键词数量也没有特别限定，但是为了实现处理速度的高速化，优选的是关键词数量为10～20的范围。

作为关键词，能够例示出“是”、“否”、“前”、“后”、“左”、“右”、“上”、“下”、“强”、“弱”、“高”、“低”等。此外，在选定关键词时，优选的是要考虑与向乘员的提问、呼唤的关系性。例如，作为针对“要下调空调的温度么？”这一提问所设想的回应，能够想到“是”、“否”、“下调”、“不，上调”，因此优选的是，将与对话的内容相应的单词预先登记为关键词。

另外，在本实施方式中，关于第一对话程序中的声音输出，使用与上述的第一实施方式所涉及的第二对话程序相同的方式。如图7所示，关于声音输出，不设置对乘员的回应中包含的单词数量的限制、以及经由扬声器180输出的单词数量的限制。

与此相对地，如图7所示，本实施方式所涉及的第二对话程序与第一实施方式所涉及的第二对话程序相同。因此，省略重复的说明，引用在第一实施方式中说明过的内容。

如以上那样，在本实施方式所涉及的第一对话程序中，关于声音识别，使用了孤立词识别的技术。由此，例如，即使在未铺装的道路、路面湿滑道路中行驶时产生了大的路面噪声的情况下，也能够高精度地识别乘员所说出的单词，并且能够缩短从识别乘员的声音到输出声音为止所需的处理时间。

《第三实施方式》

接着，说明第三实施方式所涉及的声音对话装置。本实施方式的声音对话装置除了控制器190所使用的第一对话程序及第二对话程序不同的点以外，具有与上述的实施方式相同的结构，因此省略重复的说明，引用在上述的实施方式中说明过的内容。

使用图8来说明本实施方式所涉及的对话程序。图8是用于说明本实施方式中的第一对话模式和第二对话模式的图。此外，在本实施方式中，第二对话程序与上述的第二实施方式所涉及的第二对话程序相同，因此省略重复的说明，引用在上述的实施方式中说明过的内容。

说明第三实施方式所涉及的第一对话程序。关于本实施方式所涉及的第一对话程序，与声音输出有关的部分由第一实施方式所涉及的第一对话程序构成，与声音识别有关的部分由第二实施方式所涉及的第一对话程序构成。在本实施方式中，控制器190进行使乘员用特定的关键词来回答那样的提问等。特定的关键词是指在孤立词识别中使用的关键词。

例如设为，预先在存储装置中登记有“是”和“否”来作为在孤立词识别中使用的关键词。在该情况下，控制器190进行使乘员用“是”或者“否”来回应那样的提问等。另外，例如设为，预先在存储装置中登记有“热”、“冷”来作为在孤立词识别中使用的关键词。在该情况下，控制器190例如进行使乘员用“热”或者“冷”来回应那样的与室内温度有关的提问。另外，例如设为，预先在存储装置中登记有“很好”、“普通”以及“很差”来作为在孤立词识别中使用的关键词。在该情况下，控制器190进行使乘员从“很好”、“普通”以及“很差”的选项中进行选择那样的提问等。

另外，在本实施方式中，第一对话程序要处理的话题与第二对话程序要处理的话题不同。具体地说，第一对话程序被编写为关于与行驶有关的事项与乘员进行对话。作为与行驶有关的事项，例如能够列举出转向控制、行驶控制、目的地的设定等。另一方面，第二对话程序在与乘员之间的对话中不设置话题的限制。在第二对话程序要处理的话题中例如也包括天气、娱乐等与行驶无关的话题。

如以上那样，在本实施方式中，控制器190使用第一对话程序，来进行使乘员用预先登记的关键词进行回答那样的提问。由此，即使在乘员的驾驶负荷大的场景中，乘员也能够在维持对驾驶集中注意力的状态下进行对话。另外，通过孤立词识别，能够缩短到识别出乘员的声音为止所需的处理时间，能够实现到对话结束为止的时间的缩短。

另外，在本实施方式中，第一对话程序被编写为在与车辆的行驶有关的话题上与乘员进行对话。由此，即使在乘员的驾驶负荷大的场景中，也能够例如通过乘员易于理解那样的表达，来用清楚的文章进行与转向有关的提问，或者进行与车速有关的通知。

此外，以上说明的实施方式是为了易于理解本发明而记载的，并不是为了限定本发明而记载的。因而，上述的实施方式中公开的各要素旨在也包含属于本发明的技术范围的所有设计变更、等效物。

例如，在上述的实施方式中，以将声音对话系统搭载于车辆100的结构为例举例并进行说明，但是声音系统无需仅在车辆100中构成，也可以是车辆100和能够与车辆100进行通信的服务器的结构。例如，声音对话系统也可以具备服务器，该服务器具有与控制器190同样的功能，通过与车辆进行通信来与车辆的乘员进行对话。

在该情况下，服务器经由通信装置(未图示)进行行驶状态的信息、外部环境的状态的信息、驾驶操作的状态的信息以及声音信息的发送接收。例如，在是具有图1所示的结构中的除了控制器190以外的结构的车辆的情况下，服务器经由通信装置逐次从车辆获取驾驶负荷的大小的判定中所需的信息，并且将使用与驾驶负荷的大小相应的对话程序来生成的声音信息发送到车辆。在车辆侧，车载通信装置(未图示)将由室内麦克风170获取到的乘员的声音信息发送到服务器，并且接收从服务器发送的声音信息，从扬声器180输出该声音信息。

这样，通过构成包含服务器的声音对话系统，例如能够在具备服务器的数据中心中统一管理与多个车辆之间进行的对话的历史记录。然后，例如通过针对每个乘员分析对话的历史记录，能够与乘员的驾驶特性相配合地生成用于判定驾驶负荷的大小的基准。

另外，例如，在上述的实施方式中，举例了在判定驾驶负荷的大小时，在驾驶主体为“驾驶员”的情况下判定为驾驶负荷大的例子来进行说明，但是在具备驾驶辅助功能的车辆的情况下不限于此。例如，也可以在虽然驾驶主体是“驾驶员”、但通过车辆控制器或者行驶控制而受到了驾驶辅助的情况下，判定为驾驶负荷小。

在上述的实施方式中，举例说明了判定驾驶员的驾驶负荷的状态的例子，但是本发明也能够应用于针对非驾驶员的车辆的乘员的对话系统。具体地说，能够是，判定非驾驶员的车辆的乘员的负荷状态，在乘员的负荷的状态大时使用上述的第一对话程序，在乘员的负荷的状态小时使用上述的第二对话程序。关于非驾驶员的车辆的乘员的负荷状态，基于通过行驶状态信息获取功能获取到的与行驶状态有关的信息、通过外部环境信息获取功能获取到的与外部环境有关的信息、与搭载于车辆100的信息娱乐系统(未图示)的使用状态有关的信息、与乘员所利用的移动终端(未图示)的使用状态有关的信息中的至少任一个信息，来判定非驾驶员的车辆的乘员的负荷状态。例如，在与搭载于车辆100的信息娱乐系统(未图示)的使用状态有关的信息表示正在该信息娱乐系统中播放运动图像的情况下，判定为乘员的负荷状态大。另外，在与乘员所利用的移动终端的使用状态有关的信息表示乘员正在操作乘员所利用的移动终端的情况下，判定为乘员的负荷状态大，使用第一对话程序来进行与乘员之间的对话。另一方面，在与搭载于车辆100的信息娱乐系统等(未图示。信息显示装置等车载设备)的使用状态有关的信息表示未使用该信息娱乐系统的情况下，或者，在与乘员所利用的移动终端的使用状态有关的信息表示乘员未操作该移动终端的情况下，判定为乘员的负荷状态小，使用第二对话程序来进行与乘员之间的对话。因而，根据车载设备或移动终端是否被利用，来选择第一对话程序或第二对话程序进行与乘员之间的对话。

也就是说，在本实施方式中，在判定为驾驶员或非驾驶员的乘员正在进行某些需要集中注意力的任务的情况下使用第一对话程序，在判定为未进行需要集中注意力的任务的情况下使用第二对话程序，来进行对话。

另外，例如，在本说明书中，以控制器190为例来说明本发明所涉及的控制器，但是本发明不限定于此。另外，例如，以传感器组110、周围检测装置120、导航装置130、外部信息获取装置140、驱动装置150为例来说明本发明所涉及的传感器，但是本发明不限定于此。另外，例如，以ROM或数据库为例来说明本发明所涉及的存储装置，但是本发明不限定于此。另外，例如，以室内麦克风170、扬声器180为例来说明本发明所涉及的声音装置，但是本发明不限定于此。

附图标记说明

100：车辆；110：传感器组；111：车速传感器；112：发动机转速传感器；113：加速器开度传感器；114：制动器开度传感器；115：转向角传感器；116：变速杆传感器；120：周围检测装置；121：车载摄像机；122：雷达；130：导航装置；131：GPS；140：外部信息获取装置；150：驱动装置；160：室内摄像机；170：室内麦克风。

Claims (15)

1.一种声音对话装置，具备使用车辆中搭载的传感器来与所述车辆的乘员进行对话的控制器，

所述传感器检测所述车辆的行驶状态、所述车辆的外部环境的状态以及所述乘员的状态中的至少一个状态，

所述控制器基于所述传感器的检测结果，来判定所述乘员的负荷的状态，

所述控制器使用与所述负荷的状态相应的对话程序，来与所述乘员进行对话。

2.根据权利要求1所述的声音对话装置，其特征在于，

在所述负荷的大小比规定的基准大的情况下所述控制器使用第一对话程序，在所述负荷的大小比所述基准小的情况下所述控制器使用与所述第一对话程序不同的第二对话程序。

3.根据权利要求2所述的声音对话装置，其特征在于，

所述控制器通过执行所述第一对话程序，来从所述乘员获取针对提问的第一回应，

所述控制器通过执行所述第二对话程序，来从所述乘员获取针对提问的第二回应，

所述第一回应中包含的单词数量比所述第二回应中包含的单词数量少。

4.根据权利要求2或3所述的声音对话装置，其特征在于，

所述控制器使用所述第一对话程序，进行使得所述乘员用预先决定的规定的单词做出回答的提问。

5.根据权利要求2～4中的任一项所述的声音对话装置，其特征在于，

所述控制器使用所述第一对话程序，进行使得所述乘员择一地做出回应的提问。

6.根据权利要求2～5中的任一项所述的声音对话装置，其特征在于，

所述控制器基于所述检测结果，在检测出所述车辆正在通过所述乘员的驾驶来行驶的情况下，判定为所述负荷的大小比所述基准大。

7.根据权利要求2～6中的任一项所述的声音对话装置，其特征在于，

所述控制器基于所述检测结果，在检测出所述乘员正在进行用于驻车的驾驶操作的情况下，或者在检测出所述车辆正在高速道路或者路口行驶的情况下，判定为所述负荷的大小比所述基准大。

8.根据权利要求2～7中的任一项所述的声音对话装置，其特征在于，

所述控制器基于所述检测结果，在检测出所述乘员正在利用所述车辆的车载设备或移动终端的情况下，判定为负荷大。

9.根据权利要求2～8中的任一项所述的声音对话装置，其特征在于，

所述控制器基于所述检测结果，在检测出所述车辆处于停车状态的情况下，判定为所述负荷的大小比所述基准小。

10.根据权利要求2～9中的任一项所述的声音对话装置，其特征在于，

所述控制器基于所述检测结果，在检测出所述车辆正在通过自动驾驶来行驶的情况下，判定为所述负荷的大小比所述基准小。

11.根据权利要求2～10中的任一项所述的声音对话装置，其特征在于，

所述控制器基于所述检测结果，在检测出所述车辆正在拥堵中的道路中行驶的情况下，或者在检测出所述车辆正在直线道路中行驶的情况下，判定为所述负荷的大小比所述基准小。

12.根据权利要求2～11中的任一项所述的声音对话装置，其特征在于，

所述第一对话程序是用于实现在与所述车辆的行驶有关的话题上与所述乘员进行对话的功能的程序。

13.根据权利要求1～12中的任一项所述的声音对话装置，其特征在于，

所述控制器从存储装置中存储的对话程序中选择与所述负荷的大小相应的对话程序，

所述控制器通过执行所述对话程序，经由一个或多个声音装置来与所述乘员进行对话，

所述一个或多个声音装置识别所述乘员的声音，并向所述乘员输出声音。

14.一种声音对话系统，具备通过与车辆进行通信来与所述车辆的乘员进行对话的服务器，

所述车辆搭载有传感器以及一个或多个声音装置，

所述传感器检测所述车辆的行驶状态、所述车辆的外部环境的状态以及所述乘员的状态中的至少一个状态，

所述一个或多个声音装置识别所述乘员的声音，并向所述乘员输出声音，

所述服务器获取所述传感器的检测结果，

所述服务器基于所述传感器的检测结果，来判定所述乘员的负荷的状态，

所述服务器使用与所述负荷的状态相应的对话程序，来与所述乘员进行对话。

15.一种声音对话装置的控制方法，该声音对话装置具备使用车辆中搭载的传感器来与所述车辆的乘员进行对话的控制器，在所述控制方法中，

通过所述传感器检测所述车辆的行驶状态、所述车辆的外部环境的状态以及所述乘员的状态中的至少一个状态，

所述控制器基于所述传感器的检测结果，来判定所述乘员的负荷的状态，

使用与所述负荷的状态相应的对话程序，来与所述乘员进行对话。

Images