CN111295699A - 辅助方法以及利用该辅助方法的辅助系统、辅助装置 - Google Patents

Abstract

驾驶辅助装置(40)执行与车辆中的行为模型有关的处理。检测信息输入部(52)被输入来自车辆的检测信息。获取部(60)根据被输入到检测信息输入部(52)的检测信息，来导出车辆的行驶难度、驾驶员的清醒度以及驾驶员的驾驶熟练度中的至少一个信息。决定部(62)根据获取部(60)导出的至少一个信息，来决定是否执行处理。在决定部(62)决定了执行处理时，处理部(64)执行与行为模型有关的处理。在决定部(62)决定不执行处理时，处理部(64)不执行与行为模型有关的处理。

Description

辅助方法以及利用该辅助方法的辅助系统、辅助装置

技术领域

本公开涉及一种用于执行与行为模型有关的处理的辅助方法以及利用该辅助方法的辅助系统、辅助装置。

背景技术

正在研究一种推断车辆的驾驶环境和驾驶员的驾驶状况来执行与驾驶环境及驾驶状况相应的驾驶辅助的系统。在这种系统中，目标在于更准确地进行满足驾驶员的驾驶辅助。例如，检测表示车辆的行为和驾驶员的操作的检测数据，根据检测数据来判定车辆的驾驶环境。另外，存储有按驾驶环境的种类准备的推断模型，基于检测数据来执行推断模型的学习。并且，使用与判定出的驾驶环境相应的推断模型，基于检测数据来推断驾驶员的驾驶状况(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2011-53798号公报

发明内容

发明要解决的问题

通过使用按驾驶环境的种类准备的推断模型，来推断出降低了驾驶环境的影响的驾驶状况。另一方面，在驾驶员例如由于困倦而处于清醒度低的状态的情况下，可以说并不是适合驾驶的状态。在这种状态下即使进行学习或推断，学习或推断的精度也变低。

本公开是鉴于这种状况而完成的，其目的在于提供一种用于抑制在不适合学习或推断的状态下执行学习或推断的技术。

用于解决问题的方案

为了解决上述问题，本公开的某个方式的辅助系统是执行与行为模型有关的处理的辅助系统，具备：检测信息输入部，其被输入检测信息；获取部，其根据被输入到检测信息输入部的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；决定部，其根据获取部获取到的一个以上的信息来决定是否执行处理；以及处理部，在决定部决定了执行处理的情况下，该处理部执行与行为模型有关的处理。在决定部决定了不执行处理的情况下，处理部不执行与行为模型有关的处理。

本公开的另一方式也是辅助装置。该装置是执行与行为模型有关的处理的辅助装置，具备：检测信息输入部，其被输入检测信息；获取部，其根据被输入到检测信息输入部的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；决定部，其根据获取部获取到的一个以上的信息来决定是否执行处理；以及处理部，在决定部决定了执行处理的情况下，该处理部执行与行为模型有关的处理。在决定部决定了不执行处理的情况下，处理部不执行与行为模型有关的处理。

本公开的又一方式是辅助方法。该方法是用于执行与行为模型有关的处理的辅助方法，包括以下步骤：输入检测信息；根据所输入的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；根据获取到的一个以上的信息来决定是否执行处理；在决定了执行处理的情况下，执行与行为模型有关的处理；以及在决定了不执行处理的情况下，不执行与行为模型有关的处理。

此外，以上的构成要素的任意的组合、构成要素的一部分、例如利用经由通信网的计算机使处理部依次或以一天等规定时间汇总地进行处理的结构、以及在装置、系统、方法、程序、记录有程序的记录介质、搭载有本装置的车辆等之间变换本公开的表述所得到的结构作为本公开的方式也是有效的。

发明的效果

根据本公开，能够抑制在不适合学习或推断的状态下执行学习或推断。

附图说明

图1是示出实施方式1所涉及的车辆的结构的图。

图2是示意性地示出实施方式1所涉及的车辆的室内的图。

图3的(a)-(b)是示出实施方式1所涉及的驾驶辅助装置的结构的图。

图4的(a)-(c)是示出图3的(a)-(b)的决定部中存储的表的结构的图。

图5的(a)-(c)是示出基于图4的(a)的表的处理概要的图。

图6的(a)-(d)是示出图3的(a)-(b)的通知装置中显示的画面的图。

图7的(a)-(b)是示出图3的(a)-(b)的处理部的处理概要的图。

图8是示出图3的(a)-(b)的驾驶辅助装置进行的处理过程的流程图。

图9是示出图3的(a)-(b)的驾驶辅助装置进行的另一处理过程的流程图。

图10是示出实施方式2所涉及的语音智能体系统的结构的图。

图11的(a)-(b)是示出实施方式2所涉及的辅助系统的结构的图。

图12的(a)-(f)是示出图10的终端装置的通知部中显示的画面的图。

图13是示出实施方式2所涉及的语音智能体系统的另一结构的图。

图14是示出图11的(a)-(b)的辅助系统进行的处理过程的流程图。

图15是示出图11的(a)-(b)的辅助系统进行的另一处理过程的流程图。

图16是示出图13的语音智能体系统进行的处理过程的流程图。

图17是示出实施方式3所涉及的远程操作系统的结构的图。

图18的(a)-(b)是示出实施方式3所涉及的辅助系统的结构的图。

图19是示出图18的(a)-(b)的辅助系统进行的处理过程的流程图。

图20是示出图18的(a)-(b)的辅助系统进行的另一处理过程的流程图。

图21是示出图18的(a)-(b)的辅助系统进行的又一处理过程的流程图。

具体实施方式

(实施方式1)

在具体地说明本公开之前，叙述概要。本实施方式涉及一种汽车的自动驾驶。特别是，本实施方式涉及一种控制HMI(Human Machine Interface：人机接口)的装置(以下也称为“驾驶辅助装置”)，该HMI用于与车辆的乘员(例如驾驶员)之间交换与车辆的驾驶行为有关的信息。另外，驾驶辅助装置执行以下处理中的至少一个处理：为了自动驾驶而学习驾驶行为模型(以下，称为“学习处理”)；以及根据驾驶行为模型来推断驾驶行为(以下，称为“推断处理”)。本公开的处理是驾驶行为的学习和/或推断，例如也可以是针对IVI(In-VehicleInfotainment：车载信息娱乐系统)设备的操作等驾驶中的除驾驶以外的行为或操作。本公开中的所谓不执行，是指处理的中止或中断，在中断的情况下，也可以继续进行处理。另外，在本公开的未决定不执行的情况下，也可以在正执行处理时通过来自驾驶员的输入而强制地中止或中断。

本实施方式中的各种用语如下那样定义。“驾驶行为”包括车辆行驶中或停止时的转向、制动等动作状态或者与自动驾驶控制有关的控制内容，例如恒速行驶、加速、减速、暂时停止、停止、车道变更、前进路线变更、左右转弯、泊车等。另外，驾驶行为也可以是巡航(保持车道且保持车速)、保持车道、前车跟随、跟随时的停停走走、超车、对合流车辆的应对、包括进入高速公路和从高速公路退出的交替(高速公路出入口)、合流、对工程区域的应对、对紧急车辆的应对、对加塞车辆的应对、对左右转弯专用车道的应对、与行人及自行车的相互影响、车辆以外的障碍物躲避、对标识的应对、对左右转弯和U形转弯限制的应对、对车道限制的应对、对单向通行的应对、对交通标识的应对、对交叉路口和环形交叉路口的应对等。

作为“驾驶行为推断引擎”，使用DL(Deep Learning：深度学习)、ML(MachineLearning：机器学习)、过滤等中的任一种或者它们的组合。DeepLearning例如是CNN(Convolutional Neural Network：卷积神经网络)、RNN(Recurrent Neural Network：递归神经网络)。另外，Machine Learning例如是SVM(Support Vector Machine：支持向量机)。并且，过滤例如是协同过滤。

“驾驶行为模型”是根据驾驶行为推断引擎而唯一确定的。DL的情况下的驾驶行为模型是进行过学习的神经网络(Neural Network)，SVM的情况下的驾驶行为模型是进行过学习的预测模型，协同过滤的情况下的驾驶行为模型是将行驶环境数据与驾驶行为数据进行绑定所得到的数据。规则的情况下的驾驶行为模型是将输入与输出进行绑定所得到的数据。

根据这样的定义，驾驶辅助装置使用方向盘的转向角、制动踏板的踩踏量、加速踏板的踩踏量等与驾驶员的操作有关的检测结果以及带教师数据来执行学习处理，并且使用检测结果和驾驶行为模型来执行推断处理。如上所述，如果在并非适合驾驶的状态的情况下进行学习或推断，则学习或推断的精度变低。因此，在这种情况下最好不进行学习或推断。

为了应对这种情况，在本实施方式中，导出行驶难度、清醒度以及驾驶熟练度中的至少一者，基于此来决定是否执行学习或推断的处理。在决定了执行处理的情况下执行学习或推断，但在决定了不执行处理的情况下不执行学习或推断。以下，参照附图来详细地说明本公开的实施方式。以下说明的各实施方式是一例，本公开不受这些实施方式限定。

图1示出车辆100的结构，特别是示出与自动驾驶车辆有关的结构。车辆100能够以自动驾驶模式行驶，包括通知装置2、输入装置4、无线装置8、驾驶操作部10、检测部20、自动驾驶控制装置30以及驾驶辅助装置40。图1所示的各装置之间也可以通过专用线或CAN(Controller Area Network：控制器局域网)等有线通信来连接。另外，也可以通过USB(Universal Serial Bus：通用串行总线)、Ethernet(注册商标)、Wi-Fi(注册商标)、Bluetooth(注册商标)等有线通信或无线通信来连接。

通知装置2用于向乘员通知与车辆100的行驶有关的信息。通知装置2例如是设置在车内的汽车导航系统、平视显示器、中央显示器。通知装置2也可以是设置在方向盘、支柱、仪表盘、仪表板周围等的LED(Light EmittingDiode：发光二极管)等发光体等之类的用于显示信息的显示部。另外，通知装置2既可以是将信息转换为语音来通知给乘员的扬声器，或者也可以是设置在乘员能够感知的位置(例如，乘员的座位、方向盘等)的振动体。通知装置2还可以是它们的组合。

输入装置4是用于受理由乘员进行的操作输入的用户接口装置。例如，输入装置4是触摸面板、控制杆、按钮、开关、操纵杆、音量等的控制器、以非接触方式识别手势的摄像机等传感器、识别语音的麦克风等传感器或者它们的组合，用于受理乘员输入的与本车的自动驾驶有关的信息。另外，也可以受理用于在自动驾驶与手动驾驶之间进行切换的操作信号。输入装置4将所受理的信息作为操作信号输出到驾驶辅助装置40。

图2示意性地示出车辆100的室内。通知装置2既可以是平视显示器(HUD，Head-UpDisplay)2a，也可以是中央显示器2b。输入装置4既可以是设置于方向盘11的第一操作部4a，也可以是设置在驾驶座与副驾驶座之间的第二操作部4b，还可以是作为识别手势的摄像机等传感器的第三操作部4c。通知装置2和输入装置4可以被一体化，例如也可以被设为触摸面板显示器安装。在车辆100中也可以还设置用于通过语音向乘员呈现与自动驾驶有关的信息的扬声器6。在该情况下，驾驶辅助装置40也可以使表示与自动驾驶有关的信息的图像显示于通知装置2，与此同时或取而代之地从扬声器6呈现表示与自动驾驶有关的信息的语音。返回到图1。

无线装置8与移动电话通信系统、WMAN(Wireless Metropolitan AreaNetwork：无线城域网)等对应，用于执行无线通信。驾驶操作部10具备方向盘11、制动踏板12、加速踏板13以及方向指示灯开关14。方向盘11、制动踏板12、加速踏板13以及方向指示灯开关14能够被转向ECU、制动器ECU、发动机ECU和马达ECU以及方向指示灯控制器进行电子控制。在自动驾驶模式下，转向ECU、制动器ECU、发动机ECU以及马达ECU根据从自动驾驶控制装置30提供的控制信号来驱动致动器。另外，方向指示灯控制器根据从自动驾驶控制装置30提供的控制信号来使方向指示灯点亮或熄灭。

检测部20检测车辆100的周围状况和行驶状态。检测部20例如检测车辆100的速度、先行车辆相对于车辆100的相对速度、车辆100与先行车辆的距离、侧方车道的车辆相对于车辆100的相对速度、车辆100与侧方车道的车辆的距离以及车辆100的位置信息。检测部20还检测与驾驶员的操作有关的信息、与驾驶员的状态有关的信息。检测部20将检测出的各种信息(以下称为“检测信息”)输出到自动驾驶控制装置30。另外，检测部20既可以经由自动驾驶控制装置30向驾驶辅助装置40输出检测信息，也可以直接向驾驶辅助装置40输出检测信息。检测部20包括位置信息获取部21、传感器22、速度信息获取部23以及地图信息获取部24，传感器22包括行驶环境传感器25、监视传感器26以及车辆信息传感器27。

位置信息获取部21从GNSS(Global Navigation Satellite System(s)：全球导航卫星系统)接收机获取车辆100的当前位置。传感器22是用于检测车外的状况、车辆100的状态、驾驶员的操作以及驾驶员的状态的各种传感器的总称。作为用于检测车辆100的状态的传感器22，例如搭载有加速度传感器、陀螺仪传感器、地磁传感器、倾斜传感器等。

行驶环境传感器25是用于检测车外的状况的传感器。作为行驶环境传感器25，例如搭载有摄像机、毫米波雷达、LIDAR(Light Detection and Ranging：光探测和测距、Laser Imaging Detection and Ranging：激光成像探测和测距)、声纳、气温传感器、气压传感器、湿度传感器、照度传感器等。车外的状况包括包含车道信息在内的本车行驶的道路的道路状况、包括天气在内的环境、本车周边状况、处于附近位置的其它车辆(在相邻车道上行驶的其它车辆等)。只要是行驶环境传感器25能够检测的车外的信息，则可以是任何信息。

监视传感器26例如是搭载在车厢内的摄像机，用于对驾驶员的脸部进行拍摄。监视传感器26设定为能够特别针对驾驶员的眼睑的动作进行拍摄。车辆信息传感器27检测方向盘的转向角、制动踏板的踩踏量、加速踏板的踩踏量等与驾驶员的操作有关的信息。在这些检测中使用公知的技术即可，因此在此省略说明。

速度信息获取部23从车速传感器获取车辆100的当前速度。地图信息获取部24从地图数据库获取车辆100的当前位置周边的地图信息。地图数据库既可以被记录在车辆100内的记录介质中，也可以在使用时经由网络从地图服务器下载。在地图信息中包含与道路、交叉路口有关的信息。

自动驾驶控制装置30是安装有自动驾驶控制功能的自动驾驶控制器，用于决定自动驾驶中的车辆100的行为。自动驾驶控制装置30具备控制部31、存储部32以及I/O部(Input/Output部：输入/输出部)33。控制部31的结构能够通过硬件资源和软件资源的协作来实现，或者仅通过硬件资源来实现。作为硬件资源，能够利用处理器、ROM(Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随机存取存储器)及其它LSI，作为软件资源，能够利用操作系统、应用程序、固件等的程序。存储部32具备快闪存储器等非易失性记录介质。I/O部33执行与各种通信格式相应的通信控制。例如，I/O部33向驾驶辅助装置40输出与自动驾驶有关的信息，并且从驾驶辅助装置40输入控制命令。I/O部33还从检测部20输入检测信息。

控制部31将从驾驶辅助装置40输入的控制命令、从检测部20或各种ECU收集到的各种信息应用于自动驾驶算法，来计算用于对车辆100的加速器节气门开度、方向盘转向角等自动控制对象进行控制的控制值。控制部31将计算出的控制值传递到各控制对象的ECU或控制器。在本实施方式中，传递到转向ECU、制动器ECU、发动机ECU、方向指示灯控制器。在电动汽车或混合动力汽车的情况下，代替发动机ECU或者除了发动机ECU以外，向马达ECU传递控制值。

驾驶辅助装置40是执行车辆100与乘员之间的接口功能的HMI控制器，具备控制部41、存储部42以及I/O部43。控制部41执行HMI控制等的各种数据处理。控制部41能够通过硬件资源和软件资源的协作来实现，或者仅通过硬件资源来实现。作为硬件资源，能够利用处理器、ROM、RAM及其它LSI，作为软件资源，能够利用操作系统、应用程序、固件等的程序。

存储部42是用于存储由控制部41参照或更新的数据的存储区域。例如由快闪存储器等非易失性记录介质来实现。I/O部43执行与各种通信格式相应的各种通信控制。I/O部43具备操作信号输入部50、图像/语音输出部51、检测信息输入部52、命令IF(Interface：接口)53以及通信IF 56。

操作信号输入部50从输入装置4接收通过由乘员或处于车外的用户对输入装置4进行的操作所产生的操作信号，并向控制部41输出该操作信号。图像/语音输出部51将由控制部41生成的图像数据或语音消息输出到通知装置2并进行显示。检测信息输入部52从检测部20接收由检测部20进行的检测处理的结果、即表示车辆100的当前的周围状况和行驶状态等的检测信息，并向控制部41输出该检测信息。

命令IF 53用于执行与自动驾驶控制装置30之间的接口处理，包括行为信息输入部54和命令输出部55。行为信息输入部54接收从自动驾驶控制装置30发送来的与车辆100的自动驾驶有关的信息，并向控制部41输出该信息。命令输出部55从控制部41受理用于对自动驾驶控制装置30指示自动驾驶的方式的控制命令，并向自动驾驶控制装置30发送该控制命令。

通信IF 56执行与无线装置8之间的接口处理。通信IF 56将从控制部41输出的数据发送到无线装置8，并从无线装置8向车外的装置发送该数据。另外，通信IF 56接收由无线装置8转送的来自车外的装置的数据，并向控制部41输出该数据。

在此，自动驾驶控制装置30和驾驶辅助装置40是独立的装置。作为变形例，如图1的虚线所示，也可以将自动驾驶控制装置30和驾驶辅助装置40整合成一个控制器。换言之，也可以是一个自动驾驶控制装置具备图1的自动驾驶控制装置30和驾驶辅助装置40这两者的功能的结构。

图3的(a)-(b)示出驾驶辅助装置40的结构。驾驶辅助装置40由一个装置构成。然而，也可以由一个以上的装置构成辅助系统。例如，处理部64也可以配置在车辆100外，经由无线装置8和网络来与驾驶辅助装置40连接。另外，也可以是决定部62和处理部64配置在车辆100外，还可以是获取部60、决定部62以及处理部64配置在车辆100外。

图3的(a)示出与学习处理有关的结构，图3的(b)示出与推断处理有关的结构。在此，在说明学习处理之后说明推断处理。在图3的(a)中，控制部41包括获取部60、决定部62以及处理部64。获取部60包括行驶难度获取部70、清醒度获取部72以及驾驶熟练度获取部74，处理部64包括学习部80、带教师数据82以及驾驶行为模型84。另外，行驶环境传感器25、监视传感器26以及车辆信息传感器27连接于检测信息输入部52，检测信息输入部52连接于获取部60。并且，决定部62连接于图像/语音输出部51，图像/语音输出部51连接于通知装置2。

行驶环境传感器25是摄像机、毫米波雷达、LIDAR、声纳、气温传感器、气压传感器、湿度传感器、照度传感器等。例如，摄像机以能够对车辆100的前方进行拍摄的方式搭载于车辆100，但也可以以还能够对车辆100的侧方、后方进行拍摄的方式搭载于车辆100。摄像机将拍摄到的影像作为检测信息输出到检测信息输入部52。监视传感器26是搭载在车厢内的摄像机。监视传感器26将对驾驶员的面部进行拍摄所得到的影像作为检测信息输出到检测信息输入部52。车辆信息传感器27检测方向盘11的转向角、制动踏板12的踩踏量、加速踏板13的踩踏量等与驾驶员的操作有关的信息，并将检测得到的结果作为检测信息输出到检测信息输入部52。

驾驶辅助装置40执行与车辆100中的驾驶行为模型有关的处理。向检测信息输入部52输入来自行驶环境传感器25、监视传感器26、车辆信息传感器27的检测信息。这可以说是输入来自车辆100的检测信息。检测信息输入部52将来自行驶环境传感器25的检测信息中的对车辆100的前方等进行拍摄所得到的影像输出到行驶难度获取部70。另外，检测信息输入部52将来自监视传感器26的检测信息、也就是对驾驶员的面部进行拍摄所得到的影像输出到清醒度获取部72，将来自车辆信息传感器27的检测信息、也就是与驾驶员的操作有关的信息输出到驾驶熟练度获取部74和处理部64。

获取部60中的行驶难度获取部70从检测信息输入部52接收对车辆100的前方等进行拍摄所得到的影像。行驶难度获取部70通过对影像执行图像识别处理，来检测影像中包含的其它车辆。另外，行驶难度获取部70计测在本车辆100的前方行驶的其它车辆的数量。行驶难度获取部70将其它车辆的数量作为行驶难度输出到决定部62。其它车辆的数量越多，则这种行驶难度越高，其它车辆的数量越少，则这种行驶难度越低。在本车辆100的前方以外的地方行驶的其它车辆的数量也可以包含在行驶难度中。此时，也可以通过将在本车辆100的前方以外的地方行驶的一台其它车辆计测为0.5台，来使在前方行驶的其它车辆的权重与在前方以外的地方行驶的其它车辆的权重不同。并且，接近本车辆100的其它车辆的数量、在本车辆100的前方实施制动的其它车辆的数量以及打算超越本车辆100的其它车辆的数量也可以被反映到行驶难度中。针对这样的数量，例如使权重增大。行驶难度获取部70将行驶难度输出到决定部62。也可以从行驶中道路的道路宽度、形状、禁止U形转弯、禁止右转弯或左转弯等道路限制等地图信息获取行驶难度。在该情况下，例如道路宽度越窄、形状越复杂、限制越多，则行驶难度越高。另外，也可以从由车载传感器获取的周边车辆的探测信息、路面状况、天气状况获取行驶难度。在该情况下，例如拥挤度、平均速度越高、前进道路的直进性越低、越是凹凸路面、雨雪天气、夜间，或者这些情形的组合越多，则行驶难度越高。

获取部60中的清醒度获取部72从检测信息输入部52接收对驾驶员的面部进行拍摄所得到的影像，通过对图像执行图像识别处理来识别驾驶员的面部表情。清醒度获取部72根据识别出的面部表情来推断驾驶员的清醒度作为驾驶员的状态。在图像识别处理、清醒度的推断中使用公知的技术即可，例如使用驾驶员的眼睑睁开度、闭眼、PERCLOS(PERcent of eyelid CLOSure：眼睑闭合率)、前庭眼动反射(VOR：Vestibulo OcularReflex)或它们的组合。眼睑睁开度是眼睛的睁开程度，使用将上眼睑到下眼睑的距离除以虹膜的直径所得到的值。另外，也可以将眼睑睁开度为20％以下且持续时间为70毫秒至500毫秒且时间间隔为500毫秒以上的眼睑的运动设为眨眼，来实施不将该眨眼作为清醒度的推断对象的处理。所谓闭眼，是指眼睑睁开度为20％以下且持续时间为500毫秒以上的眼睑的运动。PERCLOS是美国道路交通安全局认可的用于测定驾驶员的疲劳度的指标，是最近一分钟内的闭眼时间的比例。前庭眼动反射是在头部运转时以与之大致相同的速度使眼球反转来抑制视网膜上的外界像的抖动的附带眼球运动，在表示清醒状态下的驾驶中的头部摆动时的眼球运动的补偿程度的VOR增益为阈值以下、且表示VOR的偏差的VOR错误为阈值以上、且各自持续30秒以上的情况下，视为困倦预兆。另外，作为驾驶员的清醒度的一例，在此使用在用于根据表情来评价困倦的NEDO(独立行政法人新能源产业技术综合开发机构)的评价方法中规定的困倦等级。在该规定中，以1至5这五个等级来评价困倦等级。具体而言，“困倦等级1”被分类为完全不困，“困倦等级2”被分类为轻微困倦，“困倦等级3”被分类为困倦，“困倦等级4”被分类为相当困倦，“困倦等级5”被分类为极其困倦。

在视线的移动快且频繁、或者眨眼为2秒2次左右稳定的周期、或者动作活跃且伴随身体的动作的情况下，清醒度获取部72推断为“困倦等级1”。另外，在嘴唇张开或视线移动的动作迟缓的情况下，清醒度获取部72推断为“困倦等级2”。另外，在眨眼缓慢地频发、或者嘴进行了动作、或者重新坐好、或者将手放在面部的情况下，清醒度获取部72推断为“困倦等级3”。另外，在存在被认为有意识的眨眼、或者存在摇头/肩的上下活动等无用的身体整体的动作、或者经常打哈欠且还观察到深呼吸、或者眨眼/视线的移动迟缓的情况下，清醒度获取部72推断为“困倦等级4”。另外，在眼睑闭合、或者头向前倾、或者头向后倒的情况下，清醒度获取部72推断为“困倦等级5”。在这样的规定中，越接近困倦等级1，则可以说清醒度越高，越接近困倦等级5，则可以说清醒度越低。清醒度获取部72将清醒度输出到决定部62。

获取部60中的驾驶熟练度获取部74从检测信息输入部52接收与驾驶员的操作有关的信息、例如方向盘11的转向角、制动踏板12的踩踏量、加速踏板13的踩踏量等。驾驶熟练度获取部74根据方向盘11的转向角、制动踏板12的踩踏量以及加速踏板13的踩踏量来导出驾驶熟练度。若具体说明该处理，驾驶熟练度获取部74预先存储方向盘11的转向角、制动踏板12的踩踏量以及加速踏板13的踩踏量的多个模式与驾驶熟练度的对应关系。另外，驾驶熟练度获取部74从对应关系中包含的多个模式中选择与所接收到的方向盘11的转向角、制动踏板12的踩踏量、加速踏板13的踩踏量最接近的模式，并导出与所选择的模式相对应的驾驶熟练度。在此，如果驾驶员习惯了驾驶，则驾驶熟练度变高，如果驾驶员不习惯驾驶，则驾驶熟练度低。驾驶熟练度获取部74将驾驶熟练度输出到决定部62。此外，例如作为驾驶结果的车辆行为中的加速度的时间变化即急动度(加加速度)越小，则驾驶熟练度越高。另外，也可以根据当前的驾驶状况与模范驾驶员的驾驶模型(模范模型)的近似度来导出驾驶熟练度，例如近似度越高，则驾驶熟练度越高。或者，也可以是，在由本人驾驶所产生的车辆行为例如急刹车、急转向的频率越低、或者在与行驶难度高的情况的组合中急刹车、急转向的频率越低，则驾驶熟练度越高。

行驶难度例如是驾驶行为中的任务需求。任务需求是为了达到某驾驶员所希望的性能水平而感到需要注意的量、分配、信息处理的深度、应进行的操作内容，这些不是始终恒定的，而是根据直行、弯道、交叉路口等道路构造、前车和相邻车辆的有无及动作、道路利用者的多少等交通状况而变化。另外，即使是相同的道路构造、交通状况，车速越高，则任务需求也越高。并且，即使是相同的车速，在不习惯的道路上行驶时任务需求也会变高，在上班等时经常行驶的道路上任务需求也会变低。

决定部62接收来自行驶难度获取部70的行驶难度、来自清醒度获取部72的清醒度以及来自驾驶熟练度获取部74的驾驶熟练度。决定部62根据行驶难度、清醒度以及驾驶熟练度中的至少一者来决定是否执行处理。关于处理，在图3的(a)中示出学习，在图3的(b)中示出推断。在此，按照从第一决定处理至第六决定处理的顺序来说明决定部62中的处理。第一决定处理至第三决定处理使用行驶难度、清醒度以及驾驶熟练度中的两个信息。此时，可以省略生成不使用的信息的行驶难度获取部70至驾驶熟练度获取部74中的任一者。另一方面，第四决定处理至第六决定处理使用行驶难度、清醒度以及驾驶熟练度中的任一个信息。此时，可以省略生成不使用的信息的行驶难度获取部70至驾驶熟练度获取部74中的两个。

(1)第一决定处理

在第一决定处理中，使用行驶难度和清醒度。图4的(a)-(c)示出决定部62中存储的表的结构。图4的(a)是在第一决定处理中使用的表。横轴表示行驶难度，纵轴表示清醒度。在行驶难度为第一阈值TDa以下的情况下，如果清醒度为第二阈值Aa以上且为第三阈值Ac以下，则决定部62决定执行处理。在此，第三阈值Ac>第二阈值Aa。在行驶难度为第一阈值TDa以下的情况下，如果清醒度低于第二阈值Aa或者清醒度高于第三阈值Ac，则决定部62决定不执行处理。

另一方面，在行驶难度高于第一阈值TDa的情况下，如果清醒度为第四阈值Ab以上，则决定部62决定执行处理。在此，第三阈值Ac>第四阈值Ab>第二阈值Aa。在行驶难度高于第一阈值TDa的情况下，如果清醒度低于第四阈值Ab，则决定部62决定不执行处理。在此，使用图5的(a)-(c)来更详细说明这样的处理。

图5的(a)-(c)示出基于图4的(a)的表的处理概要。图5的(a)示出行驶难度和清醒度的时间变化。在第一区间200，行驶难度变低。行驶难度低的状态如图5的(b)所示。在此，只有车辆100在行驶，周围没有其它车辆行驶。在这样的情况下，一般来说清醒度不会通过驾驶而提高。然而，在第一区间200清醒度变高。因此，可以说该清醒度变高的原因并不是驾驶。因此，可以说第一区间200中的行驶难度与清醒度的组合是不适合学习的状态。决定部62在这样的情况下决定不执行处理。

在第二区间202中，行驶难度变高。行驶难度高的状态如图5的(c)所示。在此，在行驶的车辆100的周围行驶着第一其它车辆110a至第三其它车辆110c。在这样的情况下，一般来说处于清醒度通过驾驶而提高的倾向。然而，在第一区间200中，清醒度因困倦而变低。因此，可以说第二区间202的行驶难度与清醒度的组合是不适合学习的状态。决定部62在这样的情况下决定不执行处理。返回到图3的(a)。

(2)第二决定处理

在第二决定处理中，使用清醒度和驾驶熟练度。图4的(b)是在第二决定处理中使用的表。横轴表示驾驶熟练度，纵轴表示清醒度。作为针对驾驶熟练度的阈值，规定DSa、DSb。DSa<DSb。另外，作为针对清醒度的阈值，规定Ad、Ae。Ad<Ae。在驾驶熟练度为DSa以下的情况下，决定部62与清醒度无关地决定不执行处理。在驾驶熟练度高于DSa且为DSb以下的情况下，如果清醒度为Ae以上，则决定部62决定执行处理，但如果清醒度低于Ae，则决定部62决定不执行处理。在驾驶熟练度高于DSb的情况下，如果清醒度为Ad以上，则决定部62决定执行处理，但如果清醒度低于Ad，则决定部62决定不执行处理。这可以说，驾驶熟练度越高，则使针对清醒度的阈值越低。

(3)第三决定处理

在第三决定处理中，使用行驶难度和驾驶熟练度。图4的(c)是在第三决定处理中使用的表。横轴表示驾驶熟练度，纵轴表示行驶难度。作为针对驾驶熟练度的阈值，规定DSa、DSb、DSc。DSa<DSb<DSc。另外，作为针对行驶难度的阈值，规定TDb、TDc、TDd。TDb<TDc<TDd。在驾驶熟练度为DSa以下的情况下，决定部62与行驶难度无关地决定不执行处理。在驾驶熟练度高于DSa且为DSb以下的情况下，如果行驶难度为TDb以下，则决定部62决定执行处理，但如果行驶难度高于TDb，则决定部62决定不执行处理。在驾驶熟练度高于DSb且驾驶熟练度为DSc以下的情况下，如果行驶难度为TDc以下，则决定部62决定执行处理，但如果行驶难度高于TDc，则决定部62决定不执行处理。在驾驶熟练度高于DSc的情况下，如果行驶难度为TDd以下，则决定部62决定执行处理，但如果行驶难度高于TDd，则决定部62决定不执行处理。这可以说，驾驶熟练度越高，则使针对行驶难度的阈值越高。

(4)第四决定处理

在第四决定处理中，使用行驶难度。如果行驶难度为阈值以下，则决定部62决定执行处理。如果行驶难度高于阈值，则决定部62决定不执行处理。

(5)第五决定处理

在第五决定处理中，使用清醒度。决定部62执行与在第一决定处理中行驶难度为第一阈值TDa以下的情况下的处理同样的处理。也就是说，如果清醒度为Aa以上且为Ac以下，则决定部62决定执行处理。如上所述，值Ac>Aa。如果清醒度低于Aa或者清醒度高于值Ac，则决定部62决定不执行处理。

(6)第六决定处理

在第六决定处理中，使用驾驶熟练度。如果驾驶熟练度为阈值以上，则决定部62决定执行处理。如果驾驶熟练度低于阈值，则决定部62决定不执行处理。

决定部62也可以通过将第一决定处理至第三决定处理进行组合，根据行驶难度、清醒度以及驾驶熟练度的组合来决定是否执行处理。决定部62将决定的结果、也就是与是否执行学习有关的信息输出到图像/语音输出部51和处理部64。图像/语音输出部51使与是否执行学习有关的信息显示于通知装置2。图6的(a)-(d)示出通知装置2中显示的画面。图6的(a)示出决定了执行学习的情况下的画面。在此，设为根据行驶难度、清醒度以及驾驶熟练度的组合进行了判定。图6的(b)示出决定了不执行学习的情况下的画面。在后面叙述图6的(c)-(d)，返回到图3的(a)。

在决定部62决定了执行学习的情况下，处理部64执行学习，但在决定部62决定了不执行学习的情况下，处理部64不执行学习。以下，对执行学习的情况进行说明。学习部80接收来自检测信息输入部52的与驾驶员的操作有关的信息来作为输入参数90。另外，学习部80获取同与驾驶员的操作有关的信息相关联的未来的变化量来作为带教师数据82。所谓未来，例如是指几秒后或者几分钟后。学习部80根据输入参数90来执行处理，具体而言是执行使驾驶行为模型84进行学习的学习处理。若具体地说明，学习部80根据作为输入参数90的与驾驶员的操作有关的信息以及带教师数据82，来调整驾驶行为模型84。也就是说，学习部80通过将输入参数90输入到神经网络来调整神经网络的权重参数等，以获得带教师数据82作为输出。通过这样的调整，学习部80使神经网络学习输入参数90与带教师数据82的关系。其结果，构建驾驶行为模型84。

图7的(a)-(b)示出处理部64的处理概要。图7的(a)示出学习部80中的学习处理的概要。学习部80将包括作为与驾驶员的操作有关的信息示出的参数Pa和Pb等在内的多个输入参数90输入到神经网络。学习部80使神经网络的权重参数优化，使得来自该神经网络的输出与带教师数据82、即同输入参数90相关联的带教师数据82一致。像这样构建出的神经网络是驾驶行为模型84。不限于使用带教师数据，例如也可以是没有带教师数据的学习(所谓无教师学习)。在后面叙述图7的(b)。

接着，使用图3的(b)说明推断处理。在图3的(b)中，控制部41包括获取部60、决定部62以及处理部64。获取部60包括行驶难度获取部70、清醒度获取部72以及驾驶熟练度获取部74，处理部64包括驾驶行为模型84、推断部86以及推断值88。另外，行驶环境传感器25、监视传感器26以及车辆信息传感器27连接于检测信息输入部52，检测信息输入部52连接于获取部60。并且，决定部62连接于图像/语音输出部51，图像/语音输出部51连接于通知装置2。获取部60和决定部62执行与图3的(a)同样的处理，因此在此省略说明。

决定部62将决定的结果、也就是与是否执行推断有关的信息输出到图像/语音输出部51和处理部64。图像/语音输出部51使与是否执行推断有关的信息显示于通知装置2。图6的(c)示出决定了执行推断的情况下的画面。在此也设为根据行驶难度、清醒度以及驾驶熟练度的组合来进行了判定。图6的(d)示出决定了不执行推断的情况下的画面。返回到图3的(b)。

在决定部62决定了执行推断的情况下，处理部64执行推断，但在决定部62决定了不执行推断的情况下，处理部64不执行推断。以下，对执行推断的情况进行说明。推断部86接收来自检测信息输入部52的与驾驶员的操作有关的信息来作为输入数据92。推断部86根据输入数据92来执行处理，具体而言是执行推断未来的变化量的推断处理。若具体地说明，推断部86将输入数据92输入到驾驶行为模型84，并且获取来自驾驶行为模型84的推断值88。推断值88是未来的变化量。

图7的(b)示出推断部86中的推断处理的概要。推断部86将作为检测结果示出的输入数据92输入到神经网络。由此，推断部86获取从神经网络输出的未来的变化量来作为推断值88。图1的自动驾驶控制装置30根据由推断部86获取到的未来的变化量，来控制车辆100的自动驾驶。

说明基于以上结构的驾驶辅助装置40的动作。图8是示出驾驶辅助装置40进行的处理过程的流程图。检测信息输入部52获取行驶环境信息(S50)。行驶难度获取部70导出行驶难度(S52)。检测信息输入部52获取面部图像(S54)。清醒度获取部72导出清醒度(S56)。在行驶难度大于TDa(S58的“是”)、并且清醒度为Ab以上(S60的“是”)的情况下，决定部62决定执行处理(S62)。在清醒度不为Ab以上的情况下(S60的“否”)，决定部62决定不执行处理(S64)。在行驶难度不大于TDa(S58的“否”)、并且清醒度为Aa以上且为Ac以下的情况下(S66的“是”)，决定部62决定执行处理(S68)。在清醒度不为Aa以上或者不为Ac以下的情况下(S66的“否”)，决定部62决定不执行处理(S70)。通知装置2显示处理状态(S72)。

图9是示出驾驶辅助装置40进行的另一处理过程的流程图。检测信息输入部52获取面部图像(S10)。清醒度获取部72导出清醒度(S12)。在清醒度为Aa以上且为Ac以下的情况下(S14的“是”)，决定部62决定执行处理(S16)。在清醒度不为Aa以上或者不为Ac以下的情况下(S14的“否”)，决定部62决定不执行处理(S18)。通知装置2显示处理状态(S20)。

根据本实施方式，根据行驶难度、清醒度以及驾驶熟练度中的至少一个信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。另外，根据行驶难度、清醒度以及驾驶熟练度中的两个以上的信息的组合来决定是否执行处理，因此能够提高决定的精度。另外，根据行驶难度与清醒度的组合来决定不执行处理，因此能够根据行驶难度来改变针对清醒度的阈值。另外，由于针对清醒度的阈值根据行驶难度而变化，因此能够提高决定的精度。另外，根据清醒度与驾驶熟练度的组合来决定不执行处理，因此能够根据驾驶熟练度来改变针对清醒度的阈值。另外，由于针对清醒度的阈值根据驾驶熟练度而变化，因此能够提高决定的精度。另外，根据行驶难度与驾驶熟练度的组合来决定不执行处理，因此能够根据驾驶熟练度来改变针对行驶难度的阈值。另外，由于针对行驶难度的阈值根据驾驶熟练度而变化，因此能够提高决定的精度。

另外，如果行驶难度高，则决定不执行处理，因此能够抑制在由于行驶难度高而导致驾驶行为模型的使用不适当的情况下执行学习或推断。另外，如果清醒度低，则决定不执行处理，因此能够抑制在由于清醒度低而导致驾驶行为模型的使用不适当的情况下执行学习或推断。另外，如果驾驶熟练度低，则决定不执行处理，因此能够抑制在由于驾驶熟练度低而导致行为模型的使用不适当的情况下执行学习或推断。另外，由于决定是否执行学习，因此能够抑制在不适合学习的状况下执行学习。另外，由于决定是否执行推断，因此能够抑制在不适合推断的状况下执行推断。此外，图6所示的显示方式不限定于实施方式。例如，也可以仅显示是否是学习中或者是否是推断中。

(实施方式2)

接着，说明实施方式2。实施方式2与实施方式1同样地，涉及一种根据状况来切换是否执行学习处理或推断处理的辅助系统。在实施方式1中，在汽车的自动驾驶中使用辅助系统，利用辅助系统对驾驶行为模型执行学习处理或推断处理。另一方面，在实施方式2中，在语音智能体系统中使用辅助系统。语音智能体系统还被称为语音辅助系统，将语音识别处理与自然语言处理进行组合，针对来自讲话人的讲话适当地做出回答或动作。例如，讲话人对着智能手机、平板型终端、智能扬声器(以下统称为“终端装置”)讲话，并在经由网络而与终端装置连接的服务器装置中进行处理。在这种语音智能体系统中，期望缩短从讲话人讲话起直到做出回答或动作为止的应答时间。为了缩短应答时间，通过在语音智能体系统中使用辅助系统，在讲话人讲话的中途推断讲话的内容。在该辅助系统中，执行针对讲话行为模型的学习处理或推断处理。

在此，“讲话行为推断引擎”与“驾驶行为推断引擎”同样地构成即可。另外，“讲话行为模型”是根据讲话行为推断引擎而唯一确定的。DL的情况下的讲话行为模型是进行过学习的神经网络(Neural Network)，SVM的情况下的讲话行为模型是进行过学习的预测模型，协同过滤的情况下的讲话行为模型是将讲话数据与针对讲话的应答数据进行绑定所得到的数据。规则的情况下的讲话行为模型是将输入与输出进行绑定所得到的数据。

根据这种定义，当在并非是适合讲话的状态的情况下进行针对讲话行为模型的学习处理或推断处理时，学习或推断的精度变低。所谓并非是适合讲话的状态的情况，是指进行作为学习或推断而言未预定的内容的讲话的情况、由未预定的讲话人进行讲话的情况等。在这种情况下，最好不进行学习或推断。为了应对这种情况，在本实施方式中，获取讲话内容和讲话人中的至少一者，基于此来决定是否执行学习或推断的处理。在决定了执行处理的情况下执行学习或推断，但在决定了不执行处理的情况下不执行学习或推断。以下，以与此前的差异为中心进行说明。

图10示出语音智能体系统300的结构。语音智能体系统300包括终端装置310、网络320以及服务器装置330。终端装置310包括麦克风350、摄像机352、通知部354、控制部356以及通信部358。如上所述，终端装置310是智能手机、平板型终端、智能扬声器。麦克风350收集由讲话人发出的语音。麦克风350将语音转换为数字信号(以下，将其也称为“语音”)，并将该数字信号输出到控制部356。在该转换中使用公知的技术即可，因此在此省略说明。摄像机352是能够对讲话人的面部进行拍摄的摄像装置。由摄像机352拍摄到的图像既可以是静止图像，也可以是运动图像。摄像机352将图像转换为数字信号(以下也称为“图像”)，并将该数字信号输出到控制部356。

控制部356从麦克风350接收语音，并且从摄像机352接收图像。控制部356将接收到的这些信息中的至少一个信息输出到通信部358。通信部358从控制部356接收信息。通信部358能够执行无线通信，通过无线通信来与网络320连接。通信部358经由网络320向服务器装置330发送信息。在通信部358中执行的无线通信中使用公知的技术即可，因此在此省略说明。另外，通信部358也可以执行有线通信。

服务器装置330经由网络320接收来自终端装置310的信息。服务器装置330通过对接收到的信息中的语音执行语音识别处理和自然语言处理，来识别语音的内容。服务器装置330按照语音的内容来执行处理。例如，如果语音的内容为“请告诉我今天的东京的天气预报”，则服务器装置330经由网络320访问天气预报服务器(未图示)，并从该天气预报服务器接收“今天的东京的天气预报”。服务器装置330将示出“今天的东京的天气预报”的信息(以下称为“应答信息”)经由网络320发送到终端装置310。在这样的服务器装置330的处理中使用公知的技术即可，因此在此省略说明。

终端装置310的通信部358从服务器装置330接收应答信息。通信部358将应答信息中包含的内容、例如“今天的东京的天气预报”输出到控制部356。控制部356从通知部354通知从通信部358接收到的内容。在通知部354为显示器的情况下，控制部356使显示器显示“今天的东京的天气预报”。在通知部354为扬声器的情况下，控制部356使扬声器呈现“今天的东京的天气预报”的语音。

图11的(a)-(b)示出辅助系统400的结构。辅助系统400既可以是一个装置，也可以是多个装置的组合。在是一个装置的情况下，辅助系统400相当于图10的服务器装置330。在是两个以上的装置的情况下，辅助系统400相当于图10的终端装置310与服务器装置330的组合。辅助系统400中也可以包括图10中未示出的装置。图11的(a)示出与学习处理有关的结构，图11的(b)示出与推断处理有关的结构。在此，在说明学习处理之后说明推断处理。在图11的(a)中，辅助系统400包括控制部441、检测信息输入部452以及输出部454。控制部441包括获取部460、决定部462以及处理部464。获取部460包括讲话内容获取部470和讲话人获取部472。处理部464包括学习部480、教师数据482以及讲话行为模型484。另外，麦克风350和摄像机352连接于检测信息输入部452，通知部354连接于输出部454。

辅助系统400执行与针对讲话的讲话行为模型有关的处理。向检测信息输入部452输入来自麦克风350的语音、来自摄像机352的图像作为检测信息。这可以说是输入针对讲话的检测信息。检测信息输入部452将检测信息中的来自麦克风350的语音输出到讲话内容获取部470和处理部464，并将检测信息中的来自摄像机352的图像输出到讲话人获取部472。在此，检测信息输入部452也可以将来自摄像机352的图像输出到讲话内容获取部470。

获取部460中的讲话内容获取部470从检测信息输入部452接收语音。讲话内容获取部470通过执行语音识别处理和自然语言处理来识别讲话的内容。在这些处理中使用公知的技术即可。讲话内容获取部470将讲话的内容输出到决定部462。讲话人获取部472从检测信息输入部452接收图像。讲话人获取部472存储示出被预先设为处理对象的讲话的讲话人的面部的图像(以下称为“参照图像”)。也可以存储与讲话的多个讲话人分别对应的参照图像。讲话人获取部472通过对接收到的图像执行图像识别处理，来识别所接收到的图像中包含的讲话人是否与参照图像中包含的讲话人相同。讲话人获取部472向决定部462输出所识别出的结果、即是否相同。这相当于向决定部462输出讲话的讲话人的信息。这样，获取部460获取讲话的内容和讲话的讲话人中的至少一个信息来作为可能对行为模型的精度造成影响的一个以上的信息。

决定部462接收来自讲话内容获取部470的讲话的内容、来自讲话人获取部472的讲话人的信息。决定部462基于讲话的内容和讲话人的信息中的至少一者来决定是否执行处理。关于处理，在图11的(a)中示出学习，在图11的(b)中示出推断。在此，按照从第一决定处理至第三决定处理的顺序来说明决定部462中的处理。

(1)第一决定处理

在第一决定处理中，使用讲话的内容和讲话人的信息。决定部462预先存储预定的讲话内容中应包含的一个以上的关键词。决定部462判定讲话的内容中是否包含关键词。如果在讲话的内容中不包含关键词，也就是说，如果讲话的内容是预定之外的内容，则决定部462决定不执行处理。在讲话的内容中包含关键词的情况下，也就是说，在讲话的内容是预定之内的内容的情况下，决定部462确认讲话人的信息。在讲话人的信息中示出图像中包含的讲话人与参照图像中包含的讲话人不同的情况下，也就是说，在讲话的讲话人是预定之外的人的情况下，决定部462决定不执行处理。另一方面，在示出图像中包含的讲话人与参照图像中包含的讲话人相同的情况下，也就是说，在讲话的讲话人是预定之内的人的情况下，决定部462决定执行处理。

(2)第二决定处理

在第二决定处理中，使用讲话的内容。决定部462执行与第一决定处理同样的处理，如果讲话的内容是预定之外的内容，则决定部462决定不执行处理。另一方面，如果讲话的内容是预定之内的内容，则决定部462决定执行处理。

(3)第三决定处理

在第三决定处理中，使用讲话人的信息。决定部462执行与第一决定处理同样的处理，如果讲话的讲话人是预定之外的人，则决定部462决定不执行处理。另一方面，如果讲话的讲话人是预定之内的人，则决定部462决定执行处理。

决定部462将决定的结果、也就是与是否执行学习有关的信息输出到输出部454和处理部464。输出部454将与是否执行学习有关的信息输出到通知部354。通知部354显示与是否执行学习有关的信息。图12的(a)-(f)示出终端装置310的通知部354中显示的画面。图12的(a)示出按照第二决定处理决定了执行学习的情况下的画面。例如，仅示出“学习中”。图12的(b)示出按照第二决定处理决定了不执行学习的情况下的画面。例如，示出“没有学习”。

图12的(c)示出按照第一决定处理或第三决定处理决定了执行学习的情况下的画面。在此，讲话的讲话人被设定为家人。因此，除了示出“学习中”以外，还示出学习的理由是由于是“家人”进行的讲话。并且，也可以还示出是“家人”中的哪个人。图12的(d)示出按照第一决定处理或第三决定处理决定了不执行学习的情况下的画面。在此，除了示出“没有学习”以外，还示出没有学习的理由是由于是“家人以外的人”例如客人进行的讲话。在后面叙述图12的(e)-(f)，返回到图11的(a)。通知部354也可以代替图12的(a)-(d)所示的显示或者除了图12的(a)-(d)所示的显示以外，将与是否执行学习有关的信息以语音形式从扬声器呈现。

在决定部462决定了执行学习的情况下，处理部464执行学习，但在决定部462决定了不执行学习的情况下，处理部464不执行学习。以下，对执行学习的情况进行说明。学习部480接收来自检测信息输入部452的语音。学习部480与讲话内容获取部470同样地，通过对语音执行语音识别处理和自然语言处理来识别讲话的内容。因此，学习部480接收讲话的内容来作为输入参数490。学习部480获取与讲话的内容相关联的未来的变化量来作为教师数据482。学习部480根据输入参数490来执行处理，具体而言是执行使讲话行为模型484进行学习的学习处理。若具体地说明，学习部480根据作为输入参数490的讲话的内容以及教师数据482来调整讲话行为模型484。也就是说，学习部480通过将输入参数490输入到神经网络来调整神经网络的权重参数等，以获得教师数据482作为输出。通过这样的调整，学习部480使神经网络学习输入参数490与教师数据482的关系。其结果，构建讲话行为模型484。

接着，使用图11的(b)说明推断处理。在图11的(b)中，辅助系统400包括控制部441、检测信息输入部452以及输出部454。控制部441包括获取部460、决定部462以及处理部464。获取部460包括讲话内容获取部470和讲话人获取部472，处理部464包括讲话行为模型484、推断部486以及推断值488。另外，麦克风350和摄像机352连接于检测信息输入部452，通知部354连接于输出部454。获取部460和决定部462执行与图11的(a)同样的处理，因此在此省略说明。

决定部462将决定的结果、也就是与是否执行推断有关的信息输出到输出部454和处理部464。在决定部462决定了执行推断的情况下，处理部464执行推断，但在决定部462决定了不执行推断的情况下，处理部464不执行推断。以下，对执行推断的情况进行说明。推断部486与学习部480同样地，接收讲话的内容作为输入数据492。在此，讲话行为模型484从讲话的中途识别内容。例如，针对上述的“今天的东京的天气预报”，按“今天”、“今天的东京”的顺序进行识别。推断部486根据输入数据492执行处理，具体而言是执行推断未来的变化量的推断处理。若具体地说明，推断部486将输入数据492输入到讲话行为模型484，并且获取来自讲话行为模型484的推断值488。推断值488是未来的变化量。例如，针对“今天”，获取“今天的东京的天气预报”作为推断值488。根据在推断值488中获取到的未来的变化量，处理部464输出应答信息。

语音智能体系统300的结构不限定于图10所示的结构。图13示出语音智能体系统300的另一结构。到目前为止，在语音智能体系统300或辅助系统400中仅包括一个处理部464。另一方面，在图13的语音智能体系统300中，在终端装置310中包括内部处理部466，在服务器装置330中包括处理部464。处理部464和内部处理部466同样地构成。在终端装置310的控制部356中包括图11的(a)-(b)中的获取部460和决定部462。

决定部462与此前同样地，预先存储预定的讲话内容中应包含的一个以上的关键词。并且，决定部462将在处理部464中被设为处理对象的关键词(以下称为“第一关键词”)与在内部处理部466中被设为处理对象的关键词(以下称为“第二关键词”)分开地存储。第一关键词与第二关键词互不相同。如果在讲话的内容中包含第一关键词，则决定部462在执行处理时选择处理部464，如果在讲话的内容中包含第二关键词，则决定部462在执行处理时选择内部处理部466。

获取部460获取讲话行为模型484的处理位置。此处的处理位置相当于是处理部464还是内部处理部466。前者是讲话行为模型484的处理位置隔着网络320远离讲话位置的情况，后者是讲话行为模型484的处理位置没有隔着网络320远离讲话位置的情况。如果讲话行为模型484的处理位置没有隔着网络320远离讲话位置，则决定部462决定不执行处理。这相当于在使用内部处理部466的情况下不执行学习。此外，使用内部处理部466进行的学习也可以与使用处理部464进行的学习独立地执行。

决定部462将决定的结果、也就是与是否执行学习有关的信息输出到输出部454、处理部464以及内部处理部466。输出部454将与是否执行学习有关的信息输出到通知部354。通知部354显示与是否执行学习有关的信息。图12的(e)示出决定了由处理部464执行学习的情况下的画面。例如，示出“上传学习中”。图12的(f)示出决定了不执行学习的情况下的画面。例如，示出“没有进行上传学习”。也可以是，在决定了由内部处理部466执行学习的情况下，显示与图12的(a)的画面相同的画面。并且，通知部354也可以代替图12的(e)-(f)示出的显示或者除了图12的(e)-(f)示出的显示以外，将与是否执行学习有关的信息以语音形式从扬声器呈现。

说明基于以上结构的辅助系统400的动作。图14是示出辅助系统400进行的处理过程的流程图。这相当于第二决定处理的过程。检测信息输入部452获取语音(S100)。讲话内容获取部470获取讲话内容(S102)。在是预定的讲话内容的情况下(S104的“是”)，决定部462决定执行处理(S106)。在不是预定的讲话内容的情况下(S104的“否”)，决定部462决定不执行处理(S108)。通知部354显示处理状态(S110)。

图15是示出辅助系统400进行的另一处理过程的流程图。这相当于第一决定处理的过程。检测信息输入部452获取语音(S130)。讲话内容获取部470获取讲话内容(S132)。在是预定的讲话内容的情况下(S134的“是”)，检测信息输入部452获取图像(S136)。讲话人获取部472识别讲话人(S138)。在是预定的讲话人的情况下(S140的“是”)，决定部462决定执行处理(S142)。在不是预定的讲话内容的情况下(S134的“否”)或者在不是预定的讲话人的情况下(S140的“否”)，决定部462决定不执行处理(S144)。通知部354显示处理状态(S146)。

图16是示出语音智能体系统300进行的处理过程的流程图。获取部460获取处理位置(S160)。在是远程的情况下(S162的“是”)，也就是说，在使用处理部464的情况下，检测信息输入部452获取语音(S164)。讲话内容获取部470获取讲话内容(S166)。在是预定的讲话内容的情况下(S168的“是”)，决定部462决定执行处理(S170)。在不是远程的情况下(S162的“否”)，也就是说，在使用内部处理部466的情况下，或者在不是预定的讲话内容的情况下(S168的“否”)，决定部462决定不执行处理(S172)。通知部354显示处理状态(S174)。

根据本实施方式，根据讲话的内容、讲话的讲话人以及处理部的位置中的至少一个信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。另外，如果讲话的内容是预定之外的内容，则决定不执行处理，因此能够抑制在由于讲话的内容是预定之外的内容而导致行为模型的使用不适当的情况下执行学习或推断。另外，如果讲话的讲话人是预定之外的人，则决定不执行处理，因此能够抑制在由于讲话的讲话人是预定之外的人而导致行为模型的使用不适当的情况下执行学习或推断。另外，如果处理部的位置没有隔着网络远离讲话位置，则决定不执行处理，因此能够抑制在由于处理部的位置隔着网络远离讲话位置而导致行为模型的使用不适当的情况下执行学习或推断。

(实施方式3)

接着，说明实施方式3。实施方式3与此前同样地，涉及一种根据状况来切换是否执行学习处理或推断处理的辅助系统。在实施方式3中，在远程操作系统中使用辅助系统。在远程操作系统中，智能手机、平板型终端(以下，与此前同样地统称为“终端装置”)、服务器装置以及设备经由网络连接。远程操作系统根据来自操作者的操作来使离操作者远的设备动作。例如，操作者操作终端装置，服务器装置根据操作来控制设备。在远程操作系统中，期望缩短从由操作者进行操作起直到设备进行动作为止的应答期间。为了缩短应答时间，通过在远程操作系统中使用辅助系统，来在由操作者进行操作的中途推断操作的内容。在该辅助系统中，执行针对操作行为模型的学习处理或推断处理。

在此，“操作行为推断引擎”与“驾驶行为推断引擎”及“讲话行为推断引擎”同样地构成。另外，“操作行为模型”是根据操作行为推断引擎而唯一确定的。DL的情况下的操作行为模型是进行过学习的神经网络(NeuralNetwork)，SVM的情况下的操作行为模型是进行过学习的预测模型，协同过滤的情况下的操作行为模型是将操作数据与针对操作的应答数据进行绑定所得到的数据。规则的情况下的操作行为模型是将输入与输出进行绑定所得到的数据。

根据这样的定义，当在并非是适合操作的状态的情况下进行针对操作行为模型的学习处理或推断处理时，学习或推断的精度变低。所谓并非是适合操作的状态的情况，是指进行作为学习或推断而言未预定的内容的操作的情况、在进行了操作之后在设备附近不存在人的情况、人对操作后的结果不满意的情况等。在这种情况下，最好不进行学习或推断。为了应对这种情况，在本实施方式中，获取操作内容、人的存在、操作的满意度中的至少一者，并基于此来决定是否执行学习或推断的处理。在决定了执行处理的情况下，执行学习或推断，但在决定了不执行处理的情况下，不执行学习或推断。以下，以与此前的差异为中心进行说明。

图17示出远程操作系统500的结构。远程操作系统500包括终端装置510、网络520、服务器装置530、人感传感器560以及设备570。终端装置510包括操作部550、摄像机552、通知部554、控制部556以及通信部558。如上所述，终端装置510是智能手机、平板型终端。操作部550例如是触摸面板，是用于从操作者接受对设备570的操作的接口。在设备570为空调的情况下，操作部550接受空调的电源接通/电源断开、风量调节、温度调节的操作。操作部550将接收到的操作内容输出到控制部556。摄像机552是能够对操作者的面部进行拍摄的摄像装置。由摄像机552拍摄到的图像既可以是静止图像，也可以是运动图像。摄像机552将图像转换成数字信号(以下也称为“图像”)，并将该数字信号输出到控制部556。

控制部556从操作部550接收操作内容，并且从摄像机552接收图像。控制部556将接收到的这些信息中的至少一个信息输出到通信部558。通信部558从控制部556接收信息。通信部558能够执行无线通信，通过无线通信来与网络520连接。通信部558经由网络520向服务器装置530发送信息。在通信部558中执行的无线通信中使用公知的技术即可，因此在此省略说明。另外，通信部558也可以执行有线通信。通知部554是显示器或扬声器，按照来自控制部556的指示，来在显示器中显示画面或者从扬声器呈现语音。

人感传感器560设置在设备570的附近，用于探测人的存在。所谓设备570的附近，例如是指与设置有设备570的房间同一房间或空间。另外，人既可以包括操作者，也可以不包括操作者。在人感传感器560对人的探测中使用公知的技术即可，因此在此省略说明。人感传感器560具备通信功能，经由网络520向服务器装置530发送探测结果。

服务器装置530经由网络520接收来自终端装置510的信息。另外，服务器装置530经由网络520接收来自人感传感器560的探测结果。服务器装置530按照接收到的信息中的操作内容来执行处理。例如，在操作内容为“将设备570的电源接通”、“将设备570的温度设定为28℃”的情况下，将与这些内容分别对应的命令经由网络520发送到设备570。设备570连接于网络520。如上所述，设备570的一例是空调。设备570经由网络520接收来自服务器装置530的命令。在接收到与“将设备570的电源接通”、“将设备570的温度设定为28℃”分别对应的命令的情况下，设备570在将电源接通后将温度设定为28℃。

图18的(a)-(b)示出辅助系统600的结构。辅助系统600既可以是一个装置，也可以是多个装置的组合。在是一个装置的情况下，辅助系统600相当于图17的服务器装置530。在是两个以上的装置的情况下，辅助系统600例如相当于图17的终端装置510与服务器装置530的组合。辅助系统600中也可以包括图17中未示出的装置。图18的(a)示出与学习处理有关的结构，图18的(b)示出与推断处理有关的结构。在此，在说明学习处理之后说明推断处理。在图18的(a)中，辅助系统600包括控制部641、检测信息输入部652以及输出部654。控制部641包括获取部660、决定部662以及处理部664。获取部660包括操作内容获取部670、人存在获取部672以及人情感获取部674，处理部664包括学习部680、教师数据682以及操作行为模型684。另外，操作部550、摄像机552以及人感传感器560连接于检测信息输入部652，通知部554和设备570连接于输出部654。

辅助系统600执行与针对设备570的操作行为模型有关的处理。向检测信息输入部652输入来自操作部550的操作内容、来自人感传感器560的探测结果以及来自摄像机552的图像作为检测信息。这可以说是输入针对设备570的检测信息。检测信息输入部652将检测信息中的来自操作部550的操作内容输出到操作内容获取部670和处理部664，将检测信息中的来自人感传感器560的探测结果输出到人存在获取部672，将检测信息中的来自摄像机552的图像输出到人情感获取部674。

获取部660中的操作内容获取部670通过接收来自检测信息输入部652的操作内容，来获取针对设备570的操作内容。操作内容获取部670将操作内容输出到决定部662。人存在获取部672从检测信息输入部652接收探测结果。人存在获取部672根据探测结果来识别设备570的附近是否有人存在。人存在获取部672向决定部662输出识别出的结果，也就是输出是否有人存在。人情感获取部674从检测信息输入部652接收图像。人情感获取部674通过对图像执行图像识别处理，来识别出图像中示出的操作者的表情作为操作者的情感。在此，作为操作者的情感，根据与操作相应的设备570的动作来识别操作者是否满意。在该处理中使用公知的技术即可，因此在此省略说明。人情感获取部674向决定部662输出所识别出的结果，也就是输出操作者是否满意。这样，获取部660获取针对设备570的操作内容、设备570的附近的人的存在以及对设备570进行了操作的人的情感中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。

决定部662接收来自操作内容获取部670的操作内容、来自人存在获取部672的人的存在的信息以及来自人情感获取部674的人的情感的信息。决定部662根据操作内容、人的存在的信息以及人的情感的信息中的至少一者，来决定是否执行处理。关于处理，在图18的(a)中示出学习，在图18的(b)中示出推断。在此，按照从第一决定处理至第五决定处理的顺序来说明决定部662中的处理。

(1)第一决定处理

在第一决定处理中，使用操作内容和人的存在的信息。决定部662预先存储预定的操作内容。决定部662判定所获取到的操作内容是否包含在预定的操作内容中。如果针对设备570的操作内容是预定之外的内容，则决定部662决定不执行处理。在针对设备570的操作内容是预定之内的内容的情况下，决定部662确认人的存在的信息。在操作之后示出无人存在的情况下，决定部662决定不执行处理。另一方面，在操作之后示出有人存在的情况下，决定部662决定执行处理。

(2)第二决定处理

在第二决定处理中，使用操作内容和人的情感的信息。决定部662判定所获取到的操作内容是否包含在预定的操作内容中。如果针对设备570的操作内容是预定之外的内容，则决定部662决定不执行处理。在针对设备570的操作内容是预定之内的内容的情况下，决定部662确认人的情感的信息。在人的情感为不满意的情况下，决定部662决定不执行处理。另一方面，在人的情感为满意的情况下，决定部662决定执行处理。

(3)第三决定处理

在第三决定处理中，使用操作内容。决定部662执行与第一决定处理同样的处理，如果操作内容是预定之外的内容，则决定不执行处理。另一方面，如果操作内容是预定之内的内容，则决定部662决定执行处理。

(4)第四决定处理

在第四决定处理中，使用人的存在的信息。决定部662执行与第一决定处理同样的处理，如果在操作之后无人存在，则决定不执行处理。另一方面，如果在操作之后有人存在，则决定部662决定执行处理。

(5)第五决定处理

在第五决定处理中，使用人的情感的信息。决定部662执行与第二决定处理同样的处理，如果人的情感为不满意，则决定不执行处理。另一方面，如果人的情感为满意，则决定部662决定执行处理。

决定部662也可以是以与第一决定处理至第五决定处理不同的方式将操作内容、人的存在的信息以及人的情感的信息进行组合来决定是否执行处理。决定部662将决定的结果、也就是与是否执行学习有关的信息输出到输出部654和处理部664。输出部654将与是否执行学习有关的信息输出到通知部554。通知部554显示与是否执行学习有关的信息。

在决定部662决定了执行学习的情况下，处理部664执行学习，但在决定部662决定了不执行学习的情况下，处理部664不执行学习。以下，对执行学习的情况进行说明。学习部680接收来自检测信息输入部652的操作内容。因此，学习部680接收操作内容来作为输入参数690。学习部680获取与操作内容相关联的未来的变化量来作为教师数据682。学习部680根据输入参数690来执行处理、具体而言是执行使操作行为模型684进行学习的学习处理。若更具体地说，学习部680根据作为输入参数690的操作内容以及教师数据682来调整操作行为模型684。也就是说，学习部680通过将输入参数690输入到神经网络来调整神经网络的权重参数等，以获得教师数据682作为输出。通过这种调整，学习部680使神经网络学习输入参数690与教师数据682的关系。其结果，构建操作行为模型684。

接着，使用图18的(b)来说明推断处理。在图18的(b)中，辅助系统600包括控制部641、检测信息输入部652以及输出部654。控制部641包括获取部660、决定部662以及处理部664。获取部660包括操作内容获取部670、人存在获取部672以及人情感获取部674，处理部664包括操作行为模型684、推断部686以及推断值688。另外，操作部550、摄像机552以及人感传感器560连接于检测信息输入部652，通知部554和设备570连接于输出部654。获取部660和决定部662执行与图18的(a)同样的处理，因此在此省略说明。

决定部662将决定的结果、也就是与是否执行推断有关的信息输出到输出部654和处理部664。在决定部662决定了执行推断的情况下，处理部664执行推断，但在决定部662决定了不执行推断的情况下，处理部664不执行推断。以下，对执行推断的情况进行说明。推断部686与学习部680同样地，接收操作内容来作为输入数据692。在此，操作行为模型684从操作的中途识别操作内容。例如，针对上述的“将设备570的电源接通”、“将设备570的温度设定为28℃”，在识别出“将设备570的电源接通”之后，识别出“将设备570的温度设定为28℃”。推断部686根据输入数据692进行处理，具体而言是执行推断未来的变化量的推断处理。若具体地说明，推断部686将输入数据692输入到操作行为模型684，并且获取来自操作行为模型684的推断值688。推断值688是未来的变化量。例如，针对“将设备570的电源接通”，获取“将设备570的电源接通”和“将设备570的温度设定为28℃”来作为推断值688。处理部664根据在推断值688中获取到的未来的变化量来输出命令。

说明基于以上结构的辅助系统600的动作。图19是示出辅助系统600进行的处理过程的流程图。这相当于第三决定处理的过程。操作内容获取部670获取操作内容(S200)。在是预定的操作内容的情况下(S202的“是”)，决定部662决定执行处理(S204)。在不是预定的操作内容的情况下(S202的“否”)，决定部662决定不执行处理(S206)。通知部554显示处理状态(S208)。

图20是示出辅助系统600进行的另一处理过程的流程图。这相当于第一决定处理的过程。操作内容获取部670获取操作内容(S230)。在是预定的操作内容的情况下(S232的“是”)，人存在获取部672识别人的存在(S234)。在操作之后有人存在的情况下(S236的“是”)，决定部662决定执行处理(S238)。在不是预定的操作内容的情况下(S232的“否”)或者在操作之后没有人存在的情况下(S236的“否”)，决定部662决定不执行处理(S240)。通知部554显示处理状态(S242)。

图21是辅助系统600进行的又一处理过程的流程图。这相当于第二决定处理的过程。操作内容获取部670获取操作内容(S260)。在是预定的操作内容的情况下(S262的“是”)，检测信息输入部652获取图像(S264)。人情感获取部674获取情感(S266)。在人满意的情况下(S268的“是”)，决定部662决定执行处理(S270)。在不是预定的操作内容的情况下(S262的“否”)或者在人不满意的情况下(S268的“否”)，决定部662决定不执行处理(S272)。通知部554显示处理状态(S274)。

根据本实施方式，由于根据针对设备的操作内容、设备的附近的人的存在以及对设备进行了操作的人的情感中的至少一个信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。另外，如果针对设备的操作内容是预定之外的内容，则决定不执行处理，因此能够抑制在由于针对设备的操作内容是预定之外的内容而导致行为模型的使用不适当的情况下执行学习或推断。另外，如果人的存在为无人存在，则决定不执行处理，因此能够抑制在由于人的存在为无人存在而导致行为模型的使用不适当的情况下执行学习或推断。另外，如果人的情感为不满意，则决定不执行处理，因此能够抑制在由于人的情感为不满意而导致行为模型的使用不适当的情况下执行学习或推断。

以上，参照附图详述了本公开所涉及的实施方式，但上述的装置、各处理部的功能能够通过计算机程序来实现。通过程序实现上述功能的计算机具备键盘、鼠标、触摸板等输入装置、显示器、扬声器等输出装置、CPU(CentralProcessing Unit：中央处理单元)、ROM、RAM、硬盘装置、SSD(Solid StateDrive：固态硬盘)等存储装置、能够从DVD-ROM(DigitalVersatile Disk ReadOnly Memory：数字多功能磁盘只读存储器)、USB存储器等记录介质读取信息的读取装置、经由网络进行通信的网卡等，各部通过总线连接。

另外，读取装置从记录有上述程序的记录介质读取该程序并将该程序存储到存储装置中。或者，网卡与连接于网络的服务器装置进行通信，将从服务器装置下载的用于实现上述各装置的功能的程序存储到存储装置中。另外，CPU将存储装置中存储的程序复制到RAM中，从RAM依次读出该程序中包含的命令并执行该命令，由此实现上述各装置的功能。

本公开的一个方式的概要如下。本公开的某个方式的辅助系统是执行与行为模型有关的处理的辅助系统，具备：检测信息输入部，其被输入检测信息；获取部，其根据被输入到检测信息输入部的检测信息来获取可能对行为模型的精度造成影响的一个以上的信息；决定部，其根据由获取部获取到的一个以上的信息来决定是否执行处理；以及处理部，在决定部决定了执行处理的情况下，该处理部执行与行为模型有关的处理。在决定部决定了不执行处理的情况下，处理部不执行与行为模型有关的处理。

根据该方式，由于根据可能对行为模型的精度造成影响的一个以上的信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。

也可以是，本辅助系统执行与车辆中的行为模型有关的处理，向检测信息输入部输入来自车辆的检测信息，获取部导出车辆的行驶难度、驾驶员的清醒度以及驾驶员的驾驶熟练度中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。在该情况下，由于根据行驶难度、清醒度以及驾驶熟练度中的至少一个信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。

也可以是，获取部导出车辆的行驶难度，如果由获取部导出的行驶难度高于阈值，则决定部决定不执行处理。在该情况下，如果行驶难度高，则决定不执行处理，因此能够抑制在由于行驶难度高而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部导出驾驶员的清醒度，如果由获取部导出的清醒度低于阈值，则决定部决定不执行处理。在该情况下，如果清醒度低，则决定不执行处理，因此能够抑制在由于清醒度低而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部导出驾驶员的驾驶熟练度，如果由获取部导出的驾驶熟练度低于阈值，则决定部决定不执行处理。在该情况下，如果驾驶熟练度低，则决定不执行处理，因此能够抑制在由于驾驶熟练度低而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部导出车辆的行驶难度、驾驶员的清醒度以及驾驶员的驾驶熟练度中的两个以上的信息，决定部根据由获取部导出的两个以上的信息的组合来决定是否执行处理。在该情况下，根据行驶难度、清醒度以及驾驶熟练度中的两个以上的信息的组合来决定是否执行处理，因此能够提高决定的精度。

也可以是，获取部导出车辆的行驶难度和驾驶员的清醒度，在行驶难度为第一阈值以下的情况下，如果清醒度低于第二阈值或者清醒度高于第三阈值(第三阈值>第二阈值)，则决定部决定不执行处理。在该情况下，根据行驶难度与清醒度的组合来决定不执行处理，因此能够提高决定的精度。

也可以是，获取部导出车辆的行驶难度和驾驶员的清醒度，在行驶难度高于第一阈值的情况下，如果清醒度低于第四阈值，则决定部决定不执行处理。在该情况下，根据行驶难度与清醒度的组合来决定不执行处理，因此能够提高决定的精度。

也可以是，获取部导出驾驶员的清醒度和驾驶员的驾驶熟练度，驾驶熟练度越高，则决定部使阈值越低，并且如果清醒度低于阈值，则决定部决定不执行处理。在该情况下，根据清醒度与驾驶熟练度的组合来决定不执行处理，因此能够提高决定的精度。

也可以是，获取部导出车辆的行驶难度和驾驶员的驾驶熟练度，驾驶熟练度越高，则决定部使阈值越高，并且如果行驶难度高于阈值，则决定部决定不执行处理。在该情况下，根据行驶难度与驾驶熟练度的组合来决定不执行处理，因此能够提高决定的精度。

本辅助系统也可以执行与针对讲话的行为模型有关的处理，向检测信息输入部输入针对讲话的检测信息，获取部获取讲话的内容、讲话的讲话人以及行为模型的处理位置中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。在该情况下，根据讲话的内容、讲话的讲话人以及行为模型的处理位置中的至少一个信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。

也可以是，获取部获取讲话的内容，如果由获取部获取到的讲话的内容是预定之外的内容，则决定部决定不执行处理。在该情况下，如果讲话的内容是预定之外的内容，则决定不执行处理，因此能够抑制在由于讲话的内容是预定之外的内容而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部识别讲话的讲话人，如果获取部识别出的讲话的讲话人是预定之外的人，则决定部决定不执行处理。在该情况下，如果讲话的讲话人是预定之外的人，则决定不执行处理，因此能够抑制在讲话的讲话人是预定之外的人而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部获取行为模型的处理位置，如果获取部获取到的行为模型的处理位置没有隔着网络远离讲话位置，则决定部决定不执行处理。在该情况下，如果行为模型的处理位置没有隔着网络远离讲话位置，则决定不执行处理，因此能够抑制在由于行为模型的处理位置隔着网络远离讲话位置而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，本辅助系统执行与针对设备的行为模型有关的处理，向检测信息输入部输入针对设备的检测信息，获取部获取针对设备的操作内容、设备附近的人的存在以及对设备进行了操作的人的情感中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。在该情况下，根据针对设备的操作内容、设备的附近的人的存在以及对设备进行了操作的人的情感中的至少一个信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。

也可以是，获取部获取针对设备的操作内容，如果获取部获取到的针对设备的操作内容是预定之外的内容，则决定部决定不执行处理。在该情况下，如果针对设备的操作内容是预定之外的内容，则决定不执行处理，因此能够抑制在由于针对设备的操作内容是预定之外的内容而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部识别设备的附近是否有人存在，如果获取部识别出没有人存在，则决定部决定不执行处理。在该情况下，如果没有人存在，则决定不执行处理，因此能够抑制在由于没有人存在而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，获取部获取对设备进行了操作的人的情感，如果获取部获取到的人的情感为不满意，则决定部决定不执行处理。在该情况下，如果人的情感为不满意，则决定不执行处理，因此能够抑制在由于人的情感为不满意而导致行为模型的使用不适当的情况下执行学习或推断。

也可以是，处理部中的处理是使行为模型进行学习的学习处理，处理部通过输入参数来构建行为模型。在该情况下，决定是否执行学习，因此能够抑制在不适合学习的情况下执行学习。

也可以是，处理部中的处理是推断行为的推断处理，处理部将输入数据输入到行为模型，并且获取来自行为模型的输出作为行为。在该情况下，决定是否执行推断，因此能够抑制在不适合推断的状况下执行推断。

也可以是，处理部中的处理是使行为模型进行学习的学习处理和推断行为的推断处理，在执行学习处理的情况下，处理部通过输入参数来构建行为模型，在执行推断处理的情况下，处理部将输入数据输入到行为模型，并且获取来自行为模型的输出作为行为。在该情况下决定是否执行学习和推断，因此能够抑制在不适合学习和推断的情况下执行学习和推断。

本公开的另一方式也是辅助装置。该装置是执行与行为模型有关的处理的辅助装置，具备：检测信息输入部，其被输入检测信息；获取部，其根据被输入到检测信息输入部的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；决定部，其根据获取部获取到的一个以上的信息来决定是否执行处理；以及处理部，在决定部决定了执行处理的情况下，该处理部执行与行为模型有关的处理。在决定部决定了不执行处理的情况下，处理部不执行与行为模型有关的处理。

根据该方式，由于根据可能对行为模型的精度造成影响的一个以上的信息来决定是否执行处理，因此能够抑制在不适合学习或推断的状态下执行学习或推断。

本公开的又一方式是一种辅助方法。该方法是用于执行与行为模型有关的处理的辅助方法，包括以下步骤：输入检测信息；根据所输入的检测信息来获取可能对行为模型的精度造成影响的一个以上的信息；根据获取到的一个以上的信息来决定是否执行处理；在决定了执行处理的情况下，执行与行为模型有关的处理；以及在决定了不执行处理的情况下，不执行与行为模型有关的处理。

以上，根据实施方式说明了本公开。这些实施方式是例示，本领域技术人员能够理解的是，这些实施方式的各构成要素、各处理过程的组合能够有各种变形例，另外，这些变形例也在本公开的范围内。

在实施方式1至3中，处理部64包括学习部80或推断部86。然而，不限于此，例如处理部64也可以包括学习部80和推断部86。在该情况下，处理部64执行学习处理和推断处理。处理部64也可以是处理部464、处理部664，学习部80也可以是学习部480、学习部680，推断部86也可以是推断部486、推断部686。根据本变形例，由于决定是否执行学习和推断，因此能够抑制在不适合学习和推断的状况下执行学习和推断。

在实施方式1中，执行驾驶行为模型84的学习、推断。行为既可以是驾驶行为，也可以是非驾驶行为。例如，所谓非驾驶行为，是指对车载设备的操作、在自动驾驶级别3时许可的第二任务(将驾驶定义为第一任务，此后决定允许将除驾驶以外的读文本的行为等中的哪个行为作为第二任务)。在推断驾驶行为以外的行为的情况下，在处理中使用从车载设备获取的温度调整量、音量调整量、空调操作量等的时间序列数据。例如，在驾驶员的困倦度高时想要调整音量，还有可能一下子将音量调整到最大。在该情况下，通过设为不进行学习，能够抑制非意图的误操作的学习。通过还对这些除驾驶行为以外的行为应用该方法，来抑制在驾驶不熟练、行驶环境为难以行驶、有倦意之类的不能按意图地进行非驾驶行为的状况下学习非驾驶行为，能够进行非驾驶行为的恰当的学习和推断，以避免在同样的状况下基于不恰当的非驾驶行为的推断进行非驾驶行为的辅助。例如，虽然驾驶不熟练或行驶环境为难以行驶，但只要进行抑制，以避免学习勉强地伸手或用与平时进行操作的手指不同的手指等打开窗户的操作的情况，则能够在同样的状况时推断出打开窗户的操作来自动地打开窗户，从而能够防止在应集中于驾驶时无法集中于驾驶之类的事态。将上述驾驶行为和非驾驶行为合起来称为行为。将驾驶行为模型和非驾驶行为模型合起来称为行为模型。辅助装置执行为了自动驾驶而学习行为模型的处理以及根据行为模型来推断行为的处理中的至少一方。

附图标记说明

2：通知装置；2a：平视显示器；2b：中央显示器；4：输入装置；4a：第一操作部；4b：第二操作部；4c：第三操作部；6：扬声器；8：无线装置；10：驾驶操作部；11：方向盘；12：制动踏板；13：加速踏板；14：方向指示灯开关；20：检测部；21：位置信息获取部；22：传感器；23：速度信息获取部；24：地图信息获取部；25：行驶环境传感器；26：监视传感器；27：车辆信息传感器；30：自动驾驶控制装置；31：控制部；32：存储部；33：I/O部；40：驾驶辅助装置；41：控制部；42：存储部；43：I/O部；50：操作信号输入部；51：图像/语音输出部；52：检测信息输入部；53：命令IF；54：行为信息输入部；55：命令输出部；56：通信IF；60：获取部；62：决定部；64：处理部；70：行驶难度获取部；72：清醒度获取部；74：驾驶熟练度获取部；80：学习部；82：带教师数据；84：驾驶行为模型；86：推断部；88：推断值；90：输入参数；92：输入数据；100：车辆。

产业上的可利用性

根据本公开，能够抑制在不适合学习或推断的状态下执行学习或推断。

Claims (23)

1.一种辅助系统，执行与行为模型有关的处理，其特征在于，具备：

检测信息输入部，其被输入检测信息；

获取部，其根据被输入到所述检测信息输入部的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；

决定部，其根据所述获取部获取到的一个以上的信息来决定是否执行处理；以及

处理部，在所述决定部决定了执行处理的情况下，该处理部执行与行为模型有关的处理，

其中，在所述决定部决定了不执行处理的情况下，所述处理部不执行与行为模型有关的处理。

2.根据权利要求1所述的辅助系统，其特征在于，

本辅助系统执行与车辆中的行为模型有关的处理，

所述辅助系统向所述检测信息输入部输入来自所述车辆的检测信息，

所述获取部导出所述车辆的行驶难度、驾驶员的清醒度以及驾驶员的驾驶熟练度中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。

3.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述车辆的行驶难度，

如果所述获取部导出的行驶难度高于阈值，则所述决定部决定不执行处理。

4.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述驾驶员的清醒度，

如果所述获取部导出的清醒度低于阈值，则所述决定部决定不执行处理。

5.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述驾驶员的驾驶熟练度，

如果所述获取部导出的驾驶熟练度低于阈值，则所述决定部决定不执行处理。

6.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述车辆的行驶难度、所述驾驶员的清醒度以及所述驾驶员的驾驶熟练度中的两个以上的信息，

所述决定部根据所述获取部导出的两个以上的信息的组合，来决定是否执行处理。

7.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述车辆的行驶难度和所述驾驶员的清醒度，

在行驶难度为第一阈值以下的情况下，如果清醒度低于第二阈值或者清醒度高于第三阈值，则所述决定部决定不执行处理，其中，第三阈值大于第二阈值。

8.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述车辆的行驶难度和所述驾驶员的清醒度，

在行驶难度高于第一阈值的情况下，如果清醒度低于第四阈值，则所述决定部决定不执行处理。

9.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述驾驶员的清醒度和所述驾驶员的驾驶熟练度，

驾驶熟练度越高，则所述决定部使阈值越低，并且如果清醒度低于阈值，则所述决定部决定不执行处理。

10.根据权利要求2所述的辅助系统，其特征在于，

所述获取部导出所述车辆的行驶难度和所述驾驶员的驾驶熟练度，

驾驶熟练度越高，则所述决定部使阈值越高，并且如果行驶难度高于阈值，则所述决定部决定不执行处理。

11.根据权利要求1所述的辅助系统，其特征在于，

本辅助系统执行与针对讲话的行为模型有关的处理，

所述辅助系统向所述检测信息输入部输入针对所述讲话的检测信息，

所述获取部获取所述讲话的内容、所述讲话的讲话人以及行为模型的处理位置中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。

12.根据权利要求11所述的辅助系统，其特征在于，

所述获取部获取所述讲话的内容，

如果所述获取部获取到的讲话的内容为预定之外的内容，则所述决定部决定不执行处理。

13.根据权利要求11或12所述的辅助系统，其特征在于，

所述获取部识别所述讲话的讲话人，

如果所述获取部识别出的讲话的讲话人是预定之外的人，则所述决定部决定不执行处理。

14.根据权利要求11至13中的任一项所述的辅助系统，其特征在于，

所述获取部获取行为模型的处理位置，

如果所述获取部获取到的行为模型的处理位置没有隔着网络远离讲话位置，则所述决定部决定不执行处理。

15.根据权利要求1所述的辅助系统，其特征在于，

本辅助系统执行与针对设备的行为模型有关的处理，

所述辅助系统向所述检测信息输入部输入针对所述设备的检测信息，

所述获取部获取针对所述设备的操作内容、所述设备的附近的人的存在以及对所述设备进行了操作的人的情感中的至少一个信息，来作为可能对行为模型的精度造成影响的一个以上的信息。

16.根据权利要求15所述的辅助系统，其特征在于，

所述获取部获取针对所述设备的操作内容，

如果所述获取部获取到的针对设备的操作内容是预定之外的内容，则所述决定部决定不执行处理。

17.根据权利要求15或16所述的辅助系统，其特征在于，

所述获取部识别所述设备的附近是否有人存在，

如果所述获取部识别出没有人存在，则所述决定部决定不执行处理。

18.根据权利要求15至17中的任一项所述的辅助系统，其特征在于，

所述获取部获取对所述设备进行了操作的人的情感，

如果所述获取部获取到的人的情感为不满意，则所述决定部决定不执行处理。

19.根据权利要求1至18中的任一项所述的辅助系统，其特征在于，

所述处理部中的处理是使行为模型进行学习的学习处理，

所述处理部通过输入参数来构建行为模型。

20.根据权利要求1至18中的任一项所述的辅助系统，其特征在于，

所述处理部中的处理是推断行为的推断处理，

所述处理部将输入数据输入到行为模型，并且获取来自行为模型的输出作为行为。

21.根据权利要求1至18中的任一项所述的辅助系统，其特征在于，

所述处理部中的处理是使行为模型进行学习的学习处理和推断行为的推断处理，

在执行学习处理的情况下，所述处理部通过输入参数来构建行为模型，在执行推断处理的情况下，所述处理部将输入数据输入到行为模型，并且获取来自行为模型的输出作为行为。

22.一种辅助装置，执行与行为模型有关的处理，其特征在于，具备：

检测信息输入部，其被输入检测信息；

获取部，其根据被输入到所述检测信息输入部的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；

决定部，其根据所述获取部获取到的一个以上的信息来决定是否执行处理；以及

处理部，在所述决定部决定了执行处理的情况下，该处理部执行与行为模型有关的处理，

其中，在所述决定部决定了不执行处理的情况下，所述处理部不执行与行为模型有关的处理。

23.一种辅助方法，用于执行与行为模型有关的处理，其特征在于，包括以下步骤：

输入检测信息；

根据所输入的检测信息，来获取可能对行为模型的精度造成影响的一个以上的信息；

根据获取到的一个以上的信息，来决定是否执行处理；

在决定了执行处理的情况下，执行与行为模型有关的处理；以及

在决定了不执行处理的情况下，不执行与行为模型有关的处理。

Images