CN111602137B - 评估装置、动作控制装置、评估方法以及存储媒介 - Google Patents

评估装置、动作控制装置、评估方法以及存储媒介 Download PDF

Info

Publication number
CN111602137B
CN111602137B CN201980007571.9A CN201980007571A CN111602137B CN 111602137 B CN111602137 B CN 111602137B CN 201980007571 A CN201980007571 A CN 201980007571A CN 111602137 B CN111602137 B CN 111602137B
Authority
CN
China
Prior art keywords
learner
data
input
input data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980007571.9A
Other languages
English (en)
Other versions
CN111602137A (zh
Inventor
日向匡史
井尻善久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111602137A publication Critical patent/CN111602137A/zh
Application granted granted Critical
Publication of CN111602137B publication Critical patent/CN111602137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Abstract

一种评估装置、动作控制装置、评估方法以及存储媒介，不会降低学习完毕的学习器的推论精度，能对学习完毕的学习器的推论结果的合理性进行适当评估的方法。评估装置包括：数据获取部，获取对利用数据集进行了有教学学习的学习完毕的第一学习器输入的输入数据，数据集包含训练数据、及表示对训练数据的推论结果的正解的正解数据的对；以及合理性评估部，基于通过对利用训练数据进行了无教学学习的学习完毕的第二学习器输入输入数据而从第二学习器获得的输出，来评估在将输入数据输入至第一学习器时，能否从第一学习器获得合理的输出作为对输入数据的推论结果。

Description

评估装置、动作控制装置、评估方法以及存储媒介
技术领域
本发明涉及一种评估装置、动作控制装置、评估方法以及存储媒介。
背景技术
近年来，在图像识别、语音识别、语言分析等各种领域，正利用机器学习。所谓机器学习，是指通过计算机(computer)来找出潜藏在所给予的数据(训练数据)中的模式(pattern)的方法，通过实施机器学习所得到的学习完毕的学习器能够获得对未知的输入数据进行规定推论的能力。推论的结果被利用于所述图像识别、语音识别、语言分析等。
但是，难以预估在机器学习后会给予的输入数据的所有种类来准备训练数据。例如，在图像识别领域中利用机器学习的情况下，难以预估成为图像识别对象的所有事件来准备图像数据。在给予了与在机器学习时所准备的训练数据大相径庭的种类的输入数据时，学习完毕的学习器对输入数据的推论的合理性有可能受损，即，有可能进行错误的推论。
因此，专利文献1中提出了一种方法：利用对输入数据进行规定推论的问题解决用神经网络(neural network)以外的另一神经网络，对所述问题解决用神经网络的输出的可靠性进行评估。具体而言，利用与问题解决用神经网络的学习时所利用的学习数据不同的未学习数据，来实施未学习事例判别用神经网络的机器学习。由此，未学习事例判别用神经网络能够获得判别输入数据是否类似于未学习数据的能力。
所述方法中，通过像这样构建的未学习事例判别用神经网络，对问题解决用神经网络的输出的可靠性进行评估。即，在进行推论时，将对问题解决用神经网络输入的输入数据也输入到所述未学习事例判别用神经网络。并且，基于从未学习事例判别用神经网络得到的输出，判别所述输入数据是否类似于未学习数据。由此，判定输入数据是否是与问题解决用神经网络的学习时所利用的学习数据大相径庭的种类，对输入所述输入数据时从问题解决用神经网络获得的输出(即，推论结果)的可靠性进行评估。
现有技术文献
专利文献
专利文献1：日本专利特开平05-225163号公报
发明内容
发明所要解决的问题
本申请发明人等针对所述专利文献1中提出的方法，发现了下述问题。即，在机器学习中，基本而言，学习时利用的训练数据的数量越多，则越能提高学习完毕的学习器的推论精度。但是，专利文献1所提出的方法中，将为了机器学习所准备的训练数据分为问题解决用神经网络的学习所利用的学习数据、与未学习事例判别用神经网络的学习所利用的未学习数据。即，无法将所准备的所有训练数据利用于问题解决用神经网络的学习，因此学习完毕的问题解决用神经网络的推论精度有可能降低。
而且，如上所述，难以预估成为推论对象的所有事件来准备训练数据。因此，原本就难以预估对问题解决用神经网络输入的所有种类的输入数据，来准备利用于未学习事例判别用神经网络的学习的未学习数据。即，无法消除有可能会给予与在机器学习时所准备的训练数据大相径庭的种类的输入数据这一根本性原因。因此，在专利文献1所提出的方法中，难以构建能够对问题解决用神经网络的推论结果的可靠性进行适当评估的未学习事例判别用神经网络。
本发明是在一方面有鉴于此种实际情况而完成，其目的在于提供一种方法，不会降低学习完毕的学习器的推论精度，而能够对所述学习完毕的学习器的推论结果的合理性进行适当评估。
解决问题的技术手段
为了解决所述问题，本发明采用以下的构成。
即，本发明的一方面的评估装置包括：数据获取部，获取对利用数据集进行了有教学学习的学习完毕的第一学习器输入的输入数据，所述数据集包含训练数据、及表示对所述训练数据的推论结果的正解的正解数据的对；以及合理性评估部，基于通过对利用所述训练数据进行了无教学学习的学习完毕的第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果。
所述构成的评估装置中，准备两个学习完毕的学习器。首先，学习完毕的第一学习器是通过利用包含训练数据与正解数据的对的数据集来实施有教学学习而构建。训练数据是作为推论对象的数据，正解数据是表示对训练数据的推论结果的正解的数据。有教学学习是如下所述的机器学习方法，即，使学习器进行学习，以使其在输入训练数据时，输出与正解数据对应的输出值。因此，学习完毕的第一学习器被构建为，具有通过所述有教学学习来进行规定推论的能力。
另一方面，学习完毕的第二学习器是通过利用第一学习器的机器学习时所利用的训练数据来实施无教学学习而构建。无教学学习不同于有教学学习，是不使用正解数据而导出训练数据的结构、法则、倾向、分类等统计性特征的机器学习方法，且是如下所述的机器学习方法，即，使学习器进行学习，以使其在输入训练数据时，输出与训练数据的统计性特征的识别结果对应的输出值。学习完毕的第二学习器被构建为，具有通过所述无教学学习来识别对象数据是否类似于训练数据的能力。
并且，所述构成的评估装置中，使用学习完毕的第二学习器，来评估学习完毕的第一学习器的推论结果的合理性。即，所述构成的评估装置获取对学习完毕的第一学习器输入的输入数据，将所获取的输入数据输入至学习完毕的第二学习器。如上所述，学习完毕的第二学习器获得了通过无教学学习来识别输入数据是否类似于训练数据的能力。因此，所述构成的评估装置能够基于通过将输入数据输入至第二学习器而从所述第二学习器获得的输出，来识别输入数据是否类似于第一学习器的机器学习时所利用的训练数据。利用此能力，所述构成的评估装置评估在将输入数据输入至第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果。
因此，根据所述构成，第一学习器及第二学习器的学习两者能够共同利用为了机器学习所准备的训练数据，因此也可不分为第一学习器的学习所利用的数据与第二学习器的学习所利用的数据。因此，能够防止第一学习器的机器学习所利用的训练数据的数量过少的情况。而且，根据所述构成，通过活用无教学学习的特性，能够消除有可能会给予与在机器学习时所准备的训练数据大相径庭的种类的输入数据这一根本性原因。即，学习完毕的第二学习器构成为，能够基于从第一学习器的学习时所利用的训练数据中导出的统计性特征，来评估所给予的输入数据是否是与所述训练数据大相径庭的种类。因此，也可不为了第二学习器的学习而预估对第一学习器输入的所有种类的输入数据来准备训练数据。因而，根据所述构成，不会降低学习完毕的第一学习器的推论精度，而能够对所述学习完毕的第一学习器的推论结果的合理性进行适当评估。
另外，“训练数据”也可被称作“学习数据”。“正解数据”也可被称作“标签(1abel)”或“教学数据”。“数据集”也可被称作“训练数据集”或“学习数据集”。“学习完毕的学习器”也可被称作“识别器”或“分类器”。
而且，“学习器”只要包含能够通过机器学习来获得对规定模式进行识别的能力的学习模型即可。第一学习器只要包含能够利用于有教学学习的学习模型即可，例如可包含神经网络、线性回归模型、支持向量机(support vector machine)等。另一方面，第二学习器只要包含能够利用于无教学学习的学习模型即可，例如可包含自编码器(自动编码器)、算出马氏距离(Mahalanobis distance)的运算模型、一类支持向量机(1-class SVM)等。
进而，第一学习器的推论种类可根据实施方式来适当选择。例如，第一学习器的推论种类也可为图像识别、语音识别、语言分析等。根据所述推论的种类，训练数据、正解数据及输入数据的种类可适当选择。例如，训练数据及输入数据可为图像数据、语音数据、文本数据、数值数据等，也可为它们的组合。而且，例如，正解数据可为表示对图像数据的图像识别的结果的数据、表示对语音数据的语音识别的结果的数据、表示对文本数据的语言分析的结果的数据、表示对数值数据的规定的判定结果的数据等。
所述一方面的评估装置中，所述合理性评估部也可通过对从所述第二学习器获得的输出与规定的阈值进行比较，从而判定在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果。根据所述构成，能够适当评估第一学习器对输入数据的推论结果的合理性。
所述一方面的评估装置中，所述合理性评估部也可输出一评估值来作为所述评估的结果，所述评估值表示在将所述输入数据输入至所述第一学习器时，能从所述第一学习器获得合理的输出作为对所述输入数据的推论结果的程度。根据所述构成，能够基于所输出的评估值，来适当评估第一学习器对输入数据的推论结果的合理性。
所述一方面的评估装置也可还包括：警告部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器时，从所述第一学习器得不到合理的输出作为对所述输入数据的推论结果时，进行与通过将所述输入数据输入至所述第一学习器，从而作为对所述输入数据的推论结果而从所述第一学习器获得的输出相关的警告。根据所述构成，能够对用户等警告第一学习器对输入数据的推论结果的合理性低。
所述一方面的评估装置也可还包括：推论部，将所述输入数据输入至所述第一学习器，获得来自所述第一学习器的输出，由此来对所述输入数据进行规定的推论。根据所述构成，能够提供一种评估装置，其能对输入数据进行规定的推论，并且能评估所述推论的结果的合理性。
所述一方面的评估装置也可还包括：动作执行部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器时，能从所述第一学习器获得合理的输出作为对所述输入数据的推论结果时，基于所述推论结果来执行规定动作，且当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器时，从所述第一学习器得不到合理的输出作为所述输入数据的推论结果时，停止基于所述推论结果的、所述规定动作的执行。所述构成中，当评估为第一学习器对输入数据的推论结果为合理时，基于所述推论结果来执行规定动作，与此相对，当评估为所述推论结果不合理时，停止基于所述推论结果的、规定动作的执行。由此，根据所述构成，能够提高基于第一学习器的推论结果的动作控制的可靠性。另外，“停止规定动作的执行”也可包含不维持规定动作的执行的所有实施方式。即，“停止规定动作的执行”除了完全停止规定动作以外，例如也可包含变更速度、加速度、力等规定动作的属性。
所述一方面的评估装置中，所述输入数据也可包含能映照出坐在车辆的驾驶座上的驾驶员的图像数据，通过将所述输入数据输入至所述第一学习器而从所述第一学习器获得的输出也可包含表示所述驾驶员的状态的信息。根据所述构成，能够提供一种评估装置，其对基于包含图像数据的输入数据来判定驾驶员的状态的推论的合理性进行评估。
所述一方面的评估装置也可还包括：数据发送部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器时，从所述第一学习器得不到合理的输出作为对所述输入数据的推论结果时，将所述输入数据发送到规定的存储场所。当评估为第一学习器的推论结果的合理性低时，可预料所给予的输入数据是与第一学习器的机器学习时所利用的训练数据大相径庭的种类。根据所述构成，能够将此种输入数据收集到规定的存储场所。由此，能够利用所收集的输入数据来作为新的训练数据，从而能扩大可通过第一学习器来推论的对象范围。
所述一方面的评估装置中，所述第一学习器可包含对所述输入数据进行编码的第一编码器，所述第二学习器可包含对所述输入数据进行编码的第二编码器、及对所述第二编码器的输出进行解码的解码器。各编码器及解码器例如可通过神经网络来构建。作为包括编码器及解码器的第二学习器，可使用自编码器。解码器被构建为，对第二编码器的输出进行解码，即，对输入至第二编码器的输入数据进行复原。因此，从解码器获得的输出越类似于输入至第二编码器的输入数据，则能够识别为所述输入数据越类似于训练数据。相反地，从解码器获得的输出越不类似于输入至第二编码器的输入数据，则能够识别为所述输入数据越不类似于训练数据。因此，根据所述构成，能够适当评估第一学习器的推论结果的合理性。
所述一方面的评估装置中，所述第一编码器与所述第二编码器可为同一编码器。根据所述构成，通过在第一学习器与第二学习器之间共享编码器，能够抑制第一学习器及第二学习器的总计算成本，且能够提高第二学习器的运算速度。
所述一方面的评估装置中，所述第一编码器构建为，当输入所述训练数据时，输出与跟所输入的所述训练数据成对的所述正解数据对应的值，所述第二编码器与所述第一编码器为同一编码器或者是所述第一编码器的拷贝，所述解码器可构建为，当输入所述第一编码器的输出时，输出与要获得所输入的输出而输入至所述第一编码器的所述训练数据对应的值。根据所述构成，通过在第一学习器与第二学习器之间共享编码器，从而能够抑制第一学习器及第二学习器的总计算成本，且能够提高第二学习器的运算速度。
另外，也可通过在所述各实施方式的评估装置中组合所述动作执行部来构建动作控制装置。例如，本发明的一方面的动作控制装置包括：数据获取部，获取对利用数据集进行了有教学学习的学习完毕的第一学习器输入的输入数据，所述数据集包含训练数据、及表示对所述训练数据的推论结果的正解的正解数据的对；合理性评估部，基于通过对利用所述训练数据进行了无教学学习的学习完毕的第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果；以及动作执行部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器时，能从所述第一学习器获得合理的输出作为对所述输入数据的推论结果时，基于通过对所述第一学习器输入所述输入数据并获得来自所述第一学习器的输出而对所述输入数据进行的规定的推论的结果，来对规定动作的执行进行控制，且当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器时，从所述第一学习器得不到合理的输出作为所述输入数据的推论结果时，进行控制，以停止基于所述推论结果的、所述规定动作的执行。另外，执行规定动作的装置既可为动作控制装置自身，也可为与动作控制装置不同的其他装置。在由其他装置执行规定动作时，动作控制装置通过将其指令发送至其他装置来控制规定动作的执行。
而且，作为所述各实施方式的评估装置或动作控制装置的其他方案，也可为实现以上的各构成的信息处理方法，也可为程序，还可为存储有此种程序的、计算机或其他装置、机械等可读取的存储介质。此处，所谓计算机等可读取的存储介质，是指通过电、磁、光学、机械或化学作用来保存程序等信息的介质。
例如，本发明的一方面的评估方法是一种信息处理方法，由计算机执行下述步骤：获取对利用数据集进行了有教学学习的学习完毕的第一学习器输入的输入数据，所述数据集包含训练数据、及表示对所述训练数据的推论结果的正解的正解数据的对；以及基于通过对利用所述训练数据进行了无教学学习的学习完毕的第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果。
而且，例如，本发明的一方面的计算机的读取存储媒介，存储有评估程序，其用于使计算机执行下述步骤：获取对利用数据集进行了有教学学习的学习完毕的第一学习器输入的输入数据，所述数据集包含训练数据、及表示对所述训练数据的推论结果的正解的正解数据的对；以及基于通过对利用所述训练数据进行了无教学学习的学习完毕的第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果。
发明的效果
根据本发明，不会降低学习完毕的学习器的推论精度，而能够对所述学习完毕的学习器的推论结果的合理性进行适当评估。
附图说明
图1示意性地例示本发明的基本构成的一例。
图2示意性地例示适用本发明的场景的一例。
图3示意性地例示实施方式的自动驾驶支持装置的硬件构成的一例。
图4示意性地例示实施方式的学习装置的硬件构成的一例。
图5示意性地例示实施方式的自动驾驶支持装置的软件构成的一例。
图6A示意性地例示实施方式的注视状态信息的一例。
图6B示意性地例示实施方式的顺应性信息的一例。
图7A示意性地例示实施方式的神经网络的构成的一例。
图7B示意性地例示实施方式的自编码器的解码器的构成的一例。
图8示意性地例示实施方式的学习装置的软件构成的一例。
图9A示意性地例示通过实施方式的学习装置进行的神经网络的机器学习过程的一例。
图9B示意性地例示通过实施方式的学习装置进行的自编码器的解码器的机器学习过程的一例。
图10A例示实施方式的自动驾驶支持装置的处理流程的一例。
图10B例示实施方式的自动驾驶支持装置的处理流程的一例。
图11例示实施方式的学习装置的处理流程的一例。
图12示意性地例示适用本发明的其他场景的一例。
图13示意性地例示另一实施方式的诊断装置的软件构成的一例。
图14示意性地例示另一实施方式的学习装置的软件构成的一例。
图15示意性地例示适用本发明的其他场景的一例。
图16示意性地例示另一实施方式的预测装置的软件构成的一例。
图17示意性地例示另一实施方式的学习装置的软件构成的一例。
图18例示另一实施方式的自动驾驶支持装置的处理流程的一例。
[符号的说明]
1：评估装置
2：第一学习器
21：输出
3：数据集
31：训练数据
32：正解数据
4：第二学习器
41：输出
5：输入数据
1A：自动驾驶支持装置
11：控制部
12：存储部
13：外部接口
111：数据获取部
112：状态推测部(推论部)
113：合理性评估部
114：第一警告部(警告部)
115：第二警告部
116：驾驶控制部(动作执行部)
117：数据发送部
121：程序(评估程序)
122：第一学习结果数据
123：第二学习结果数据
2A：神经网络
21A：输出
211：注视状态信息
212：顺应性信息
25：全连接神经网络
251：输入层
252：中间层(隐藏层)
253：输出层
26：卷积神经网络
261：卷积层
262：池化层
263：全结合层
264：输出层
27：结合层
28：LSTM网络(递归型神经网络)
281：输入层
282：LSTM块
283：输出层
3A：数据集
31A：训练数据
311：观测信息
312：低分辨率拍摄图像
32A：正解数据
321：注视状态信息
322：顺应性信息
4A：自编码器
401：解码器
41A：输出
411：对应信息
412：对应图像
45：第一部分
46：第二部分
47：第三部分
48：第四部分
5A：输入数据
51：观测信息
52：低分辨率拍摄图像(图像数据)
6：学习装置
61：控制部
62：存储部
63：通信接口
64：输入装置
65：输出装置
66：驱动器
611：学习数据获取部
612：学习处理部
621：学习程序
70：导航装置
71：摄像机
711：拍摄图像
712：脸部举动信息
72：生物传感器
721：生物信息
73：扬声器
81：神经网络
811：全连接神经网络
812：卷积神经网络
813：结合层
814：LSTM网络
82：自编码器
820：解码器
821：第一部分
822：第二部分
823：第三部分
824：第四部分
92：存储介质
1B：诊断装置
111B：数据获取部
112B：诊断部
113B：合理性评估部
122B：第一学习结果数据
123B：第二学习结果数据
2B：神经网络
21B：诊断信息(输出)
3B：数据集
31B：训练数据
314：测定数据
315：问诊数据
32B：正解数据
324：诊断信息
4B：自编码器
401B：解码器
41B：输出
414：第一对应数据
415：第二对应数据
5B：输入数据
54：测定数据
55：问诊数据
6B：学习装置
611B：学习数据获取部
612B：学习处理部
81B：神经网络
82B：自编码器
820B：解码器
1C：预测装置
111C：数据获取部
112C：发电量预测部
113C：合理性评估部
122C：第一学习结果数据
123C：第二学习结果数据
2C：神经网络
21C：发电量信息(输出)
3C：数据集
31C：训练数据
317：天气数据
32C：正解数据
327：发电量信息
4C：自编码器
401C：解码器
41C：输出
417：对应数据
5C：输入数据
57：天气数据
6C：学习装置
611C：学习数据获取部
612C：学习处理部
81C：神经网络
82C：自编码器
820C：解码器
具体实施方式
以下，基于附图来说明本发明的一方面的实施方式(以下也称作“本实施方式”)。但是，以下说明的本实施方式在所有方面不过是本发明的例示。当然能够不脱离本发明的范围而进行各种改良或变形。即，在本发明的实施时，也可适当采用与实施方式相应的具体构成。另外，对于在本实施方式中出现的数据，通过自然语言进行了说明，更具体而言，以计算机可识别的伪语言、命令、参数、机器语言等来指定。
§1适用例
首先，使用图1来说明本发明的基本构成的一例。本实施方式中，准备两个学习完毕的学习器(2、4)。
首先，学习完毕的第一学习器2是通过利用包含训练数据31与正解数据32的对的训练(学习)用的数据集3来实施有教学学习而构建。训练数据31是作为推论对象的数据，正解数据32是表示对训练数据31的推论结果的正解的数据。例如，在为了图像识别而进行推论时，训练数据31是图像数据，正解数据32是表示对图像数据进行图像识别的正解的数据。有教学学习是如下所述的机器学习方法，即，使学习器进行学习，以使其在输入训练数据时，输出与正解数据对应的输出值。因此，学习完毕的第一学习器2被构建为，具有通过所述有教学学习来进行规定推论的能力。即，当将输入数据5输入至学习完毕的第一学习器2时，能够从所述学习完毕的第一学习器2获得与针对所述输入数据5的规定推论的结果对应的输出21。
另一方面，学习完毕的第二学习器4是通过利用第一学习器2的机器学习时所利用的训练数据31来实施无教学学习而构建。无教学学习不同于有教学学习，是不使用正解数据而导出训练数据的结构、法则、倾向、分类等统计性特征的机器学习方法，且是如下所述的机器学习方法，即，使学习器进行学习，以使其在输入训练数据时，输出与训练数据的统计性特征的识别结果对应的输出值。因此，学习完毕的第二学习器4被构建为，具有通过所述无教学学习来识别对象数据是否类似于训练数据31的能力。所述学习完毕的第二学习器4例如既可构建为，对训练数据31进行编码，并对所述经编码的结果进行解码来复原训练数据31，也可构建为，将训练数据31识别为规定的分类。
评估装置1使用学习完毕的第二学习器4，来评估学习完毕的第一学习器2的推论结果的合理性。即，评估装置1获取对学习完毕的第一学习器2输入的输入数据5，将所获取的输入数据5输入至学习完毕的第二学习器4。如上所述，学习完毕的第二学习器4获得了通过无教学学习来识别输入数据5是否类似于训练数据31的能力。因此，当将输入数据5输入至学习完毕的第二学习器4时，能够从所述第二学习器4获得与识别输入数据5是否类似于训练数据31的结果相关的输出41。因此，评估装置1基于通过将输入数据5输入至第二学习器4而从所述第二学习器4获得的输出41，来评估在将输入数据5输入至第一学习器2时，能否从第一学习器2获得合理的输出作为对输入数据5的推论结果。
因此，根据本实施方式，第一学习器2及第二学习器4的学习两者能够共同利用为了机器学习所准备的训练数据31，因此也可不分为第一学习器2的学习所利用的数据与第二学习器4的学习所利用的数据。因此，能够防止第一学习器2的机器学习所利用的训练数据31的数量过少的情况。而且，根据本实施方式，学习完毕的第二学习器4构成为，能够基于从第一学习器2的学习时所利用的训练数据31中导出的统计性特征，来评估所给予的输入数据5是否是与所述训练数据31大相径庭的种类。因此，也可不为了第二学习器4的学习而预估对第一学习器2输入的所有种类的输入数据5来准备训练数据31。因而，根据本实施方式，不会降低学习完毕的第一学习器2的推论精度，而能够对所述学习完毕的第一学习器2的推论结果的合理性进行适当评估。
另外，图1中，第一学习器2被保持在评估装置1的外部(例如，可经由网络而与评估装置1进行访问等的外部装置)，第二学习器4被保持在评估装置1的内部。但是，各学习器(2、4)的保持场所也可不限定于此种示例，也可根据实施方式来适当选择。例如，第一学习器2也可被保持在评估装置1的内部。而且，例如，第二学习器4也可被保持在可经由网络而与评估装置1进行访问的外部装置(例如服务器)。
而且，各学习器(2、4)只要包含能够通过机器学习来获得对规定模式进行识别的能力的学习模型即可。例如，第一学习器2只要包含能够利用于有教学学习的学习模型即可，例如可包含神经网络、线性回归模型、支持向量机等。另一方面，第二学习器4只要包含能够利用于无教学学习的学习模型即可，例如可包含自编码器(自动编码器)、算出马氏距离的运算模型、一类支持向量机(1-class SVM)等。有教学学习及无教学学习各自的具体方法可根据利用于各学习器(2、4)的学习模型来适当选择公知的方法。
进而，第一学习器2的推论种类也可根据实施方式来适当选择。例如，第一学习器2的推论种类也可为图像识别、语音识别、语言分析等。根据所述推论的种类，训练数据31、正解数据32及输入数据5的种类也可适当选择。例如，训练数据31及输入数据5可为图像数据、语音数据、文本数据、数值数据等，也可为它们的组合。例如，正解数据32可为表示对图像数据的图像识别的结果的数据、表示对语音数据的语音识别的结果的数据、表示对文本数据的语言分析的结果的数据、表示对数值数据的规定的判定结果的数据等。
而且，优选的是，利用于第一学习器2的有教学学习的训练数据与利用于第二学习器4的无教学学习的训练数据完全一致。但是，利用于第一学习器2的有教学学习的训练数据与利用于第二学习器4的无教学学习的训练数据只要至少有一部分重复，则也可不完全一致。利用于第一学习器2的有教学学习的训练数据与利用于第二学习器4的无教学学习的训练数据至少有一部分重复但其他部分不同的情况，也视为利用第一学习器2的有教学学习时所利用的训练数据31来进行第二学习器4的无教学学习。
接下来，使用图2来说明适用本发明的场景的一例。所述评估装置1能够适用在利用有教学学习的各种领域。图2中，作为本实施方式的一例，表示将本发明适用于支持汽车自动驾驶的自动驾驶支持装置1A的示例。即，本实施方式的自动驾驶支持装置1A是所述评估装置1的一例，而且也是本发明的“动作控制装置”的一例。
如图2所示，本实施方式的自动驾驶支持装置1A是一边利用摄像机71来监测驾驶员D，一边支持车辆的自动驾驶的计算机。具体而言，自动驾驶支持装置1A从摄像机71获取拍摄图像，所述摄像机71被配置成，对坐在车辆的驾驶座上的驾驶员D进行拍摄。而且，自动驾驶支持装置1A获取驾驶员D的观测信息(后述的观测信息51)，所述驾驶员D的观测信息(后述的观测信息51)包含与驾驶员D的脸部举动相关的脸部举动信息。
并且，自动驾驶支持装置1A将包含拍摄图像(后述的低分辨率拍摄图像52)及观测信息的输入数据(后述的输入数据5A)输入至学习完毕的第一学习器(后述的神经网络2A)，由此，从所述第一学习器获取表示驾驶员D的驾驶状态的驾驶状态信息。由此，自动驾驶支持装置1A利用第一学习器，针对包含能映照出坐在车辆驾驶座上的驾驶员D的图像数据(拍摄图像)的输入数据，实施对驾驶员D的状态进行推测的推论。
进而，自动驾驶支持装置1A基于通过将输入数据输入至学习完毕的第二学习器(后述的自编码器4A)而从所述第二学习器获得的输出，来评估在将输入数据输入至第一学习器时，能否从第一学习器获得合理的输出作为对输入数据的推论结果。由此，自动驾驶支持装置1A利用第二学习器来评估第一学习器对输入数据的推论的合理性。
另一方面，本实施方式的学习装置6是分别构建自动驾驶支持装置1A所利用的第一学习器及第二学习器，即，实施基于有教学学习及无教学学习的机器学习的计算机。具体而言，学习装置6利用包含训练数据(后述的训练数据31A)及正解数据(后述的正解数据32A)的对的数据集(后述的数据集3A)，来实施第一学习器的有教学学习。而且，学习装置6利用训练数据(后述的训练数据31A)来实施第二学习器的无教学学习。由此，学习装置6生成自动驾驶支持装置1A所利用的第一学习器及第二学习器。自动驾驶支持装置1A例如能够经由网络来获取由学习装置6所生成的学习完毕的第一及第二学习器。另外，网络的种类例如可从国际互联网、无线通信网、移动通信网、电话网、专用网等中适当选择。
如上所述，本实施方式的一例中，利用学习完毕的第一学习器，针对包含拍摄图像及观测信息的输入数据实施对驾驶员D的状态进行推测的推论，并且利用学习完毕的第二学习器，来评估第一学习器对输入数据的所述推论的合理性。由此，在自动驾驶支持装置1A中，在推测驾驶员D的状态的推论结果产生错误的可能性高的情况下，能够输出用于告知此情况的警告，或者停止利用推论结果的动作控制等信息处理。因此，能够抑制因第一学习器对驾驶员D的状态推测错误引起的自动驾驶支持装置1A的误动作的产生。
§2构成例
[硬件构成]
<自动驾驶支持装置>
接下来，使用图3来说明本实施方式的自动驾驶支持装置1A的硬件构成的一例。图3示意性地例示本实施方式的自动驾驶支持装置1A的硬件构成的一例。
如图3所示，本实施方式的自动驾驶支持装置1A是由控制部11、存储部12、及外部接口13电连接而成的计算机。另外，图3中，将外部接口记作“外部I/F”。
控制部11包含作为硬件处理器的中央处理器(Central Processing Unit，CPU)、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)等，根据信息处理来进行各构成元件的控制。控制部11例如也可包含电控单元(ElectronicControl Unit，ECU)。存储部12例如包含RAM、ROM等，存储程序121、第一学习结果数据122、第二学习结果数据123等各种信息。存储部12是“存储器”的一例。
程序121是用于使自动驾驶支持装置1A执行下述信息处理(图10A及图10B)的程序，即，利用第一学习器来实施用于对驾驶员D的状态进行推测的推论，并且利用第二学习器来评估第一学习器的推论的合理性。所述程序121是本发明的“评估程序”的一例。第一学习结果数据122是用于进行学习完毕的第一学习器的设定的数据。第二学习结果数据123是用于进行学习完毕的第二学习器的设定的数据。详细将后述。
外部接口13是用于与外部装置连接的接口，根据所连接的外部装置而适当构成。本实施方式中，外部接口13例如经由控制器局域网(Controller Area Network，CAN)而连接于导航(navigation)装置70、摄像机71、生物传感器72及扬声器73。
导航装置70是在车辆行驶时进行路线引导的计算机。对于导航装置70，可使用公知的汽车导航装置。导航装置70构成为，基于全球定位系统(Global Positioning System，GPS)信号来测定自车位置，并利用地图信息及与周边的建筑物等相关的周边信息来进行路线引导。另外，以下，将表示基于GPS信号而测定的自车位置的信息称作“GPS信息”。
摄像机71被配置成，对坐在车辆驾驶座上的驾驶员D进行拍摄。例如，图2的示例中，摄像机71被配置在驾驶座的前方上方。但是，摄像机71的配置场所也可不限定于此种示例，只要能够对坐在驾驶座上的驾驶员D进行拍摄，可根据实施方式来适当选择。另外，对于摄像机71，可使用一般的数字摄像机、摄影机等。
生物传感器72构成为，对驾驶员D的生物信息进行测定。作为测定对象的生物信息也可无特别限定，例如可为脑波、心率等。生物传感器72只要能够对作为测定对象的生物信息进行测定，则也可无特别限定，例如可使用公知的脑波传感器、脉搏传感器等。生物传感器72被安装在与作为测定对象的生物信息相应的、驾驶员D的身体部位。
扬声器73构成为输出语音。扬声器73被利用于在车辆行驶中驾驶员D并非适合于所述车辆的驾驶的状态时，对所述驾驶员D发出警告，以使其采取适合于所述车辆的驾驶的状态。详细将后述。
另外，在外部接口13，可连接所述以外的外部装置。例如，在外部接口13，也可连接用于经由网络来进行数据通信的通信模块。连接于外部接口13的外部装置也可不限定于所述的各装置，可根据实施方式来适当选择。
而且，图3的示例中，自动驾驶支持装置1A包括一个外部接口13。但是，外部接口13也可对应于所连接的每个外部装置而设置。外部接口13的数量可根据实施方式来适当选择。
另外，关于自动驾驶支持装置1A的具体的硬件构成，可根据实施方式来适当地进行构成元件的省略、替换及追加。例如，控制部11也可包含多个硬件处理器。硬件处理器可包含微处理器、现场可编程门阵列(Field-Programmable Gate Array，FPGA)等。存储部12也可包含控制部11中所含的RAM及ROM。存储部12也可包含硬盘驱动器、固态硬盘(solidstate drive)等辅助存储装置。自动驾驶支持装置1A也可包括用于经由网络来与外部装置进行数据通信的通信接口。自动驾驶支持装置1A也可包括输入装置及输出装置。而且，对于自动驾驶支持装置1A，除了专为所提供的服务设计的信息处理装置以外，还可使用智能电话等移动终端、平板个人电脑(Personal Computer，PC)等通用计算机。自动驾驶支持装置1A也可包含与导航装置70一体的计算机。
<学习装置>
接下来，使用图4来说明本实施方式的学习装置6的硬件构成的一例。图4示意性地例示本实施方式的学习装置6的硬件构成的一例。
如图4所示，本实施方式的学习装置6是由控制部61、存储部62、通信接口63、输入装置64、输出装置65及驱动器66电连接而成的计算机。另外，图4中，将通信接口记作“通信I/F”。
与所述控制部11同样，控制部61包含作为硬件处理器的CPU、RAM、ROM等，且构成为，基于程序及数据来执行各种信息处理。存储部62例如包含硬盘驱动器、固态硬盘等。存储部62存储由控制部61所执行的学习程序621、用于利用于学习器的学习的数据集3A、通过执行学习程序621而生成的各学习结果数据(122、123)。
学习程序621是用于使学习装置6执行后述的机器学习处理(图11)的程序。数据集3A包含后述的训练数据31A及正解数据32A的对(图8)，被利用于第一学习器的有教学学习。而且，数据集3A的训练数据31A被利用于第二学习器的无教学学习。数据集3A是所述数据集3的一例。详细将后述。
通信接口63例如是有线局域网(Local Area Network，LAN)模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。学习装置6能够经由所述通信接口63来将所制作的各学习结果数据(122、123)分发给自动驾驶支持装置1A等外部装置。
输入装置64例如是鼠标、键盘等用于进行输入的装置。而且，输出装置65例如是显示器、扬声器等用于进行输出的装置。操作员能够经由输入装置64及输出装置65来操作学习装置6。
驱动器66例如是光盘(Compact Disk，CD)驱动器、数字多功能光盘(DigitalVersatile Disk，DVD)驱动器等，是用于读取存储在存储介质92中的程序的驱动器装置。驱动器66的种类可根据存储介质92的种类来适当选择。所述学习程序621及数据集3A的至少一者也可存储在所述存储介质92中。
存储介质92是通过电、磁、光学、机械或化学作用来保存所述程序等信息，以便计算机或其他装置、机械等能够读取所记录的程序等信息的介质。学习装置6也可从所述存储介质92中获取所述学习程序621及数据集3A的至少一者。
此处，图4中，作为存储介质92的一例，例示了CD、DVD等碟型的存储介质。但是，存储介质92的种类并不限定于碟型，也可为碟型以外。作为碟型以外的存储介质，例如可列举快闪存储器(flash memory)等半导体存储器。
另外，关于学习装置6的具体的硬件构成，可根据实施方式来适当地进行构成元件的省略、替换及追加。例如，控制部61也可包含多个硬件处理器。硬件处理器也可包含微处理器、FPGA等。学习装置6也可包含多台信息处理装置。而且，学习装置6除了专为所提供的服务设计的信息处理装置以外，还可为通用的服务器装置、通用的PC等。
[软件构成]
<自动驾驶支持装置>
接下来，使用图5来说明本实施方式的自动驾驶支持装置1A的软件构成的一例。图5示意性地例示本实施方式的自动驾驶支持装置1A的软件构成的一例。
自动驾驶支持装置1A的控制部11将存储在存储部12中的程序121展开到RAM中。并且，控制部11通过CPU来解释及执行在RAM中展开的程序121，从而控制各构成元件。由此，如图5所示，本实施方式的自动驾驶支持装置1A构成为包括数据获取部111、状态推测部112、合理性评估部113、第一警告部114、第二警告部115、驾驶控制部116及数据发送部117来作为软件模块的计算机。
数据获取部111获取对学习完毕的神经网络2A输入的输入数据5A。神经网络2A是所述学习完毕的第一学习器2的一例，输入数据5A是所述输入数据5的一例。本实施方式中，数据获取部111从摄像机71获取拍摄图像711，所述摄像机71被配置成，对坐在车辆驾驶座上的驾驶员D进行拍摄。而且，数据获取部111获取观测信息51，所述观测信息51包含与驾驶员D的脸部举动相关的脸部举动信息712及由生物传感器72所测定的生物信息721。本实施方式的一例中，脸部举动信息712是通过对拍摄图像711进行图像分析而获得。进而，数据获取部111通过降低所获取的拍摄图像711的分辨率，从而形成低分辨率拍摄图像52。由此，数据获取部111获取包含观测信息51及低分辨率拍摄图像52的输入数据5A。另外，低分辨率拍摄图像52是本发明的“能映照出坐在车辆驾驶座上的驾驶员的图像数据”的一例。
状态推测部112包含学习完毕的神经网络2A，所述学习完毕的神经网络2A利用后述的数据集3A来进行用于推测驾驶员的状态的有教学学习。状态推测部112将输入数据5A输入至学习完毕的神经网络2A，从所述神经网络2A获得输出。由此，状态推测部112针对输入数据5A进行推测驾驶员状态的推论。状态推测部112是本发明的“推论部”的一例。
本实施方式中，通过将输入数据5A输入至学习完毕的神经网络2A而从所述学习完毕的神经网络2A获得的输出，包含表示驾驶员的状态的驾驶状态信息21A。所述驾驶状态信息21A是所述输出21的一例。本实施方式中，驾驶状态信息21A包含表示驾驶员D的注视状态的注视状态信息211、及表示驾驶员D对驾驶的顺应性的程度的顺应性信息212。
此处，使用图6A及图6B来说明注视状态信息211及顺应性信息212。图6A及图6B表示注视状态信息211及顺应性信息212的一例。如图6A所示，本实施方式的注视状态信息211用两个等级(level)来阶段性地表示驾驶员D是否正进行驾驶所需的注视。而且，如图6B所示，本实施方式的顺应性信息212用两个等级来阶段性地表示对驾驶的顺应性是高的状态还是低的状态。另外，顺应性的程度表示对驾驶的准备状态的程度，换言之，表示驾驶员是否处于能手动进行车辆驾驶的状态的程度。更详细而言，顺应性的程度表示在将车辆的动作模式从自动驾驶切换为手动驾驶时，驾驶员能否立即应对车辆的手动驾驶的程度。因此，通过顺应性信息212，例如能够表示驾驶员D能恢复为手动驾驶车辆的状态的程度。
驾驶员D的行动状态与注视状态及顺应性的关系可适当设定。例如，当驾驶员D处于“前方注视”、“仪表确认”及“导航确认”的行动状态时，可推测为，所述驾驶员D已进行了驾驶所需的注视，且对驾驶的顺应性处于高的状态。因此，本实施方式中，对应于驾驶员D处于“前方注视”、“仪表确认”及“导航确认”的行动状态的情况，注视状态信息211被设定为表示驾驶员D正进行驾驶所需的注视，顺应性信息212被设定为表示驾驶员D处于对驾驶的顺应性高的状态。另外，“前方注视”是指驾驶员D正注视车辆的行驶方向的状态。“仪表确认”是指驾驶员D确认了车辆的速度计(speed meter)等仪表的状态。“导航确认”是指驾驶员D确认了导航装置70的路线引导的状态。
而且，例如在驾驶员D处于“抽烟”、“饮食”及“通话”的行动状态的情况下，可推测为，尽管所述驾驶员D正进行驾驶所需的注视，但对驾驶的顺应性处于低的状态。因此，本实施方式中，对应于驾驶员D处于“抽烟”、“饮食”及“通话”的行动状态的情况下，注视状态信息211被设定为表示驾驶员D正进行驾驶所需的注视，顺应性信息212被设定为表示驾驶员D处于对驾驶的顺应性低的状态。另外，“抽烟”是指驾驶员D正在抽烟的状态。“饮食”是指驾驶员D正在吃喝食物的状态。“通话”是指驾驶员D正利用移动电话等电话机进行通话的状态。
而且，例如在驾驶员D处于“东张西望”、“回头看向后方”及“困倦”的行动状态的情况下，可推测为，所述驾驶员D虽未进行驾驶所需的注视，但对驾驶的顺应性处于相对较高的状态。因此，本实施方式中，对应于驾驶员D处于“东张西望”、“回头看向后方”及“困倦”的行动状态的情况，注视状态信息211被设定为表示驾驶员D未进行驾驶所需的注视，顺应性信息212被设定为表示驾驶员D处于对驾驶的顺应性高的状态。另外，“东张西望”是指驾驶员D的视线偏离前方的状态。“回头看向后方”是指驾驶员D回头看向后部座椅的状态。“困倦”是指驾驶员D感到困倦的状态。
而且，例如在驾驶员D处于“打瞌睡”、“移动电话操作”及“恐慌”的行动状态的情况下，可推测为，所述驾驶员D未进行驾驶所需的注视，且对驾驶的顺应性处于低的状态。因此，本实施方式中，对应于驾驶员D处于“打瞌睡”、“移动电话操作”及“恐慌”的行动状态的情况，注视状态信息211被设定为表示驾驶员D未进行驾驶所需的注视，顺应性信息212被设定为表示驾驶员D处于对驾驶的顺应性低的状态。另外，“打瞌睡”是指驾驶员D正在睡觉的状态。“移动电话操作”是指驾驶员D正在操作移动电话的状态。“恐慌”是指驾驶员D因身体状况的骤变等而陷入恐慌的状态。
合理性评估部113包含学习完毕的自编码器4A。合理性评估部113基于通过将输入数据5A输入至所述学习完毕的自编码器4A而从所述自编码器4A获得的输出41A，来评估在将输入数据5A输入至神经网络2A时，能否从神经网络2A获得合理的输出作为对输入数据5A的推论结果。学习完毕的自编码器4A是所述第二学习器4的一例。
自编码器是经机器学习以使输出接近输入的神经网络，包含编码器及解码器。编码器是经机器学习以对输入进行某些转换(编码)的神经网络，解码器是经机器学习以由编码器的输出再现(解码)输入的神经网络。
本实施方式中，学习完毕的第一学习器即神经网络2A也作为学习完毕的第二学习器即自编码器4A的编码器而运行，相当于本发明的“第一编码器”及“第二编码器”的一例。因此，本实施方式的自编码器4A包含神经网络2A(编码器)、及被构建为由神经网络2A的输出来再现输入的解码器401。对于本实施方式的解码器401，输入通过将输入数据5A输入至神经网络2A而从所述神经网络2A获得的输出(驾驶状态信息21A)。当对本实施方式的解码器401输入神经网络2A的输出(驾驶状态信息21A)时，从解码器401获得输出41A，所述输出41A包含与输入数据5A中所含的观测信息51对应的对应信息411、及与低分辨率拍摄图像52对应的对应图像412。因此，本实施方式的合理性评估部113通过对输入数据5A与输出41A进行比较，从而评估神经网络2A的推论结果的合理性。另外，所述输出41A是所述输出41的一例。
第一警告部114在合理性评估部113评估为，在将输入数据5A输入至神经网络2A时，从神经网络2A得不到合理输出作为对输入数据5A的推论结果时，进行与通过将输入数据5A输入至神经网络2A，从而作为对所述输入数据5A的推论结果而从神经网络2A获得的输出相关的警告。第一警告部114是本发明的“警告部”的一例。
第二警告部115基于驾驶状态信息21A，来判定驾驶员D是否处于适合于车辆驾驶的状态。并且，第二警告部115在判定为驾驶员D并非处于适合于车辆驾驶的状态时，进行敦促驾驶员D采取适合于车辆驾驶的状态的警告。
驾驶控制部116控制车辆的动作，以选择性地实施自动驾驶模式与手动驾驶模式，所述自动驾驶模式是通过访问车辆的驱动系统及控制系统，从而不依靠驾驶员D而自动进行驾驶操作，所述手动驾驶模式是通过驾驶员D的手动来进行驾驶操作。本实施方式中，驾驶控制部116构成为，根据驾驶状态信息21A等来切换自动驾驶模式与手动驾驶模式。
作为其一例，驾驶控制部116在正在实施自动驾驶模式时，判定由驾驶状态信息21A所表示的驾驶员D的状态是否满足对许可车辆驾驶的条件进行规定的基准。并且，驾驶控制部116在判定为由驾驶状态信息21A所表示的驾驶员D的状态满足所述基准时，许可从自动驾驶模式向手动驾驶模式的切换，对车辆输出所述切换的指示。另一方面，在判定为由驾驶状态信息21A所表示的驾驶员D的状态不满足所述基准时，驾驶控制部116不许可从自动驾驶模式向手动驾驶模式的切换。此时，驾驶控制部116如继续自动驾驶模式、将车辆驻停到规定的停车区间等那样，以手动驾驶模式以外的模式来控制车辆的动作。另外，基于所述驾驶状态信息21A的驾驶控制部116的一动作相当于本发明的“动作执行部”的动作。
数据发送部117在合理性评估部113评估为，在将输入数据5A输入至神经网络2A时，从所述神经网络2A得不到合理的输出作为对输入数据5A的推论结果时，将所述输入数据5A发送到规定的存储场所。另外，规定的存储场所也可无特别限定，可根据实施方式来适当选择。例如，规定的存储场所可为学习装置6的存储部62、网络附加存储器(NetworkAttached Storage，NAS)等。
(第一学习器)
接下来，进一步使用图7A来说明作为第一学习器的一例的神经网络2A。图7A示意性地例示本实施方式的神经网络2A的构成的一例。如图7A所示，本实施方式的神经网络2A是通过将多种神经网络加以组合而构成。
具体而言，神经网络2A被分为全连接神经网络25、卷积神经网络26、结合层27及长短期记忆(Long short-term memory，LSTM)网络28这四个部分。全连接神经网络25及卷积神经网络26并列地配置在输入侧，对全连接神经网络25输入观测信息51，对卷积神经网络26输入低分辨率拍摄图像52。结合层27将全连接神经网络25及卷积神经网络26的输出予以结合。LSTM网络28接收来自结合层27的输出，并输出注视状态信息211及顺应性信息212。
(a)全连接神经网络
全连接神经网络25是所谓的多层结构的神经网络，从输入侧依序包括输入层251、中间层(隐藏层)252及输出层253。但是，全连接神经网络25的层数也可不限定此种示例，可根据实施方式来适当选择。
各层251～253包括一个或多个神经元(neuron)(节点)。各层251～253中所含的神经元的个数可根据实施方式来适当设定。通过各层251～253中所含的各神经元结合至邻接的层中所含的所有神经元，从而构成全连接神经网络25。对于各结合，适当设定有权重(结合负载)。
(b)卷积神经网络
卷积神经网络26是具有将卷积层261及池化(pooling)层262交替地连接而成的结构的前向传播型神经网络。本实施方式的卷积神经网络26中，在输入侧交替地配置有多个卷积层261及池化层262。并且，配置在最靠输出侧的池化层262的输出被输入至全结合层263，全结合层263的输出被输入至输出层264。
卷积层261是进行图像的卷积运算的层。所谓图像的卷积，相当于算出图像与规定的过滤器的相关的处理。因此，通过进行图像的卷积，例如能够从所输入的图像中检测与过滤器的浓淡图形类似的浓淡图形。
池化层262是进行池化处理的层。池化处理将图像的对过滤器的响应强的位置的信息局部舍弃，实现图像内出现的特征相对于微小的位置变化的响应的不变性。
全结合层263是将邻接的层之间的神经元全部结合的层。即，全结合层263中所含的各神经元结合至邻接的层中所含的所有神经元。卷积神经网络26也可包括两层以上的全结合层263。而且，全结合层263中所含的神经元的个数可根据实施方式来适当设定。
输出层264是配置在卷积神经网络26的最靠输出侧的层。输出层264中所含的神经元的个数可根据实施方式来适当设定。另外，卷积神经网络26的构成也可不限定于此种示例，可根据实施方式来适当设定。
(c)结合层
结合层27被配置在全连接神经网络25及卷积神经网络26与LSTM网络28之间。结合层27将来自全连接神经网络25的输出层253的输出、及来自卷积神经网络26的输出层264的输出予以结合。结合层27中所含的神经元的个数可根据全连接神经网络25及卷积神经网络26的输出数来适当设定。
(d)LSTM网络
LSTM网络28是包括长短期记忆(Long short-term memory，LSTM)块282的递归型神经网络。递归型神经网络例如是像从中间层向输入层的路径那样，在内部具有回路(loop)的神经网络。LSTM网络28具有将一般的递归型神经网络的中间层替换为LSTM块282的结构。
本实施方式中，LSTM网络28从输入侧起依序包括输入层281、LSTM块282及输出层283，除了前向传播的路径以外，还具有从LSTM块282返回输入层281的路径。输入层281及输出层283中所含的神经元的个数可根据实施方式来适当设定。
LSTM块282包括输入闸及输出闸，是构成为可学习信息的存储及输出时机的块(S.Hochreiter和J.Schmidhuber，“长短期记忆”神经计算，9(8)：1735-1780，1997年11月15日)。而且，LSTM块282也可包括对信息的遗忘时机进行调节的遗忘闸(Felix A.Gers、Jürgen Schmidhuber和Fred Cummins，“学会遗忘：借助LSTM的连续预测”神经计算，第2451页-第2471页，2000年10月)。LSTM网络28的构成可根据实施方式来适当设定。
(e)小结
对于各神经元设定有阈值，基本上，根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。自动驾驶支持装置1A对全连接神经网络25输入观测信息51，对卷积神经网络26输入低分辨率拍摄图像52。并且，自动驾驶支持装置1A从输入侧起依序进行各层中所含的各神经元的点燃判定。由此，自动驾驶支持装置1A从神经网络2A的输出层283获取与注视状态信息211及顺应性信息212对应的输出值，以作为对输入数据5A的推论结果。
另外，表示此种神经网络2A的构成(例如各网络的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元的传递函数)、各神经元间的结合权重、及各神经元的阈值的信息包含在第一学习结果数据122中。自动驾驶支持装置1A参照第一学习结果数据122，来进行用于对驾驶员D的驾驶状态进行推测的处理的学习完毕神经网络2A的设定。
(第二学习器)
接下来，进一步使用图7B来说明作为第二学习器的一例的自编码器4A。如上所述，自编码器4A包含神经网络2A(编码器)与解码器401。图7B示意性地例示其中的解码器401的构成。如图7B所示，本实施方式的解码器401具有使所述神经网络2A的输入侧与输出侧反转的结构。
具体而言，解码器401被分为第一部分45至第四部分48。配置在输入侧的第一部分45具有使所述LSTM网络28的输入侧与输出侧反转的结构。第二部分46对应于所述结合层27。第二部分46受理来自第一部分45的输出，将各神经元的点燃判定结果分开输出至第三部分47及第四部分48。第三部分47及第四部分48是在输出侧并列配置，对应于所述全连接神经网络25及卷积神经网络26。第三部分47具有使所述全连接神经网络25的输入侧与输出侧反转的结构。第三部分47受理来自第二部分46的输出，并输出对应信息411。第四部分48具有使所述卷积神经网络26的输入侧与输出侧反转的结构。第四部分48受理来自第二部分46的输出，并输出对应图像412。
与所述神经网络2A同样地，对于构成解码器401的各部分45～48的各神经元设定有阈值，基本上，根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。自动驾驶支持装置1A将神经网络2A的输出(驾驶状态信息21A)输入至第一部分45。并且，自动驾驶支持装置1A从输入侧起依序进行各层中所含的各神经元的点燃判定。由此，自动驾驶支持装置1A从解码器401的输出层获取包含对应信息411及对应图像412的输出41A。
此处，如上所述，自编码器的解码器是经机器学习以由编码器的输出来再现输入的神经网络。因此，优选的是，自编码器4A的解码器401构成为，具有与使所述神经网络2A的输入侧与输出侧反转的结构完全一致的结构。但是，解码器401的构成也可不限定于此种示例，只要能够输出对应信息411及对应图像412，则可根据实施方式来适当决定。解码器401的结构也可不与使所述神经网络2A的输入侧与输出侧反转的结构完全一致。
另外，本实施方式中，表示作为编码器的神经网络2A的构成等的信息包含在第一学习结果数据122中。因此，本实施方式的第二学习结果数据123包含表示解码器401的构成(例如各部分的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元的传递函数)、各神经元间的结合权重、及各神经元的阈值的信息。可从第二学习结果数据123中省略表示作为编码器的神经网络2A的构成等的信息。自动驾驶支持装置1A参照所述第一学习结果数据122来进行神经网络2A的设定，并且参照第二学习结果数据123来进行解码器401的设定。由此来进行用于对神经网络2A的推论结果的合理性进行评估的处理的学习完毕自编码器4A的设定。但是，第二学习结果数据123的内容也可不限定于此种示例。第二学习结果数据123也可与表示解码器的构成等的信息一同包含表示编码器的构成等的信息。
<学习装置>
接下来，使用图8来说明本实施方式的学习装置6的软件构成的一例。图8示意性地例示本实施方式的学习装置6的软件构成的一例。
学习装置6的控制部61将存储在存储部62中的学习程序621展开到RAM中。并且，控制部61通过CPU来解释及执行在RAM中展开的学习程序621，以控制各构成元件。由此，如图8所示，本实施方式的学习装置6构成为包括学习数据获取部611及学习处理部612来作为软件模块的计算机。
学习数据获取部611获取利用于机器学习的数据集3A。数据集3A包含训练数据31A及正解数据32A的对。训练数据31A是所述训练数据31的一例，正解数据32A是所述正解数据32的一例。本实施方式中，训练数据31A包含观测信息311及低分辨率拍摄图像312。观测信息311及低分辨率拍摄图像312对应于所述观测信息51及低分辨率拍摄图像52。另一方面，正解数据32A以表示针对训练数据31A的驾驶员状态推测结果的正解的方式，包含注视状态信息321及顺应性信息322。注视状态信息321及顺应性信息322对应于所述注视状态信息211及顺应性信息212。
学习处理部612利用构成数据集3A的训练数据31A及正解数据32A来实施神经网络81的有教学学习。具体而言，学习处理部612使神经网络81进行学习，以使其在输入观测信息311及低分辨率拍摄图像312时，输出与注视状态信息321及顺应性信息322对应的输出值。而且，学习处理部612利用数据集3A中所含的训练数据31A来实施自编码器82的无教学学习。具体而言，学习处理部612使自编码器82的解码器820进行学习，以使其在输入神经网络81的输出时，输出与观测信息311及低分辨率拍摄图像312对应的输出值。
图9A及图9B分别示意性地例示神经网络81及自编码器82的解码器820的学习过程的一例。如图9A所示，本实施方式的神经网络81包括全连接神经网络811、卷积神经网络812、结合层813及LSTM网络814，且与所述神经网络2A同样地构成。全连接神经网络811、卷积神经网络812、结合层813及LSTM网络814各自与所述全连接神经网络25、卷积神经网络26、结合层27及LSTM网络28分别同样。而且，如图9B所示，本实施方式的解码器820包括第一部分821至第四部分824，且与所述解码器401同样地构成。各部分821至824与所述各部分45至48同样。由此，本实施方式的自编码器82与所述自编码器4A同样地构成。
学习处理部612通过神经网络的学习处理来构建神经网络81，所述神经网络81在对全连接神经网络811输入观测信息311，对卷积神经网络812输入低分辨率拍摄图像312时，从LSTM网络814输出与注视状态信息321及顺应性信息322对应的输出值。并且，学习处理部612将表示所构建的神经网络81的构成、各神经元间的结合权重及各神经元的阈值的信息作为第一学习结果数据122而保存到存储部62中。
同样地，学习处理部612通过神经网络的学习处理来构建解码器820，所述解码器820在将神经网络81的输出输入至第一部分821时，从第三部分823输出与观测信息311对应的输出值，并从第四部分824输出与低分辨率拍摄图像312对应的输出值。并且，学习处理部612将表示所构建的解码器820的构成、各神经元间的结合权重及各神经元的阈值的信息作为第二学习结果数据123而保存到存储部62中。
<其他>
关于自动驾驶支持装置1A及学习装置6的各软件模块，将在后述的动作例中进行详细说明。另外，本实施方式中，对自动驾驶支持装置1A及学习装置6的各软件模块均通过通用的CPU来实现的示例进行了说明。但是，以上的各软件模块的一部分或全部也可通过一个或多个专用处理器来实现。而且，关于自动驾驶支持装置1A及学习装置6各自的软件构成，也可根据实施方式来适当地进行软件模块的省略、替换及追加。
§3动作例
[自动驾驶支持装置]
接下来，使用图10A及图10B来说明自动驾驶支持装置1A的动作例。图10A及图10B是例示自动驾驶支持装置1A的处理流程的一例的流程图。以下说明的对神经网络2A的推测结果的合理性进行评估的处理流程是本发明的“评估方法”的一例。但是，以下说明的处理流程不过是一例，只要可能，各处理可进行变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(启动)
首先，驾驶员D接通车辆的点火(ignition)电源，由此来启动自动驾驶支持装置1A，使启动的自动驾驶支持装置1A执行程序121。由此，自动驾驶支持装置1A的控制部11按照以下的处理流程来监测驾驶员D的状态，并且控制车辆的驾驶模式。另外，程序121的执行的触发(trigger)也可不限定于此种接通车辆点火电源的操作，可根据实施方式来适当选择。例如，程序121的执行也可将驾驶员D经由输入装置(未图示)的的指示作为触发来开始。
(步骤S101)
步骤S101中，控制部11作为驾驶控制部116而运行，开始车辆的自动驾驶。例如，控制部11从导航装置70获取地图信息、周边信息及GPS信息，基于所获取的地图信息、周边信息及GPS信息来实施车辆的自动驾驶。对于自动驾驶的控制方法，可利用公知的控制方法。当开始车辆的自动驾驶模式时，控制部11将处理推进至下个步骤S102。
(步骤S102)
步骤S102中，控制部11作为驾驶控制部116而运行，判定是否受理了车辆动作从自动驾驶模式向手动驾驶模式切换的指示。若判定为受理了向手动驾驶模式的切换指示，则控制部11将处理推进至下个步骤S103。另一方面，若判定为未受理向手动驾驶模式的切换指示，则控制部11在经过规定时间后，再次执行本步骤S102的处理。
另外，指示从自动驾驶模式向手动驾驶模式切换的触发可根据实施方式来适当设定。例如，也可将经由自动驾驶支持装置1A的输入装置(未图示)的、来自驾驶员D的指示作为触发。此时，根据驾驶员D进行了向手动驾驶模式的切换操作的情况，控制部11判定为受理了向手动驾驶模式的切换指示。另一方面，若未进行此种操作，则控制部11判定为未受理向手动驾驶模式的切换指示，反复执行本步骤S102的处理。
(步骤S103)
步骤S103中，控制部11作为数据获取部111而运行，获取对学习完毕的神经网络2A输入的输入数据5A。当获取输入数据5A时，控制部11将处理推进至下个步骤S104。
获取输入数据5A的方法可根据实施方式来适当决定。作为一例，首先，控制部11从摄像机71获取拍摄图像711，所述摄像机71被配置成，对坐在车辆的驾驶座上的驾驶员D进行拍摄。拍摄图像711既可为动态图像，也可为静态图像。接下来，控制部11获取观测信息51，所述观测信息51包含与驾驶员D的脸部举动相关的脸部举动信息712及由生物传感器72所测定的生物信息721。而且，控制部11通过降低所获取的拍摄图像711的分辨率，从而形成低分辨率拍摄图像52。由此，控制部11能够获取包含观测信息51及低分辨率拍摄图像52的输入数据5A。
另外，脸部举动信息712可适当获取。例如，控制部11可对拍摄图像711进行脸部检测等公知的图像分析，由此来获取与驾驶员D的脸部的检测可否、脸部的位置、脸部的朝向、脸部的动向、视线的方向、脸部器官的位置及眼睛的开闭的至少任一个相关的信息来作为脸部举动信息712。
作为具体例，首先，控制部11从拍摄图像711中检测驾驶员D的脸部，并确定所检测出的脸部的位置。由此，控制部11能够获取与脸部的检测可否及位置相关的信息。而且，通过继续进行脸部的检测，控制部11能够获取与脸部的动向相关的信息。接下来，控制部11在所检测出的脸部的图像内，检测驾驶员D的脸部中所含的各器官(眼、口、鼻、耳等)。由此，控制部11能够获取与脸部器官的位置相关的信息。并且，控制部11通过对所检测出的各器官(眼、口、鼻、耳等)的状态进行分析，能够获取与脸部的朝向、视线的方向及眼睛的开闭相关的信息。对于脸部的检测、器官的检测及器官的状态分析，可使用公知的图像分析方法。
若所获取的拍摄图像711是动态图像或依时间序列排列的多个静态图像，则控制部11对拍摄图像711的各帧执行这些图像分析，由此能够沿着时间序列获取各种信息。由此，控制部11能够以时间序列数据来获取以直方图(histogram)或统计量(平均值、分散值等)表示的各种信息。
而且，控制部11通过访问生物传感器72，从而能够获取例如脑波、心率等生物信息721。生物信息721例如可利用直方图或统计量(平均值、分散值等)来表示。与脸部举动信息712同样地，控制部11通过继续访问生物传感器72，从而能够以时间序列数据来获取生物信息721。
而且，对拍摄图像711进行低分辨率化的处理方法也可无特别限定，可根据实施方式来适当选择。例如，控制部11通过将最近邻(nearest neighbor)法、双线性插值(bilinear interpolation)法、双三次(bicubic)法等公知的图像处理适用于拍摄图像711，便能够形成低分辨率拍摄图像52。
(步骤S104及步骤S105)
步骤S104中，控制部11作为状态推测部112而运行，将输入数据5A输入至学习完毕的神经网络2A，以执行所述神经网络2A的运算处理。由此，步骤S105中，控制部11继续作为状态推测部112而运行，从所述神经网络2A获取与驾驶状态信息21A的注视状态信息211及顺应性信息212分别对应的输出值。
具体而言，控制部11将在步骤S103中获取的输入数据5A中的观测信息51输入至全连接神经网络25的输入层251，将低分辨率拍摄图像52输入至配置在卷积神经网络26的最靠输入侧的卷积层261。并且，控制部11从输入侧起依序进行各层中所含的各神经元的点燃判定。由此，控制部11从LSTM网络28的输出层283获取与注视状态信息211及顺应性信息212分别对应的输出值，以作为针对输入数据5A进行对驾驶员D的状态进行推测的推论的结果。当获取包含注视状态信息211及顺应性信息212的驾驶状态信息21A时，控制部11将处理推进至下个步骤S106。另外，控制部11也可经由扬声器73、显示器(未图示)等输出装置而将所获取的驾驶状态信息21A的内容通知给驾驶员D等。
(步骤S106)
步骤S106中，控制部11作为合理性评估部113而运行，将输入数据5A输入至自编码器4A，以执行自编码器4A的运算处理。本实施方式中，作为自编码器4A的编码器而运行的神经网络2A的输出(驾驶状态信息21A)是在所述步骤S105中获得。因此，本步骤S106中，控制部11将通过输入至神经网络2A而从所述神经网络2A获得的驾驶状态信息21A输入至自编码器4A的解码器401。并且，控制部11执行所述解码器401的运算处理。由此，控制部11从所述自编码器4A的解码器401获取与对应信息411及对应图像412分别对应的输出值来作为输出41A。
具体而言，与所述步骤S104同样地，控制部11将与驾驶状态信息21A中所含的注视状态信息211及顺应性信息212分别对应的输出值输入至第一部分45的输入侧的层。并且，控制部11从输入侧起依序进行各层中所含的各神经元的点燃判定。由此，控制部11从第三部分47的输出侧的层获取与对应信息411对应的输出值，从第四部分48的输出侧的层获取与对应图像412对应的输出值。当获取包含对应信息411及对应图像412的输出41A时，控制部11将处理推进至下个步骤S107。
(步骤S107)
步骤S107中，控制部11继续作为合理性评估部113而运行，基于从自编码器4A获得的输出41A，来评估在将输入数据5A输入至神经网络2A时，能否从神经网络2A获得合理的输出作为对输入数据5A的推论结果。
如上所述，自编码器4A的解码器401由作为编码器的神经网络2A的输出来再现输入。对应信息411对应于观测信息51，对应图像412对应于低分辨率拍摄图像52。输入数据5A越类似于神经网络2A的有教学学习时所利用的数据集3A的训练数据31A，则对应信息411及对应图像412各自越分别类似于输入数据5A中所含的观测信息51及低分辨率拍摄图像52。另一方面，输入数据5A与训练数据31A相差越大，则对应信息411及对应图像412各自越分别背离观测信息51及低分辨率拍摄图像52。
因此，控制部11算出从自编码器4A获得的输出41中所含的对应信息411及对应图像412各自与输入至神经网络2A的输入数据5A中所含的观测信息51及低分辨率拍摄图像52的差值。设所述算出的差值也包含在本发明的“从第二学习器获得的输出”中。并且，控制部11基于所算出的差值来评估神经网络2A的输出(驾驶状态信息21A)的合理性。
具体而言，所算出的差值的值越大，则输入数据5A越是与神经网络2A的机器学习时所利用的训练数据31A大相径庭的种类，预计神经网络2A对输入数据5A进行错误推论的可能性越高。因此，所算出的差值的值越大，则控制部11评估为神经网络2A的输出的合理性越低。另一方面，所算出的差值的值越小，输入数据5A与神经网络2A的机器学习时所利用的训练数据31A越一致，预计神经网络2A对输入数据5A进行错误推论的可能性越低。因此，所算出的差值的值越小，则控制部11评估为神经网络2A的输出的合理性越高。
另外，表达对神经网络2A的输出(驾驶状态信息21A)的合理性进行评估的结果的方法也可无特别限定，可根据实施方式来适当选择。例如，控制部11也可对所算出的差值与规定的阈值进行比较，由此来判定在将输入数据5A输入至神经网络2A时，能否从神经网络2A获得合理的输出作为对输入数据5A的推论结果。规定的阈值可任意设定。并且，控制部11也可输出表示所述判定的结果的值(例如“0”及“1”这两值)来作为合理性的评估结果。
而且，例如，控制部11也可输出一评估值来作为评估的结果，所述评估值表示在将输入数据5A输入至神经网络2A时，能从神经网络2A获得合理的输出作为对输入数据5A的推论结果的程度。此时，控制部11也可将所算出的所述差值直接作为评估值而输出。而且，控制部11也可将通过对所算出的所述差值适用转换比例(scale)等的规定运算处理所获得的值作为评估值而输出。
另外，表示所述判定的结果的值、评估值等评估结果的输出目标也可无特别限定，可根据实施方式来适当选择。例如，评估结果也可被输出至RAM、存储部12等存储器，以供本步骤S107以后的处理中利用。而且，例如，评估结果也可输出至显示器(未图示)、扬声器73等输出装置。在对神经网络2A的输出(驾驶状态信息21A)的合理性进行评估后，控制部11将处理推进至下个步骤S108。
(步骤S108)
步骤S108中，控制部11基于步骤S107的评估结果，来判定在将输入数据5A输入至神经网络2A时，能否从神经网络2A获得合理的输出作为对输入数据5A的推论结果。
当在步骤S108中评估为，在将输入数据5A输入至神经网络2A时，从神经网络2A得不到合理的输出作为对输入数据5A的推论结果时(图10B的否(NO))，控制部11将处理推进至步骤S111。另一方面，当在步骤S108中评估为，在将输入数据5A输入至神经网络2A时，能从神经网络2A获得合理的输出作为对输入数据5A的推论结果时(图10B的是(YES))，控制部11将处理推进至步骤S109。
(步骤S109)
步骤S109中，控制部11作为第二警告部115而运行，基于在步骤S105中获取的驾驶状态信息21A来判定驾驶员D是否处于适合于车辆驾驶的状态。当判定为驾驶员D处于适合于车辆驾驶的状态时(图10B的是)，控制部11将处理推进至步骤S110。另一方面，当判定为驾驶员D不处于适合于车辆驾驶的状态时，控制部11将处理推进至步骤S113。
判定为驾驶员D不处于适合于车辆驾驶的状态的基准可根据实施方式来适当设定。例如，控制部11也可在注视状态信息211表示驾驶员D未进行驾驶所需的注视、或者顺应性信息212表示驾驶员D对驾驶的顺应性低的状态时，判定为驾驶员D不处于适合于车辆驾驶的状态。在此情况下，控制部11在注视状态信息211表示驾驶员D正进行驾驶所需的注视，且顺应性信息212表示驾驶员D对驾驶的顺应性高的状态时，判定为驾驶员D处于适合于车辆驾驶的状态。
而且，例如，控制部11也可在注视状态信息211表示驾驶员D未进行驾驶所需的注视，且顺应性信息212表示驾驶员D对驾驶的顺应性低的状态时，判定为驾驶员D不处于适合于车辆驾驶的状态。在此情况下，控制部11在注视状态信息211表示驾驶员D正进行驾驶所需的注视、或者顺应性信息212表示驾驶员D对驾驶的顺应性高的状态时，判定为驾驶员D处于适合于车辆驾驶的状态。
(步骤S110)
步骤S110中，控制部11作为驾驶控制部116而运行，将车辆的动作从自动驾驶模式切换为手动驾驶模式。由此，控制部11在车辆中开始手动驾驶模式的动作，结束与本动作例相关的处理。另外，在所述手动驾驶模式的开始时，控制部11也可经由扬声器73来通知(announce)驾驶员D由于将车辆的动作切换为手动驾驶模式，因此要开始握住把手(handle)等的驾驶操作。
(步骤S111)
步骤S111中，控制部11作为第一警告部114而运行，进行与作为对输入数据5A的推论结果而从神经网络2A获得的输出(驾驶状态信息21A)相关的警告。警告的内容及方法可根据实施方式来适当设定。例如，控制部11也可进行经由扬声器73、显示器(未图示)等输出装置来告知驾驶员D等从神经网络2A获得的驾驶状态信息21A的合理性低的警告。当进行所述警告时，控制部11将处理推进至下个步骤S112。
(步骤S112)
步骤S112中，控制部11作为数据发送部117而运行，将评估为从神经网络2A得不到合理的输出作为推论结果的对象输入数据5A作为未知的训练数据而发送到规定的存储场所。规定的存储场所可根据实施方式来适当设定。例如，规定的存储场所也可为学习装置6的存储部62、NAS等外部的存储装置。此时，控制部11也可经由网络来将对象输入数据5A发送至外部的存储装置。当将对象输入数据5A发送到规定的存储场所时，控制部11返回步骤S103，重复所述一连串处理。
(步骤S113)
步骤S113中，控制部11作为第二警告部115而运行，经由扬声器73、显示器(未图示)等输出装置来进行敦促驾驶员D采取适合于车辆驾驶的状态的警告。警告的内容及方法可根据实施方式来适当设定。当进行所述警告时，控制部11返回步骤S103，重复所述一连串处理。
另外，本实施方式中，注视状态信息211用两个等级来阶段性地表示驾驶员D是否正进行驾驶所需的注视，顺应性信息212用两个等级来阶段性地表示对驾驶的顺应性是高的状态还是低的状态。因此，控制部11也可根据注视状态信息211所示的驾驶员D的注视的等级以及顺应性信息212所示的驾驶员D的顺应性的等级，来阶段性地进行警告。
例如，当注视状态信息211表示驾驶员D未进行驾驶所需的注视时，控制部11也可从扬声器73输出督促驾驶员D进行驾驶所需的注视的语音来作为警告。而且，当顺应性信息212表示驾驶员D对驾驶的顺应性低的状态时，控制部11也可从扬声器73输出敦促驾驶员D提高对驾驶的顺应性的语音来作为警告。进而，当注视状态信息211表示驾驶员D未进行驾驶所需的注视，且顺应性信息212表示驾驶员D对驾驶的顺应性低的状态时，控制部11也可实施比所述两种情况强的警告(例如提高音量、响起蜂鸣声等)。
(其他)
根据以上，自动驾驶支持装置1A在实施车辆的自动驾驶的期间，能够利用神经网络2A来监测驾驶员D的驾驶状态，并且能够利用自编码器4A来评估所述神经网络2A的推论结果。另外，自动驾驶支持装置1A在所述步骤S109中连续多次判定为驾驶员D不处于适合于车辆驾驶的状态时(图10B的否)，也可不返回步骤S103而停止自动驾驶。此时，例如，控制部11也可参照地图信息、周边信息及GPS信息，在能够安全停止车辆的场所设定停车区间。并且，控制部11也可实施用于将停止车辆的意旨传达给驾驶员D的警告，并使车辆自动驻停在所设定的停车区间。由此，当驾驶员D持续处于不适合驾驶的状态时，能够停止车辆的行驶。
进而，自动驾驶支持装置1A在所述步骤S108中一次或者连续多次判定为从神经网络2A得不到合理的输出作为推论结果时(图10B的否)，也可返回步骤S102而非步骤S103。或者，自动驾驶支持装置1A在所述步骤S108中一次或者连续多次判定为从神经网络2A得不到合理的输出作为推论结果时(图10B的否)，也可不返回步骤S102而停止自动驾驶。此时，与所述同样地，控制部11也可参照地图信息、周边信息及GPS信息，使车辆自动驻停于在能够安全停止车辆的场所中设定的停车区间。
[学习装置]
接下来，使用图11来说明学习装置6的动作例。图11是例示学习装置6的处理流程的一例的流程图。另外，以下说明的处理流程不过是一例，只要可能，则各处理可进行变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S201)
步骤S201中，学习装置6的控制部61作为学习数据获取部611而运行，获取包含训练数据31A及正解数据32A的对的数据集3A。
数据集3A可适当收集。例如，准备包括摄像机71的车辆，对驾驶员安装生物传感器72，在各种条件下拍摄坐在驾驶座的驾驶员。并且，将包含注视状态及顺应性程度的拍摄条件关联于所获得的拍摄图像，由此能够制作数据集3A。此时，构成训练数据31A的观测信息311及低分辨率拍摄图像312可通过与在所述步骤S103中获取输入数据5A的方法同样的方法而获得。而且，控制部61也可获取通过步骤S112的处理而发送的输入数据5A来作为训练数据31A。另一方面，构成正解数据32A的注视状态信息321及顺应性信息322可通过适当受理拍摄图像所表示的驾驶员状态的输入而获得。由此，能够制作数据集3A。
另外，所述数据集3A的收集既可由操作员等使用输入装置64来手动进行，也可通过程序的处理而自动进行。数据集3A例如也可作为所述步骤S112的处理结果，而从所操作的车辆随时收集。在本步骤S201中获取的数据集3A的件数可适当决定为能够实施神经网络81及自编码器82的机器学习的程度。
而且，数据集3A的制作也可由学习装置6以外的其他信息处理装置来进行。在学习装置6制作数据集3A的情况下，控制部61能够通过在本步骤S201中执行数据集3A的所述制作处理来获取数据集3A。另一方面，在学习装置6以外的其他信息处理装置制作数据集3A的情况下，学习装置6也可经由网络、存储介质92等来获取由其他信息处理装置所制作的数据集3A。当获取数据集3A时，控制部61将处理推进至下个步骤S202。
(步骤S202)
步骤S202中，控制部61作为学习处理部612而运行，使用在步骤S201中获取的数据集3A来实施神经网络81的有教学学习，以使其在输入观测信息311及低分辨率拍摄图像312时，输出与跟所输入的观测信息311及低分辨率拍摄图像312成对的注视状态信息321及顺应性信息322各自对应的输出值。
具体而言，首先，控制部61准备成为进行学习处理的对象的神经网络81。所准备的神经网络81的构成、各神经元间的结合权重的初始值、及各神经元的阈值的初始值既可通过模板(template)来给予，也可通过操作员的输入来给予。而且，在进行再学习的情况下，控制部61也可基于成为进行再学习的对象的第一学习结果数据122来准备神经网络81。
接下来，控制部61使用在步骤S201中获取的数据集3A中所含的训练数据31A及正解数据32A来进行神经网络81的学习处理。对于所述神经网络81的学习处理，也可使用随机梯度下降法等公知的学习方法。
例如，控制部61对全连接神经网络811的输入层输入观测信息311，对配置在卷积神经网络812的最靠输入侧的卷积层输入低分辨率拍摄图像312。并且，控制部61从输入侧起依序进行各层中所含的各神经元的点燃判定。由此，控制部61从LSTM网络814的输出层获得输出值。接下来，控制部61算出从LSTM网络814的输出层获取的输出值各自、与跟构成正解数据32A的注视状态信息321及顺应性信息322分别对应的值的误差。继而，控制部61借助通过时间的反向传播(Back propagation through time)法，使用所算出的输出值的误差，来算出各神经元间的结合权重及各神经元的阈值各自的误差。并且，控制部61基于所算出的各误差，来进行各神经元间的结合权重及各神经元的阈值各自的值的更新。
控制部61对于各件的数据集3A重复所述一连串处理，直至从神经网络81输出的输出值各自与跟注视状态信息321及顺应性信息322分别对应的值一致为止。由此，控制部61能够构建神经网络81，所述神经网络81在输入训练数据31A时，输出与跟所输入的训练数据31A成对的正解数据32A对应的输出值。
而且，控制部61使用数据集3A中所含的训练数据31A来实施自编码器82的无教学学习。此处，自编码器82的编码器可与所述神经网络81为同一编码器或者为所述神经网络81的拷贝。本实施方式中，设自编码器82的编码器与所述神经网络81为同一编码器。因此，自编码器82的编码器是通过所述神经网络81的学习处理来构建。因此，控制部61实施自编码器82的解码器820的机器学习，以使其在输入神经网络81的输出时，输出与要获得所输入的输出而输入至神经网络81的观测信息311及低分辨率拍摄图像312对应的输出值。
解码器820的机器学习可通过将训练数据31A替换为神经网络81的输出、将正解数据32A替换为训练数据31A，而与所述神经网络81同样地实施。即，控制部61将训练数据31A输入至神经网络81，并从所述神经网络81获得输出。接下来，控制部61将从神经网络81获得的输出输入至解码器820的第一部分821，并从输入侧起依序进行各层中所含的各神经元的点燃判定，由此，从第三部分823及第四部分824分别获得输出值。接下来，控制部61算出从第三部分823及第四部分824分别获得的输出值、与跟训练数据31A的观测信息311及低分辨率拍摄图像312分别对应的值的误差。接下来，控制部61借助通过时间的反向传播(Backpropagation through time)法，使用所算出的输出值的误差，来算出各神经元间的结合权重及各神经元的阈值各自的误差。并且，控制部61基于所算出的各误差，来进行各神经元间的结合权重及各神经元的阈值各自的值的更新。控制部61对于各件的训练数据31A重复所述一连串处理，直至从解码器820的第三部分823及第四部分824分别输出的输出值各自与跟观测信息311及低分辨率拍摄图像312分别对应的值一致为止。由此，控制部61能够构建解码器820，所述解码器820在输入神经网络81的输出时，输出与要获得所输入的输出而输入至神经网络81的训练数据31A对应的输出值。
此时，自编码器82的解码器820的机器学习既可与神经网络81的机器学习一连串地进行，也可独立于神经网络81的机器学习而进行。在一连串地进行自编码器82及神经网络81的机器学习的情况下，控制部61能够在构建学习完毕的自编码器82的同时，构建学习完毕的神经网络81。当神经网络81及自编码器82的机器学习完成时，控制部61将处理推进至下个步骤S203。
另外，如上所述，自编码器的学习处理与神经网络的学习处理同样，因此乍一看也能分类为有教学学习。但是，在自编码器的学习处理中，为了使对编码器的输入与来自解码器的输出变得相同，也将输入至编码器的训练数据利用作为对解码器的输出的正解数据。因此，像所述自编码器的学习处理这样也将训练数据利用作为正解数据的机器学习被分类为无教学学习而非有教学学习。
(步骤S203)
步骤S203中，控制部61作为学习处理部612而运行，将表示所构建的神经网络81的构成、各神经元间的结合权重及各神经元的阈值的信息作为第一学习结果数据122而保存到存储部62中。而且，控制部61将表示所构建的自编码器82的解码器820的构成、各神经元间的结合权重及各神经元的阈值的信息作为第二学习结果数据123而保存到存储部62中。由此，控制部61结束与本动作例相关的神经网络81及自编码器82的学习处理。
另外，控制部61也可在所述步骤S203的处理完成后，将所制作的各学习结果数据(122、123)传输至自动驾驶支持装置1A。而且，控制部61也可通过定期执行所述步骤S201～步骤S203的学习处理来更新各学习结果数据(122、123)。并且，控制部61也可通过在所述学习处理的每次执行时将所制作的各学习结果数据(122、123)传输至自动驾驶支持装置1A，从而定期更新自动驾驶支持装置1A所保持的各学习结果数据(122、123)。而且，例如，控制部61也可将所制作的各学习结果数据(122、123)保管至NAS等数据服务器中。此时，自动驾驶支持装置1A也可从所述数据服务器获取各学习结果数据(122、123)。
[特征]
如上所述，根据本实施方式，神经网络81及自编码器82的学习两者能够共同利用通过步骤S201而获取的训练数据31A。因此，能够防止神经网络81的机器学习时利用的训练数据31A的数量过少的情况。而且，在无教学学习的特性上，通过利用于神经网络2A(81)的学习的训练数据31A，能够构建学习完毕的自编码器4A(82)，所述学习完毕的自编码器4A(82)能够评估所给予的输入数据5A是否是与所述训练数据31A大相径庭的种类。因此，在步骤S201中，也可不为了自编码器82的学习而预估对神经网络2A输入的所有种类的输入数据5A来准备训练数据31A。因而，根据本实施方式，不会降低步骤S105中的学习完毕的神经网络2A对驾驶员D的状态进行推测的推论的精度，而能够在步骤S107中适当地评估所述神经网络2A的推论结果的合理性。
而且，本实施方式的自动驾驶支持装置1A在评估为在将输入数据5A输入至神经网络2A时，能从神经网络2A获得合理的输出作为对输入数据5A的推论结果时(步骤S108中为是)，执行基于驾驶状态信息21A的、与从自动驾驶模式向手动驾驶模式的切换相关的动作(步骤S109及步骤S110)。与此相对，本实施方式的自动驾驶支持装置1A在评估为在将输入数据5A输入至神经网络2A时，从神经网络2A得不到合理的输出作为对输入数据5A的推论结果时(步骤S108中为否)，停止基于驾驶状态信息21A的、与从自动驾驶模式向手动驾驶模式的切换相关的动作(步骤S109及S110)的执行。由此，本实施方式中，能够提高基于神经网络2A的推论结果的动作控制的可靠性。
而且，本实施方式中，神经网络2A作为第一学习器2而运行，并且也作为自编码器4A的编码器而运行。即，能够在第一学习器2与第二学习器4之间共享编码器。由此，能够抑制步骤S104及步骤S106的处理所耗费的总计算成本，而且，能够提高步骤S106的运算速度。
而且，本实施方式的自动驾驶支持装置1A在评估为在将输入数据5A输入至神经网络2A时，从神经网络2A得不到合理的输出作为对输入数据5A的推论结果时，通过步骤S112来将所述输入数据5A发送至规定的存储场所。由此，在被给予了预估为与构建学习完毕的神经网络2A时所准备的训练数据31A大相径庭的种类的输入数据5A时，能够将所述输入数据5A作为未知的训练数据31A予以收集。由此，能够将所收集的输入数据5A利用作为新的训练数据，从而能够在步骤S105中扩大能通过神经网络2A来推论的对象范围。
§4变形例
以上，详细说明了本发明的实施方式，但直至前述为止的说明在所有方面不过是本发明的例示。当然能够不脱离本发明的范围而进行各种改良或变形。例如，能够进行如下所述的变更。另外，以下，关于与所述实施方式同样的构成元件，使用同样的符号，关于与所述实施方式同样的点，适当省略说明。以下的变形例能适当组合。
<4.1>
所述实施方式中，表示将本发明适用于支持汽车自动驾驶的自动驾驶支持装置1A的示例。自动驾驶支持装置1A是本发明的“评估装置”的一例，也是“动作控制装置”的一例。而且，所述实施方式中，作为第一学习器的规定推论的一例，表示通过神经网络2A来针对包含观测信息51及低分辨率拍摄图像52的输入数据5A而推测驾驶员D的状态的示例。但是，可适用本发明的范围并不限于此种自动驾驶支持装置1A的示例。而且，由第一学习器所实施的规定推论并不限于如上所述的驾驶员D的状态推测，可根据实施方式来适当决定。
(诊断装置)
首先，图12～图14表示将本发明适用于进行对象者P的诊断的诊断装置1B的示例，以作为所述实施方式的变形例。图12示意性地例示本变形例的诊断装置1B及学习装置6B的适用场景的一例。图13示意性地例示本变形例的诊断装置1B的软件构成的一例。图14示意性地例示本变形例的学习装置6B的软件构成的一例。另外，本变形例的诊断装置1B及学习装置6B各自的硬件构成可与所述自动驾驶支持装置1A及学习装置6各自的硬件构成同样。
如图13所示，诊断装置1B的控制部将存储在存储部中的程序展开到RAM中，通过CPU来解释及执行在RAM中展开的程序。由此，诊断装置1B构成为包括数据获取部111B、诊断部112B及合理性评估部113B来作为软件模块的计算机。
数据获取部111B与所述数据获取部111同样地，获取对神经网络2B输入的输入数据5B。神经网络2B是第一学习器2的一例。输入数据5B是输入数据5的一例。本变形例中，输入数据5B包含从对象者P获得的测定数据54及问诊数据55。测定数据54例如表示体温、血压、脉搏等的测定结果。而且，问诊数据55表示咳嗽的有无、头痛的有无等的问诊结果。测定数据54及问诊数据55可通过公知的方法来获取。
诊断部112B诊断对象者P的健康状态。具体而言，诊断部112B与所述状态推测部112同样地，将输入数据5B输入至学习完毕的神经网络2B，执行所述神经网络2B的运算处理。由此，诊断部112B从神经网络2B获取与表示对象者P的健康状态的诊断信息21B对应的输出值，以作为针对输入数据5B而进行对于对象者P的健康状态进行推测的推论的结果。诊断部112B是本发明的“推论部”的一例。
与所述合理性评估部113同样地，合理性评估部113B利用自编码器4B来评估能否从神经网络2B获得合理的输出作为推论结果。自编码器4B是第二学习器4的一例。具体而言，合理性评估部113B将从神经网络2B获得的输出(诊断信息21B)输入至自编码器4B的解码器401B，以执行所述解码器401B的运算处理。由此，合理性评估部113B从自编码器4B获取输出41B，所述输出41B包含与测定数据54对应的第一对应数据414、及与问诊数据55对应的第二对应数据415。因此，合理性评估部113B通过对输入数据5B与输出41B进行比较，从而评估神经网络2B的推论结果的合理性。
由此，诊断装置1B能够通过神经网络2B针对所给予的测定数据54及问诊数据55来实施对于对象者P的健康状态进行推测的推论，并且能够利用自编码器4B来评估所述神经网络2B的推论结果的合理性。另外，神经网络2B的设定是基于第一学习结果数据122B来进行。而且，自编码器4B的解码器401B的设定是基于第二学习结果数据123B来进行。
而且，如图14所示，学习装置6B的控制部将存储在存储部中的程序展开到RAM中，通过CPU来解释及执行在RAM中展开的程序。由此，学习装置6B构成为包括学习数据获取部611B及学习处理部612B来作为软件模块的计算机。
学习数据获取部611B获取利用于机器学习的数据集3B。数据集3B包含训练数据31B及正解数据32B的对。训练数据31B是所述训练数据31的一例，正解数据32B是所述正解数据32的一例。本实施方式中，训练数据31B包含测定数据314及问诊数据315。测定数据314及问诊数据315对应于所述测定数据54及问诊数据55。另一方面，正解数据32B以表示针对训练数据31B的对象者健康状态推测结果的正解的方式而包含诊断信息324。诊断信息324对应于所述诊断信息21B。
学习数据获取部611B也可通过与所述步骤S201同样的处理，来获取包含训练数据31B及正解数据32B的数据集3B。例如，学习数据获取部611B从各种健康状态的对象者P获取测定数据314及问诊数据315。并且，学习数据获取部611B将表示对象者P的健康状态的诊断信息324关联至所获取的测定数据314及问诊数据315。由此，学习数据获取部611B能够获取包含训练数据31B及正解数据32B的数据集3B。
学习处理部612B使神经网络81B进行学习，以使其在输入测定数据314及问诊数据315时，输出与诊断信息324对应的输出值。而且，学习处理部612B使自编码器82B的解码器820B进行学习，以使其在输入神经网络81B的输出时，输出与测定数据314及问诊数据315分别对应的输出值。神经网络81B对应于所述神经网络2B，自编码器82B对应于所述自编码器4B，解码器820B对应于所述解码器401B。
并且，学习处理部612B将表示所构建的神经网络81B的构成、各神经元间的结合权重及各神经元的阈值的信息作为第一学习结果数据122B而保存到存储部中。而且，学习处理部612B将表示所构建的自编码器82B的解码器820B的构成、各神经元间的结合权重及各神经元的阈值的信息作为第二学习结果数据123B而保存到存储部中。由此，学习装置6B能够生成由诊断装置1B利用的学习完毕的神经网络2B及自编码器4B。
(预测装置)
接下来，图15～图17表示将本发明适用于对太阳能发电厂等发电厂的发电量进行预测的预测装置1C的示例，以作为所述实施方式的变形例。图15示意性地例示本变形例的预测装置1C及学习装置6C的适用场景的一例。图16示意性地例示本变形例的预测装置1C的软件构成的一例。图17示意性地例示本变形例的学习装置6C的软件构成的一例。另外，本变形例的预测装置1C及学习装置6C各自的硬件构成可与所述自动驾驶支持装置1A及学习装置6各自的硬件构成同样。
如图16所示，预测装置1C的控制部将存储在存储部中的程序展开到RAM中，通过CPU来解释及执行在RAM中展开的程序。由此，预测装置1C构成为包括数据获取部111C、发电量预测部112C及合理性评估部113C来作为软件模块的计算机。
数据获取部111C与所述数据获取部111同样地，获取对神经网络2C输入的输入数据5C。神经网络2C是第一学习器2的一例。输入数据5C是输入数据5的一例。本变形例中，输入数据5C包含天气数据57。天气数据57表示预测发电量的日期的天气。所述天气数据57例如可从提供天气预报信息的公知的网站(website)等获取。
发电量预测部112C对于对象发电厂的发电量进行预测。具体而言，发电量预测部112C与所述状态推测部112同样地，将输入数据5C输入至学习完毕的神经网络2C，以执行所述神经网络2C的运算处理。由此，发电量预测部112C从神经网络2C获取与表示对象发电量的预测值的发电量信息21C对应的输出值，以作为针对输入数据5C来进行预测发电量的推论的结果。发电量预测部112C是本发明的“推论部”的一例。
合理性评估部113C与所述合理性评估部113同样地，利用自编码器4C来评估能否从神经网络2C获得合理的输出作为推论结果。自编码器4C是第二学习器的一例。具体而言，合理性评估部113C将从神经网络2C获得的输出(发电量信息21C)输入至自编码器4C的解码器401C，以执行所述解码器401C的运算处理。由此，合理性评估部113C从自编码器4C获取输出41C，所述输出41C包含与天气数据57对应的对应数据417。因此，合理性评估部113C通过对输入数据5C与输出41C进行比较，从而评估神经网络2C的推论结果的合理性。
由此，预测装置1C能够通过神经网络2C而针对所给予的天气数据57来实施预测发电量的推论，并且能够利用自编码器4C来评估所述神经网络2C的推论结果的合理性。另外，神经网络2C的设定是基于第一学习结果数据122C来进行。而且，自编码器4C的解码器401C的设定是基于第二学习结果数据123C来进行。
而且，如图17所示，学习装置6C的控制部将存储在存储部中的程序展开到RAM中，通过CPU来解释及执行在RAM中展开的程序。由此，学习装置6C构成为包括学习数据获取部611C及学习处理部612C来作为软件模块的计算机。
学习数据获取部611C获取利用于机器学习的数据集3C。数据集3C包含训练数据31C及正解数据32C的对。训练数据31C是所述训练数据31的一例，正解数据32C是所述正解数据32的一例。本实施方式中，训练数据31C包含天气数据317。天气数据317对应于所述天气数据57。另一方面，正解数据32C以表示针对训练数据31C的发电量预测结果的正解的方式而包含发电量信息327。发电量信息327对应于所述发电量信息21C。
学习数据获取部611C也可通过与所述步骤S201同样的处理，来获取包含训练数据31C及正解数据32C的数据集3C。例如，学习数据获取部611C从规定的网站获取天气数据317，并且获取发电量信息327，所述发电量信息327表示由天气数据317来表示天气的日期的发电量。发电量信息327既可从公知的网站获取，也可由操作员来输入。并且，学习数据获取部611C将所获取的天气数据317与发电量信息327相关联。由此，学习数据获取部611C能够获取包含训练数据31C及正解数据32C的数据集3C。
学习处理部612C使神经网络81C进行学习，以使其在输入天气数据317时，输出与发电量信息327对应的输出值。而且，学习处理部612C使自编码器82C的解码器820C进行学习，以使其在输入神经网络81C的输出时，输出与天气数据317对应的输出值。神经网络81C对应于所述神经网络2C，自编码器82C对应于所述自编码器4C，解码器820C对应于所述解码器401C。
并且，学习处理部612C将表示所构建的神经网络81C的构成、各神经元间的结合权重及各神经元的阈值的信息作为第一学习结果数据122C而保存到存储部中。而且，学习处理部612C将表示所构建的自编码器82C的解码器820C的构成、各神经元间的结合权重及各神经元的阈值的信息作为第二学习结果数据123C而保存到存储部中。由此，学习装置6C能够生成由预测装置1C利用的学习完毕的神经网络2C及自编码器4C。
(其他)
如上所述，本发明能够适用于利用有教学学习的各种领域。由第一学习器所实施的规定推论的种类可根据适用本发明的领域来适当决定。即，也可根据适用本发明的领域来构成各种推论部。
而且，所述实施方式中，作为基于本发明的“动作执行部”的“推论结果的规定动作”的一例，例示基于驾驶状态信息21A的、与从自动驾驶模式向手动驾驶模式的切换相关的动作(步骤S109及步骤S110)。但是，“基于推论结果的规定动作”也可不限定于此种示例，可根据适用本发明的领域来适当决定。动作执行部只要以下述方式构成即可，即，当评估为在将输入数据输入至第一学习器时，能从第一学习器获得合理的输出作为对所述输入数据的推论结果时，基于所述推论结果来控制规定动作的执行，与此相对，当评估为从第一学习器得不到合理的输出作为对所述输入数据的推论结果时，进行控制以停止基于所述推论结果的规定动作的执行。
另外，“停止规定动作的执行”也可包含不维持规定动作的执行的所有实施方式。即，“停止规定动作的执行”除了完全停止规定动作以外，例如也可包含变更速度、加速度、力等规定动作的属性。而且，执行规定动作的装置既可为包括动作执行部的动作控制装置自身，也可为与动作控制装置不同的其他装置。在由其他装置执行规定动作的情况下，动作控制装置通过将其指令发送至其他装置来控制规定动作的执行。此时，推论部也可存在于其他装置而非动作控制装置中。
<4.2>
所述实施方式中，自动驾驶支持装置1A保持神经网络2A及自编码器4A。但是，自动驾驶支持装置1A的构成也可不限定于此种示例，可根据实施方式来适当选择。例如，神经网络2A及自编码器4A的至少一者也可保持在自动驾驶支持装置1A以外的外部装置中。
在神经网络2A被保持在外部装置中的情况下，与神经网络2A的推论相关的一连串处理可由外部装置来执行。此时，可从自动驾驶支持装置1A的处理流程中省略与神经网络2A的推论相关的一连串处理。而且，状态推测部112可予以省略。
而且，在自编码器4A的解码器401被保持在外部装置中的情况下，步骤S106的处理可由外部装置来执行。此时，可从自动驾驶支持装置1A的处理流程中省略步骤S106的处理。控制部11也可通过将在步骤S103中获取的输入数据5A或神经网络2A的输出发送至外部装置，从而向所述外部装置请求解码器401的运算处理。并且，控制部11也可从外部装置获取自编码器4A的输出41A来作为所述外部装置的运算结果。
进而，也可为，无论在神经网络2A被保持于自动驾驶支持装置1A的情况及被保持于外部装置的情况中的哪种情况下，自动驾驶支持装置1A均执行步骤S106及步骤S107的处理，而不论与神经网络2A的推论相关的一连串处理的执行有无。由此，自动驾驶支持装置1A也可在执行神经网络2A的推论之前，评估在将输入数据5A输入至神经网络2A时，能否从神经网络2A获得合理的输出作为对输入数据5A的推论结果。
<4.3>
所述实施方式中，第一学习器2包含神经网络，第二学习器4包含自编码器。但是，各学习器(2、4)的种类也可不限定于此种示例，可根据实施方式来适当选择。例如，第一学习器2也可包含线性回归模型、支持向量机等。而且，例如，第二学习器4也可包含算出马氏距离的运算模型、一类支持向量机等。
例如，第一学习器2也可包含线性回归模型。此时，第二学习器4也可包含算出马氏距离的运算模型。当设输入为x、输出为y、参数为θ时，第一学习器2(线性回归模型)能够通过以下的数1来表达。
[数1]
y＝xθ
根据所述第一学习器2，通过将输入数据5输入至x，能够获得针对输入数据5的规定的推论结果(y)。由输入x来推测输出y的参数θ能够通过以下的数2来算出。
[数2]
θ＝(XTX)-1XTy
因此，在数2的关系式中，通过将训练数据31输入至输入X，将正解数据32输入至输出y，从而能够算出参数θ。算出所述参数θ的处理是第一学习器2的有教学学习的处理的一例。
另一方面，算出马氏距离的运算模型d(x)能够通过以下的数3来定义。
[数3]
因此，通过算出训练数据31的平均值μ，从而能够导出算出马氏距离的运算模型。导出算出所述马氏距离的运算模型的处理是第二学习器4的无教学学习的处理的一例。
此时，评估装置1能够基于第二学习器4的输出(d(x))来评估第一学习器2对输入数据5的推论结果(y)的合理性。例如，评估装置1也可通过以下的数4所示的v(x)，来表达第一学习器2对输入数据5的推论结果的合理性的程度。
[数4]
v(x)＝exp(-d(x))
输入数据5越类似于训练数据31，v(x)的值越接近1，输入数据5越背离训练数据31，v(x)的值越接近0。因此，评估装置1也可通过对v(x)的值与规定阈值进行比较，从而评估第一学习器2对输入数据5的推论结果的合理性。即，在v(x)的值为规定阈值以上的情况下，评估装置1也可评估为第一学习器2对输入数据5的推论结果的合理性高。而且，在v(x)的值小于规定阈值的情况下，评估装置1也可评估为第一学习器2对输入数据5的推论结果的合理性低。另外，规定的阈值可根据实施方式来适当设定。
而且，例如，第一学习器2也可包含支持向量机。此时，第二学习器4也可包含一类支持向量机。支持向量机的有教学学习可通过公知的方法来实施。此时，针对各类训练数据31的一类支持向量机Sa(x)能够通过以下的数5来表达。而且，针对所有训练数据31的一类支持向量机Sb(x)能够通过以下的数6来表达。作为第二学习器4，可采用任一个一类支持向量机。
[数5]
[数6]
Sb(x)＝wTφ(x)+b
φ表示核函数(kernel function)。wi、w、bi及b是通过学习而获得的参数。导出任一个一类支持向量机的处理是第二学习器4的无教学学习的处理的一例。
输入数据5越类似于训练数据31，Sa(x)及Sb(x)各自的值越接近1，输入数据5越背离训练数据31，Sa(x)及Sb(x)各自的值越接近-1。因此，评估装置1也可对通过将输入数据5输入至任一个一类支持向量机的x而获得的值与规定阈值进行比较，由此来评估第一学习器2对输入数据5的推论结果的合理性。即，在从一类支持向量机获得的值为规定阈值以上的情况下，评估装置1也可评估为第一学习器2对输入数据5的推论结果的合理性高。而且，在从一类支持向量机获得的值小于规定阈值的情况下，评估装置1也可评估为第一学习器2对输入数据5的推论结果的合理性低。另外，规定的阈值可根据实施方式来适当设定。
<4.4>
所述实施方式中，也可省略步骤S111及步骤S112的至少一个处理。与此相应地，在自动驾驶支持装置1A的软件构成中，也可省略第一警告部114及数据发送部117的至少一者。在省略步骤S111及步骤S112的情况下，也可省略步骤S108。
而且，所述实施方式中，也可省略步骤S109及步骤S113的处理。与此相应地，在自动驾驶支持装置1A的软件构成中，也可省略第二警告部115。
所述实施方式中，表示了将本发明适用于能够实施自动驾驶的车辆的示例。但是，可适用本发明的车辆也可不限定于此种示例，也可将本发明适用于不实施自动驾驶的车辆。此时，也可省略步骤S101、步骤S102及步骤S110的处理。而且，也可省略驾驶控制部116。
<4.5>
所述实施方式中，注视状态信息211用两个等级来表示驾驶员D是否正进行驾驶所需的注视，顺应性信息212用两个等级来表示对驾驶的顺应性是高的状态还是低的状态。但是，注视状态信息211及顺应性信息212的表达形式也可不限定于此种示例，注视状态信息211可用三个以上的等级来表示驾驶员D是否正进行驾驶所需的注视，顺应性信息212可用三个以上的等级来表示对驾驶的顺应性是高的状态还是低的状态。
此时，所述步骤S109中，控制部11也可基于注视状态信息及顺应性信息的得分值来判定驾驶员D是否处于适合于车辆驾驶的状态。例如，控制部11也可基于注视状态信息的得分值是否高于规定阈值，来判定驾驶员D是否处于适合于车辆驾驶的状态。而且，例如，控制部11也可基于顺应性信息的得分值是否高于规定阈值，来判定驾驶员D是否处于适合于车辆驾驶的状态。而且，例如，控制部11也可基于注视状态信息的得分值及顺应性信息的得分值的合计值是否高于规定阈值，来判定驾驶员D是否处于适合于车辆驾驶的状态。此时，阈值可适当设定。进而，所述步骤S113中，控制部11也可根据注视状态信息及顺应性信息各自的得分值来变更警告的内容。
而且，所述实施方式中，从神经网络2A输出的驾驶状态信息21A包含注视状态信息211及顺应性信息212。但是，驾驶状态信息21A的内容也可不限定于此种示例，可根据实施方式来适当设定。例如，注视状态信息211及顺应性信息212中的其中任一者也可予以省略。而且，例如，驾驶状态信息21A也可包含注视状态信息211及顺应性信息212以外的信息。作为具体例，驾驶状态信息21A也可包含表示驾驶员D是否位于驾驶座的信息、表示驾驶员D的手是否正置于把手上的信息、表示驾驶员D的脚是否正置于踏板的信息、表示驾驶员D对驾驶的集中度的信息、表示驾驶员D的行动状态的信息等。
<4.6>
所述实施方式中，在步骤S104中，作为神经网络2A的输入，并非直接使用拍摄图像711，而是使用低分辨率拍摄图像52。由此，能够降低步骤S104中的神经网络2A的运算处理的计算量。同样地，在步骤S202中，能够降低神经网络81的学习处理的计算量。因此，根据所述实施方式，能够降低步骤S104及步骤S202中的各控制部(11、61)(处理器)的负载。但是，输入至各神经网络(2A、81)的拍摄图像也可不限定于此种示例。对于各神经网络(2A、81)，也可直接输入从摄像机71获得的拍摄图像。另外，优选的是，低分辨率拍摄图像(52、312)的分辨率为无法判别驾驶员的脸部举动，但能提取与驾驶员的姿势相关的特征的程度。
<4.7>
所述实施方式中，如图7A所示，利用于推测驾驶员D的状态的推论的学习完毕的神经网络2A包括全连接神经网络25、卷积神经网络26、结合层27及LSTM网络28。但是，学习完毕的神经网络2A的构成也可不限定于此种示例，可根据实施方式来适当决定。例如，也可省略LSTM网络28。对于神经网络81也同样。而且，各自编码器(4A、82)的构成也可根据实施方式来适当决定。各自编码器(4A、82)的编码器也可包含与神经网络(2A、81)不同的神经网络。
<4.8>
所述实施方式中，作为利用于推测驾驶员D的状态的第一学习器，使用了神经网络。而且，作为对此种第一学习器的推论结果的合理性进行评估的第二学习器，使用了自编码器。但是，各学习器的种类也可不限定于此种示例，可根据实施方式来适当选择。只要可利用观测信息51及低分辨率拍摄图像52来作为输入，则第一学习器也可包含神经网络以外的学习模型。而且，第二学习器也可包含自编码器以外的学习模型。
<4.9>
所述实施方式中，控制部11在步骤S104中，将观测信息51及低分辨率拍摄图像52输入至神经网络2A。但是，神经网络2A的输入也可不限定于此种示例，可根据实施方式来适当选择。例如，也可将观测信息51及低分辨率拍摄图像52以外的信息输入至神经网络2A。而且，例如，观测信息51及低分辨率拍摄图像52中的其中任一者也可予以省略。而且，例如，在观测信息51中，也可省略生物信息721。此时，也可省略生物传感器72。
<4.10>
而且，所述实施方式中，各学习结果数据(122、123)包含表示神经网络2A及自编码器4A的解码器401各自的构成的信息。但是，各学习结果数据(122、123)的构成也可不限定于此种示例。例如，在所利用的神经网络及自编码器的构成在各装置中共同化的情况下，各学习结果数据(122、123)也可不包含表示神经网络2A及自编码器4A的解码器401各自的构成的信息。
<4.11>
而且，所述实施方式中，在有从自动驾驶模式向手动驾驶模式的切换指示的情况下，利用神经网络2A来推测驾驶员D的状态。但是，驾驶员D的监测也可不仅在此种时机实施，也在其他时机实施。例如也可为，在车辆以自动驾驶模式行驶的期间，不论向手动驾驶模式的切换指示的有无，均进行驾驶员D的监测。
图18是例示本变形例的自动驾驶支持装置1A的处理流程的一例的流程图。控制部11在通过所述步骤S101开始了自动驾驶模式后，从步骤S301开始处理。另外，步骤S301～步骤S307的处理与所述步骤S103～步骤S109的处理同样。而且，步骤S308～步骤S310的处理与所述步骤S111～步骤S113的处理同样。由此，自动驾驶支持装置1A在车辆以自动驾驶模式行驶的期间，既能监测驾驶员D的状态，又能评估其监测的内容(即，神经网络2A的推论)是否合理。
<4.12>
所述实施方式中，第二学习器4(自编码器4A)的第二编码器与第一学习器2的第一编码器(神经网络2A)为同一编码器、或者是第一学习器2的第一编码器(神经网络2A)的拷贝。但是，第二学习器4的第二编码器也可与第一学习器2的第一编码器不同。而且，各编码器及解码器也可不限定于所述实施方式的示例，各编码器可适当地构建为对输入数据进行编码，解码器可适当地构建为对第二编码器的输出进行解码。

Claims (13)

1.一种车辆的驾驶员的评估装置，包括：
第一学习器；
第二学习器；
数据获取部，获取对所述第一学习器输入的输入数据，所述第一学习器执行对所述输入数据的推论以输出推论结果，并且利用数据集进行了有教学学习且学习完毕，所述数据集包含训练数据、及表示对所述训练数据的所述推论结果的正解的正解数据的对，其中所述输入数据包含能映照出坐在所述车辆的驾驶座上的所述驾驶员的图像数据；以及
合理性评估部，基于通过对利用所述训练数据进行了无教学学习的学习完毕的所述第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理输出作为对所述输入数据的所述推论结果，
其中当所述输入数据与所述第二学习器的所述输出之间的差低于阈值，能够获得所述合理输出，
通过将所述输入数据输入至所述第一学习器而从所述第一学习器获得的输出，包含表示所述驾驶员的状态的信息。
2.根据权利要求1所述的车辆的驾驶员的评估装置，其中
所述合理性评估部通过对从所述第二学习器获得的输出与规定的阈值进行比较，从而判定在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理的输出作为对所述输入数据的推论结果。
3.根据权利要求1所述的车辆的驾驶员的评估装置，其中
所述合理性评估部输出一评估值来作为所述评估的结果，所述评估值表示在将所述输入数据输入至所述第一学习器时，能从所述第一学习器获得合理的输出作为对所述输入数据的推论结果的程度。
4.根据权利要求1至3中任一项所述的车辆的驾驶员的评估装置，还包括：
警告部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器，且从所述第一学习器得不到合理的输出作为对所述输入数据的推论结果时，进行警告，所述警告是与通过将所述输入数据输入至所述第一学习器，从而作为对所述输入数据的推论结果而从所述第一学习器获得的输出相关。
5.根据权利要求1至3中任一项所述的车辆的驾驶员的评估装置，还包括：
推论部，将所述输入数据输入至所述第一学习器，获得来自所述第一学习器的输出，由此来对所述输入数据进行规定的推论。
6.根据权利要求5所述的车辆的驾驶员的评估装置，还包括：
动作执行部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器，且能从所述第一学习器获得合理的输出作为对所述输入数据的推论结果时，基于所述推论结果来执行规定动作，且
当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器，且从所述第一学习器得不到合理的输出作为所述输入数据的推论结果时，停止基于所述推论结果的所述规定动作的执行。
7.根据权利要求1至3中任一项所述的车辆的驾驶员的评估装置，还包括：
数据发送部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器，且从所述第一学习器得不到合理的输出作为对所述输入数据的推论结果时，将所述输入数据发送到规定的存储场所。
8.根据权利要求1至3中任一项所述的车辆的驾驶员的评估装置，其中
所述第一学习器包含对所述输入数据进行编码的第一编码器，
所述第二学习器包含对所述输入数据进行编码的第二编码器、及对所述第二编码器的输出进行解码的解码器。
9.根据权利要求8所述的车辆的驾驶员的评估装置，其中
所述第一编码器与所述第二编码器为同一编码器。
10.根据权利要求8所述的车辆的驾驶员的评估装置，其中
所述第一编码器构建为，当输入所述训练数据时，输出与跟所输入的所述训练数据成对的所述正解数据对应的值，
所述第二编码器与所述第一编码器为同一编码器或者是所述第一编码器的拷贝，
所述解码器构建为，当输入所述第一编码器的输出时，输出与要获得所输入的输出而输入至所述第一编码器的所述训练数据对应的值。
11.一种车辆的驾驶员的动作控制装置，包括：
第一学习器；
第二学习器；
数据获取部，获取对所述第一学习器输入的输入数据，所述第一学习器执行对所述输入数据的推论以输出推论结果，并且利用数据集进行了有教学学习且学习完毕，所述数据集包含训练数据、及表示对所述训练数据的所述推论结果的正解的正解数据的对，其中所述输入数据包含能映照出坐在所述车辆的驾驶座上的所述驾驶员的图像数据；
合理性评估部，基于通过对利用所述训练数据进行了无教学学习的学习完毕的所述第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理输出作为对所述输入数据的所述推论结果，其中当所述输入数据与所述第二学习器的所述输出之间的差低于阈值，能够获得所述合理输出，其中通过将所述输入数据输入至所述第一学习器而从所述第一学习器获得的输出，包含表示所述驾驶员的状态的信息；以及
动作执行部，当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器，且能从所述第一学习器获得合理的输出作为对所述输入数据的推论结果时，基于通过对所述第一学习器输入所述输入数据并获得来自所述第一学习器的输出而对所述输入数据进行的规定的推论的结果，来对规定动作的执行进行控制，及当所述合理性评估部评估为，在将所述输入数据输入至所述第一学习器，且从所述第一学习器得不到合理的输出作为所述输入数据的推论结果时，进行控制，以停止基于所述推论的结果的所述规定动作的执行。
12.一种车辆的驾驶员的评估方法，由计算机执行下述步骤：
执行第一学习器；
执行第二学习器；
获取对所述第一学习器输入的输入数据，所述第一学习器执行对所述输入数据的推论以输出推论结果，并且利用数据集进行了有教学学习且学习完毕，所述数据集包含训练数据、及表示对所述训练数据的所述推论结果的正解的正解数据的对，其中所述输入数据包含能映照出坐在所述车辆的驾驶座上的所述驾驶员的图像数据；
基于通过对利用所述训练数据进行了无教学学习的学习完毕的所述第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理输出作为对所述输入数据的所述推论结果；以及
当所述输入数据与所述第二学习器的所述输出之间的差低于阈值，获得所述合理输出，
通过将所述输入数据输入至所述第一学习器而从所述第一学习器获得的输出，包含表示所述驾驶员的状态的信息。
13.一种计算机可读取存储媒介，存储有车辆的驾驶员的评估程序，所述评估程序用于使所述计算机执行下述步骤：
执行第一学习器；
执行第二学习器；
获取对所述第一学习器输入的输入数据，所述第一学习器执行对所述输入数据的推论以输出推论结果，并且利用数据集进行了有教学学习且学习完毕，所述数据集包含训练数据、及表示对所述训练数据的所述推论结果的正解的正解数据的对，其中所述输入数据包含能映照出坐在所述车辆的驾驶座上的所述驾驶员的图像数据；
基于通过对利用所述训练数据进行了无教学学习的学习完毕的所述第二学习器输入所述输入数据而从所述第二学习器获得的输出，来评估在将所述输入数据输入至所述第一学习器时，能否从所述第一学习器获得合理输出作为对所述输入数据的所述推论结果；以及
当所述输入数据与所述第二学习器的所述输出之间的差低于阈值，获得所述合理输出，
通过将所述输入数据输入至所述第一学习器而从所述第一学习器获得的输出，包含表示所述驾驶员的状态的信息。
CN201980007571.9A 2018-02-06 2019-01-22 评估装置、动作控制装置、评估方法以及存储媒介 Active CN111602137B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-018886 2018-02-06
JP2018018886A JP7020156B2 (ja) 2018-02-06 2018-02-06 評価装置、動作制御装置、評価方法、及び評価プログラム
PCT/JP2019/001919 WO2019155873A1 (ja) 2018-02-06 2019-01-22 評価装置、動作制御装置、評価方法、及び評価プログラム

Publications (2)

Publication Number Publication Date
CN111602137A CN111602137A (zh) 2020-08-28
CN111602137B true CN111602137B (zh) 2024-02-23

Family

ID=67549594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007571.9A Active CN111602137B (zh) 2018-02-06 2019-01-22 评估装置、动作控制装置、评估方法以及存储媒介

Country Status (5)

Country Link
US (1) US20210357701A1 (zh)
EP (1) EP3751474A4 (zh)
JP (1) JP7020156B2 (zh)
CN (1) CN111602137B (zh)
WO (1) WO2019155873A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099296B2 (ja) * 2018-12-14 2022-07-12 日立金属株式会社 評価方法、システム構築方法、及び評価システム
JP7206898B2 (ja) * 2018-12-25 2023-01-18 富士通株式会社 学習装置、学習方法および学習プログラム
JP2021029922A (ja) * 2019-08-29 2021-03-01 日本光電工業株式会社 被検者判別装置、被検者判別方法、コンピュータプログラム、および非一時的コンピュータ可読媒体
JP7314723B2 (ja) * 2019-08-31 2023-07-26 東洋製罐グループホールディングス株式会社 画像処理システム、及び画像処理プログラム
JP7163894B2 (ja) * 2019-09-26 2022-11-01 いすゞ自動車株式会社 モデル作成装置及びモデル作成方法
JP7230755B2 (ja) * 2019-09-26 2023-03-01 いすゞ自動車株式会社 モデル作成装置及びモデル作成方法
JP7409027B2 (ja) 2019-11-14 2024-01-09 オムロン株式会社 情報処理装置
JP7295790B2 (ja) * 2019-12-10 2023-06-21 矢崎エナジーシステム株式会社 車載機、処理装置及びプログラム
JP7422535B2 (ja) 2019-12-23 2024-01-26 日本放送協会 変換装置およびプログラム
CN111914482A (zh) * 2020-07-27 2020-11-10 武汉中海庭数据技术有限公司 用于自动驾驶测试的行驶工况生成方法及系统
WO2022201276A1 (ja) * 2021-03-23 2022-09-29 三菱電機株式会社 信頼度判定装置および信頼度判定方法
US11750775B2 (en) * 2021-03-30 2023-09-05 Subaru Corporation Occupant state detection system
JP2022169359A (ja) * 2021-04-27 2022-11-09 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
JP2022169357A (ja) * 2021-04-27 2022-11-09 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
WO2022244059A1 (ja) * 2021-05-17 2022-11-24 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体
JP2023183278A (ja) * 2022-06-15 2023-12-27 京セラ株式会社 電子機器、電子機器の制御方法及び制御プログラム
CN117390522B (zh) * 2023-12-12 2024-03-29 华南师范大学 基于过程与结果融合的在线深度学习等级预测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238072A (ja) * 2011-05-10 2012-12-06 Sharp Corp 行動評価装置
WO2016132468A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ評価方法および装置、故障診断方法および装置
EP3272611A1 (en) * 2015-04-21 2018-01-24 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225163A (ja) 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
US5659666A (en) * 1994-10-13 1997-08-19 Thaler; Stephen L. Device for the autonomous generation of useful information
US6529276B1 (en) * 1999-04-06 2003-03-04 University Of South Carolina Optical computational system
WO2007041709A1 (en) * 2005-10-04 2007-04-12 Basepoint Analytics Llc System and method of detecting fraud
JP5979066B2 (ja) * 2012-06-04 2016-08-24 Ｊｆｅスチール株式会社 結果予測装置および結果予測方法
JP6036371B2 (ja) * 2013-02-14 2016-11-30 株式会社デンソー 車両用運転支援システム及び運転支援方法
US9542948B2 (en) * 2014-04-09 2017-01-10 Google Inc. Text-dependent speaker identification
JP2016048179A (ja) * 2014-08-27 2016-04-07 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置及び物体検出方法
JP6547275B2 (ja) * 2014-10-29 2019-07-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US11836746B2 (en) * 2014-12-02 2023-12-05 Fair Isaac Corporation Auto-encoder enhanced self-diagnostic components for model monitoring
WO2017132674A1 (en) * 2016-01-28 2017-08-03 Letterie Gerard Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos
IL245060B (en) * 2016-04-12 2021-06-30 Verint Systems Ltd A system and method for studying semantic roles of information items
US10276187B2 (en) * 2016-10-19 2019-04-30 Ford Global Technologies, Llc Vehicle ambient audio classification via neural network machine learning
US11188813B2 (en) * 2017-03-01 2021-11-30 Stc.Unm Hybrid architecture system and method for high-dimensional sequence processing
DE112017007252T5 (de) * 2017-03-14 2019-12-19 Omron Corporation Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
US10249289B2 (en) * 2017-03-14 2019-04-02 Google Llc Text-to-speech synthesis using an autoencoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238072A (ja) * 2011-05-10 2012-12-06 Sharp Corp 行動評価装置
WO2016132468A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ評価方法および装置、故障診断方法および装置
EP3272611A1 (en) * 2015-04-21 2018-01-24 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program

Also Published As

Publication number Publication date
CN111602137A (zh) 2020-08-28
JP7020156B2 (ja) 2022-02-16
EP3751474A4 (en) 2022-06-22
US20210357701A1 (en) 2021-11-18
WO2019155873A1 (ja) 2019-08-15
JP2019139277A (ja) 2019-08-22
EP3751474A1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
CN111602137B (zh) 评估装置、动作控制装置、评估方法以及存储媒介
JP6264492B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
CN112673378B (zh) 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序
KR102166011B1 (ko) 터치입력을 이용한 인지장애 판단 시스템 및 방법
KR20200036680A (ko) 감정 정보 획득을 위한 전자 장치 및 방법
KR102494373B1 (ko) 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 방법, 장치 및 시스템
WO2018168038A1 (ja) 運転者の着座判定装置
KR102499379B1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
JP2018190318A (ja) データ収集装置及び学習装置
EP4332886A1 (en) Electronic device, method for controlling electronic device, and program
EP4332885A1 (en) Electronic device, control method for electronic device, and program
KR102656184B1 (ko) 반려동물 케어를 위한 정보 제공용 서버 및 방법
JP2020169956A (ja) 車両の行先提案システム
WO2023243468A1 (ja) 電子機器、電子機器の制御方法及び制御プログラム
Dahl Machine Learning-Based Prediction Models and Threat Detection for Lane-Keeping Assistance
KR102563687B1 (ko) 보청기 사용자 및 보호자를 위한 보청기 관리 플랫폼 서비스 제공 방법, 장치 및 시스템
WO2020158812A1 (ja) 画像処理装置
JP2023066304A (ja) 電子機器、電子機器の制御方法、及びプログラム
Greer et al. Vision-based Analysis of Driver Activity and Driving Performance Under the Influence of Alcohol
Abidi et al. SMGR-BS: Stacking Multiple Gated Recurrent Butterfly Search Model-Based Innovative AAL for Aging and Disabled Individuals
Bohrweg Master Computer Science
CN117953573A (zh) 基于深度学习的自动眼前节图像的处理方法、介质和设备
CN114556448A (zh) 模型生成装置、推断装置、模型生成方法以及模型生成程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant