CN110384478A - 状态预测装置以及状态预测方法 - Google Patents

状态预测装置以及状态预测方法 Download PDF

Info

Publication number
CN110384478A
CN110384478A CN201910302084.7A CN201910302084A CN110384478A CN 110384478 A CN110384478 A CN 110384478A CN 201910302084 A CN201910302084 A CN 201910302084A CN 110384478 A CN110384478 A CN 110384478A
Authority
CN
China
Prior art keywords
data
status predication
data portion
study
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910302084.7A
Other languages
English (en)
Other versions
CN110384478B (zh
Inventor
梶洋隆
杉山将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Toyota Motor Corp
Original Assignee
University of Tokyo NUC
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Toyota Motor Corp filed Critical University of Tokyo NUC
Publication of CN110384478A publication Critical patent/CN110384478A/zh
Application granted granted Critical
Publication of CN110384478B publication Critical patent/CN110384478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Power Engineering (AREA)

Abstract

本发明涉及状态预测装置以及状态预测方法，状态预测装置具备信息处理装置。信息处理装置构成为，取得与用户的生物体信息和行动信息中的至少一方相关的第1输入数据。信息处理装置构成为，基于第1输入数据来进行预测用户的状态的预测动作。信息处理装置构成为，使用与用户的生物体信息和行动信息中的至少一方相关并且未与表示用户状态的正解数据相关联的第2输入数据中的第1数据部分和第2输入数据中的与第1数据部分不同的第2数据部分，反复进行用于使预测动作的内容最优化的学习处理。

Description

状态预测装置以及状态预测方法
技术领域
本发明涉及状态预测装置以及状态预测方法的技术领域。
背景技术
在日本特开2013﹣120534中记载了一种将多个单词分类到彼此关联的单词的组的分类装置。特别是，日本特开2013﹣120534中记载的分类装置反复进行如下动作：将多个单词中的每个单词暂且分类到用聚类法求出的多个类别中的某个类别，并基于分类后的单词属于分类目的地的类别的似然，将多个单词中的每个单词重新分类到多个类别中的某个类别。
发明内容
发明人等正在推进能够基于人的生物体信息(还有行动信息，以下相同)来预测人的状态(例如睡意等)的状态预测装置的开发。也就是说，发明人等正在推进能够基于人的生物体信息来将被观察到某个生物体信息的人的状态分类到多个状态(即多个组或者多个类别)中的某个状态的状态预测装置的开发。但是，人的生物体信息具有相对较多地包含有与人的状态之间的相关性相对较小的噪声信息的特征。而且，从聚类(clustering)的观点出发优选从处于相同状态的各个人身上观察到应被分类到相同类别的相同的生物体信息，但是现实中还存在观察到会被分类到不同类别的完全不同的生物体信息的情况。而且，从聚类的观点出发优选从处于不同状态的同一人身上观察到应被分类到不同类别的不同的生物体信息，但是现实中还存在观察到会被分类到相同类别的相同的生物体信息的情况。也就是说，人的生物体信息具有在对人的生物体信息进行了聚类的情况下在所得到的多个类别之间容易产生交叠(overlap)这种特征。
因此，对于能够基于具有这种特征的生物体信息来预测人的状态的状态预测装置，即使采用日本特开2013-120534中记载的分类装置所采用的分类方法，也难以适当地对生物体信息进行聚类。因此，存在无法适当地预测人的状态的可能性。
本发明提供一种状态预测装置以及状态预测方法，其能够基于用户的生物体信息和行动信息中的至少一方来适当地预测用户的状态。
本发明的第1技术方案涉及一种状态预测装置。状态预测装置具备信息处理装置。所述信息处理装置构成为，取得与用户的生物体信息和行动信息中的至少一方相关的第1输入数据。所述信息处理装置构成为，基于所述第1输入数据，进行预测所述用户的状态的预测动作。所述信息处理装置构成为，使用与所述用户的生物体信息和行动信息中的至少一方相关且未与表示所述用户的状态的正解数据相关联的第2输入数据中的第1数据部分和所述第2输入数据中的与所述第1数据部分不同的第2数据部分，反复进行用于使所述预测动作的内容最优化的学习处理。
本发明的第2技术方案涉及一种状态预测方法。状态预测方法包括：取得与用户的生物体信息和行动信息中的至少一方相关的第1输入数据；基于所述第1输入数据，进行预测所述用户的状态的预测动作；使用与所述用户的生物体信息和行动信息中的至少一方相关且未与表示所述用户的状态的正解数据相关联的第2输入数据中的第1数据部分和所述第2输入数据中的与所述第1数据部分不同的第2数据部分，反复进行用于使所述预测动作的内容最优化的学习处理。
附图说明
下面，结合附图描述本发明的示例性实施例的特征、优点、以及技术及工业意义，其中相同的标记表示相同的部件。
图1是表示本实施方式的状态预测装置的构成的框图。
图2是表示预测动作的流程的流程图。
图3是表示心电图的波形信号的图表。
图4是表示能够基于波形信号确定的RRI的波形图。
图5是表示学习动作的流程的流程图。
图6是表示图5的步骤S26中的用于使系数参数α最优化的学习处理的流程的流程图。
图7A是表示特征量向量空间内的特征量的分布的图表。
图7B是表示特征量向量空间内的特征量的分布的图表。
图7C是表示特征量向量空间内的特征量的分布的图表。
图7D是表示特征量向量空间内的特征量的分布的图表。
图7E是表示特征量向量空间内的特征量的分布的图表。
图7F是表示特征量向量空间内的特征量的分布的图表。
图8是表示在使用包含与正解数据相关联的特征量的学习数据通过有监督的学习使系数参数最优化了的情况下的与睡意度的预测相关的F值、在使用无标签数据通过仅进行1次UU学习使系数参数最优化了的情况下的与睡意度的预测相关的F值、以及在使用无标签数据通过反复进行多次UU学习使系数参数最优化了的情况下的与睡意度的预测相关的F值的图表。
具体实施方式
以下，对状态预测装置的实施方式进行说明。以下，作为本发明的状态预测装置的一实施方式，对能够基于车辆的驾驶员的心电波形来预测驾驶员的睡意度的状态预测装置1进行说明。此外，驾驶员是后述附记中的“用户”的一具体例。
(1)状态预测装置1的构成
首先，参照图1，对本实施方式的状态预测装置1的构成进行说明。图1是表示本实施方式的状态预测装置1的构成的框图。
如图1所示，状态预测装置1具备心电图传感器11、运算装置12、存储装置13、显示装置14、通信装置15和操作装置16。
心电图传感器11是能够检测驾驶员的心电图(即心脏发出的电信号)的心电计。心电图传感器11的心电图的检测方法也可以是任意的方法。心电图传感器11例如是能够佩戴于驾驶员胸部的穿戴式传感器，但是也可以固定于车辆。心电图传感器11的检测结果(即表示心电图的时域波形的波形信号)被输出到运算装置12。
运算装置12是CPU(Central Processing Unit，中央处理单元)等信息处理装置。运算装置12基于从心电图传感器11输出的波形信号，来预测驾驶员的睡意度。具体而言，运算装置12预测驾驶员是处于有睡意状态还是处于无睡意状态(即是否处于清醒的状态)。为了预测睡意度，作为在运算装置12的内部被逻辑构建的处理块，运算装置12具备：作为后述附记中的“信息处理装置取得第1输入数据的构成”的一具体例的输入接口部120、滤波部121、特征提取部122、作为后述附记中的“信息处理装置进行预测动作的构成”的一具体例的状态预测部123、学习数据生成部124、以及驾驶判定部125。输入接口部120取得从心电图传感器11输出的波形信号。滤波部121对输入接口部120所取得的波形信号实施滤波处理。特征提取部122提取被实施了滤波处理后的波形信号的特征量。状态预测部123基于特征提取部122提取出的特征量，来进行用于预测驾驶员的睡意度的预测动作。状态预测部123还进行用于使规定预测动作内容的系数参数α(详细情况后述)最优化的学习动作。学习数据生成部124基于特征提取部122提取出的特征量，生成在状态预测部123进行学习动作时所利用的学习数据DL。学习数据DL包含无标签数据DLU以及清醒数据DLP这两种数据。无标签数据DLU以及清醒数据DLP的详细情况将在后文详述。驾驶判定部125判定驾驶员是否正在驾驶车辆。
存储装置13是硬盘或快闪存储器等记录介质。存储装置13存储与状态预测装置1的动作关联的任意数据。特别是，存储装置13存储通过学习动作而被最优化的系数参数α、以及学习动作所使用的学习数据DL。除此以外，存储装置13也可以存储表示通过预测动作被预测出的睡意度的数据、表示波形信号的数据、和/或表示被提取出的特征量的数据等。此外，状态预测装置1也可以以在存储装置13以外或者替代存储装置13的方式具备能够经由通信装置15与状态预测装置1之间收发数据的外部存储装置。
显示装置14进行与状态预测装置1的动作关联的任意的显示动作。例如显示装置14显示由运算装置12得到的驾驶员睡意度的预测结果。
通信装置15控制状态预测装置1与外部装置之间的数据的收发。例如通信装置15控制状态预测装置1与外部装置之间的存储装置13中所存储的数据的收发。
操作装置16接受与状态预测装置1的动作关联的驾驶员(或者使用状态预测装置1的任意用户)的操作的输入。例如操作装置16接受用于请求预测动作开始以及结束的操作的输入。
状态预测装置1是具备上述的运算装置12、存储装置13、显示装置14、通信装置15、以及操作装置16的便携式终端(例如智能手机等)。在该情况下，如果驾驶员带着便携式终端来乘坐车辆，则可预测正在驾驶车辆的驾驶员的睡意度。但是，状态预测装置1只要具备上述的运算装置12、存储装置13、显示装置14、通信装置15、以及操作装置16，也可以具有与这样的便携式终端不同的形态。
(2)状态预测装置1的动作
接着，对状态预测装置1的动作进行说明。如上所述，状态预测装置1进行用于预测驾驶员的睡意度的预测动作、以及使系数参数α最优化(即使预测动作的内容最优化)的学习动作。因此，以下依次对预测动作以及学习动作进行说明。
(2﹣1)预测动作
首先，参照图2，对预测动作进行说明。图2是表示预测动作的流程的流程图。
如图2所示，首先，在驾驶员使用操作装置16请求了开始预测动作的情况下，由心电图传感器11检测心电图(步骤S11)。其结果，输入接口部120取得表示心电图的波形信号(步骤S11)。
然后，滤波部121对通过步骤S11所取得的波形信号实施滤波处理(步骤S12)。滤波处理也可以包含从波形信号去除噪声的第1处理。滤波处理也可以包含去除波形信号的基线的波动(即变动)的第2处理。在该情况下，滤波部121例如也可以具备带通滤波器。
然后，特征提取部122提取被实施了滤波处理的波形信号的特征量(步骤S13)。具体而言，如图3所示，特征提取部122将波形信号划分为具有预定时间长度(例如几十秒至一百几十秒)的单位信号部分。特征提取部122提取单位信号部分的特征量。特征提取部122每隔预定周期(例如几十秒至一百几十秒)反复进行提取单位信号部分的特征量的处理。此外，图3示出了预定周期比单位信号部分的时间长度短的例子。在该情况下，一个单位信号部分与其他单位信号部分局部重叠。
特征量是表示波形信号的特征的参数。在本实施方式中，特征提取部122提取与RRI(R-R-Interval：心跳间隔)相关的特征量，但是也可以提取任意的特征量。此外，如图4所示，RRI是与R波的峰值的时间间隔相当的指标。与RRI相关的特征量例如包含：相当于在对RRI实施了FFT(Fast Fourier Transform，快速傅里叶变换)处理的情况下被检测到的低频成分(例如相当于频率为0.04Hz至0.15Hz的信号成分)的强度的LF、相当于在对RRI实施了FFT处理的情况下被检测到的高频成分(例如相当于频率为0.15Hz至0.40Hz的信号成分)的强度的HF、相当于在时间轴上相邻的两个RRI的差值超过50毫秒的心跳的比例(或者心跳数)的pNN50、相当于在时间轴上相邻的两个RRI的差值的平方的平均值的平方根的RMSSD、相当于RRI的标准偏差除以RMSSD所得到的值的SD/RMSSD、RRI的方差、以及R波的数量(即波形的峰值的数量)中的至少一个。
但是，存在因波形信号的状态而特征提取部122无法适当地提取特征量的可能性。在该情况下，特征提取部122也可以输出表示不能够适当提取特征量的错误标记。例如从信号电平(即振幅)过小(例如小于预定电平)的波形信号提取的特征量存在其可靠性相对较低的可能性。因此，在波形信号的信号电平过小的情况下，特征提取部122也可以输出错误标记。在输出错误标记的情况下，状态预测部123也可以不预测驾驶员的睡意度。
由特征提取部122提取出的特征量(还有错误标记)从特征提取部122输出至状态预测部123。并且，由特征提取部122提取出的特征量(还有错误标记)由存储装置13存储。此时，如后文详述的那样，存储装置13也可以将由特征提取部122提取出的特征量作为学习数据DL的至少一部分来存储。此外，在步骤S13中由特征提取部122提取出的特征量是后述附记中的“第1输入数据”的一具体例。
返回图2，然后，状态预测部123基于通过步骤S13提取出的特征量，来预测驾驶员的睡意度(步骤S14)。具体而言，首先，状态预测部123基于存储装置13中所存储的学习数据DL，算出由数学式1表示的基本向量此外，在数学式1中，变量x表示通过步骤S13提取出的特征量(特别是，某个单位信号部分的特征量)，在被提取出的特征量种类的数量为d的情况下，如数学式2所示那样成为d维向量。此外，基本函数是数学式3。另外，在数学式1中，变量b表示基本向量的维数。然后，状态预测部123读取存储装置13中所存储的系数参数α。系数参数α是b维向量，由数学式4表示。然后，状态预测部123基于由基本向量以及系数参数α定义的参数线性模型(linear-in-parameter model)g(x)来预测睡意度。参数线性模型g(x)由数学式5表示。具体而言，状态预测部123对参数线性模型g(x)输入通过步骤S13提取出的特征量x，取得其输出值。参数线性模型g(x)输出与基于特征量x预测的驾驶员的睡意度相对应的输出值。在以下的说明中，驾驶员的睡意度越大(即驾驶员处于有睡意状态的可能性越高)，则参数线性模型g(x)输出越小的输出值。但是，通过由后述的学习动作进行的系数参数α的最优化，参数线性模型g(x)被最优化为，在驾驶员的睡意度相对较大(即驾驶员处于有睡意状态的可能性相对较高)的情况下输出负值，在驾驶员的睡意度相对较小(即驾驶员处于有睡意状态的可能性相对较低)的情况下输出正值。然后，在参数线性模型g(x)的输出值大于预定阈值(例如0)的情况下，状态预测部123预测为驾驶员处于无睡意状态。另一方面，在参数线性模型g(x)的输出值小于预定阈值(例如0)的情况下，状态预测部123预测为驾驶员处于有睡意状态。因此，状态预测部123实质上等价于两类分类器。
(数学式1)
(数学式2)
x＝(x1，x2，···，xd)∈Rd
(数学式3)
(数学式4)
α＝(α1，α2，···，αb)T
(数学式5)
然后，显示装置14显示在步骤S14中的驾驶员的睡意度的预测结果(步骤S15)。并且，在状态预测部123预测为驾驶员处于有睡意状态的情况下，运算装置12也可以根据需要向驾驶员发出警告。例如运算装置12也可以控制显示装置14来显示向驾驶员发出警告的警告图像。例如运算装置12也可以控制未图示的扬声器，输出向驾驶员发出警告的警告音。例如运算装置12也可以控制内置于车辆的座位或方向盘的未图示的振动装置，产生向驾驶员发出警告的振动。
反复进行以上说明的步骤S11至步骤S15的处理，直至驾驶员使用操作装置16请求结束预测动作(步骤S16)。
(2﹣2)学习动作
接着，对学习动作进行说明。在本实施方式中，状态预测装置1在驾驶员得到状态预测装置1之后(换言之，状态预测装置1在市场售出之后)进行学习动作。换言之，状态预测装置1在状态预测装置1开始预测驾驶员的睡意度之后进行学习动作。在该阶段，由于驾驶员驾驶车辆，所以状态预测装置1能够使用作为状态预测装置1的睡意度预测对象的驾驶员的心电图检测结果来进行学习动作。以下，参照图5对这样的学习动作进行说明。图5是表示学习动作的流程的流程图。此外，学习动作典型而言与上述的预测动作并行进行，但是也可以在不进行预测动作的期间内进行。
如图5所示，首先，取得基于驾驶员的心电图的检测结果的学习数据DL。具体而言，首先，运算装置12判定驾驶员是否正在驾驶车辆(步骤S21)。例如，在如上述那样在驾驶员持有包含运算装置12的便携式终端的情况下，运算装置12也可以基于便携式终端所具备的未图示的加速度传感器等的检测结果来预测驾驶员的行动，在被预测为驾驶员正在乘坐车辆的情况下，判定为驾驶员正在驾驶车辆。或者，运算装置12也可以基于便携式终端所具备的通信装置15的接收信号来预测通信装置15与车辆所具备的通信装置的接近程度，在被预测为通信装置15与车辆所具备的通信装置接近到驾驶员正在乘坐车辆的程度的情况下，判定为驾驶员正在驾驶车辆。或者，在状态预测装置1设置于车辆的情况下，运算装置12也可以基于车辆的状态(例如点火开关的状态)等来判定驾驶员是否正在驾驶车辆。
在步骤S21的判定结果是运算装置12判定为驾驶员未在驾驶车辆的情况下(步骤S21：“否”)，运算装置12持续判定驾驶员是否正在驾驶车辆。
另一方面，在步骤S21的判定结果是运算装置12判定为驾驶员正在驾驶车辆的情况下(步骤S21：“是”)，驾驶判定部125判定从驾驶员开始驾驶车辆时起是否经过了预定时间(例如几分钟)(步骤S22)。
在步骤S22的判定结果是驾驶判定部125判定为从驾驶员开始驾驶车辆时起尚未经过预定时间的情况下(步骤S22：“否”)，运算装置12预测为驾驶员刚刚开始驾驶车辆。在该情况下，驾驶员处于无睡意状态的可能性应该相对较高。其原因是，由于在无意识地持续驾驶车辆的情况下驾驶员容易感到睡意，但是在该阶段，驾驶员尚未在那么长的期间内一直驾驶车辆。因此，在该情况下被检测到的心电图的特征量x相当于处于无睡意状态的驾驶员的心电图的特征量x的可能性较高。也就是说，如果在该定时检测驾驶员的心电图，则提取到处于无睡意状态的驾驶员的心电图的特征量x的可能性较高。因此，在本实施方式中，由心电图传感器11检测驾驶员的心电图(步骤S231)，由滤波部121对波形信号实施滤波处理(步骤S232)，由特征提取部122提取波形信号的特征量x(步骤S233)。此外，步骤S231至步骤S233的处理也可以分别与步骤S11至步骤S13的处理相同。被提取出的特征量x从特征提取部122输出至学习数据生成部124。然后，学习数据生成部124生成将被提取出的特征量x和表示驾驶员的状态处于无睡意状态这一正解的正解数据相关联而得到的数据作为清醒数据DLP(步骤S234)。也就是说，学习数据生成部124生成包含表示驾驶员为正面状态的正解数据的数据(所谓的正例数据(Positive Data))作为学习数据DL的一部分(更具体而言是清醒数据DLP)。所生成的清醒数据DLP由存储装置13存储(步骤S234)。
另一方面，在步骤S22的判定结果是驾驶判定部125判定为从驾驶员开始驾驶车辆时起已经经过了预定时间的情况下(步骤S22：“是”)，驾驶员有时处于无睡意状态，有时会处于有睡意状态。也就是说，驾驶员的睡意度受到各种要因的影响而发生变动的可能性较高。换言之，驾驶员的睡意度可以说是不确定的。即使在该情况下，在本实施方式中，也由心电图传感器11检测驾驶员的心电图(步骤S241)，由滤波部121对波形信号实施滤波处理(步骤S242)，由特征提取部122提取波形信号的特征量x(步骤S243)。此外，步骤S241至步骤S243的处理也可以分别与步骤S11至步骤S13的处理相同。被提取出的特征量x从特征提取部122输出至学习数据生成部124。在该情况下被提取的特征量x，既存在相当于处于无睡意状态的驾驶员的心电图的特征量x的情况，也存在相当于处于有睡意状态的驾驶员的心电图的特征量x的情况。因此，学习数据生成部124不将被提取出的特征量x与表示驾驶员的实际睡意度的正解数据相关联(即不贴正解数据的标签)，而是直接将其设定为无标签数据DLU(步骤S244)。也就是说，学习数据生成部124生成没有与驾驶员的睡意度相关的信息的数据(所谓的无标签数据(Unlabele Data))作为学习数据DL的一部分(更具体而言是无标签数据DLU)。所生成的无标签数据DLU由存储装置13存储(步骤S244)。此外，通过步骤S244作成的无标签数据DLU是后述附记中的“第2输入数据”的一具体例。
然后，状态预测部123判定更新基准是否成立(步骤S25)。更新基准表示为了开始进行使用学习数据DL的系数参数α的最优化而应成立的条件。更新基准例如是上一次系数参数α被最优化之后新存储的学习数据DL的数据量(特别是，无标签数据DLU的数据量)为预定量以上这一条件。预定量越大，系数参数α被最优化的频率越小。因此，预定量被设定为适当的值，以使得系数参数α以适当的频率被最优化。
在步骤S25的判定结果是状态预测部123判定为更新基准尚未成立的情况下(步骤S25：“否”)，反复进行步骤S22以后的动作。也就是说，持续生成学习数据DL。
另一方面，在步骤S25的判定结果是状态预测部123判定为更新基准成立的情况下(步骤S25：“是”)，状态预测部123使用存储装置13中所存储的学习数据DL，进行用于使系数参数α最优化的学习处理(步骤S26)。以下，参照图6，对图5的步骤S26中的用于使系数参数α最优化的学习处理的流程进行说明。图6是表示图5的步骤S26中的用于使系数参数α最优化的学习处理的流程的流程图。
如图6所示，状态预测部123设定混合率Π(步骤S261)。在本实施方式中，状态预测部123将混合率Π设定为大于0并且小于0.5的所期望的值。
然后，状态预测部123将存储装置13中所存储的无标签数据DLU分割成两个数据集X(步骤S262)。
例如，状态预测部123也可以使用已有的聚类方法，将无标签数据DLU分割成两个数据集X。作为已有的聚类方法，可以列举DSDD(Direct Sign Density Difference：直接征象密度差)法、KDE(Kernel Density Estimation：核密度估测)法、以及k-means(k平均)法中的至少一个。
或者，例如状态预测部123也可以根据预定的分割基准，将无标签数据DLU分割成两个数据集X。作为预定的分割基准的一例，可以列举与相当于构成无标签数据DLU的单位数据成分的特征量x被提取的日期时间相关的日期时间基准。在该情况下，例如状态预测部123也可以将无标签数据DLU分割成由在满足(或者不满足)日期时间基准的日期时间被提取出的特征量x构成的数据集X、以及由在不满足(或者满足)日期时间基准的日期时间被提取出的特征量x构成的数据集X。作为一例，例如在存储装置13中存储有因驾驶员连续4天驾驶了车辆而由4天的特征量x构成的无标签数据DLU的情况下，状态预测部123也可以将无标签数据DLU分割成由作为前一半的两天的特征量x构成的数据集X、以及由作为后一半的两天的特征量x构成的数据集X。当然，作为分割基准，也可以使用日期时间基准以外的其他基准。
状态预测部123还对构成通过分割无标签数据DLU所生成的两个数据集X中的一个数据集的各特征量x赋予作为状态预测部123的输出值的“+1(即正例标签或者P(Positive，正面)标签)”以及“﹣1(即负例标签或者N(Negative，负面)标签)”中的某一个作为临时的(换言之，外观上的)标签。另一方面，状态预测部123对构成通过分割无标签数据DLU所生成的两个数据集X中的另一个数据集的各特征量x赋予“+1”以及“﹣1”中的另一个作为临时的标签。也就是说，状态预测部123在外观上将无标签数据DLU分割成由被赋予了正例标签(即假定为从处于无睡意状态的驾驶员取得)的特征量x构成的数据集X+、以及由被赋予了负例标签(即假定为从处于有睡意状态的驾驶员取得)的特征量x构成的数据集X﹣。当然，在该阶段，不需要数据集X+所包含的特征量x是从处于无睡意状态的驾驶员实际取得的特征量x。同样，不需要数据集X﹣所包含的特征量x是从处于有睡意状态的驾驶员实际取得的特征量x。归根到底，状态预测部123只要将无标签数据DLU分割成由在外观上被赋予了正例标签的特征量x构成的数据集X+、以及由在外观上被赋予了负例标签的特征量x构成的数据集X﹣就足够了。此外，由于被赋予给数据集X+的正例标签只不过是外观上的标签(即临时的或者虚拟的标签)，所以数据集X+实质上相当于无标签数据。基于同样的理由，数据集X﹣实质上也相当于无标签数据。此外，数据集X+以及数据集X﹣分别是后述附记中的“第1数据部分”以及“第2数据部分”的一具体例。
此外，在状态预测部123最初进行学习动作的定时，状态预测部123有可能会对从处于无睡意状态的驾驶员取得的特征量x输出+1的输出值(或者正值)以及﹣1的输出值(或者负值)中的哪一个并不确定。同样，状态预测部123有可能会对从处于有睡意状态的驾驶员取得的特征量x输出+1的输出值(或者正值)以及﹣1的输出值(或者负值)中的哪一个并不确定。也就是说，存在+1的正例标签以及﹣1的负例标签各自与无睡意的状态对应还是与有睡意的状态对应并不确定的可能性。因此，在状态预测部123最初进行学习动作的定时，状态预测部123也可以使用清醒数据DLP来决定+1的正例标签以及﹣1的负例标签各自与无睡意的状态对应还是与有睡意的状态对应。具体而言，如上所述，构成清醒数据DLP的特征量x是从处于无睡意状态的驾驶员取得的特征量x。因此，状态预测部123使通过将构成清醒数据DLP的特征量x输入参数线性模型g(x)所得到的输出值与无睡意的状态对应起来。例如，在通过将构成清醒数据DLP的特征量x输入参数线性模型g(x)所得到的输出值为“+1(或者正值)”的情况下，状态预测部123将+1的正例标签以及﹣1的负例标签分别与无睡意的状态以及有睡意的状态对应起来。此外，在以下的说明中，使用如上述那样将+1的正例标签以及﹣1的负例标签分别与无睡意的状态以及有睡意的状态对应的例子来进行说明。
然后，状态预测部123基于通过步骤S261设定的混合率Π，将数据集X+分割成两个数据集Xp+以及Xp’+(步骤S263)。具体而言，状态预测部123以Π：1﹣Π的比率将数据集X+分割成两个数据集Xp+以及Xp’+。也就是说，状态预测部123以使得构成数据集Xp+的特征量x的数量和构成数据集Xp’+的特征量x的数量之比率为Π：1﹣Π的方式将数据集X+分割成两个数据集Xp+以及Xp’+。但是，状态预测部123也可以使用任意的分割方法将数据集X+分割成两个数据集Xp+以及Xp’+。
同样，状态预测部123基于通过步骤S261设定的混合率Π，将数据集X﹣分割成两个数据集Xp﹣以及Xp’﹣(步骤S264)。具体而言，状态预测部123以1﹣Π：Π的比率将数据集X﹣分割成两个数据集Xp﹣以及Xp’﹣。也就是说，状态预测部123以使得构成数据集Xp﹣的特征量x的数量和构成数据集Xp’﹣的特征量x的数量之比率为1﹣Π：Π的方式将数据集X﹣分割成两个数据集Xp﹣以及Xp’﹣。但是，状态预测部123也可以使用任意的分割方法将数据集X﹣分割成两个数据集Xp﹣以及Xp’﹣。
然后，状态预测部123将数据集Xp+和数据集Xp﹣混合来生成数据集Xp(步骤S265)。并且，状态预测部123将数据集Xp’+和数据集Xp’﹣混合来生成数据集Xp’(步骤S266)。此外，数据集Xp以及Xp’分别是后述附记中的“第1混合数据”以及“第2混合数据”的一具体例。
然后，状态预测部123通过进行基于相当于两个无标签数据的数据集Xp以及Xp’的学习(以下称为“unlabeled-unlabeled(UU)学习”)，使系数参数α最优化(步骤S267)。本实施方式的UU学习相当于下述动作：使用被赋予了临时的正例标签的特征量x的数量和被赋予了临时的负例标签的特征量x的数量之比率彼此不同的两个无标签数据，使状态预测部123进行学习，以使系数参数α最优化。在UU学习中，利用两个无标签数据之间的概率密度之差使系数参数α最优化。具体而言，在与一个类别(例如与无睡意的状态对应的类别)相关的概率密度之差为正的情况下，与另一个类别(例如与有睡意的状态对应的类别)相关的概率密度之差为负。UU学习相当于通过改变用于将分别构成两个无标签数据的特征量x分类到两个类别的边界(所谓的超平面)来搜索两个类别各自的概率密度之差的符号发生变化的边界(即在两个类别各自的概率密度之差的符号发生变化的边界搜索能够对分别构成两个无标签数据的特征量x进行分类的系数参数α)的学习处理。因此，状态预测部123优选使用利用了概率密度之差的学习算法作为用于进行UU学习的具体的学习算法。作为利用概率密度之差的学习算法的一例，可以列举上述的DSDD法以及KDE法中的至少一种。
此外，关于UU学习本身，记载在“Marthinus Christoffel du Plessis,Gang Niu,Masashi Sugiyama,‘Clustering Unclustered Data:Unsupervised Binary Labeling ofTwo Datasets Having Different Class Balance’,Proc.TAAI2013”这篇论文中，所以省略其详细的说明。
通过UU学习使系数参数α最优化了的结果是，分别属于数据集Xp以及Xp’的各特征量x能够由通过UU学习被搜索出的边界分类到两个类别中的某个类别。也就是说，状态预测部123能够基于由被最优化后的系数参数α规定的参数线性模型g(x)的输出值来更新被赋予给构成无标签数据DLU的各特征量x的标签(这里是临时的标签)(步骤S267)。具体而言，在被输入某个特征量x的参数线性模型g(x)的输出值为+1(或者正值)的情况下，状态预测部123能够将被赋予给该某个特征量x的临时标签更新为正例标签。同样，在被输入某个特征量x的参数线性模型g(x)的输出值为﹣1(或者负值)的情况下，状态预测部123能够将被赋予给该某个特征量x的临时标签更新为负例标签。
然后，状态预测部123基于被更新后的标签，来更新数据集X+以及数据集X﹣(步骤S268)。具体而言，状态预测部123以使由无标签数据DLU中的通过步骤S267被赋予了正例标签的特征量x构成的数据集成成为新的数据集X+、并且由无标签数据DLU中的通过步骤S267被赋予了负例标签的特征量x构成的数据集成为新的数据集X﹣的方式更新数据集X+以及数据集X﹣。此外，新的数据集X+以及X﹣实质上相当于由通过UU学习被搜索出的边界分类的新的两个无标签数据。
然后，状态预测部123判定是否满足用于判定系数参数α是否被适当地最优化了的学习基准(步骤S269)。也可以使用任意的基准作为学习基准，例如作为一例可列举数学式6所表示的学习基准。此外，在数学式6中，变量xi是构成数据集Xp的各特征量x(即d维向量)，由数学式7表示。变量n是构成数据集Xp的特征量x的数量(即d维向量的数量)。p(x)是构成数据集Xp的特征量x的概率密度。另外，在数学式6中，变量x’j是表示构成数据集Xp’的各特征量x的d维向量，由数学式8表示。变量n’是构成数据集Xp’的特征量x的数量(即d维向量的数量)。p’(x)是构成数据集Xp’的特征量x的概率密度。另外，数学式6中的函数R(z)的一例由数学式9以及数学式10表示。另外，数学式6中的变量λ是超参数。
(数学式6)
(数学式7)
(数学式8)
(数学式9)
(数学式10)
R(z)＝min(l，max(-1，z))
在步骤S269的判定结果是状态预测部123判定为学习基准已满足(例如学习基准已被最小化)的情况下(步骤S269：“是”)，运算装置12使图6所示的学习动作结束。另一方面，在步骤S269的判定结果是状态预测部123判定为学习基准未满足(例如还有使学习基准最小化的余地)的情况下(步骤S269：“否”)，运算装置12使用通过步骤S268进行了更新的数据集X+以及X﹣，再次反复进行步骤S263以后的处理。也就是说，在本实施方式中，一边更新UU学习所使用的两个数据集X+以及X﹣一边反复进行UU学习，直至学习基准被满足为止。
此外，上述的学习基准中包含必须通过手动设定的超参数λ。另外，存在基本向量中根据情况也包含超参数的可能性。例如数学式3中表示基本的带宽的变量h是超参数的一例。因此，状态预测部123为了一边设定超参数一边使系数参数α最优化，优选按以下的步骤使系数参数α最优化。具体而言，首先，状态预测部123将无标签数据DLU分割成为了在设定了超参数候选的基础上使系数参数α最优化而使用的第1数据、以及为了验证(即评价)使用第1数据被最优化后的系数参数α而使用的第2数据。例如，状态预测部123也可以使用无标签数据DLU中的预定比例(例如80％)的数据部分作为第1数据，使用无标签数据DLU中的剩余(例如20％)的数据部分作为第2数据。然后，状态预测部123对第1数据进行上述的图6的步骤S262至步骤S266的处理，来生成数据集Xp以及Xp’。然后，状态预测部123在对超参数设定了预定的候选值的基础上，使用基于第1数据生成的数据集Xp以及Xp’进行UU学习，并进行系数参数α的最优化。然后，状态预测部123使用第2数据，对被最优化后的系数参数α进行验证。具体而言，状态预测部123通过将第2数据所包含的特征量x输入由使用第1数据被最优化后的系数参数α确定的参数线性模型g(x)，来评价从上述的学习基准中去除了第3项的正则项所得到的评价式。状态预测部123反复进行这样的动作，直至找到使从学习基准中去除了作为第3项的正则项所得到的评价式达到最小的最优超参数。然后，使用最优超参数以及无标签数据DLU(即第1数据以及第2数据双方)，使系数参数α最优化。其结果，系数参数α被最优化。被最优化后的系数参数α由存储装置13存储。
反复进行以上说明的步骤S21至步骤S26的处理。也就是说，只要驾驶员正在驾驶车辆，就持续收集新的无标签数据DLU，除了已收集完的无标签数据DLU以外，还使用新收集的无标签数据DLU，持续使系数参数α最优化。
(3)技术效果
接着，对本实施方式的状态预测装置1能享有的技术效果进行说明。首先，参照图7A至图7F，作为说明技术效果的前提，结合特征量向量空间内的特征量x的状况对以上说明的学习动作进行示意性说明。
图7A是表示构成无标签数据DLU的特征量x的特征量向量空间内的分布状况的图表。在图7A中，用圆圈标记表示的特征量x相当于从处于无睡意状态的驾驶员取得的特征量x，用方块标记表示的特征量x相当于从处于有睡意状态的驾驶员取得的特征量x。因此，图7A中的虚线相当于将构成无标签数据DLU的特征量x分类到两个类别的理想边界。但是，由于在无标签数据DLU内正解数据未与特征量x相关联，所以状态预测装置1无法识别出下述情况：用圆圈标记表示的特征量x相当于从处于无睡意状态的驾驶员取得的特征量x，用方块标记表示的特征量x相当于从处于有睡意状态的驾驶员取得的特征量x。
如图7B所示，状态预测部123将这样的无标签数据DLU分割成数据集X+以及X﹣(图6的步骤S262)。在图7B中，用白色标记表示的特征量x相当于被分类到数据集X+的特征量x(即被赋予了临时的正例标签的特征量x)，用黑色标记表示的特征量x相当于被分类到数据集X﹣的特征量x(即被赋予了临时的负例标签的特征量x)。如图7B所示，数据集X+以及X﹣分别包含从处于无睡意状态的驾驶员取得的特征量x以及从处于有睡意状态的驾驶员取得的特征量x双方的可能性相对较高。
然后，如图7C所示，状态预测部123将数据集X+分割成数据集Xp+以及Xp’+并且将数据集X﹣分割成数据集Xp﹣以及Xp’﹣(图6的步骤S263至步骤S264)。然后，状态预测部123将数据集Xp+以及Xp﹣混合来生成数据集Xp并且将数据集Xp’+以及Xp’﹣混合来生成数据集Xp’(图6的步骤S265至步骤S266)。在该情况下，被赋予了临时的正例标签的数据集X+中的少于50％的数据部分成为数据集Xp+，被赋予了临时的正例标签的数据集X+中的多于50％的剩余的数据部分成为数据集Xp’+，被赋予了临时的负例标签的数据集X﹣中的多于50％的数据部分成为数据集Xp﹣，被赋予了临时的负例标签的数据集X﹣中的少于50％的剩余的数据部分成为数据集Xp’﹣，因此数据集Xp中的被赋予了临时的正例标签的特征量x的数量和被赋予了临时的负例标签的特征量x的数量之比率与数据集Xp’中的被赋予了临时的正例标签的特征量x的数量和被赋予了临时的负例标签的特征量x的数量之比率不同的可能性相对较高。
然后，状态预测部123基于数据集Xp+以及Xp﹣进行UU学习(图6的步骤S267)。其结果，如图7D所示，用于将构成无标签数据DLU的特征量x分类到两个类别的新的边界被搜索到，基于该新的边界来更新数据集X+以及X﹣。对图7B以及图7D进行比较可知，通过进行UU学习，数据集X+和X﹣的边界靠近图7A所示的理想边界。
然后，为了再次进行UU学习，如图7E所示，状态预测部123基于新的数据集X+以及X﹣来生成数据集Xp以及Xp’。此时，如果UU学习已经进行了1次以上，则在数据集X+中包含的处于无睡意状态的驾驶员的特征量x比处于有睡意状态的驾驶员的特征量x多、并且在数据集X﹣中包含的处于有睡意状态的驾驶员的特征量x比处于无睡意状态的驾驶员的特征量x多的可能性变高。也就是说，如果UU学习已经进行了1次以上，则在数据集X+中处于无睡意状态的驾驶员的特征量x偏多、并且在数据集X﹣中处于有睡意状态的驾驶员的特征量x偏多的可能性变高。其结果，数据集Xp中的处于无睡意状态的驾驶员的特征量x的数量和处于有睡意状态的驾驶员的特征量x的数量之比率与数据集Xp’中的处于无睡意状态的驾驶员的特征量x的数量和处于有睡意状态的驾驶员的特征量x的数量之比率不同的可能性进一步变高。
然后，状态预测部123基于数据集Xp+以及Xp﹣再次进行UU学习(图6的步骤S267)。其结果，如图7F所示，用于将构成无标签数据DLU的特征量x分类到两个类别的新的边界被搜索到，基于该新的边界来更新数据集X+以及X﹣。对图7B、图7D以及图7F进行比较可知，通过反复进行UU学习，数据集X+和X﹣的边界靠近图7A所示的理想边界的可能性变高。
如以上说明的那样，根据状态预测装置1，分别使用未与正解数据相关联的两个无标签数据(即数据集X+以及X﹣)，一边适当更新两个无标签数据，一边反复进行用于使系数参数α最优化的UU学习。因此，与不反复进行UU学习的比较例的状态预测装置相比，系数参数α被最优化(即基于驾驶员的心电图预测驾驶员的睡意度的预测精度提高)的可能性变高。因此，即使在基于具有相对较多地包含有与驾驶员状态之间的相关性相对较小的噪声信息并且在进行了聚类的情况下所得到的多个类别之间容易产生交叠这种特征的心电图(即人的生物体信息)来预测驾驶员的睡意度的情况下，系数参数α被最优化的可能性也变高。其结果，状态预测装置1能够基于驾驶员的心电图来相对高精度地预测驾驶员的睡意度。
例如，图8是表示在使用包含与正解数据相关联的特征量的学习数据通过有监督的学习使系数参数α最优化了的情况下的与睡意度的预测相关的F值、在使用无标签数据DLU通过仅进行1次UU学习(即仅进行1次图6的步骤S263至步骤S268的例行程序)使系数参数α最优化了的情况下的与睡意度的预测相关的F值、以及在使用无标签数据DLU通过反复进行多次UU学习(即反复进行多次图6的步骤S263至步骤S268的例行程序)使系数参数α最优化了的情况下的与睡意度的预测相关的F值的图表。此外，F值是相当于睡意度的预测精度和与睡意度的预测相关的再现率的调和平均的评价指标，值越大表示预测睡意度的性能越优异。如图8所示，通过仅进行1次UU学习使系数参数α最优化的方法与通过有监督的学习使系数参数α最优化的方法相比在性能方面更差，但是通过反复进行多次UU学习使系数参数α最优化的方法与通过有监督的学习使系数参数α最优化的方法相比在性能方面更优异。因此，通过本申请发明人等进行的实验，确认了：通过反复进行多次UU学习，系数参数α被最优化的可能性变高。
除此以外，根据本申请发明人等的研究以及调查而弄清了：在使用两个无标签数据反复进行UU学习的情况下，在应被分类到一个类别的特征量x(例如处于无睡意状态的驾驶员的特征量x)的数量和应被分类到另一个类别的特征量x(例如处于有睡意状态的驾驶员的特征量x)的数量之比率在两个无标签数据之间不同时，适当地进行UU学习。基于这一点，在本实施方式中，使用将数据集X+以及X﹣部分混合所得到的数据集Xp以及Xp’进行UU学习。如上所述，数据集Xp以及Xp’之间应被分类到一个类别的特征量x的数量和应被分类到另一个类别的特征量x的数量之比率不同的可能性相对较高。也就是说，数据集Xp以及Xp’是应被分类到一个类别的特征量x的数量和应被分类到另一个类别的特征量x的数量之比率不同的两个无标签数据的可能性相对较高。其结果，状态预测部123能够适当地进行UU学习来使系数参数α最优化。例如，状态预测部123能够高效地使系数参数α最优化以及/或者能够以使预测精度提高的方式使系数参数α最优化。
(4)变形例
在上述的说明中，基于从驾驶员开始驾驶车辆起至经过预定时间(例如几分钟)为止被提取出的特征量，生成了将正解数据与该特征量相关联所得到的清醒数据DLP。但是，从驾驶员开始驾驶车辆起至经过预定时间为止被提取出的特征量也可以被设定为正解数据未与该特征量相关联的无标签数据DLU。
在上述的说明中，状态预测部123在将数据集X+分割成数据集Xp+以及Xp’+并且将数据集X﹣分割成数据集Xp﹣以及Xp’﹣之后，将数据集Xp+以及Xp﹣混合来生成数据集Xp并且将数据集Xp’+以及Xp’﹣混合来生成数据集Xp’。但是，状态预测部123也可以不将数据集X+分割成数据集Xp+以及Xp’+，也可以不将数据集X﹣分割成数据集Xp﹣以及Xp’﹣。在该情况下，状态预测部123也可以通过将数据集X+以及X﹣用作两个无标签数据来进行UU学习。
在上述的说明中，为了开始进行使用学习数据DL的系数参数α的最优化而应成立的更新基准，包含与上一次系数参数α被最优化之后新生成的学习数据DL(特别是，无标签数据DLU)的数据量相关的条件。但是，更新基准也可以在与学习数据DL的数据量相关的条件以外还包含其他条件，或者包含其他条件来替代与学习数据DL的数据量相关的条件。例如，更新基准也可以包含与驾驶员乘坐了车辆的次数相关的条件(例如上一次系数参数α被最优化之后驾驶员乘坐了车辆的次数为预定次数以上这一条件)。例如更新基准也可以包含与驾驶员乘坐了车辆的时间相关的条件(例如上一次系数参数α被最优化之后驾驶员乘坐了车辆的时间为预定时间以上这一条件)。例如，更新基准也可以包含与来自驾驶员的请求相关的条件(例如驾驶员请求系数参数α的最优化这一条件)。或者，状态预测部123也可以不使用更新基准，而是每次新取得无标签数据DLU，都使系数参数α最优化。也就是说，状态预测部123也可以进行使用学习数据DL的在线学习。
在上述的说明中，状态预测装置1基于驾驶员的心电图来预测驾驶员的睡意度。但是，状态预测装置1也可以以在驾驶员的心电图以外或者替代驾驶员的心电图的方式基于驾驶员的其他生物体信息来预测驾驶员的睡意度。例如，状态预测装置1也可以用摄像头拍摄驾驶员，并对通过拍摄所得到的图像进行图像处理来提取该图像的特征量(例如，与驾驶员的面部表情以及行为等中的至少一方相关的特征量)，并基于该提取出的特征量来预测驾驶员的睡意度。
在上述的说明中，状态预测装置1基于驾驶员的生物体信息来预测驾驶员的睡意度。但是，状态预测装置1也可以基于驾驶员的生物体信息来预测驾驶员的任意状态。例如状态预测装置1也可以从驾驶员的生物体信息中提取与驾驶员的前额叶皮质区的脑电波相关的特征量(例如与θ波的含有率相关的特征量)，并基于该提取出的特征量来预测驾驶员对驾驶的集中度(反过来说就是松懈度)。在该情况下，状态预测装置1也可以在使驾驶员放松了一定时间以上的基础上取得生物体信息，并生成将所取得的生物体信息的特征量与表示驾驶员的状态处于放松状态这一正解的正解数据相关联而得到的数据作为相当于上述清醒数据DLP的数据。状态预测装置1也可以在使驾驶员进行特定作业(例如制作文书、读书以及视听影像等中的至少一个)的基础上取得驾驶员的生物体信息，并生成所取得的生物体信息的特征量作为相当于上述无标签数据DLU的数据。
在上述的说明中，状态预测装置1基于驾驶员的生物体信息来预测驾驶员的状态。但是，状态预测装置1也可以不限于驾驶员，基于任意用户的生物体信息来预测任意用户的状态。或者，状态预测装置1也可以以在生物体信息以外或者替代生物体信息的方式基于任意用户的任意的行动信息(即与用户的行动相关的信息)，来预测任意用户的状态。例如，状态预测装置1也可以使用从佩戴于手臂或躯干的加速度传感器或角速度传感器等得到的用户的行动信息来预测任意用户的状态。或者，状态预测装置1也可以以在生物体信息以外或者替代生物体信息的方式基于任意用户的任意信息来预测任意用户的状态。或者，如果考虑生物体信息相当于输入信息并且被预测出的用户的状态相当于输出信息，则状态预测装置1也可以以在基于生物体信息来预测用户的状态以外或者替代基于生物体信息来预测用户的状态的方式，基于任意的输入信息来输出任意的输出信息。即使在该情况下，只要进行上述的学习动作，也能够享有上述的效果。
(5)附记
关于以上说明的实施方式，进一步公开以下的附记。
(5﹣1)附记1
状态预测装置具备信息处理装置。该信息处理装置构成为，取得与用户的生物体信息和行动信息中的至少一方相关的第1输入数据，基于所述第1输入数据，进行预测所述用户的状态的预测动作。所述信息处理装置反复进行如下的学习处理：使用与所述用户的生物体信息和行动信息中的至少一方相关且未与表示所述用户的状态的正解数据相关联的第2输入数据中的第1数据部分和所述第2输入数据中的与所述第1数据部分不同的第2数据部分，使所述预测动作的内容最优化。
根据上述状态预测装置，使用分别未与正解数据相关联的两个数据部分(即第1以及第2数据部分)，反复进行用于使预测动作的内容最优化的学习处理。因此，即使在使用具有相对较多地包含有与用户状态之间的相关性相对较小的噪声信息并且在进行了聚类的情况下所得到的多个类别之间容易产生交叠这样的特征的生物体信息和行动信息中的至少一方的情况下，预测动作的内容被最优化的可能性也变高。因此，上述状态预测装置能够基于用户的生物体信息和行动信息中的至少一方来适当地预测用户的状态。
(5﹣2)附记2
在上述状态预测装置中，所述信息处理装置也可以构成为再次进行所述学习处理。所述学习处理也可以包含下述动作：每次进行所述学习处理时，根据所进行了的所述学习处理的结果从所述第2输入数据对所述第1数据部分和所述第2数据部分进行重新设定，然后，使用重新设定的所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化。
根据上述状态预测装置，一边根据学习处理的结果适当地更新第1以及第2数据部分，一边反复进行用于使预测动作的内容最优化的学习处理。因此，与不更新第1以及第2数据部分并且不反复进行学习处理的比较例的状态预测装置相比，预测动作的内容被最优化的可能性变高。
(5﹣3)附记3
在上述状态预测装置中，所述信息处理装置也可以构成为，基于所述第1输入数据来预测所述用户的状态属于两个类别中的哪个类别。所述学习处理也可以包含下述动作：使用所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。所述信息处理装置也可以构成为再次进行所述学习处理。所述学习处理也可以包含下述动作：每次进行所述学习处理时，将由所述第2输入数据中被分类到所述两个类别中的一个类别的数据成分构成的数据部分设定为新的所述第1数据部分，并且将由所述第2输入数据中被分类到所述两个类别中的另一个类别的数据成分构成的数据部分设定为新的所述第2数据部分，然后，使用重新设定的所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。
根据上述状态预测装置，一边根据学习处理的结果来适当地更新第1以及第2数据部分，一边反复进行用于使预测动作的内容最优化的学习处理。因此，与不更新第1以及第2数据部分并且不反复进行学习处理的比较例的状态预测装置相比，预测动作的内容被最优化的可能性变高。
(5﹣4)附记4
在上述状态预测装置中，所述信息处理装置也可以构成为，基于所述第1输入数据，预测所述用户的状态属于两个类别中的哪个类别。所述学习处理也可以包含以下动作：(i)基于所述第1数据部分和所述第2数据部分，生成包含所述第1数据部分中的第1部分和所述第2数据部分中的第2部分的第1混合数据、以及包含所述第1数据部分中的与所述第1部分不同的第3部分和所述第2数据部分中的与所述第2部分不同的第4部分的第2混合数据，(ii)使用所述第1混合数据和所述第2混合数据使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。
根据上述状态预测装置，第1以及第2混合数据是分别未与正解数据相关联并且被分类到两个类别中的一个类别的数据成分和被分类到两个类别中的另一个类别的数据成分之比率不同的两个数据部分的可能性相对较高。其结果，信息处理装置能够适当地进行学习处理。
(5﹣5)附记5
在上述状态预测装置中，所述信息处理装置也可以构成为再次进行所述学习处理。所述学习处理也可以包含下述动作：每次进行所述学习处理时，将由所述第2输入数据中被分类到所述两个类别中的一个类别的数据成分构成的数据部分设定为新的所述第1数据部分，并且将由所述第2输入数据中被分类到所述两个类别中的另一个类别的数据成分构成的数据部分设定为新的所述第2数据部分，然后，使用重新设定的所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。
根据上述状态预测装置，与不更新第1以及第2数据部分并且不反复进行学习处理的比较例的状态预测装置相比，预测动作的内容被最优化的可能性变高。
进而，学习处理进行得越多，第1数据部分中被分类到两个类别中的一个类别的数据成分偏多、并且第2数据部分中被分类到两个类别中的另一个类别的数据成分偏多的可能性越高。在该情况下，由于将这样的第1以及第2数据部分部分地混合来生成第1以及第2混合数据，所以学习处理进行得越多，第1混合数据中被分类到两个类别中的一个类别的数据成分和被分类到两个类别中的另一个类别的数据成分之比率与第2混合数据中被分类到两个类别中的一个类别的数据成分和被分类到两个类别中的另一个类别的数据成分之比率不同的可能性相对越高。因此，信息处理装置能够适当地进行学习处理。
本发明不限于上述的实施方式，能够在不违背从权利要求书以及整个说明书读出的发明要旨或者思想的范围内进行适当变更，伴随这种变更的状态预测装置也仍然包含在本发明的技术范围内。

Claims (8)

1.一种状态预测装置，其特征在于，包括信息处理装置，所述信息处理装置构成为：
取得与用户的生物体信息和行动信息中的至少一方相关的第1输入数据；
基于所述第1输入数据，进行预测所述用户的状态的预测动作；
使用与所述用户的生物体信息和行动信息中的至少一方相关且未与表示所述用户的状态的正解数据相关联的第2输入数据中的第1数据部分和所述第2输入数据中的与所述第1数据部分不同的第2数据部分，反复进行用于使所述预测动作的内容最优化的学习处理。
2.根据权利要求1所述的状态预测装置，其特征在于，
所述信息处理装置构成为再次进行所述学习处理，
所述学习处理包含下述动作：每次进行所述学习处理时，根据所进行了的所述学习处理的结果从所述第2输入数据对所述第1数据部分和所述第2数据部分进行重新设定，然后，使用重新设定的所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化。
3.根据权利要求1或2所述的状态预测装置，其特征在于，
所述信息处理装置构成为，基于所述第1输入数据来预测所述用户的状态属于两个类别中的哪个类别，
所述学习处理包含下述动作：使用所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别，
所述信息处理装置构成为再次进行所述学习处理，
所述学习处理包含下述动作：每次进行所述学习处理时，将由所述第2输入数据中被分类到所述两个类别中的一个类别的数据成分构成的数据部分设定为新的所述第1数据部分，并且将由所述第2输入数据中被分类到所述两个类别中的另一个类别的数据成分构成的数据部分设定为新的所述第2数据部分，然后，使用重新设定的所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。
4.根据权利要求1～3中任一项所述的状态预测装置，其特征在于，
所述信息处理装置构成为，基于所述第1输入数据，预测所述用户的状态属于两个类别中的哪个类别，
所述学习处理包含以下动作：
(i)基于所述第1数据部分和所述第2数据部分，生成包含所述第1数据部分中的第1部分和所述第2数据部分中的第2部分的第1混合数据、以及包含所述第1数据部分中的与所述第1部分不同的第3部分和所述第2数据部分中的与所述第2部分不同的第4部分的第2混合数据，
(ii)使用所述第1混合数据和所述第2混合数据使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。
5.根据权利要求4所述的状态预测装置，其特征在于，
所述信息处理装置构成为，再次进行包含下述动作的所述学习处理：每次进行所述学习处理时，将由所述第2输入数据中被分类到所述两个类别中的一个类别的数据成分构成的数据部分设定为新的所述第1数据部分，并且将由所述第2输入数据中被分类到所述两个类别中的另一个类别的数据成分构成的数据部分设定为新的所述第2数据部分，然后，使用重新设定的所述第1数据部分和所述第2数据部分使所述预测动作的内容最优化，以将构成所述第2输入数据的数据成分分类到所述两个类别中的某个类别。
6.根据权利要求1～5中任一项所述的状态预测装置，其特征在于，
所述用户是车辆的驾驶员。
7.根据权利要求1～6中任一项所述的状态预测装置，其特征在于，
所述生物体信息是所述用户的心电图、所述用户的面部的表情、所述用户的行为和所述用户的前额叶皮质区的脑电波之一。
8.一种状态预测方法，其特征在于，包括：
取得与用户的生物体信息和行动信息中的至少一方相关的第1输入数据；
基于所述第1输入数据，进行预测所述用户的状态的预测动作；以及
使用与所述用户的生物体信息和行动信息中的至少一方相关且未与表示所述用户的状态的正解数据相关联的第2输入数据中的第1数据部分和所述第2输入数据中的与所述第1数据部分不同的第2数据部分，反复进行用于使所述预测动作的内容最优化的学习处理。
CN201910302084.7A 2018-04-18 2019-04-16 状态预测装置以及状态预测方法 Active CN110384478B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018080015A JP7060434B2 (ja) 2018-04-18 2018-04-18 状態推定装置
JP2018-080015 2018-04-18

Publications (2)

Publication Number Publication Date
CN110384478A true CN110384478A (zh) 2019-10-29
CN110384478B CN110384478B (zh) 2022-04-19

Family

ID=68237712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910302084.7A Active CN110384478B (zh) 2018-04-18 2019-04-16 状态预测装置以及状态预测方法

Country Status (3)

Country Link
US (1) US20190324537A1 (zh)
JP (1) JP7060434B2 (zh)
CN (1) CN110384478B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161325A1 (en) * 2020-02-12 2021-08-19 Telefonaktiebolaget Lm Ericsson (Publ) Communications system, network node, first node, and methods performed thereby for handling a prediction of an event
US11080484B1 (en) * 2020-10-08 2021-08-03 Omniscient Neurotechnology Pty Limited Natural language processing of electronic records
WO2023047530A1 (ja) * 2021-09-24 2023-03-30 富士通株式会社 データ収集プログラム，データ収集装置及びデータ収集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140172754A1 (en) * 2012-12-14 2014-06-19 International Business Machines Corporation Semi-supervised data integration model for named entity classification
CN107095671A (zh) * 2017-05-27 2017-08-29 西南交通大学 驾驶疲劳识别方法及系统
CN107451651A (zh) * 2017-07-28 2017-12-08 杭州电子科技大学 一种基于粒子群优化的h‑elm的驾驶疲劳检测方法
CN107595306A (zh) * 2017-08-22 2018-01-19 南京邮电大学 一种基于脑电信号分析的疲劳驾驶预警系统
US20180093672A1 (en) * 2016-10-05 2018-04-05 Dell Products L.P. Determining a driver condition using a vehicle gateway

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
JP2019531560A (ja) * 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US11083379B2 (en) * 2017-08-02 2021-08-10 Faurecia Automotive Seating, Llc Health-monitoring seat cover
US10235859B1 (en) * 2017-08-17 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for the mitigation of drowsy or sleepy driving

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140172754A1 (en) * 2012-12-14 2014-06-19 International Business Machines Corporation Semi-supervised data integration model for named entity classification
US20180093672A1 (en) * 2016-10-05 2018-04-05 Dell Products L.P. Determining a driver condition using a vehicle gateway
CN107095671A (zh) * 2017-05-27 2017-08-29 西南交通大学 驾驶疲劳识别方法及系统
CN107451651A (zh) * 2017-07-28 2017-12-08 杭州电子科技大学 一种基于粒子群优化的h‑elm的驾驶疲劳检测方法
CN107595306A (zh) * 2017-08-22 2018-01-19 南京邮电大学 一种基于脑电信号分析的疲劳驾驶预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARTHINUS CHRISTOFFEL DU PLESSIS ET.AL.: "Clustering Unclustered Data:Unsupervised Binary Labeling of Two Datasets Having Different Class Balances", 《2013 CONFERENCE ON TECHNOLOGIES AND APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 *

Also Published As

Publication number Publication date
JP7060434B2 (ja) 2022-04-26
CN110384478B (zh) 2022-04-19
JP2019191644A (ja) 2019-10-31
US20190324537A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
US9665824B2 (en) Rapid image annotation via brain state decoding and visual pattern mining
CN110384478A (zh) 状态预测装置以及状态预测方法
Xu et al. Rival penalized competitive learning for clustering analysis, RBF net, and curve detection
US7386560B2 (en) Method and system for user-configurable clustering of information
CN110532379B (zh) 一种基于lstm的用户评论情感分析的电子资讯推荐方法
CN102999635A (zh) 语义可视搜索引擎
CN109858553B (zh) 驾驶状态的监测模型更新方法、更新装置及存储介质
CN109785066A (zh) 基于微表情的产品推荐方法、装置、设备及存储介质
Lohr et al. Eye know you: Metric learning for end-to-end biometric authentication using eye movements from a longitudinal dataset
CN108764282A (zh) 一种类别增量行为识别方法和系统
CN112365423A (zh) 一种图像数据增强方法、装置、介质及设备
Rahman et al. EyeNet: An improved eye states classification system using convolutional neural network
CN114118165A (zh) 基于脑电的多模态情绪数据预测方法、装置及相关介质
JP2024500464A (ja) 動的ファセットランク付け
Zhao et al. An identification algorithm of driver steering characteristics based on backpropagation neural network
Kayadibi et al. An eye state recognition system using transfer learning: AlexNet-based deep convolutional neural network
Beltzung et al. Deep learning for studying drawing behavior: A review
Kumar et al. Analysis of machine learning algorithms for facial expression recognition
CN111914772B (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN110276283B (zh) 图片识别方法、目标识别模型训练方法及装置
CN105913089A (zh) 用户行为模式的识别方法及装置
CN109717879A (zh) 状态推定系统
Suresh et al. Improvement of e-learning in Ontology using Machine Learning Techniques
CN113536111B (zh) 保险知识内容的推荐方法、装置和终端设备
Balfaqih A Hybrid Movies Recommendation System Based on Demographics and Facial Expression Analysis using Machine Learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant