CN103403756A - 状态推断装置、状态推断方法及程序 - Google Patents

状态推断装置、状态推断方法及程序 Download PDF

Info

Publication number
CN103403756A
CN103403756A CN2012800115409A CN201280011540A CN103403756A CN 103403756 A CN103403756 A CN 103403756A CN 2012800115409 A CN2012800115409 A CN 2012800115409A CN 201280011540 A CN201280011540 A CN 201280011540A CN 103403756 A CN103403756 A CN 103403756A
Authority
CN
China
Prior art keywords
driver
state
group
inferred
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800115409A
Other languages
English (en)
Other versions
CN103403756B (zh
Inventor
河野贵士
小栗宏次
今井章博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN103403756A publication Critical patent/CN103403756A/zh
Application granted granted Critical
Publication of CN103403756B publication Critical patent/CN103403756B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

计算与推断结果对应的验证值。然后，根据计算出的验证值，修正推断结果。由此，能够输出可靠性高的推断结果。另外，在能够判断为驾驶员所属的类别连续地推移的情况下，输出推断结果。另一方面，在不能判断为驾驶员所属的类别连续地推移的情况下，取代最新的推断结果，输出以前的推断结果。由此，能够输出可靠性高的推断结果。

Description

状态推断装置、状态推断方法及程序
技术领域
本发明涉及一种状态推断装置、状态推断方法及程序，更详细地，涉及一种推断驾驶员的状态的状态推断装置、用于推断驾驶员的状态的状态推断方法及程序。
背景技术
近年来，交通事故的死难者人数虽然有减少的趋势，但事故的产生件数自身仍然高位发展。事故的原因多种多样，其中，在驾驶员处于漫不经心的状态（漫不经心状态）下驾驶车辆也是诱发事故的原因之一。漫不经心状态大致分为如下的两种状态：因在驾驶中交谈、使用手机等的驾驶员进行的驾驶以外的行动，致使驾驶员对驾驶的注意力变散漫的状态；因疲劳或困意等，使驾驶员的注意力下降的状态。
[0003]驾驶员自身难以预防疲劳或困意。因此，从安全上的观点出发，提出了很多种用于准确地检测驾驶员打瞌睡或清醒度下降的系统（例如，参照专利文献1及2）。
专利文献1所述的推断装置，基于来自识别器的输出，推断驾驶员的状态是否处于注意力下降的漫不经心状态，其中，识别器将驾驶员的身体信息、与该驾驶员所驾驶的车辆相关的信息作为输入信息。具体来说，该推断装置在基于输出结果的可靠度进行加权处理，在此基础上，将来自识别器的大多数输出结果所示的结果推断为驾驶员的状态。
另外，专利文献2所述的装置基于例如眨眼所需的时间、眼的开闭度等与眼相关的多个特征量，来推断驾驶员感觉的困意的程度。
现有技术文献
专利文献
专利文献1：日本特开2009-301367号公报
专利文献2：日本特开2009-90028号公报
发明内容
发明要解决的问题
在专利文献1所述的装置中，基于来自识别器的输出信息，判断驾驶员的状态。因此，仅停留在判断驾驶员是否处于漫不经心状态的阶段，难以多阶段地推断驾驶员的状态。
专利文献2所述的推断装置能够多阶段地推断驾驶员的状态。然而，驾驶员的状态基本上会连续过渡。因此，如下情况是很罕见的，即：在短时间内从清醒度高的状态过渡到清醒度极端低下的状态，或者在短时间内从清醒度极端低下的状态过渡到清醒的状态。因此，为了准确地推断驾驶员的状态，需要考虑状态推移的连续性。
本发明是鉴于上述的情况而提出的，目的在于，考虑驾驶员的状态连续推移的情况，准确地推断该驾驶员的状态。
用于解决问题的手段
为了达成上述目的，本发明的第一观点的状态推断装置是推断驾驶员的状态的状态推断装置，其具有：
第一识别单元，其将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第一组和第二组中，识别所述驾驶员的状态所属的所述组，
第二识别单元，其将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第三组和第四组中，识别所述驾驶员的状态所属的所述组，
推断单元，其基于所述第一识别单元的识别结果及所述第二识别单元的识别结果，推断所述驾驶员的状态所属的等级，
验证单元，其验证所述推断单元的推断结果，
输出单元，其输出与所述验证单元的验证结果对应的推断结果。
为了达成上述目的，本发明的第二观点的状态推断方法是推断驾驶员的状态的状态推断方法，其包括：
第一识别工序，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第一组和第二组中，识别所述驾驶员的状态所属的所述组，
第二识别工序，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第三组和第四组中，识别所述驾驶员的状态所属的所述组，
推断工序，基于所述第一识别工序的识别结果及所述第二识别工序的识别结果，推断所述驾驶员的状态所属的等级，
验证工序，验证所述推断的结果，
输出工序，输出与所述验证的结果对应的推断结果。
为了达成上述目的，本发明的第三观点的程序使计算机执行如下步骤：
第一识别步骤，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第一组和第二组中，识别所述驾驶员的状态所属的所述组，
第二识别步骤，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第三组和第四组中，识别所述驾驶员的状态所属的所述组，
推断步骤，基于所述第一识别步骤的识别结果及所述第二识别步骤的识别结果，推断所述驾驶员的状态所属的等级，
验证步骤，验证所述推断的结果，
输出步骤，输出与所述验证的结果对应的推断结果。
发明的效果
根据本发明，对基于识别结果推断出的推断结果进行验证。因此，在进行验证时，通过验证例如驾驶员的状态的推移的连续性，能够准确地推断出该驾驶员的状态。
附图说明
图1是第一实施方式的状态推断系统的框图。
图2是表示拍摄装置的配置的图。
图3是用于说明属于各组的等级的图。
图4是第二实施方式的状态推断系统的框图。
图5是用于说明推断装置的动作的流程图。
图6是用于说明推断装置的动作的流程图。
具体实施方式
《第一实施方式》
下面，参照附图来说明本发明的第一实施方式。图1是表示本实施方式的状态推断系统10的概略的结构的框图。例如，状态推断系统10基于驾驶汽车的驾驶员的身体信息，推断驾驶员的状态。该状态的推断，用于推断驾驶员是否因困意或疲劳而处于诱发交通事故的状态。
在本实施方式中，根据日本新能源产业的技术综合开发机构（NEDO）的定义，将驾驶员的状态规定为如下的各等级：将完全不困倦的状态规定为等级1，将有些困倦的状态规定为等级2，将困倦的状态规定为等级3，将很困倦的状态规定为等级4，将极其困倦的状态规定为等级5。由此，推断驾驶员60的状态属于哪一个等级。
如图1所示，状态推断系统10具有拍摄装置20及推断装置30。
拍摄装置20拍摄在座位61上就座的驾驶员60的脸。然后，将通过拍摄而获得的图像转换成电信号，输出至推断装置30。如图2所示，拍摄装置20例如设置于转向柱（handle column）上。然后，调整视角及姿势，以使驾驶员60的脸位于视场中心。
如图1所示，推断装置30具有特征量输出部31、识别部32a、32b、推断值计算部33、状态推断部34、验证部35及推断结果输出部36。
例如，特征量输出部31每隔10秒，从由拍摄装置20输出的图像信息中提取驾驶员60的身体信息，来作为特征量。然后，将提取的特征量输出至识别部32a、32b。具体来说，特征量输出部31基于图像信息，提取驾驶员60的眼皮的张开度a1、单位时间内的眨眼次数a2、从开始眨眼到结束为止的所需时间a3、视线的方向a4、脸的朝向a5等的身体信息。然后，依次输出所提取的身体信息a1～a5，来作为特征量xN（a1、a2、a3、a4、a5）。由此，每隔大致10秒，计算特征量x1（a1、a2、a3、a4、a5）、x2（a1、a2、a3、a4、a5）、……、xN（a1、a2、a3、a4、a5），并将计算结果分别输出至识别部32a、32b。下面，为了方便说明，将特征量xN（a1，a2，a3，a4，a5）表示为xN。此外，N表示1以上的整数。
如图3的表格所示，在本实施方式中，定义了如下四组：由等级1、等级2及等级3构成的第一组；由等级4及等级5构成的第二组；由等级1、等级2、等级3及等级4构成的第三组；由等级5构成的第四组。基于通过在下面说明的识别部32a、32b识别驾驶员60的状态所属的组而获得的结果，来推断驾驶员60的状态。
识别部32a识别驾驶员60的状态是属于由等级1、等级2及等级3构成的第一组，还是属于由等级4及等级5构成的第二组。在输入了特征量xN的情况下，该识别部32a将识别结果αN（x）输出至推断值计算部33。例如，能够使用基于阿达波斯特（AdaBoost）算法的学习后弱分类器（AdaBoostlearned weak identifier），来作为识别部32a。
识别结果αN（x）为，αN（x）的符号表示驾驶员的状态所属的组。例如，在αN（x）的符号为-的情况下，意味着驾驶员的状态属于第一组，在αN（x）的符号为+的情况下，意味着驾驶员的状态属于第二组。
另外，就识别结果αN（x）而言，αN（x）的绝对值|αN（x）|的大小表示识别结果的可靠度。例如，在αN（x）的符号为-的情况下，绝对值|αN（x）|越大，意味着判断为驾驶员的状态属于第一组的可靠度越高。在αN（x）的符号为+的情况下，绝对值|αN（x）|越大，意味着判断为驾驶员的状态属于第二组的可靠度越高。
识别部32b识别驾驶员的状态是属于由等级1、等级2、等级3及等级4构成的第三组，还是属于由等级5构成的第四组。在输入了特征量x的情况下，该识别部32b将识别结果βN（x）输出至推断值计算部33。同样地，例如，能够使用基于阿达波斯特（AdaBoost）算法的学习后弱分类器（AdaBoostlearned weak identifier），来作为识别部32b。
就识别结果βN（x）而言，βN（x）的符号表示驾驶员的状态所属的组。例如，在βN（x）的符号为-的情况下，意味着驾驶员的状态属于第三组，在βN（x）符号为+的情况下，意味着驾驶员的状态属于第四组。
另外，就识别结果βN（x）而言，βN（x）的绝对值|βN（x）|的大小表示识别结果的可靠度。例如，在βN（x）的符号为-的情况下，绝对值|βN（x）|越大，意味着判断为驾驶员的状态属于第三组的可靠度越高。在βN（x）的符号为+的情况下，绝对值|βN（x）|越大，意味着判断为驾驶员的状态属于第四组的可靠度越高。
推断值计算部33依次获取从识别部32a输出的识别结果αN（x）。然后，利用包括最新的识别结果αN（x）的四个识别结果αN（x）、αN-1（x）、αN-2（x）、αN-3（x），执行用下面的数学式（1）表示的计算。由此，计算从识别部32a输出的四个识别结果αN（x）、αN-1（x）、αN-2（x）、αN-3（x）的平均值AVGαN。此外，n为4。
[数学式1]
AVG α N = Σ i = 0 n - 1 α N - i ( x ) n · · · ( 1 )
同样地，推断值计算部33依次获得从识别部32b输出的识别结果βN（x）。然后，利用包括最新的识别结果βN（x）的四个识别结果βN（x）、βN-1（x）、βN-2（x）、βN-3（x），执行用下面的数学式（2）表示的计算。由此，计算从识别部32b输出的四个识别结果βN（x）、βN-1（x）、βN-2（x）、βN-3（x）的平均值AVGβN。
[数学式2]
AVG β N = Σ i = 0 n - 1 β N - i ( x ) n · · · ( 2 )
接着，推断值计算部33通过进行下面的数学式（3）及数学式（4）示出的计算，来计算推断值D34N、D45N。
[数学式3]
D34N=sign(AVGαN)…(3)
[数学式4]
D45N＝sign(AVGβN)…(4)
上述数学式（3）及数学式（4）所包括的sign（X）函数在X的符号为+的情况下，输出1，在AVGαN的符号为-的情况下下，输出-1。另外，在X为0的情况下，输出0。利用上述数学式（1）表示的推断结果D34N、D45N的值为1、-1、0中的某一个，但在本实施方式中，上述数学式（1）的sign函数的变量为0的情况很罕见。因此，不妨认为推断结果D34N、D45N的值为1或-1中的某一个。
状态推断部34基于推断值D34N、D45N及平均值AVGαN、AVGβN，推断驾驶员60的状态。
如上所述，在识别结果αN（x）的符号为-的情况下，意味着驾驶员60的状态属于第一组。另外，在识别结果αN（x）的符号为+的情况下，意味着驾驶员60的状态属于第二组。因此，就利用识别结果αN（x）的平均值AVGαN的符号而决定的推断值D34N而言，在符号为-的情况下，表示驾驶员60的状态属于第一组。并且，在符号为+的情况下，表示驾驶员60的状态属于第二组。
同样地，在识别结果βN（x）的符号为-的情况下，意味着驾驶员60的状态属于第三组。另外，在识别结果βN（x）的符号为+的情况下，意味着驾驶员60的状态属于第四组。因此，就利用识别结果βN（x）的平均值AVGβN的符号而决定的推断值D45N而言，在符号为-的情况下，表示驾驶员60的状态属于第三组。然后，在符号为+的情况下，表示驾驶员60的状态属于第四组。
因此，在推断值D34N为-1，推断值D45N为-1时，能够判断为驾驶员60的状态属于第一组及第三组。参照图3可知，第一组由等级1～3构成，第三组由等级1～4构成。于是，在推断值D34N为-1，推断值D45N为-1的情况下，状态推断部34推断出驾驶员60的状态属于第一组及第三组共同的等级1～3。
另外，在推断值D34N为-1，推断值D45N为1时，能够判断为驾驶员60的状态属于第一组及第四组。然而，参照图3可知，第一组与第四组没有共同的部分。在该情况下，状态推断部34对平均值AVGαN的绝对值|AVGαN|和平均值AVGβN的绝对值|AVGβN|进行比较。然后，基于根据绝对值较大的平均值AVGαN或AVGβN的符号而规定的推断值D34N、D45N，推断驾驶员60的状态所属的组。
例如，在平均值AVGαN的绝对值|AVGαN|比平均值AVGβN的绝对值|AVGβN|大的情况下，状态推断部34推断为驾驶员60的状态属于构成第一组的等级1～3。另一方面，在绝对值|AVGβN|比绝对值|AVGαN|大的情况下，状态推断部34推断为驾驶员60的状态属于构成第四组的等级5。
另外，在推断值D34N为1，推断值D45N为-1时，能够判断为驾驶员60的状态属于第二组及第三组。参照图3可知，第二组由等级4、5构成，第三组由等级1～4构成。于是，在推断值D34N为1，推断值D45N为-1的情况下，状态推断部34推断为驾驶员60的状态属于第二组及第三组共同的等级4。
另外，在推断值D34N为1，推断值D45N为1时，能够判断为驾驶员60的状态属于第二组及第四组。参照图3可知，第二组由等级4、5构成，第四组由等级5构成。于是，在推断值D34N为1，推断值D45N为1的情况下，状态推断部34推断为驾驶员60的状态属于第二组及第四组共同的等级5。
状态推断部34进行上述的推断，将推断结果RSTN输出至验证部35。
[0045]验证部35对状态推断部34的推断结果RSTN进行验证。具体来说，首先，验证部35通过进行下面的数学式（5）示出的计算，计算并输出验证值CLN。
[数学式5]
CLN＝sign(AVGαN|+|AVGβN|-1)…(5)
在从验证部35输出的验证值CLN的值为-1的情况下，推断结果输出部36判断为由状态推断部34推断出的推断结果RSTN的可靠性低，将在推断出该推断结果RSTN之前推断出的推断结果RSTN-1输出至外部装置等。
另一方面，在验证值CLN的值为1的情况下，推断结果输出部36对由状态推断部34推断出的推断结果RSTN和在推断出该推断结果RSTN之前推断出的推断结果RSTN-1进行比较。然后，在判断为驾驶员60所属的等级连续地推移的情况下，将推断结果RSTN输出至外部装置等。另外，在推断结果输出部36对推断结果RSTN和推断结果RSTN-1进行比较的结果为，不能判断为驾驶员60所属的等级连续地推移的情况下，将以前的推断结果RSTN-1输出至外部装置等。
具体来说，在本实施方式中，就驾驶员60的状态而言，可以考虑如下的几种情况：推断为属于等级1～3的情况，推断为属于等级4、5的情况，推断为属于等级4的情况，推断为属于等级5的情况。于是，在例如推断结果RSTN-1为驾驶员60的状态属于等级1～3的推断结果，下一个推断结果RSTN为驾驶员60的状态属于等级4的推断结果的情况下，或者，在下一个推断结果RSTN为驾驶员60的状态属于等级1～3的推断结果的情况下，推断结果输出部36判断为驾驶员60所属的等级连续地推移，将推断结果RSTN输出至外部装置等。
另一方面，在例如推断结果RSTN-1为驾驶员60的状态属于等级1～3的推断结果，下一个推断结果RSTN为驾驶员60的状态属于等级5的推断结果的情况下，推断结果输出部36不能判断为驾驶员60的状态所属的等级连续地推移，将推断结果RSTN-1输出至外部装置等。
由此，外部装置等例如能够基于推断结果，对驾驶员60输出用于防止瞌睡的警报或提醒休息的通知。
如上所述，在本实施方式中，基于多个识别结果α（x）及识别结果β（x）的平均值，计算出推断值D34、D45。然后，基于推断值D34、D45，推断驾驶员60所属的等级。因此，在依次计算识别结果α（x）、β（x）时，即使万一输出了误差大（多）的识别结果，也能够准确地推断驾驶员60所属的等级。
在本实施方式中，通过执行上述数学式（5）示出的计算，来计算验证值CL。然后，基于该验证值CL，修正推断结果RST。具体来说，在基于验证值CL，判断为推断结果RSTN的可靠性低的情况下，输出上一次推断出的推断结果RSTN-1，来作为推断结果RST。由此，能够输出可靠性高的推断结果。
在本实施方式中，对推断结果RSTN和推断结果RSTN-1进行比较，在判断为驾驶员60所属的等级连续地推移的情况下，输出推断结果RSTN。另外，对推断结果RSTN和推断结果RSTN-1进行比较，在没有判断为驾驶员60所属的等级连续地推移的情况下，输出以前的推断结果RSTN-1。因此，能够输出可靠性高的推断结果。
具体来说，驾驶员的状态急速变化是很罕见的，认为驾驶员的状态向某一等级过渡之后，进而向下一个等级过渡为止，最少需要45秒。因此，像本实施方式那样，基于在40秒内采样得到的四个识别结果αN（x）、αN-1（x）、αN-2（x）、αN-3（x）和四个识别结果βN（x）、βN-1（x）、βN-2（x）、βN-3（x），依次推断驾驶员的状态所属的等级，在此情况下，推断出驾驶员的状态所属的等级应该连续地推移。
例如，在推断结果RSTN-1为驾驶员60的状态属于等级1～3的推断结果的情况下，认为下一个推断结果RSTN为驾驶员60的状态属于等级4的推断结果，或驾驶员60的状态属于等级1～3的推断结果。另一方面，在推断结果RSTN-1为驾驶员60的状态属于等级1～3的推断结果的情况下，难以认为下一个推断结果RSTN为驾驶员60的状态属于等级5的推断结果。因此，通过仅输出针对最近的推断结果而具有连续性的推断结果，能够输出可靠性高的推断结果。
《第二实施方式》
接着，一边参照附图，一边说明本发明的第二实施方式。此外，就与第一实施方式相同或者相似的结构，利用相同的附图标记，并且省略或简略说明。
本实施方式的状态推断系统10与第一实施方式的状态推断系统10的不同点在于，推断装置30是通过通常的计算机或微型计算机等来实现的。
图4是表示状态推断系统10的物理的结构的框图。如图4所示，状态推断系统10由拍摄装置20和推断装置30构成，其中，推断装置30由计算机构成。
推断装置30具有CPU（Central Processing Unit：中央处理器）30a、主存储部30b、辅助存储部30c、显示部30d、输入部30e、接口部30f及使上述各部分彼此连接的系统总线30g。
CPU30a根据存储在辅助存储部30c内的程序，执行后述的处理。
主存储部30b构成为包括RAM（Random Access Memory：随机存储器）等，用作CPU30a的作业区域。
辅助存储部30c构成为包括ROM（Read Only Memory：只读存储器）、磁盘、半导体存储器等的非易失性存储器。该辅助存储部30c存储CPU30a所要执行的程序及各种参数等。另外，依次存储包括从拍摄装置20输出的图像信息及CPU30a的处理结果等的信息。
显示部30d具有例如LCD（Liquid Crystal Display：液晶显示器）。然后，显示CPU30a的处理结果。
输入部30e具有输入键和/或定点设备（pointing device）。通过该输入部30e接受操作员的指示，并经由系统总线30g将该指示输出至CPU30a。
接口部30f构成为包括串行接口或LAN（Local Area Network：局域网）接口等。拍摄装置20经由接口部30f而与系统总线30g连接。
图5的流程图与由CPU30a执行的程序的一系列的处理算法对应。下面，一边参照图5，一边针对推断装置30所执行的处理进行说明。此外，在拍摄装置20输出图像信息之后，由CPU30a执行该处理。
在步骤S101中，例如，CPU30a每隔10秒，从由拍摄装置20输出的图像信息中提出驾驶员60的身体信息，来作为特征量xN。
在下一个步骤S102中，CPU30a基于特征量xN，识别驾驶员60的状态是属于由等级1、等级2及等级3构成的第一组，还是属于由等级4及等级5构成的第二组。然后，计算识别结果αN（x）。
同样地，CPU30a基于特征量xN，识别出驾驶员的状态是属于由等级1、等级2、等级3及等级4构成的第三组，还是属于由等级5构成的第四组。然后，计算识别结果βN（x）。
在下一个步骤S103中，CPU30a利用包括最新的识别结果αN（x）的四个识别结果αN（x）、αN-1（x）、αN-2（x）、αN-3（x），执行用上述数学式（1）表示的计算，计算出平均值AVGαN。另外，利用包括最新的识别结果βN（x）的四个识别结果βN（x）、βN-1（x）、βN-2（x）、βN-3（x），执行用上述数学式（2）表示的计算，计算出平均值AVGβN。
在下一个步骤S104中，CPU30a通过进行上述数学式（3）及数学式（4）示出的计算，来计算推断值D34N、D45N。
在下一个步骤S105中，为了计算推断结果RST，CPU30a执行图6的流程图示出的处理。
在最初的步骤S201中，CPU30a判断推断值D34N是否为-1。在推断值D34N为-1的情况下（步骤S201：是），CPU30a执行向步骤S202的过渡。
在步骤S202中，CPU30a判断推断值D45N是否为-1。在推断值D45N为-1的情况下（步骤S202：是），CPU30a执行向步骤S203的过渡，推断为驾驶员60的状态属于等级1～3的某一个。
另外，在步骤S202中，在推断值D45N为1的情况下（步骤S202：否），CPU30a执行向步骤S204的过渡。
在下一个步骤S204中，CPU30a对平均值AVGαN的绝对值|AVGαN|和平均值AVGβN的绝对值|AVGβN|进行比较。然后，在判断为绝对值|AVGαN|较大的情况下（步骤S204：是），CPU30a执行向步骤S205的过渡，推断为驾驶员60的状态属于等级1～3中的某一个等级。另一方面，在判断为绝对值|AVGαN|较小的情况下（步骤S204：否），CPU30a执行向步骤S206的过渡，推断为驾驶员60的状态属于等级4、5中的某一个等级。
另外，在步骤S201中，在推断值D34N为1的情况下（步骤S201：否），CPU30a执行向步骤S207的过渡。
在步骤S207中，CPU30a判断推断值D45N是否为-1。在推断值D45N为-1的情况下（步骤S207：是），CPU30a执行向步骤S208的过渡，推断为驾驶员60的状态属于等级4。另一方面，在推断值D45N为1的情况下（步骤S207：否），CPU30a执行向步骤S209的过渡，推断为驾驶员60的状态属于等级5。
若步骤S203、S205、S206、S208、S209的处理结束，则CPU30a执行向步骤S106的过渡。
在下一个步骤S106中，CPU30a对推断结果RST进行验证。具体来说，CPU30a进行下面的数学式（5）示出的计算，计算验证值CLN。
在下一个步骤S107中，在验证值CLN的值为-1的情况下，CPU30a判断为推断结果RSTN的可靠性低，将在推断出该推断结果RSTN之前推断出的推断结果RSTN-1输出至外部装置等。
另一方面，在验证值CLN的值为1的情况下，CPU30a对推断结果RSTN和在推断出该推断结果RSTN之前推断出的推断结果RSTN-1进行比较。然后，在判断为驾驶员60所属的等级连续地推移的情况下，CPU30a将推断结果RSTN输出至外部装置等。另外，在对推断结果RSTN和推断结果RSTN-1进行比较的结果是不能判断为驾驶员60所属的等级连续推移的情况下，CPU30a将以前的推断结果RSTN-1输出至外部装置等。
如上所述，在本实施方式中，基于多个识别结果α（x）及识别结果β（x）的平均值，计算推断值D34、D45。然后，基于推断值D34、D45，推断出驾驶员60所属的等级。因此，在依次算出识别结果α（x）、β（x）时，即使万一输出了误差大（多）的识别结果，也能够准确地推断驾驶员60所属的等级。
在本实施方式中，通过执行上述数学式（5）示出的计算，来计算验证值CL。然后，基于该验证值CL，修正推断结果RST。具体来说，在基于验证值CL，判断为推断结果RSTN的可靠性低的情况下，输出上一次推断出的推断结果RSTN-1，来作为推断结果RST。由此，能够输出可靠性高的推断结果。
在本实施方式中，对推断结果RSTN和推断结果RSTN-1进行比较，在判断为驾驶员60所属的等级连续地推移的情况下，将推断结果RSTN输出至外部装置等。然后，对推断结果RSTN和推断结果RSTN-1进行比较，在没有判断为驾驶员60所属的等级连续地推移的情况下，将以前的推断结果RSTN-1输出至外部装置等。因此，能够输出可靠性高的推断结果。
以上，针对本发明的实施方式进行了说明，但本发明不限于上述实施方式。例如，在上述实施方式中，针对每隔10秒输出一次特征量xN的情况进行了说明。但不限于此，也可以以小于10秒的间隔输出特征量xN。
在上述实施方式中，针对从驾驶员60的脸的图像中提取特征量的情况进行了说明。但不限于此，也可以利用驾驶员的脉搏、呼吸间隔等的身体信息，来作为特征量。另外，也可以利用与车辆的前进方向正交的方向的加速度等，来作为特征量。
在上述实施方式中，基于数学式（5），计算了验证值CL。该数学式（5）为一个例子，用于计算验证值CL的一般式可以用例如下面的数学式（6）表示。此外，k为常数。
[数学式6]
CLN=sign(|AVGαN|+|AVGβN|-k)…(6)
在上述实施方式中，针对推断装置30具有两个识别部32a、32b的情况进行了说明。但不限于此，推断装置30也可以具有三个以上的识别部。
上述各实施方式的推断装置30的功能能够通过专用的硬件实现，或者通过通常的计算机系统实现。
也可以构成如下的装置：将在第二实施方式中的存储在推断装置30的辅助存储部30c内的程序，保存并配置在记录介质中，通过将该程序安装到计算机内，来执行上述的处理，该记录介质是指，软盘、CD-ROM（CompactDisk Read-Only Memory：只读光盘）、DVD（Digital Versatile Disk：数字光盘）、MO（Magneto-Optical disk：光磁盘）等的利用计算机能够读取的记录介质。
另外，还可以将程序保存在互联网等的通信网络上的规定的服务器装置所具有的磁盘装置等中，例如，使该程序叠加在载波上，下载到计算机等。
另外，可以设置为一边经由通信网络传送程序，一边执行起动。
另外，可以在服务器装置上执行程序的全部或一部分，一边经由通信网络发送/接收与该程序的处理相关的信息，一边执行上述的图像处理。
在OS（Operating System：操作系统）分担并实现上述的功能的情况下，或者，在通过OS和应用软件的共同作用来实现上述的功能的情况下等，可以仅将OS以外的部分保存并配置在介质内，或者，可以下载到计算机等。
本发明能够在不脱离本发明的广义精神和范围的情况下进行实现各种各样的实施方式及变形。另外，上述的实施方式用于说明本发明，但不限定本发明的范围。
本申请是基于在2011年3月3日申请的日本国专利申请2011-47028号而提出的。在本说明书中，参照并加入了日本国专利申请2011-47028号的说明书、权利要求书、附图的全部内容。
工业上的可利用性
本发明的状态推断装置、状态推断方法及程序适用于推断驾驶员的状态。
附图标记说明
10  状态推断系统
20  拍摄装置
30  推断装置
30a CPU
30b 主存储部
30c 辅助存储部
30d 显示部
30e 输入部
30f 接口部
30g 系统总线
31  特征量输出部
32a 识别部
32b 识别部
33  推断值计算部
34  状态推断部
35  验证部
36  推断结果输出部
60  驾驶员
61  座位
α，β 识别结果
D34、D45N 推断结果
RST 推断结果

Claims (8)

1.一种状态推断装置，用于推断驾驶员的状态，其特征在于，
具有：
第一识别单元，其将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第一组和第二组中，识别所述驾驶员的状态所属的所述组，
第二识别单元，其将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第三组和第四组中，识别所述驾驶员的状态所属的所述组，
推断单元，其基于所述第一识别单元的识别结果及所述第二识别单元的识别结果，推断所述驾驶员的状态所属的等级，
验证单元，其验证所述推断单元的推断结果，
输出单元，其输出与所述验证单元的验证结果对应的推断结果。
2.如权利要求1所述的状态推断装置，其特征在于，
所述验证单元，将所述第一识别单元的识别结果的绝对值设为A，将所述第二识别单元的识别结果的绝对值设为B，将常数设为k，执行下面的第一数学式所示的计算，来计算验证值CL，
所述输出单元输出基于所述验证值CL的推断结果，
所述第一数学式是：
CL=sign(A+B-k)。
3.如权利要求1或者2所述的状态推断装置，其特征在于，
所述第一识别单元的输出结果是所述第一识别单元的输出值的平均值，
所述第二识别单元的输出结果是所述第二识别单元的输出值的平均值。
4.如权利要求3所述的状态推断装置，其特征在于，
所述第一识别单元的输出结果及所述第二识别单元的输出结果，是在45秒的期间内输出的输出值的平均值。
5.如权利要求1～4中任一项所述的状态推断装置，其特征在于，
在第一个推断结果所表示的所述等级与在所述第一个推断结果之前输出的第二个推断结果所表示的等级不连续的情况下，所述输出单元输出所述第二个推断结果。
6.如权利要求1～5中任一项所述的状态推断装置，其特征在于，
所述第一识别单元及所述第二识别单元是利用阿达波斯特算法的学习后识别器。
7.一种状态推断方法，用于推断驾驶员的状态，其特征在于，
包括：
第一识别工序，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第一组和第二组中，识别所述驾驶员的状态所属的所述组，
第二识别工序，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第三组和第四组中，识别所述驾驶员的状态所属的所述组，
推断工序，基于所述第一识别工序的识别结果及所述第二识别工序的识别结果，推断所述驾驶员的状态所属的等级，
验证工序，验证所述推断的结果，
输出工序，输出与所述验证的结果对应的推断结果。
8.一种计算机程序，其特征在于，使计算机执行如下步骤：
第一识别步骤，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第一组和第二组中，识别所述驾驶员的状态所属的所述组，
第二识别步骤，将与所述驾驶员相关的特征量作为输入值，在分类有以所述驾驶员的活跃程度为指标而规定的多个等级的第三组和第四组中，识别所述驾驶员的状态所属的所述组，
推断步骤，基于所述第一识别步骤的识别结果及所述第二识别步骤的识别结果，推断所述驾驶员的状态所属的等级，
验证步骤，验证所述推断的结果，
输出步骤，输出与所述验证的结果对应的推断结果。
CN201280011540.9A 2011-03-03 2012-03-02 状态推断装置、状态推断方法 Expired - Fee Related CN103403756B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-047028 2011-03-03
JP2011047028A JP5627511B2 (ja) 2011-03-03 2011-03-03 状態推定装置、状態推定方法及びプログラム
PCT/JP2012/055462 WO2012118206A1 (ja) 2011-03-03 2012-03-02 状態推定装置、状態推定方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103403756A true CN103403756A (zh) 2013-11-20
CN103403756B CN103403756B (zh) 2016-04-13

Family

ID=46758130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280011540.9A Expired - Fee Related CN103403756B (zh) 2011-03-03 2012-03-02 状态推断装置、状态推断方法

Country Status (5)

Country Link
US (1) US9064397B2 (zh)
EP (1) EP2682917A4 (zh)
JP (1) JP5627511B2 (zh)
CN (1) CN103403756B (zh)
WO (1) WO2012118206A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108995653A (zh) * 2018-07-06 2018-12-14 北京理工大学 一种驾驶员驾驶风格识别方法及系统
CN108995654A (zh) * 2018-07-06 2018-12-14 北京理工大学 一种驾驶员状态识别方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
WO2015083393A1 (ja) * 2013-12-03 2015-06-11 株式会社東芝 機器状態推定装置、機器消費電力推定装置、およびプログラム
JP2018195656A (ja) * 2017-05-16 2018-12-06 ソニーセミコンダクタソリューションズ株式会社 半導体装置の製造方法及び半導体装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192551A (ja) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd 開閉眼判定装置
JP2004199386A (ja) * 2002-12-18 2004-07-15 Oki Electric Ind Co Ltd 顔画像合成装置および顔画像の瞬き検出方法
US20090097701A1 (en) * 2007-10-11 2009-04-16 Denso Corporation Sleepiness level determination device for driver
JP2009301367A (ja) * 2008-06-13 2009-12-24 Toyota Motor Corp 運転者状態推定装置
CN101686329A (zh) * 2008-09-22 2010-03-31 索尼株式会社 操作输入设备、操作输入方法和程序
WO2011004641A1 (ja) * 2009-07-09 2011-01-13 アイシン精機株式会社 状態検出装置、状態検出方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192551A (ja) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd 開閉眼判定装置
JP2004199386A (ja) * 2002-12-18 2004-07-15 Oki Electric Ind Co Ltd 顔画像合成装置および顔画像の瞬き検出方法
US20090097701A1 (en) * 2007-10-11 2009-04-16 Denso Corporation Sleepiness level determination device for driver
JP2009301367A (ja) * 2008-06-13 2009-12-24 Toyota Motor Corp 運転者状態推定装置
CN101686329A (zh) * 2008-09-22 2010-03-31 索尼株式会社 操作输入设备、操作输入方法和程序
WO2011004641A1 (ja) * 2009-07-09 2011-01-13 アイシン精機株式会社 状態検出装置、状態検出方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108995653A (zh) * 2018-07-06 2018-12-14 北京理工大学 一种驾驶员驾驶风格识别方法及系统
CN108995654A (zh) * 2018-07-06 2018-12-14 北京理工大学 一种驾驶员状态识别方法及系统

Also Published As

Publication number Publication date
US9064397B2 (en) 2015-06-23
EP2682917A1 (en) 2014-01-08
CN103403756B (zh) 2016-04-13
JP5627511B2 (ja) 2014-11-19
EP2682917A4 (en) 2014-08-20
WO2012118206A1 (ja) 2012-09-07
US20130335228A1 (en) 2013-12-19
JP2012185586A (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
CN103403756A (zh) 状态推断装置、状态推断方法及程序
US10401433B2 (en) Method and apparatus for estimating battery life
JP5444898B2 (ja) 状態検出装置、状態検出方法及びプログラム
US20120215391A1 (en) Processor-controlled access authorization and battery management system for electric vehicles
CN112200046B (zh) 驾驶行为识别方法、装置、电子设备及存储介质
Alvarez et al. Evaluating the effect of a driver’s behaviour on the range of a battery electric vehicle
CN105993036A (zh) 一种自助终端的业务处理方法及系统
CN113723967A (zh) 一种业务风险分析方法、装置及设备
CN112906139A (zh) 车辆故障风险评估方法、装置、电子设备及存储介质
CN114987555B (zh) 自动驾驶纵向异常状态确定方法、装置、电子设备及介质
CN112149908A (zh) 车辆驾驶预测方法、系统、计算机设备及可读存储介质
CN113423063A (zh) 基于车载t-box的车辆监控方法、装置、车辆及介质
CN108694588B (zh) 虚拟资源请求方法及终端设备
CN112559996B (zh) 一种动态认证的风险检测方法及其系统
US20120166335A1 (en) Transaction integrity
CN107963056B (zh) 一种新能源客车远程锁车加锁与解锁的控制方法
CN111523099A (zh) 基于压力轨迹的授权验证方法、装置及可读存储介质
US20220172212A1 (en) Device and method for detecting a fraudulent financial transaction
CN111260912B (zh) 车辆编队的处理方法及装置
CN104361349A (zh) 基于车检器和收费数据融合的异常交通状态识别方法及系统
De Winter et al. Pitfalls of statistical methods in traffic psychology
CN116704481A (zh) 汽车疲劳驾驶监控方法、电子设备及存储介质
CN114626860B (zh) 用于线上商品支付的身份动态识别方法及装置
CN116834605B (zh) 电池包的状态监控管理方法、装置、设备及存储介质
CN118446651A (zh) 用车安全评价方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160516

Address after: Japan's Aichi

Patentee after: Aisin Seiki Co., Ltd.

Address before: Japan's Aichi

Patentee before: Aisin Seiki Co., Ltd.

Patentee before: Kawano Takashi

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160413

Termination date: 20210302