CN111344762B - 异常检测装置和异常检测方法 - Google Patents

异常检测装置和异常检测方法 Download PDF

Info

Publication number
CN111344762B
CN111344762B CN201780096747.3A CN201780096747A CN111344762B CN 111344762 B CN111344762 B CN 111344762B CN 201780096747 A CN201780096747 A CN 201780096747A CN 111344762 B CN111344762 B CN 111344762B
Authority
CN
China
Prior art keywords
sensor information
unit
candidate
information
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780096747.3A
Other languages
English (en)
Other versions
CN111344762A (zh
Inventor
田口进也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111344762A publication Critical patent/CN111344762A/zh
Application granted granted Critical
Publication of CN111344762B publication Critical patent/CN111344762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

第1候选判定部(4)判定所取得的传感器信息是否在正常范围内。第2候选判定(5)判定在存储有正常状态时的传感器信息和设备信息的组合的学习数据库(1)中是否存在与所取得的传感器信息和设备信息的组合一致的内容。复位判定部(6)判定在存储有正常状态时的传感器信息或设备信息的行动模式数据库(2)中是否存在与所取得的传感器信息或设备信息一致的内容。在第1候选判定部(4)判定为不在正常范围内的情况下,如果第2候选判定部(5)判定为存在,则确定部(7)确定正常状态,如果第2候选判定部(5)和复位判定部(6)判定为不存在,则确定部(7)确定异常状态。在第1候选判定部(4)判定为不在正常范围内的情况下,如果第2候选判定部(5)判定为不存在且复位判定部(6)判定为存在,则更新部(8)将所取得的传感器信息和设备信息的组合登记到学习数据库(1)。

Description

异常检测装置和异常检测方法
技术领域
本发明涉及检测异常状态的产生的异常检测装置。
背景技术
公知有检测异常状态的产生并发出警报等的装置。这种装置构成为在人突然失去意识的情况下或可疑人员进入的情况下等,检测到产生了异常状态。作为这种装置的具体例,例如可举出驾驶员监视系统(以下称作“DMS”)。DMS感测驾驶员的状态,以防止由于驾驶员的身体状况不良等而引起的交通事故,近年来急速进行开发。关于DMS,针对如下功能的期待较高:检测驾驶员由于急病或瞌睡等而失去意识并导致不能驾驶的异常状态的产生,进行警报的输出或基于自动驾驶的安全停止等。
例如在专利文献1中记载有如下的不能驾驶状态检测装置:利用检测安全带的拉出量的安全带传感器、检测驾驶席的压力分布的座面传感器和拍摄驾驶席的驾驶员摄像机,检测驾驶员的不能驾驶状态。专利文献1的不能驾驶状态检测装置根据驾驶员的头部位置检测不能驾驶状态。此外,专利文献1的不能驾驶状态检测装置在误检测到驾驶员处于不能驾驶状态的情况下,学习此时的驾驶员的姿态。而且,专利文献1的不能驾驶状态检测装置针对已学习的姿态,不会判定为不能驾驶状态。
现有技术文献
专利文献
专利文献1:日本特开2016-9255号公报
发明内容
发明要解决的课题
在检测异常状态的产生的异常检测装置中,要求高精度地判别异常状态和正常状态。
上述专利文献1的不能驾驶状态检测装置学习误检测时的驾驶员的姿态,因此,学习探头驾驶或托腮驾驶等中的驾驶员的姿态作为正常状态。但是,探头驾驶或托腮驾驶等中的驾驶员的姿态与驾驶员失去意识等而倒下时的姿态相似,令人困惑。因此,在驾驶员失去意识等而真的倒下的情况下,上述专利文献1的不能驾驶状态检测装置也视为已学习的姿态而判定为正常状态。
这样,在将已学习的姿态视为正常状态的现有装置中,异常状态和正常状态的判别精度较低。
本发明正是为了解决上述这种课题而完成的,其目的在于,得到能够提高异常状态和正常状态的判别精度的异常检测装置。
用于解决课题的手段
本发明的异常检测装置具有:取得部,其取得表示人物的状态的传感器信息和表示设备的状态的设备信息;第1候选判定部,其判定所取得的传感器信息是否在正常范围内;第2候选判定部,其判定在存储有正常状态时的传感器信息和设备信息的组合的学习数据库中是否存在与所取得的传感器信息和设备信息的组合一致的内容;复位判定部,其判定在存储有正常状态时的传感器信息或设备信息的行动模式数据库中是否存在与所取得的传感器信息或设备信息一致的内容;确定部,在由第1候选判定部判定为传感器信息不在正常范围内的情况下,如果由第2候选判定部判定为存在一致的内容,则确定部确定为处于正常状态,如果由第2候选判定部和复位判定部判定为不存在一致的内容,则确定部确定为处于异常状态;以及更新部,在由第1候选判定部判定为传感器信息不在正常范围内的情况下,如果由第2候选判定部判定为不存在一致的内容且由复位判定部判定为存在一致的内容,则更新部将所取得的传感器信息和设备信息的组合登记到学习数据库。
发明效果
根据本发明,由取得部取得的传感器信息和设备信息的组合根据第1候选判定部、第2候选判定部和复位判定部的判定而登记到学习数据库,用于判别异常状态,因此,异常状态和正常状态的判别精度提高。
附图说明
[图1]是示出实施方式1的异常检测装置的结构的图。
[图2]图2A和图2B是示出实施方式1的异常检测装置的硬件结构例的图。
[图3]是示出实施方式1的异常检测装置的处理的一例的流程图。
[图4]图4A是示出正常范围内的驾驶员的面部的位置的一例的图,图4B是示出正常范围内的驾驶员的面部的位置和前倾的驾驶员的面部的位置的一例的图。
[图5]图5A是示出行驶开始时点的学习数据库的一例的表,图5B是示出从开始行驶起1分钟后的学习数据库的一例的表,图5C是示出更新图5B时的学习数据库的一例的表。
[图6]是示出行动模式数据库的条件的一例的表。
[图7]图7A是示出图5C所示的学习数据库的驾驶员的面部的位置的图,图7B是示出前倾倒下的驾驶员的面部的位置的一例的图。
具体实施方式
下面,为了更加详细地说明本发明,按照附图对用于实施本发明的方式进行说明。
实施方式1
图1是示出实施方式1的异常检测装置10的结构的图。在实施方式1中,设异常检测装置10搭载于车辆并检测该车辆的驾驶员的异常状态来进行说明。
异常检测装置10具有学习数据库1、行动模式数据库2、取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8。此外,异常检测装置10与传感器11和车辆设备12连接。
传感器11生成表示车辆的驾驶员的状态的传感器信息,将其输出到异常检测装置10。传感器11例如检测驾驶员的面部或眼睛的位置,将表示驾驶员的面部或眼睛的位置的传感器信息输出到异常检测装置10。该情况下,传感器11例如具有设置于车辆内的可视摄像机或红外线摄像机、以及对这些摄像机的拍摄图像进行分析的图像分析装置。作为传感器11具有的摄像机,可以将多个摄像机设置于车辆内。此外,传感器11也可以在摄像机和图像分析装置的基础上,还具有设置于车辆内的麦克风和语音识别装置,对驾驶员等乘员的讲话语音进行语音识别并将其包含在传感器信息中。
此外,传感器11可以是生成表示驾驶员的心率或血压等的传感器信息的活体传感器,也可以是设置于驾驶席的感压传感器。
车辆设备12生成表示设备的状态的设备信息,将其输出到异常检测装置10。车辆设备12例如是方向盘、油门、制动器、齿轮、汽车空调、车载导航装置、速度计、加速度计、温度计、湿度计或GPS(Global Positioning System:全球定位系统)装置。车辆设备12输出方向盘、油门、制动器或齿轮的操作信息,汽车空调或车载导航装置的操作信息,或车速、温度、湿度或行驶轨迹这样的车辆自身的信息作为设备信息。
利用异常检测装置10的取得部3取得传感器11输出的传感器信息和车辆设备12输出的设备信息。取得部3将取得的传感器信息和设备信息输出到第1候选判定部4、第2候选判定部5、复位判定部6和更新部8。
学习数据库1存储有正常状态时的传感器信息和设备信息的组合。此外,在学习数据库1中,传感器信息和设备信息的组合也可以与将该组合存储到学习数据库1的时刻一起进行存储。在如实施方式1那样异常检测装置10搭载于车辆的情况下,具体而言,正常状态是指驾驶员不处于急病或瞌睡等的状态而处于能够正常驾驶的状态。
行动模式数据库2存储有正常状态时的传感器信息或设备信息。行动模式数据库2中存储的传感器信息或设备信息是明确可知处于正常状态的信息,例如是符合以下这种条件的信息。即,可以说在行动模式数据库2中存储有一般认为的正常状态下的行动模式。
·示出睁着眼睛达第1设定时间以上
·示出在停车场完成驻车
·示出利用车载导航装置选择了乐曲
·示出设定了汽车空调的温度
·示出驾驶员和助手席的人物面带微笑地进行会话
·示出右转或左转完成时的行驶轨迹
在行动模式数据库2中,例如在产品出厂时的时点预先登记有符合上述这种条件的传感器信息或设备信息。或者,异常检测装置10的用户也可以在每次使用异常检测装置10时手动设定行动模式数据库2。
第1候选判定部4判定由取得部3取得的传感器信息是否在正常范围内。例如,在由取得部3取得的传感器信息是表示驾驶员的面部的位置的信息的情况下,第1候选判定部4判定从正常驾驶时的驾驶员的面部的位置偏离多少。然后,如果存在第1设定值以上的偏离,则第1候选判定部4判定为由取得部3取得的传感器信息不在正常范围内,如果是小于第1设定值的偏离,则第1候选判定部4判定为由取得部3取得的传感器信息在正常范围内。
第1候选判定部4将判定结果输出到确定部7。
第2候选判定部5判定学习数据库1中存储的传感器信息和设备信息的组合中是否存在与由取得部3取得的传感器信息和设备信息的组合一致的内容。详细情况容后再述。另外,“一致”不限于严格的一致,只要相似到可视为实质上一致的程度,就判定为一致。在复位判定部6的判定中也是同样的。
第2候选判定部5将判定结果输出到确定部7。
复位判定部6判定行动模式数据库2中存储的传感器信息或设备信息中是否存在与由取得部3取得的传感器信息或设备信息一致的内容。
复位判定部6将判定结果输出到确定部7。
确定部7根据第1候选判定部4、第2候选判定部5和复位判定部6的判定结果,确定是正常状态还是异常状态。
更新部8根据第1候选判定部4、第2候选判定部5和复位判定部6的判定结果,从确定部7接受指示,将由取得部3取得的传感器信息和设备信息的组合登记到学习数据库1。这样,在学习数据库1中登记有异常检测装置10作为正常状态时的传感器信息和设备信息的组合而学习到的传感器信息和设备信息的组合。
接着,使用图2A和图2B对异常检测装置10的硬件结构例进行说明。
异常检测装置10的取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8通过处理电路实现。即,异常检测装置10具有用于取得传感器信息和设备信息并检测异常状态的产生的处理电路。该处理电路可以如图2A所示是专用硬件,也可以如图2B所示是执行存储器中存储的程序的CPU(Central Processing Unit:中央处理单元)。CPU也被称作中央处理装置、处理装置、运算装置、微处理器、微计算机、处理器或DSP(Digital Signal Processor:数字信号处理器)。
此外,学习数据库1和行动模式数据库2使用HDD(Hard Disk Drive:硬盘驱动器)104实现。另外,学习数据库1和行动模式数据库2不限于HDD,与后述的存储器102同样地,也可以使用DVD(Digital Versatile Disc:数字多功能盘)等实现。
此外,异常检测装置10具有用于与外部的设备或外部的软件进行通信的输入接口装置105和输出接口装置106。
图2A是示出利用作为专用硬件的处理电路101实现取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能时的硬件结构例的图。处理电路101例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific Integrated Circuit:面向特定用途的集成电路)或FPGA(FieldProgrammable Gate Array:现场可编程门阵列)或者对它们进行组合而得到的部件。可以组合单独的处理电路101来实现取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能,也可以利用一个处理电路101实现各部的功能。
图2B是示出利用执行存储器102中存储的程序的CPU103实现取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能时的硬件结构例的图。该情况下,取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能通过软件、固件或软件与固件的组合来实现。软件和固件被记述为程序,存储在存储器102中。CPU103读出并执行存储器102中存储的程序,由此实现取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能。即,异常检测装置10具有存储器102,该存储器102用于存储结果是执行后述图3的流程图所示的步骤ST1~ST8的程序等。此外,也可以说这些程序使计算机执行取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的步骤或方法。CPU103也可以具有一次高速缓冲存储器、二次高速缓冲存储器等多个高速缓冲存储器。此外,这里,存储器102例如是RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、闪存、EPROM(Erasable Programmable ROM:可擦除可编程只读存储器)或EEPROM(Electrically Erasable Programmable ROM:电可擦除可编程只读存储器)等非易失性或易失性半导体存储器,或磁盘、软盘、光盘、高密度盘、迷你盘或DVD等盘状的记录介质等。
另外,关于取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能,也可以利用专用硬件实现一部分,利用软件或固件实现一部分。例如,关于取得部3,利用作为专用硬件的处理电路实现其功能,关于第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8,处理电路读出并执行存储器中存储的程序,由此能够实现其功能。
这样,处理电路能够通过硬件、软件、固件或它们的组合实现上述取得部3、第1候选判定部4、第2候选判定部5、复位判定部6、确定部7和更新部8的各部的功能。
接着,使用图3所示的流程图对如上所述构成的异常检测装置10的处理的一例进行说明。下面,以传感器11具有摄像机且作为人物的状态而输出表示驾驶员的面部的位置的传感器信息的情况为例进行说明。
例如当车辆的发动机接通时,此后周期性地进行图3的流程图所示的处理。
下面,首先对作为处理流程而包含针对学习数据库1的登记处理的“正常状态数据收集阶段”进行说明,接着,对作为处理流程而未达到针对学习数据库1的登记处理的“异常检测阶段”进行说明。
取得部3从传感器11取得传感器信息,从车辆设备12取得设备信息(步骤ST1)。取得部3将取得的传感器信息和设备信息输出到第1候选判定部4、第2候选判定部5、复位判定部6和更新部8。
另外,取得部3还进行如下处理:将某个固定期间例如车辆的发动机接通而开始行驶起的1分钟视为正常状态,将该期间内取得的传感器信息登记到学习数据库1。例如,设在从开始行驶起的1分钟内得到图4A所示的表示高密度的面部的位置的分布A的传感器信息。该情况下,关于行驶开始时点的学习数据库1,作为一例,如图5A所示,但是,在从开始行驶起1分钟后,作为一例,如图5B所示。这样登记的传感器信息表示传感器信息的正常范围。另外,表示一般认为正常的驾驶员的面部的位置的传感器信息例如也可以在产品出厂时的时点预先默认地登记到学习数据库1,而不通过取得部3进行登记。
接着,第1候选判定部4判定由取得部3取得的传感器信息是否在正常范围内(步骤ST2)。第1候选判定部4将判定结果输出到确定部7。
例如,当驾驶员进行探头驾驶等而前倾且驾驶员的面部的位置移动时,在传感器信息中示出图4B所示的面部的位置的分布C。第1候选判定部4在学习数据库1中作为正常范围存储的面部的位置的分布A与面部的位置的分布C之间计算分布之间的距离,在分布C从分布A偏离第1设定值以上的情况下,判定为由取得部3取得的传感器信息不在正常范围内。
另外,取得部3取得的传感器信息不限于驾驶员的面部的位置,也可以还表示驾驶员的眼睛的睁眼度、驾驶员的面部运动的速度和方向、驾驶员的面部的朝向和驾驶员的面部的表情等。该情况下,第1候选判定部4利用将驾驶员的面部的位置、驾驶员的眼睛的睁眼度、驾驶员的面部运动的速度和方向、驾驶员的面部的朝向和驾驶员的面部的表情等作为特征量的多维空间中的向量空间计算分布之间的距离并进行判定即可。
在由第1候选判定部4判定为传感器信息不在正常范围内的情况下(步骤ST2:否),第2候选判定部5判定在学习数据库1中存储的传感器信息和设备信息的组合中是否存在与由取得部3取得的传感器信息和设备信息的组合一致的内容(步骤ST3)。第2候选判定部5将判定结果输出到确定部7。另外,步骤ST3的处理的详细情况在后述“异常检测阶段”中进行叙述,这里,设由第2候选判定部5判定为不存在一致的内容(步骤ST3:否),继续进行说明。
在由第2候选判定部5判定为不存在一致的内容的情况下(步骤ST3:否),复位判定部6判定在行动模式数据库2中存储的传感器信息或设备信息中是否存在与由取得部3取得的传感器信息或设备信息一致的内容(步骤ST4)。另外,复位判定部6可以在由取得部3取得的传感器信息或设备信息与行动模式数据库2中存储的传感器信息或设备信息中的任意一方一致的情况下判定为存在一致的内容,也可以在与行动模式数据库2中存储的传感器信息或设备信息中的多个内容一致的情况下判定为存在一致的内容。复位判定部6将判定结果输出到确定部7。
在由复位判定部6判定为存在一致的内容的情况下(步骤ST4:是),确定部7确定为处于正常状态(步骤ST5)。该情况下,确定部7对更新部8发出指示以进行针对学习数据库1的登记处理。
更新部8接受来自确定部7的指示,将由取得部3取得的传感器信息和设备信息的组合登记到学习数据库1(步骤ST6)。由此,图4B所示的表示面部的位置的分布C的传感器信息,作为与和该传感器信息一起由取得部3取得的设备信息的组合而新登记到学习数据库1。例如,如果表示面部的位置的分布C的传感器信息与表示制动频度高且方向盘向左操作的设备信息一起由取得部3取得,则如图5C所示,两个信息在关联起来的状态下登记到学习数据库1。
另外,更新部8在从取得部3接受传感器信息和设备信息后,在第1候选判定部4和第2候选判定部5进行判定处理的期间内,不将这两个信息登记到学习数据库1,而仅止于暂时保持即高速缓冲。
然后,更新部8在由复位判定部6判定为存在一致的内容时(步骤ST4:是),将暂时保持的传感器信息和设备信息作为正常状态时的传感器信息和设备信息的组合登记到学习数据库1。
此外,在学习数据库1的设备信息中,也可以登记驾驶员进行行动模式数据库2中未存储的类型的行动而得到的设备信息。
例如,在行动模式数据库2中,作为正常状态时的传感器信息或设备信息,存储有符合图6所示的条件的信息。即,在图6的例子中,在行动模式数据库2中未存储符合右转或左转的传感器信息或设备信息。因此,关于右转时或左转时的驾驶员的姿态崩溃,在复位判定部6进行的步骤ST4的处理中,得到符合图6中的例如“示出睁着眼睛达第1设定时间以上”的传感器信息,进行“步骤ST4:是”这样的判定。
然后,在更新部8进行的步骤ST6的处理中,在行动模式数据库2中,如图6所示未存储与制动频度和方向盘操作方向有关的设备信息,但是,在学习数据库1中新登记表示制动频度和方向盘操作方向的设备信息。可以说这样登记的设备信息是由异常检测装置10自动收集到的正常状态下的行动模式。
此外,更新部8例如在由取得部3取得的设备信息表示发动机停止的情况下,删除学习数据库1的一部分或全部。由此,异常检测装置10还能够应对驾驶员变成别的人物的情况。
除了发动机停止以外,更新部8还可以在各种定时进行学习数据库1的删除处理。更新部8例如也可以在通过驾驶席的倾斜调整等而使驾驶席的座席位置移动的情况下,删除全部学习数据库1。此外,更新部8也可以删除从登记到学习数据库1起的时间经过了第2设定时间以上的信息。此外,更新部8也可以在由取得部3取得的传感器信息表示驾驶员的变更的情况下删除学习数据库1。例如,能够根据表示传感器11的面部认证结果的传感器信息判定驾驶员的变更。
此外,在由复位判定部6判定为不存在一致的内容的情况下(步骤ST4:否),确定部7确定为处于异常状态(步骤ST7)。该情况下,不进行针对学习数据库1的登记处理。在确定部7确定为处于异常状态的情况下,可以输出警报,此外,也可以通过自动驾驶对车辆进行控制。
以上说明了“正常状态数据收集阶段”。这样,异常检测装置10学习驾驶员的癖好和座席位置的变化等,逐次更新学习数据库1。
接着,对“异常检测阶段”进行说明。下面,以学习数据库1如图5C所示的情况为例进行说明。此外,在图7A中示出图5C的面部的分布A、B、C。
在步骤ST1之后,在第1候选判定部4判定为由取得部3取得的传感器信息在正常范围内的情况下(步骤ST2:是),确定部7确定为处于正常状态(步骤ST8)。
与此相对,例如设驾驶员失去意识等而陷入异常状态,无法进行制动操作和方向盘操作,并且在驾驶席前倾而倒下,驾驶员的面部的位置移动到图7B的分布D所示的位置。该情况下,在步骤ST1中取得面部的位置示出D的传感器信息和表示无制动操作且无方向盘操作的设备信息。然后,在接下来的步骤ST2中,进行在上述“正常状态数据收集阶段”中说明的处理,由第1候选判定部4判定为传感器信息不在正常范围内。该情况下(步骤ST2:否),第2候选判定部5判定在学习数据库1中存储的传感器信息和设备信息的组合中是否存在与由取得部3取得的传感器信息和设备信息的组合一致的内容(步骤ST3)。
首先,第2候选判定部5从学习数据库1中提取传感器信息与由取得部3取得的传感器信息一致的组合。即,第2候选判定部5从学习数据库1中提取成为以第2设定值以上接近面部的位置分布D的分布的组合。如图7A和图7B所示,分布D与分布C一致,提取图5C所示的分布C和制动频度高且方向盘向左操作这样的组合。另外,根据情况,提取的组合有时不是1组而是多组。
接着,第2候选判定部5判定由取得部3取得的设备信息是否与从学习数据库1中提取出的组合的设备信息一致。由取得部3取得的设备信息表示“无制动操作且无方向盘操作”,提取出的设备信息表示“制动频度高且方向盘向左操作”,因此,判定不一致。该情况下,第2候选判定部5判定为在学习数据库1中存储的传感器信息和设备信息的组合中不存在与由取得部3取得的传感器信息和设备信息的组合一致的内容。
由第2候选判定部5判定为不存在一致的内容时(步骤ST3:否)的处理如上述“正常状态数据收集阶段”中说明的那样。
另一方面,在由第2候选判定部5判定为存在一致的内容的情况下(步骤ST3:是),确定部7确定为处于正常状态(步骤ST8)。
另外,在行动模式数据库2中,不仅存储有正常状态时的传感器信息或设备信息,还存储有异常状态时的传感器信息或设备信息,在步骤ST3中,第2候选判定部5在参照行动模式数据库2而明显处于异常状态的情况下,也可以不参照学习数据库1而指示确定部7确定异常状态。
在行动模式数据库2中,作为异常状态时的传感器信息或设备信息,例如存储有符合以下这种条件的信息。
·示出未检测到驾驶员的眼睛或面部达第3设定时间以上
·示出未进行停止警报的动作
·示出车速为30km/h以上且未进行制动操作
·心率示出异常值
第2候选判定部5在由取得部3取得的传感器信息或设备信息与行动模式数据库2中存储的异常状态时的传感器信息或设备信息中的任意一方或多方一致的情况下,指示确定部7确定异常状态。
此外,第2候选判定部5也可以从学习数据库1中提取设备信息与由取得部3取得的设备信息一致的组合,然后,判定由取得部3取得的传感器信息是否与从学习数据库1中提取出的组合的传感器信息一致,由此进行步骤ST3的判定。
这样,异常检测装置10逐次学习正常状态时的传感器信息和设备信息的组合,将其登记到学习数据库1,在判别异常状态时使用。异常检测装置10通过学习并使用正常状态时的传感器信息和设备信息的组合,能够准确地判别进行探头驾驶或托腮驾驶的情况和驾驶员失去意识等而倒下的情况这样的姿态令人困惑的2种情况。因此,异常检测装置10与上述专利文献1那样学习正常状态时的姿态并在异常状态的判别中使用的情况相比,异常状态和正常状态的判别精度提高。
另外,以上设异常检测装置10搭载于车辆,但是,也可以在以能够与传感器11和车辆设备12进行通信的方式设置于车辆外部的服务器内构筑异常检测装置10。
此外,也可以在以能够与传感器11和车辆设备12进行通信的方式带入车辆中的智能手机和平板终端等便携终端内构筑异常检测装置10。此外,此时,作为传感器11的摄像机,可以利用便携终端具有的摄像机。
此外,以上设异常检测装置10搭载于车辆并检测该车辆的驾驶员的异常状态进行了说明。但是,异常检测装置10也可以用于除此以外的用途。异常检测装置10例如也可以是如下装置:利用设置于家中的监视摄像机、传感器或者设置于空调或冰箱等家电产品的摄像机作为传感器11,并且从各家电产品取得设备信息,由此检测家中产生了异常状态。
例如,更新部8向学习数据库1逐次登记“在位于客厅内的位置E时看电视”等正常状态时的传感器信息和设备信息的组合。在这样登记后,在第1候选判定部4判定为人物位于从传感器信息的正常范围偏离的位置E的情况下,第2候选判定部5从学习数据库1中提取“在位于客厅内的位置E时看电视”这样的组合,但是,此时由取得部3取得的设备信息表示电视的电源断开,进而,在复位判定部6的判定为不一致的情况下,检测为居住者的异常状态例如倒下不动。作为该情况下的行动模式数据库2,考虑预先存储可知居住者处于正常状态的信息,例如符合“示出睁着眼睛达第1设定时间以上”的传感器信息。
此外,例如,在第1候选判定部4判定为人物位于从传感器信息的正常范围偏离的位置E的情况下,第2候选判定部5从学习数据库1中提取“在位于客厅内的位置E时看电视”这样的组合,但是,此时由取得部3取得的设备信息表示电视的电源断开,进而,在复位判定部6的判定为不一致的情况下,检测为可疑人员非法进入。作为该情况下的行动模式数据库2,考虑预先存储可知没有可疑人员且家处于正常状态的信息,例如符合“示出人物面带微笑地进行会话”的传感器信息。
如上所述,根据该实施方式1的异常检测装置10,逐次学习正常状态时的传感器信息和设备信息的组合,将其登记到学习数据库1,在判别异常状态时使用,由此,能够准确地判别进行探头驾驶或托腮驾驶时和失去意识等而倒下时等姿态相似而令人困惑的正常状态和异常状态。因此,异常状态和正常状态的判别精度提高。
此外,异常检测装置10通过逐次更新学习数据库1,能够在抑制过度学习并且适应于检测对象人物的癖好,例如如果是驾驶员则适应于癖好和座席位置的变化等的同时,检测异常状态的产生。
此外,行动模式数据库2不是自动生成的,而是人工手动预先生成的,因此,很难网罗一般认为的正常状态下的全部行动模式。但是,异常检测装置10在学习数据库1中自动登记与正常状态下的行动模式相当的设备信息,由此,能够补充行动模式数据库2来进行处理。
此外,第2候选判定部5从学习数据库1中提取传感器信息与取得的传感器信息一致的组合,在该提取出的组合的设备信息中不存在与取得的设备信息一致的内容的情况下,判定为在学习数据库1中不存在与取得的传感器信息和设备信息的组合一致的内容。这样,第2候选判定部5能够适当地判定在学习数据库1中是否存在一致的组合。
此外,更新部8暂时保持所取得的传感器信息和设备信息,在由第1候选判定部4判定为传感器信息不在正常范围内的情况下,并且由第2候选判定部5判定为不存在一致的内容且由复位判定部6判定为存在一致的内容时,将暂时保持的传感器信息和设备信息的组合登记到学习数据库1。这样,更新部8能够有效地使用异常检测装置10具有的存储区域,并且在适当的时刻登记到学习数据库1。
此外,取得部3取得表示车辆的驾驶员的状态的传感器信息。这样,能够利用异常检测装置10作为检测是否不处于车辆的驾驶员失去意识等异常状态的装置。
另外,本申请能够在其发明范围内进行实施方式的任意结构要素的变形或实施方式的任意结构要素的省略。
产业上的可利用性
如上所述,本发明的异常检测装置能够提高异常状态和正常状态的判别精度,因此,例如适合用作检测车辆的驾驶员的异常状态的装置。
标号说明
1:学习数据库;2:行动模式数据库;3:取得部;4:第1候选判定部;5:第2候选判定部;6:复位判定部;7:确定部;8:更新部;10:异常检测装置;11:传感器;12:车辆设备;101:处理电路;102:存储器;103:CPU;104:HDD;105:输入接口装置;106:输出接口装置。

Claims (5)

1.一种异常检测装置,该异常检测装置具有:
取得部,其取得表示人物的状态的传感器信息和表示设备的状态的设备信息;
第1候选判定部,其判定所述取得的传感器信息是否在正常范围内;
第2候选判定部,其判定在存储有正常状态时的传感器信息和设备信息的组合的学习数据库中是否存在与所述取得的传感器信息和设备信息的组合一致的内容;
复位判定部,其判定在存储有正常状态时的传感器信息或设备信息的行动模式数据库中是否存在与所述取得的传感器信息或设备信息一致的内容;
确定部,在由所述第1候选判定部判定为传感器信息不在正常范围内的情况下,如果由所述第2候选判定部判定为存在一致的内容,则该确定部确定为处于正常状态,如果由所述第2候选判定部和所述复位判定部判定为不存在一致的内容,则该确定部确定为处于异常状态,如果由所述第2候选判定部判定为不存在一致的内容且由所述复位判定部判定为存在一致的内容,则该确定部确定为处于正常状态;以及
更新部,在由所述第1候选判定部判定为传感器信息不在正常范围内的情况下,如果由所述第2候选判定部判定为不存在一致的内容且由所述复位判定部判定为存在一致的内容,则该更新部将所述取得的传感器信息和设备信息的组合登记到所述学习数据库。
2.根据权利要求1所述的异常检测装置,其特征在于,
所述第2候选判定部从所述学习数据库中提取传感器信息与所述取得的传感器信息一致的组合,在该提取出的组合的设备信息中不存在与所述取得的设备信息一致的内容的情况下,判定为在所述学习数据库中不存在与所述取得的传感器信息和设备信息的组合一致的内容。
3.根据权利要求1所述的异常检测装置,其特征在于,
所述更新部暂时保持所述取得的传感器信息和设备信息,在由所述第1候选判定部判定为传感器信息不在正常范围内的情况下,由所述第2候选判定部判定为不存在一致的内容且由所述复位判定部判定为存在一致的内容时,将所述暂时保持的传感器信息和设备信息的组合登记到所述学习数据库。
4.根据权利要求1所述的异常检测装置,其特征在于,
所述取得部取得表示车辆的驾驶员的状态的传感器信息。
5.一种异常检测方法,该异常检测方法具有以下步骤:
取得步骤,取得部取得表示人物的状态的传感器信息和表示设备的状态的设备信息;
第1候选判定步骤,第1候选判定部判定所述取得的传感器信息是否在正常范围内;
第2候选判定步骤,第2候选判定部判定在存储有正常状态时的传感器信息和设备信息的组合的学习数据库中是否存在与所述取得的传感器信息和设备信息的组合一致的内容;
复位判定步骤,复位判定部判定在存储有正常状态时的传感器信息或设备信息的行动模式数据库中是否存在与所述取得的传感器信息或设备信息一致的内容;
确定步骤,在通过所述第1候选判定步骤判定为传感器信息不在正常范围内的情况下,如果通过所述第2候选判定步骤判定为存在一致的内容,则确定部确定为处于正常状态,如果通过所述第2候选判定步骤和所述复位判定步骤判定为不存在一致的内容,则确定部确定为处于异常状态,如果通过所述第2候选判定步骤判定为不存在一致的内容且由所述复位判定步骤判定为存在一致的内容,则确定部确定为处于正常状态;以及
更新步骤,在通过所述第1候选判定步骤判定为传感器信息不在正常范围内的情况下,如果通过所述第2候选判定步骤判定为不存在一致的内容且通过所述复位判定步骤判定为存在一致的内容,则更新部将所述取得的传感器信息和设备信息的组合登记到所述学习数据库。
CN201780096747.3A 2017-11-21 2017-11-21 异常检测装置和异常检测方法 Active CN111344762B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041861 WO2019102525A1 (ja) 2017-11-21 2017-11-21 異常検知装置及び異常検知方法

Publications (2)

Publication Number Publication Date
CN111344762A CN111344762A (zh) 2020-06-26
CN111344762B true CN111344762B (zh) 2022-03-01

Family

ID=66631463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096747.3A Active CN111344762B (zh) 2017-11-21 2017-11-21 异常检测装置和异常检测方法

Country Status (5)

Country Link
US (1) US11195108B2 (zh)
JP (1) JP6687300B2 (zh)
CN (1) CN111344762B (zh)
DE (1) DE112017008148B4 (zh)
WO (1) WO2019102525A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112659892B (zh) * 2021-01-18 2022-11-15 湖南行必达网联科技有限公司 一种车辆异常断电熄火的应急控制方法、装置及车辆
CN113137983B (zh) * 2021-04-30 2023-08-22 深圳市恒星物联科技有限公司 一种自学习的井盖姿态监测方法及监测系统
WO2024100814A1 (ja) * 2022-11-10 2024-05-16 三菱電機株式会社 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238858A (ja) * 2000-02-22 2001-09-04 Genki Boku 運転者状態監視装置
JP2005173635A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ
JP2009175929A (ja) * 2008-01-23 2009-08-06 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
CN101981601A (zh) * 2008-04-11 2011-02-23 三菱电机株式会社 设备状态检测装置、设备状态检测方法、设备状态检测服务器及设备状态检测系统、生活者异常探测装置、生活者异常探测系统及生活者异常探测方法以及设备状态数据库维护服务器
JP2011062465A (ja) * 2009-09-18 2011-03-31 Mitsubishi Motors Corp 運転支援装置
CN103400471A (zh) * 2013-08-12 2013-11-20 电子科技大学 一种驾驶员疲劳驾驶检测系统及检测方法
CN104952210A (zh) * 2015-05-15 2015-09-30 南京邮电大学 一种基于决策级数据融合的疲劳驾驶状态检测系统和方法
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN105931430A (zh) * 2016-05-25 2016-09-07 惠州华阳通用电子有限公司 用于驾驶员状态预警系统的报警灵敏度检测方法及装置
CN106663377A (zh) * 2014-06-23 2017-05-10 株式会社电装 驾驶员的驾驶不能状态检测装置
CN107248263A (zh) * 2017-08-08 2017-10-13 京东方科技集团股份有限公司 一种疲劳驾驶检测系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US9734685B2 (en) * 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
JP6364997B2 (ja) * 2014-06-23 2018-08-01 株式会社デンソー ドライバの運転不能状態検出装置
JP6409699B2 (ja) 2015-07-13 2018-10-24 トヨタ自動車株式会社 自動運転システム
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
US10457165B2 (en) * 2017-02-27 2019-10-29 Toyota Motor Engineering & Manufacturing North America Inc. Providing a notification to an occupant using a vehicle seat

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238858A (ja) * 2000-02-22 2001-09-04 Genki Boku 運転者状態監視装置
JP2005173635A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ
JP2009175929A (ja) * 2008-01-23 2009-08-06 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
CN101981601A (zh) * 2008-04-11 2011-02-23 三菱电机株式会社 设备状态检测装置、设备状态检测方法、设备状态检测服务器及设备状态检测系统、生活者异常探测装置、生活者异常探测系统及生活者异常探测方法以及设备状态数据库维护服务器
JP2011062465A (ja) * 2009-09-18 2011-03-31 Mitsubishi Motors Corp 運転支援装置
CN103400471A (zh) * 2013-08-12 2013-11-20 电子科技大学 一种驾驶员疲劳驾驶检测系统及检测方法
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN106663377A (zh) * 2014-06-23 2017-05-10 株式会社电装 驾驶员的驾驶不能状态检测装置
CN104952210A (zh) * 2015-05-15 2015-09-30 南京邮电大学 一种基于决策级数据融合的疲劳驾驶状态检测系统和方法
CN105931430A (zh) * 2016-05-25 2016-09-07 惠州华阳通用电子有限公司 用于驾驶员状态预警系统的报警灵敏度检测方法及装置
CN107248263A (zh) * 2017-08-08 2017-10-13 京东方科技集团股份有限公司 一种疲劳驾驶检测系统

Also Published As

Publication number Publication date
JP6687300B2 (ja) 2020-04-22
US20200234161A1 (en) 2020-07-23
DE112017008148B4 (de) 2021-12-16
DE112017008148T5 (de) 2020-08-27
WO2019102525A1 (ja) 2019-05-31
US11195108B2 (en) 2021-12-07
CN111344762A (zh) 2020-06-26
JPWO2019102525A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
CN111344762B (zh) 异常检测装置和异常检测方法
US10311698B2 (en) Method and device for detecting a tiredness and/or sleeping state of a driver of a vehicle
JP2012121386A (ja) 車載装置
CN106687037A (zh) 用于检测瞬时睡眠的设备、方法和计算机程序
US11810373B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
JP6417962B2 (ja) 情報処理装置、情報処理方法及び記憶媒体
CN106502248B (zh) 一种启动智能车辆的方法及装置
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
CN107025425B (zh) 认证方法和设备以及用于训练识别器的方法和设备
CN116386277A (zh) 疲劳驾驶检测方法、装置、电子设备及介质
US11440554B2 (en) Method and system for determining driver emotions in conjuction with driving environment
KR101611731B1 (ko) 블랙 박스에서 충격 감지 센서에 의해 감지된 잘못된 사고 영상을 구분하는 방법
US20190147271A1 (en) Driver determination apparatus and driver state determination apparatus including driver determination apparatus, method for driver determination and driver state determination, and recording medium
KR101665232B1 (ko) 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법
JP6755095B2 (ja) 余裕度判定装置、余裕度判定方法および運転支援システム
JP6188468B2 (ja) 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム
WO2021064985A1 (ja) 異常状態推定装置および異常状態推定方法
US20230125410A1 (en) Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium
WO2018100675A1 (ja) 混雑状況予測システム、方法及びプログラム
JP2006072429A (ja) 生体情報登録装置および個人認証装置
JP7325687B2 (ja) 眠気推定装置及び眠気推定システム
US20230401898A1 (en) Hand detection device, gesture recognition device, and hand detection method
TWI697914B (zh) 監測系統及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant