CN112016584B - 基于异常检测的注意力下降检测 - Google Patents

基于异常检测的注意力下降检测 Download PDF

Info

Publication number
CN112016584B
CN112016584B CN202010459075.1A CN202010459075A CN112016584B CN 112016584 B CN112016584 B CN 112016584B CN 202010459075 A CN202010459075 A CN 202010459075A CN 112016584 B CN112016584 B CN 112016584B
Authority
CN
China
Prior art keywords
detection model
score
anomaly detection
driving
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010459075.1A
Other languages
English (en)
Other versions
CN112016584A (zh
Inventor
胜木孝行
赵堃
吉住贵幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN112016584A publication Critical patent/CN112016584A/zh
Application granted granted Critical
Publication of CN112016584B publication Critical patent/CN112016584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及基于异常检测的注意力下降检测。公开了一种计算机实现的方法。该方法包括准备用于生成指示注意力下降的估计的分数的异常检测模型的基础。异常检测模型具有影响分数的参数。该方法还包括准备训练数据集，每个训练数据包括与个体所执行的活动相关的传感器数据序列。该方法还包括使用训练数据集来优化异常检测模型的参数，使得与较短的累积活动相比，较长的累积活动的分数高。该方法还包括输出异常检测模型的参数，其中具有该参数的异常检测模型用于检测目标个体的注意力下降。

Description

基于异常检测的注意力下降检测
技术领域
本公开总体上涉及注意力下降检测，更具体地涉及使用异常检测来检测个体的注意力下降的技术。
背景技术
在汽车工业中，检测可能造成事故的因素和事件，包括由于疲惫和困倦引起的注意力(精力)下降、危险的驾驶以及设备故障，是一项艰巨的任务。特别地，检测驾驶员的注意力下降越来越受到关注，因为它有助于防止交通事故、对驾驶员的健康损害，并且有助于执行安全驾驶诊断。驾驶记录仪是汽车中配备的主要灵活IoT(物联网)设备之一。
发明内容
根据本发明的实施例，提供了一种计算机实现的方法。该方法包括准备用于生成指示注意力下降的估计的分数的异常检测模型的基础，其中异常检测模型具有影响分数的参数。该方法还包括准备训练数据集，每个训练数据包括与个体所执行的活动相关的传感器数据序列。该方法还包括使用训练数据集来优化异常检测模型的参数，使得与较短的累积活动相比，较长的累积活动的分数高。该方法还包括输出异常检测模型的参数，其中具有该参数的异常检测模型用于检测目标个体的注意力下降。
根据本发明的其他实施例，提供了一种计算机实现的方法。该计算机实现的方法包括准备用于生成指示注意力下降的估计的分数的异常检测模型。异常检测模型具有影响分数的参数并且已使用训练数据集进行了优化，使得与较短的累积活动相比，较长的累积活动的分数高。该计算机实现的方法还包括接收输入数据，该输入数据包括与目标个体所执行的活动相关的传感器数据。该计算机实现的方法还包括使用具有所述参数的异常检测模型来计算输入数据的分数。该计算机实现的方法还包括基于所述分数输出结果。
本文中还描述并要求保护与本发明的一个或多个方面相关的计算机系统和计算机程序产品。
通过本发明的技术实现了附加的特征和优点。本文中详细描述了本发明的其他实施例和方面，并且将其视为所要求保护的发明的一部分。
附图说明
在本说明书的结尾处的权利要求书中特别指出并明确要求保护被视为本发明的主题。根据以下结合附图的详细描述，本发明的前述和其他特征和优点将变得清楚，其中：
图1图示了根据本发明的示例性实施例的用于检测目标驾驶员的注意力下降的驾驶员注意力下降检测系统的框图；
图2图示了根据本发明的示例性实施例的用于检测目标驾驶员的注意力下降的模型的详细框图；
图3描绘了根据本发明的示例性实施例的针对驾驶数据计算的每个暂时异常分数和加权异常分数的时间序列的示意图；
图4描绘了注意力下降的驾驶数据与正常驾驶数据的分布之间的比较的示意图：
图5是描绘根据本发明的示例性实施例的用于检测目标驾驶员的注意力下降的处理的流程图；
图6描述了根据本发明的特定实施例的实现了驾驶员注意力下降检测系统的包括汽车和中央计算机系统的系统的示意图；
图7描述了根据本发明的另一个特定实施例的实现了驾驶员注意力下降检测系统的用于监视多辆汽车的汽车监视系统的示意图；并且
图8描绘了根据本发明的一个或多个实施例的计算机系统。
具体实施方式
在下文中，将关于特定实施例描述本发明，但是本领域技术人员将理解的是，以下描述的实施例仅通过示例的方式提及，并且不意图限制本发明的范围。
根据本发明的一个或多个实施例针对用于通过使用异常检测模型从与目标个体所执行的活动相关的传感器数据中检测目标个体的注意力下降的计算机实现的方法、计算机系统和计算机程序产品，其中要检测的注意力下降是驾驶汽车时的目标个体的注意力下降，并且传感器数据中反映的活动是目标个体所执行的驾驶。
在下文中，将首先参考图1、2、3和4描述根据本发明的示例性实施例的用于检测目标驾驶员的注意力下降的计算机系统。然后，将参考图5描述根据本发明的示例性实施例的用于检测目标驾驶员的注意力下降的方法。然后，将参考图6和图7描述根据本发明的一个或多个实施例的实现驾驶员注意力下降检测系统的系统的示例性实施例。最后，将参考图8描述根据本发明的一个或多个实施例的计算机系统的硬件配置。
在下文中，参考图1描述根据本发明的示例性实施例的驾驶员注意力下降检测系统100的框图。
如图1所示，驾驶员注意力下降检测系统100包括：传感器102，用于生成传感器信号；输入获取模块120，用于从传感器102获取传感器信号；模型训练模块110，用于训练作为用于注意力下降检测的模型的基础的基础异常检测模型152；以及驾驶数据存储库112，用于存储用于训练基础异常检测模型152的驾驶员(例如各种驾驶员)的驾驶数据的集合。
驾驶员注意力下降检测系统100还包括：权重优化模块130，用于训练包括基础异常检测模型152作为其一部分的加权的异常检测模型150；以及训练数据选择模块132，用于从存储在驾驶数据存储库112中的驾驶数据的集合中选择多个驾驶数据作为训练数据集，该训练数据集被传递给权重优化模块130以用于训练加权的异常检测模型150。
驾驶员注意力下降检测系统100还包括：注意力下降检测模块140，用于基于加权的异常检测模型150执行注意力下降检测；以及输出设备104，用于输出由注意力下降检测模块140完成的注意力下降检测的结果。
传感器102可以包括一个或多个传感器，每个传感器被配置为输出传感器信号。然后，传感器信号被传输到后续的输入获取模块120。由传感器102中的一个传感器生成的传感器信号以模拟信号或者数字信号的形式生成，然而，由输入获取模块120以具有预定采样频率的数字信号的形式获取。
在一个或多个实施例中，任何测量机械特性(诸如惯性、力和位移)的机械传感器、测量物理特性(诸如磁场)的物理传感器以及测量与汽车的驾驶相关的其他特性的其他传感器优选地用作传感器102中的一个传感器。
更具体地，传感器102可以包括从包括以下传感器的组中选择的一个或多个传感器：用于测量一个或多个加速度(例如三轴加速度计的x、y和z加速度)的加速度计；用于测量一个或多个角速度(例如三轴陀螺仪的侧倾、俯仰和偏航轴角速度)的陀螺仪；用于测量(瞬时)车辆速度的速度计；用于测量转向(车轮位置)角的转向角传感器；用于测量纬度、经度、高度、车辆速度和/或车辆航向角的GPS(全球定位系统)传感器；用于测量方位角和/或倾斜度的磁力计，诸如小型微机电系统(MEMS)磁力计；用于测量加速踏板的踩下量和/或踩下速度的加速踏板位置传感器；用于测量节流阀的位置的节流阀位置传感器；以及用于测量制动踏板的踩下量和/或踩下速度的制动踏板位置传感器。
前面提到的传感器中的每个传感器都可以被嵌入任何汽车电子设备中，诸如汽车导航系统和驾驶记录仪。注意，驾驶记录仪包括从汽车售后市场购买并在汽车销售后安装到汽车中的仪表盘相机，以及可以在汽车销售前由制造商安装到汽车中(例如安装在约束系统控制模块中)的事件数据记录仪(event data recorder,EDR)。
驾驶记录仪可用的一个或多个传感器优选地用作传感器102。使用驾驶记录仪可用的数据使得可以以低成本进行检测。
输入获取模块120被配置为获取从传感器102传输的传感器信号以获得驾驶数据。驾驶数据包括与由目标驾驶员执行的驾驶相关的传感器数据序列，然后用于注意力下降检测。注意，目标驾驶员是指要对其执行注意力下降检测的驾驶员。
一个驾驶数据可以包括按时间次序的向量序列(即，时间序列)，其中每个向量是以预定记录频率(例如1Hz)记录的传感器数据。每个向量包括多个传感器变量的值，这些传感器变量的值从包括以下值的组中选择：x、y和z轴的加速度，侧倾、俯仰和偏航轴的角速度，车辆速度，车辆航向角，转向角，纬度，经度，高度，方位角，加速踏板的踩下量和踩下速度，节流阀的位置，制动踏板的踩下量和踩下速度以及从这些记录的值获得的经处理的值。
可以通过处理前面提到的记录的值中的任何一个来获得经处理的值。处理或转换以获得处理值的方式可以包括但不限于微分、积分、计算差值、移动平均值、傅里叶变换，仅举几例。例如，这样的经处理的值包括车速，方位角差值和颠簸。车速是加速度的时间积分。方位角差值是两个时间点之间的方位角的差值，并且与方位角的速度相关。颠簸是轴的加速度的变化率(基于x、y、z轴加速度的颠簸，分别是x、y、z轴加速度的时间导数)。为了从记录的值计算经处理的值，可以使用与每个向量相关联的时间戳。
此外，可以将前面提到的处理或转换多次应用于记录的值。例如，颠簸可以作为车辆速度的二阶时间导数而获得(基于速度的颠簸)。方位角的加速度可以作为方位角的二阶时间导数而获得。而且，经处理的值可以以线性刻度或对数刻度表示。多个轴的分量可以分别被视为向量，或者可以一起被视为向量的幅度或绝对值。此外，每个向量可以优选地包括在不同的定时获得的多个记录的值和/或经处理的值。
除前面提到的经处理的值以外的经处理的值的非限制性示例可以包括：基于速度的加速度，该加速度是车辆速度的时间导数；基于经度和纬度的速度，该速度是经度和纬度的时间导数的向量；以及基于经度和纬度的颠簸，该颠簸是经度和纬度的三阶时间导数的向量。
注意，记录的值和经处理的值这两者可以彼此相关并且互补。例如，汽车的行驶方向的轴的颠簸(x轴加速度的时间导数)与制动踏板和加速踏板的踩下速度相关。虽然不存在组合使用的障碍，但是当加速度可用时，可以省略加速踏板和制动踏板的踩下速度的信息。作为加速度的时间积分的车速以及汽车的行驶方向的轴与由速度计测量到的车辆速度相关。因此，虽然不存在组合使用的障碍，但是当加速度可用时，可以省略由速度计测量到的车辆速度的信息。而且，方位角与转向角相关。因此，虽然不存在组合使用的障碍，但是当方位角可用时，可以省略转向角的信息。
在优选实施例中，使用：基于速度的颠簸(经处理的值)、基于速度的加速度(经处理的值)、基于z加速度的颠簸(经处理的值)的组合；车辆速度(记录的值)，方位角的加速度(经处理的值)，y轴加速度(记录的值)，基于经度和纬度的速度(经处理的值)以及基于经度和纬度的颠簸(经处理的值)。
注意，即使图像数据在仪表板相机中可用，需要更多计算资源(以进行图像处理、声音处理)和/或额外设备(例如面部相机、图像处理电路、麦克风、音频处理电路等)的图像数据、图像相关信息、音频数据、音频相关信息也从驾驶数据中排除。
注意，记录频率可以与传感器102的采样频率不同。在这样的情况下，驾驶数据被配置为具有向量序列，该向量序列具有预定的时间间隔，通过基于与每个向量或者各个采样频率相关联的时间戳来执行插值而跨多个传感器对准。
驾驶数据存储库112被配置为存储多个驾驶数据的集合。存储在驾驶数据存储库112中的驾驶数据的格式可以与由输入获取模块120获取的驾驶数据的格式相同。当将模型150应用于多个驾驶员时，可以从具有不同技能的各种驾驶员获得多个驾驶数据。可能已经从实际在道路上行驶的多个汽车(每个汽车包括与传感器102对应的传感器)收集了各种驾驶员的驾驶数据。此外，当针对本地环境中的特定的目标驾驶员(单个驾驶员或几个驾驶员)(汽车的所有者或用户，他们的家人(诸如配偶、子女和父母)或者他们的组织的成员等)定制模型150时，可以从该目标驾驶员获得多个驾驶数据。当本地环境中的目标驾驶员在道路上驾驶包括传感器102的汽车时，输入获取模块120可以收集该目标驾驶员的驾驶数据。
存储在驾驶数据存储库112中的每个驾驶数据包括由一个驾驶员执行的驾驶片段(episode)，并且包含从驾驶开始到驾驶结束的向量序列。在特定实施例中，可以在引擎起动、引擎停止和(引擎空转的)相对长期停车而不移动的位置处分离行驶数据，在相对长期停车而不移动的期间，驾驶员可以有足够的休息来恢复他/她的注意力，或者驾驶员可以换作可能已经充分休息的不同的驾驶员。注意，引擎停止和起动分别不包括由起动-停止系统关闭引擎和由起动-停止系统重新起动引擎。引擎起动指示新的驾驶片段的开始，并且可以发起对传感器102的传感器信号的记录。引擎停止指示驾驶片段的结束，并且可以终止记录传感器102的传感器信号。作为大约速度为零的长时段出现的引擎空转的长期停车的开始指示驾驶片段的结束，而引擎空转的长期停车的结束指示新的驾驶片段的开始。
模型训练模块110被配置为使用存储在驾驶数据存储库112中的驾驶数据来训练异常检测模型，以准备基础异常检测模型152。基础异常检测模型152是用于注意力下降检测的加权的异常检测模型150的基础，如稍后将更详细描述的。
在特定实施例中，作为没有指示注意力下降(例如疲惫、困倦)的记录的驾驶数据的正常驾驶数据集用于训练基础异常检测模型152。可以在每个驾驶数据中明确地或隐含地给出驾驶员的注意力下降的指示。例如，与明确地指示在驾驶片段期间没有注意力下降的感觉的标签相关联的驾驶数据可以用作正常驾驶数据。而且，驾驶时间小于阈值(例如1小时)的驾驶数据也可以用作正常驾驶数据，因为驾驶员在短时间驾驶中不易疲劳。为了训练基础异常检测模型152，可以优选地使用正常驾驶数据集。然而，不存在使用具有指示注意力下降的记录的驾驶数据的障碍。
基础异常检测模型152是用于针对驾驶数据的给定输入中的每个传感器变量和每个时间点生成暂时异常分数的异常检测模型。基础异常检测模型152是一种无监督模型，因为它不需要区分片段中驾驶员感觉注意力下降(例如疲惫和困倦)的异常区域与驾驶员感觉不到任何注意力下降的正常区域的正确的标签信息。
训练数据选择模块132被配置为从存储在驾驶数据存储库112中的驾驶数据中准备训练数据集。由训练数据选择模块132准备的训练数据用于加权的异常检测模型150的权重优化。基于用于提取至少部分地包含驾驶员可能感觉注意力下降的异常区域的驾驶片段的数据选择条件来选择一个或多个驾驶数据，从而准备训练数据集。
在特定实施例中，具有指示注意力下降(例如疲惫、困倦)的记录的驾驶数据集用于加权的异常检测模型150的权重优化。如上所述，可以在每个驾驶数据中明确地或隐含地给出注意力下降的指示。例如，与明确地指示至少在部分驾驶中感觉注意力下降的标签相关联的驾驶数据可以用作训练数据(驾驶员的自我报告的信息)。而且，驾驶时间大于阈值(用于提取训练数据的阈值可以与用于提取用于训练基础异常检测模型152的正常驾驶数据的阈值相同或不同)的驾驶数据也可以用作训练数据，因为长时间驾驶一般会给驾驶员带来疲劳是常识。此外，还可以使用关于一天中的时间的其他数据选择条件，因为凌晨或午夜驾驶会造成困倦。注意，训练数据的选择不需要指示驾驶员在整个片段中感觉注意力下降的异常区域的正确的标签信息。虽然注意力下降的指示指示至少部分地在驾驶片段期间有注意力下降的感觉，但其不一定指示驾驶员感觉注意力下降的确切的异常区域。
权重优化模块130被配置为使用由训练数据选择模块132选择的训练数据来训练加权的异常检测模型150。加权的异常检测模型150是用于针对驾驶数据的给定输入中的每个时间点在多个传感器变量上生成加权的异常分数的异常检测模型。加权的异常检测模型150所生成的加权的异常分数是指示目标驾驶员的注意力下降的估计的最终分数。加权的异常检测模型150包括基础异常检测模型152作为其一部分，并且具有与基础异常检测模型152相关联的权重作为影响最终分数的参数。
在所描述的实施例中，权重优化模块130被配置为使用训练数据集来对加权的异常检测模型150的权重进行优化，使得与较短的累积驾驶相比，针对较长的累积驾驶计算出的加权的异常分数高。这是基于以下假设：由于长时间驾驶会给驾驶员带来疲劳或困倦，因此在驾驶期间驾驶员的注意力下降随时间逐渐积累。
在所描述的实施例中，通过从驾驶开始到一个时间点的驾驶时间来测量累积驾驶。注意，驾驶时间并不意味着连续行驶而不停止的时间。驾驶时间可以包括短时段的停止，诸如交通信号等待时间。可以通过与一个驾驶数据的序列中的向量相关联的时间戳或索引来比较两个时间点处的驾驶时间。可替代地，通过从驾驶开始到一个位置点的驾驶距离来测量累积驾驶。可以通过沿着从起点到该位置点的路径的距离来比较两点之间的驾驶距离，该距离可以通过车辆速度在时间上的积分或者里程表的值的差(如果可用的话)来测量。虽然提到了驾驶时间和驾驶距离，然而，也可以考虑其他度量，只要它量化累积驾驶的程度即可。
在权重的优化完成之后，权重优化模块130被配置为例如将加权的异常检测模型150的权重输出到存储设备中。由权重优化模块130训练的加权的异常检测模型150将被注意力下降检测模块140用于检测目标个体的注意力下降。
在特定实施例中，在实现系统100的装置(例如驾驶记录仪)的装运之前，在该装置的供应商一侧训练加权的异常检测模型150。因此，加权的异常检测模型150可以在装运之后固定。然而，加权的异常检测模型150可以在装运之后用固件更新来更新。可替代地，可以通过使用在本地环境中获取的新的驾驶数据集来在该装置的用户一侧更新加权的异常检测模型150。例如，每当训练数据可用时就可以更新加权的异常检测模型150的权重(在线学习)。
此外，可以在相同侧或不同侧训练基础异常检测模型152的参数以及与基础异常检测模型152相关联的权重。在特定实施例中，使用从各种驾驶员获得的驾驶数据在供应商一侧训练基础异常检测模型152，并且使用在本地环境中获取的仅目标驾驶员的驾驶数据在用户一侧优化加权的异常检测模型150的权重。
在推断阶段，输入获取模块120被配置为从传感器102获取包括与目标驾驶员所执行的驾驶相关的传感器数据序列的输入驾驶数据，并且将驾驶数据顺序地传递给注意力下降检测模块140。注意，当执行在线学习时，输入驾驶数据也可以用作训练数据。
注意力下降检测模块140被配置为通过响应于以推断模式起动系统100来读取加权的异常检测模型150的参数(包括基础异常检测模型152的参数和与其相关联的权重)来在存储器上准备加权的异常检测模型150。注意力下降检测模块140被配置为从输入获取模块120接收输入驾驶数据，并且使用加权的异常检测模型150针对输入驾驶数据检测注意力下降。更具体地，注意力下降检测模块140被配置为基于加权的异常检测模型150来计算加权的异常分数，并且判断加权的异常分数是否指示注意力下降。在所描述的实施例中，关于加权的异常分数是否指示注意力下降的判断是以基于与加权的异常分数相关的预定检测条件的方式执行的。
输出设备104被配置为基于由注意力下降检测模块140计算出的加权的异常分数来输出注意力下降检测的结果。在特定实施例中，当满足与加权的异常分数相关的预定检测条件时，该结果可以指示针对给定的输入驾驶数据中的一个时间点的注意力下降。注意，当执行在线学习时，针对其检测到注意力下降的输入驾驶数据可以用作训练数据。稍后将描述关于与加权的异常分数相关的预定检测条件的更多细节。在其他实施例中，该结果包括加权的异常分数本身作为注意力下降的风险的估计。
在特定实施例中，注意力下降检测的结果可以是指示已经检测到目标驾驶员的注意力的下降的警报或通知。输出设备104可以是已知输出设备中的任意一个输出设备，已知输出设备包括但不限于显示器、扬声器、指示灯、打印机、存储设备等。警报或通知可以以声音、语音、文本、图像或光图案等的形式发出。
在特定实施例中，可以针对输入驾驶数据作为进行中的片段来进行注意力下降的检测。在这个特定实施例中，输入驾驶数据包括从驾驶开始到检测当时的向量序列，并且针对检测或当时的时间点计算加权的异常分数。因此，可以实时地执行注意力下降的检测。通过在加权的异常分数满足指示检测到注意力下降的预定检测条件时向驾驶员发出警报，变得可以预先防止交通事故。
在其他特定实施例中，可以针对输入驾驶数据作为包括从驾驶开始到驾驶结束的向量序列的完整片段来进行注意力下降的检测。在这个特定实施例中，针对片段中的每个时间点计算加权的异常分数，并且提取或标记检测到注意力下降的一个或多个时段。通过识别驾驶员的注意力下降发生的时段，变得可以在交通事故之后进行更精确的事故分析。
参考图2更详细地描述用于检测目标驾驶员的注意力下降的加权的异常检测模型150。如图2所示，加权的异常检测模型150包括由模型训练模块110训练的基础异常检测模型152以及具有由权重优化模块130优化的权重的加权部分156。
如上所述，每个时间点(t)的传感器数据包括多个传感器变量上的值的集合(s{t}＝{s1 {t},s2 {t},...,sn {t}})，这些值中的每个值与记录的值和经处理的值中的一个值对应。注意，n表示输入向量中的传感器变量的数量。基础异常检测模型152是用于计算每个时间点(t)的多个传感器变量的暂时异常分数集(每个变量的异常分数)(x{t}＝{x1 {t},x2 {t},...,xn {t}})的基础部分。加权部分156是用于使用权重(w＝{w1,w2,...,wn})对暂时异常分数(x{t}＝{x1 {t},x2 {t},...,xn {t}})进行加权以将最终的加权的异常分数生成为暂时异常分数的加权和(z{t}＝wTx{t})的部分。
注意，在所描述的实施例中，基础异常检测模型152所生成的暂时异常分数的数量与输入向量(n)中的传感器变量的数量相同，并且相应地权重的数量与输入向量(n)中的传感器变量的数量相同。然而，基础异常检测模型152所生成的暂时异常分数的数量以及权重的数量可以与输入向量(n)中的传感器变量的数量不同。
在所描述的实施例中，基础异常检测模型152具有使用稀疏结构学习的基于接近度的异常检测模型的架构。驾驶数据序列中的每个向量包括在不同定时(例如t、t-1…)获得的多个记录的值和/或经处理的值，因此考虑了时间上下文。
基于接近度的异常检测模型是基于以下假设的模型：在正常状态下在传感器之间建立某种相关性，而该相关性在异常状态下被破坏。基于接近度的异常检测模型学习正常状态下的传感器的行为。
基础异常检测模型152包括可以使用被相信是正常的驾驶数据来稀疏地对其进行训练的变量依赖性模型，诸如图形高斯模型(graphical gaussian model,GGM)。变量依赖性模型将每个传感器变量的相关异常分数计算为来自传感器变量的暂时异常分数。变量依赖性模型具有可学习的参数，这些参数由模型训练模块110使用存储在驾驶数据存储库112中的正常驾驶数据集来优化。
参考图3描述针对驾驶数据计算的异常分数的时间序列的示意图。在图3中，存在三个曲线图200、210和220。如图3的第一曲线图200所示，存在由基础异常检测模型152计算的暂时异常分数的多个时间序列。如图3的第一曲线图200所描绘的，在暂时异常分数的时间序列中，存在可能与驾驶环境的改变(诸如弯道、左转弯、路况等)有关的相对较大的背景波动。难以在暂时异常分数的时间序列中找到指示驾驶员的注意力下降的清楚的迹象。
为了揭示异常分数的时间序列中的驾驶员注意力下降的不清楚的迹象，将从暂时异常分数集计算出的加权的异常分数定义为指示驾驶员注意力下降的估计的最终分数。作为优化问题，调整权重以揭示加权的异常分数的时间序列中的驾驶员注意力下降的不清楚的迹象。
为了优化权重，如图3的第二曲线图210所示，假设驾驶员的注意力下降由于疲惫或困倦而在驾驶期间随时间逐渐积累。即使幅度和次序关系可能经常破坏，然而，当在一个驾驶片段中的两个时间点202、204处进行比较时，注意力下降由于疲劳的积累而趋于粗略地增加。
权重优化模块130被配置为在前面提到的假设下使用训练数据集来优化加权的异常检测模型150的参数。更具体地，当针对较长的累积驾驶的情况下的时间点计算出的加权的异常分数低于针对较短的累积驾驶的情况下的时间点计算出的加权的异常分数时，通过在优化问题中给予惩罚来优化加权部分156的权重(w＝{w1，w2,...，wn})。
在所描述的实施例中，通过从驾驶开始到给定时间点的驾驶时间来测量累积驾驶。可以通过与一个驾驶数据的序列中的向量相关联的时间戳或索引来比较两个时间点处的驾驶时间。
在图3中，第三曲线图220示出了从针对驾驶数据计算出的多个暂时异常分数得出的加权的异常分数的时间序列的示意图。通过对权重(w)进行优化以使与较短的累积驾驶时间相比较长的累积驾驶时间的加权的异常分数高，期望加权的异常分数的时间序列示出随时间粗略上升的趋势，即使略有增加和减小。
权重(w)的优化问题是从传感器变量的所有暂时异常分数中区分正面影响变量(被认为对驾驶员的疲劳更敏感)和负面(反向)影响变量(被认为与诸如行驶路线的差异、个体驾驶员的驾驶倾向这样的其他驾驶特点而不是驾驶员的疲劳具有更大关系)的任务。如果假设经调整的权重与领域知识一致，则与速度和颠簸(与驾驶员的加速和制动操作相关)相关的传感器变量将被分配较高的权重。而且，与纬度和经度(与行驶路线的差异相关)相关的传感器变量将被分配较低的权重。与转向角和Y轴加速度(与个体驾驶员的驾驶倾向相关)相关的传感器变量将被分配较低的权重。
由于当训练数据的数量巨大时在权重优化期间处理每个训练数据中的两个时间点的所有组合过于资源密集，因此优选地通过对从训练数据集中随机选择的一个训练数据中的一对两个不同时间点进行随机采样来顺序地优化权重。在特定实施例中，随机梯度下降(stochastic gradient descent,SGD)用于高效地执行权重优化。在所描述的特定实施例中，优选地对一个训练数据中的每对两个不同时间点进行采样来进行权重优化。然而，在其他实施例中，也可以对相同驾驶员或不同驾驶员的多个不同训练数据上的一对两个不同时间点进行采样。
在图3的第三曲线图220中，还描绘了关于加权的异常分数(z{t})的阈值(Zthres)。如图3的第三曲线图220所示，如果确定加权的异常分数(z{t})超过阈值(Zthres)，则输出设备104将发出或报告警报，以指示检测的时间点处的驾驶员的注意力下降的可能性。在所描述的实施例中，阈值(Zthres)是与加权的异常分数相关的检测条件，当该检测条件满足时，指示输入驾驶数据出现注意力下降。
加权的异常检测模型150的阈值(Zthres)和/或超参数可以以基于交叉验证技术的方式来确定，其中将所选择的驾驶数据的样本划分为两个子集，使用不同的阈值(Zthres)和/或超参数重复地执行在一个子集(训练集)上训练模型并且在另一个子集(验证集)上验证模型，并且系统选择最大化度量(诸如取决于应用的F测量、准确性、查准率、查全率、特异性)的阈值(Zthres)和/或超参数。
加权的异常检测模型150的超参数可以包括基础异常检测模型152的超参数，权重优化的超参数和/或用于选择训练数据的数据选择条件(例如驾驶时间的阈值、关于一天中的时间的条件、训练数据本身的组合等)，并且可以通过交叉验证技术来确定。
图4描绘了注意力下降的驾驶数据与没有任何注意力下降的正常驾驶数据的分布之间的比较的示意图。可以从验证集中获得图4所示的分布。纵轴表示驾驶数据中的每分钟的警报数量(警报的数量/驾驶时间的长度)，以减轻驾驶长度的影响。
当注意力下降的驾驶数据中的每分钟的警报数量的较低分位数(例如0.2分位数)高于正常驾驶数据中的每分钟的警报的较高分位数(例如0.8分位数)时，可以说注意力下降检测模块140在大多数注意力下降的驾驶数据中发出警报，而在大多数正常驾驶数据中不发出警报。因此，通过对加权的异常检测模型150的阈值(Zthres)和/或超参数进行优化，就每分钟的警报数量而言，注意力下降的驾驶数据的较低分位数(例如0.2分位数)优选地变得高于正常驾驶数据的较高分位数(例如0.8分位数)并与之分开。
而且，在所描述的实施例中，注意力下降检测模块140被描述为使用阈值(Zthres)执行简单的二元分类。获得关于是否检测到驾驶员的注意力下降的结果的这样的简单机制对于实时检测是优选的，尤其是在一般具有有限的计算资源的车载设备中。而且，在这样的简单机制中可以任意地设置阈值(Zthres)。
然而，在与前面提到的情况相比计算资源约束相对更宽松的其他实施例中，不仅预期简单的二元分类，而且预期更复杂的分类模型，包括使用加权的异常分数(以及可选地使用暂时异常分数)作为输入特征的至少一部分以进行后续分类的人工神经网络。
注意，用作基础异常检测模型152的异常检测模型的架构不限于前面提到的基于接近度的异常检测模型。也可以采用其他异常检测模型，诸如动态玻尔兹曼机。
还要注意，在所描述的实施例中，加权的异常检测模型150被描述为具有基础异常检测模型152以及具有权重(w)的加权部分156。然而，在其他实施例中，加权的异常检测模型150中可以包括诸如使用暂时异常分数作为输入特征的至少一部分并计算异常的概率作为最终分数的人工神经网络这样的更复杂的模型，而不是包括加权部分156。在其他实施例中，加权的异常检测模型150可以是根据输入驾驶数据(s{t})及其由权重优化模块130在前面提到的假设下使用训练数据集进行优化的参数来直接计算指示目标驾驶员的注意力下降的估计的最终分数的模型。在这个实施例中，给出初始参数作为用于生成最终分数的异常检测模型的基础。
在特定实施例中，图1中描述的模块110、120、130和140以及模型150中的每一个可以被实现为但不限于：与硬件组件(诸如处理器、存储器等)结合的包括指令和/或数据结构的软件模块；包括电子电路的硬件模块；或者其组合。图1中描述的这些模块110、120、130和140以及模型150可以在诸如个人计算机、服务器机器和装置(诸如汽车和汽车装备)的微控制器这样的单个计算机系统上实现，或者在诸如客户端服务器系统、边缘计算系统、计算机集群这样的多个设备上以分布式方式实现。而且，可以通过使用系统100可以访问的任何内部或外部存储设备或介质来提供驾驶数据存储库112。
在下文中，参考图5所示的流程图描述根据本发明的示例性实施例的用于检测目标驾驶员的注意力下降的处理。注意，图5所示的处理可以由实现图1所示的系统100(模块110、120、130、140和模型150)的处理电路执行。图5所示的处理可以响应于发起注意力下降检测的请求或事件而在步骤S100处开始。
在步骤S101处，处理电路可以通过模型训练模块110使用存储在驾驶数据存储库112中的驾驶数据的集合来训练异常检测模型，以准备用于生成多个传感器变量的暂时异常分数的基础异常检测模型152。在训练完成之后，可以将基础异常检测模型152的参数存储到适当的存储设备中。当基础异常检测模型152在该处理之前已经被训练时，可以通过读取已经使用驾驶数据的集合训练了的基础异常检测模型152的内容(参数)来准备基础异常检测模型152。
在步骤S102处，处理电路可以通过训练数据选择模块132从存储在驾驶数据存储库112中的驾驶数据中选择驾驶数据集，以准备训练数据集来进行权重优化。可以以基于用于提取包括注意力下降时的驾驶的驾驶片段的数据选择条件的方式来选择训练数据集。选择具有指示注意力下降(例如疲惫、困倦)的明确或隐含记录的驾驶数据集用于加权的异常检测模型150的权重优化。
在步骤S103处，处理电路可以通过使用基础异常检测模型152来计算所选择的集合中的每个训练数据中的每个传感器变量和每个时间点(x{t})的暂时异常分数。
在步骤S104处，处理电路可以通过权重优化模块130基于注意力下降随着累积驾驶时间变长而增加的假设来优化加权的异常检测模型150的权重(w)。关于权重(w)的权重优化问题的目标函数表示如下：
其中一对t和u表示一个训练数据中的一对两个时间点，一对x{t}和x{u}表示多个传感器变量的一对对应的两个暂时异常分数集，N表示对的数量，并且λ表示正则化参数。
在前面提到的目标函数中，第一项表示当针对较长的累积驾驶时间的点计算出的加权的异常分数(wTx{t})低于针对较短的累积驾驶时间的点计算出的加权的异常分数(wTx{u})(在t>u的情况下wTx{t}<wTx{u}，而在t<u的情况下wTx{t}>wTx{u})时给出惩罚的惩罚项。在优选实施例中，通过对针对从所选择的训练数据集中随机选择的一个训练数据中的不同定时(t,u)生成的一对加权的异常分数(wTx{t}，wTx{u})进行随机采样来优化权重(w)。在特定实施例中，随机梯度下降(SGD)用于高效的权重优化。第二项表示保持权重(w)小从而使模型更简单并避免过度拟合的正则化项。
在所描述的实施例中，目标函数是合页损失函数，合页损失函数如果具有带足够余量的正确预测则给出零的惩罚。然而，在其他实施例中，也可以采用其他代价函数。在另外的实施例中，目标函数可以被定义为要最大化的奖励函数，而不是使用要最小化的成本函数。在权重优化完成之后，可以将加权的异常检测模型150的优化的权重存储到适当的存储设备中。
当加权的异常检测模型150的权重在该处理之前已经被优化时，可以通过读取已经使用训练数据选择模块132所选择的训练数据集进行了优化的加权的异常检测模型150的内容(权重)来准备权重。
在步骤S105处，处理电路可以接收包括与目标个体所执行的驾驶相关的传感器数据序列的输入驾驶数据(s{t})。在执行实时检测并考虑时间上下文的特定实施例中，从输入获取模块120接收的当前到达的部分被合并为输入驾驶数据的一部分。可替代地，仅使用从输入获取模块120接收的当前到达的部分。在特定实施例中，作为完整的片段给出输入驾驶数据，包括从驾驶开始到驾驶结束的向量序列。可以通过获取传感器102的传感器信号来从输入获取模块120接收输入驾驶数据。可替代地，可以通过网络(例如移动网络和互联网)从驾驶记录仪或汽车接收输入驾驶数据。可替代地，可以通过从存储输入驾驶数据的存储介质中读取输入驾驶数据来接收输入驾驶数据。
在步骤S106处，处理电路可以使用基础异常检测模型152计算输入驾驶数据中的每个传感器变量和每个时间点(x{t})的暂时异常分数。
在步骤S107处，处理电路可以通过注意力下降检测模块140使用加权的异常检测模型150的优化的权重(w)根据暂时异常分数(x{t})的集合针对输入驾驶数据中的每个时间点计算加权的异常分数(z{t})。加权的异常分数被生成为具有权重的多个传感器变量的暂时异常分数的加权和(z{t}＝wTx{t})。
在步骤S108处，处理电路可以通过注意力下降检测模块140判断是否以基于加权的异常分数(z{t})的方式检测到注意力下降。关于是否检测到驾驶员注意力下降的判断可以如下执行：
在步骤S109处，处理电路可以通过输出设备104输出基于分数(z{t})的结果，当满足检测条件时该结果指示驾驶员注意力下降(驾驶员注意力下降＝真)，并且当不满足检测条件时该结果指示没有注意力下降(驾驶员注意力下降＝假)。
在步骤S110处，处理电路可以确定处理是否结束。如果处理电路在步骤S110中确定处理没有结束，则对于输入驾驶数据的后续部分或者其他输入驾驶数据，处理可以循环回到步骤S105。另一方面，如果处理电路在步骤S110中确定处理结束，则处理可以前进到步骤S111以结束该处理。
在用于检测目标驾驶员的注意力下降的处理中，存在三个阶段：(i)基础异常检测模型152的训练阶段(S101)，(ii)权重优化阶段(S102-S104)，以及(iii)使用经训练的基础异常检测模型152和优化的权重来执行注意力下降检测的推断阶段(S105-S110)。在前面提到的实施例中，已经描述了由相同的处理电路执行的三个阶段。然而，基础异常检测模型152的训练阶段(S101)、权重优化阶段(S102-S104)以及推断阶段(S105-110)可以由不同的处理电路执行。例如，训练阶段和优化阶段可以在装置(例如驾驶记录仪)的供应商一侧的计算机系统上执行，而推断阶段在该装置的用户一侧的计算机系统上执行。
参考图6和图7描述根据本发明的一个或多个特定实施例的实现了驾驶员注意力下降检测系统100的包括汽车和中央计算机系统的系统以及汽车监视系统的示意图。
图6描述了实现了驾驶员注意力下降检测系统100的包括汽车160和中央计算机系统180的系统的示意图。汽车160配备有驾驶记录仪170、车辆传感器162以及设备传感器164。车辆传感器162可以包括配备在汽车160中的关于其车辆控制系统的任何传感器。设备传感器164可以包括在配备在汽车160中的汽车装备(诸如汽车导航系统、ETC(电子不停车收费))单元等)中实现的任何传感器。
驾驶记录仪170可以包括包含在驾驶记录仪170本身中实现的任何传感器的记录仪传感器174，以及至少实现图1所示的模型150和模块120、140的设备上计算机系统172。
行驶记录仪170可以获取源自记录仪传感器174、车辆传感器162和设备传感器164的传感器信号。图1所示的传感器102可以包括记录仪传感器174、车辆传感器162和设备传感器164中的任何一个。
在图6所示的特定实施例中，用于推断阶段的驾驶员注意力下降检测系统100的主要组件(包括输入获取模块120、注意力下降检测模块140和加权的异常检测模型150)可以在汽车160中实现，如图1中的断线所指示的。用于基础异常检测模型152的训练阶段以及权重优化阶段的驾驶员注意力下降检测系统100的主要组件(包括模型训练模块110、驾驶数据存储库112、训练数据选择模块132和权重优化模块130)可以在驾驶记录仪170的供应商一侧在中央计算机系统180中实现。然而，在为本地环境中的特定目标驾驶员定制加权的异常检测模型150的其他特定实施例中，至少驾驶数据存储库112(存储从目标驾驶员获得的多个驾驶数据)、训练数据选择模块132和权重优化模块130可以在驾驶记录仪(汽车)的用户一侧实现。模型训练模块110也可以在驾驶记录仪(汽车)的用户一侧实现。
虽然参考图6描述了实现用于推断阶段的驾驶员注意力下降检测系统100的主要组件的设备上计算机系统172，然而，用于推断阶段的计算机系统不限于前面提到的驾驶记录仪170的设备上计算机系统172。计算机系统可以是汽车160的车辆控制系统的车载计算机系统、诸如汽车导航系统和信息娱乐系统的其他汽车装备的设备上计算机系统、以及被带到汽车160中的诸如智能电话或平板计算机的移动计算机系统，仅举几例。
图7描述了实现了驾驶员注意力下降检测系统100的汽车监视系统190的示意图。如图7所示，汽车监视系统190要监视多辆汽车160A～160Z。每辆汽车160被配置为经由包括诸如移动网络的无线网络、传感器网络等的网络192与汽车监视系统190通信。每辆汽车160(或其安装在其上的装备)经由网络192向汽车监视系统190传输从配备在汽车160中的传感器获取的传感器信号。以预定的记录频率记录的驾驶数据的一部分以预定的传输间隔传输到汽车监视系统190。
输入获取模块120可以从多辆汽车160A～160Z收集传感器信号，并且将驾驶数据存储到驾驶数据存储库112中。收集在驾驶数据存储库112中的驾驶数据被模型训练模块110和/或权重优化模块130用来训练基础异常检测模型152和/或优化加权的异常检测模型150的权重。
在图7所示的特定实施例中，除传感器102以外的驾驶员注意力下降检测系统100的主要组件可以在汽车监视系统190中实现，如图1中的点线所指示的。每辆汽车160A～160Z可以具有传感器102以及用于将传感器数据传输到汽车监视系统190的传输设备。
虽然参考图7描述了实现驾驶员注意力下降检测系统100的主要组件并从多辆汽车160接收传感器数据的汽车监视系统190，然而，用于检测目标驾驶员的注意力下降的计算机系统不限于前面提到的汽车监视系统190。例如，计算机系统可以是通过网络连接到一辆或多辆汽车的任何通用计算机系统，或者是可以访问例如可以从驾驶记录仪的存储介质插槽移除的存储输入驾驶数据的存储介质的任何通用计算机。
根据本发明的一个或多个实施例，提供了一种能够基于异常检测模型来检测目标个体的注意力下降的新技术。
该新技术不需要相机(面部图像)，而仅使用来自现代汽车或其标准装备中一般可用的传感器的记录的值。传感器的记录的值的使用将使得能够以低成本进行检测。
可能存在两种朴素的方法；一种基于标准异常检测，另一种基于分类。然而，如下所述，这两种方法均无效。
在一种方法中，检测注意力下降的问题可以被公式化为将检测到的异常视为注意力下降的时间点的标准异常检测。在这种方法中，可以使用正常驾驶数据集来训练异常检测模型，因为可以收集正常驾驶数据(即使包括了一些异常部分)。然而，在这种方法中，检测到可能与驾驶员的注意力下降无关的许多异常，并且难以区分由于驾驶员注意力下降(例如疲惫和困倦)而引起的异常区域与和注意力下降无关而可能是由于道路环境的改变(例如路面水平的差异)引起的其他异常区域。
在另一种方法中，可以将检测注意力下降的问题公式化为分类任务。然而，在这种方法中，因为驾驶员难以在驾驶期间精确地识别其自身的注意力下降，所以难以准备区分驾驶员感觉到注意力下降的异常区域与驾驶员没有感觉到任何注意力下降的正常区域的精确的正确标签信息。
而且，在这种方法中，可以通过将包含驾驶员至少部分地感觉到注意力下降的异常区域的驾驶片段假设为正面示例并且将不包含驾驶员感觉到注意力下降的任何异常区域的驾驶片段假设为负面示例来使用训练数据集训练分类器，因为可以收集包括大致异常区域的驾驶数据。然而，这样的分类器的结果不表示驾驶员注意力下降的估计。尚不清楚该分类器区分什么。这是因为，驾驶员在驾驶片段的整个时段中感觉到注意力下降的驾驶数据很少，而且驾驶员在驾驶片段的整个时段中没有感觉到注意力下降的驾驶数据也很少。因而，正面示例包括被认为是负面示例的示例，而负面示例包括被认为是正面示例的示例。
与前面提到的方法相反，根据前面提到的实施例，以基于驾驶员的注意力下降在驾驶期间随时间逐渐积累的假设的方式提供了通过使用异常检测模型来检测目标驾驶员的注意力下降的实用解决方案。
在上文中，已经描述了用于通过使用异常检测模型从与目标个体所执行的活动相关的传感器数据中检测目标个体的注意力下降的计算机实现的方法、计算机系统和计算机程序产品，其中要检测的注意力下降是目标个体在驾驶汽车时的注意力下降，并且传感器数据中反映的活动是由作为驾驶员的目标个体执行的驾驶。计算机实现的方法、计算机系统和计算机程序产品的前面提到的特征对于检测驾驶期间的注意力下降是优选的，因为个体的疲劳会由于需要个体的注意力的任务而随时间累积，并且驾驶就是一个这样的任务。
然而，根据本发明的一个或多个实施例的计算机实现的方法、计算机系统和计算机程序产品不限于前面提到的驾驶员注意力下降检测系统、过程和程序产品。要驾驶的装置不限于汽车。在其他实施例中，装置可以是任何其他自行式车辆，诸如卡车(或者货车)、公共汽车、摩托车(或者两轮或三轮机动车辆)、重型车辆(包括重型装备)、雪地摩托车、船只、飞机等。在其他实施例中，要驾驶的装置可以是人力车辆，诸如自行车。
在前面提到的实施例中，已经将活动描述为车辆的驾驶。然而，活动不限于目标个体对车辆的驾驶，只要该活动反映在传感器数据中即可。不同于车辆的驾驶的装置的操作也可以作为目标。要操作的装置可以不限于车辆，还预期具有需要人经由适当的接口(例如手柄、变速杆、踏板、操纵杆、刻度盘、旋钮、开关、键等)进行操作以控制与装置(例如装置本身、装置的一部分)相关的运动或者操纵装置的操作状态的机制的其他类型的装置。
此外，在其他实施例中，不同于装置的操作的活动也可以作为目标，只要个体所执行的活动反映在传感器数据中并且该活动与需要个体的注意力的任务相关即可，因为这样的任务的持续会在某种程度上导致精神/身体疲劳。
已经描述了关于根据本发明的一个或多个具体实施例获得的优点，应当理解的是，一些实施例可以不具有这些潜在的优点，并且这些潜在的优点并不是所有实施例都必需的。
计算机硬件组件
现在参考图8，示出了可以用于实现驾驶员注意力下降检测系统100(例如设备上计算机系统172、中央计算机系统180或者汽车监视系统190)的计算机系统10的示例的示意图。图8所示的计算机系统10被实现为计算机系统。计算机系统10仅是合适的处理设备的一个示例，并且不意图对本文中描述的发明的实施例的使用或功能的范围提出任何限制。无论如何，计算机系统10都能够被实现和/或执行以上阐述的任何功能。
计算机系统10可以与许多其他通用或专用计算系统环境或配置一起操作。可以适合与计算机系统10一起使用的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、车载设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型计算机系统、大型机计算机系统以及包括任何以上系统或设备的分布式云计算环境等。
可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般上下文中描述计算机系统10。一般地，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。
如图8所示，计算机系统10以通用计算设备的形式示出。计算机系统10的组件可以包括但不限于处理器(或处理电路)12以及通过包括存储器总线的总线或存储器控制器、以及使用各种总线架构中的任何一种总线架构的本地总线或处理器耦合到处理器12的存储器16。
计算机系统10包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统10访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器16可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30。计算机系统10可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统18可以用于读写不可移动的、非易失性磁介质。存储系统18可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在例如存储系统18中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统10也可以与一个或多个外部设备24(例如键盘、指向设备、汽车导航系统、音响系统等)、显示器26通信，还可与一个或者多个使得用户能与该计算机系统10交互的设备通信，和/或与使得该计算机系统10能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统10还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线与计算机系统10的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统10使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
计算机程序实施方式
本发明可以是计算机系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及传统过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中所使用的术语仅出于描述特定实施例的目的，并不意图限制本发明。如本文中所使用的，单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。还将理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组的存在或添加。
如果有的话，下面的权利要求书中的所有部件或者步骤加功能元素的对应结构、材料、动作和等同物意图包括与如具体要求保护的其他要求保护的元素组合地用于执行功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了本发明的一个或多个方面的描述，但并不意图是穷举的或者将本发明限于所公开的形式。
在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种计算机实现的方法，包括：
准备用于生成指示注意力下降的估计的分数的异常检测模型的基础，所述异常检测模型具有影响所述分数的参数；
准备训练数据集，每个训练数据包括与个体所执行的活动相关的传感器数据序列；
使用所述训练数据集来优化所述异常检测模型的参数，使得与较短的累积活动相比，较长的累积活动的分数高；以及
输出所述异常检测模型的参数，具有所述参数的所述异常检测模型用于检测目标个体的注意力下降。
2.如权利要求1所述的方法，其中，具有所述参数的所述异常检测模型被配置为计算输入数据的分数，所述输入数据包括与所述目标个体所执行的活动相关的传感器数据。
3.如权利要求1所述的方法，其中，通过使用活动数据的集合训练所述异常检测模型来准备所述异常检测模型，所述异常检测模型包括用于计算多个传感器变量的暂时分数的基础部分，以及用于使用所述参数作为权重对所述多个传感器变量的暂时分数进行加权以将所述分数生成为所述多个传感器变量的暂时分数的加权和的加权部分。
4.如权利要求3所述的方法，其中，所述个体所执行的活动是作为驾驶员的所述个体所执行的驾驶，并且由所述异常检测模型检测到的所述目标个体的注意力下降与所述目标个体对机动车辆的驾驶相关。
5.如权利要求4所述的方法，其中，通过驾驶时间或驾驶距离来测量累积活动。
6.如权利要求1所述的方法，其中，通过在针对较长的累积活动的点计算出的第一分数低于针对较短的累积活动的点计算出的第二分数时给出惩罚来优化所述异常检测模型的参数。
7.如权利要求1所述的方法，其中，通过随机采样针对从所述训练数据集中选择的一个训练数据中的不同定时生成的一对分数来优化所述异常检测模型的参数。
8.如权利要求1所述的方法，其中，通过基于数据选择条件选择一个或多个活动数据来准备所述训练数据集，所述数据选择条件用于提取包括所述注意力下降时的活动的片段。
9.如权利要求1所述的方法，其中，所述训练数据中的每个训练数据包括向量序列，每个向量包括从包括以下值的组中选择的多个值：x、y和z轴的加速度，侧倾、俯仰和偏航轴的角速度，车辆速度，车辆航向角，转向角，纬度，经度，高度，方位角，加速踏板的踩下量和踩下速度，节流阀的位置，制动踏板的踩下量和踩下速度，以及从这些值获得的经处理的值。
10.如权利要求1所述的方法，其中，所述异常检测模型具有使用稀疏结构学习的基于接近度的异常检测模型的架构。
11.一种计算机实现的方法，包括：
准备用于生成指示注意力下降的估计的分数的异常检测模型，所述异常检测模型具有影响所述分数的参数，所述参数已经使用训练数据集进行了优化，使得与较短的累积活动相比，较长的累积活动的分数高；
接收包括与目标个体所执行的活动相关的传感器数据的输入数据；
使用具有所述参数的所述异常检测模型来计算所述输入数据的分数；以及
输出基于所述分数的结果。
12.如权利要求11所述的方法，其中，响应于满足与所述分数相关的检测条件，所述结果指示针对所述输入数据的注意力下降的出现。
13.如权利要求12所述的方法，其中，所述检测条件包括关于所述分数的阈值，所述阈值是基于交叉验证而设置的。
14.如权利要求11所述的方法，其中，所述异常检测模型包括：基础部分，用于计算多个传感器变量的暂时分数，使用活动数据的集合进行训练；以及加权部分，用于使用所述参数作为权重对所述多个传感器变量的暂时分数进行加权，以将所述分数生成为所述多个传感器变量的暂时分数的加权和。
15.如权利要求11所述的方法，其中，所述目标个体所执行的活动是作为驾驶员的所述目标个体所执行的驾驶，并且由所述异常检测模型检测到的所述目标个体的注意力下降与所述目标个体对机动车辆的驾驶相关。
16.一种计算机系统，包括：
存储器，有形地存储程序指令；
处理器，与所述存储器通信，其中，所述处理器被配置为通过执行程序指令来执行如权利要求1-15中任意一项所述的方法。
17.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有以其实施的程序指令，所述程序指令能够由计算机执行，以使所述计算机执行如权利要求1-15中任意一项所述的方法。
18.一种系统，所述系统包括分别用于执行如权利要求1-15中任意一项所述的方法的各个步骤的模块。
CN202010459075.1A 2019-05-31 2020-05-27 基于异常检测的注意力下降检测 Active CN112016584B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/427,666 2019-05-31
US16/427,666 US10740634B1 (en) 2019-05-31 2019-05-31 Detection of decline in concentration based on anomaly detection

Publications (2)

Publication Number Publication Date
CN112016584A CN112016584A (zh) 2020-12-01
CN112016584B true CN112016584B (zh) 2024-04-26

Family

ID=71994158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010459075.1A Active CN112016584B (zh) 2019-05-31 2020-05-27 基于异常检测的注意力下降检测

Country Status (2)

Country Link
US (1) US10740634B1 (zh)
CN (1) CN112016584B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562136B2 (en) * 2019-06-11 2023-01-24 International Business Machines Corporation Detecting programming language deficiencies cognitively
US11481267B2 (en) * 2020-05-28 2022-10-25 International Business Machines Corporation Reinforcement learning approach to root cause analysis
CN112036352B (zh) * 2020-09-08 2021-09-14 北京嘀嘀无限科技发展有限公司 一种疲劳检测模型的训练方法、疲劳驾驶检测方法及装置
CN112906515B (zh) * 2021-02-03 2024-07-19 珠海研果科技有限公司 车内异常行为识别方法、系统、电子设备及存储介质
CN116467739A (zh) * 2023-03-30 2023-07-21 江苏途途网络技术有限公司 一种计算机大数据存储系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150870A (zh) * 2013-02-04 2013-06-12 浙江捷尚视觉科技有限公司 一种基于视频的火车驾驶员疲劳检测方法
CN104978492A (zh) * 2015-07-09 2015-10-14 彩虹无线（北京）新技术有限公司 一种基于车联网数据流的安全驾驶评价方法
CN105030257A (zh) * 2014-03-19 2015-11-11 福特全球技术公司 驾驶员异常检测
CN105741494A (zh) * 2016-03-29 2016-07-06 浙江吉利控股集团有限公司 一种基于线下数据匹配的驾驶员疲劳监测方法
CN109086797A (zh) * 2018-06-29 2018-12-25 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109726771A (zh) * 2019-02-27 2019-05-07 深圳市赛梅斯凯科技有限公司 异常驾驶检测模型建立方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
JP2011065527A (ja) * 2009-09-18 2011-03-31 Toyota Motor Corp 運転評価システム、車載機及び情報処理センター
US8952819B2 (en) 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US20150119732A1 (en) * 2013-10-24 2015-04-30 JayBird LLC System and method for providing an interpreted recovery score
US20190370580A1 (en) 2017-03-14 2019-12-05 Omron Corporation Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150870A (zh) * 2013-02-04 2013-06-12 浙江捷尚视觉科技有限公司 一种基于视频的火车驾驶员疲劳检测方法
CN105030257A (zh) * 2014-03-19 2015-11-11 福特全球技术公司 驾驶员异常检测
CN104978492A (zh) * 2015-07-09 2015-10-14 彩虹无线（北京）新技术有限公司 一种基于车联网数据流的安全驾驶评价方法
CN105741494A (zh) * 2016-03-29 2016-07-06 浙江吉利控股集团有限公司 一种基于线下数据匹配的驾驶员疲劳监测方法
CN109086797A (zh) * 2018-06-29 2018-12-25 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109726771A (zh) * 2019-02-27 2019-05-07 深圳市赛梅斯凯科技有限公司 异常驾驶检测模型建立方法、装置及存储介质

Also Published As

Publication number Publication date
US10740634B1 (en) 2020-08-11
CN112016584A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016584B (zh) 基于异常检测的注意力下降检测
US11375338B2 (en) Method for smartphone-based accident detection
US11237184B2 (en) Methods and systems for pattern-based identification of a driver of a vehicle
US11312374B2 (en) Prediction of accident risk based on anomaly detection
CN110505837B (zh) 信息处理设备、信息处理方法和记录介质
JP6972629B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US11884225B2 (en) Methods and systems for point of impact detection
EP3782860B1 (en) Method and system for vehicle speed estimation
JP6796527B2 (ja) 車両状態監視装置、車両状態監視システム及び車両状態監視方法
CN109325705A (zh) 一种基于惯性融合技术的驾驶习惯评分方法及系统
US12020571B2 (en) Method and system for vehicle crash prediction using multi-vehicle data
CN112017327A (zh) 基于异常检测的操作趋势的检测
US20230134342A1 (en) System and/or method for vehicle trip classification
CN111971218A (zh) 驾驶员轮廓分析和识别
Vavouranakis et al. Recognizing driving behaviour using smartphones
Woo Driving Manoeuvre Recognition using Mobile Sensors
JP2024026816A (ja) 情報処理システム、情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant