CN115107796A - 用于在机动车辆中进行乘员状态监控的方法和设备 - Google Patents
用于在机动车辆中进行乘员状态监控的方法和设备 Download PDFInfo
- Publication number
- CN115107796A CN115107796A CN202210289258.2A CN202210289258A CN115107796A CN 115107796 A CN115107796 A CN 115107796A CN 202210289258 A CN202210289258 A CN 202210289258A CN 115107796 A CN115107796 A CN 115107796A
- Authority
- CN
- China
- Prior art keywords
- behavior
- occupant
- anomaly detection
- vehicle occupant
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 title description 10
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 230000005856 abnormality Effects 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 17
- 230000002123 temporal effect Effects 0.000 claims abstract description 15
- 230000011664 signaling Effects 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 77
- 230000015654 memory Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 230000003542 behavioural effect Effects 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 13
- 206010001488 Aggression Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000016571 aggressive behavior Effects 0.000 claims description 9
- 208000012761 aggressive behavior Diseases 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 208000003443 Unconsciousness Diseases 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 241001282135 Poromitra oscitans Species 0.000 claims description 4
- 206010048232 Yawning Diseases 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000004886 head movement Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 206010016256 fatigue Diseases 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 3
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000006883 memory enhancing effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种用于识别机动车辆中的车辆乘员的乘员状态的计算机实施的方法，所述方法包括以下步骤：‑检测（S1）摄像机数据和/或一个或多个检测参量的至少一个时间变化过程；‑借助于可训练的基于数据的异常探测模型（20；13）执行（S2‑S4；S13，S14）异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型（20；13）被训练用于识别车辆乘员的行为的变化；‑在识别到异常时，用信号通知（S6）由于所识别的车辆乘员的行为的变化而引起的危险。
Description
技术领域
本发明涉及机动车辆，并且尤其是涉及用于监控乘员状态、尤其是用于进行驾驶员疲劳识别的方法。
背景技术
显而易见地在机动车辆中使用用于进行内部空间监控的系统，以便识别驾驶员状态、诸如驾驶员的疲倦，但是也识别烟雾、脏物的出现，或者用于识别车辆乘员的攻击性行为。为此，一方面可以使用基于现象的方法，所述方法以基于摄像机的方法记载车辆内部空间中的变化，并且根据预训练的变化过程模式（Verlaufsmuster）对所述变化进行分类。另一方面，也可以使用现有的传感器系统，所述传感器系统检测车辆参量、诸如转向角的变化过程。通过评估转向角的变化过程，可以识别特定的转向角行为并且给所述转向角行为分配乘员状态（Insassenzustand）。
对于所有已知的方法，必须提前提供要识别的时间变化过程模式，这是耗费的且成本密集的。由于可以反映特定乘员状态的表现形式的多样性，全面地考虑与要识别的乘员状态相关的所有变化过程模式通常是不可能的。此外，尤其是记录针对驾驶员的疲劳的变化过程模式是有问题的，因为这是在正常道路交通中极少发生的例外情况。
发明内容
根据本发明，提供一种根据权利要求1所述的用于在机动车辆中识别乘员状态的方法以及根据并列权利要求所述的设备和机动车辆。
在从属权利要求中说明其他设计方案。
根据第一方面，提供一种用于识别机动车辆中的车辆乘员的乘员状态的计算机实施的方法，所述方法包括以下步骤：
-检测摄像机数据和/或一个或多个检测参量的时间变化过程；
-借助于可训练的基于数据的异常探测模型执行异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型被训练用于识别车辆乘员的行为的变化；
-在识别到异常时，用信号通知（Signalisieren）由于所识别的车辆乘员的行为的变化而引起的危险。
用于识别驾驶员状态的上述方法的目的在于识别对于驾驶员、车辆和其他交通参与者有危险的车辆乘员的状态（乘员状态）。在此，要识别的乘员状态很少且难以被重调节（nachstellen），使得车辆乘员的相应的行为模式难以被检测以用于训练或设计这样的系统。
根据上述方法，提出乘员状态监控，其中借助于异常探测模型鉴于异常的存在来检验摄像机数据和/或一个或多个检测参量的时间变化过程。在所识别的异常情况下，使用来自异常探测模型的特征状态，以便在分类模型中给所述特征状态分配特定的乘员状态、诸如驾驶员疲劳、丧失知觉性、受伤的车辆乘员或驾驶员的睡眠状态、另一车辆乘员的攻击性行为等。
乘员行为在时间上通过图像检测传感器系统检测，例如通过适当的摄像机传感器系统、诸如摄像机检测，以便获得摄像机数据，和/或通过车辆传感器系统、诸如转向角传感器系统等检测，以便获得检测参量作为传感器参量或调节参量。该检测传感器系统记载一个或多个传感器参量或调节参量的时间变化过程作为乘员行为，所述传感器参量或调节参量说明乘员特定的行为。
可以规定，可训练的基于数据的异常探测模型包括神经记忆网络，所述神经记忆网络被训练用于根据一个或多个实际行为特征来预测一个或多个行为特征，所述实际行为特征从摄像机数据和/或一个或多个检测参量的至少一个时间变化过程中被确定，其中根据一个或多个实际行为特征和一个或多个所预测的行为特征来识别异常。
尤其是，可以根据一个或多个实际行为特征的分布与一个或多个所预测的行为特征的分布之间的至少一个偏差来确定异常。
根据上述方法，异常探测模型可以对应于记忆网络（SHARED MEMORY-AUGMENTEDNEURAL NETWORKS（共享记忆增强神经网络））。神经记忆网络适用于识别在较长时间段上的行为模式。为此，记忆网络包含长时间记忆（Langzeitgedächtnis）。可以读取和写入长时间记忆，以便使用所述长时间记忆用于预报。例如，这种记忆网络的作用方式从Cosmin I.Bercea等人的“SHAMANN: Shared Memory Augmented Neural Networks”（InformationProcessing in Medical Imaging, IPMI, Hong Kong, China 2019）中已知。
乘员的行为可以借助于记忆网络被存储非常长时间并且被评估，例如几个小时。
可替代地，可以利用以下步骤执行所述异常探测：
-从摄像机数据和/或所述检测参量的时间变化过程中尤其是借助于特征模型确定行为特征；
-借助于可训练的基于数据的探测模型执行异常探测，用于识别行为特征的异常，其中所述探测模型被训练用于根据所提供的行为特征来识别所述乘员状态的异常。
借助适当的特征模型，可以将特定的行为特征分配给乘员行为。这些特征可以包括例如眼睛运动的频率、强度、眨眼频率、头部运动频率、头部运动强度、打哈欠、转向干预频率和强度等。可以自由选择时间窗，在所述时间窗期间评估一个或多个检测参量的变化过程或由此检测的乘员行为。如此检测的行为特征可以相应地被编码并且作为行为特征向量被输送给探测模型。
此外，可以借助于例如被实施为自动编码器的探测模型来执行异常探测，其中根据从行为特征中确定的行为特征向量与经重构的输出向量之间的偏差来识别异常。
因此，异常探测模型可以被构造为特征模型和自动编码器的组合。从开始该方法起，利用相应的行为特征向量对其（dieser）进行训练，使得将行为特征向量映射到自身。在此，经训练的自动编码器的编码器部分始终将行为特征向量映射到具有较低维度（Dimensionalität）的潜在特征状态。
可以规定，在确定出异常时，使用自动编码器的潜在特征状态，以便确定由于车辆乘员的行为的变化而引起的危险的类型。
在开始该方法之后特定的持续时间之后，自动编码器的编码器部分可以被用于探测乘员状态的变化。为此，检验行为特征向量与异常探测模型的所再现的输出向量之间的偏差。如果差异处于预先给定的阈值以下，则利用最后获得的行为特征向量进一步训练探测模型。
而如果识别到大于预先给定阈值的偏差，则识别到乘员状态的变化。可以根据构造为自动编码器的探测模型的潜在特征状态来进行驾驶员的乘员状态的变化，以便借助于下级的（nachgeordneten）分类模型来分配乘员状态的变化，诸如驾驶员疲倦的出现、驾驶员的丧失知觉性、谈话中的驾驶员、另一车辆乘员的攻击性行为等。
尤其是，可以提供分类模型，用于在确定出异常时将异常探测模型的潜在特征状态分配给由于车辆乘员的行为的变化而引起的危险的类型。
尤其是，可以根据危险的类型执行车辆功能。
根据一种实施方式，可以在每次行驶开始之后在预定的时间段内执行异常探测模型的训练，并且可以针对相关的乘员单独地存储异常探测模型的相应的模型参数。然后可以随着每次进一步行驶来进一步训练异常探测模型，以便从而使该异常探测模型在识别乘员状态的可能变化方面更稳健。
因此，上述方法使得能够以有利的方式识别乘员状态，而不事先以训练数据的形式或者以基于规则的方式事先考虑了每个可能的乘员行为，所述乘员行为提示要识别的乘员状态、诸如疲劳、丧失知觉性、睡眠、攻击性行为等。因此，所提出的方法可以更灵活地被使用，并且在学习阶段（Einlernphase）之后使得能够通过评估乘员行为来可靠地识别乘员状态的变化，所述变化可以通过分类模型被分配给危险类型。
根据另一方面，提供一种用于识别机动车辆中的车辆乘员的乘员状态的设备，其中所述设备被构造用于：
-接收摄像机数据和/或一个或多个检测参量的至少一个时间变化过程；
-借助于可训练的基于数据的异常探测模型执行异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型被训练用于识别车辆乘员的行为的变化；
-在识别到异常时，用信号通知由于所识别的车辆乘员的行为的变化而引起的危险。
附图说明
下面根据所附附图更详细地阐述实施方式。其中：
图1示出具有驾驶员和乘员状态识别系统的车辆的示意图；
图2示出用于阐明驾驶员状态识别系统的功能块的功能图；
图3示出用于阐明用于识别驾驶员状态的方法的流程图；
图4示出用于阐明根据另一实施方式的驾驶员状态识别系统的功能块的功能图；和
图5示出用于阐明根据另一实施方式的用于识别驾驶员状态的方法的流程图。
具体实施方式
图1示出具有乘员状态识别系统2的机动车辆1的示意图，所述乘员状态识别系统2具有带有处理器单元的控制单元3，所述控制单元与用于检测时间变化过程驾驶员行为记载的检测传感器系统4耦合。检测传感器系统4可以例如包括具有一个或多个摄像机41的摄像机传感器系统以及用于检测检测参量的其他传感器，所述摄像机对准驾驶员和/或其他乘员，所述其他传感器可以至少部分地是对于车辆常见的传感器系统的组成部分。因此，转向角传感器42例如可以是检测传感器系统4的一部分，以便能够识别驾驶员的转向运动。
乘员状态监控系统2此外包括信号通知单元5，以便能够在识别到不期望的乘员状态时输出光学和/或声学警告信号。
在图2中示出功能框图，所述功能框图更详细地阐述乘员状态监控的功能。
图3示出用于阐明如可以借助于在图2中所示的功能在控制单元3中被执行的用于监控乘客状态的方法的流程图。该方法可以在控制单元3中被实施为软件和/或硬件。
在步骤S1中，由检测传感器系统4、41、42记载摄像机数据和/或检测参量。摄像机数据和/或检测参量包括在时间变化过程上的乘员行为。
为了支持该方法，可以在特征提取单元12中借助于常规方法由摄像机数据和检测参量构成行为特征（Verhaltensmerkmale）。这些行为特征可以被添加到摄像机数据和检测参量，以便构成用于随后使用的异常探测模型的输入数据。行为特征可以包括虹膜运动的频率和强度、眨眼频率、头部运动频率、头部运动强度、头部运动速度、关于嘴部运动的说明、视向、身体姿势、眼睑开口、打哈欠、骨骼追踪（skeletontracking）、面部表情特征、转向干预频率和强度等。
借助于记忆网络20，在步骤S2中将在每个时间步中在特征提取单元12中确定的行为特征VM(t)、即所观察的乘员行为以及必要时所检测的摄像机数据和/或一个或多个检测参量处理为输入数据。
记忆网络（Speichernetzwerke）例如从Cosmin I. Bercea等人的“SHAMANN:Shared Memory Augmented Neural Networks”（Information Processing in MedicalImaging, IPMI, Hong Kong, China 2019）中已知，并且尤其是适用于识别输入数据中的短的和较长的依赖性和相关性。
记忆网络属于记忆增强神经网络（memory augmented neural networks，MANN）的组，所述记忆增强神经网络包括控制网络、诸如LSTM，用于访问外部可寻址的存储器。在每个时间步，执行写入和读取操作，所述写入和读取操作访问外部存储器的部分的。在常规的记忆增强神经网络的情况下在外部存储器之间不发生信息交换，而在共享记忆增强神经网络的情况下提出使用共同的外部存储器用于读出和写入信息。由此，可以更好地考虑信息的共同上下文。
记忆网络使得能够在开始该方法之后的特定时间之后以特别好的方式识别输入数据中的异常，所述异常在摄像机数据中和在检测参量中以行为模式的变化来表明。在此，记忆网络能够识别短期（在1 s-5s内）和长期（1分钟-几个小时）行为变化。
记忆网络的内部状态可以说明特征状态，例如由外部存储器的一个或多个内容说明所述特征状态。
例如，记忆网络20可以为一个或多个下一时间步预测一个或多个行为特征VM'(t+1)、例如视向、身体姿势或眼睑开口，并且作为经预测或经建模的行为特征VM'(t+1)提供所述行为特征。
可以通过将相关的经建模的行为特征VM'与下一时间步中的实际行为特征VM进行比较来识别异常。
可替代地，在步骤S3中，可以在分布确定块21中根据从所检测的摄像机数据和/或一个或多个检测参量中确定的实际行为特征VM和经建模的行为特征VM'来确定分布。这可以通过确定在预定的在过去的固定持续时间内或可变持续时间内实际行为特征和经建模的行为特征VM、VM'的时间变化过程的相应值（例如自行驶开始起的所有值等）的正态分布来进行。
在步骤S4中，在异常识别块22中检验：是否识别到异常。这种检验可以通过比较实际行为特征VM和经建模的行为特征VM'的分布来进行。可以通过预先给定的评价函数来评价：存在异常，所述评价函数说明用于所考虑的行为特征的实际分布和经建模的分布的偏差的量度。
尤其是当用于偏差的量度超过阈值时，尤其是可以通过阈值比较来识别异常。
如果确定出存在异常（替代方案：是），则在步骤S5中将记忆网络20的内部状态评估为特征状态Z。内部状态可以对应于记忆网络的潜在向量。否则（替代方案：否），从而跳回到步骤S1。
在步骤S5中，在分类模型单元23中根据预训练的分类模型将特征状态Z分配给危险类型，以便将乘员行为的通过特征状态说明的变化分配给要识别的危险类型。分类模型可以利用针对频繁发生的状况（例如攻击性）的数据被训练。
尤其是，分类模型可以被训练，用于根据潜在特征状态Z识别驾驶员疲劳的出现、驾驶员丧失知觉、驾驶员睡着、例如因谈话而分散注意力的驾驶员、受伤的车辆乘员、另一车辆乘员的攻击性行为等并且在步骤S6中使用该信息用于由信号通知单元24执行的下级功能。
尤其是，在识别到丧失知觉性和疲劳时，可以输出声学警告信号，以便向驾驶员提示增加的疲劳，或者必要时唤醒所述驾驶员，以防止可能危及驾驶员、车辆和其他交通参与者的安全关键的状况。
可替代地或附加地，可以对车辆的驾驶进行干预，诸如制动操作等。在识别到其他车辆乘员的攻击性行为时，可以自动向警方发送通知。
在图4中示出功能框图，所述功能框图更详细地阐述根据另一实施方式的乘员状态监控的功能。
图5示出用于阐明如可以在控制单元3中借助于图4中所示的功能被执行的用于监控乘员状态的另一方法的流程图。该方法可以在控制单元3中被实施为软件和/或硬件。
在步骤S11中，由检测传感器系统4、41、42记载（aufzeichnen）摄像机数据和检测参量。摄像机数据和/或检测参量包括在时间变化过程上的乘员行为。
在步骤S12中，借助于实施特征模型的特征提取单元12，分配或量化从摄像机数据和/或检测参量的时间变化过程、即观察到的乘员行为中以基于规则或数据的方式确定的行为特征。
行为特征可以包括虹膜运动的频率和强度、眨眼频率、头部运动频率、头部运动强度、头部运动速度、关于嘴部运动的说明、打哈欠、骨骼追踪、面部表情特征、转向干预频率和强度等。
这些行为特征现在在步骤S13中作为行为特征向量VM被输送给探测模型13。特征提取单元12和探测模型13共同地构成异常探测模型。探测模型13可以针对特定的人员单独地被预训练，其方式是在尤其是通过面部识别识别到单独的驾驶员之后，或者在输入关于特定的驾驶员简介（Fahrerprofil）的说明之后，对于探测模型13使用模型参数。行为特征向量VM被输送给探测模型13，以便识别行为特征的异常。
探测模型13可以被构造为自动编码器并且被训练用于将输入向量映射到相同的、即经重构的输出向量。如果将行为特征向量VM施加于探测模型13，则在输出侧得出与经重构的行为特征向量VM'相对应的输出向量。
在步骤S14中，在差异块（Unterschiedblock）14中确定行为特征向量VM和经重构的行为特征向量VM'之间的偏差，并且在步骤S15中在比较块15中利用阈值比较对所述偏差进行评估。如果在阈值比较中确定出：差异处于预先给定的阈值S以下（替代方案：是），则在步骤S16中，使用最后检测的行为特征向量VM用于进一步训练探测模型13，并且以步骤S11继续进行该方法。差异可以以偏差的形式例如作为L2范数（Norm）被确定。
然而，如果在步骤S15中确定出该差异超过预先给定的阈值S（替代方案：否），则在步骤S17中识别并且用信号通知车辆乘员的行为的变化。
在步骤S18中，以由所识别的行为的变化触发的方式将探测模型13的潜在特征状态输送给分类模型单元16。在自动编码器作为探测模型13的情况下，潜在特征状态对应于编码器部分的输出端或解码器部分的输入端处的潜在向量。
在分类模型单元16中，根据预训练的分类模型将潜在特征状态分配给危险类型，以便将乘员行为的通过潜在特征状态说明的变化分配给要识别的危险的类型。
尤其是，分类模型可以被训练用于根据潜在特征状态识别驾驶员疲劳的出现、驾驶员丧失知觉、驾驶员睡着、例如因谈话而分散注意力的驾驶员、受伤的车辆乘员、另一车辆乘员的攻击性行为等，并且使用该信息用于由信号通知单元17执行的下级功能。
尤其是，在识别到丧失知觉性和疲劳时，可以输出声学警告信号，以便向驾驶员提示增加的疲劳，或者必要时唤醒所述驾驶员，以防止可能危及驾驶员、车辆和其他交通参与者的安全关键的状况。
可替代地或附加地，可以对车辆的驾驶进行干预，诸如制动操作等。在识别到其他车辆乘员的攻击性行为时，可以自动向警方发送通知。
Claims (13)
1.一种用于识别机动车辆中的车辆乘员的乘员状态的计算机实施的方法，所述方法包括以下步骤：
-检测（S1）摄像机数据和/或一个或多个检测参量的至少一个时间变化过程；
-借助于可训练的基于数据的异常探测模型（20；13）执行（S2-S4；S13，S14）异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型（20；13）被训练用于识别车辆乘员的行为的变化；
-在识别到异常时，用信号通知（S6）由于所识别的车辆乘员的行为的变化而引起的可能危险。
2.根据权利要求1所述的方法，其中所述可训练的基于数据的异常探测模型（20）包括神经记忆网络（共享记忆增强神经网络），所述神经记忆网络被训练用于根据一个或多个实际行为特征（VM）预测一个或多个行为特征（VM'），所述实际行为特征从摄像机数据和/或所述一个或多个检测参量的至少一个时间变化过程中被确定，其中根据所述一个或多个实际行为特征（VM）和一个或多个所预测的行为特征（VM'）来识别所述异常。
3.根据权利要求2所述的方法，其中根据所述一个或多个实际行为特征（VM）的分布与所述一个或多个所预测的行为特征（VM'）的分布之间的至少一个偏差来确定所述异常。
4.根据权利要求1所述的方法，其中利用以下步骤执行所述异常探测：
-从摄像机数据和/或所述检测参量的时间变化过程中确定（S12）一个或多个行为特征；
-借助于所述可训练的基于数据的异常探测模型（13）执行（S13，S14）异常探测，用于识别所述一个或多个行为特征的异常，其中所述异常探测模型（13）被训练用于根据所提供的行为特征（VM、VM'）来识别所述乘员状态的异常。
5.根据权利要求4所述的方法，其中借助于自动编码器（12）执行所述异常探测，其中根据从所述行为特征中确定的行为特征向量与经重构的输出向量之间的偏差来识别异常。
6.根据权利要求5所述的方法，其中在确定出异常时，使用所述自动编码器（13）的潜在特征状态，用于确定由于所述车辆乘员的行为的变化而引起的危险的类型。
7.根据权利要求1至6中任一项所述的方法，其中提供分类模型（23；16），用于在确定出异常时将所述异常探测模型（20；13）的潜在特征状态分配给由于所述车辆乘员的行为的变化而引起的危险的类型。
8.根据权利要求7所述的方法，其中根据所述危险的类型执行车辆功能。
9.根据权利要求7或8所述的方法，其中作为危险的类型识别驾驶员疲劳、丧失知觉性、驾驶员的睡眠状态、受伤的车辆乘员或另一车辆乘员的攻击性行为。
10.根据权利要求1至9中任一项所述的方法，其中作为所述一个或多个行为特征，以基于规则或数据的方式确定以下特征中的一个或多个：眼睛运动的频率和/强度、眨眼频率、头部运动频率、头部运动强度、头部运动速度、关于嘴部运动的说明、视向、身体姿势、骨骼追踪、眼睑开口、面部表情特征、打哈欠、转向干预频率和强度。
11.一种用于识别机动车辆中的车辆乘员的乘员状态的设备，其中所述设备被构造用于：
-接收摄像机数据和/或一个或多个检测参量的至少一个时间变化过程；
-借助于可训练的基于数据的异常探测模型（20；13）执行异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型（20；13）被训练用于识别车辆乘员的行为的变化；
-在识别到异常时，用信号通知由于所识别的车辆乘员的行为的变化而引起的危险。
12.一种计算机程序产品，所述计算机程序产品包括指令，所述指令在通过至少一个数据处理装置执行程序时促使所述数据处理装置执行根据权利要求1至10中任一项所述的方法的步骤。
13.一种机器可读存储介质，所述机器可读存储介质包括指令，所述指令在通过至少一个数据处理装置执行时促使所述数据处理装置执行根据权利要求1至10中任一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021202790.3 | 2021-03-23 | ||
| DE102021202790.3A DE102021202790A1 (de) | 2021-03-23 | 2021-03-23 | Verfahren und Vorrichtung zur Insassenzustandsüberwachung in einem Kraftfahrzeug |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115107796A true CN115107796A (zh) | 2022-09-27 |
Family
ID=83192767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210289258.2A Pending CN115107796A (zh) | 2021-03-23 | 2022-03-23 | 用于在机动车辆中进行乘员状态监控的方法和设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115107796A (zh) |
| DE (1) | DE102021202790A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831442A (zh) | 2011-06-13 | 2012-12-19 | 索尼公司 | 异常行为检测设备和方法及生成该检测设备的设备和方法 |
| DE112017007252T5 (de) | 2017-03-14 | 2019-12-19 | Omron Corporation | Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren |
| DE112019000961T5 (de) | 2018-03-28 | 2020-12-10 | Robert Bosch Gmbh | Fahrzeuginternes system zum schätzen einer szene in einem fahrzeuginnenraum |
| DE102019204691A1 (de) | 2019-04-02 | 2020-10-08 | Thyssenkrupp Ag | Verfahren und Einrichtung zur Überwachung eines fahrbetriebsbedingten Gesundheitszustandes von Insassen eines insbesondere autonomen Fahrzeugs |
| DE102019208372A1 (de) | 2019-06-07 | 2020-12-10 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen |
| US10752253B1 (en) | 2019-08-28 | 2020-08-25 | Ford Global Technologies, Llc | Driver awareness detection system |
-
2021
- 2021-03-23 DE DE102021202790.3A patent/DE102021202790A1/de active Pending
-
2022
- 2022-03-23 CN CN202210289258.2A patent/CN115107796A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102021202790A1 (de) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kumar et al. | Driver drowsiness monitoring system using visual behaviour and machine learning | |
| Sigari et al. | A driver face monitoring system for fatigue and distraction detection | |
| Chiou et al. | Driver monitoring using sparse representation with part-based temporal face descriptors | |
| JP5161643B2 (ja) | 安全運転支援システム | |
| US20170301107A1 (en) | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium | |
| JP7212607B2 (ja) | 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置 | |
| CN107303907B (zh) | 用于确定驾驶者的睡意的装置和方法 | |
| WO2008133746A1 (en) | Systems and methods for detecting unsafe conditions | |
| Sharma et al. | Drowsiness warning system using artificial intelligence | |
| US11453401B2 (en) | Closed eye determination device | |
| Kassem et al. | Yawn based driver fatigue level prediction | |
| Chinthalachervu et al. | Driver drowsiness detection and monitoring system using machine learning | |
| Panicker et al. | Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection | |
| JP2023543611A (ja) | センサ性能低下状態を決定する方法 | |
| CN115107796A (zh) | 用于在机动车辆中进行乘员状态监控的方法和设备 | |
| Jimenez et al. | Detection of the tiredness level of drivers using machine vision techniques | |
| JP2018537787A (ja) | 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 | |
| Zhou et al. | Development of a camera-based driver state monitoring system for cost-effective embedded solution | |
| CN107273789B (zh) | 用于提供警告信号以识别将面临的微睡的方法 | |
| US10945651B2 (en) | Arousal level determination device | |
| Adarsh et al. | Drowsiness Detection System in Real Time Based on Behavioral Characteristics of Driver using Machine Learning Approach | |
| US20240020992A1 (en) | Method of Determining Drowsiness of a Driver in a Vehicle | |
| JP7374386B2 (ja) | 状態判定装置および状態判定方法 | |
| Adarsh et al. | Drowsiness Detection System in Real Time | |
| JP7295790B2 (ja) | 車載機、処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |