CN112381015A - 疲劳度识别方法、装置和设备 - Google Patents

疲劳度识别方法、装置和设备 Download PDF

Info

Publication number
CN112381015A
CN112381015A CN202011299303.XA CN202011299303A CN112381015A CN 112381015 A CN112381015 A CN 112381015A CN 202011299303 A CN202011299303 A CN 202011299303A CN 112381015 A CN112381015 A CN 112381015A
Authority
CN
China
Prior art keywords
fatigue
steering wheel
driver
time window
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011299303.XA
Other languages
English (en)
Inventor
杜晓亮
肖昳璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom Smart Connection Technology Ltd
Original Assignee
China Unicom Smart Connection Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom Smart Connection Technology Ltd filed Critical China Unicom Smart Connection Technology Ltd
Priority to CN202011299303.XA priority Critical patent/CN112381015A/zh
Publication of CN112381015A publication Critical patent/CN112381015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例提供一种疲劳度识别方法、装置和设备，所述方法包括获取预设时间窗口内的驾驶员图像和车辆运行数据；基于所述驾驶员图像，获得驾驶员状态特征；基于所述车辆运行数据，获得驾驶行为特征；将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。其能够结合驾驶行为特征和驾驶员状态特征，更加准确地预测驾驶员的疲劳度，有利于降低交通事故的发生概率。

Description

疲劳度识别方法、装置和设备
技术领域
本申请涉及疲劳驾驶识别技术领域，特别涉及一种疲劳度识别方法、装置和设备。
背景技术
疲劳驾驶是导致交通事故发生的原因之一。在驾驶员驾驶车辆的过程中，如何能够及时且有效地识别驾驶员的疲劳状态，及时地发出提醒或警示，是降低因疲劳驾驶导致交通事故发生概率的方法之一。
现有技术之一是，采集车辆总线数据(如CAN总线数据)，从车辆总线数据中识别和提取驾驶行为特征，基于该驾驶行为特征对驾驶员的行为进行分析，以识别驾驶员是否处于疲劳驾驶状态。然而，由于车辆总线数据种类众多、数据量较大，使得该驾驶行为特征难以识别和提取，而且由于不同的驾驶员的驾驶习惯不同，仅凭该驾驶行为特征难以准确地预测出驾驶员的疲劳状态或疲劳等级，不利于降低交通事故的发生概率。
现有技术之二是，利用摄像头采集驾驶员面部图像，从该面部图像中提取驾驶员闭眼、打哈欠或打电话等驾驶员状态特征，基于该驾驶员状态特征识别驾驶员是否处于疲劳驾驶状态。然而，由于车辆行驶环境(例如环境光线、行车环境、车辆运行状态等)较为复杂，仅凭该驾驶员状态特征难以准确地预测出驾驶员的疲劳状态或疲劳等级，不利于降低交通事故的发生概率。
发明内容
本申请提供了一种疲劳度识别方法、装置和设备，能够结合驾驶行为特征和驾驶员状态特征，更加准确地预测驾驶员的疲劳度，有利于降低交通事故的发生概率。
第一方面，本申请提供了一种疲劳度识别方法，包括：
获取预设时间窗口内的驾驶员图像和车辆运行数据；
基于所述驾驶员图像，获得驾驶员状态特征；
基于所述车辆运行数据，获得驾驶行为特征；
将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；
将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
其中一种可能的实现方式中，所述预设时间窗口包括第一时间窗口和第二时间窗口，所述获取预设时间窗口内的驾驶员图像和车辆运行数据，包括：
获取所述第一时间窗口内的驾驶员图像；
获取所述第二时间窗口内的车辆运行数据。
其中一种可能的实现方式中，所述第一时间窗口包括第三时间窗口和第四时间窗口，所述驾驶员状态特征包括眼部闭合特征和嘴部闭合特征，所述眼部闭合特征包括所述第三时间窗口内的最长闭眼时间、闭眼时间百分比和所述第四时间窗口内的眨眼频率，所述嘴部张合特征包括所述第三时间窗口内的最长嘴部张开时间、嘴部张开时间百分比和所述第四时间窗口内的打哈欠频率。
其中一种可能的实现方式中，所述车辆运行数据包括方向盘转角和方向盘转角速度，所述基于所述车辆运行数据，获得驾驶行为特征，包括：
基于所述方向盘转角，获得方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值以及方向盘转角熵；
基于所述方向盘转角速度，获得方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
其中一种可能的实现方式中，所述特征向量集包括最长闭眼时间、眨眼频率、闭眼时间百分比、最长嘴部张开时间、打哈欠时间、嘴部张开时间百分比、方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值、方向盘转角熵、方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
其中一种可能的实现方式中，所述疲劳预测模型包括权重向量和激活函数，所述疲劳概率值由公式
Figure BDA0002786363030000021
计算获得；
其中，y为疲劳概率值，Sigmoid为激活函数，XT为特征向量集的转置矩阵，w为权重向量。
其中一种可能的实现方式中，所述基于所述疲劳概率值确定驾驶员疲劳度，包括：
当所述疲劳概率值小于预设第一阈值时，确定驾驶员处于非疲劳驾驶状态；
当所述疲劳概率值大于等于所述第一阈值且小于预设第二阈值时，确定驾驶员处于轻度疲劳驾驶状态；
当所述疲劳概率值大于等于预设第二阈值时，确定驾驶员处于重度疲劳驾驶状态。
第二方面，本申请提供一种疲劳度识别装置，包括：
获取模块，用于获取预设时间窗口内的驾驶员图像和车辆运行数据；
状态特征获得模块，用于基于所述驾驶员图像，获得驾驶员状态特征；
行为特征获得模块，用于基于所述车辆运行数据，获得驾驶行为特征；
融合模块，用于将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；
计算模块，用于将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
第三方面，本申请提供一种电子设备，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面所述的方法。
第五方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面所述的方法。
在一种可能的设计中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1为本申请疲劳度识别方法一个实施例的流程图；
图2为本申请疲劳度识别方法中采集数据一个实施例的时间示意图；
图3为本申请疲劳度识别方法一个实施例的疲劳预测模型图；
图4为本申请疲劳度识别装置一个实施例的结构示意图；
图5为本申请电子设备一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
现有技术之一是，采集车辆总线数据(如CAN总线数据)，从车辆总线数据中识别和提取驾驶行为特征，基于该驾驶行为特征对驾驶员的行为进行分析，以识别驾驶员是否处于疲劳驾驶状态。然而，由于车辆总线数据种类众多、数据量较大，使得该驾驶行为特征难以识别和提取，而且由于不同的驾驶员的驾驶习惯不同，仅凭该驾驶行为特征难以准确地预测出驾驶员的疲劳状态或疲劳等级，不利于降低交通事故的发生概率。
现有技术之二是，利用摄像头采集驾驶员面部图像，从该面部图像中提取驾驶员闭眼、打哈欠或打电话等驾驶员状态特征，基于该驾驶员状态特征识别驾驶员是否处于疲劳驾驶状态。然而，由于车辆行驶环境(例如环境光线、行车环境、车辆运行状态等)较为复杂，仅凭该驾驶员状态特征难以准确地预测出驾驶员的疲劳状态或疲劳等级，不利于降低交通事故的发生概率。
因此，本申请提出一种疲劳度识别方法、装置和设备，能够结合驾驶行为特征和驾驶员状态特征，更加准确地预测驾驶员的疲劳度，有利于降低交通事故的发生概率。
图1为本申请疲劳度识别方法一个实施例的流程图，如图1所示，所述疲劳度识别方法，包括：
S101、获取预设时间窗口内的驾驶员图像和车辆运行数据。
具体地，所述驾驶员图像可以包括由摄像头采集的人脸图像或人体动态图像等。所述摄像头可以包括红外摄像装置或可见光摄像装置等，所述驾驶员图像可以包括可见光图像或红外图像等。所述车辆运行数据可以由车辆(如传感器等)采集获得，所述车辆运行数据可以包括从车辆总线(如CAN总线)中提取并解析获得的车辆运行信息。
可以理解的是，所述摄像头可以包括图像采集周期，所述摄像头基于所述图像采集周期持续地采集所述驾驶员图像，所述车辆可以包括信号采集周期(如传感器的信号采集周期等)，所述车辆基于所述信号采集周期持续地采集所述车辆运行数据。
如图2所示，所述预设时间窗口可以包括同一时间段内的一个或多个所述图像采集周期和一个或多个所述信号采集周期。也就是说，在所述S101中，所述驾驶员图像与所述车辆运行数据对应于同一时间段(即所述预设时间窗口)。
可以理解的是，所述预设时间窗口的时间长度可以预设为固定值或动态值，所述预设时间窗口可以对应于当前驾驶时间段，所述预设时间窗口可以略微滞后于当前驾驶时刻，以保证所述驾驶员图像和所述车辆运行数据的实时性和有效性。
其中一种可能的实现方式中，所述预设时间窗口包括第一时间窗口和第二时间窗口，所述步骤S101、获取预设时间窗口内的驾驶员图像和车辆运行数据，包括：
S201、获取所述第一时间窗口内的驾驶员图像；
S202、获取所述第二时间窗口内的车辆运行数据。
需要指出的是，所述第一时间窗口与所述第二时间窗口可以完全重叠、部分重叠或不重叠。也就是说，所述第一时间窗口或所述第二时间窗口可以分别包括所述预设时间窗口内的任意一段时间。所述第一时间窗口可以包括一个或多个所述图像采集周期，所述第二时间窗口可以包括一个或多个所述信号采集周期。
S102、基于所述驾驶员图像，获得驾驶员状态特征。
在本实施例中，所述驾驶员状态特征可以包括眼部闭合特征和嘴部闭合特征。所述眼部闭合特征可以包括一定时间段内的最长闭眼时间、一定时间段内的闭眼时间百分比和一定时间段内眨眼频率，所述嘴部闭合特征可以包括一定时间段内的最长嘴部张开时间、一定时间段内的嘴部张开时间百分比和一定时间段内的打哈欠频率。
其中一种可能的实现方式中，所述第一时间窗口包括第三时间窗口和第四时间窗口，所述驾驶员状态特征包括眼部闭合特征和嘴部闭合特征，所述眼部闭合特征包括所述第三时间窗口内的最长闭眼时间、闭眼时间百分比和所述第四时间窗口内的眨眼频率，所述嘴部张合特征包括所述第三时间窗口内的最长嘴部张开时间、嘴部张开时间百分比和所述第四时间窗口内的打哈欠频率。
也就是说，所述步骤S102、基于所述驾驶员图像，获得驾驶员状态特征，包括：
S301、获取所述第三时间窗口内最长闭眼时间、闭眼时间百分比、最长嘴部张开时间和嘴部张开时间百分比；
S302、获取所述第四时间窗口内眨眼频率和打哈欠频率。
举例地，所述第三时间窗口可以包括10秒，所述第四时间窗口可以包括60秒。熟知本邻域的技术人员可知，所述第三时间窗口或所述第四时间窗口可以根据实际情况(如数据采集频率等)预设，在此不受限制。
S103、基于所述车辆运行数据，获得驾驶行为特征。
在本实施例中，所述车辆运行数据可以包括方向盘转角、方向盘转角速度以及累计行驶时长。
所述驾驶行为特征可以包括方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值、方向盘转角熵、方向盘转角速度绝对值均值、方向盘转角速度标准差、零速百分比和累加行驶时长。
其中一种可能的实现方式中，所述步骤S103、基于所述车辆运行数据，获得驾驶行为特征，包括：
S401、基于所述方向盘转角，获得方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值以及方向盘转角熵；
S402、基于所述方向盘转角速度，获得方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
相对于现有技术，本实施例中的所述方法无需对车辆总线数据进行大量的分析和提取，所需的数据量较少，有利于提高处理速度。
在本实施例中，所述方向盘转角绝对值均值可以由公式
Figure BDA0002786363030000051
计算获得；
其中，SAMEAN为方向盘转角绝对值均值，N为方向盘转角样本采样数量，SA为方向盘转角，SAi为第i个方向盘转角样本。
所述方向盘转角标准差可以由公式
Figure BDA0002786363030000052
计算获得；
其中，SASTD为方向盘转角标准差，SAm可以由公式
Figure BDA0002786363030000053
计算获得；
在本实施例中，将所述方向盘转角样本中N个数值由小到大依次排列，数值从小至大，第四分之一处的数值即为方向盘转角下四分位值(记为SAQ1)，第四分之三处的数值即为方向盘转角上四分位值(记为SAQ3)，所述方向盘转角下四分位值均值(记为SAQ1MEAN)为所述方向盘转角样本中所有小于所述下四分位值SAQ1的方向盘转角均值，所述方向盘转角上四分位值均值(记为SAQ3MEAN)为所述方向盘转角样本中所有大于所述上四分位值SAQ3的方向盘转角均值。
所述方向盘转角熵可以反映驾驶员对方向盘操作的混乱程度和随机性，所述方向盘转角熵越大，表明驾驶员对方向盘操作的随机性越大，驾驶员疲劳程度越高。
举例地，所述方向盘转角熵可以通过方向盘转角预测值出现的概率计算获得，其中，所述方向盘转角预测值可以由公式
Figure BDA0002786363030000054
计算获得；
其中，θp(n)为方向盘转角预测值，θ(n)为方向盘转角实际值，然后由公式
en＝θn-θp(n)计算获得方向盘转角预测偏差en；
其中，所述方向盘转角预测偏差en服从正态分布N(μ,σ2)，将所述方向盘转角预测偏差en分成9个区间，即(-∞，-5μ]，(-5μ，-2.5μ]，(-2.5μ，-μ]，(-μ，-0.5μ]，(-0.5μ，0.5μ)，[0.5μ，μ)，[μ，2.5μ)，[2.5μ，5μ)，[5μ，+∞)，然后计算获得各区间的概率值pi。
进一步地，所述方向盘转角熵可以由公式
Figure BDA0002786363030000055
计算获得；
其中，SE为方向盘转角熵，Pi为第i个区间的概率值。
在本实施例中，所述方向盘转角速度绝对值均值(记为SAVMEAN)和所述方向盘转角速度标准差(记为SAVSTD)可以反映车辆波动情况。可以理解的是，所述方向盘转角速度绝对值均值SAVMEAN的计算公式可以与所述方向盘转角绝对值均值SAMEAN的计算公式类似，其中所述方向盘转角SA替换为所述方向盘转角速度(记为SAR)，所述方向盘转角速度标准差SAVSTD的计算公式可以与所述方向盘转角标准差SASTD的计算公式类似，其中所述方向盘转角SA替换为所述方向盘转角速度SAR。
所述零速百分比可以由公式
Figure BDA0002786363030000061
计算获得；
其中，PNS为零速百分比，N为方向盘转角速度的总样本数量，n为总样本中方向盘转角速度在预设范围内的样本。
举例地，所述预设范围可以包括方向盘转角速度在±0.1°/s之间。
S104、将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集。
其中一种可能的实现方式中，所述特征向量集包括最长闭眼时间、眨眼频率、闭眼时间百分比、最长嘴部张开时间、打哈欠时间、嘴部张开时间百分比、方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值、方向盘转角熵、方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
具体地，所述特征向量集可以包括由所述驾驶员状态特征和所述驾驶行为特征组成的向量集合。例如，所述特征向量集可以表示为X，X＝{x1，x2，…，x15}，其中，x1为最长闭眼时间，x2为眨眼频率，x3为闭眼时间百分比，x4为最长嘴部张开时间，x5为打哈欠时间，x6为嘴部张开时间百分比、x7为方向盘转角绝对值均值SAMEAN，x8为方向盘转角标准差SASTD，x9为方向盘转角下四分位值均值SAQ1MEAN，x10为方向盘转角上四分位值均值SAQ3MEAN，x11为方向盘转角熵SE，x12为方向盘转角速度绝对值均值SAVMEAN，x13为方向盘转角速度标准差SAVSTD，x14为零速百分比PNS，x15为累计行驶时长。
S105、将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
在本实施例中，如图3所示，所述疲劳预测模型可以包括神经网络模型，所述神经网络模型可以通过模型训练得到，所述神经网络模型的输入为所述特征向量集，所述特征向量集与所述神经网络模型的一个全连接层的权重向量进行向量积运算，并将向量积输入给一个Sigmoid激活函数(记为σ(XTw))，通过所述激活函数输出所述疲劳概率值，其中，所述疲劳概率值可以在0至1之间。
其中一种可能的实现方式中，所述疲劳预测模型包括权重向量和激活函数，所述疲劳概率值由公式
Figure BDA0002786363030000062
计算获得；
其中，y为疲劳概率值，Sigmoid为激活函数，XT为特征向量集的转置矩阵，w为权重向量。
进一步地，本实施例还提供了所述疲劳预测模型的训练方法，具体包括：
在所述疲劳预测模型的训练过程中，多个所述预设时间窗口内的所述特征向量集作为样本，采用交叉熵(cross-entropy)函数作为损失函数Em，令训练集是N个样本对<Xi,Oi>的集合，其中，Xi是第i个窗口样本的所述特征向量集，Oi是第i个窗口样本的所述特征向量集对应的标签，Oi取值为1或0，1表示疲劳驾驶，0表示非疲劳驾驶，当第i个窗口样本的所述特征向量集对应为疲劳驾驶时，Oi取值为1，当第i个窗口样本的所述特征向量集对应为疲劳驾驶时，Oi取值为0，所述损失函数Em的计算公式如下：
Figure BDA0002786363030000071
其中，N为特征向量集的窗口样本数量，Oi是第i个窗口样本的所述特征向量集对应的标签，y为疲劳概率值。
将训练集划分为小批量作为训练过程中每次迭代的输入，通过多次迭代，利用随机梯度下降优化算法进行模型训练，直到所述损失函数收敛为止，即得到已训练好的所述疲劳预测模型。
其中一种可能的实现方式中，所述基于所述疲劳概率值确定驾驶员疲劳度，包括：
S501、当所述疲劳概率值小于预设第一阈值时，确定驾驶员处于非疲劳驾驶状态；
S502、当所述疲劳概率值大于等于所述第一阈值且小于预设第二阈值时，确定驾驶员处于轻度疲劳驾驶状态；
S503、当所述疲劳概率值大于等于预设第二阈值时，确定驾驶员处于重度疲劳驾驶状态。
在本实施例中，所述第一阈值(记为r1)可以为0.6，所述第二阈值(记为r2)可以为0.9。熟知本领域的技术人员可知，所述驾驶员疲劳度还可以基于所述疲劳概率值划分更多等级的疲劳驾驶状态。
进一步地，所述方法还可以包括：基于所述驾驶员疲劳度，发出相应的提醒或警示，以及时地提醒驾驶员避免疲劳驾驶，有利于降低因疲劳驾驶导致交通事故发生概率。
可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
图4为本申请疲劳度识别装置一个实施例的结构示意图，如图4所示，所述疲劳度识别装置100可以包括：
获取模块10，用于获取预设时间窗口内的驾驶员图像和车辆运行数据；
状态特征获得模块20，用于基于所述驾驶员图像，获得驾驶员状态特征；
行为特征获得模块30，用于基于所述车辆运行数据，获得驾驶行为特征；
融合模块40，用于将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；
计算模块50，用于将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
其中一种可能的实现方式中，所述预设时间窗口包括第一时间窗口和第二时间窗口，所述获取模块10包括：
第一获取模块11，用于获取所述第一时间窗口内的驾驶员图像；
第二获取模块12，用于获取所述第二时间窗口内的车辆运行数据。
其中一种可能的实现方式中，所述第一时间窗口包括第三时间窗口和第四时间窗口，所述驾驶员状态特征包括眼部闭合特征和嘴部闭合特征，所述眼部闭合特征包括所述第三时间窗口内的最长闭眼时间、闭眼时间百分比和所述第四时间窗口内的眨眼频率，所述嘴部张合特征包括所述第三时间窗口内的最长嘴部张开时间、嘴部张开时间百分比和所述第四时间窗口内的打哈欠频率。
其中一种可能的实现方式中，所述车辆运行数据包括方向盘转角和方向盘转角速度，所述驾驶行为特征包括方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值以及方向盘转角熵，方向盘转角速度绝对值均值、方向盘转角速度标准差、零速百分比以及累计驾驶时长。
其中一种可能的实现方式中，所述特征向量集包括最长闭眼时间、眨眼频率、闭眼时间百分比、最长嘴部张开时间、打哈欠时间、嘴部张开时间百分比、方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值、方向盘转角熵、方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
其中一种可能的实现方式中，所述疲劳预测模型包括权重向量和激活函数，所述疲劳概率值由公式
Figure BDA0002786363030000081
计算获得；
其中，y为疲劳概率值，Sigmoid为激活函数，XT为特征向量集的转置矩阵，w为权重向量。
其中一种可能的实现方式中，所述装置还包括：
当所述疲劳概率值小于预设第一阈值时，确定驾驶员处于非疲劳驾驶状态；
当所述疲劳概率值大于等于所述第一阈值且小于预设第二阈值时，确定驾驶员处于轻度疲劳驾驶状态；
当所述疲劳概率值大于等于预设第二阈值时，确定驾驶员处于重度疲劳驾驶状态。
图4所示实施例提供的疲劳度识别装置100可用于执行本申请图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应当理解的是，所述疲劳度识别装置可以对应于图5所示的电子设备。
应理解以上图4所示的疲劳度识别装置100的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，检测模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
图5为本申请电子设备一个实施例的结构示意图，如图5所示，上述电子设备可以包括：一个或多个处理器；存储器；以及一个或多个计算机程序。
其中，上述电子设备可以包括车载计算机(移动数据中心Mobile Data Center)，智能网联车(Intelligent Connected Vehicle；以下简称：ICV)，智能(汽)车(smart/intelligent car)或车载设备等设备。
其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：
获取预设时间窗口内的驾驶员图像和车辆运行数据；
基于所述驾驶员图像，获得驾驶员状态特征；
基于所述车辆运行数据，获得驾驶行为特征；
将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；
将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述预设时间窗口包括第一时间窗口和第二时间窗口，所述获取预设时间窗口内的驾驶员图像和车辆运行数据的步骤，包括：
获取所述第一时间窗口内的驾驶员图像；
获取所述第二时间窗口内的车辆运行数据。
其中一种可能的实现方式中，所述第一时间窗口包括第三时间窗口和第四时间窗口，所述驾驶员状态特征包括眼部闭合特征和嘴部闭合特征，所述眼部闭合特征包括所述第三时间窗口内的最长闭眼时间、闭眼时间百分比和所述第四时间窗口内的眨眼频率，所述嘴部张合特征包括所述第三时间窗口内的最长嘴部张开时间、嘴部张开时间百分比和所述第四时间窗口内的打哈欠频率。
其中一种可能的实现方式中，所述车辆运行数据包括方向盘转角和方向盘转角速度，当上述指令被上述设备执行时，使得上述设备执行所述基于所述车辆运行数据，获得驾驶行为特征的步骤，包括：
基于所述方向盘转角，获得方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值以及方向盘转角熵；
基于所述方向盘转角速度，获得方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
其中一种可能的实现方式中，所述特征向量集包括最长闭眼时间、眨眼频率、闭眼时间百分比、最长嘴部张开时间、打哈欠时间、嘴部张开时间百分比、方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值、方向盘转角熵、方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
其中一种可能的实现方式中，所述疲劳预测模型包括权重向量和激活函数，所述疲劳概率值由公式
Figure BDA0002786363030000091
计算获得；
其中，y为疲劳概率值，Sigmoid为激活函数，XT为特征向量集的转置矩阵，w为权重向量。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述基于所述疲劳概率值确定驾驶员疲劳度，包括：
当所述疲劳概率值小于预设第一阈值时，确定驾驶员处于非疲劳驾驶状态；
当所述疲劳概率值大于等于所述第一阈值且小于预设第二阈值时，确定驾驶员处于轻度疲劳驾驶状态；
当所述疲劳概率值大于等于预设第二阈值时，确定驾驶员处于重度疲劳驾驶状态。
图5所示的电子设备可以是车载设备也可以是内置于上述车载设备的电路设备。该设备可以用于执行本申请第一方面所示实施例提供的方法中的功能/步骤。
如图5所示，电子设备900包括处理器910和存储器920。其中，处理器910和存储器920之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器920用于存储计算机程序，该处理器910用于从该存储器920中调用并运行该计算机程序。
上述存储器920可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
可选地，电子设备900还可以包括收发器和天线，所述天线用于将收发器输出的无线信号发送出去。
上述处理器910可以和存储器920可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时，该存储器920也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括输入单元、显示单元、音频电路、摄像头和传感器等中的一个或多个，所述音频电路还可以包括扬声器、麦克风等。其中，显示单元可以包括显示屏。
可选地，上述电子设备900还可以包括电源，用于给终端设备中的各种器件或电路提供电源。
应理解，图5所示的电子设备900能够实现本申请图第一方面所示实施例提供的方法的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本申请第一方面所示方法实施例中的描述，为避免重复，此处适当省略详细描述。
应理解，图5所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器920中。
本申请还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请第一方面所示实施例提供的方法。
以上各实施例中，涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如ASIC，或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请第一方面所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请第一方面所示实施例提供的方法。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种疲劳度识别方法，其特征在于，包括：
获取预设时间窗口内的驾驶员图像和车辆运行数据；
基于所述驾驶员图像，获得驾驶员状态特征；
基于所述车辆运行数据，获得驾驶行为特征；
将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；
将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
2.根据权利要求1所述的方法，其特征在于，所述预设时间窗口包括第一时间窗口和第二时间窗口，所述获取预设时间窗口内的驾驶员图像和车辆运行数据，包括：
获取所述第一时间窗口内的驾驶员图像；
获取所述第二时间窗口内的车辆运行数据。
3.根据权利要求2所述的方法，其特征在于，所述第一时间窗口包括第三时间窗口和第四时间窗口，所述驾驶员状态特征包括眼部闭合特征和嘴部闭合特征，所述眼部闭合特征包括所述第三时间窗口内的最长闭眼时间、闭眼时间百分比和所述第四时间窗口内的眨眼频率，所述嘴部张合特征包括所述第三时间窗口内的最长嘴部张开时间、嘴部张开时间百分比和所述第四时间窗口内的打哈欠频率。
4.根据权利要求1所述的方法，其特征在于，所述车辆运行数据包括方向盘转角和方向盘转角速度，所述基于所述车辆运行数据，获得驾驶行为特征，包括：
基于所述方向盘转角，获得方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值以及方向盘转角熵；
基于所述方向盘转角速度，获得方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
5.根据权利要求1所述的方法，其特征在于，所述特征向量集包括最长闭眼时间、眨眼频率、闭眼时间百分比、最长嘴部张开时间、打哈欠时间、嘴部张开时间百分比、方向盘转角绝对值均值、方向盘转角标准差、方向盘转角下四分位值均值、方向盘转角上四分位值均值、方向盘转角熵、方向盘转角速度绝对值均值、方向盘转角速度标准差以及零速百分比。
6.根据权利要求1所述的方法，其特征在于，所述疲劳预测模型包括权重向量和激活函数，所述疲劳概率值由公式
Figure FDA0002786363020000011
计算获得；
其中，y为疲劳概率值，Sigmoid为激活函数，XT为特征向量集的转置矩阵，w为权重向量。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述疲劳概率值确定驾驶员疲劳度，包括：
当所述疲劳概率值小于预设第一阈值时，确定驾驶员处于非疲劳驾驶状态；
当所述疲劳概率值大于等于所述第一阈值且小于预设第二阈值时，确定驾驶员处于轻度疲劳驾驶状态；
当所述疲劳概率值大于等于预设第二阈值时，确定驾驶员处于重度疲劳驾驶状态。
8.一种疲劳度识别装置，其特征在于，包括：
获取模块，用于获取预设时间窗口内的驾驶员图像和车辆运行数据；
状态特征获得模块，用于基于所述驾驶员图像，获得驾驶员状态特征；
行为特征获得模块，用于基于所述车辆运行数据，获得驾驶行为特征；
融合模块，用于将所述驾驶员状态特征和所述驾驶行为特征进行融合，形成特征向量集；
计算模块，用于将所述特征向量集输入预设疲劳预测模型中，获得疲劳概率值，基于所述疲劳概率值确定驾驶员疲劳度。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。
CN202011299303.XA 2020-11-19 2020-11-19 疲劳度识别方法、装置和设备 Pending CN112381015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011299303.XA CN112381015A (zh) 2020-11-19 2020-11-19 疲劳度识别方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011299303.XA CN112381015A (zh) 2020-11-19 2020-11-19 疲劳度识别方法、装置和设备

Publications (1)

Publication Number Publication Date
CN112381015A true CN112381015A (zh) 2021-02-19

Family

ID=74585187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011299303.XA Pending CN112381015A (zh) 2020-11-19 2020-11-19 疲劳度识别方法、装置和设备

Country Status (1)

Country Link
CN (1) CN112381015A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436365A (zh) * 2021-06-25 2021-09-24 中科富创(北京)智能系统技术有限公司 车载边缘计算网关设备及系统
CN113454645A (zh) * 2021-05-27 2021-09-28 华为技术有限公司 驾驶状态检测方法及装置、设备、存储介质、系统、车辆
CN114298189A (zh) * 2021-12-20 2022-04-08 深圳市海清视讯科技有限公司 疲劳驾驶检测方法、装置、设备及存储介质
CN114463726A (zh) * 2022-01-07 2022-05-10 所托(杭州)汽车智能设备有限公司 疲劳驾驶判别方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110143202A (zh) * 2019-04-09 2019-08-20 南京交通职业技术学院 一种危险驾驶识别与预警方法及系统
CN110781873A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别方法
CN110781872A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别系统
CN110796207A (zh) * 2019-11-08 2020-02-14 中南大学 一种疲劳驾驶检测方法及系统
US20200089977A1 (en) * 2018-09-17 2020-03-19 Honda Motor Co., Ltd. Driver behavior recognition and prediction
CN111634288A (zh) * 2020-04-30 2020-09-08 长城汽车股份有限公司 疲劳驾驶监测方法、系统及智能识别系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200089977A1 (en) * 2018-09-17 2020-03-19 Honda Motor Co., Ltd. Driver behavior recognition and prediction
CN110143202A (zh) * 2019-04-09 2019-08-20 南京交通职业技术学院 一种危险驾驶识别与预警方法及系统
CN110796207A (zh) * 2019-11-08 2020-02-14 中南大学 一种疲劳驾驶检测方法及系统
CN110781873A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别方法
CN110781872A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别系统
CN111634288A (zh) * 2020-04-30 2020-09-08 长城汽车股份有限公司 疲劳驾驶监测方法、系统及智能识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
成波;冯睿嘉;张伟;李家文;张希波;: "基于多源信息融合的驾驶人疲劳状态监测及预警方法研究", 公路交通科技, no. 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113454645A (zh) * 2021-05-27 2021-09-28 华为技术有限公司 驾驶状态检测方法及装置、设备、存储介质、系统、车辆
CN113436365A (zh) * 2021-06-25 2021-09-24 中科富创(北京)智能系统技术有限公司 车载边缘计算网关设备及系统
CN114298189A (zh) * 2021-12-20 2022-04-08 深圳市海清视讯科技有限公司 疲劳驾驶检测方法、装置、设备及存储介质
CN114463726A (zh) * 2022-01-07 2022-05-10 所托(杭州)汽车智能设备有限公司 疲劳驾驶判别方法及相关装置

Similar Documents

Publication Publication Date Title
CN112381015A (zh) 疲劳度识别方法、装置和设备
CN113261035B (zh) 一种轨迹预测方法及相关设备
US11475770B2 (en) Electronic device, warning message providing method therefor, and non-transitory computer-readable recording medium
Khodairy et al. Driving behavior classification based on oversampled signals of smartphone embedded sensors using an optimized stacked-LSTM neural networks
WO2020042984A1 (zh) 一种车辆行为检测方法及装置
CN112639495A (zh) 一种电池检测的方法和装置
US11242050B2 (en) Reinforcement learning with scene decomposition for navigating complex environments
US20200216080A1 (en) Detecting and diagnosing anomalous driving behavior using driving behavior models
CN113165646B (zh) 用于检测车辆周围的风险因素的电子设备及其控制方法
Matousek et al. Detecting anomalous driving behavior using neural networks
US20200216027A1 (en) Detecting vehicle intrusion using command pattern models
CN110781872A (zh) 一种双模态特征融合的驾驶员疲劳等级识别系统
WO2008127465A1 (en) Real-time driving danger level prediction
CN111951560B (zh) 服务异常检测方法、训练服务异常检测模型的方法和训练声音模型的方法
CN110781873A (zh) 一种双模态特征融合的驾驶员疲劳等级识别方法
WO2022134711A1 (zh) 驾驶风格识别方法、辅助驾驶方法及装置
WO2008133746A1 (en) Systems and methods for detecting unsafe conditions
CN110901385B (zh) 一种基于驾驶员疲劳状态的主动限速方法
CN110696835B (zh) 一种车辆危险行驶行为的自动预警方法及自动预警系统
US12073604B2 (en) Using temporal filters for automated real-time classification
CN110992709A (zh) 一种基于驾驶员疲劳状态的主动限速系统
CN112698660B (zh) 基于9轴传感器的驾驶行为视觉感知装置及方法
CN117698762B (zh) 基于环境感知和行为预测的智能驾驶辅助系统及方法
CN113232668B (zh) 一种驾驶辅助方法、系统、介质及终端
WO2023001636A1 (en) Electronic device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101500 room 106-266, building 2, courtyard 8, Xingsheng South Road, Miyun District, Beijing

Applicant after: Unicom Zhiwang Technology Co.,Ltd.

Address before: 101500 room 106-266, building 2, courtyard 8, Xingsheng South Road, Miyun District, Beijing

Applicant before: Unicom Intelligent Network Technology Co., Ltd