CN117333927B - 车载人脸识别酒精检测方法及系统 - Google Patents

车载人脸识别酒精检测方法及系统 Download PDF

Info

Publication number
CN117333927B
CN117333927B CN202311629843.3A CN202311629843A CN117333927B CN 117333927 B CN117333927 B CN 117333927B CN 202311629843 A CN202311629843 A CN 202311629843A CN 117333927 B CN117333927 B CN 117333927B
Authority
CN
China
Prior art keywords
key frame
detection
image
traffic light
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311629843.3A
Other languages
English (en)
Other versions
CN117333927A (zh
Inventor
朱宏
王宇
黄栋弟
赖鹏飞
蔡淑周
江居旺
兰添福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Cibei Technology Co ltd
Original Assignee
Xiamen Cibei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Cibei Technology Co ltd filed Critical Xiamen Cibei Technology Co ltd
Priority to CN202311629843.3A priority Critical patent/CN117333927B/zh
Publication of CN117333927A publication Critical patent/CN117333927A/zh
Application granted granted Critical
Publication of CN117333927B publication Critical patent/CN117333927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种车载人脸识别酒精检测方法及系统,该方法包括:获取人脸采集图中的脸颊图像、眼部图像和鼻孔图像,获取脸颊图像的脸颊像素特征;根据驾驶时间点确定关键时间帧,根据关键时间帧确定关键帧图像;对关键帧图像进行注视点识别得到注视点信息,根据注视点信息对各关键帧图像进行红绿灯注视检测;若任一关键帧图像的红绿灯注视检测未合格,将关键帧图像确定为注意力分散图像;根据各鼻孔图像中的鼻孔孔径确定呼吸频率;根据脸颊像素特征、注意力分散图像的图像数量和呼吸频率生成酒精检测结果。本发明基于脸颊像素特征、注意力分散图像的图像数量和呼吸频率,能实时的对驾驶员进行酒精检测,提高了汽车驾驶过程中的酒精检测效率。

Description

车载人脸识别酒精检测方法及系统
技术领域
本发明涉及汽车技术领域,尤其涉及一种车载人脸识别酒精检测方法及系统。
背景技术
随着经济的飞速发展,人们生活水平的不断提高,各种类型的车辆已成为人们生活中不可或缺的代步、运输等工具。为保障车辆驾驶的安全性,对驾驶员的酒精检测问题越来越受人们所重视。
交警在查处酒后驾驶时,通常采用手持式酒精检测仪检测驾驶员呼出气体中的酒精检测值,但采用手持式酒精检测仪的方式不能实时的进行酒精检测,降低了汽车驾驶过程中的酒精检测效率。
发明内容
本发明实施例的目的在于提供一种车载人脸识别酒精检测方法及系统,旨在解决现有的酒精检测效率低下的问题。
本发明实施例是这样实现的,一种车载人脸识别酒精检测方法,所述方法包括:
对驾驶员进行人脸图像采集,得到人脸采集视频,并分别对所述人脸采集视频中的人脸采集图像进行人脸识别,得到人脸关键点信息;
根据所述人脸关键点信息分别获取各人脸采集图像中的脸颊图像、眼部图像和鼻孔图像,并分别获取各脸颊图像的脸颊像素特征;
获取所述驾驶员的驾驶信息,所述驾驶信息包括驾驶路径和所述驾驶员行驶至所述驾驶路径上各红绿灯路口的驾驶时间点;
根据所述驾驶时间点确定关键时间帧,并根据所述关键时间帧确定各眼部图像中的关键帧图像;
分别对各关键帧图像进行注视点识别,得到注视点信息,并根据所述注视点信息对各关键帧图像进行红绿灯注视检测,所述注视点信息包括注视点坐标和注视点时长;
若任一所述关键帧图像的红绿灯注视检测未合格,则将所述关键帧图像确定为注意力分散图像;
分别获取各鼻孔图像中的鼻孔孔径,并根据各鼻孔孔径确定所述驾驶员的呼吸频率;
根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果。
优选的,根据所述驾驶时间点确定关键时间帧,包括:
分别获取所述驾驶路径上各红绿灯路口的红绿灯警示牌位置,并根据各红绿灯警示牌位置确定红绿灯注视区域;
分别获取所述驾驶员行驶至各红绿灯注视区域内的驾驶时间点,并将获取到的所述驾驶时间点确定为所述关键时间帧。
优选的,根据所述注视点信息对各关键帧图像进行红绿灯注视检测,包括:
分别将各红绿灯注视区域对应的关键帧图像设置为关键帧集合,并分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态;
若所述红绿灯注视区域对应的红绿灯状态是绿灯状态,则将所述关键帧集合中预设时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
优选的,分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态之后,还包括:
若所述红绿灯注视区域对应的红绿灯状态是红灯状态,则查询所述红绿灯状态的切换时间点,并根据所述切换时间点确定检测时长;
将所述关键帧集合中所述检测时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
优选的,根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果,包括:
计算所述脸颊像素特征与预设像素特征之间的特征相似度,并根据所述特征相似度确定第一酒精检测值;
根据所述注意力分散图像的图像数量确定注视分散次数,并根据所述驾驶路径上的红绿灯数量和所述注视分散次数确定第二酒精检测值;
根据所述呼吸频率和预设频率确定第三酒精检测值,并对所述第一酒精检测值、所述第二酒精检测值和所述第三酒精检测值进行权重计算,得到所述酒精检测结果。
本发明实施例的另一目的在于提供一种车载人脸识别酒精检测系统,所述系统包括:
人脸识别模块,用于对驾驶员进行人脸图像采集,得到人脸采集视频,并分别对所述人脸采集视频中的人脸采集图像进行人脸识别,得到人脸关键点信息;
特征获取模块,用于根据所述人脸关键点信息分别获取各人脸采集图像中的脸颊图像、眼部图像和鼻孔图像,并分别获取各脸颊图像的脸颊像素特征;
图像确定模块,用于获取所述驾驶员的驾驶信息,所述驾驶信息包括驾驶路径和所述驾驶员行驶至所述驾驶路径上各红绿灯路口的驾驶时间点;
根据所述驾驶时间点确定关键时间帧,并根据所述关键时间帧确定各眼部图像中的关键帧图像;
注视检测模块,用于分别对各关键帧图像进行注视点识别,得到注视点信息,并根据所述注视点信息对各关键帧图像进行红绿灯注视检测,所述注视点信息包括注视点坐标和注视点时长;
若任一所述关键帧图像的红绿灯注视检测未合格,则将所述关键帧图像确定为注意力分散图像;
检测输出模块,用于分别获取各鼻孔图像中的鼻孔孔径,并根据各鼻孔孔径确定所述驾驶员的呼吸频率;
根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果。
优选的,所述图像确定模块还用于:
分别获取所述驾驶路径上各红绿灯路口的红绿灯警示牌位置,并根据各红绿灯警示牌位置确定红绿灯注视区域;
分别获取所述驾驶员行驶至各红绿灯注视区域内的驾驶时间点,并将获取到的所述驾驶时间点确定为所述关键时间帧。
优选的,所述注视检测模块还用于:
分别将各红绿灯注视区域对应的关键帧图像设置为关键帧集合,并分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态;
若所述红绿灯注视区域对应的红绿灯状态是绿灯状态,则将所述关键帧集合中预设时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
优选的,所述注视检测模块还用于:
若所述红绿灯注视区域对应的红绿灯状态是红灯状态,则查询所述红绿灯状态的切换时间点,并根据所述切换时间点确定检测时长;
将所述关键帧集合中所述检测时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
优选的,所述检测输出模块还用于:
计算所述脸颊像素特征与预设像素特征之间的特征相似度,并根据所述特征相似度确定第一酒精检测值;
根据所述注意力分散图像的图像数量确定注视分散次数,并根据所述驾驶路径上的红绿灯数量和所述注视分散次数确定第二酒精检测值;
根据所述呼吸频率和预设频率确定第三酒精检测值,并对所述第一酒精检测值、所述第二酒精检测值和所述第三酒精检测值进行权重计算,得到所述酒精检测结果。
本发明实施例,通过获取各人脸采集图像中的脸颊图像,能有效地获取到各脸颊图像的脸颊像素特征,基于驾驶时间点能有效地确定关键时间帧,基于关键时间帧能有效地确定各眼部图像中的关键帧图像,通过对各关键帧图像进行注视点识别,能有效地得到各关键帧图像中人眼的注视点坐标和注视点时长,通过注视点信息对各关键帧图像进行红绿灯注视检测,能有效地判断各关键帧图像是否是注意力分散图像,通过分别获取各鼻孔图像中的鼻孔孔径,基于鼻孔孔径能有效地确定驾驶员的呼吸频率,基于脸颊像素特征、注意力分散图像的图像数量和呼吸频率,能实时的对驾驶员进行酒精检测,提高了汽车驾驶过程中的酒精检测效率。
附图说明
图1是本发明第一实施例提供的车载人脸识别酒精检测方法的流程图;
图2是本发明第二实施例提供的车载人脸识别酒精检测系统的结构示意图;
图3是本发明第三实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
请参阅图1,是本发明第一实施例提供的车载人脸识别酒精检测方法的流程图,该车载人脸识别酒精检测方法可以应用于任一汽车车载终端,该车载人脸识别酒精检测方法包括步骤:
步骤S10,对驾驶员进行人脸图像采集,得到人脸采集视频,并分别对所述人脸采集视频中的人脸采集图像进行人脸识别,得到人脸关键点信息;
其中,汽车内设置有视频采集装置,该视频采集装置用于对驾驶员进行人脸图像采集,得到人脸采集视频,该步骤中,通过对人脸采集视频中的人脸采集图像进行人脸识别,能有效地获取到各人脸采集图像中驾驶员的人脸关键点信息,该人脸关键点信息包括驾驶员人脸上各关键点的坐标位置。
步骤S20,根据所述人脸关键点信息分别获取各人脸采集图像中的脸颊图像、眼部图像和鼻孔图像,并分别获取各脸颊图像的脸颊像素特征;
其中,基于各人脸关键点信息分别进行脸颊区域、眼部区域和鼻孔区域的定位,基于区域定位结果对各人脸采集图像进行图像裁剪,得到脸颊图像、眼部图像和鼻孔图像。
步骤S30,获取所述驾驶员的驾驶信息;
其中,驾驶信息包括驾驶路径和驾驶员行驶至驾驶路径上各红绿灯路口的驾驶时间点。
步骤S40,根据所述驾驶时间点确定关键时间帧,并根据所述关键时间帧确定各眼部图像中的关键帧图像;
可选的,根据所述驾驶时间点确定关键时间帧,包括:
分别获取所述驾驶路径上各红绿灯路口的红绿灯警示牌位置,并根据各红绿灯警示牌位置确定红绿灯注视区域;
其中,以各红绿灯警示牌位置为原点向指示方向延伸预设距离,得到注视原点,以注视原点为区域中心点进行区域生成,得到该红绿灯注视区域,该指示方向为对应红绿灯警示牌的显示方向,该预设距离可以根据需求进行设置,例如,该预设距离可以设置为5米、6米或10米等。可选的,该红绿灯注视区域的区域形状和面积可以根据需求进行设置。
分别获取所述驾驶员行驶至各红绿灯注视区域内的驾驶时间点,并将获取到的所述驾驶时间点确定为所述关键时间帧;
其中,基于驾驶路径中各路径点的位置和路径时间,分别获取驾驶员行驶至各红绿灯注视区域内的驾驶时间点。
步骤S50,分别对各关键帧图像进行注视点识别,得到注视点信息,并根据所述注视点信息对各关键帧图像进行红绿灯注视检测;
其中,注视点信息包括注视点坐标和注视点时长。
可选的,根据所述注视点信息对各关键帧图像进行红绿灯注视检测,包括:
分别将各红绿灯注视区域对应的关键帧图像设置为关键帧集合,并分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态;
其中,根据驾驶路径分别查询驾驶员行驶在各红绿灯注视区域内的路径时间点,将各路径时间点对应的关键帧图像设置为红绿灯注视区域的关键帧集合,并基于路径时间点分别查询对应红绿灯警示牌的显示状态,得到该红绿灯状态。
若所述红绿灯注视区域对应的红绿灯状态是绿灯状态,则将所述关键帧集合中预设时长内的关键帧图像确定为检测图像;
其中,若红绿灯注视区域中的红绿灯警示牌在对应路径时间点上显示绿灯,则将关键帧集合中预设时长内的关键帧图像确定为检测图像,该预设时长可以根据需求进行设置,例如,该预设时长可以设置为1秒、2秒或5秒等,该步骤中,预设时长的时间计算起点是关键帧集合中的第一帧图像,例如,以关键帧集合中的第一帧图像为时间起点,将1秒内的关键帧图像确定为检测图像。
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
其中,根据红绿灯警示牌位置生成注视检测区域,分别获取各检测图像对应的注视点位置,若任一检测图像对应的注视点位置在注视检测区域内,则将该检测图像确定为注意力集中图像,获取人脸采集视频的图像采集帧率,根据注意力集中图像的数量和采集帧率计算对应关键帧集合的关键注视时长;
例如,针对关键帧集合a1,若关键帧集合a1中的注意力集中图像的数量为5个,图像采集帧率为50帧/秒,注意力集中图像对应的注视时长为0.02秒,则关键帧集合a1的关键注视时长为0.1秒。
若所述关键帧集合的关键注视时长大于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
其中,该第一时长阈值可以根据需求进行设置,该步骤中,若关键帧集合的关键注视时长大于第一时长阈值,则判定驾驶员在当前红绿灯路口处于注意力集中状态,未分散注意力。
若所述关键帧集合的关键注视时长小于或等于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格,该步骤中,若关键帧集合的关键注视时长小于或等于第一时长阈值,则判定驾驶员在当前红绿灯路口注意力不集中。
进一步地,分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态之后,还包括:
若所述红绿灯注视区域对应的红绿灯状态是红灯状态,则查询所述红绿灯状态的切换时间点,并根据所述切换时间点确定检测时长;
其中,该切换时间点为红灯切换为绿灯时的时间点;
将所述关键帧集合中所述检测时长内的关键帧图像确定为检测图像;
其中,以关键帧集合中的第一帧图像为时间起点,将检测时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;其中,该第二时长可以根据需求进行设置;
若所述关键帧集合的关键注视时长小于或等于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
步骤S60,若任一所述关键帧图像的红绿灯注视检测未合格,则将所述关键帧图像确定为注意力分散图像;
步骤S70,分别获取各鼻孔图像中的鼻孔孔径,并根据各鼻孔孔径确定所述驾驶员的呼吸频率;
其中,对各鼻孔图像进行轮廓分析,基于轮廓分析结果确定各鼻孔图像中的鼻孔孔径,根据各鼻孔图像的采集时间点和鼻孔孔径绘制孔径变化图,获取孔径变化图中的孔径峰值点和谷值点,基于孔径峰值点和谷值点的数量确定呼吸频率。
步骤S80,根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果;
可选的,根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果,包括:
计算所述脸颊像素特征与预设像素特征之间的特征相似度,并根据所述特征相似度确定第一酒精检测值;
其中,该预设像素特征可以根据需求进行设置,该预设像素特征用于表征驾驶员饮酒后脸颊的颜色,可选的,该步骤中,将特征相似度与检测值查询表进行匹配,得到该第一酒精检测值,该检测值查询表中存储有不同特征相似度对应酒精检测值之间的对应关系;
根据所述注意力分散图像的图像数量确定注视分散次数,并根据所述驾驶路径上的红绿灯数量和所述注视分散次数确定第二酒精检测值;
其中,计算注意力分散图像的图像数量与预设数量之间的商值,得到该注视分散次数,该预设数量可以根据需求进行设置,计算驾驶路径上的红绿灯数量和注视分散次数之间的数量比值,将数量比值与检测值查询表进行匹配,得到该第二酒精检测值,该检测值查询表中还存储有不同数量比值与对应酒精检测值之间的对应关系;
根据所述呼吸频率和预设频率确定第三酒精检测值,并对所述第一酒精检测值、所述第二酒精检测值和所述第三酒精检测值进行权重计算,得到所述酒精检测结果;其中,该预设频率可以根据需求进行设置,将呼吸频率和预设频率之间的频率比值与检测值查询表进行匹配,得到该第三酒精检测值,该检测值查询表中还存储有不同频率比值与对应酒精检测值之间的对应关系。
该步骤中,脸颊像素特征用于表示驾驶员脸颊的颜色变化,注视分散次数用于表示驾驶员行驶过红绿灯路口时注意力不集中的次数,可以理解的,当驾驶员行驶过红绿灯路口时注意力不集中的次数越大时,则证明驾驶员分心的概率越大,呼吸频率用于表示驾驶员呼吸急促的程度,当驾驶员饮酒后,会发生脸颊颜色变化、注意力不集中和呼吸急促等现象,因此,当第一酒精检测值、第二酒精检测值和第三酒精检测值的权重计算结果大于权重阈值时,则判定驾驶员有饮酒,当前有检测到酒精反应。
可选的,本实施例还包括:
根据人脸关键点信息分别获取各人脸采集图像中额头图像,对各额头图像分别进行光反射检测和汗水检测,根据光反射检测结果和汗水检测结果对酒精检测结果进行修正。
进一步地,对各额头图像分别进行光反射检测和汗水检测,包括:
分别获取各额头图像中像素点的亮度值,分别计算各额头图像中像素点亮度值的亮度平均值;
若任一额头图像的亮度平均值大于亮度阈值,则将额头图像确定为目标图像,得到光反射检测结果,该光反射检测结果包括目标图像的图像数量;
对各额头图像进行灰度处理,得到灰度图像,并分别提取各灰度图像中的图像轮廓;
根据预设轮廓面积和预设轮廓形状对各图像轮廓进行筛选,并分别计算筛选后各灰度图像中图像轮廓之间的面积和;
若任一灰度图像中图像轮廓之间的面积和大于面积阈值,则将该灰度图像对应的额头图像确定为流汗图像,得到汗水检测结果,该汗水检测结果包括流汗图像的图像数量。
更进一步地,根据光反射检测结果和汗水检测结果对酒精检测结果进行修正,包括:
将目标图像的图像数量和流汗图像的图像数量组成数字组,并将数字组与检测值查询表进行匹配,得到该第五酒精检测值,该检测值查询表中还存储有不同数字组与对应酒精检测值之间的对应关系;
将第五酒精检测值和酒精检测结果进行权重计算,得到修正后的酒精检测结果。
本实施例中,通过获取各人脸采集图像中的脸颊图像,能有效地获取到各脸颊图像的脸颊像素特征,基于驾驶时间点能有效地确定关键时间帧,基于关键时间帧能有效地确定各眼部图像中的关键帧图像,通过对各关键帧图像进行注视点识别,能有效地得到各关键帧图像中人眼的注视点坐标和注视点时长,通过注视点信息对各关键帧图像进行红绿灯注视检测,能有效地判断各关键帧图像是否是注意力分散图像,通过分别获取各鼻孔图像中的鼻孔孔径,基于鼻孔孔径能有效地确定驾驶员的呼吸频率,基于脸颊像素特征、注意力分散图像的图像数量和呼吸频率,能实时的对驾驶员进行酒精检测,提高了汽车驾驶过程中的酒精检测效率。
实施例二
请参阅图2,是本发明第二实施例提供的车载人脸识别酒精检测系统100的结构示意图,包括:
人脸识别模块10,用于对驾驶员进行人脸图像采集,得到人脸采集视频,并分别对所述人脸采集视频中的人脸采集图像进行人脸识别,得到人脸关键点信息。
特征获取模块11,用于根据所述人脸关键点信息分别获取各人脸采集图像中的脸颊图像、眼部图像和鼻孔图像,并分别获取各脸颊图像的脸颊像素特征。
图像确定模块12,用于获取所述驾驶员的驾驶信息,所述驾驶信息包括驾驶路径和所述驾驶员行驶至所述驾驶路径上各红绿灯路口的驾驶时间点;
根据所述驾驶时间点确定关键时间帧,并根据所述关键时间帧确定各眼部图像中的关键帧图像。
注视检测模块13,用于分别对各关键帧图像进行注视点识别,得到注视点信息,并根据所述注视点信息对各关键帧图像进行红绿灯注视检测,所述注视点信息包括注视点坐标和注视点时长;
若任一所述关键帧图像的红绿灯注视检测未合格,则将所述关键帧图像确定为注意力分散图像。
检测输出模块14,用于分别获取各鼻孔图像中的鼻孔孔径,并根据各鼻孔孔径确定所述驾驶员的呼吸频率;
根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果。
可选的,所述图像确定模块12还用于:分别获取所述驾驶路径上各红绿灯路口的红绿灯警示牌位置,并根据各红绿灯警示牌位置确定红绿灯注视区域;
分别获取所述驾驶员行驶至各红绿灯注视区域内的驾驶时间点,并将获取到的所述驾驶时间点确定为所述关键时间帧。
进一步地,所述注视检测模块13还用于:分别将各红绿灯注视区域对应的关键帧图像设置为关键帧集合,并分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态;
若所述红绿灯注视区域对应的红绿灯状态是绿灯状态,则将所述关键帧集合中预设时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
更进一步地,所述注视检测模块13还用于:若所述红绿灯注视区域对应的红绿灯状态是红灯状态,则查询所述红绿灯状态的切换时间点,并根据所述切换时间点确定检测时长;
将所述关键帧集合中所述检测时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
可选的,所述检测输出模块14还用于:计算所述脸颊像素特征与预设像素特征之间的特征相似度,并根据所述特征相似度确定第一酒精检测值;
根据所述注意力分散图像的图像数量确定注视分散次数,并根据所述驾驶路径上的红绿灯数量和所述注视分散次数确定第二酒精检测值;
根据所述呼吸频率和预设频率确定第三酒精检测值,并对所述第一酒精检测值、所述第二酒精检测值和所述第三酒精检测值进行权重计算,得到所述酒精检测结果。
本实施例,通过获取各人脸采集图像中的脸颊图像,能有效地获取到各脸颊图像的脸颊像素特征,基于驾驶时间点能有效地确定关键时间帧,基于关键时间帧能有效地确定各眼部图像中的关键帧图像,通过对各关键帧图像进行注视点识别,能有效地得到各关键帧图像中人眼的注视点坐标和注视点时长,通过注视点信息对各关键帧图像进行红绿灯注视检测,能有效地判断各关键帧图像是否是注意力分散图像,通过分别获取各鼻孔图像中的鼻孔孔径,基于鼻孔孔径能有效地确定驾驶员的呼吸频率,基于脸颊像素特征、注意力分散图像的图像数量和呼吸频率,能实时的对驾驶员进行酒精检测,提高了汽车驾驶过程中的酒精检测效率。
实施例三
图3是本申请第三实施例提供的一种终端设备2的结构框图。如图3所示,该实施例的终端设备2包括:处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22,例如车载人脸识别酒精检测方法的程序。处理器20执行所述计算机程序22时实现上述各个车载人脸识别酒精检测方法各实施例中的步骤。
示例性的,所述计算机程序22可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器21中,并由所述处理器20执行,以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括,但不仅限于,处理器20、存储器21。
所称处理器20可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元,例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备,例如所述终端设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。其中,计算机可读存储介质可以是非易失性的,也可以是易失性的。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (4)

1.一种车载人脸识别酒精检测方法,其特征在于,所述方法包括:
对驾驶员进行人脸图像采集,得到人脸采集视频,并分别对所述人脸采集视频中的人脸采集图像进行人脸识别,得到人脸关键点信息;
根据所述人脸关键点信息分别获取各人脸采集图像中的脸颊图像、眼部图像和鼻孔图像,并分别获取各脸颊图像的脸颊像素特征;
获取所述驾驶员的驾驶信息,所述驾驶信息包括驾驶路径和所述驾驶员行驶至所述驾驶路径上各红绿灯路口的驾驶时间点;
根据所述驾驶时间点确定关键时间帧,并根据所述关键时间帧确定各眼部图像中的关键帧图像;
分别对各关键帧图像进行注视点识别,得到注视点信息,并根据所述注视点信息对各关键帧图像进行红绿灯注视检测,所述注视点信息包括注视点坐标和注视点时长;
若任一所述关键帧图像的红绿灯注视检测未合格,则将所述关键帧图像确定为注意力分散图像;
分别获取各鼻孔图像中的鼻孔孔径,并根据各鼻孔孔径确定所述驾驶员的呼吸频率;
根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果;
根据所述驾驶时间点确定关键时间帧,包括:
分别获取所述驾驶路径上各红绿灯路口的红绿灯警示牌位置,并根据各红绿灯警示牌位置确定红绿灯注视区域;
分别获取所述驾驶员行驶至各红绿灯注视区域内的驾驶时间点,并将获取到的所述驾驶时间点确定为所述关键时间帧;
根据所述注视点信息对各关键帧图像进行红绿灯注视检测,包括:
分别将各红绿灯注视区域对应的关键帧图像设置为关键帧集合,并分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态;
若所述红绿灯注视区域对应的红绿灯状态是绿灯状态,则将所述关键帧集合中预设时长内的关键帧图像确定为检测图像;
根据红绿灯警示牌位置生成注视检测区域,分别获取各检测图像对应的注视点位置;
若任一检测图像对应的注视点位置在注视检测区域内,则将该检测图像确定为注意力集中图像,获取人脸采集视频的图像采集帧率,根据注意力集中图像的数量和图像采集帧率计算对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格;
若所述红绿灯注视区域对应的红绿灯状态是红灯状态,则查询所述红绿灯状态的切换时间点,并根据所述切换时间点确定检测时长;
将所述关键帧集合中所述检测时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
2.如权利要求1所述的车载人脸识别酒精检测方法,其特征在于,根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果,包括:
计算所述脸颊像素特征与预设像素特征之间的特征相似度,并根据所述特征相似度确定第一酒精检测值;
根据所述注意力分散图像的图像数量确定注视分散次数,并根据所述驾驶路径上的红绿灯数量和所述注视分散次数确定第二酒精检测值;
根据所述呼吸频率和预设频率确定第三酒精检测值,并对所述第一酒精检测值、所述第二酒精检测值和所述第三酒精检测值进行权重计算,得到所述酒精检测结果。
3.一种车载人脸识别酒精检测系统,其特征在于,所述系统包括:
人脸识别模块,用于对驾驶员进行人脸图像采集,得到人脸采集视频,并分别对所述人脸采集视频中的人脸采集图像进行人脸识别,得到人脸关键点信息;
特征获取模块,用于根据所述人脸关键点信息分别获取各人脸采集图像中的脸颊图像、眼部图像和鼻孔图像,并分别获取各脸颊图像的脸颊像素特征;
图像确定模块,用于获取所述驾驶员的驾驶信息,所述驾驶信息包括驾驶路径和所述驾驶员行驶至所述驾驶路径上各红绿灯路口的驾驶时间点;
根据所述驾驶时间点确定关键时间帧,并根据所述关键时间帧确定各眼部图像中的关键帧图像;
注视检测模块,用于分别对各关键帧图像进行注视点识别,得到注视点信息,并根据所述注视点信息对各关键帧图像进行红绿灯注视检测,所述注视点信息包括注视点坐标和注视点时长;
若任一所述关键帧图像的红绿灯注视检测未合格,则将所述关键帧图像确定为注意力分散图像;
检测输出模块,用于分别获取各鼻孔图像中的鼻孔孔径,并根据各鼻孔孔径确定所述驾驶员的呼吸频率;
根据所述脸颊像素特征、所述注意力分散图像的图像数量和所述呼吸频率生成酒精检测结果;
所述图像确定模块还用于:分别获取所述驾驶路径上各红绿灯路口的红绿灯警示牌位置,并根据各红绿灯警示牌位置确定红绿灯注视区域;
分别获取所述驾驶员行驶至各红绿灯注视区域内的驾驶时间点,并将获取到的所述驾驶时间点确定为所述关键时间帧;
所述注视检测模块还用于:分别将各红绿灯注视区域对应的关键帧图像设置为关键帧集合,并分别查询所述驾驶员行驶至各红绿灯注视区域时的红绿灯状态;
若所述红绿灯注视区域对应的红绿灯状态是绿灯状态,则将所述关键帧集合中预设时长内的关键帧图像确定为检测图像;
根据红绿灯警示牌位置生成注视检测区域,分别获取各检测图像对应的注视点位置;
若任一检测图像对应的注视点位置在注视检测区域内,则将该检测图像确定为注意力集中图像,获取人脸采集视频的图像采集帧率,根据注意力集中图像的数量和图像采集帧率计算对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第一时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格;
所述注视检测模块还用于:若所述红绿灯注视区域对应的红绿灯状态是红灯状态,则查询所述红绿灯状态的切换时间点,并根据所述切换时间点确定检测时长;
将所述关键帧集合中所述检测时长内的关键帧图像确定为检测图像;
根据所述注视点信息,分别获取各检测图像对应的注视点位置,并根据各检测图像对应的注视点位置确定对应关键帧集合的关键注视时长;
若所述关键帧集合的关键注视时长大于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测合格;
若所述关键帧集合的关键注视时长小于或等于第二时长阈值,则判定所述关键帧集合中的各关键帧图像的红绿灯注视检测未合格。
4.如权利要求3所述的车载人脸识别酒精检测系统,其特征在于,所述检测输出模块还用于:
计算所述脸颊像素特征与预设像素特征之间的特征相似度,并根据所述特征相似度确定第一酒精检测值;
根据所述注意力分散图像的图像数量确定注视分散次数,并根据所述驾驶路径上的红绿灯数量和所述注视分散次数确定第二酒精检测值;
根据所述呼吸频率和预设频率确定第三酒精检测值,并对所述第一酒精检测值、所述第二酒精检测值和所述第三酒精检测值进行权重计算,得到所述酒精检测结果。
CN202311629843.3A 2023-12-01 2023-12-01 车载人脸识别酒精检测方法及系统 Active CN117333927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311629843.3A CN117333927B (zh) 2023-12-01 2023-12-01 车载人脸识别酒精检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311629843.3A CN117333927B (zh) 2023-12-01 2023-12-01 车载人脸识别酒精检测方法及系统

Publications (2)

Publication Number Publication Date
CN117333927A CN117333927A (zh) 2024-01-02
CN117333927B true CN117333927B (zh) 2024-04-16

Family

ID=89277771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311629843.3A Active CN117333927B (zh) 2023-12-01 2023-12-01 车载人脸识别酒精检测方法及系统

Country Status (1)

Country Link
CN (1) CN117333927B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052870A (ko) * 2017-11-09 2019-05-17 센시(주) 출입자의 음주상태 진단시스템
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及系统
CN112101123A (zh) * 2020-08-20 2020-12-18 深圳数联天下智能科技有限公司 一种注意力检测方法及装置
CN112124073A (zh) * 2020-09-23 2020-12-25 上海商汤临港智能科技有限公司 基于酒精检测的智能驾驶控制方法及装置
CN112401857A (zh) * 2020-11-23 2021-02-26 杭州艺兴科技有限公司 一种驾驶员酒驾检测方法
CN113329904A (zh) * 2018-12-12 2021-08-31 盖兹洛克公司 使用注视参数和运动参数的映射的酒精锁装置和系统
CN113792663A (zh) * 2021-09-15 2021-12-14 东北大学 一种驾驶员酒驾以及疲劳驾驶的检测方法、装置及存储介质
CN114299574A (zh) * 2021-12-23 2022-04-08 中山大学 一种非接触式饮酒驾驶检测方法及装置
CN115376113A (zh) * 2022-08-08 2022-11-22 合肥杰发科技有限公司 驾驶员分心检测方法、驾驶员监控系统及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052870A (ko) * 2017-11-09 2019-05-17 센시(주) 출입자의 음주상태 진단시스템
CN113329904A (zh) * 2018-12-12 2021-08-31 盖兹洛克公司 使用注视参数和运动参数的映射的酒精锁装置和系统
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及系统
CN112101123A (zh) * 2020-08-20 2020-12-18 深圳数联天下智能科技有限公司 一种注意力检测方法及装置
CN112124073A (zh) * 2020-09-23 2020-12-25 上海商汤临港智能科技有限公司 基于酒精检测的智能驾驶控制方法及装置
CN112401857A (zh) * 2020-11-23 2021-02-26 杭州艺兴科技有限公司 一种驾驶员酒驾检测方法
CN113792663A (zh) * 2021-09-15 2021-12-14 东北大学 一种驾驶员酒驾以及疲劳驾驶的检测方法、装置及存储介质
CN114299574A (zh) * 2021-12-23 2022-04-08 中山大学 一种非接触式饮酒驾驶检测方法及装置
CN115376113A (zh) * 2022-08-08 2022-11-22 合肥杰发科技有限公司 驾驶员分心检测方法、驾驶员监控系统及存储介质

Also Published As

Publication number Publication date
CN117333927A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN108928294B (zh) 行车危险的提醒方法、装置、终端及计算机可读存储介质
US8085140B2 (en) Travel information providing device
CN110703904B (zh) 一种基于视线跟踪的增强虚拟现实投影方法及系统
CN108860045B (zh) 驾驶辅助方法、驾驶辅助装置及存储介质
US9336630B2 (en) Method and apparatus for providing augmented reality
CN110826370A (zh) 车内人员的身份识别方法、装置、车辆及存储介质
JP2011216051A (ja) 信号灯識別プログラムおよび信号灯識別装置
US20200329192A1 (en) In-vehicle display control device, in-vehicle display system, in-vehicle display control method, and program
CN107862296A (zh) 驾驶员行为的监控方法及系统、计算机可读存储介质
CN110834667B (zh) 车辆转向控制方法、装置、车辆、终端设备及存储介质
Bui-Minh et al. A robust algorithm for detection and classification of traffic signs in video data
CN111505617B (zh) 车辆定位方法、装置、设备及存储介质
CN111582272A (zh) 双行车牌识别方法、装置、设备及计算机可读存储介质
CN113635833A (zh) 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN117333927B (zh) 车载人脸识别酒精检测方法及系统
CN113128295A (zh) 一种车辆驾驶员危险驾驶状态识别方法及装置
CN110826544A (zh) 交通标志检测识别系统及方法
JP2003067727A (ja) 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置
CN112896160B (zh) 交通标志信息获取方法及相关设备
Ahlstrom et al. A generalized method to extract visual time-sharing sequences from naturalistic driving data
CN113581196A (zh) 一种车辆行驶预警的方法、装置、计算机设备及存储介质
CN112258813A (zh) 一种车辆主动安全控制方法和设备
CN110556024A (zh) 一种防碰撞辅助驾驶方法、系统及计算机可读存储介质
CN110929737A (zh) 一种标签生成方法及装置
Hernández et al. Vision-Based distraction analysis tested on a realistic driving simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant