CN102159136B - 困意预兆检测装置 - Google Patents

困意预兆检测装置 Download PDF

Info

Publication number
CN102159136B
CN102159136B CN2009801367782A CN200980136778A CN102159136B CN 102159136 B CN102159136 B CN 102159136B CN 2009801367782 A CN2009801367782 A CN 2009801367782A CN 200980136778 A CN200980136778 A CN 200980136778A CN 102159136 B CN102159136 B CN 102159136B
Authority
CN
China
Prior art keywords
angular velocity
omen
meaning
movement
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801367782A
Other languages
English (en)
Other versions
CN102159136A (zh
Inventor
平田丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANO OPTONICS ENERGY Inc
Chubu University Educational Foundation
Original Assignee
NANO OPTONICS ENERGY Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANO OPTONICS ENERGY Inc filed Critical NANO OPTONICS ENERGY Inc
Publication of CN102159136A publication Critical patent/CN102159136A/zh
Application granted granted Critical
Publication of CN102159136B publication Critical patent/CN102159136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Anesthesiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明的课题在于实现实用条件范围广的困意预兆检测装置,用来检测车辆的驾驶员、机械的操作者等自己发觉困意之前的预兆。根据困意预兆检测装置(10),可通过头部运动检测机构(11)检测头部运动,通过眼球运动检测机构(12)检测眼球运动,通过理想眼球运动角速度计算机构(13),根据由头部运动检测机构(11)检测的头部运动数据计算理想眼球运动角速度,通过眼球旋转角速度计算机构(14),根据由眼球运动检测机构(12)检测的眼球运动数据计算眼球旋转角速度,通过困意预兆判断机构(15),根据理想眼球运动角速度和眼球旋转角速度检测前庭眼球反射,根据该前庭眼球反射判断车辆的驾驶员、机械的操作者等自己发觉困意之前的困意的预兆。

Description

困意预兆检测装置
技术领域
本发明涉及利用通过头部运动诱发的前庭眼球反射检测车辆的驾驶员、设备的操作者等自我发觉困意之前的预兆的困意预兆检测装置。 
背景技术
作为防止车辆的驾驶员或机械的操作者的清醒度降低,即由困意造成事故的措施,有效的措施是以客观能察觉的方式检测清醒度。在过去,作为检测车辆的驾驶员困意的困意检测装置,人们提出有以困意造成的脑波、眨眼、眼球运动等的生理信号为指标,检测困意的类型。比如,在专利文献1中,公开了一种困意检测装置,该装置根据由清醒时的驾驶员固有眨眼的闭眼时间设定的眨眼评价时间,检测闭眼时间长于评价时间的眨眼,根据规定时间中较长的眨眼相对眨眼总数的比例检测困意。 
专利文献1:日本特开平10-272960号公报 
发明内容
在以客观能察觉的方式检测清醒度时,与提高暂时降低的清醒度的方式相比较,下述作为事故防止措施是有效的。该措施根据捕获清醒度的降低的预兆、进行适合的处置,由此防止清醒度降低于未然。但是,在上述技术中,可进行降低的清醒度,即困意的检测,但具有无法检测清醒度降低的预兆的问题。另一方面, 作为呈现困意的预兆检测的可能性的方式,人们提出有着眼于车辆的驾驶者的瞳孔的波动的清醒度降低检测方法。在被试验者自我发觉困意时,瞳孔产生低频较大的波动(Large Low Frequency Fluctuation:LLFF),在自我发觉困意之前,由于产生单调的缩瞳(Gradual Miosis:GM),故暗示了LLFF表示自我发觉增强的困意的指标,GM表示自我发觉前的困意预兆的指标。但是,由于瞳孔的尺寸对应于外界的亮度变化或距注视点的距离而改变,故人们认为在夜间没有对面车辆的直线道路上可有效地发挥作用,但在白天行使或夜间对面车辆多的驾驶状况时,恐怕无法实现可靠性高的困意检测。 
于是,本发明的目的在于实现检测车辆的驾驶员、机械的操作者等自我发觉困意之前的预兆的实用条件范围广的困意预兆检测装置。 
为了实现上述目的,在本发明中,权利要求1所述的发明采用下述的技术方案,在困意预兆检测装置中,其包括:检测头部运动的头部运动检测机构;检测眼球运动的眼球运动检测机构;理想眼球运动角速度计算机构,该机构根据由上述头部运动检测机构检测的头部运动数据,计算理想眼球运动角速度;眼球旋转角速度计算机构,该机构根据由上述眼球运动检测机构检测的眼球运动数据,计算眼球旋转角速度;困意预兆判断机构,该机构根据上述理想眼球运动角速度和上述眼球旋转角速度,检测前庭眼球反射(VOR),根据该前庭眼球反射判断困意的预兆。 
作为由于车辆的驾驶员或机械的操作者的清醒度降低造成的事故的防止对策,重要的是以客观能察觉的方式检测清醒度。作为用于检测人的困意的客观指标,本申请人着眼于以与头部运动基本相同的速度使眼球沿相反方向旋转,获得没有晃动的视野用 的反射性眼球运动的前庭眼球反射(Vestibulo-Ocular Reflex:VOR),通过实验而确认了其有效性。按照权利要求1所述的发明,可通过头部运动检测机构检测头部运动,通过眼球运动检测机构检测眼球运动,通过理想眼球运动角速度计算机构,根据由头部运动检测机构检测的头部运动数据,计算理想眼球运动角速度,通过眼球旋转角速度计算机构,根据由眼球运动检测机构检测的眼球运动数据,计算眼球旋转角速度,通过困意预兆判断机构,根据理想眼球运动角速度和眼球旋转角速度,检测前庭眼球反射(VOR),根据该前庭眼球反射,判断车辆的驾驶员、机械的操作者等自我发觉困意之前的困意的预兆。由于前庭眼球反射难以受到周围亮度等的外部环境影响,故可扩大实用条件范围。另外,由于运算负荷小,故可进行实时的测定和判断。 
权利要求2所述的发明采用下述的方案,权利要求1所述的困意预兆检测装置中,上述困意预兆判断机构,计算VOR增益和该VOR增益的减少率,该VOR增益是以作为上述理想眼球运动角速度的一次式的下述式来将上述眼球旋转角速度近似时的G而定义的,在上述VOR增益的减少率超过预定阈值时,判定为困意的预兆, 
e(t)=Gh(t-τ)+dc+ε(t) 
其中,e(t)表示眼球旋转角速度,G表示VOR增益,h(t)表示理想眼球运动角速度,τ表示眼球运动相对头部运动的滞后时间,dc表示常数项,ε(t)表示回归模型的余差。 
由于VOR增益的减少从自我发觉困意之前产生,故作为表示困意的预兆的指标是有效的。如权利要求2所述的发明那样,由于睡眠预兆判断机构在重新被设定的VOR增益的减少率超过预定的阈值时,判定为困意的预兆,故可适用于困意预兆的判断。 
权利要求3所述的发明采用下述的技术方案,权利要求1或2所述的困意预兆检测装置中,上述困意预兆判断机构,计算近似余差和余差标准偏差,该近似余差是以作为上述理想眼球运动角速度的一次式的下述式来将上述眼球旋转角速度近似时的ε(t)而定义的,在上述余差标准偏差增加率超过预定阈值时,判定为困意的预兆: 
e(t)=Gh(t-τ)+dc+ε(t) 
其中,e(t)表示眼球旋转角速度,G表示VOR增益,h(t)表示理想眼球运动角速度,τ表示眼球运动相对头部运动的滞后时间,dc表示常数项,ε(t)表示回归模型的余差。 
由于余差标准偏差的增加从自我发觉困意之前产生,故作为表示困意的预兆的指标是有效的。如权利要求3所述的发明那样,由于睡眠预兆判断机构在重新被设定的余差标准偏差的增加率超过预定阈值时,判定为困意的预兆,故可适用于困意预兆的判断。特别是,如果并用权利要求2记载的发明,能够提高睡眠预兆的判断精度。 
权利要求4所述的发明采用下述的技术方案,在权利要求1~3中的任意一项所述的困意预兆检测装置中,该装置为装载于车辆上的困意预兆检测装置,在上述头部运动检测机构中,采用上述车辆所具有的加速度传感器和陀螺传感器的输出,计算理想眼球运动角速度。 
如权利要求4所述的发明那样,在将困意预兆检测装置装载于车辆上时,作为头部运动检测机构,可采用车辆所具有的加速度传感器和陀螺传感器的输出,计算理想眼球运动角速度。由此,可减少困意预兆检测装置的组成部件。 
附图说明
图1为困意预兆检测装置的结构图; 
图2为表示困意预兆检测方法的流程图; 
图3为模拟汽车运转时的实验系统的示意图; 
图4为表示试验结果的说明图,图4(a)为将典型的被试验者的清醒时(心算课题中)的理想眼球运动角速度和眼球旋转角速度重叠而绘制的图,图4(b)为采用图4(a)的数据,以眼球旋转角速度为纵轴,以理想眼球运动角速度为横轴而绘制的图,图4(c),图4(d)为被试验者感到困意的区间的试验结果,图4(c)与图4(a)相对应,图4(d)与图4(b)相对应; 
图5为将VOR增益和SDres与瞳孔径变化进行比较的说明图; 
图6为表示VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t)与困意的预兆之间的关系的说明图,图6(a)为分别以6个实验数据中的VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t)为纵轴、横轴而绘制的图,图6(b)为采用从心算课题结束后,到发觉困意的ΔVOR(t)与ΔSDres(t)而绘制的图。 
具体实施方式
参照附图,对本发明的困意预兆检测装置进行说明。图1为困意预兆检测装置的结构图。图2为表示困意预兆检测方法的流程图。 
如图1所示,困意预兆检测装置10包括检测头部运动的头部运动检测机构11;检测眼球运动的眼球运动检测机构12;根据由头部运动检测机构11检测的头部运动数据,计算理想眼球运动角速度的理想眼球运动角速度计算机构13;根据由眼球运动检测机构12检测的眼球运动数据,计算眼球旋转角速度的眼球旋转角速 度计算机构14;根据理想眼球运动角速度和眼球旋转角速度,检测前庭眼球反射(VOR),根据该前庭眼球反射,判断困意的预兆的困意预兆判断机构15。 
头部运动检测机构11,检测在头部产生的直线加速度和旋转角速度,可采用检测直线加速度的3轴加速度传感器和旋转角速度的陀螺仪。比如,在搭载于汽车等的车辆上时,按照可检测驾驶员的行进方向、上下方向、左右方向的直线加速度;驾驶员的左右摇摆、上下摇摆、偏转的各方向的旋转角速度的方式构成。由此,分别检测头部运动,将加速度数据和旋转角速度数据发送给理想眼球运动角速度计算机构13。 
眼球运动检测机构12对眼球图像进行拍摄,比如,可最好采用CCD照相机等的数字摄影装置。困意预兆检测装置10。比如,搭载于汽车等的车辆上时,可设置于仪表面板附近等的容易拍摄驾驶员的眼球图像的部位。 
理想眼球运动角速度计算机构13与头部运动检测机构11连接,根据由头部运动检测机构11检测的头部运动数据,计算用于对头部运动进行补偿的作为理想眼球运动角速度的理想眼球运动角速度。理想眼球运动角速度计算机构13可采用比如运算处理用的个人计算机(PC)。 
眼球旋转角速度计算机构14与眼球运动检测机构12连接,根据由眼球运动检测机构12检测的眼球运动数据,计算眼球旋转角速度。眼球旋转角速度计算机构14可比如与理想眼球运动角速度计算机构13相同,采用运算处理用的个人计算机(PC)。 
困意预兆判断机构15与理想眼球运动角速度计算机构13和眼球旋转角速度计算机构14连接,根据理想眼球角速度和眼球旋转角速度,作为与前庭眼球反射(Vestibulo-Ocular Reflex:VOR)相关的 参数,计算后述的VOR增益G和余差标准偏差SDres,根据至少一者的参数,判断困意的预兆。困意预兆判断机构15比如,可与理想眼球运动角速度计算机构13和眼球旋转角速度计算机构14相同,采用运算处理用的个人计算机(PC)。 
理想眼球运动角速度计算机构13、眼球旋转角速度计算机构14和困意预兆判断机构15可作为同一运算处理用的个人计算机而构成。另外,在困意预兆检测装置10搭载于比如汽车等的车辆上时,也可将引擎控制组件(ECU)兼用作运算处理用的个人计算机。由此,可减少困意预兆检测装置10的组成部件。 
下面对困意预兆检测方法进行说明。首先,如图2所示,在步骤S 1,通过头部运动检测机构11检测在头部产生的直线加速度和旋转角速度。在这里,在搭载于汽车等的车辆上时,分别检测驾驶员的行进方向、上下方向、左右方向的直线加速度;驾驶员的左右摇摆、上下摇摆、偏转的各方向的旋转角速度,将直线加速度数据和旋转角速度数据发送给理想眼球运动角速度计算机构13。在这里,采用上下方向的直线加速度数据和上下摇摆方向的旋转角速度,也可采用其它的成分。 
接着,在步骤S2,通过理想眼球运动角速度计算机构13,根据在步骤S 1检测的头部运动,计算理想眼球运动角速度,将理想眼球运动角速度数据发送给困意预兆判断机构15。 
在步骤S3,通过眼球运动检测机构12,对眼球运动进行拍摄,测定瞳孔中心坐标的移动量,将驾驶员的左右摇摆、上下摇摆、偏转的各方向的眼球运动数据发送给眼球旋转角速度计算机构14。 
在步骤S4,通过眼球旋转角速度计算机构14,根据在步骤S3拍摄的眼球运动数据,计算眼球旋转角速度,将眼球旋转角速度发送给困意预兆判断机构15。
在步骤S5,通过困意预兆判断机构15,根据理想眼球运动角速度数据和眼球旋转角速度数据,作为与前庭眼球反射相关的参数,计算在下面给出VOR增益G和余差标准偏差SDres。在这里,前庭眼球反射(VOR)是指:相对头部运动,以基本相同的速度,沿逆向使眼球旋转,用于获得没有晃动的视野的反射性眼球运动。 
VOR增益,作为目标函数为眼球旋转角速度e(t),说明函数为理想眼球运动角速度h(t)和常数项dc的回归模型的系数G,通过推算最小平方而求出。在这里,ε(t)表示回归模型的余差,τ表示眼球运动相对理想眼球运动的延迟时间。在这里,VOR增益可针对驾驶员的行进方向、上下方向、左右方向中的至少一个方向而计算。 
(数学公式1) 
e(t)=Gh(t-τ)+dc+ε(t) 
余差标准偏差SDres通过下述式而计算。在这里,N表示所测定的数据的个数。 
(数学公式2) 
SDres = 1 N - 1 Σ t = 1 N ϵ 2 ( t )
由于VOR增益的减少和余差标准偏差的增加从自我发觉困意之前产生,故作为表示困意的预兆的指标是有效的。于是,在步骤S6,为了对VOR增益的增加和余差标准偏差的增加量进行定量化处理,通过困意预兆判断机构15计算下述的指标。即,对于VOR增益和余差标准偏差SDres,因个体差异,其初始值和变化量不同,故分别计算高清醒状态的平均值,计算相对平均值的变化率。分别按照下述方式对某时刻的VOR增益减少率ΔVOR(t) 和SDres的增加率ΔSDres(t)进行定义,对其进行计算。 
(数学公式3) 
ΔG ( t ) = - G ( t ) - G ‾ G ‾ × 100
其中: 表示VOR增益的高清醒状态的平均值。 
(数学公式4) 
ΔSD ( t ) = SD res ( t ) - SD res ‾ SD res ‾ × 100
其中: 
Figure DEST_PATH_RE-GPA00001331029800024
表示余差标准偏差SDres的高清醒状态的平均值。 
在步骤S7,通过困意预兆判断机构15,将在步骤S6计算的VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t),与分别预先设定的阈值th1、th2进行比较。在VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t)均超过阈值时(S7:是),判定检测到困意的预兆,将处理转到下一步骤S8。在VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t)中的至少一者在阈值以下时(S7:否),判定没有检测到困意的预兆,结束一系列的处理。 
在步骤S8,通过困意预兆判断机构15,输出困意预兆检测信号,结束一系列的处理。 
如上所述,按照本发明的困意预兆检测装置10,可根据前庭眼球反射,判断车辆的驾驶员、机械的操作者等自我发觉困意之前的困意的预兆。由于前庭眼球反射难以受到周围亮度等的外部环境影响,可扩大实用条件范围。另外,由于运算负荷小,故可进行实时测定和判断。 
在上述困意预兆检测方法中,步骤S1和S2与步骤S3和S4的处理顺序是任意的。 
(实施例) 
下面给出本发明的实施例。图3表示对汽车运转时进行模拟的实验系统的示意图。驾驶模拟(DS)系统21,由对DS图像进行投影的投影仪和屏幕、具有转向系统、加速踏板、制动器的驾驶员车座构成。驾驶员车座设置于被试验者的头部和屏幕的中心正对的位置。被试验者头部到前面屏幕间距为2470mm,屏幕尺寸为100英寸(左右视野角±39.1deg,上下视野角为±26.3deg)。在驾驶员车座的下部,设置用于引发前庭眼球反射的振动装置22。按照被试验者的瞳孔径为瞳孔可动范围的基本中间直径(直径为6mm左右)的方式,调整投影仪的亮度和对比度。 
针对眼球图像,通过眼球回旋摄影装置23,按照29.97fps测定两眼球图像。针对头部运动,将图中未示出的3轴加速度传感器和3台陀螺仪安装于眼球回旋摄影装置23上,分别测定3轴方向的直线加速度和旋转角速度。头部运动数据与眼球图像同步,按照取样频率1kHz,通过AD/DA变换装置24而进行AD变换处理,将其收录于数据保存用PC25中。另外,眼球图像和头部运动数据通过分支线路而输入到运算处理用PC26中,实时地观测头部运动、眼球运动和瞳孔孔径变化。 
在这里,3轴加速度传感器和陀螺仪与头部运动检测机构相对应,眼球回旋摄影装置23与眼球运动检测机构相对应,运算处理用PC26与理想眼球运动角速度计算机构、眼球旋转角速度计算机构和困意预兆判断机构相对应。 
被试验者在安装眼球回旋摄影装置23和加速度传感器、陀螺仪之后,以自然的姿势坐于驾驶员车座上,布置在下面说明的实验任务。 
首先,由于在从测定开始起20秒的期间,测定静止中的眼球 位置,故按照在不驱动振动装置22的状态,按照以前方车辆的号牌上部为注视点,以固视方式进行指示。接着,经过20秒之后,驱动振动装置22,诱发VOR。在此期间,被试验者持续固定注视注视点,按照不脱离行驶道的方式进行操纵器操作。另外,在从驱动振动装置起3分钟内,由于维持清醒状态,故进行单纯的心算课题。在经过3分钟之后,通过试验者的指示,停止心算课题,持续进行DS操作和振动刺激,直至实验结束。DS操作时间为包括心算课题区间在内的15分钟的期间,在实验后,向被试验者,给出心算课题中以及之后的单纯行驶中有无困意的自我检查报告。 
(数据分析) 
理想眼球运动角速度h(t)可根据在头部产生的直线加速度和旋转角速度而计算。在本实施例中,由于直线加速度的贡献小,故根据头部的旋转角速度而计算。对于理想眼球运动角速度h(t),由于在通过数字带通滤波器去除噪音之后,使眼球运动数据和数据个数一致,故通过取样频率29.97Hz而再取样,通过运算处理用PC26而计算。在眼球运动角和瞳孔径的抽取中,通过运算处理用PC26,对眼球回旋摄影装置23的眼球图像进行运算处理,进行计算。眼球旋转角速度e(t)通过对眼球运动角进行微分处理的方式求出。另外,理想眼球运动角速度h(t)也可考虑在头部产生的直线加速度而计算。 
根据理想眼球运动角速度h(t)和眼球旋转角速度e(t),通过运算处理用PC26,计算VOR增益和余差标准偏差(SDres)。VOR增益和余差标准偏差(SDres),即使在从眼球运动数据中,进行急速相去除后,以获得充分的推算精度的40秒的数据为一个节段,在具有30秒的重叠的同时,每10秒计算各节段的值。 
(试验结果) 
图4为表示试验结果的说明图。图4(a)为将典型的被试验者的清醒时(心算课题中)的理想眼球运动角速度和眼球旋转角速度重叠而绘制的图。可确认:相对头部运动,眼球运动以基本相同的速度沿逆向产生的普通的VOR被诱发。图4(b)为采用图4(a)的数据,以眼球旋转角速度为纵轴,以理想眼球运动角速度为横轴,进行重叠而绘制的图,直线为适用于式1的回归直线。在本例中,VOR增益为0.802,SDres为1.017。图4(c)、图4(d)表示被试验者感到困意的区间的试验结果。图4(c)与图4(a)相对应,图4(d)与图4(b)相对应。VOR增益为0.673,SDres为2.964,与清醒时相比较,VOR增益减少,SDres增加。 
图5为将VOR增益和SDres,与确认困意及其预兆检测指标的有效性的瞳孔孔径变化进行比较的说明图。在从心算课题停止后一分钟到约两分钟内,VOR增益缓慢地减小,与此相反,SDres缓慢地增加。另外,在VOR增益、SDres分别开始减少、增加的区间的瞳孔孔径变化中,可确认单调的缩瞳(Gradual Miosis:GM)。在该GM区间,通过到目前的研究而表明,被试验者尚未自我发觉困意。即,在该区间的VOR增益的减少、SDres的增加的特征的变化为困意的预兆信号。 
在从单调缩瞳开始起约两分钟之后,VOR增益、SDres分别进一步减少、增加,可确认在瞳孔径中有低频较大的波动(Large Low Frequency Fluctuation:LLFF)。人们知道,LLFF为被试验者对自我发觉的困意知觉时产生的现象,其也与被试验者的自我检查报告一致,该自我检查报告报告在从实验中盘起到后半段感到困意。即,VOR增益的减少,SDres的增加均为困意的预兆信号和困意的指标。 
(困意预兆判断方法) 
在与上述实验相同的条件的实验任务中,每两分钟将涉及困意的自我检查报告给被试验者,根据VOR增益、SDres的变化判断困意的预兆。在判断中,采用根据公式3和公式4定义的VOR减少率ΔVOR(t)和SDRres的增加率ΔSDres(t)。图6为表示VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t)与困意的预兆之间的关系的说明图。图6(a)为分别以6个实验数据中的VOR增益减少率ΔVOR(t)和SDres的增加率ΔSDres(t)为纵轴、横轴而绘制的图。涂黑圆圈符号表示清醒状态,×符号表示有困意的区间的数据。另外,在图中上部和右部,按照面积为1的方式给予权重的方式绘制各状态的分布图。在这里,按照包括清醒状态的全部数据的方式,分别针对ΔVOR(t)、ΔSDres(t)设定阈值,两个阈值以下的区域为清醒区域,阈值以上的区域为困意区域。图6(b)为采用从心算课题结束后,到知觉困意的ΔVOR(t)与ΔSDres(t)而绘制的图。可根据图6(a)而确认,报告有困意的数据内的95%绘制在困意区域,可确认将困意的有无分离。如根据图6(b)所示的相应的分布可知:几乎大部分的数据存在于清醒区域的内部,几个数据也涉及困意区域。 
在这里,将在未知觉困意的状态,绘制于困意区域中,并且其连续40秒以上表示的数据作为困意的预兆信号而定义。其原因在于:在30秒以内的连续时,具有包括重叠的影响的可能性。其结果是,在5个数据(83.3%)中确认有困意的预兆。未确认有困意预兆的一个数据也绘制于困意区域,但是由于40秒以上持续没有表示,故未确认为困意预兆。 
因此,确认到针对预先定义的被试验者的相应的高度清醒状态,设定不依赖于被试验者的阈值,由此,可在几乎全部的被试 验者中,容易检测到困意预兆。 
(最佳的实施形式的效果) 
(1)按照本发明的困意预兆检测装置10,可通过头部运动检测机构11检测头部运动,通过眼球运动检测机构12检测眼球运动,通过理想眼球运动角速度计算机构13,根据由头部运动检测机构11检测的头部运动数据,计算理想眼球运动角速度,通过眼球旋转角速度计算机构14,根据由眼球运动检测机构12检测的眼球运动数据,计算眼球旋转角速度,通过困意预兆判断机构15,根据理想眼球运动角速度和眼球旋转角速度,检测前庭眼球反射(VOR),根据该前庭眼球反射判断车辆的驾驶员、机械的操作者等自我发觉困意之前的困意的预兆。由于前庭眼球反射难以受到周围亮度等的外部环境影响,故可扩大实用条件范围。另外,由于运算负荷小,故可进行实时的测定和判断。 
(2)由于VOR增益的减少和余差标准偏差的增加在自我发觉困意之前产生,故作为表示困意的预兆的指标是有效的。通过困意预兆判断机构15分别计算VOR增益的减少率ΔVOR(t)和SDres的增加率ΔSDres(t),将其分别与预定的阈值L1、L2进行比较,在VOR增益的减少率ΔVOR(t)和SDres的增加率ΔSDres(t)均超过阈值时,可判定检测到困意的预兆。由此确认到,几乎全部的被试验者可容易检测到困意预兆。 
(3)在将困意预兆检测装置装载于车辆而使用时,作为头部运动检测机构,可采用车辆所具有的加速度传感器和陀螺传感器的输出,计算理想眼球运动角速度。由此,可减少困意预兆检测装置的组成部件。 
(其它的实施形式) 
(1)在步骤S7中,判断VOR增益的减少率ΔVOR(t)和SDres 的增加率ΔSDres(t)是否均超过阈值,也可简单地仅仅计算一者,根据其是否超过阈值,来判断困意的预兆。 
(2)在步骤S8输出的困意预兆检测信号输入到警告装置中,由此,可通过下述方法唤醒驾驶者:借助警告装置使车座振动;紧束安全带;通过声音警告等。 
(3)作为头部运动检测机构11,采用3轴加速度传感器和陀螺仪,但如果可检测头部运动,并不限于此。比如,也可采用下述的方案:对驾驶者或操作者的面部图像进行拍摄,在眼球旋转角速度计算机构14中进行图像分析,检测各帧的脸朝向的方向,由此,检测头部运动。在此场合,头部运动检测机构11也可兼用为眼球运动检测机构12的CCD照相机。 
标号说明 
标号10表示困意预兆检测装置; 
标号11表示头部运动检测机构; 
标号12表示眼球运动检测机构; 
标号13表示理想眼球运动角速度计算机构; 
标号14表示眼球旋转角速度计算机构; 
标号15表示困意预兆判断机构; 
标号21表示驾驶模拟(DS)系统; 
标号22表示振动装置; 
标号23表示眼球回旋摄影装置(眼球运动检测机构); 
标号26表示运算处理用PC(理想眼球运动角速度计算机构,眼球旋转角速度计算机构,睡眠预兆判断机构)。 

Claims (4)

1.一种困意预兆检测装置,其特征在于,包括:
检测头部运动的头部运动检测机构;
检测眼球运动的眼球运动检测机构;
理想眼球运动角速度计算机构,该理想眼球运动角速度计算机构根据由上述头部运动检测机构检测的头部运动数据,计算理想眼球运动角速度;
眼球旋转角速度计算机构,该眼球旋转角速度计算机构根据由上述眼球运动检测机构检测的眼球运动数据,计算眼球旋转角速度;
困意预兆判断机构,该困意预兆判断机构根据上述理想眼球运动角速度和上述眼球旋转角速度检测前庭眼球反射(VOR),根据该前庭眼球反射判断困意的预兆。
2.根据权利要求1所述的困意预兆检测装置,其特征在于:上述困意预兆判断机构计算VOR增益和该VOR增益的减少率,该VOR增益是以作为上述理想眼球运动角速度的一次式的下述式来将上述眼球旋转角速度近似时的G而定义的,在上述VOR增益的减少率超过预定的阈值时,判定为困意的预兆:
e(t)=Gh(t-τ)+dc+ε(t)
其中,e(t)表示眼球旋转角速度,G表示VOR增益,h(t)表示理想眼球运动角速度,τ表示眼球运动相对头部运动的滞后时间,dc表示常数项,ε(t)表示回归模型的余差。
3.根据权利要求1或2所述的困意预兆检测装置,其特征在于:上述困意预兆判断机构计算近似余差和余差标准偏差,该近似余差是以作为上述理想眼球运动角速度的一次式的下述式来将上述眼球旋转角速度近似时的ε(t)而定义的,在上述余差标准偏差的增加率超过预定的阈值时,判定为困意的预兆:
e(t)=Gh(t-τ)+dc+ε(t)
其中,e(t)表示眼球旋转角速度,G表示VOR增益,h(t)表示理想眼球运动角速度,τ表示眼球运动相对头部运动的滞后时间,dc表示常数项,ε(t)表示回归模型的余差。
4.根据权利要求1所述的困意预兆检测装置,其特征在于其为装载于车辆上的困意预兆检测装置,在上述头部运动检测机构中,采用上述车辆所具有的加速度传感器和陀螺传感器的输出,计算理想眼球运动角速度。
CN2009801367782A 2008-09-18 2009-09-14 困意预兆检测装置 Active CN102159136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008238931 2008-09-18
JP2008-238931 2008-09-18
PCT/JP2009/004572 WO2010032424A1 (ja) 2008-09-18 2009-09-14 眠気予兆検出装置

Publications (2)

Publication Number Publication Date
CN102159136A CN102159136A (zh) 2011-08-17
CN102159136B true CN102159136B (zh) 2013-09-04

Family

ID=42039274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801367782A Active CN102159136B (zh) 2008-09-18 2009-09-14 困意预兆检测装置

Country Status (6)

Country Link
US (1) US8356899B2 (zh)
EP (1) EP2359748B1 (zh)
JP (1) JP5255063B2 (zh)
KR (1) KR101576319B1 (zh)
CN (1) CN102159136B (zh)
WO (1) WO2010032424A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102159136B (zh) 2008-09-18 2013-09-04 学校法人中部大学 困意预兆检测装置
KR20120058230A (ko) * 2010-11-29 2012-06-07 한국전자통신연구원 이동체 안전운행 장치 및 방법
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
JP6068964B2 (ja) * 2012-12-07 2017-01-25 公立大学法人首都大学東京 人の状態推定装置およびそれを備えた輸送機器
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
JP6087171B2 (ja) * 2013-03-01 2017-03-01 公立大学法人首都大学東京 人の状態推定装置およびそれを備えた輸送機器
WO2014179558A1 (en) 2013-05-01 2014-11-06 Musc Foundation For Research Development Monitoring neurological functional status
CN103366510B (zh) * 2013-07-02 2016-02-24 惠州Tcl移动通信有限公司 一种手机及基于其摄像头的安全行车方法
TWI503083B (zh) * 2013-12-20 2015-10-11 Univ Chienkuo Technology Anti - sleep warning helmet and power limiting system
WO2015106202A1 (en) * 2014-01-10 2015-07-16 Carleton Life Support Systems, Inc. Reduced cognitive function detection and alleviation system for a pilot
JP6288249B2 (ja) * 2014-04-08 2018-03-07 富士通株式会社 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム
CN106663377B (zh) 2014-06-23 2019-04-09 株式会社电装 驾驶员的驾驶不能状态检测装置
CN106471556B (zh) 2014-06-23 2021-11-16 株式会社电装 驾驶员的驾驶不能状态检测装置
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
MX2017002988A (es) 2014-09-09 2018-02-01 Torvec Inc Métodos y aparato para monitorear el nivel de alerta de una persona que utiliza un dispositivo portátil, y proporcionar una notificación.
KR101714515B1 (ko) * 2015-01-21 2017-03-22 현대자동차주식회사 웨어러블 기기를 이용한 안전운전 알림 시스템 및 그 방법
US20160213248A1 (en) * 2015-01-22 2016-07-28 Ovard, Llc Gaze stabilization system and method
DE102015214116A1 (de) * 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
JP6690179B2 (ja) * 2015-10-19 2020-04-28 株式会社デンソー 挙動推定システム、及び挙動推定方法
US10018847B2 (en) * 2015-10-28 2018-07-10 Honeywell International Inc. Methods of vestibulo-ocular reflex correction in display systems
WO2017143179A1 (en) 2016-02-18 2017-08-24 Curaegis Technologies, Inc. Alertness prediction system and method
CN105575048B (zh) * 2016-02-25 2018-10-02 京东方科技集团股份有限公司 低头转头提醒装置及其控制方法、头盔
EP3241488A1 (en) * 2016-05-06 2017-11-08 Aura Innovative Robotics, S.L Device for synchronized measurement of ocular and cephalic movement
US10542927B2 (en) * 2016-05-16 2020-01-28 Neuro Kinetics, Inc. Apparatus and method for computerized rotational head impulse test
JP6323510B2 (ja) * 2016-08-26 2018-05-16 マツダ株式会社 運転者体調検知装置及び方法
JP6344747B2 (ja) * 2016-12-26 2018-06-20 ヤマハ発動機株式会社 演算処理装置及び人の状態推定方法
JP2018105737A (ja) * 2016-12-27 2018-07-05 トヨタ紡織株式会社 アイポイント測定装置、及びアイポイント測定方法
CN106781281A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 一种车辆的提示信息生成方法及车载终端
DE102017202659A1 (de) * 2017-02-20 2018-08-23 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers
KR20180124381A (ko) 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
JP2019111092A (ja) * 2017-12-22 2019-07-11 オムロン株式会社 生体状態推定装置、方法およびプログラム
JP2019122459A (ja) * 2018-01-12 2019-07-25 株式会社東海理化電機製作所 検出装置およびプログラム
JP6418341B1 (ja) * 2018-02-07 2018-11-07 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6418342B1 (ja) * 2018-02-07 2018-11-07 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6432702B1 (ja) * 2018-03-15 2018-12-05 オムロン株式会社 算出システム、指標算出方法、およびコンピュータプログラム
JP6717330B2 (ja) 2018-03-15 2020-07-01 オムロン株式会社 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
JP7099037B2 (ja) 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP7099036B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN108771532A (zh) * 2018-06-06 2018-11-09 苏州桑德欧声听觉技术有限公司 用于前庭检测的移动终端的制造方法、移动终端
CN112912825A (zh) * 2018-10-24 2021-06-04 Pcms控股公司 用于虚拟现实的感兴趣区域估计的系统和方法
JP7164275B2 (ja) * 2018-10-31 2022-11-01 株式会社豊田中央研究所 集中状態推定装置
WO2021049031A1 (ja) * 2019-09-13 2021-03-18 オムロン株式会社 表示システム、表示方法、及びプログラム
US11148673B2 (en) 2020-01-13 2021-10-19 Pony Ai Inc. Vehicle operator awareness detection
JP7531782B2 (ja) * 2020-07-01 2024-08-13 マツダ株式会社 運転者状態推定システム
JP7531783B2 (ja) 2020-07-01 2024-08-13 マツダ株式会社 運転者状態推定システム
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
CN115002545A (zh) * 2022-05-27 2022-09-02 深圳西米通信有限公司 一种电视机机顶盒节能控制方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3480483B2 (ja) 1997-03-31 2003-12-22 三菱自動車工業株式会社 覚醒度推定装置
US5907282A (en) * 1997-04-29 1999-05-25 Chris W. Turto Physiology monitoring sleep prevention system
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
WO2005098777A1 (en) * 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver
JP5030142B2 (ja) * 2006-09-26 2012-09-19 トヨタ自動車株式会社 集中度評価装置及びこれを用いた車両用表示装置
CN102159136B (zh) 2008-09-18 2013-09-04 学校法人中部大学 困意预兆检测装置

Also Published As

Publication number Publication date
CN102159136A (zh) 2011-08-17
EP2359748B1 (en) 2020-04-08
US8356899B2 (en) 2013-01-22
KR101576319B1 (ko) 2015-12-09
EP2359748A4 (en) 2014-02-19
JPWO2010032424A1 (ja) 2012-02-02
KR20110060932A (ko) 2011-06-08
EP2359748A1 (en) 2011-08-24
JP5255063B2 (ja) 2013-08-07
US20120069301A1 (en) 2012-03-22
WO2010032424A1 (ja) 2010-03-25

Similar Documents

Publication Publication Date Title
CN102159136B (zh) 困意预兆检测装置
JP4551925B2 (ja) 運転者の知覚適性検査の方法およびシステム
AU2009270333B2 (en) Alertness sensing device
TWI447039B (zh) 駕駛行為分析警示系統與方法
US10653350B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
Kim et al. Highly reliable driving workload analysis using driver electroencephalogram (EEG) activities during driving
JP2008079737A (ja) 集中度評価装置及びこれを用いた車両用表示装置
JP6418341B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
DE102010048273A1 (de) Verfahren zum aufmerksamkeitsabhängigen Initiieren einer Fahrzeugaktion und Fahrerassistenzsystem zur Durchführung des Verfahrens
US10684695B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
Lee et al. Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving
WO2017067732A1 (de) Schutzhelm, verfahren zur erfassung einer blickrichtung, verfahren zur fahrerunterstützung, insbesondere zur warnung, verfahren zur menüsteuerung
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP2009277141A (ja) 運転誘導装置および運転誘導方法
JP2021053240A (ja) 眠気又は覚醒レベル評価装置及び評価プログラム
JPH09123790A (ja) 車両運転状態検出装置
DE112015007085B4 (de) Verbesserter touchscreen-betrieb
JP3158494U (ja) 携帯通信端末
WO2021014228A1 (en) Driver evaluation method and device for implementing the method
DE19949548A1 (de) Beschleunigungsbox mit integriertem Höhenmesser, Feuchtigkeitsfühler und Temperaturmesseinrichtung
Al-Naimi et al. Multimodal Approach for Inattentive Driver Detection
DE102020212965A1 (de) Verfahren zum Überwachen eines Insassen eines Kraftfahrzeugs auf bestehende Müdigkeit, Vorrichtung hierfür sowie Kraftfahrzeug mit der Vorrichtung
JP2022045115A (ja) 運転者監視方法及び運転者監視装置
Bian et al. Aging and the detection of collision events in fog
Lundin et al. Method for detection of sleepiness: measurement of interaction between driver and vehicle

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant