CN107126223B - 实车条件下的驾驶员反应时间测量方法 - Google Patents

实车条件下的驾驶员反应时间测量方法 Download PDF

Info

Publication number
CN107126223B
CN107126223B CN201710457904.0A CN201710457904A CN107126223B CN 107126223 B CN107126223 B CN 107126223B CN 201710457904 A CN201710457904 A CN 201710457904A CN 107126223 B CN107126223 B CN 107126223B
Authority
CN
China
Prior art keywords
driver
time
information acquisition
led lamp
acquisition module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710457904.0A
Other languages
English (en)
Other versions
CN107126223A (zh
Inventor
曾娟
马国强
周汉
倪登科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201710457904.0A priority Critical patent/CN107126223B/zh
Publication of CN107126223A publication Critical patent/CN107126223A/zh
Application granted granted Critical
Publication of CN107126223B publication Critical patent/CN107126223B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times

Abstract

本发明涉及一种实车条件下的驾驶员反应时间测量系统及方法，驾驶员佩戴眼动仪，通过眼动仪捕捉突发状况时驾驶员眼球聚焦点位置变化，判断驾驶员在突发状况下是否发生反应；整个系统搭建在实车上；包括行车电脑模块、驾驶员眼动信息采集模块、踏板压力信息采集模块、和时间同步信号模块，驾驶员眼动信息采集模块、踏板压力信息采集模块和时间同步信号模块分别与行车电脑模块连接；以该时刻作为踏板压力信息采集模块和驾驶员眼动信息采集模块采集数据的时间对标时刻点，使后续采集的踏板压力数据与眼动仪采集的数据实现时间同步，排除不同设备采集驾驶员反应时间时间起始点不同步带来的系统误差，测量结果更加准确。

Description

实车条件下的驾驶员反应时间测量方法
技术领域
本发明属于汽车驾驶辅助系统，具体涉及在试验中测量驾驶员在实车条件下反应时间的系统和方法；解决不同采集装置在采集数据时的时间同步问题。
背景技术
近年来我国汽车工业与交通事业飞速发展，造成城市交通拥挤现象相当严重，道路交通环境愈加复杂。在这样的交通环境下，对驾驶员辅助驾驶系统的准确度和精度都提出了更高的要求。为了设计精度更高的辅助驾驶系统，需要对驾驶员驾驶行为、反映时间有更准确的认识。
在驾驶模拟器上进行实验，没有全面考虑到实际驾驶环境，缺乏真实的实验条件，所测得的反应时间只是驾驶员在识别—判断—操作整个反映过程中局部的反应时间，忽略驾驶员在识别过程中注意力转移的反应时间。另外，识别过程和操作过程的数据采集通过不同的仪器设备来完成，由于不同设备采集过程的独立性，记录的初始时间不同步，造成系统误差。
发明内容
本发明要解决的技术问题是，针对测量驾驶员反应时间的实验条件有限、测量数据准确度不高的情况，以实车实验为基础，提供一种在实车条件下驾驶员反应时间的系统测量方法，避免忽略驾驶员在识别过程中注意力转移的反应时间，能够在实际道路上测量驾驶员反应时间与注意力分配模式，为更精确地测量驾驶员反应时间这一指标提供解决方案。
本发明为解决上述技术问题采用如下技术方案：
一种实车条件下的驾驶员反应时间测量系统，其特征在于整个系统搭建在实车上，至少包括：行车电脑模块、驾驶员眼动信息采集模块、踏板压力信息采集模块、和时间同步信号模块；驾驶员眼动信息采集模块、踏板压力信息采集模块和时间同步信号模块分别与行车电脑模块连接；其中：
行车电脑模块，包括行车电脑以及行车电脑上的上位机软件与眼动仪软件；
驾驶员眼动信息采集模块，包括驾驶员佩戴的测量驾驶员眼部活动状态的眼动仪，眼动仪的输出端与行车电脑相连；
踏板压力信息采集模块，在汽车制动踏板上装有压力传感器，用于采集踏板踩踏信号；
时间同步信号模块，包括LED灯与微处理器，LED灯与微处理器相连，微处理器输入端与行车电脑相连。
进一步的，所述踏板压力信息采集模块，包括压力传感器、运算放大器、A/D转换器、微处理器和串口电路；运算放大器与压力传感器输出端相连接，运算放大器输出端连接A/D转换器，A/D转换器的输出端与微处理器的信号输入端相连，微处理器输出端通过串口电路与行车电脑相连。
进一步的，所述微处理器由单片机实现，通过外部计算机通信接口向微处理器内写入处理算法程序。
一种驾驶员反应时间测量方法，其特征在于：采用上述实车条件下的驾驶员反应时间测量系统，驾驶员佩戴眼动仪，通过眼动仪捕捉突发状况时驾驶员眼球聚焦点位置变化，判断驾驶员在突发状况下是否发生反应；具体包括如下步骤：
步骤1：上位机软件控制LED灯点亮并记录LED灯点亮的时刻 T1’，同时，眼动仪也实时拍摄到LED灯点亮并由眼动仪软件记录下LED灯点亮时刻T1；
步骤2：在LED灯点亮之后，在突发状况时，眼动仪捕捉驾驶员眼球聚焦点位置变化，并记录驾驶员发现突发情况时眼球聚焦点位置变化的时刻T3；
步骤3：驾驶员在识别到突发状况后踩踏踏板，上位机软件记录驾驶员踩踏踏板引起压力数字信号突变的时刻T2；
步骤4：上位机软件最后由(T2-T1’)-(T3-T1)计算得到驾驶员反映时间。
进一步的，步骤1中行车电脑上的上位机软件下达点亮LED灯的指令并传输给微处理器，微处理器接收该指令并执行指令点亮 LED灯，上位机软件记录下LED灯点亮的时刻T1’；同时眼动仪拍摄到LED灯点亮，眼动仪软件同时记录下LED灯点亮的时刻T1。
进一步的，驾驶员眼动信息采集模块采集的数据以驾驶员眼部活动状态中眼球聚焦点的坐标点进行分类，以驾驶员眼球聚焦点在正前方无穷远点为坐标原点，分别将驾驶员眼球聚焦点在直角坐标系中的不同位置实时传输给行车电脑上的眼动仪软件；
眼球聚焦点在直角坐标系中不同位置是指普通机动车的七个视觉区域：正前方、左车窗、右车窗、左倒车镜、右倒车镜、后视镜、仪表盘。
由此，本测量系统通过眼动仪捕捉驾驶员眼球聚焦点位置变化的方法判断驾驶员在突发状况下(如前车紧急刹车或前车突然变道等)是否发生反应并记录相应时刻，测量结果客观、精确。
本发明测量系统通过上位机软件解决不同采集设备数据采集过程中时间不同步问题，通过上位机软件控制LED灯点亮并记录对应时刻，同时眼动仪也实时拍摄到LED灯点亮并由眼动仪软件记录下 LED灯点亮时刻，以该时刻作为踏板压力信息采集模块和驾驶员眼动信息采集模块采集数据的时间对标时刻点，使后续采集的踏板压力数据与眼动仪采集的数据实现时间同步，便于在同一个时间坐标系中采集数据，进而计算驾驶员反映时间，排除不同设备采集驾驶员反应时间时间起始点不同步带来的系统误差，测量结果更加准确。
本测量系统可用于实车在真实道路交通环境中进行实验，通过上位机软件实现眼动仪数据采集、压力传感器数据采集的时间同步，消除了不同装置采集数据时间不同步的系统误差，测量结果真实可靠，实用性强。
附图说明
附图1为本发明的系统结构示意图。
附图2为本发明踏板压力信息采集模块的运算放大器电路原理图。
附图3为本发明踏板压力信息采集模块的串口电路原理图。
附图4为本发明时间同步信号模块的电路原理图。
附图5为本发明驾驶员反应时间的测量原理示意图。
具体实施方式
实施例1：
如图1所示，根据被发明实施的实车条件下的驾驶员反应时间测量系统，其组成包括：行车电脑模块、驾驶员眼动信息采集模块、踏板压力信息采集模块和时间同步信号模块，驾驶员眼动信息采集模块、踏板压力信息采集模块和时间同步信号模块分别与行车电脑模块连接，整个系统搭建在实车上。
所述行车电脑模块包括行车电脑以及行车电脑上的上位机软件与眼动仪软件；所述驾驶员眼动信息采集模块包括可供驾驶员佩戴的测量驾驶员眼部活动状态的眼动仪，眼动仪的输出端与行车电脑相连；所述踏板压力信息采集模块包括压力传感器、运算放大器、A/D转换器、微处理器与串口电路，在汽车制动踏板上装有采集踏板踩踏信号的压力传感器，与压力传感器的输出端相连接的是运算放大器，与运算放大器输出端相连接的是A/D转换器，其中A/D转换器的输出端与微处理器的信号输入端相连，微处理器输出端通过串口电路与行车电脑相连；所述时间同步信号模块包括LED灯与微处理器，LED灯与微处理器相连，微处理器输入端与行车电脑相连。优选所述微处理器由单片机实现，通过外部计算机通信接口向微处理器内写入处理算法程序。
如图2的踏板压力信息采集模块的运算放大器电路原理图、图3 的踏板压力信息采集模块的串口电路原理图。实施例1中的踏板压力信息采集模块，由踏板压力传感器采集压力模拟信号并传输给运算放大器，运算放大器将模拟信号放大并传输给A/D转换器，A/D转换器将模拟信号转换为数字信号并传输给微处理器，微处理器通过串口电路将数字信号传输给行车电脑，由行车电脑上的上位机软件采集并记录该压力数字信号。
其中，图2踏板压力信息采集模块的运算放大器电路原理图所示的是压力传感器采集的信号的放大原理。压力传感器的输出端与 op37的2脚(反相输入端)连接，反相比例运放的3脚(同相输入端)接地电阻R2取5KΩ，电容C1将运放增益配比平衡化；6脚(输出端)接电阻R4构成闭环，电容C3起滤波作用；7脚(正电源) 和4脚(负电源)分别接+15V和-15V电源；1脚(失调电压调零端) 和8脚(失调电压调零端)之间可接一个100KΩ的精密多圈可调电阻器，动触点接+15V电源，电容C2起滤波作用；6脚(输出端) PAD与A/D转换器的输入端连接；5脚为空脚。op37不仅具有低失调电压和漂移特性，而且速度高、噪声低，失调电压低至25μV，最大漂移为0.6μV/℃，极低噪声(10Hz时en＝3.5nV/Hz)、低1/f 噪声转折频率(2.7Hz)以及高增益(180万)，能够使低电平信号得到精确的高增益放大，因而该器件是精密仪器仪表应用的理想之选。
图3踏板压力信息采集模块的串口电路原理图所示的是 MAX232与51单片机之间的通信连接。对于电平标准，51单片机的I/O口最大输出5V电压，而RS232要求电压在±10V，所以将51 单片机I/O口输出的5V电压通过MAX232中的倍压器(C1+、C1-) 和电压逆化器(C2+、C2-)电路，把0～5V电平转换为±10V电平，从而实现电平匹配。51单片机数据发送和接收端口(TXD、RXD) 与MAX232的TTL/CMOS INPUTS和TTL/CMOS OUTPUTS端口 (T1in、R1out)连接，接收来自51单片机的数据；然后通过RS232 OUTPUTS和RS232INPUTS端口(T1out、R1in)与RS232的接收和发送引脚(RXD、TXD)连接，以此将数据发送至电脑。MAX232 符合所有的RS232C技术标准，只需要单一+5V电源供电，功耗低，片载电荷泵具有升压、电压极性反转能力，能够产生+10V和-10V 电压V+和V-，内部集成2个RS-232C驱动器，高集成度，片外最低只需4个电容即可工作，因此该器件是单片机和PC机通过串口进行通信的理想之选。
如图4的时间同步信号模块的电路原理图。图中PB0到PB7端均与单片机I/O口连接，上位机软件发出的指令通过单片机接收并由单片机I/O口输出，电阻R0到R7均起到限流保护的作用。LED 灯和电阻的个数相同，可根据实际情况增减。该电路构成简单，便于在实车上安装布置；并且信号传输时间极短，不会造成严重误差。
附图5为本发明方法测量驾驶员反应时间的测量原理示意图。本发明具体包括如下流程：
驾驶员佩戴眼动仪，眼动仪采集驾驶员眼球聚焦点位置变化数据并传输给行车电脑，由行车电脑上的眼动仪软件采集并记录；
行车电脑上的上位机软件下达点亮LED灯的指令并传输给微处理器，微处理器接收该指令并执行指令点亮LED灯，上位机软件记录下LED灯点亮的时刻T1’；同时眼动仪拍摄到LED灯点亮，眼动仪软件同时记录下LED灯点亮的时刻T1；
驾驶员收到指令然后踩踏踏板引起压力数字信号突变，上位机软件记录驾驶员踩踏踏板引起压力数字信号突变的时刻T2；
在眼动仪软件记录的数据中找到LED灯点亮的时刻T1与驾驶员发现突发情况时眼球聚焦点位置变化的时刻T3，并计算得到时间间隔(T3-T1)；
在上位机软件记录的数据中找到LED灯点亮的时刻T1’、驾驶员踩踏踏板引起压力数字信号突变的时刻T2，并计算得到时间间隔 (T2-T1’)；
最后由(T2-T1’)-(T3-T1)得到驾驶员反映时间。
进一步的，驾驶员眼动信息采集模块采集的数据以驾驶员眼部活动状态中眼球聚焦点的坐标点进行分类，以驾驶员眼球聚焦点在正前方无穷远点为坐标原点，分别将驾驶员眼球聚焦点在直角坐标系中的不同位置实时传输给行车电脑上的眼动仪软件；
眼球聚焦点在直角坐标系中不同位置是指普通机动车的七个视觉区域：正前方、左车窗、右车窗、左倒车镜、右倒车镜、后视镜、仪表盘。

Claims (5)

1.一种驾驶员反应时间测量方法，基于实车条件下的驾驶员反应时间测量系统进行，整个系统搭建在实车上，至少包括：行车电脑模块、驾驶员眼动信息采集模块、踏板压力信息采集模块、和时间同步信号模块；驾驶员眼动信息采集模块、踏板压力信息采集模块和时间同步信号模块分别与行车电脑模块连接；其中：
行车电脑模块，包括行车电脑以及行车电脑上的上位机软件与眼动仪软件；
驾驶员眼动信息采集模块，包括驾驶员佩戴的测量驾驶员眼部活动状态的眼动仪，眼动仪的输出端与行车电脑相连；
踏板压力信息采集模块，在汽车制动踏板上装有压力传感器，用于采集踏板踩踏信号；
时间同步信号模块，包括LED灯与微处理器，LED灯与微处理器相连，微处理器输入端与行车电脑相连；
其特征在于：驾驶员佩戴眼动仪，通过眼动仪捕捉突发状况时驾驶员眼球聚焦点位置变化，判断驾驶员在突发状况下是否发生反应；具体包括如下步骤：
步骤1：上位机软件控制LED灯点亮并记录LED灯点亮的时刻T1’，同时，眼动仪也实时拍摄到LED灯点亮并由眼动仪软件记录下LED灯点亮时刻T1；
步骤2：在LED灯点亮之后，在突发状况时，眼动仪捕捉驾驶员眼球聚焦点位置变化，并记录驾驶员发现突发情况时眼球聚焦点位置变化的时刻T3；
步骤3：驾驶员在识别到突发状况后踩踏踏板，上位机软件记录驾驶员踩踏踏板引起压力数字信号突变的时刻T2；
步骤4：上位机软件最后由(T2-T1’)-(T3-T1)计算得到驾驶员反映时间。
2.根据权利要求1所述的驾驶员反应时间测量方法，其特征在于：所述踏板压力信息采集模块，包括压力传感器、运算放大器、A/D转换器、微处理器和串口电路；运算放大器与压力传感器输出端相连接，运算放大器输出端连接A/D转换器，A/D转换器的输出端与微处理器的信号输入端相连，微处理器输出端通过串口电路与行车电脑相连。
3.根据权利要求1所述的驾驶员反应时间测量方法，其特征在于：所述微处理器由单片机实现，通过外部计算机通信接口向微处理器内写入处理算法程序。
4.根据权利要求1所述的驾驶员反应时间测量方法，其特征在于：步骤1中行车电脑上的上位机软件下达点亮LED灯的指令并传输给微处理器，微处理器接收该指令并执行指令点亮LED灯，上位机软件记录下LED灯点亮的时刻T1’；同时眼动仪拍摄到LED灯点亮，眼动仪软件同时记录下LED灯点亮的时刻T1。
5.根据权利要求1所述的驾驶员反应时间测量方法，其特征在于：驾驶员眼动信息采集模块采集的数据以驾驶员眼部活动状态中眼球聚焦点的坐标点进行分类，以驾驶员眼球聚焦点在正前方无穷远点为坐标原点，分别将驾驶员眼球聚焦点在直角坐标系中的不同位置实时传输给行车电脑上的眼动仪软件；
眼球聚焦点在直角坐标系中不同位置是指普通机动车的七个视觉区域：正前方、左车窗、右车窗、左倒车镜、右倒车镜、后视镜、仪表盘。
CN201710457904.0A 2017-06-16 2017-06-16 实车条件下的驾驶员反应时间测量方法 Expired - Fee Related CN107126223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710457904.0A CN107126223B (zh) 2017-06-16 2017-06-16 实车条件下的驾驶员反应时间测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710457904.0A CN107126223B (zh) 2017-06-16 2017-06-16 实车条件下的驾驶员反应时间测量方法

Publications (2)

Publication Number Publication Date
CN107126223A CN107126223A (zh) 2017-09-05
CN107126223B true CN107126223B (zh) 2020-01-14

Family

ID=59734667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710457904.0A Expired - Fee Related CN107126223B (zh) 2017-06-16 2017-06-16 实车条件下的驾驶员反应时间测量方法

Country Status (1)

Country Link
CN (1) CN107126223B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107928685A (zh) * 2017-12-13 2018-04-20 吉林大学 一种基于驾驶人眼动特性的应激响应分析装置及方法
CN108010269A (zh) * 2017-12-30 2018-05-08 南京理工大学 一种基于车联网的驾驶分心监测、预警系统及方法
CN110236575A (zh) * 2019-06-13 2019-09-17 淮阴工学院 眼动仪与驾驶模拟器相结合的驾驶员反应时间计算方法
CN116453289B (zh) * 2022-01-06 2024-02-20 中国科学院心理研究所 一种基于心电信号的公交车驾驶安全预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203089149U (zh) * 2013-03-11 2013-07-31 哈尔滨工业大学（威海） 驾驶员反应时间检测仪
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN103676453A (zh) * 2012-09-11 2014-03-26 北京航天计量测试技术研究所 一种相机快门延时时间测量方法及其装置
CN105011952A (zh) * 2015-08-07 2015-11-04 北京环度智慧智能技术研究所有限公司 驾驶员极速测评系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0203035D0 (en) * 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676453A (zh) * 2012-09-11 2014-03-26 北京航天计量测试技术研究所 一种相机快门延时时间测量方法及其装置
CN203089149U (zh) * 2013-03-11 2013-07-31 哈尔滨工业大学（威海） 驾驶员反应时间检测仪
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN105011952A (zh) * 2015-08-07 2015-11-04 北京环度智慧智能技术研究所有限公司 驾驶员极速测评系统及方法

Also Published As

Publication number Publication date
CN107126223A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107126223B (zh) 实车条件下的驾驶员反应时间测量方法
CN106218639B (zh) 无人驾驶车辆、用于控制无人驾驶车辆的方法和装置
CN107817018B (zh) 车道线偏离报警系统的测试系统和测试方法
CN104089649A (zh) 一种室内环境数据采集系统及采集方法
CN106572330A (zh) 一种带车牌辅助定位的可见光通信车灯追踪方法
CN212207676U (zh) 一种基于双目相机的两通道舵面角度测量设备
CN103738326B (zh) 基于气压防抱死制动系统的电子稳定性控制装置及方法
CN112618024A (zh) 多臂协同式手术机器人
CN104535076A (zh) 一种防滑器里程累积方法
CN106153984B (zh) 一种前车加速度测量装置及其测量方法
CN113232663B (zh) 一种应用于高级辅助驾驶的控制系统
CN205607649U (zh) 汽车制动性能路试仪
CN113031573A (zh) 基于互联网的fsac无人赛车数据采集监控系统
CN205430401U (zh) 一种高速影像处理系统
CN103743578A (zh) 一种光学测距测试车辆行驶性能的方法
CN203083523U (zh) 一种汽车驾驶模拟器中机械踏板开度检测装置
CN207557754U (zh) 一种电子式真空压力控制器的检测装置
CN104298174B (zh) 基于PCIe的轨迹侦测比较的方法
CN103365284B (zh) 一种基于opc技术的多信息检测与融合装置及方法
CN208751879U (zh) 一种用于新能源车制动能量回收测试装置
CN206100324U (zh) 一种车牌辅助的可见光通信车灯定位追踪装置
CN110254436B (zh) 基于运动传感器的驾驶行为分析方法、装置、设备及介质
CN111487055A (zh) 一种测试脚制动阀特性的试验装置
CN105116793B (zh) 一种可重构控制面板的采集方法
CN103412266A (zh) 车用电源性能测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200114

Termination date: 20200616

CF01 Termination of patent right due to non-payment of annual fee