CN105303770A - 利用头戴式显示器的驾驶员瞌睡警报装置及方法 - Google Patents

利用头戴式显示器的驾驶员瞌睡警报装置及方法 Download PDF

Info

Publication number
CN105303770A
CN105303770A CN201510094533.5A CN201510094533A CN105303770A CN 105303770 A CN105303770 A CN 105303770A CN 201510094533 A CN201510094533 A CN 201510094533A CN 105303770 A CN105303770 A CN 105303770A
Authority
CN
China
Prior art keywords
driver
head mounted
drowsy alert
mounted display
display according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510094533.5A
Other languages
English (en)
Inventor
金泰振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN105303770A publication Critical patent/CN105303770A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及利用头戴式显示器的驾驶员瞌睡警报装置及方法。本发明即利用头戴式显示器的驾驶员瞌睡警报装置，包括：驾驶员状态感应装置，感应驾驶员的状态而判断驾驶员是否处于瞌睡状态；投影头戴式显示器，向驾驶员发出瞌睡警报；音频视频导航，向所述投影头戴式显示器提供音频、视频及导航仪信息中的至少一个；及智能手机，向所述投影头戴式显示器提供音乐、多媒体数据及导航仪信息中的至少一个。根据本发明，判断为驾驶员处于瞌睡驾驶状态时，除了消极地向驾驶员发出视觉性、听觉性警告以外，还能积极地通过诱导驾驶员对话或驾驶路径的强制变更而执行改善驾驶员的状态的指示，从而能够诱导驾驶员的觉醒并减少驾驶危险度。

Description

利用头戴式显示器的驾驶员瞌睡警报装置及方法
技术领域
本发明涉及利用头戴式显示器(HeadMountDisplay，HMD)的驾驶员瞌睡警报装置及方法，更详细地说，感应驾驶员是否瞌睡驾驶并发出利用头戴式显示器的警报的驾驶员瞌睡警报装置及方法。
背景技术
一般地说，汽车为人们提供了移动上的便利性及时间上的效率性，但也会因驾驶员的不注意而给驾驶员及其周边人造成较大损害，所以需注意使用。因此，最近通过汽车所具备的装置感应驾驶员瞌睡并发出警告而防止因驾驶员不注意导致的事故。传统的驾驶员瞌睡警报装置限定于通过方向盘的震动而向驾驶员发出危险警报及输出警告音或音乐重放等音响警报装置。但是传统的驾驶员瞌睡警报装置的问题在于，只能消极地向驾驶员提供警报，而无法执行能够改善驾驶员状态的积极指示。
在先专利
韩国登陆专利公告第10-1316297号(2013.10.1)
发明内容
(要解决的技术问题)
本发明是为解决所述问题点而创造，本发明的目的在于，当判断为驾驶员的瞌睡驾驶状态时，除了消极地向驾驶员发出视觉性，听觉性警告以外，还能积极地通过诱导驾驶员对话或驾驶路径的强制变更而执行改善驾驶员的状态的指示。
(解决问题的手段)
根据为解决所述问题的本发明的一方面，利用头戴式显示器的驾驶员瞌睡警报装置，包括：驾驶员状态感应装置140，感应驾驶员的状态而判断是否处于瞌睡驾驶状态；眼镜形态的投影头戴式显示器110，向驾驶员发出瞌睡警报；及音频视频导航120，向所述投影头戴式显示器110提供音频、视频或导航仪信息中的至少一个。
所述瞌睡警报使所述投影头戴式显示器110上显示是否处于瞌睡驾驶状态。
所述瞌睡警报使所述投影头戴式显示器110闪烁。
所述瞌睡警报使特定图像显示在所述投影头戴式显示器110。
所述驾驶员状态感应装置140，包括：摄像头，用于取得瞌睡驾驶状态信息。
所述投影头戴式显示器110，包括：智能手机130，提供音乐、多媒体数据或导航仪信息中的至少一个。
所述投影头戴式显示器110在其一侧，包括：显示窗口113、麦克风112、扬声器114或振动马达111中的至少一个。
根据本发明的另一方面，利用头戴式显示器的驾驶员瞌睡警报方法，利用摄像头测定驾驶员眼皮的角度而将其作为是否处于瞌睡驾驶状态的判断基准。
所述判断基准为以规定的测定时间内驾驶员闭眼的累计时间所占的比例(％)呈现的以下PERCLOS(PercentageOfEyeClosure)值。
根据本发明的又一方面，利用头戴式显示器的驾驶员瞌睡警报方法，包括：获得驾驶员的瞌睡驾驶状态信息的步骤(S101)；利用所述获得的驾驶员的瞌睡驾驶状态信息而计算以规定的测定时间内驾驶员闭眼的累计时间所占的比例(％)呈现的以下PERCLOS(PercentageOfEyeClosure)值的步骤(S102)；
比较是否处于瞌睡驾驶状态的判断基准即所述PERCLOS值与预先设定的基准值而判断是否处于瞌睡驾驶状态的步骤(S103)；若判断为处于瞌睡驾驶状态，利用投影头戴式显示器110而向驾驶员发出第1次瞌睡警报的步骤(S104)。
所述获得信息的步骤(S101)，利用摄像头而测定驾驶员眼皮的角度并计算规定的测定时间内驾驶员闭眼的累计时间。
所述判断的步骤(S103)，若所述PERCLOS值为预先设定的基准值以上，则判断为瞌睡驾驶状态，若所述PERCLOS值为预先设定的基准值以下，则判断为不是瞌睡驾驶状态。
所述发出第1次瞌睡警报的步骤(S104)，包括：闪烁步骤(S201)，使显示窗口113闪烁。
所述发出第1次瞌睡警报的步骤(S104)，包括：第1振动通知步骤(S202)，利用振动马达111而发出振动通知。
所述发出第1次瞌睡警报的步骤(S104)，包括：重放步骤(S203)，通过扬声器114而重放警报音或音乐中的至少一个。
在所述发出第1次瞌睡警报的步骤(S104)之后，包括：第1次恢复判断步骤(S105)，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否已恢复到觉醒状态。
若所述第1次恢复判断步骤(S105)中判断为驾驶员尚未恢复到觉醒状态，则包括：利用所述投影头戴式显示器而发出第2次瞌睡警报的步骤(S106)。
所述发出第2次瞌睡警报的步骤(S106)，包括：向显示窗口113输出特定图像的步骤(S301)。
所述发出第2次瞌睡警报的步骤(S106)，包括：第2振动通知步骤(S302)，利用振动马达111而发出振动通知。
所述发出第2次瞌睡警报的步骤(S106)，包括：诱导驾驶员与具有语音识别功能的人工智能之间的对话的步骤(S303)。
所述诱导对话的步骤(S303)，包括：具有所述语音识别功能的人工智能向所述驾驶员提问的步骤(S311)。
所述诱导对话的步骤(S303)，包括：所述提问的步骤(S311)之后，识别所述驾驶员的答复的步骤(S321)。
所述诱导对话的步骤(S303)，包括：识别所述答复的步骤(S321)之后，若驾驶员的答复为错误，向驾驶员追加提问的步骤(S331)。
所述发出第2次瞌睡警报的步骤(S106)之后，包括：第2次恢复判断步骤(S107)，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否恢复到觉醒状态。
若所述第2次恢复判断步骤(S107)中判断为驾驶员尚未恢复到觉醒状态，则包括：利用所述投影头戴式显示器而发出第3次瞌睡警报的步骤(S108)。
所述发出第3次瞌睡警报的步骤(S108)，包括：在显示窗口113显示诱导注视前方的图案的步骤(S401)。
所述发出第3次瞌睡警报的步骤(S108)，包括：利用智能手机130向预先设定的对象拨打电话的步骤(S402)。
所述发出第3次瞌睡警报的步骤(S108)之后，包括：第3次恢复判断步骤(S109)，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否恢复到觉醒状态。
若所述第3次恢复判断步骤(S108)中判断为所述驾驶员尚未恢复到觉醒状态，则包括：利用所述投影头戴式显示器而发出第4次瞌睡警报的步骤(S110)。
所述发出第4次瞌睡警报的步骤(S110)，包括：在显示窗口113显示需休息图标的步骤(S501)。
所述发出第4次瞌睡警报的步骤(S110)，包括：驾驶路径变更步骤(S502)，在所述需休息图标显示步骤(S501)之后，将所述音频视频导航119的导航仪的驾驶路径变更为公路服务区或休息区。
所述发出第4次瞌睡警报的步骤(S110)，包括：驾驶路径引导步骤(S503)，在所述驾驶路径变更步骤(S502)之后，在所述显示窗口113显示已变更的驾驶路径，通过扬声器114引导已变更的驾驶路径。
所述发出第4次瞌睡警报的步骤(S110)之后，包括：若驾驶员取消已变更的驾驶路径，则中止第4次瞌睡警报的步骤(S111)。(发明的效果)
如所述，根据本发明，判断为驾驶员处于瞌睡驾驶状态时，除了消极地向驾驶员发出视觉性，听觉性警告以外，还能积极地通过诱导驾驶员对话或驾驶路径的强制变更而执行改善驾驶员的状态的指示，从而能够诱导驾驶员的觉醒并减少驾驶危险度。
附图说明
图1是概略性地图示利用头戴式显示器的驾驶员瞌睡警报装置的概念图。
图2是投影头戴式显示器的立体图。
图3是投影头戴式显示器的显示窗口中显示的图像的例示图。
图4是呈现利用头戴式显示器的驾驶员瞌睡警报装置的联动的概念图。
图5是驾驶员状态感应装置的概念图。
图6是利用头戴式显示器的驾驶员瞌睡警报方法的顺序图。
图7是第4次瞌睡警报步骤(S110)及第4次瞌睡警报中止步骤(S111)的顺序图。
图8是用于说明诱导与具有语音识别功能的人工智能之间的对话的手段的顺序图。
符号说明
100利用头戴式显示器的驾驶员瞌睡警报装置
110投影头戴式显示器
111振动马达
112麦克风
113显示窗口
114扬声器
119音频视频导航
130智能手机
140驾驶员状态感应装置
141获得部
142控制部
143内存
具体实施方式
不可将本说明书及专利权利要求范围中使用的用语或单词限定于一般的或字典上的意思，以“发明人为了以最优的方法说明自己的发明而能够适当地定义用语的概念”为原则，应解释为符合本发明的技术思想的意思及概念。因此，本说明书中记载的实施例及附图中图示的结构只是本发明的优选实施例，并不是全部都代表本发明的技术思想，因此在本申请阶段，应理解为存在可代替这些的多种均等物及变形例。并且，省略与不必要地混淆本发明要旨的公知的功能及结构相关的说明。下面参照附图详细说明本发明的优选实施例。
图1是概略性地图示利用头戴式显示器的驾驶员瞌睡警报装置的概念图。参照图1，根据本发明的一实施例的利用头戴式显示器的驾驶员瞌睡警报装，包括：驾驶员状态感应装置140、投影头戴式显示器110(HeadMountDisplay)、音频视频导航120(AVN)、智能手机130。驾驶员状态感应装置140感应驾驶员的状态而判断是否处于瞌睡驾驶状态。投影头戴式显示器110在所述驾驶员状态感应装置140判断为瞌睡驾驶状态时，向驾驶员发出瞌睡警报。音频视频导航120向所述投影头戴式显示器110提供音频、视频及导航仪信息中的至少一个。智能手机130向所述投影头戴式显示器110提供音乐、多媒体数据及导航仪信息中的至少一个。
图2是投影头戴式显示器的立体图。参照图2，所述投影头戴式显示器110为眼镜形态。眼镜形态易于驾驶员穿戴，有利于在驾驶员的近距离内发出根据视觉、听觉或触觉的瞌睡警报。所述投影头戴式显示器110的一侧以一体型装有所述显示窗口113、麦克风112、扬声器114及振动马达111。所述扬声器114向驾驶员大声重放警报音或音乐而诱导驾驶员的觉醒及与具有语音识别功能的人工智能之间的对话，从而唤醒驾驶员的注意。并且，在判断为瞌睡驾驶时，所述振动马达111通过振动而诱导驾驶员的觉醒。
图3是投影头戴式显示器的显示窗口中显示的图像的例示图。参照图3，所述瞌睡警报向所述投影头戴式显示器的所述显示窗口113显示驾驶员是否处于瞌睡驾驶状态。据此，驾驶员认识到本人的状态并休息，从而能够防止瞌睡驾驶。并且，所述瞌睡警报使所述投影头戴式显示器的所述显示窗口113闪烁而对大脑造成紧张感，从而诱导觉醒。这时，优选地，为了诱导驾驶员的觉醒，所述显示窗口113以红色闪烁。并且，所述瞌睡警报在所述投影头戴式显示器的所述显示窗口113上显示能够使驾驶员觉醒的特定图像。所述特定图像，包括：能够唤起驾驶员的注意并觉醒大脑的照片或家庭照片等。所述特定图像包括由所述智能手机130提供的多媒体数据。并且，所述瞌睡警报能够在所述投影头戴式显示器的所述显示窗口113投影所述驾驶员的视野方向上指示车辆运行前方的显示。优选地，所述显示为箭头。箭头的方向根据视野的方向而不断变化，当驾驶员的视野面向前方时，通过显示特定图标而增加一些趣味性，从而引起驾驶员的兴趣而诱导觉醒。并且，所述瞌睡警报在所述显示窗口113显示需休息图标，或所述音频视频导航120将驾驶路径强制变更为公路服务区或休息区时，在所述显示窗口113显示已变更的导航仪信息。这是为了劝驾驶员休息或使驾驶员强制休息而防止瞌睡驾驶。所述投影头戴式显示器110，可包括：通过所述扬声器114向驾驶员输出警报音或音乐的手段，或利用所述扬声器114及所述麦克风112而诱导与具有语音识别功能的人工智能之间的对话的手段。
图4是呈现利用头戴式显示器的驾驶员瞌睡警报装置的联动的概念图。参照图4，所述音频视频导航120可通过CAN网络与所述驾驶员状态感应装置140连接。并且，所述音频视频导航120可与所述投影头戴式显示器110及所述智能手机130无线连接。所述音频视频导航120与所述驾驶员状态感应装置140、所述投影头戴式显示器110及所述智能手机130相互联动而能够系统性地启动，从而防止瞌睡驾驶并保障驾驶员的安全。所述智能手机130在所述驾驶员状态感应装置140中有瞌睡警报要求时，可向预先设定的对象拨打电话。这是为了通过拨通电话而诱导驾驶员的觉醒或使通话的另一方能够劝驾驶员休息。所述预先设定的对象包括家人或朋友。
图5是根据本发明的又一实施例的驾驶员状态感应装置的概念图。参照图5，所述驾驶员状态感应装置140包括：获得部141、控制部142、内存143。所述获得部141获得所述驾驶员的瞌睡驾驶状态信息。所述获得部141通过已安装在车辆规定位置的摄像头而接收驾驶员的眼部区域影像，从而获得驾驶员的瞌睡驾驶状态信息。优选地，摄像头为近红外线LED(NearInfraredLED)，从而能够在白天及夜间记录影像。驾驶员的瞌睡驾驶状态信息包括：规定的测定时间内驾驶员闭眼的累计时间的测定值。所述控制部142利用所述驾驶员的瞌睡驾驶状态信息而判断是否处于瞌睡驾驶状态。当所述控制部142判断为瞌睡驾驶状态时，可向所述音频视频导航120要求瞌睡警报，根据瞌睡警报要求信号而通过所述投影头戴式显示器110、所述音频视频导航120及所述智能手机130中的至少一个向驾驶员发出瞌睡警报。所述控制部142可计算以下PERCLOS(PercentageOfEyeClosure)值。
所述PERCLOS(PercentageOfEyeClosure)值表示规定的测定时间内驾驶员闭眼的累计时间所占的比例(％)，作为判断驾驶员瞌睡驾驶状态的基准。所述控制部142以预先设定的基准值为基准而根据所述PERLCOS值判断是否处于瞌睡驾驶状态。即，若所述PERLCOS值为预先设定的基准值以上，则判断为瞌睡驾驶状态，若所述PERLCOS值小于预先设定的基准值，则判断为不是瞌睡驾驶状态。预先设定的基准值可根据对多个驾驶员的实验而设定。
图6是根据本发明的又一实施例的利用头戴式显示器的驾驶员瞌睡警报方法的顺序图，图7是根据本发明的又一实施例的第4次瞌睡警报步骤(S110)及第4次瞌睡警报中止步骤(S111)的顺序图。参照图6及图7，根据本发明的又一实施例的利用头戴式显示器的驾驶员瞌睡警报方法，信息获得步骤(S101)中，获得所述信息的步骤(S101)利用摄像头而测定驾驶员眼皮的角度并计算规定的测定时间内驾驶员闭眼的累计时间所占的比例而获得驾驶员的瞌睡驾驶状态信息。所述信息获得步骤(S101)通过已安装在车辆规定位置的摄像头接收驾驶员的眼部区域影像而获得驾驶员的瞌睡驾驶状态信息。优选地，摄像头为近红外线LED(NearInfraredLED)，从而能够在白天及夜间记录影像。所述眼部区域影像中驾驶员两眼皮的角度之和小于规定的基准值时，判断为驾驶员闭眼而将闭眼的时间作为瞌睡驾驶状态信息。
所述计算步骤(S102)中，利用所述获得的驾驶员的瞌睡驾驶状态信息而能够计算以规定的测定时间内驾驶员闭眼的累计时间所占的比例(％)呈现的以下PERCLOS(PercentageOfEyeClosure)值。
所述判断步骤(S103)中，通过比较瞌睡驾驶状态的判断基准即所述PERCLOS值与预先设定的基准值而判断是否处于瞌睡驾驶状态，若所述PERLCOS值为预先设定的基准值以上，则判断为瞌睡驾驶状态，若所述PERLCOS值小于预先设定的基准值，则判断为不是瞌睡驾驶状态。
第1次瞌睡警报步骤(S104)中，若判断为所述驾驶员的状态为瞌睡驾驶状态，则利用所述投影头戴式显示器而向所述驾驶员发出第1次瞌睡警报。所述第1次瞌睡警报步骤(S104)可包括：闪烁步骤(S191)、第1振动通知步骤(S192)、重放步骤(S193)中的至少一个。所述闪烁步骤(S191)中，可使所述投影头戴式显示器的所述显示窗口113的整个画面闪烁。这时，为了诱导驾驶员的觉醒，优选地，使所述显示窗口113的整个画面以红色闪烁。所述第1振动通知步骤(S192)中，可利用所述投影头戴式显示器的振动马达111而发出振动通知。所述重放步骤(S193)中，可通过所述投影头戴式显示器的扬声器114而重放警报音及音乐中的至少一个。
所述发出第1次瞌睡警报的步骤(S104)之后，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否恢复到觉醒状态。所述第1次恢复判断步骤(S105)中，若判断为所述驾驶员未恢复到觉醒状态，第2次瞌睡警报步骤(S106)中可利用所述投影头戴式显示器而发出第2次瞌睡警报。所述第2次瞌睡警报步骤(S106)可包括：图像输出步骤(S301)、第2振动通知步骤(S302)、对话诱导步骤(S303)中的至少一个。所述图像输出步骤(S301)可向所述投影头戴式显示器的所述显示窗口113输出特定图像。所述特定图像，包括：能够唤起驾驶员的注意并觉醒大脑的影像或家庭照片等。所述特定图像可包括到由所述智能手机130提供的多媒体数据。第2振动通知步骤(S302)利用所述投影头戴式显示器的振动马达111而发出振动通知。这时，优选地，第2振动通知步骤(S302)以所述第1振动通知步骤(S192)的2倍至4倍的强度发出振动通知。
所述对话诱导步骤(S303)可利用所述投影头戴式显示器的扬声器114及麦克风112而诱导所述驾驶员与具有所述语音识别功能的人工智能之间的对话。所述对话诱导步骤(S303)包括：提问步骤(S311)、答复识别步骤(S321)及进行追加提问的步骤(S331)。所述提问步骤(S311)中，具有所述语音识别功能的人工智能可向所述驾驶员提问。所述答复识别步骤(S321)中，所述人工智能可识别所述驾驶员对所述提问步骤(S311)的提问的语音答复。所述追加提问步骤(S331)中，若所述答复识别步骤(S321)之后，驾驶员的答复为错误时，所述人工智能可向驾驶员追加提问。
第2次恢复判断步骤(S107)中，在所述第2次瞌睡警报之后，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否恢复到觉醒状态。第3次瞌睡警报步骤(S108)中，所述第2次恢复判断步骤中若判断为所述驾驶员未恢复到觉醒状态，可利用所述投影头戴式显示器而发出第3次瞌睡警报。所述第3次瞌睡警报步骤(S108)可包括：图案显示步骤(S401)及拨通电话步骤(S402)。所述图案显示步骤(S401)可向所述投影头戴式显示器的所述显示窗口113显示诱导注视前方的图案。这时，优选显示箭头形态的图案。箭头的方向根据视野的方向而不断变化，当驾驶员的视野面向前方时，通过显示特定图标而增加一些趣味性，从而引起驾驶员的兴趣而诱导觉醒。所述拨通电话步骤(S402)可利用所述智能手机130而向预先设定的对象拨打电话，利用与所述智能手机130无线连接的所述投影头戴式显示器的扬声器114及麦克风112而诱导所述驾驶员的通话。
第3次恢复判断步骤(S109)中，所述第3次瞌睡警报之后，计算所述PERCLOS值并与预先设定的基准值进行比较而判断驾驶员是否恢复到觉醒状态。第4次瞌睡警报步骤(S110)中，当所述第3次恢复判断步骤中判断为所述驾驶员未恢复到觉醒状态时，利用所述投影头戴式显示器而发出第4次瞌睡警报。所述第4次瞌睡警报步骤(S110)可包括：需休息图标显示步骤(S501)、驾驶路径变更步骤(S502)、驾驶路径引导步骤(S503)。所述需休息图标显示步骤(S501)中，可向所述投影头戴式显示器的所述显示窗口113显示需休息图标。所述驾驶路径变更步骤(S502)中，所述需休息图标显示步骤(S501)之后，可通过所述音频视频导航119的导航仪将驾驶路径变更为公路服务区或休息区。所述驾驶路径引导步骤(S503)中，所述驾驶路径变更步骤(S502)之后，在所述投影头戴式显示器的所述显示窗口113显示已变更的驾驶路径，通过所述投影头戴式显示器的所述扬声器114引导已变更的驾驶路径。在所述显示窗口显示需休息图标而使驾驶员识别需要休息的状况，将导航仪信息修改为运行路径上的高速公路公路服务区或休息区，从而强制诱导驾驶员的休息。第4次瞌睡警报中止步骤(S111)中，所述第4次瞌睡警报步骤之后，驾驶员若取消所述已变更的驾驶路径，则中止第4次瞌睡警报。若驾驶员判断为不需要休息，则取消已变更的驾驶路径，将驾驶路径修改为原先路径，从而使驾驶员觉醒。
图8是用于说明诱导与具有语音识别功能的人工智能之间的对话的手段的顺序图。参照图8，所述对话诱导步骤(S303)可包括提问步骤(S311)、答复识别步骤(S321)及追加提问步骤(S331)。所述提问步骤(S311)可使具有所述语音识别功能的人工智能向所述驾驶员提问。所述答复识别步骤(S321)中，所述人工智能可识别驾驶员对所述提问步骤(S311)的提问的语音答复。所述追加提问步骤(S331)中，在所述答复识别步骤(S321)之后，若驾驶员的答复为错误，所述人工智能可向驾驶员追加提问。
前面所述的实施例用于本发明所属技术领域中具有一般知识的人(以下称‘从业者’)能够容易地实施本发明的优选实施例，并不限定于前述的实施例及附图，不是因此而限定本发明的权力范围。因此，从业者能够明确理解到在不脱离本发明技术思想的范围内，可进行多种置换、变形及变更，可被从业者容易变更的部分也属于本发明的权利范围。

Claims (31)

1.一种利用头戴式显示器的驾驶员瞌睡警报装置，包括：
驾驶员状态感应装置，感应驾驶员的状态而判断是否处于瞌睡驾驶状态；
眼镜形态的投影头戴式显示器，向驾驶员发出瞌睡警报；及
音频视频导航，向所述投影头戴式显示器提供音频、视频或导航仪信息中的至少一个。
2.根据权利要求1所述的利用头戴式显示器的驾驶员瞌睡警报装置，其特征在于，
所述瞌睡警报使所述投影头戴式显示器上显示是否处于瞌睡驾驶状态。
3.根据权利要求1所述的利用头戴式显示器的驾驶员瞌睡警报装置，其特征在于，
所述瞌睡警报使所述投影头戴式显示器闪烁。
4.根据权利要求1所述的利用头戴式显示器的驾驶员瞌睡警报装置，其特征在于，
所述瞌睡警报使特定图像显示在所述投影头戴式显示器。
5.根据权利要求1所述的利用头戴式显示器的驾驶员瞌睡警报装置，其特征在于，
所述驾驶员状态感应装置，包括：摄像头，用于取得瞌睡驾驶状态信息。
6.根据权利要求1所述的利用头戴式显示器的驾驶员瞌睡警报装置，其特征在于，
所述投影头戴式显示器，包括：智能手机，提供音乐、多媒体数据或导航仪信息中的至少一个。
7.根据权利要求1所述的利用头戴式显示器的驾驶员瞌睡警报装置，其特征在于，
所述投影头戴式显示器在其一侧，包括：显示窗口、麦克风、扬声器或振动马达中的至少一个。
8.一种利用头戴式显示器的驾驶员瞌睡警报方法，包括：
获得驾驶员的瞌睡驾驶状态信息的步骤；
利用所述获得的驾驶员的瞌睡驾驶状态信息而计算以规定的测定时间内驾驶员闭眼的累计时间所占的比例(％)呈现的以下PERCLOS(PercentageOfEyeClosure，闭眼百分比)值的步骤；
比较是否处于瞌睡驾驶状态的判断基准，即所述PERCLOS值与预先设定的基准值而判断是否处于瞌睡驾驶状态的步骤；
若判断为处于瞌睡驾驶状态，利用投影头戴式显示器而向驾驶员发出第1次瞌睡警报的步骤。
9.根据权利要求8所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述获得信息的步骤，利用摄像头而测定驾驶员眼皮的角度并计算规定的测定时间内驾驶员闭眼的累计时间。
10.根据权利要求8所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述判断的步骤，若所述PERCLOS值为预先设定的基准值以上，则判断为瞌睡驾驶状态，若所述PERCLOS值为预先设定的基准值以下，则判断为不是瞌睡驾驶状态。
11.根据权利要求8所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第1次瞌睡警报的步骤，包括：闪烁步骤，使显示窗口闪烁。
12.根据权利要求8所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第1次瞌睡警报的步骤，包括：第1振动通知步骤，利用振动马达而发出振动通知。
13.根据权利要求8所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第1次瞌睡警报的步骤，包括：重放步骤，通过扬声器而重放警报音或音乐中的至少一个。
14.根据权利要求8所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
在所述发出第1次瞌睡警报的步骤之后，包括：第1次恢复判断步骤，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否已恢复到觉醒状态。
15.根据权利要求14所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
若所述第1次恢复判断步骤中判断为驾驶员尚未恢复到觉醒状态，则包括：利用所述投影头戴式显示器而发出第2次瞌睡警报的步骤。
16.根据权利要求15所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第2次瞌睡警报的步骤，包括：向显示窗口输出特定图像的步骤。
17.根据权利要求16所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第2次瞌睡警报的步骤，包括：第2振动通知步骤，利用振动马达而发出振动通知。
18.根据权利要求16所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第2次瞌睡警报的步骤，包括：诱导驾驶员与具有语音识别功能的人工智能之间的对话的步骤。
19.根据权利要求18所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述诱导对话的步骤，包括：具有所述语音识别功能的人工智能向所述驾驶员提问的步骤。
20.根据权利要求19所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述诱导对话的步骤，包括：所述提问的步骤之后，识别所述驾驶员的答复的步骤。
21.根据权利要求20所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述诱导对话的步骤，包括：识别所述答复的步骤之后，若驾驶员的答复为错误，向驾驶员追加提问的步骤。
22.根据权利要求16所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第2次瞌睡警报的步骤之后，包括：第2次恢复判断步骤，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否恢复到觉醒状态。
23.根据权利要求22所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
若所述第2次恢复判断步骤中判断为驾驶员尚未恢复到觉醒状态，则包括：利用所述投影头戴式显示器而发出第3次瞌睡警报的步骤。
24.根据权利要求23所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第3次瞌睡警报的步骤，包括：在显示窗口显示诱导注视前方的图案的步骤。
25.根据权利要求23所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第3次瞌睡警报的步骤，包括：利用智能手机向预先设定的对象拨打电话的步骤。
26.根据权利要求23所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第3次瞌睡警报的步骤之后，包括：第3次恢复判断步骤，重新获得所述瞌睡驾驶状态信息并重新计算所述PERCLOS值，比较重新计算的PERCLOS值与预先设定的基准值而判断驾驶员是否恢复到觉醒状态。
27.根据权利要求26所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
若所述第3次恢复判断步骤中判断为所述驾驶员尚未恢复到觉醒状态，则包括：利用所述投影头戴式显示器而发出第4次瞌睡警报的步骤。
28.根据权利要求27所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第4次瞌睡警报的步骤，包括：在显示窗口显示需休息图标的步骤。
29.根据权利要求28所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第4次瞌睡警报的步骤，包括：驾驶路径变更步骤，在所述需休息图标显示步骤之后，将所述音频视频导航的导航仪的驾驶路径变更为公路服务区或休息区。
30.根据权利要求29所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第4次瞌睡警报的步骤，包括：驾驶路径引导步骤，在所述驾驶路径变更步骤之后，在所述显示窗口显示已变更的驾驶路径，通过扬声器引导已变更的驾驶路径。
31.根据权利要求30所述的利用头戴式显示器的驾驶员瞌睡警报方法，其特征在于，
所述发出第4次瞌睡警报的步骤之后，包括：若驾驶员取消已变更的驾驶路径，则中止第4次瞌睡警报的步骤。
CN201510094533.5A 2014-06-03 2015-03-03 利用头戴式显示器的驾驶员瞌睡警报装置及方法 Pending CN105303770A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140067506A KR20150139229A (ko) 2014-06-03 2014-06-03 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
KR10-2014-0067506 2014-06-03

Publications (1)

Publication Number Publication Date
CN105303770A true CN105303770A (zh) 2016-02-03

Family

ID=55020432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510094533.5A Pending CN105303770A (zh) 2014-06-03 2015-03-03 利用头戴式显示器的驾驶员瞌睡警报装置及方法

Country Status (2)

Country Link
KR (1) KR20150139229A (zh)
CN (1) CN105303770A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN106781281A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 一种车辆的提示信息生成方法及车载终端
CN107421522A (zh) * 2017-04-27 2017-12-01 深圳市元征科技股份有限公司 航向显示方法及装置
CN107738621A (zh) * 2017-09-28 2018-02-27 镇江市海格乐电子科技有限公司 一种可灵活变位的汽车导航系统
CN107944355A (zh) * 2017-11-13 2018-04-20 李振芳 大数据采集和处理方法
CN109087485A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN110401893A (zh) * 2019-08-02 2019-11-01 深圳稳泰电声有限公司 一种防瞌睡耳机及其控制方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101940213B1 (ko) 2017-05-22 2019-01-18 (주)동아금속 차량용 헤드 서포트 장치
KR102072910B1 (ko) 2018-05-23 2020-02-03 한민홍 졸음 인식 장치를 이용한 졸음 인식 방법
KR102079086B1 (ko) * 2018-08-06 2020-04-07 호남대학교 산학협력단 지능형 졸음운전 방지 장치
JP7151397B2 (ja) * 2018-11-12 2022-10-12 株式会社リコー 表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイス
KR102159159B1 (ko) * 2019-04-03 2020-09-23 주식회사 에스에이텍 대화형 로봇 및 이를 이용한 긴급 상황 전파 시스템
KR102396379B1 (ko) * 2019-05-24 2022-05-10 주식회사 피앤씨솔루션 센서 모듈의 탈착이 가능한 머리 착용형 디스플레이 장치
KR102218526B1 (ko) * 2019-07-26 2021-02-19 엘지전자 주식회사 졸음 운전을 방지하기 위한 방법, 시스템 및 차량
KR20200006145A (ko) 2020-01-07 2020-01-17 한민홍 졸음 인식 장치 및 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028309A1 (en) * 1996-08-19 2001-10-11 Torch William C. System and method for monitoring eye movement
US20100033333A1 (en) * 2006-06-11 2010-02-11 Volva Technology Corp Method and apparatus for determining and analyzing a location of visual interest
CN201429421Y (zh) * 2009-06-25 2010-03-24 江苏新科软件有限公司 助手式车用导航装置
CN101968918A (zh) * 2010-11-01 2011-02-09 庄力可 反馈式疲劳检测系统
CN201749540U (zh) * 2010-07-26 2011-02-16 华南农业大学 一种疲劳驾驶检测及规范装置
TW201209764A (en) * 2010-08-23 2012-03-01 Univ Ishou Vehicle anti-doze system and method thereof
CN103000000A (zh) * 2012-11-28 2013-03-27 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN203405630U (zh) * 2013-07-10 2014-01-22 北京汽车股份有限公司 车载多媒体眼镜、车载多媒体系统及车辆
KR20140020219A (ko) * 2012-08-07 2014-02-18 한양대학교 산학협력단 슬라이딩 구조를 가지는 착용형 디스플레이 장치
CN103745571A (zh) * 2014-02-19 2014-04-23 才越 一种新的多样化的行车疲劳提醒装置
CN103765482A (zh) * 2011-09-02 2014-04-30 奥迪股份公司 用于对车辆的至少一个车辆系统的至少一个运行参数进行设定的装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028309A1 (en) * 1996-08-19 2001-10-11 Torch William C. System and method for monitoring eye movement
US20100033333A1 (en) * 2006-06-11 2010-02-11 Volva Technology Corp Method and apparatus for determining and analyzing a location of visual interest
CN201429421Y (zh) * 2009-06-25 2010-03-24 江苏新科软件有限公司 助手式车用导航装置
CN201749540U (zh) * 2010-07-26 2011-02-16 华南农业大学 一种疲劳驾驶检测及规范装置
TW201209764A (en) * 2010-08-23 2012-03-01 Univ Ishou Vehicle anti-doze system and method thereof
CN101968918A (zh) * 2010-11-01 2011-02-09 庄力可 反馈式疲劳检测系统
CN103765482A (zh) * 2011-09-02 2014-04-30 奥迪股份公司 用于对车辆的至少一个车辆系统的至少一个运行参数进行设定的装置
KR20140020219A (ko) * 2012-08-07 2014-02-18 한양대학교 산학협력단 슬라이딩 구조를 가지는 착용형 디스플레이 장치
CN103000000A (zh) * 2012-11-28 2013-03-27 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN203405630U (zh) * 2013-07-10 2014-01-22 北京汽车股份有限公司 车载多媒体眼镜、车载多媒体系统及车辆
CN103745571A (zh) * 2014-02-19 2014-04-23 才越 一种新的多样化的行车疲劳提醒装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN106781281A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 一种车辆的提示信息生成方法及车载终端
CN107421522A (zh) * 2017-04-27 2017-12-01 深圳市元征科技股份有限公司 航向显示方法及装置
CN107738621A (zh) * 2017-09-28 2018-02-27 镇江市海格乐电子科技有限公司 一种可灵活变位的汽车导航系统
CN107738621B (zh) * 2017-09-28 2019-09-27 镇江倍斯特曼新材料研究有限公司 一种可灵活变位的汽车导航系统
CN107944355A (zh) * 2017-11-13 2018-04-20 李振芳 大数据采集和处理方法
CN107944355B (zh) * 2017-11-13 2018-08-28 厦门云顶伟业信息技术有限公司 大数据采集和处理方法
CN109087485A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN110401893A (zh) * 2019-08-02 2019-11-01 深圳稳泰电声有限公司 一种防瞌睡耳机及其控制方法

Also Published As

Publication number Publication date
KR20150139229A (ko) 2015-12-11

Similar Documents

Publication Publication Date Title
CN105303770A (zh) 利用头戴式显示器的驾驶员瞌睡警报装置及方法
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
EP3675121B1 (en) Computer-implemented interaction with a user
KR102017700B1 (ko) 단말기 및 그 제어 방법
KR101668165B1 (ko) 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이
JP4633043B2 (ja) 画像処理装置
US20140267648A1 (en) Apparatus and method for providing failed-attempt feedback using a camera on glasses
KR20150037251A (ko) 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
CN107466223A (zh) 用于电子多功能装置的控制
US9811993B2 (en) Vehicle operator impairment detection system and method
CN102610184A (zh) 调整显示状态的方法和设备
WO2019244670A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116324981A (zh) 用于传送信息的系统和方法
CN104665848A (zh) 驾驶员状态感知装置及其方法
KR101750871B1 (ko) 이어셋 장치 및 그 장치의 제어 방법
JP2018169906A (ja) 居眠り防止装置、居眠り防止方法、およびプログラム
KR20140049897A (ko) 차선 이탈 경고 안경
KR20230002180A (ko) 운전자의 주의 환기 장치 및 그 방법
CN105383497B (zh) 车载系统
CN210927936U (zh) 具有全自然用户界面的耳机装置
Kashevnik et al. Context-based driver support system development: Methodology and case study
KR20150106986A (ko) 서버기반 졸음감지 시스템 및 그 방법
WO2016143415A1 (ja) 情報処理装置、情報処理方法およびプログラム
US9280914B2 (en) Vision-aided hearing assisting device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160203