CN111507170B - 通过车对车连接警告驾驶员的异常状态的方法和装置 - Google Patents

通过车对车连接警告驾驶员的异常状态的方法和装置 Download PDF

Info

Publication number
CN111507170B
CN111507170B CN202010075327.0A CN202010075327A CN111507170B CN 111507170 B CN111507170 B CN 111507170B CN 202010075327 A CN202010075327 A CN 202010075327A CN 111507170 B CN111507170 B CN 111507170B
Authority
CN
China
Prior art keywords
driver
state
specific driver
drowsiness
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010075327.0A
Other languages
English (en)
Other versions
CN111507170A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507170A publication Critical patent/CN111507170A/zh
Application granted granted Critical
Publication of CN111507170B publication Critical patent/CN111507170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Atmospheric Sciences (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及一种方法，其基于深度学习检测车辆的驾驶员的异常状态并给予警告，其包括：步骤(a)，将所述车辆的室内图像输入到睡意检测网络中，检测所述特定驾驶员的面部，在所述面部中检测眼部，通过检测眨眼状态来判断睡意状态，将所述室内图像输入到姿势匹配网络中，检测所述驾驶员的身体关键点(body key point)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述异常状态；以及步骤(b)，当参考所述睡意状态和所述异常状态中的一个，判断所述驾驶员处于危险状态时，通过车对车(vehicle‑to‑vehicle，V2V)通信，将关于所述危险状态的信息传输给周边车辆，使周边车辆识别所述危险状态。

Description

通过车对车连接警告驾驶员的异常状态的方法和装置
技术领域
本发明涉及一种方法和装置，其基于深度学习(deep learning)检测车辆驾驶员的睡意状态和异常状态，从而对所述睡意状态和异常状态给予警告，更具体地，涉及一种方法和装置，其基于所述车辆的室内图像中的所述驾驶员的眨眼状态，检测所述驾驶员的所述睡意状态，并通过参考所述驾驶员的姿势检测所述驾驶员的所述异常状态，并给予警告。
背景技术
车辆交通事故中，造成最大伤害的事故是在驾驶中发生的，其中大多数是由疲劳驾驶、酒后驾车、注意力分散等引起的。
作为预先防止这种交通事故的方法，过去，只能是驾驶员自己自觉谨慎，但最近，通过运用技术来监视驾驶员的状态，并警告驾驶员，从而引导安全驾驶。作为对其的典型技术，可以举例驾驶员状态监视装置(Driven-State Monitoring Device，DSM)。
驾驶员状态监视装置利用近红外(Near Infra-Red，NIR)相机，将近红外线投射到驾驶员的面部，由此获取驾驶员的人脸图像来监视驾驶员的人脸。对眨眼频率、眨眼次数等眨眼的特性设置优先顺序，并运用对接近睡意要素分配权重的算法，判断驾驶员是否犯困。另外，通过识别人脸方向和眼睛状态来判断注意力分散状态，并且当判断驾驶员在预设时间内没有注视前方时，驾驶员会受到警告。
然而，这种传统方法中存在的问题为，当驾驶员陷入无法回应这种警告的状态时，对驾驶者的警告将变得毫无意义。
并且，在这种传统方法中，当驾驶员的姿势改变时，利用相机检测驾驶员的异常状态是有限的。
因此，本发明提出一种用于有效地检测表示驾驶员的睡意驾驶或异常状态等的危险状态，以预先防止交通事故的方案。
发明内容
本发明的目的在于解决所有上述问题。
本发明的另一目的在于能够有效地检测特定驾驶员的至少一个异常状态。
本发明的再一目的在于能够向特定驾驶员的周边车辆的驾驶员警告特定驾驶员的异常状态。
本发明的又一目的在于能够防止由于特定驾驶员的异常状态可能发生的交通事故。
为了达到如上所述的本发明的目的，并且实现后述的本发明的特征效果的，本发明的特定结构如下。
根据本发明的一个方面，公开了一种方法，其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：
步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(body key point)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及
步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行如下过程，所述过程为通过车对车(vehicle-to-vehicle，V2V)通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态的过程。
一实施例中，在所述步骤(a)中，
所述驾驶员状态检测装置，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积(convolution)层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络(Region Proposal Network，RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个FC运算，生成至少一个FC输出值，(i-5)对所述FC层的所述FC输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换(Modified Census Transform，MCT)图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述MCT图像，使用自适应提升(Adaboost)算法，根据从所述MCT图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。
一实施例中，在所述步骤(a)中，
所述驾驶员状态检测装置，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图(key pointheatmap)和部分亲和字段(part affinity field)提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。
一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。
一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积(fully convolution)网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。
一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。
一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在所述被提取的关键点对中具有最高相互连接概率的对，从而对所述被提取的关键点进行分组。
一实施例中，在所述步骤(a)中，当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述驾驶状态检测装置执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。
一实施例中，在所述步骤(a)中，当所述身体关键点不与所述任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述驾驶员状态检测装置，使所述姿势匹配网络，判断所述驾驶员处于所述异常状态。
根据本发明的另一个方面，公开了一种驾驶员状态检测装置，其基于深度学习检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：至少一个存储器，存储指令；以及至少一个处理器，被配置执行所述指令用于执行过程(I)和(II)，其中，过程(I)，当获取所述特定车辆内部的至少一个室内图像时执行过程(i)和过程(ii)中的至少一个，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(body key point)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及过程(II)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，通过车对车(vehicle-to-vehicle，V2V)通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态。
一实施例中，在所述过程(I)中，所述处理器，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积(convolution)层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络(Region Proposal Network，RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接(Fullyconnected，FC)层，对所述特征矢量适用至少一个FC运算，生成至少一个FC输出值，(i-5)对所述FC层的所述FC输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换(Modified Census Transform，MCT)图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述MCT图像，使用自适应提升(Adaboost)算法，根据从所述MCT图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。
一实施例中，在所述过程(I)中，所述处理器，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图(key point heatmap)和部分亲和字段(part affinity field)提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。
一实施例中，所述处理器，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。
一实施例中，所述处理器，其特征在于，所述处理器，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积(fully convolution)网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。
一实施例中，所述处理器，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。
一实施例中，所述处理器，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在所述被提取的关键点对中具有最高相互连接概率的对，从而对所述提取的关键点进行分组。
一实施例中，在所述过程(I)中，所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述处理器执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。
一实施例中，在所述过程(I)中，当所述身体关键点不与所述任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述处理器，使所述姿势匹配网络，判断所述驾驶员处于所述异常状态。
另外，还提供了一种用于存储计算机程序的计算机可读介质，所述计算机程序用于执行本发明的方法。
本发明具有能够通过分别评估特定驾驶员的眨眼状态和驾驶姿势来有效地检测所述特定驾驶员的睡意状态和异常状态的效果。
本发明具有的另一效果为，能够通过V2V通信，向周边车辆传输关于所述特定驾驶员的危险状态的信息，向所述周边驾驶员警告所述特定驾驶员的危险状态。
本发明具有的另一效果为，能够通过V2V通信向周边车辆传输关于所述特定驾驶员的危险状态的信息，防止由于所述特定驾驶员的危险状态而发生的交通事故。
附图说明
用于描述本发明实施例的附图仅是本发明实施例的一部分，并且本发明所属领域的普通技术人员，无需进行创造性劳动即可基于这些附图获得其他附图。
图1是示意性示出根据本发明一实施例检测特定车辆的特定驾驶员的至少一个异常状态和至少一个睡意状态并给予警告的驾驶员状态检测装置的图。
图2是示意性示出根据本发明一实施例检测所述特定车辆的所述特定驾驶员的所述异常状态和所述睡意状态并给予警告的方法的图。
图3是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，判断所述特定车辆的所述特定驾驶员的所述睡意状态的过程的图。
图4是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，检测所述特定驾驶员的人脸的过程的图。
图5是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，通过运用所述特定驾驶员的姿势来判断所述特定驾驶员的所述异常状态的过程的图。
图6是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，检测所述特定驾驶员的身体关键点的过程的图。
具体实施方式
对于后述的本发明的详细描述，为使本发明的目的、技术方案、以及优点清楚，可以将实施本发明的特定实施例作为示例而参考示出的附图。将会详细描述这些实施例，以使本领域技术人员能够足以实施本发明。
另外，在本发明的详细描述以及权利要求中，术语“包括”及其变形并不意旨在排除其他技术特征、添加物、组件或步骤。对于本领域普通技术人员来说，本发明的其他目的、优点以及特征中一部分从本说明书中、一部分从本发明的实施中揭示。以下示例和附图将作为示例提供，但并不意旨限制本发明。
尤其，本发明涵盖了本说明书中指示的实施例的所有可能的组合。应理解，即使本发明的各种实施例不同，但不一定是相互排斥的。例如，在不脱离与一实施例有关的本发明的精神和范围的情况下，可在其他实施例中实现本文中所记载的特定形状、结构或特性。并且，应理解，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例的各元件的位置和配置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围在适当地解释的情况下，仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。附图中相似的附图标记是指经过多方面考虑后具有相同或相似的功能。
本发明所涉及的各种图像可包括铺设或未铺设的道路有关的图像，在这种情况下，可以假设可能会出现在道路环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物)，但不限于此，本发明中涉及的各种图像可以是与道路无关的图像(例如，土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内)，在这种情况下，可以推断土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物等)，但不限于此。
以下，为便于本发明所属的技术领域的普通技术人员实施本发明，将参考附图详细描述本发明的优选实施例。
图1是示意性示出根据本发明一实施例检测特定车辆的特定驾驶员的至少一个异常状态和至少一个睡意状态并给予警告的驾驶员状态检测装置的图。参考图1，所述驾驶员状态检测装置1000可以包括，存储器1100，用于存储检测所述特定车辆的所述特定驾驶员的所述异常状态和所述睡意状态并给予警告的指令；以及处理器1200，执行与用于检测所述特定驾驶员的所述睡意状态和所述异常状态的、存储于所述存储器1100的指令相对应的过程。
具体地，所述驾驶员状态检测装置1000通常可以是利用至少一个计算装置(例如，可以包括计算机处理器、存储器、储存器、输入/输出装置、其他现有计算装置的组件的装置；诸如路由器或交换机的电子通信装置；诸如网络附加存储(NAS)以及存储区域网络(SAN)的电子信息存储系统)和至少一个计算机软件(具体为使所述计算装置以特定方式运行的指令)的组合来实现所期望的系统性能。
所述计算装置的处理器可包括微处理单元(Micro Processing Unit，MPU)或中央处理单元(Central Processing Unit，CPU)、高速缓冲存储器存储器(Cache Memory)、数据总线(Data Bus)等硬件结构。并且，计算装置还可以包括操作系统以及执行特定目的应用程序的软件结构。
但是，这些对所述计算装置的描述并不排除集成为了实施本发明的过程、存储器、介质或其他计算组件的形式的集成处理器的情况。
参考图2，描述利用如上所述构成的根据本发明一实施例的所述驾驶员状态检测装置1000，从特定车辆的至少一个室内图像中检测所述特定驾驶员的所述睡意状态和所述异常状态并给予警告的方法如下。
首先，当获取由至少一个相机10拍摄的所述特定车辆的室内图像时，所述驾驶员状态检测装置1000执行，过程(i)，将所述室内图像输入到睡意检测网络100中，使所述睡意检测网络100，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述检测到的面部中检测所述特定驾驶员的至少一个眼部，以及过程(ii)，检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态。此时，所述驾驶员状态检测装置1000执行在所述室内图像中剪裁(cropping)所述特定驾驶员的人脸所在的上半身的过程以及将所述室内图像的所述已剪裁的上半身输入到所述睡意检测网络100中的过程，使所述睡意检测网络100，从所述室内图像的所述已剪裁的上半身中，检测所述特定驾驶员的面部，从而相比于从所述全部室内图像中检测所述面部，可减少所述睡意检测网络100的运算量。
作为一例，参考图3，所述睡意检测网络100将所述室内图像输入到人脸检测器110，使所述人脸检测器110，分析基于深度学习的所述室内图像，从而检测在所述室内图像上的所述特定驾驶员的所述人脸。
此时，所述人脸检测器110可以是基于CNN(Convolutional Neural Network)的检测器，但是本发明的范围不限于此。
另一方面，参考图4，基于所述CNN的所述人脸检测器110可以执行如下过程，即，通过至少一个卷积层111，对所述室内图像适用至少一个卷积运算，来生成至少一个特征图，并通过区域建议网络(Region Proposal Network，RPN)112，来生成与所述特征图上的一个以上的对象相对应的一个以上的建议框。并且，所述人脸检测器110通过池化层113可以执行如下过程，即，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，来生成至少一个特征矢量的过程，以及通过FC层114，对所述特征矢量适用至少一个FC运算，来生成至少一个FC输出值的过程。此后，所述人脸检测器110，将至少一个分类运算与至少一个回归运算适用于所述FC层114的所述FC输出值，输出关于每个所述对象的类别信息与回归信息，可以通过每个所述对象对应于每个建议框的分类层115以及回归层116，检测所述室内图像上的所述特定驾驶员的所述面部。
再次参考图3，所述睡意检测网络100将所述人脸检测器110检测到的所述特定驾驶员的所述面部输入到眼睛检测器120，使所述眼睛检测器120，(i)将所述面部转换为至少一个MCT(Modified Census Transform)图像，以便对所述面部的亮度与局部平均亮度之间的差异进行编码，(ii)使用自适应提升(Adaboost)算法，从所述MCT图像中获取的眼睛检测用特征数据中检测所述特定驾驶员的所述眼部，(iii)参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。此时，可以用所述MCT图像的眼部上的瞳孔的闭合状态来确认所述眨眼状态，所述睁闭状态可以表示眼睛，即瞳孔是睁开还是闭合。作为一例，检测出的所述特定驾驶员的眼睛完全睁开时的瞳孔大小与所述特定驾驶员的眼睛闭合时的瞳孔大小不同，由此，可以判断所述特定驾驶员的眨眼状态。
并且，可以添加用于检测所述特定驾驶员的眨眼状态的额外的眨眼检测器130。此时，所述眨眼检测器130可以通过跟踪所述眼部的瞳孔来检测所述眨眼状态。
并且，当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述睡意检测装置100，参考所述特定驾驶员的眨眼状态来判断所述特定驾驶员为所述睡意状态。
然后，再次参考图2，所述驾驶员状态检测装置1000可以执行如下过程，即，将所述室内图像输入到姿势匹配网络200中，使所述姿势匹配网络200，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(body key point)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而执行判断所述特定驾驶员的所述异常状态的过程。此时，所述驾驶姿势可以是所述驾驶员坐在驾驶座上正常驾驶车辆时的姿势，并且可以作为与驾驶所述车辆的正常位置相应的所述驾驶员的预设姿势来预先存储在数据库中。
作为一例，参考图5，所述姿势匹配网络200可以将所述室内图像输入到身体关键点检测器210，使所述身体关键点检测器210，检测所述特定驾驶员的所述身体关键点。
此时，用设置于所述特定车辆的所述室内的相机获取的视频或图像可能是身体(即人的身体)大部分被遮挡的状态，在驾驶座的情况下，只能看到所述特定驾驶员的上半身。这种情况，传统的对象检测器可能在检测大部分被遮挡的特定驾驶员时失败，但是所述身体关键点检测器210仅利用可见部分来判断是否有所述特定驾驶员。另外，由于所述特定驾驶员姿势多样性范围较大，因此所述身体关键点检测器210比所述传统的对象检测器更有用。
另外，参考图6，下面更详细描述身体关键点检测器210在所述室内图像中检测所述特定驾驶员的所述身体关键点的过程。
所述身体关键点检测器210可以将所述室内图像输入到特征提取网络211，使所述特征提取网络211，从所述室内图像提取一个以上的特征，生成一个以上的特征张量。此时，所述特征提取网络211可以将至少一个卷积运算适用于所述室内图像中，生成与所述室内图像相对应的所述特征张量。另外，所述特征提取网络211可以是包括可以执行至少一个卷积运算的一个以上的卷积层的一个以上的卷积块。
另外，所述身体关键点检测器210可以将所述特征张量输入到关键点热图(keypoint heatmap)和部分亲和字段(part affinity field)提取器212中，使所述关键点热图和部分亲和字段提取器212生成，(i)与每个所述特征张量相对应的每个关键点热图和(ii)作为表示所述关键点之间的关系的矢量图的部分亲和字段。此时，每个所述部分亲和字段可以是表示特定关键点与其他关键点的连接性的图，并且可以是表示与每个关键点热图对相互连接的概率的图。另外“热图”表示热(heat)与图(map)的组合，并且可以是将用颜色表示的各种信息在一定的图像上生成为热分布形式的图形。
此时，所述关键点热图和部分亲和字段提取器212可以包括全卷积网络。
并且，所述关键点热图和部分亲和字段提取器212可以包括将至少一个1×1卷积运算适用于所述特征张量的至少一个1×1卷积层。
并且，所述关键点热图和部分亲和字段提取器212可以利用二分匹配(bipartitematching)，检测每个关键点之间的关系，从而生成所述部分亲和字段。即，所述关键点之间的关系可以通过所述二分匹配确认。
此后，所述身体关键点检测器210从每个所述关键点热图提取所述关键点，并参考每个所述部分来对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层213，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。
即，所述身体关键点检测器210，可以使所述关键点分组层213，从每个所述关键点热图提取所述关键点，参考所述提取的相互连接概率，对具有最高概率的关键点进行配对并连接。此时，所述身体关键点检测器，可以提取与各通道相对应的每个所述关键点热图中每个最高点，即具有最高热值的每个点，作为与每个所述关键点热图相对应的每个所述关键点，并可以参考所述部分亲和字段，对所述已提取的关键点中具有最高连接概率的关键点进行配对并连接，从而可以对所述已提取的关键点进行分组。作为一例，对已提取的所有关键点执行，所述已提取的关键点中任一关键点与具有最高连接概率的另一个关键点连接成对的过程，从而可以对关键点进行分组。
然后，再次参考图5，所述姿势匹配网络200，使姿势匹配装置220，进行从所述身体关键点检测器210获取的所述身体关键点之间的姿势匹配，从而可以知道所述身体关键点是否与所述预设驾驶姿势中的一个匹配。
此时，如果判断所述身体关键点不与任一所述预设驾驶姿势匹配，则所述姿势匹配网络200可以判断，所述身体关键点与任一预设驾驶姿势都不匹配的状态是否持续了第二阈值以上的时间，从而判断所述驾驶员是否处于异常状态。
即，如果所述身体关键点与所述任一驾驶姿势都不匹配的状态持续时间为预设第二阈值以上，则可以判断所述驾驶员为异常状态。例如，所述异常状态可以对应于所述特定驾驶员不专注于驾驶并弯腰捡东西或失去意识而无法驾驶等情况中的一个。
然后，再次参考图2，所述特定驾驶员，参考所述睡意检测网络100中输出的所述特定驾驶员的所述睡意状态和所述姿势匹配网络200输出的所述特定驾驶员的所述异常状态中的至少一个，如果判断为危险状态，所述驾驶员状态检测装置1000执行如下过程，即，通过车对车(vehicle-to-vehicle，V2V)接口20，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员，识别所述特定驾驶员的所述危险状态。由此，使所述周边驾驶员，对在所述危险状态下所述特定驾驶员所驾驶的所述特定车辆集中注意力，从而减少交通事故危险。
另一方面，当判断所述特定驾驶员处于所述危险状态时，所述驾驶员状态检测装置1000，对在所述危险状态下的所述特定驾驶员给予警告，使所述特定驾驶员，可以意识到这种危险状态。作为一例，当所述驾驶员状态检测装置1000，判断所述驾驶员的状态处于危险状态时，发出警告音，向驾驶座或方向盘提供震动，以使所述驾驶员识别危险状态。
如上所述，本发明可以通过利用所述人的状态识别，来监视驾驶员状态，从而检测所述危险状态之后，进行利用V2V连接的V2V危险警告，可以确保车辆之间的驾驶安全性。
以上描述的根据本发明的实施例可以通过各种计算机部件执行的程序指令的形式来实现并存储在计算机可读存储介质。所述计算机可读存储介质可以单独或组合包括程序指令、数据文件、数据结构等。存储在所述计算机可读存储介质的程序指令，可以是为本发明专门设计并组成的，或者可以是计算机软件领域的技术人员已知并可使用的。计算机可读存储介质的示例包括，如硬盘、软盘和磁带的磁性介质、如CD-ROM、DVD的光学记录介质、如软盘的磁光介质以及专门配置用于存储并执行如ROM、RAM、闪存等存储并执行程序指令的硬件装置。程序指令的示例不仅包括如由编译器产生的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置，可配置为一个或多个软件模块来操作，以执行根据本发明的过程，反之亦然。
以上，虽然本发明根据具体的部件等特定实施方案和有限的实施例及附图进行了说明，这只是为了帮助更全面地理解本发明而提供的，本发明并不限于上述实施例，在本发明所属的技术领域中，普通技术人员可以从这些记载中进行各种修改和变化。
因此，本发明的思想不能限于上述说明的实施例而定，不仅是后述的权利范围，与该权利范围均等或等价变形的一切，都属于本发明的思想范畴。

Claims (16)

1.一种基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态而给予警告的方法，其特征在于，包括：
步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及
步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行的过程为，通过车对车通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态；
其中，在所述步骤(a)中，
所述驾驶员状态检测装置，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图和部分亲和字段提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分亲和字段，对提取的关键点进行分组，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。
2.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
所述驾驶员状态检测装置，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个全连接运算，生成至少一个全连接输出值，(i-5)对所述全连接层的所述全连接输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述修正统计变换图像，使用自适应提升算法，根据从所述修正统计变换图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。
3.根据权利要求1所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。
4.根据权利要求1所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。
5.根据权利要求1所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。
6.根据权利要求5所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在提取的关键点对中具有最高相互连接概率的对，从而对所述提取的关键点进行分组。
7.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述驾驶员状态检测装置执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。
8.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
当所述身体关键点不与任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述驾驶员状态检测装置，使所述姿势匹配网络，判断所述驾驶员处于所述异常状态。
9.一种驾驶员状态检测装置，其基于深度学习检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：
至少一个存储器，存储指令；以及
至少一个处理器，被配置为执行用于执行过程(I)和(II)的指令，其中，过程(I)，当获取所述特定车辆内部的至少一个室内图像时执行过程(i)和过程(ii)中的至少一个，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及过程(II)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，通过车对车通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态；
其中，在所述过程(I)中，
所述处理器，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图和部分亲和字段提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分亲和字段，对提取的关键点进行分组，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。
10.根据权利要求9所述的驾驶员状态检测装置，其特征在于，
在所述过程(I)中，
所述处理器，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个全连接运算，生成至少一个全连接输出值，(i-5)对所述全连接层的所述全连接输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述修正统计变换图像，使用自适应提升算法，根据从所述修正统计变换图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。
11.根据权利要求9所述的驾驶员状态检测装置，其特征在于，
所述处理器，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。
12.根据权利要求9所述的驾驶员状态检测装置，其特征在于，
所述处理器，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。
13.根据权利要求9所述的驾驶员状态检测装置，其特征在于，
所述处理器，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。
14.根据权利要求13所述的驾驶员状态检测装置，其特征在于，
所述处理器，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在提取的关键点对中具有最高相互连接概率的对，从而对所述提取的关键点进行分组。
15.根据权利要求9所述的驾驶员状态检测装置，其特征在于，
在所述过程(I)中，
所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述处理器执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。
16.根据权利要求9所述的驾驶员状态检测装置，其特征在于，
在所述过程(I)中，
当所述身体关键点不与任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述处理器，使所述姿势匹配网络，判断所述驾驶员处于所述异常状态。
CN202010075327.0A 2019-01-31 2020-01-22 通过车对车连接警告驾驶员的异常状态的方法和装置 Active CN111507170B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799181P 2019-01-31 2019-01-31
US62/799,181 2019-01-31
US16/738,484 2020-01-09
US16/738,484 US10713948B1 (en) 2019-01-31 2020-01-09 Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection

Publications (2)

Publication Number Publication Date
CN111507170A CN111507170A (zh) 2020-08-07
CN111507170B true CN111507170B (zh) 2023-11-28

Family

ID=69191902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075327.0A Active CN111507170B (zh) 2019-01-31 2020-01-22 通过车对车连接警告驾驶员的异常状态的方法和装置

Country Status (5)

Country Link
US (1) US10713948B1 (zh)
EP (1) EP3690729B1 (zh)
JP (1) JP6930765B2 (zh)
KR (1) KR102321011B1 (zh)
CN (1) CN111507170B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11091166B1 (en) 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
US11494865B2 (en) 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
KR102463143B1 (ko) * 2020-06-15 2022-11-04 세종대학교산학협력단 졸음 운전 감지 방법 및 그 장치
US11256937B2 (en) * 2020-07-17 2022-02-22 Toyota Motor Engineering & Manufacturing North America, Inc. Anomalous event detection and/or validation using inherent human behavior
CN111832526B (zh) * 2020-07-23 2024-06-11 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN112733767B (zh) * 2021-01-15 2022-05-31 西安电子科技大学 一种人体关键点检测方法、装置、存储介质及终端设备
WO2022170540A1 (zh) * 2021-02-10 2022-08-18 华为技术有限公司 交通灯检测的方法和装置
CN112991685A (zh) * 2021-02-10 2021-06-18 武汉理工大学 考虑驾驶人疲劳状态影响的交通系统风险评估及预警方法
CN112937479A (zh) * 2021-03-31 2021-06-11 北京市商汤科技开发有限公司 车辆控制方法及装置、电子设备和存储介质
CN113269162A (zh) * 2021-07-16 2021-08-17 智道网联科技(北京)有限公司 数据获取方法及其装置
US11767021B2 (en) 2021-09-15 2023-09-26 Toyota Research Institute, Inc. Systems and methods for remotely assisting an operator
CN114495257B (zh) * 2021-12-03 2022-10-14 清华大学 险态工况下融合行为机制的姿态预测方法和装置
CN114596624B (zh) * 2022-04-20 2022-08-05 深圳市海清视讯科技有限公司 人眼状态检测方法、装置、电子设备及存储介质
FR3136730A1 (fr) * 2022-06-21 2023-12-22 Orange Procédé d’alerte d’un conducteur d’un véhicule automobile après détermination de zones non surveillées par le conducteur
GB2621863A (en) * 2022-08-25 2024-02-28 Continental Automotive Tech Gmbh Pose classification and in-cabin monitoring methods and associated systems
KR20240067757A (ko) * 2022-11-09 2024-05-17 주식회사 스파이더코어 위험 자세 감지 방법 및 시스템
CN115641570B (zh) * 2022-12-26 2023-06-23 中国汽车技术研究中心有限公司 驾驶行为确定方法、装置、电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190082A (ja) * 2003-12-25 2005-07-14 Fuji Photo Film Co Ltd 居眠り運転警告装置及びカーナビゲーション装置
CN103507809A (zh) * 2013-09-27 2014-01-15 奇瑞汽车股份有限公司 一种控制车辆行驶的方法和装置
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统
CN107038409A (zh) * 2016-02-03 2017-08-11 斯特拉德视觉公司 检测图像中所含文本的方法、装置和计算机可读记录介质
KR20170136887A (ko) * 2016-06-02 2017-12-12 한국산업기술대학교산학협력단 운전자의 졸음 인식 방법 및 졸음 인식 장치
JP6323318B2 (ja) * 2014-12-12 2018-05-16 ソニー株式会社 車両制御装置および車両制御方法、並びにプログラム
WO2018118958A1 (en) * 2016-12-22 2018-06-28 Sri International A driver monitoring and response system
JP2018133032A (ja) * 2017-02-17 2018-08-23 オムロン株式会社 運転切替支援装置、及び運転切替支援方法
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
JP2018169942A (ja) * 2017-03-30 2018-11-01 株式会社日本総合研究所 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム
KR20180119258A (ko) * 2017-04-25 2018-11-02 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950027B2 (en) * 2000-08-23 2005-09-27 Siemens Vdo Automotive Corporation Method to alert drowsy driver
JP2008146327A (ja) * 2006-12-08 2008-06-26 Toshiba Lighting & Technology Corp 乗り物用照明装置
US20140309872A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Customization of vehicle user interfaces based on user intelligence
US10127813B2 (en) * 2015-01-20 2018-11-13 Invent F&W, Llc Systems and methods for alerting drivers of approaching emergency vehicles
KR101669447B1 (ko) * 2015-03-26 2016-11-09 조선대학교산학협력단 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법
US10262219B2 (en) * 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
JP6998564B2 (ja) * 2017-02-08 2022-01-18 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
JP7005933B2 (ja) * 2017-05-09 2022-01-24 オムロン株式会社 運転者監視装置、及び運転者監視方法
US20190018418A1 (en) * 2017-07-13 2019-01-17 Horng-Huei Tseng Vehicle summon system
KR102438191B1 (ko) * 2017-09-29 2022-08-31 주식회사 루멘스 차량용 졸음 방지 장치
US11163317B2 (en) * 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190082A (ja) * 2003-12-25 2005-07-14 Fuji Photo Film Co Ltd 居眠り運転警告装置及びカーナビゲーション装置
CN103507809A (zh) * 2013-09-27 2014-01-15 奇瑞汽车股份有限公司 一种控制车辆行驶的方法和装置
JP6323318B2 (ja) * 2014-12-12 2018-05-16 ソニー株式会社 車両制御装置および車両制御方法、並びにプログラム
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN107038409A (zh) * 2016-02-03 2017-08-11 斯特拉德视觉公司 检测图像中所含文本的方法、装置和计算机可读记录介质
KR20170136887A (ko) * 2016-06-02 2017-12-12 한국산업기술대학교산학협력단 운전자의 졸음 인식 방법 및 졸음 인식 장치
WO2018118958A1 (en) * 2016-12-22 2018-06-28 Sri International A driver monitoring and response system
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统
JP2018133032A (ja) * 2017-02-17 2018-08-23 オムロン株式会社 運転切替支援装置、及び運転切替支援方法
JP2018169942A (ja) * 2017-03-30 2018-11-01 株式会社日本総合研究所 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム
KR20180119258A (ko) * 2017-04-25 2018-11-02 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统

Also Published As

Publication number Publication date
EP3690729A1 (en) 2020-08-05
JP6930765B2 (ja) 2021-09-01
JP2020126644A (ja) 2020-08-20
US10713948B1 (en) 2020-07-14
KR102321011B1 (ko) 2021-11-03
CN111507170A (zh) 2020-08-07
US20200250982A1 (en) 2020-08-06
KR20200095383A (ko) 2020-08-10
EP3690729B1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
CN111507170B (zh) 通过车对车连接警告驾驶员的异常状态的方法和装置
CN111507171B (zh) 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置
Omidyeganeh et al. Intelligent driver drowsiness detection through fusion of yawning and eye closure
US10655978B2 (en) Controlling an autonomous vehicle based on passenger behavior
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
US20210070318A1 (en) Intelligent driving contrl method and apparatus, and computer storage medium
DE102017106535A1 (de) Strassenoberflächenzustand-Erkennung mit Multi-Scale Fusion
Agrawal et al. Emotion and gesture recognition with soft computing tool for drivers assistance system in human centered transportation
Yi et al. Safety belt wearing detection algorithm based on human joint points
Panicker et al. Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection
JP2023552105A (ja) 人間行動のオクルージョン対応予測
KR20140104516A (ko) 차선 인식 방법 및 장치
Azmi et al. LBP-based driver fatigue monitoring system with the adoption of haptic warning scheme
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
Mittal et al. Driver drowsiness detection using machine learning and image processing
Yoo et al. Optimization algorithm for driver monitoring system using deep learning approach
Chien et al. A Fuzzy Rules‐Based Driver Assistance System
Sheth et al. Driver Drowsiness Detection System using Machine Learning Algorithms
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
Nair et al. Smart System for Drowsiness and Accident Detection
Bruno et al. Advanced driver assistance system based on neurofsm applied in the detection of autonomous human faults and support to semi-autonomous control for robotic vehicles
Han et al. Neuromorphic visual information processing for vulnerable road user detection and driver monitoring
Babu et al. Comparative Analysis of Drowsiness Detection Using Deep Learning Techniques
Radhika et al. Container based Driver Fatigue System using IoT
Ahmed et al. Real Time Driver Drowsiness Detection Based on Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant