CN110765807B - 驾驶行为分析、处理方法、装置、设备和存储介质 - Google Patents
驾驶行为分析、处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110765807B CN110765807B CN201810829019.5A CN201810829019A CN110765807B CN 110765807 B CN110765807 B CN 110765807B CN 201810829019 A CN201810829019 A CN 201810829019A CN 110765807 B CN110765807 B CN 110765807B
- Authority
- CN
- China
- Prior art keywords
- driving
- information
- head
- user
- facial feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000002159 abnormal effect Effects 0.000 claims abstract description 69
- 230000001815 facial effect Effects 0.000 claims description 295
- 230000006399 behavior Effects 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 209
- 230000036544 posture Effects 0.000 description 151
- 210000001508 eye Anatomy 0.000 description 51
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 9
- 210000000214 mouth Anatomy 0.000 description 9
- 210000001331 nose Anatomy 0.000 description 9
- 241001282135 Poromitra oscitans Species 0.000 description 8
- 206010048232 Yawning Diseases 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013178 mathematical model Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 2
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种驾驶行为分析、处理方法、装置、设备和存储介质，以提高行车安全。所述的方法包括：采集驾驶用户的驾驶图像数据和车辆的行驶信息；依据所述驾驶图像数据，分析所述驾驶用户的注意力信息；依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态；针对异常驾驶状态进行报警提示。基于驾驶员的注意力有效监控驾驶员是否处于危险驾驶状态，及时对危险驾驶进行预警，保证了行车安全。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种驾驶行为分析方法和装置、一种驾驶行为处理方法和装置、一种电子设备和一种存储介质。
背景技术
驾驶员的疲劳驾驶和分心驾驶是造成交通事故的主要原因之一，特别是在高速公路等场景下，驾驶员长时间行车而且操作单调，极易造成疲劳或者注意力分散，不能够及时响应危险情况，造成交通事故。
因此，在行车过程中对驾驶员的行驶状态进行监测，对危险驾驶即时预警尤为重要。现有最多被采用的疲劳检测手段是驾驶员驾车行为分析，即通过记录和解析驾驶员转动方向盘、踩刹车等行为特征，判别驾驶员是否疲劳。但是，这种方式受驾驶员驾驶习惯影响极大，判断结果不准确。
发明内容
本申请实施例提供了一种驾驶行为分析方法，以提高行车安全。
相应的，本申请实施例还提供了一种驾驶行为分析装置、一种驾驶行为处理方法和装置、一种电子设备和一种存储介质，用以保证上述系统的实现及应用。
为了解决上述问题，本申请实施例公开了一种驾驶行为分析方法，所述的方法包括：采集驾驶用户的驾驶图像数据和车辆的行驶信息；依据所述驾驶图像数据，分析所述驾驶用户的注意力信息；依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态；针对异常驾驶状态进行报警提示。
可选的，所述采集驾驶用户的驾驶图像数据和车辆行驶信息，包括：通过图像采集设备采集用户的驾驶图像数据；通过车载设备采集车辆的行驶信息。
可选的，所述依据所述驾驶图像数据，分析所述用户的注意力信息，包括：依据所述驾驶图像数据，分析所述驾驶用户的头面信息；依据所述头面信息，确定所述驾驶用户的注意力信息。
可选的，所述依据所述驾驶图像数据，分析所述驾驶用户的头面信息，包括：从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
可选的，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
可选的，所述依据所述头面信息，确定所述驾驶用户的注意力信息，包括：将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。
可选的，所述提取所述驾驶用户的面部特征数据之后，还包括：判断所述驾驶用户是否为已注册用户；若为已注册用户，执行依据所述面部特征数据分析所述驾驶用户的头面信息的的步骤；若为未注册用户，对所述驾驶用户执行注册的步骤。
可选的，还包括注册的步骤：发出驾驶姿态提示信息，并采集所述驾驶姿态对应的图像数据；依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
可选的，所述依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，包括：将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。
可选的，所述针对异常驾驶状态的报警提示，包括显示报警提示信息和/或播放语音提示信息。
可选的，还包括：统计出现异常驾驶状态的次数。
可选的，采集驾驶图像数据的图像采集设备包括：红外摄像头。
本申请实施例还提供了一种驾驶行为处理方法，所述的方法包括：用户注册时，采集用户在至少一种驾驶姿态下的图像数据；依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
可选的，所述依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息，包括：针对各驾驶姿态，从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户在所述驾驶姿态对应的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
可选的，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
可选的，所述依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器，包括：将各驾驶姿态对应的头面信息分别输入分类器进行训练，得到所述驾驶用户的注意力分类器。
可选的，还包括：通过语音提示驾驶用户待拍摄的驾驶姿态。
本申请实施例还公开了一种驾驶行为分析装置，所述的装置包括：采集模块，用于采集驾驶用户的驾驶图像数据和车辆的行驶信息；注意力分析模块，用于依据所述驾驶图像数据，分析所述驾驶用户的注意力信息；状态分析模块，用于依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态；报警提示模块，用于针对异常驾驶状态进行报警提示。
可选的，所述采集模块，用于通过图像采集设备采集用户的驾驶图像数据；通过车载设备采集车辆的行驶信息。
可选的，所述注意力分析模块，包括：头面分析子模块，用于依据所述驾驶图像数据，分析所述驾驶用户的头面信息；注意力确定子模块，用于依据所述头面信息，确定所述驾驶用户的注意力信息。
可选的，所述头面分析子模块，用于从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
可选的，所述头面分析子模块，用于从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
可选的，所述注意力确定子模块，用于将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。
可选的，还包括：注册判断模块，用于判断所述驾驶用户是否为已注册用户；若为已注册用户，触发所述头面分析子模块分析所述驾驶用户的头面信息；若为未注册用户，触发执行对所述驾驶用户的注册。
可选的，还包括：注册模块，用于发出驾驶姿态提示信息，并采集所述驾驶姿态对应的图像数据；依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
可选的，所述状态分析模块，用于将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。
可选的，所述报警提示模块，用于显示报警提示信息和/或播放语音提示信息。
可选的，还包括：统计模块，用于统计出现异常驾驶状态的次数。
可选的，采集驾驶图像数据的图像采集设备包括：红外摄像头。
本申请实施例还公开了一种驾驶行为处理装置，所述的装置包括：图像采集模块，用于用户注册时，采集用户在至少一种驾驶姿态下的图像数据；分析模块，用于依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；训练模块，用于依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
可选的，所述分析模块，包括：提取子模块，用于针对各驾驶姿态，从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；姿态分析子模块，用于依据所述面部特征数据，分析所述驾驶用户在所述驾驶姿态对应的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
可选的，所述姿态分析子模块，用于从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
可选的，所述训练模块，用于将各驾驶姿态对应的头面信息分别输入分类器进行训练，得到所述驾驶用户的注意力分类器。
可选的，还包括：注册提示模块，用于通过语音提示驾驶用户待拍摄的驾驶姿态。
本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的驾驶行为分析方法。
本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的驾驶行为分析方法。
本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的驾驶行为处理方法。
本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的驾驶行为处理方法。
与现有技术相比，本申请实施例包括以下优点：
在本申请实施例，可以拍摄驾驶用户的驾驶图像数据，然后分析驾驶用户的注意力信息，将注意力信息和车辆的行驶信息相结合，判断驾驶用户的驾驶状态，从而能够检测出异常驾驶状态并进行报警提示，基于驾驶员的注意力有效监控驾驶员是否处于危险驾驶状态，及时对危险驾驶进行预警，保证了行车安全。
附图说明
图1是本申请实施例的一种驾驶行为分析示意图；
图2是本申请实施例的另一种驾驶行为分析示意图；
图3是本申请实施例中一种驾驶用户注册的处理示意图；
图4是本申请实施例的一种注意力分类器的训练示意图；
图5是本申请一种驾驶行为分析方法实施例的步骤流程图；
图6是本申请一种驾驶行为处理方法实施例的步骤流程图；
图7是本申请另一种驾驶行为分析方法实施例的步骤流程图；
图8是本申请一种驾驶行为分析装置实施例的结构框图；
图9是本申请另一种驾驶行为分析装置实施例的结构框图；
图10是本申请一种驾驶行为处理装置实施例的结构框图；
图11是本申请另一种驾驶行为处理装置实施例的结构框图；
图12是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例，可以拍摄驾驶用户的驾驶图像数据，然后分析驾驶用户的注意力信息，将注意力信息和车辆的行驶信息相结合，判断驾驶用户的驾驶状态，从而能够检测出异常驾驶状态并进行报警提示，基于驾驶员的注意力有效监控驾驶员是否处于危险驾驶状态，及时对危险驾驶进行预警，保证了行车安全。
参照图1，示出了本申请实施例的一种驾驶行为分析示意图。
用户驾驶车辆在行驶的过程中，可以实施例对用户的驾驶状态进行检测，以提高行车安全。其中，可在步骤102中采集驾驶用户的驾驶图像数据和车辆的行驶信息。其中，驾驶用户的驾驶图像数据可通过摄像头等图像采集设备进行采集，车辆的行驶信息可通过车载设备采集。
本申请实施例中，对于采集驾驶图像数据的图像采集设备的位置和数量不做限制，可依据实际需求设定。例如在一个示例中，图像采集设备为红外摄像头，从而用户驾车佩戴墨镜等也不会影响图像的采集和数据分析的准确性。又如图像采集设备可以安装在驾驶员正前方的位置，用来获得驾驶员清晰的上半身图像车辆中，例如位于方向盘后方正对人脸的位置，并且不遮挡驾驶员的视野。当然也可设置在前挡风玻璃上方等位置。
车载设备为车辆上设置的能够采集行车过程中各种数据的设备，行车过程中的数据包括车辆本身的数据以及周围道路环境的数据等。所述行驶信息包括：行车信息、行车环境信息和路况信息。行车信息指的是车辆行驶过程中自身的数据，包括：车辆速度、加速度、方向盘转角、刹车等数据，可以通过车辆的CAN总线收集。行车环境信息指的是车辆行驶的周围环境数据，包括车辆转弯、变道、跟车、超车状况等数据，可以通过V2X(vehicle toeverything，即车对外界的信息交换)设备收集。路况信息指的是车辆行驶周围道路状况数据，包括车辆所在位置、道路拥堵状况等，可以通过GPS(Global Positioning System，全球定位系统)设备收集。在通过车载设备收集到行驶信息后，还可对行驶信息进行数据清洗和特征提取等操作，例如可以先对行驶信息进行滤波等除噪处理，如采用卡尔曼(Kalman)滤波器处理加速度等数据进行清洗。
在采集完所需的数据后，可在步骤104中依据所述驾驶图像数据分析所述驾驶用户的注意力信息。其中，可以依据所述驾驶图像数据，分析所述驾驶用户的头面信息；依据所述头面信息，确定所述驾驶用户的注意力信息。所述头面信息指的是表征头部和面部特征的数据，头面信息包括：头部姿态信息、面部信息和视线信息；所述头部姿态信息指的是表征头部姿势的数据，如歪头、仰头、向左侧转头等；面部信息指的是面部关键部位的信息，该面部关键部位可依据需求确定，例如面部关键部位包括表征表情的部分，如眼部、嘴部等，从而检测用户是否出现闭眼、打呵欠、说话等表情，以分析驾驶员是否出现疲劳等状况；视线信息指的是指示估计的驾驶员眼部注视的数据，例如估计视线的方向数据等。注意力信息指的是估计的驾驶用户注意力集中或指向的数据，例如可包括驾驶用户注意的区域，也可包括驾驶用户注意的区域及驾驶员本身的状态等数据。因此在采集到驾驶用户的驾驶图像数据后，可以进行图像分析处理，例如分析驾驶用户的面部特征，再基于面部特征分析对应的头面信息。
一个可选实施例中，所述依据所述驾驶图像数据，分析所述驾驶用户的头面信息，包括：从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息。其中，所提取的面部特征数据包括并不限于脸部纹理、脸部轮廓、脸部主要器官的位置以及轮廓，包括眼睛、眼珠、眉毛、鼻子、嘴的位置以及边缘轮廓等特征的数据。对于驾驶图像数据进行人脸识别处理，其中若识别到多张人脸，可将最大的一种人脸作为驾驶用户的脸部，从而识别出驾驶用户。然后在驾驶图像数据中提取驾驶用户的面部特征数据，其中可基于人脸的面部特征点进行面部特征数据的提取，如识别驾驶用户的面部特征点，然后将面部特征点的坐标等数据作为面部特征数据。再按照面部特征数据分析该驾驶用户的头面信息，如基于面部特征点分析驾驶用户的头部姿态信息、面部信息等，还可定位眼部区域等进行视线的估计。
其中，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
对于头部姿态信息，可以所述面部特征数据中提取面部特征点坐标，然后采用面部特征点坐标分析驾驶用户的头部姿态信息，例如将面部特征点和标准面部特征点进行比对，而后确定用户的头部姿态信息，又如，将面部特征点输入到机器学习模型中得到用户的头部姿态信息等，其中，标准面部特征点为头部正向前方的姿态对应的面部特征点，也可称为归一化的头部姿态对应的面部特征点。
对于面部信息，可以基于头部姿态信息和面部特征数据进行分析，其中，可基于面部特征数据确定需要分析的面部区域，以及该区域内的面部的状态，例如眼部睁开或闭合，又如嘴部张开或闭合，再结合头部姿态信息分析用户的面部信息，例如嘴部张开、头部抬起可以分析为打呵欠的面部信息为，又如眼部闭合、头部低下分析为闭眼休息或疲劳的面部信息。
对于视线信息，可以先基于面部特征数据定位眼部区域，然后基于眼球等特征估计眼部区域内驾驶用户视线的注视信息作为视线信息。
从而基于上述过程得到驾驶用户的头面信息，然后再基于头面信息分析所述驾驶用户的注意力信息。其中，可将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息，该注意力分析器可通过决策树模型、支持向量机、深度神经网络等训练得到。一个示例中，采用SVM(Support Vector Machine，支持向量机)的分类器作为注意力分类器，可以输入头部姿态信息、面部信息和视线信息等头面信息，通过该注意力分析器可分析出该驾驶用户的注意力信息，该注意力信息包括注意力区域，如正视、左后视镜、右后视镜、中间后视镜、仪表盘、中控屏、其他区域，该注意力信息还可包括用户注意力状态如分心状态、专注状态等。其中，可基于头部姿态、视线估计等确定注意力区域，基于面部信息确定用户状态，如可结合打呵欠、闭眼休息、疲劳等确定分心状态。
然后在步骤106中依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态。驾驶状态包括正常驾驶状态和异常驾驶状态，正常驾驶状态为驾驶用户正常驾驶车辆的状态，异常驾驶状态为驾驶用户异常驾驶车辆的状态，该异常驾驶状态可能引起安全问题，例如分心、疲劳等状态。可以将注意力信息的注意力区域、注意力状态和车辆的行驶信息相结合，从而确定出驾驶用户的驾驶状态，例如车辆在右侧超车，而驾驶用户却一直是向着其他方向的分心状态，则可确定驾驶用户处于异常驾驶状态。
其中，在注意力信息和行驶信息进行匹配分析之前，可以将清洗后的行驶信息和驾驶图像数据按照一定的格式对齐，例如按照时间戳、帧数等进行对齐后进行驾驶状态的匹配判断。
一个可选实施例中，所述依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，包括：将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。其中，可以将注意力方向、注意力状态等注意力信息，与行车信息、行车环境信息和路况信息等行驶信息进行匹配，例如确定车辆转弯、变道、跟车、超车等行车环境信息和注意力方向是否匹配，又如车辆速度、加速度、方向盘转角、刹车等与注意力状态是否匹配，车辆的位置、拥堵情况等路况信息与行车环境信息结合，再与注意力信息匹配，得到相应的匹配结果，匹配结果可为匹配与否的结果，也可为相应的用户状态如转弯分心、疲劳驾驶等状态，从而基于该匹配结果确定驾驶状态，如不匹配则为异常驾驶状态、匹配则为正常驾驶状态，又如基于匹配结果将分析、匹配驾驶等状态作为异常驾驶状态，将用户专心驾驶的状态作为正常驾驶状态。
然后在步骤108中针对异常驾驶状态进行报警提示，可以在检测到异常驾驶状态后生成报警信息，然后采用该报警信息进行报警提示。其中，所述针对异常驾驶状态的报警提示，包括显示报警提示信息，和/或，播放语音提示信息。其中，可生成文本、音频、视频等多媒体报警提示信息，然后通过车载设备输出该报警提示信息，如在车载中控屏、导航设备屏幕上显示报警提示信息，又如通过车载音响设备、导航设备的音响设备等输出语音提示信息。
本申请实施例中，还可针对驾驶用户进行注册，从而基于每个驾驶用户的面部特征、习惯等数据，进行该用户对应驾驶状态的学习，从而对驾驶用户的驾驶状态进行更加准确的识别。从而对于注册的驾驶用户，可通过其对应的识别模型进行驾驶状态的识别，而对于未注册的驾驶用户，可进行注册以便于提高识别的准确性。
参照图2，示出了本申请实施例的另一个驾驶行为分析示意图。
用户驾驶车辆在行驶的过程中，可以实施例对用户的驾驶状态进行检测，以提高行车安全。其中，可在步骤202中采集驾驶用户的驾驶图像数据和车辆的行驶信息。其中，驾驶用户的驾驶图像数据可通过摄像头等图像采集设备进行采集，车辆的行驶信息可通过车载设备采集。
然后在步骤204中从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据。可以从驾驶图像数据中识别出一张或多张人脸图像，若识别到多张人脸图像，可将面积最大的人脸作为驾驶用户，若识别到一张人脸图像，则可将其作为驾驶用户。然后从识别到的人脸图像中提取驾驶用户的面部特征数据。
在步骤206中判断所述驾驶用户是否为已注册用户。其中，若为已注册用户，后续可以执行步骤210以分析所述驾驶用户的头面信息的步骤；若为未注册用户，可以执行步骤208进行所述驾驶用户的注册步骤。
其中，可以依据提取的面部特征数据，和已注册驾驶用户进行人脸匹配，通过面部特征比对、机器学习等方法判断两张人脸对应面部特征的相似度；若相似度达到相似阈值，则确定为同一张人脸，判断该驾驶用户为已注册用户；若相似度未达到相似阈值，则确定不是同一张人脸，若一个驾驶用户未匹配到相似度满足相似阈值的人脸，则该驾驶用户为未注册用户。
针对未注册用户，可以在步骤208中对该驾驶用户进行注册。其中，注册过程如图3所示。在步骤302中采集用户在至少一种驾驶姿态下的图像数据。其中，在注册过程中可通过语音提示驾驶用户，包括提示驾驶员注册过程开始、调整人脸用来进行注册、注册成功、注册异常提示、模拟驾驶过程望向不同区域等。其中一个语音提示内容是模拟驾驶过程望向不同区域，从而采集驾驶用户在至少一种驾驶姿态下的图像数据，例如目视前方、看左后视镜、看右后视镜、看中间后视镜、看仪表盘、看中控屏、看其他区域等。
在采集到各种驾驶姿态对应的图像数据后，可以在步骤304中依据该图像数据分析驾驶用户在各驾驶姿态下的头面信息。其中，针对每个驾驶姿态，可从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。其中，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
本申请实施例中，在用户注册的训练阶段，以及已注册用户的驾驶状态分析的阶段，对于头面信息的识别、估计可通过多种方式实现，例如通过对面部特征点位置的计算得到头面信息，又如基于机器学习等方式通过数学模型确定头面信息。以头部姿态信息的估计为例，可计算图像中人脸眼角、鼻翼、鼻梁等位置的特征点，到标准3D人脸对应的眼角、鼻翼、鼻梁等位置的特征点的映射关系，获取人脸在三维坐标变换关系，推算出人脸旋转的三维角度；也可利用深度神经网络，训练人脸图像与头部三维位姿的关系，通过神经网络来判断对应头部位姿。对于面部信息、视线信息的估计与上述方式类似。
本申请实施例中，用来识别面部特征数据的数学模型，是预先训练好的，可作为离线模型在车载设备上运行。然后将识别得到的头部姿态信息、面部信息、视线信息等头面信息，训练针对该驾驶用户的注意力分类器。
一个示例中，可通过双层MobileNet的预处理模块，得到了人脸的面部特征数据并估计头面信息。其中，MobileNet是针对手机等嵌入式设备提出的一种轻量级的深层神经网络。本示例采用的深度网络是由两个MobileNet串联的网络结构，模型的参数基于数据集、采集的驾驶数据等集训练得到。第一层CNN(Convolutional Neural Network，卷积神经网络)定位人脸的面部特征数据，第二层CNN网络确定头面信息。本申请实施例中，还可在MobileNet网络之前，串联了光照适应层，光照适应层可采用多尺度窗口局部归一化叠加的方式，能够适应不同光照带来的变化。
其中，头部姿态信息包含roll、yaw、pitch三维角度信息，可利用第一层MobileNet输出的面部特征数据中的面部特征点坐标，和标准人脸特征点坐标利用PnP(perspective-n-point，透视N点投影)方法计算所得。
面部信息可以识别驾驶用户的表情，其中，可以利用头部姿态信息进行归一化处理，将旋转的人脸归一化到正面，也就是将第一层MobileNet输出的面部特征点坐标进行归一化处理。然后计算人眼闭合角度、嘴部闭合角度等信息，得到面部信息。
视线信息的估计可由第二层MobileNet网络得到，其中，可基于由第一层MobileNet网络输出的面部特征数据进行眼部区域的定位，然后利用第二层MobileNet网络得出估计的视线信息。
然后在步骤306中所述依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器，包括：将各驾驶姿态对应的头面信息分别输入分类器进行训练，得到所述驾驶用户的注意力分类器。如图4所示，可将头部姿态信息、面部信息和视线信息输入到分类器中，训练得到注意力分类器。
一种注意力分类器的训练过程的示例中，可以将一种驾驶姿态的头面信息输入到分类器中，得到分类器的分类结果，再基于该驾驶姿态进行比对，依据比对结果调整分类器，从而基于各种驾驶姿态进行训练，得到该驾驶用户的注意力分类器。其中，该注意力分析器可通过决策树模型、支持向量机、深度神经网络等训练得到。注意力信息包括注意力区域，如正视、左后视镜、右后视镜、中间后视镜、仪表盘、中控屏、其他区域，该注意力信息还可包括用户注意力状态如分心状态、专注状态等。其中，可基于头部姿态、视线估计等确定注意力区域，基于面部信息确定用户状态，如可结合打呵欠、闭眼休息、疲劳等确定分心状态。
本申请实施例中，可以在车载设备中存储各种识别器进行驾驶状态的分析，识别器也可称为识别模型、用于识别的数据集合等。一个示例中识别器包括用于提起面部特征数据的提取器，用于分析头面信息的分析器，用于确定该驾驶用户注意力信息的注意力分类器等，以及用于判断驾驶状态的状态分析器等。从而基于各种识别器得到驾驶用户的注意力信息、以及驾驶状态。识别器可包括但不限于上述提取器、分析器、注意力分类器以及状态分析器，上述各种识别器也可组合或采用其他的数据分析器、数据分析集合、分析模型等代替。其中，数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型，数学模型是针对参照某种事物系统的特征或数量依存关系，采用数学语言，概括地或近似地表述出的一种数学结构，这种数学结构是借助于数学符号刻画出来的某种系统的纯关系结构。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程及其组合，通过这些方程定量地或定性地描述系统各变量之间的相互关系或因果关系。除了用方程描述的数学模型外，还有用其他数学工具，如代数、几何、拓扑、数理逻辑等描述的模型。数学模型描述的是系统的行为和特征而不是系统的实际结构。
上述以在驾驶过程中对驾驶用户进行注册为例，实际处理中，在车辆未行驶时，驾驶员也可作为驾驶位置上进行驾驶用户的注册，本申请实施例对此不作限制。
本申请实施例在注册过程中，对于提取的面部特征数据还可保存下来，以便进行驾驶用户的识别，判断该驾驶员是否注册。并且，对驾驶员处于不同驾驶姿态的数据进行标定，可以生成该驾驶用户的注意力分析器，提高注意力信息识别的准确性。
在步骤210中依据所述面部特征数据，分析所述驾驶用户的头面信息。其中，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
头面信息的分析与驾驶用户的注册可类似的处理方式，如基于双层MobileNet得到面部特征数据并分析头面信息。又如，对于头部姿态信息，可以所述面部特征数据中提取面部特征点坐标，然后采用面部特征点坐标分析驾驶用户的头部姿态信息，例如将面部特征点和标准面部特征点进行比对，而后确定用户的头部姿态信息，又如，将面部特征点输入到机器学习模型中得到用户的头部姿态信息等，其中，标准面部特征点为头部正向前方的姿态对应的面部特征点，也可称为归一化的头部姿态对应的面部特征点。对于面部信息，可以基于头部姿态信息和面部特征数据进行分析，其中，可基于面部特征数据确定需要分析的面部区域，以及该区域内的面部的状态，例如眼部睁开或闭合，又如嘴部张开或闭合，再结合头部姿态信息分析用户的面部信息，例如嘴部张开、头部抬起可以分析为打呵欠的面部信息为，又如眼部闭合、头部低下分析为闭眼休息或疲劳的面部信息。对于视线信息，可以先基于面部特征数据定位眼部区域，然后基于眼球等特征估计眼部区域内驾驶用户视线的注视信息作为视线信息。
然后在步骤212中将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。可采用注册阶段训练的该驾驶用户的注意力分类器进行注意力信息的计算。其中，可以输入头部姿态信息、面部信息和视线信息等头面信息，通过该注意力分析器可分析出该驾驶用户的注意力信息，该注意力信息包括注意力区域，如正视、左后视镜、右后视镜、中间后视镜、仪表盘、中控屏、其他区域，该注意力信息还可包括用户注意力状态如分心状态、专注状态等。其中，可基于头部姿态、视线估计等确定注意力区域，基于面部信息确定用户状态，如可结合打呵欠、闭眼休息、疲劳等确定分心状态。
在步骤214中依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态。驾驶状态包括正常驾驶状态和异常驾驶状态，正常驾驶状态为驾驶用户正常驾驶车辆的状态，异常驾驶状态为驾驶用户异常驾驶车辆的状态，该异常驾驶状态可能引起安全问题，例如分心、疲劳等状态。可以将注意力信息的注意力区域、注意力状态和车辆的行驶信息相结合，从而确定出驾驶用户的驾驶状态，例如车辆在右侧超车，而驾驶用户却一直是向着其他方向的分心状态，则可确定驾驶用户处于异常驾驶状态。
然后在步骤216中针对异常驾驶状态进行报警提示，可以在检测到异常驾驶状态后生成报警信息，然后采用该报警信息进行报警提示。其中，所述针对异常驾驶状态的报警提示，包括显示报警提示信息，和/或，播放语音提示信息。其中，可生成文本、音频、视频等多媒体报警提示信息，然后通过车载设备输出该报警提示信息，如在车载中控屏、导航设备屏幕上显示报警提示信息，又如通过车载音响设备、导航设备的音响设备等输出语音提示信息。
上述以识别器位于车载设备为例进行论述，实际处理中识别器也可存储在服务端，由服务端进行数据处理并将结果返回给车载设备，从而车载设备可进行提示，或者由服务端和车载设备共同处理，如在服务端注册得到该驾驶用户的注意力分类器，然后将注意力分类器存储的车载设备中，在车载设备中对驾驶用户的驾驶状态进行识别。
本申请实施例中，还可以统计出现异常驾驶状态的次数和种类。可以在行车过程中统计该次行程中，驾驶用户出现异常驾驶状态的次数，从而后续进行统计以及提示驾驶用户。其中，驾驶过程中可能检测到分心状态、疲劳状态以及各种异常操作等异常驾驶状态，因此还可统计检测到的异常驾驶状态的类别，从而便于统计用户的状态，以及可以分析出用户的驾驶习惯对用户进行提示，例如本次驾驶比较疲劳请注意休息等。
从而采用了人脸识别、头部姿态估计、视线估计等技术，通过机器学习、深度学习等方法来判定驾驶用户的注意力方向、状态等注意力信息，从而能够在车辆行驶过程中实时监测驾驶员的注意力，同时结合车辆的行驶信息，利用机器学习等方法判断驾驶员是否危险驾驶的状态，并对危险驾驶进行提示，从而实现对危险驾驶进行预警。
参照图5，示出了本申请一种驾驶行为分析方法实施例的步骤流程图。
步骤502，采集驾驶用户的驾驶图像数据和车辆的行驶信息。
驾驶用户的驾驶图像数据可通过摄像头等图像采集设备进行采集，车辆的行驶信息可通过车载设备采集。如在车辆中设置红外摄像头，从而用户驾车佩戴墨镜等也不会影响图像的采集和数据分析的准确性。又如图像采集设备可以安装在驾驶员正前方的位置，用来获得驾驶员清晰的上半身图像车辆中，例如位于方向盘后方正对人脸的位置，并且不遮挡驾驶员的视野。当然也可设置在前挡风玻璃上方等位置。车载设备为车辆上设置的能够采集行车过程中各种数据的设备，行车过程中的数据包括车辆本身的数据以及周围道路环境的数据等。所述行驶信息包括：行车信息、行车环境信息和路况信息。
步骤504，依据所述驾驶图像数据，分析所述驾驶用户的注意力信息。
可以依据所述驾驶图像数据，分析所述驾驶用户的头面信息；依据所述头面信息，确定所述驾驶用户的注意力信息。
步骤506，依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态。
驾驶状态包括正常驾驶状态和异常驾驶状态，正常驾驶状态为驾驶用户正常驾驶车辆的状态，异常驾驶状态为驾驶用户异常驾驶车辆的状态，该异常驾驶状态可能引起安全问题，例如分心、疲劳等状态。可以将注意力信息的注意力区域、注意力状态和车辆的行驶信息相结合，从而确定出驾驶用户的驾驶状态，例如车辆在右侧超车，而驾驶用户却一直是向着其他方向的分心状态，则可确定驾驶用户处于异常驾驶状态。
步骤508，针对异常驾驶状态进行报警提示。
可以在检测到异常驾驶状态后生成报警信息，然后采用该报警信息进行报警提示。其中，所述针对异常驾驶状态的报警提示，包括显示报警提示信息，和/或，播放语音提示信息。其中，可生成文本、音频、视频等多媒体报警提示信息，然后通过车载设备输出该报警提示信息，如在车载中控屏、导航设备屏幕上显示报警提示信息，又如通过车载音响设备、导航设备的音响设备等输出语音提示信息。
综上，可以拍摄驾驶用户的驾驶图像数据，然后分析驾驶用户的注意力信息，将注意力信息和车辆的行驶信息相结合，判断驾驶用户的驾驶状态，从而能够检测出异常驾驶状态并进行报警提示，基于驾驶员的注意力有效监控驾驶员是否处于危险驾驶状态，及时对危险驾驶进行预警，保证了行车安全。
参照图6，示出了本申请一种驾驶行为处理方法实施例的步骤流程图。
步骤602，用户注册时，采集用户在至少一种驾驶姿态下的图像数据。
可以通过车载设备进行驾驶用户的注册，在注册过程中可通过语音提示驾驶用户，包括提示驾驶员注册过程开始、调整人脸用来进行注册、注册成功、注册异常提示、模拟驾驶过程望向不同区域等。其中一个语音提示内容是模拟驾驶过程望向不同区域，从而采集驾驶用户在至少一种驾驶姿态下的图像数据，例如目视前方、看左后视镜、看右后视镜、看中间后视镜、看仪表盘、看中控屏、看其他区域等。
步骤604，依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息。
其中，针对每个驾驶姿态，可从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。其中，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
对于头面信息的识别、估计可通过多种方式实现，例如通过对面部特征点位置的计算得到头面信息，又如基于机器学习等方式通过数学模型确定头面信息。以头部姿态信息的估计为例，可计算图像中人脸眼角、鼻翼、鼻梁等位置的特征点，到标准3D人脸对应的眼角、鼻翼、鼻梁等位置的特征点的映射关系，获取人脸在三维坐标变换关系，推算出人脸旋转的三维角度；也可利用深度神经网络，训练人脸图像与头部三维位姿的关系，通过神经网络来判断对应头部位姿。对于面部信息、视线信息的估计与上述方式类似。
一个示例中，可通过双层MobileNet的预处理模块，得到了人脸的面部特征数据并估计头面信息。其中，MobileNet是针对手机等嵌入式设备提出的一种轻量级的深层神经网络。本示例采用的深度网络是由两个MobileNet串联的网络结构，模型的参数基于数据集、采集的驾驶数据等集训练得到。第一层CNN(Convolutional Neural Network，卷积神经网络)定位人脸的面部特征数据，第二层CNN网络确定头面信息。本申请实施例中，还可在MobileNet网络之前，串联了光照适应层，光照适应层可采用多尺度窗口局部归一化叠加的方式，能够适应不同光照带来的变化。
步骤606，依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
一种注意力分类器的训练过程的示例中，可以将一种驾驶姿态的头面信息输入到分类器中，得到分类器的分类结果，再基于该驾驶姿态进行比对，依据比对结果调整分类器，从而基于各种驾驶姿态进行训练，得到该驾驶用户的注意力分类器。
本申请实施例创新性的在驾驶状态识别的场景中，基于双层MobileNet的卷积网络结构，第一层卷积网络输出面部特征数据，第二层卷积网络输出头面信息。通过双层卷积网络的算法结构，能够更加准确的得到面部特征数据和头面信息，提高识别的准确率。
参照图7，示出了本申请另一种驾驶行为分析方法实施例的步骤流程图。
步骤702，通过图像采集设备采集用户的驾驶图像数据，并通过车载设备采集车辆的行驶信息。
步骤704，从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据。
可以从驾驶图像数据中识别出一张或多张人脸图像，若识别到多张人脸图像，可将面积最大的人脸作为驾驶用户，若识别到一张人脸图像，则可将其作为驾驶用户。然后从识别到的人脸图像中提取驾驶用户的面部特征数据。如通过双层MobileNet的卷积网络结构的第一层卷积网络输出面部特征数据。
步骤706，判断所述驾驶用户是否为已注册用户。
然后可基于面部特征数据判断该驾驶用户是否为已注册用户，以从依据提取的面部特征数据，和已注册驾驶用户进行人脸匹配，通过面部特征比对、机器学习等方法判断两张人脸对应面部特征的相似度；若相似度达到相似阈值，则确定为同一张人脸，判断该驾驶用户为已注册用户；若相似度未达到相似阈值，则确定不是同一张人脸，若一个驾驶用户未匹配到相似度满足相似阈值的人脸，则该驾驶用户为未注册用户。
若是，即为已注册用户，执行步骤708；若否，即为未注册用户，执行步骤718。
步骤708，依据所述面部特征数据，分析所述驾驶用户的头面信息。
其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
头面信息的分析与驾驶用户的注册可类似的处理方式，如基于双层MobileNet得到面部特征数据并分析头面信息。又如，对于头部姿态信息，可以所述面部特征数据中提取面部特征点坐标，然后采用面部特征点坐标分析驾驶用户的头部姿态信息，例如将面部特征点和标准面部特征点进行比对，而后确定用户的头部姿态信息，又如，将面部特征点输入到机器学习模型中得到用户的头部姿态信息等，其中，标准面部特征点为头部正向前方的姿态对应的面部特征点，也可称为归一化的头部姿态对应的面部特征点。对于面部信息，可以基于头部姿态信息和面部特征数据进行分析，其中，可基于面部特征数据确定需要分析的面部区域，以及该区域内的面部的状态，例如眼部睁开或闭合，又如嘴部张开或闭合，再结合头部姿态信息分析用户的面部信息，例如嘴部张开、头部抬起可以分析为打呵欠的面部信息为，又如眼部闭合、头部低下分析为闭眼休息或疲劳的面部信息。对于视线信息，可以先基于面部特征数据定位眼部区域，然后基于眼球等特征估计眼部区域内驾驶用户视线的注视信息作为视线信息。
步骤710，将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。
可采用注册阶段训练的该驾驶用户的注意力分类器进行注意力信息的计算。其中，可以输入头部姿态信息、面部信息和视线信息等头面信息，通过该注意力分析器可分析出该驾驶用户的注意力信息，该注意力信息包括注意力区域，如正视、左后视镜、右后视镜、中间后视镜、仪表盘、中控屏、其他区域，该注意力信息还可包括用户注意力状态如分心状态、专注状态等。其中，可基于头部姿态、视线估计等确定注意力区域，基于面部信息确定用户状态，如可结合打呵欠、闭眼休息、疲劳等确定分心状态。
步骤712，将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。
驾驶状态包括正常驾驶状态和异常驾驶状态，正常驾驶状态为驾驶用户正常驾驶车辆的状态，异常驾驶状态为驾驶用户异常驾驶车辆的状态，该异常驾驶状态可能引起安全问题，例如分心、疲劳等状态。可以将注意力信息的注意力区域、注意力状态和车辆的行驶信息相结合，从而确定出驾驶用户的驾驶状态，例如车辆在右侧超车，而驾驶用户却一直是向着其他方向的分心状态，则可确定驾驶用户处于异常驾驶状态。
一个示例中，可将注意力信息和行驶信息等，利用动态贝叶斯网络，对驾驶行为进行分类。得到驾驶用户对应驾驶状态，包括正常驾驶状态，异常驾驶状态。其中，异常驾驶状态的种类包括并不限于：直行分心、变道分心、右道超车、强行(aggressive)超车、aggressive变道、aggressive转弯、aggressive刹车等。
步骤714，针对异常驾驶状态进行报警提示。
可以在检测到异常驾驶状态后生成报警信息，然后采用该报警信息进行报警提示。其中，所述针对异常驾驶状态的报警提示，包括显示报警提示信息，和/或，播放语音提示信息。其中，可生成文本、音频、视频等多媒体报警提示信息，然后通过车载设备输出该报警提示信息，如在车载中控屏、导航设备屏幕上显示报警提示信息，又如通过车载音响设备、导航设备的音响设备等输出语音提示信息。
步骤716，统计出现异常驾驶状态的次数和种类。
可以在行车过程中统计该次行程中，驾驶用户出现异常驾驶状态的次数，从而后续进行统计以及提示驾驶用户。其中，驾驶过程中可能检测到分心状态、疲劳状态以及各种异常操作等异常驾驶状态，因此还可统计检测到的异常驾驶状态的类别，从而便于统计用户的状态，以及可以分析出用户的驾驶习惯对用户进行提示，例如本次驾驶比较疲劳请注意休息等。
步骤718，发出驾驶姿态提示信息，并采集所述驾驶姿态对应的图像数据。
在注册过程中可通过语音提示驾驶用户，包括提示驾驶员注册过程开始、调整人脸用来进行注册、注册成功、注册异常提示、模拟驾驶过程望向不同区域等。其中一个语音提示内容是模拟驾驶过程望向不同区域，从而采集驾驶用户在至少一种驾驶姿态下的图像数据，例如目视前方、看左后视镜、看右后视镜、看中间后视镜、看仪表盘、看中控屏、看其他区域等。
步骤720，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息。
其中，针对每个驾驶姿态，可从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。其中，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
步骤722，依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
一种注意力分类器的训练过程的示例中，可以将一种驾驶姿态的头面信息输入到分类器中，得到分类器的分类结果，再基于该驾驶姿态进行比对，依据比对结果调整分类器，从而基于各种驾驶姿态进行训练，得到该驾驶用户的注意力分类器。
从而可以适应不同驾驶员的驾驶习惯，基于训练过程能够修正初始分类器，针对于驾驶员生成特定的分类器，从而提高了注意力方向分类器的准确率，提高注意力信息识别的准确性，以及提高驾驶状态识别的准确性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上，本实施例还提供了一种驾驶行为分析装置，应用于各种类型的车载设备中。
参照图8，示出了本申请一种驾驶行为分析装置实施例的结构框图，具体可以包括如下模块：
采集模块802，用于采集驾驶用户的驾驶图像数据和车辆的行驶信息。
注意力分析模块804，用于依据所述驾驶图像数据，分析所述驾驶用户的注意力信息。
状态分析模块806，用于依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态。
报警提示模块808，用于针对异常驾驶状态进行报警提示。
综上，可以拍摄驾驶用户的驾驶图像数据，然后分析驾驶用户的注意力信息，将注意力信息和车辆的行驶信息相结合，判断驾驶用户的驾驶状态，从而能够检测出异常驾驶状态并进行报警提示，基于驾驶员的注意力有效监控驾驶员是否处于危险驾驶状态，及时对危险驾驶进行预警，保证了行车安全。
参照图9，示出了本申请另一种驾驶行为分析装置实施例的结构框图，具体可以包括如下模块：
采集模块802，用于采集驾驶用户的驾驶图像数据和车辆的行驶信息。
注意力分析模块804，用于依据所述驾驶图像数据，分析所述驾驶用户的注意力信息。
注册判断模块810，用于判断驾驶用户是否为已注册用户。
注册模块812，用于对驾驶用户进行注册。
状态分析模块806，用于依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态。
报警提示模块808，用于针对异常驾驶状态进行报警提示。
统计模块814，用于统计出现异常驾驶状态的次数。
其中，所述采集模块802，用于通过图像采集设备采集用户的驾驶图像数据；通过车载设备采集车辆的行驶信息。
所述注意力分析模块804，包括：头面分析子模块8042和注意力确定子模块8044，其中：
头面分析子模块8042，用于依据所述驾驶图像数据，分析所述驾驶用户的头面信息；
注意力确定子模块8044，用于依据所述头面信息，确定所述驾驶用户的注意力信息。
所述头面分析子模块8042，用于从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
所述头面分析子模块8042，用于从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
所述注意力确定子模块8044，用于将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。
其中，注册判断模块810，用于判断所述驾驶用户是否为已注册用户；若为已注册用户，触发所述头面分析子模块分析所述驾驶用户的头面信息；若为未注册用户，触发执行对所述驾驶用户的注册。
注册模块812，用于发出驾驶姿态提示信息，并采集所述驾驶姿态对应的图像数据；依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
所述状态分析模块806，用于将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。
所述报警提示模块808，用于显示报警提示信息和/或播放语音提示信息。
其中，采集驾驶图像数据的图像采集设备包括：红外摄像头。
在上述实施例的基础上，本实施例还提供了一种驾驶行为处理装置，应用于服务器、各种类型的车载设备中。
参照图10，示出了本申请一种驾驶行为处理装置实施例的结构框图，具体可以包括如下模块：
图像采集模块1002，用于用户注册时，采集用户在至少一种驾驶姿态下的图像数据。
分析模块1004，用于依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息。
训练模块1006，用于依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
本申请实施例创新性的在驾驶状态识别的场景中，基于双层MobileNet的卷积网络结构，第一层卷积网络输出面部特征数据，第二层卷积网络输出头面信息。通过双层卷积网络的算法结构，能够更加准确的得到面部特征数据和头面信息，提高识别的准确率。
参照图11，示出了本申请另一种驾驶行为处理装置实施例的结构框图，具体可以包括如下模块：
图像采集模块1002，用于用户注册时，采集用户在至少一种驾驶姿态下的图像数据。
注册提示模块1008，用于通过语音提示驾驶用户待拍摄的驾驶姿态。
分析模块1004，用于依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息。
训练模块1006，用于依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
所述分析模块1004，包括：提取子模块10042和姿态分析子模块10044，其中：
提取子模块10042，用于针对各驾驶姿态，从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；
姿态分析子模块10044，用于依据所述面部特征数据，分析所述驾驶用户在所述驾驶姿态对应的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
所述姿态分析子模块10044，用于从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
所述训练模块1006，用于将各驾驶姿态对应的头面信息分别输入分类器进行训练，得到所述驾驶用户的注意力分类器。
从而可以适应不同驾驶员的驾驶习惯，基于训练过程能够修正初始分类器，针对于驾驶员生成特定的分类器，从而提高了注意力方向分类器的准确率，提高注意力信息识别的准确性，以及提高驾驶状态识别的准确性。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括服务器、网关、用户设备等。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端设备如车载设备等电子设备。图12示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1200。
对于一个实施例，图12示出了示例性装置1200，该装置具有一个或多个处理器1202、被耦合到(一个或多个)处理器1202中的至少一个的控制模块(芯片组)1204、被耦合到控制模块1204的存储器1206、被耦合到控制模块1204的非易失性存储器(NVM)/存储设备1208、被耦合到控制模块1204的一个或多个输入/输出设备1210，以及被耦合到控制模块1206的网络接口1212。
处理器1202可包括一个或多个单核或多核处理器，处理器1202可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1200能够作为本申请实施例中所述的转码端的服务器等设备。
在一些实施例中，装置1200可包括具有指令1214的一个或多个计算机可读介质(例如，存储器1206或NVM/存储设备1208)以及与该一个或多个计算机可读介质相合并被配置为执行指令1214以实现模块从而执行本公开中所述的动作的一个或多个处理器1202。
对于一个实施例，控制模块1204可包括任意适当的接口控制器，以向(一个或多个)处理器1202中的至少一个和/或与控制模块1204通信的任意适当的设备或组件提供任意适当的接口。
控制模块1204可包括存储器控制器模块，以向存储器1206提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1206可被用于例如为装置1200加载和存储数据和/或指令1214。对于一个实施例，存储器1206可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1206可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块1204可包括一个或多个输入/输出控制器，以向NVM/存储设备1208及(一个或多个)输入/输出设备1210提供接口。
例如，NVM/存储设备1208可被用于存储数据和/或指令1214。NVM/存储设备1208可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1208可包括在物理上作为装置1200被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1208可通过网络经由(一个或多个)输入/输出设备1210进行访问。
(一个或多个)输入/输出设备1210可为装置1200提供接口以与任意其他适当的设备通信，输入/输出设备1210可以包括通信组件、音频组件、传感器组件等。网络接口1212可为装置1200提供接口以通过一个或多个网络通信，装置1200可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，装置1200可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1200可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1200包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请实施例提供了一种电子设备，包括：一个或多个处理器；和，其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本申请实施例中一个或多个所述的数据处理方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种驾驶行为分析方法和装置、一种驾驶行为处理方法和装置、一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (37)
1.一种驾驶行为分析方法，其特征在于，所述的方法包括：
采集驾驶用户的驾驶图像数据和车辆的行驶信息，所述行驶信息包括：行车信息、行车环境信息和路况信息；
依据所述驾驶图像数据，分析所述驾驶用户的头面信息，所述头面信息包括：头部姿态信息、面部信息和视线信息；
依据所述头面信息，确定所述驾驶用户的注意力信息；
依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态；
针对异常驾驶状态进行报警提示；
所述依据所述驾驶图像数据，分析所述驾驶用户的头面信息，包括：将所述驾驶图像数据输入到两个MobileNet串联的网络中，输出驾驶用户的头面信息，所述两个MobileNet串联的网络包括光照适应层和双层卷积神经网络CNN，通过所述两个MobileNet串联的网络中的第一层CNN定位人脸的面部特征数据，通过第二层CNN网络确定头面信息；
其中，头部姿态信息基于面部特征数据中的面部特征点坐标与标准人脸特征点坐标确定，所述面部信息依据对面部特征点坐标进行归一化处理确定，所述视线信息基于第二层CNN网络输出结果确定。
2.根据权利要求1所述的方法，其特征在于，所述采集驾驶用户的驾驶图像数据和车辆行驶信息，包括：
通过图像采集设备采集用户的驾驶图像数据；
通过车载设备采集车辆的行驶信息。
3.根据权利要求1所述的方法，其特征在于，所述依据所述驾驶图像数据，分析所述驾驶用户的头面信息，包括：
从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；
依据所述面部特征数据，分析所述驾驶用户的头面信息。
4.根据权利要求3所述的方法，其特征在于，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：
从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；
依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；
依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
5.根据权利要求2所述的方法，其特征在于，所述依据所述头面信息，确定所述驾驶用户的注意力信息，包括：
将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。
6.根据权利要求3所述的方法，其特征在于，所述提取所述驾驶用户的面部特征数据之后，还包括：
判断所述驾驶用户是否为已注册用户；
若为已注册用户，执行依据所述面部特征数据分析所述驾驶用户的头面信息的的步骤；
若为未注册用户，对所述驾驶用户执行注册的步骤。
7.根据权利要求1或6所述的方法，其特征在于，还包括注册的步骤：
发出驾驶姿态提示信息，并采集所述驾驶姿态对应的图像数据；
依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；
依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
8.根据权利要求1所述的方法，其特征在于，所述依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，包括：
将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。
9.根据权利要求1所述的方法，其特征在于，所述针对异常驾驶状态的报警提示，包括显示报警提示信息和/或播放语音提示信息。
10.根据权利要求1所述的方法，其特征在于，还包括：
统计出现异常驾驶状态的次数。
11.根据权利要求1所述的方法，其特征在于，采集驾驶图像数据的图像采集设备包括：红外摄像头。
12.一种驾驶行为处理方法，其特征在于，所述的方法包括：
用户注册时，采集用户在至少一种驾驶姿态下的图像数据；
依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息，所述头面信息包括：头部姿态信息、面部信息和视线信息；
依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器，所述注意力分类器输出的注意力信息用于与行驶信息确定驾驶用户的驾驶状态，所述行驶信息包括：行车信息、行车环境信息和路况信息；
所述依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息包括：将所述图像数据输入到两个MobileNet串联的网络中，输出驾驶用户的头面信息，所述两个MobileNet串联的网络包括光照适应层和双层卷积神经网络CNN，通过所述两个MobileNet串联的网络中的第一层CNN定位人脸的面部特征数据，通过第二层CNN网络确定头面信息；
其中，头部姿态信息基于面部特征数据中的面部特征点坐标与标准人脸特征点坐标确定，所述面部信息依据对面部特征点坐标进行归一化处理确定，所述视线信息基于第二层CNN网络输出结果确定。
13.根据权利要求12所述的方法，其特征在于，所述依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息，包括：
针对各驾驶姿态，从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；
依据所述面部特征数据，分析所述驾驶用户在所述驾驶姿态对应的头面信息。
14.根据权利要求13所述的方法，其特征在于，所述依据所述面部特征数据，分析所述驾驶用户的头面信息，包括：
从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；
依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；
依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
15.根据权利要求12所述的方法，其特征在于，所述依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器，包括：
将各驾驶姿态对应的头面信息分别输入分类器进行训练，得到所述驾驶用户的注意力分类器。
16.根据权利要求12所述的方法，其特征在于，还包括：
通过语音提示驾驶用户待拍摄的驾驶姿态。
17.一种驾驶行为分析装置，其特征在于，所述的装置包括：
采集模块，用于采集驾驶用户的驾驶图像数据和车辆的行驶信息，所述行驶信息包括：行车信息、行车环境信息和路况信息；
注意力分析模块，用于依据所述驾驶图像数据，分析所述驾驶用户的头面信息，所述头面信息包括：头部姿态信息、面部信息和视线信息；依据所述头面信息，确定所述驾驶用户的注意力信息；
状态分析模块，用于依据所述注意力信息和行驶信息，确定驾驶用户的驾驶状态，所述驾驶状态包括：异常驾驶状态；
报警提示模块，用于针对异常驾驶状态进行报警提示；
其中，所述注意力分析模块，用于将所述驾驶图像数据输入到两个MobileNet串联的网络中，输出驾驶用户的头面信息，所述两个MobileNet串联的网络包括光照适应层和双层卷积神经网络CNN，通过所述两个MobileNet串联的网络中的第一层CNN定位人脸的面部特征数据，通过第二层CNN网络确定头面信息；
其中，头部姿态信息基于面部特征数据中的面部特征点坐标与标准人脸特征点坐标确定，所述面部信息依据对面部特征点坐标进行归一化处理确定，所述视线信息基于第二层CNN网络输出结果确定。
18.根据权利要求17所述的装置，其特征在于，
所述采集模块，用于通过图像采集设备采集用户的驾驶图像数据；通过车载设备采集车辆的行驶信息。
19.根据权利要求17所述的装置，其特征在于，所述注意力分析模块，包括：
头面分析子模块，用于依据所述驾驶图像数据，分析所述驾驶用户的头面信息；
注意力确定子模块，用于依据所述头面信息，确定所述驾驶用户的注意力信息。
20.根据权利要求19所述的装置，其特征在于，
所述头面分析子模块，用于从所述驾驶图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；依据所述面部特征数据，分析所述驾驶用户的头面信息。
21.根据权利要求20所述的装置，其特征在于，
所述头面分析子模块，用于从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
22.根据权利要求19所述的装置，其特征在于，
所述注意力确定子模块，用于将所述头面信息输入注意力分类器，确定所述驾驶用户的注意力信息。
23.根据权利要求20所述的装置，其特征在于，还包括：
注册判断模块，用于判断所述驾驶用户是否为已注册用户；若为已注册用户，触发所述头面分析子模块分析所述驾驶用户的头面信息；若为未注册用户，触发执行对所述驾驶用户的注册。
24.根据权利要求17或23所述的装置，其特征在于，还包括：
注册模块，用于发出驾驶姿态提示信息，并采集所述驾驶姿态对应的图像数据；依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息；依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器。
25.根据权利要求17所述的装置，其特征在于，
所述状态分析模块，用于将所述注意力信息和行驶信息进行匹配，依据匹配结果确定驾驶用户的驾驶状态。
26.根据权利要求17所述的装置，其特征在于，所述报警提示模块，用于显示报警提示信息和/或播放语音提示信息。
27.根据权利要求17所述的装置，其特征在于，还包括：
统计模块，用于统计出现异常驾驶状态的次数。
28.根据权利要求17所述的装置，其特征在于，采集驾驶图像数据的图像采集设备包括：红外摄像头。
29.一种驾驶行为处理装置，其特征在于，所述的装置包括：
图像采集模块，用于用户注册时，采集用户在至少一种驾驶姿态下的图像数据；
分析模块，用于依据所述图像数据，依据所述图像数据，分析驾驶用户在各驾驶姿态下的头面信息，所述头面信息包括：头部姿态信息、面部信息和视线信息；
训练模块，用于依据所述各驾驶姿态下的头面信息，训练所述驾驶用户的注意力分类器，所述注意力分类器输出的注意力信息用于与行驶信息确定驾驶用户的驾驶状态，所述行驶信息包括：行车信息、行车环境信息和路况信息；
其中，所述分析模块，用于将所述图像数据输入到两个MobileNet串联的网络中，输出驾驶用户的头面信息，所述两个MobileNet串联的网络包括光照适应层和双层卷积神经网络CNN，通过所述两个MobileNet串联的网络中的第一层CNN定位人脸的面部特征数据，通过第二层CNN网络确定头面信息；
其中，头部姿态信息基于面部特征数据中的面部特征点坐标与标准人脸特征点坐标确定，所述面部信息依据对面部特征点坐标进行归一化处理确定，所述视线信息基于第二层CNN网络输出结果确定。
30.根据权利要求29所述的装置，其特征在于，所述分析模块，包括：
提取子模块，用于针对各驾驶姿态，从所述图像数据中识别出驾驶用户，并提取所述驾驶用户的面部特征数据；
姿态分析子模块，用于依据所述面部特征数据，分析所述驾驶用户在所述驾驶姿态对应的头面信息，其中，所述头面信息包括：头部姿态信息、面部信息和视线信息。
31.根据权利要求30所述的装置，其特征在于，
所述姿态分析子模块，用于从所述面部特征数据中提取面部特征点坐标，依据所述面部特征点坐标分析所述驾驶用户的头部姿态信息；依据所述头部姿态信息和面部特征数据，分析所述驾驶用户的面部信息；依据所述面部特征数据定位眼部区域，依据所述眼部区域分析所述驾驶用户的视线信息。
32.根据权利要求29所述的装置，其特征在于，
所述训练模块，用于将各驾驶姿态对应的头面信息分别输入分类器进行训练，得到所述驾驶用户的注意力分类器。
33.根据权利要求29所述的装置，其特征在于，还包括：
注册提示模块，用于通过语音提示驾驶用户待拍摄的驾驶姿态。
34.一种电子设备，其特征在于，包括：
处理器；和
存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-11中一个或多个所述的驾驶行为分析方法。
35.一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-11中一个或多个所述的驾驶行为分析方法。
36.一种电子设备，其特征在于，包括：
处理器；和
存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求12-16中一个或多个所述的驾驶行为处理方法。
37.一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求12-16中一个或多个所述的驾驶行为处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810829019.5A CN110765807B (zh) | 2018-07-25 | 2018-07-25 | 驾驶行为分析、处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810829019.5A CN110765807B (zh) | 2018-07-25 | 2018-07-25 | 驾驶行为分析、处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765807A CN110765807A (zh) | 2020-02-07 |
| CN110765807B true CN110765807B (zh) | 2024-04-05 |
Family
ID=69328227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810829019.5A Active CN110765807B (zh) | 2018-07-25 | 2018-07-25 | 驾驶行为分析、处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765807B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325160B (zh) * | 2020-02-25 | 2023-08-29 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
| CN112036309A (zh) * | 2020-08-31 | 2020-12-04 | 广州汽车集团股份有限公司 | 一种车辆驾驶引导方法、装置、介质及车载终端 |
| CN112597790B (zh) * | 2020-09-09 | 2021-11-23 | 禾多科技（北京）有限公司 | 驾驶员注意力检测方法、装置、设备和计算机可读介质 |
| CN112114671A (zh) * | 2020-09-22 | 2020-12-22 | 上海汽车集团股份有限公司 | 一种基于人眼视线的人车交互方法、装置和存储介质 |
| CN112331173B (zh) * | 2020-10-26 | 2024-02-23 | 通力科技股份有限公司 | 车内降噪方法、控制器和车载枕头和计算机可读存储介质 |
| WO2022141114A1 (zh) * | 2020-12-29 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 视线估计方法、装置、车辆及计算机可读存储介质 |
| CN113611007B (zh) * | 2021-08-05 | 2023-04-18 | 北京百姓车服网络科技有限公司 | 一种数据处理方法及数据采集系统 |
| CN113642548B (zh) * | 2021-10-18 | 2022-03-25 | 氢山科技有限公司 | 氢能运输车的异常驾驶行为检测、装置和计算机设备 |
| CN113743878B (zh) * | 2021-11-08 | 2022-02-15 | 氢山科技有限公司 | 氢能运输车辆的派单方法、装置和计算机设备 |
| CN114120295B (zh) * | 2021-11-30 | 2025-05-13 | 浙江工业大学 | 一种融合车内驾驶视频与gps时速信息的变道行为监控方法 |
| CN115293301B (zh) * | 2022-10-09 | 2023-01-31 | 腾讯科技（深圳）有限公司 | 车辆的变道方向的预估方法、装置及存储介质 |
| CN115909291B (zh) * | 2022-11-07 | 2023-08-25 | 江西航盛电子科技有限公司 | 基于车辆数据的驾驶员驾驶状态监测系统及其方法 |
| CN116311181B (zh) * | 2023-03-21 | 2023-09-12 | 重庆利龙中宝智能技术有限公司 | 一种异常驾驶的快速检测方法及系统 |
| CN117351468A (zh) * | 2023-09-28 | 2024-01-05 | 重庆理工大学 | 结合视角矫正和改进ViViT的驾驶员睡意判断方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4967186A (en) * | 1989-08-18 | 1990-10-30 | Ariold Ludmirsky | Method and apparatus for fatigue detection |
| CN101877051A (zh) * | 2009-10-30 | 2010-11-03 | 江苏大学 | 驾驶人注意力状态监测方法和装置 |
| CN202142160U (zh) * | 2011-07-13 | 2012-02-08 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统 |
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN102510480A (zh) * | 2011-11-04 | 2012-06-20 | 大连海事大学 | 驾驶员视线自动校准和跟踪系统 |
| CN102881116A (zh) * | 2011-07-13 | 2013-01-16 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统及方法 |
| CN103020594A (zh) * | 2012-12-03 | 2013-04-03 | 清华大学苏州汽车研究院（吴江） | 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法 |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| CN104809482A (zh) * | 2015-03-31 | 2015-07-29 | 南京大学 | 一种基于个体学习的疲劳检测方法 |
| CN105956548A (zh) * | 2016-04-29 | 2016-09-21 | 奇瑞汽车股份有限公司 | 驾驶员疲劳状况检测方法和装置 |
| CN106600903A (zh) * | 2015-10-20 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 一种基于图像识别的预警方法及装置 |
| CN107284449A (zh) * | 2017-06-14 | 2017-10-24 | 深圳市保千里电子有限公司 | 一种行车安全预警方法及系统、汽车、可读存储介质 |
-
2018
- 2018-07-25 CN CN201810829019.5A patent/CN110765807B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4967186A (en) * | 1989-08-18 | 1990-10-30 | Ariold Ludmirsky | Method and apparatus for fatigue detection |
| CN101877051A (zh) * | 2009-10-30 | 2010-11-03 | 江苏大学 | 驾驶人注意力状态监测方法和装置 |
| CN202142160U (zh) * | 2011-07-13 | 2012-02-08 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统 |
| CN102881116A (zh) * | 2011-07-13 | 2013-01-16 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统及方法 |
| CN102510480A (zh) * | 2011-11-04 | 2012-06-20 | 大连海事大学 | 驾驶员视线自动校准和跟踪系统 |
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN103020594A (zh) * | 2012-12-03 | 2013-04-03 | 清华大学苏州汽车研究院（吴江） | 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法 |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| CN104809482A (zh) * | 2015-03-31 | 2015-07-29 | 南京大学 | 一种基于个体学习的疲劳检测方法 |
| CN106600903A (zh) * | 2015-10-20 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 一种基于图像识别的预警方法及装置 |
| CN105956548A (zh) * | 2016-04-29 | 2016-09-21 | 奇瑞汽车股份有限公司 | 驾驶员疲劳状况检测方法和装置 |
| CN107284449A (zh) * | 2017-06-14 | 2017-10-24 | 深圳市保千里电子有限公司 | 一种行车安全预警方法及系统、汽车、可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765807A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765807B (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| US11535280B2 (en) | Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle | |
| Craye et al. | Driver distraction detection and recognition using RGB-D sensor | |
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| US9881221B2 (en) | Method and system for estimating gaze direction of vehicle drivers | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| García et al. | Driver monitoring based on low-cost 3-D sensors | |
| WO2023241358A1 (zh) | 一种疲劳驾驶的确定方法、装置及电子设备 | |
| Lashkov et al. | Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing | |
| Ragab et al. | A visual-based driver distraction recognition and detection using random forest | |
| JP2016115117A (ja) | 判定装置および判定方法 | |
| JP2024543600A (ja) | 脇見領域の自動標定方法及び装置、道路車両、電子機器 | |
| CN110826544A (zh) | 交通标志检测识别系统及方法 | |
| CN117746400A (zh) | 疲劳驾驶检测方法、装置、电子设备及存储介质 | |
| CN113869256A (zh) | 驾驶员疲劳检测方法、系统、设备及存储介质 | |
| JP2016115120A (ja) | 開閉眼判定装置および開閉眼判定方法 | |
| CN103680064B (zh) | 瞌睡提醒系统 | |
| CN118230298A (zh) | 一种驾驶员疲劳驾驶状态检测系统及其方法 | |
| Lashkov et al. | Ontology-based approach and implementation of ADAS system for mobile device use while driving | |
| CN112149641A (zh) | 监控驾驶状态的方法、装置、设备和存储介质 | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN111797784B (zh) | 驾驶行为监测方法、装置、电子设备及存储介质 | |
| CN111797659A (zh) | 辅助驾驶方法、装置、存储介质及电子设备 | |
| HK40022271A (zh) | 駕駛行為分析、處理方法、裝置、設備和存儲介質 | |
| CN110751008B (zh) | 基于驾驶行为的处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022271 Country of ref document: HK |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20201217 Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China Applicant after: Zebra smart travel network (Hong Kong) Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |