CN112287795B - 异常驾驶姿态检测方法、装置、设备、车辆和介质 - Google Patents

异常驾驶姿态检测方法、装置、设备、车辆和介质 Download PDF

Info

Publication number
CN112287795B
CN112287795B CN202011141832.7A CN202011141832A CN112287795B CN 112287795 B CN112287795 B CN 112287795B CN 202011141832 A CN202011141832 A CN 202011141832A CN 112287795 B CN112287795 B CN 112287795B
Authority
CN
China
Prior art keywords
shoulder
key point
face
driving
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011141832.7A
Other languages
English (en)
Other versions
CN112287795A (zh
Inventor
王珂尧
冯浩城
岳海潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011141832.7A priority Critical patent/CN112287795B/zh
Publication of CN112287795A publication Critical patent/CN112287795A/zh
Priority to US17/379,077 priority patent/US20210342613A1/en
Priority to EP21187643.8A priority patent/EP3879448A3/en
Application granted granted Critical
Publication of CN112287795B publication Critical patent/CN112287795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本申请公开了一种异常驾驶姿态检测方法、装置、设备、车辆和介质，涉及计算机视觉、深度学习、智能交通等人工智能领域，具体可用于辅助驾驶场景下。具体实现方案为：根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，所述人体关键点包括肩部关键点；根据所述肩部关键点，检测所述驾驶用户的异常驾驶姿态。本申请实施例提高了对驾驶用户异常驾驶姿态进行检测时的检测效率，并减少了数据运算量。

Description

异常驾驶姿态检测方法、装置、设备、车辆和介质
技术领域
本申请涉及人工智能领域，尤其涉及计算机视觉、深度学习以及智能交通技术，具体涉及一种异常驾驶姿态检测方法、装置、设备、车辆和介质。
背景技术
随着人们生活水平的提高，汽车已经进入千家万户，汽车行驶安全也逐渐成为人们关注的问题。在用户驾驶车辆过程中，时常存在由于用户姿态异常，导致出现安全事故的情况。为了降低驾驶过程的安全隐患，对驾驶用户的异常姿态监测至关重要。
然而，现有技术在对驾驶用户的异常驾驶姿态进行监测时，存在监测效率低、计算量大等问题，使得异常驾驶姿态监测时效性较差，难以适配实时驾驶场景。
发明内容
本申请提供了一种检测效率更高、计算量更小的异常驾驶姿态检测方法、装置、设备、车辆和介质。
根据本申请的一方面，提供了一种异常驾驶姿态检测方法，包括：
根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，所述人体关键点包括肩部关键点；
根据所述肩部关键点，检测所述驾驶用户的异常驾驶姿态。
根据本申请的另一方面，还提供了一种异常驾驶姿态检测装置，包括：
人体关键点确定模块，用于根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，所述人体关键点包括肩部关键点；
异常驾驶姿态检测模块，用于根据所述肩部关键点，检测所述驾驶用户的异常驾驶姿态。
根据本申请的另一方面，还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例提供的一种异常驾驶姿态检测方法。
根据本申请的另一方面，还提供了一种车辆，其中，所述车辆设置有本申请任意实施例提供的一种电子设备。
根据本申请的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请任意实施例提供的一种异常驾驶姿态检测方法。
根据本申请的技术方案，提高了对驾驶用户异常驾驶姿态进行检测时的检测效率，并减少了数据运算量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种异常驾驶姿态检测方法的流程图；
图2A是本申请实施例提供的另一种异常驾驶姿态检测方法的流程图；
图2B是本申请实施例提供的一种第二神经网络模型示意图；
图2C是本申请实施例提供的另一种第二神经网络模型示意图；
图2D是本申请实施例提供的一种面部姿态角示意图；
图3是本申请实施例提供的另一种异常驾驶姿态检测方法的流程图；
图4A是本申请实施例中的一种异常驾驶姿态检测方法的结构框图；
图4B是本申请实施例中的一种异常驾驶姿态检测方法的流程图；
图5是本申请实施例提供的一种异常驾驶姿态检测装置的结构图；
图6是用来实现本申请实施例的异常驾驶姿态检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供的各异常驾驶姿态检测方法和异常驾驶姿态检测装置，适用于驾驶用户在驾驶可移动装置过程中，对驾驶用户是否存在具备危险性的异常驾驶姿态进行检测的情况。其中，可移动装置可以是车辆或轮船等。本申请实施例提供的各异常驾驶姿态检测方法可以采用异常驾驶姿态检测装置执行，该装置可以采用软件和/或硬件实现，并具体配置于电子设备中，该电子设备可以是诸如手机或平板等移动终端，还可以是嵌入在可移动装置中的固定终端。示例性地，若可移动装置为车辆，该电子设备可以是车载终端。
图1是本申请实施例提供的一种异常驾驶姿态检测方法的流程图，该方法包括：
S101、根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，人体关键点包括肩部关键点。
其中，原始图像为驾驶用户在驾驶可移动装置时所采集的图像。原始图像可以存储在电子设备本地、与电子设备关联的其他存储设备或云端中，并在需要进行异常驾驶姿态检测时，从电子设备本地、与电子设备关联的其他存储设备或云端中进行原始图像的获取。
其中，人体关键点用于表征原始图像中与人体相关联的关键点，例如可以是人体轮廓上的关键点。其中，人体关键点的数量为至少一个。可以理解为是，为了提高后续进行异常驾驶姿态检测结果的准确度，通常将人体关键点的数量设置为至少两个。
在一个可选实施例中，根据驾驶用户驾驶时采集的原始图像，确定人体关键点，可以是：根据人体头部和肩部的分布特征，确定原始图像中的肩部关键点。
可选的，识别原始图像中的人体轮廓；根据人体轮廓中的宽度比例，确定肩部轮廓；选取肩部轮廓中的至少一个点作为肩部关键点。
可以理解的是，通过上述方式进行肩部关键点的确定，数据运算量小，对电子设备的算力要求较低，操作更为便捷。
在另一可选实施例中，根据驾驶用户驾驶时采集的原始图像，确定人体关键点，可以是：采用训练好的肩部关键点检测模型，根据驾驶用户驾驶时采集的原始图像，确定肩部关键点；其中，肩部关键点检测模型基于样本用户驾驶时采集的样本图像和肩部关键点标签，对预先构建的第一神经网络模型进行训练得到。
可以理解的是，通过样本用户驾驶时采集的样本图像和肩部关键点标签，对预先构建的第一神经网络模型进行训练后，得到肩部关键点检测模型，使得肩部关键点检测模型具备了肩部关键点识别能力。从而，在肩部关键点检测模型的使用阶段，通过将驾驶用户驾驶时采集的原始图像作为肩部关键点检测模型的输入数据，即可直接得到肩部关键点，实现了肩部关键点的一体化自动确定，进一步提高了肩部关键点确定效率和确定过程的便捷度。
需要说明的是，进行第一神经网络模型的训练时所采用的电子设备，与使用肩部关键点检测模型进行肩部关键点确定的电子设备，两者可以相同或不同。
S102、根据肩部关键点，检测驾驶用户的异常驾驶姿态。
在一种可选实施例中，根据肩部关键点，检测驾驶用户的异常驾驶姿态，可以是：若所确定的肩部关键点数量为零，则表明驾驶用户座位过低，或者驾驶用户坐姿不够标准，此时，确定驾驶用户存在异常驾驶姿态；若所确定的肩部关键点数量不为零，则默认驾驶用户坐姿标准，此时，确定驾驶用户不存在异常驾驶姿态。
由于驾驶用户在非标准坐姿的情况下，也可能存在能够检测到肩部关键点的情况，因此，仅采用肩部关键点数量进行异常驾驶姿态检测，存在异常驾驶姿态检测结果存在漏识别的情况。为了进一步提高异常驾驶姿态检测结果的准确度，在一种可选实施例中，根据肩部关键点，检测驾驶用户的异常驾驶姿态，还可以是：根据至少两个肩部关键点，确定肩部连接线；根据肩部连接线与标准参考线的夹角，检测驾驶用户的异常驾驶姿态。
示例性地，标准参考线可以是水平参考线或竖直参考线。
在一具体实施方式中，若标准参考线为水平参考线，则可以确定肩部连接线与水平参考线之间的锐角夹角；若锐角夹角大于第一设定锐角阈值，则表明驾驶用户坐姿异常，此时，确定驾驶用户存在异常驾驶姿态；若锐角夹角不大于第一设定锐角阈值，则表明驾驶用户坐姿正常，此时，确定驾驶用户不存在异常驾驶姿态。其中，第一设定锐角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验加以确定。例如，第一设定锐角阈值可以是30度，相应的，若锐角角度为15度，则确定驾驶用户不存在异常驾驶姿态；若锐角角度为40度，则确定驾驶用户存在异常驾驶姿态。
在另一具体实施方式中，若标准参考线为水平参考线，则可以确定肩部连接线与水平参考线之间的钝角夹角；若钝角夹角小于第一设定钝角阈值，则表明驾驶用户坐姿异常，此时确定驾驶用户存在异常驾驶姿态；若钝角夹角不小于第一设定钝角阈值，则表明驾驶用户坐姿正常，此时确定驾驶用户不存在异常驾驶姿态。其中，第一设定钝角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验加以确定。其中，第一设定钝角阈值和第一设定锐角阈值可以互补。例如，第一设定钝角阈值可以是150度，相应的，若钝角角度为170度，则确定驾驶用户不存在异常驾驶姿态；若钝角角度为130度，则确定驾驶用户存在异常驾驶姿态。
在又一具体实施方式中，若标准参考线为竖直参考线，则可以确定肩部连接线与水平参考线之间的锐角夹角；若锐角夹角小于第二设定锐角阈值，则表明驾驶用户坐姿异常，此时，确定驾驶用户存在异常驾驶姿态；若锐角夹角不小于第二设定锐角阈值，则表明驾驶用户坐姿正常，此时，确定驾驶用户不存在异常驾驶姿态。其中，第二设定锐角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验加以确定。其中，第二设定锐角阈值和第一设定锐角阈值可以互余。例如，第一设定锐角阈值可以是60度，相应的，若锐角角度为55度，则确定驾驶用户存在异常驾驶姿态；若锐角角度为70度，则确定驾驶用户不存在异常驾驶姿态。
在再一具体实施方式中，若标准参考线为竖直参考线，则可以确定肩部连接线与水平参考线之间的钝角夹角；若钝角夹角大于第二设定钝角阈值，则表明驾驶用户坐姿异常，此时确定驾驶用户存在异常驾驶姿态；若钝角夹角不大于第二设定钝角阈值，则表明驾驶用户坐姿正常，此时确定驾驶用户不存在异常驾驶姿态。其中，第二设定钝角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验加以确定。其中，第二设定钝角阈值和第二设定锐角阈值可以互补。例如，第一设定钝角阈值可以是120度，相应的，若钝角角度为130度，则确定驾驶用户存在异常驾驶姿态；若钝角角度为110度，则确定驾驶用户不存在异常驾驶姿态。
需要说明的是，当原始图像为可移动装置中实时采集的驾驶用户在驾驶时的图像，为了减少由于异常驾驶姿态给驾驶用户的安全带来威胁，还可以在检测到驾驶用户的异常驾驶姿态之后，对驾驶用户进行提醒，以使驾驶用户及时调整驾驶姿态。其中，提醒方式可以采用声、光、电、和振动等方式中的至少一种加以实现。
本申请实施例根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中人体关键点包括肩部关键点；根据肩部关键点，检测驾驶用户的异常驾驶姿态。上述技术方案，通过引入肩部关键点辅助进行异常驾驶姿态检测，提供了一种新的异常驾驶姿态检测机制。另外，由于确定肩部关键点时的数据运算量小、确定效率高，从而提高了对驾驶用户进行异常驾驶姿态检测时的检测效率，同时减少了数据运算量。
为了进一步提高异常驾驶姿态检测结果的准确度，本申请另一实施例中，还可以在进行人体关键点确定时，在确定肩部关键点的基础上，进一步引入面部关键点，用于辅助进行异常驾驶姿态识别。
参见图2A所示的一种异常驾驶姿态检测方法，包括：
S201、采用训练好的人体关键点检测模型，根据驾驶用户驾驶时采集的原始图像，确定肩部关键点和面部关键点。
其中，面部关键点用于对驾驶用户面部五官进行定位，从而幅值进行人脸姿态角度的确定。示例性地，面部关键点可以是分布在眉毛、眼睛、鼻子、嘴巴和腮位置所关联的点。其中，面部关键点的数量为至少一个。典型的，面部关键点可以采用72关键点、150关键点或201关键点等。
其中，人体关键点检测模型基于样本用户驾驶时采集的样本图像、肩部关键点标签和面部关键点标签，对预先构建的第二神经网络模型进行训练得到。
可以理解的是，通过样本用户驾驶时采集的样本图像对第二神经网络模型进行训练，并在训练过程中，引入了肩部关键点标签和面部关键点标签两类不同类别标签，使得最终训练得到的人体关键点检测模型，具备肩部关键点和面部关键点两种不同类别关键点的识别能力。从而，在人体关键点检测模型的使用阶段，通过将驾驶用户驾驶时采集的原始图像作为人体关键点检测模型的输入数据，即可得到包括肩部关键点和面部关键点的人体关键点，实现了不同类别的人体关键点的一体化自动化确定，丰富了人体关键点中的内容，为后续进行异常驾驶姿态检测提供了丰富的数据支撑，进而为异常驾驶姿态检测结果的准确度的提高，奠定了基础。
需要说明的是，进行第二神经网络模型的训练时所采用的电子设备，与使用人体关键点检测模型进行人体关键点确定的电子设备，两者可以相同或不同。
参见图2B，在一个可选实施例中，第二神经网络模型可以包括一个独立的关键点确定网络模块，用于对样本用户的样本图像同时进行不同种类的人体关键点的预测。相应的，通过人体关键点预测结果和面部关键点标签以及肩部关键点标签，对预先构建的第二神经网络模型中的网络参数进行调整。
然而，通过独立的关键点确定网络模块进行不同种类的人体关键点同时确定时，存在所确定关键点准确度不够的情况，最终影响对驾驶用户的异常驾驶姿态检测结果。为了避免上述情况的发生，还可以将第二神经网络模型设置为双流网络结构，参见图2C，该第二神经网络模型包括肩部关键点检测模块和面部关键点检测模块，采用肩部关键点检测模块，确定样本图像中的肩部关键点预测结果；采用面部关键点检测模块，确定样本图像中的面部关键点预测结果；根据肩部关键点预测结果和面部关键点预测结果、肩部关键点标签和面部关键点标签，对预先构建的第二神经网络中的网络参数进行调整。
需要说明的是，在对第二神经网络模型的训练过程中，通常会引入目标损失函数，并根据目标损失函数的函数值以及函数值的变化趋势，对第二神经网络模型中的网络参数进行调整。
示例性地，可以根据所述样本图像的肩部关键点预测结果和所述肩部关键点标签，确定肩部损失值；以及，根据所述样本图像的面部关键点预测结果和所述面部关键点标签，确定面部损失值；根据肩部损失值和面部损失值，确定目标损失函数。
在一个具体实施方式中，根据肩部损失值和面部损失值，确定目标损失函数，可以是：直接确定肩部损失值和面部损失值的和值，并将该和值作为目标损失函数。
由于通常情况下面部关键点的数量远远高于肩部关键点的数量，因此存在面部损失值远大于肩部损失值的情况，使得所确定的目标损失函数向面部损失值倾斜，将会导致基于该目标损失函数所训练的人体关键点检测模型所识别的肩部关键点准确度较低，进而影响对驾驶用户的异常驾驶姿态的检测结果。为了避免上述情况的发生，在另一具体实施方式中，还可以针对肩部关键点和面部关键点，分别引入损失权重，以避免目标损失函数中肩部损失值和面部损失值的失衡情况的发生。
示例性地，可以根据肩部关键点标签的数量和面部关键点标签的数量，分别确定肩部损失权重和面部损失权重；根据肩部损失权重和面部损失权重，分别对上述确定的肩部损失值和面部损失值进行加权，得到目标损失函数。
具体的，根据肩部关键点标签的数量和面部关键点标签的数量的比值，确定面部损失权重和肩部损失权重的比值；根据面部损失权重和肩部损失权重的比值，分别确定面部损失权重和肩部损失权重；其中，面部损失权重和肩部损失权重和值固定，例如可以为1；根据面部损失权重和肩部损失权重，分别对面部损失值和肩部损失值进行加权，将加权结果作为目标损失函数的函数值。
S202、根据人体关键点，检测驾驶用户的异常驾驶姿态。
示例性地，根据人体关键点中的面部关键点，检测驾驶用户的异常驾驶姿态；以及根据人体关键点中的肩部关键点，检测驾驶用户的异常驾驶姿态。
示例性地，若根据面部关键点和肩部关键点中的至少一种，检测到驾驶用户存在异常驾驶姿态，则表明驾驶用户在驾驶时坐姿不够标准，此时，确定驾驶用户存在异常驾驶姿态；若根据面部关键点和肩部关键点，均未检测到驾驶用户存在异常驾驶姿态，则表明驾驶用户在驾驶时坐姿相对标准，此时，确定驾驶用户不存在异常驾驶姿态。
在一个具体实施方式中，根据人体关键点中的面部关键点，检测驾驶用户的异常驾驶姿态，可以是：根据面部关键点，确定面部姿态角；根据面部姿态角，检测驾驶用户的异常驾驶姿态。
其中，面部姿态角用于表示人脸在空间三维坐标系内的角度。示例性地，面部姿态角可以包括偏航角(Yaw)、旋转角(Roll)和俯仰角(Pitch)。参见图2D中的面部姿态角示意图，其中，Yaw对应驾驶用户左右旋转的情况；Roll对应驾驶用户平面内旋转的情况；Pitch对应驾驶用户上下旋转情况。
可选的，根据面部姿态角，检测驾驶用户的异常驾驶姿态，可以是：若偏航角大于设定偏航角阈值，则表明驾驶用户存在左右旋转角度过大的情况，如转头与其他用户攀谈，此时，确定驾驶用户存在异常驾驶姿态；若偏航角不大于设定偏航角阈值，则表明驾驶用户存在的左右旋转角度不会带来安全隐患，此时确定驾驶用户不存在异常驾驶姿态。其中，设定偏航角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定，例如可以是设置为30度。
需要说明的是，由于驾驶用户在驾驶过程中可能出现左右转后看后视镜的情况，为了避免在此类情况下对异常驾驶姿态的误判，可以适当调高设定偏航角阈值，或者舍弃基于偏航角进行异常驾驶姿态确定的方式。
可选的，根据面部姿态角，检测驾驶用户的异常驾驶姿态，可以是：若旋转角大于设定旋转角阈值，则表明驾驶用户存在平面内旋转角度过大的情况，如头部夹持手机通话，此时，确定驾驶用户存在异常驾驶姿态；若旋转角不大于设定旋转角阈值，则表明驾驶用户存在的平面内旋转角度不会带来安全隐患，如侧耳倾听，此时确定驾驶用户不存在异常驾驶姿态。其中，设定旋转角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定，例如可以是设置为30度。
可选的，根据面部姿态角，检测驾驶用户的异常驾驶姿态，可以是：若俯仰角大于设定俯仰角阈值，则表明驾驶用户存在抬头或低头情况，如俯身捡物、低头玩手机或抬头看顶棚等，此时，确定驾驶用户存在异常驾驶姿态；若俯仰角不大于设定俯仰角阈值，则表明驾驶用户存在的平面内旋转角度不会带来安全隐患，如抬头看车内后视镜，此时确定驾驶用户不存在异常驾驶姿态。其中，设定俯仰角阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定，例如可以是设置为30度。
其中，设定偏航角阈值、设定旋转角角阈值和设定俯仰角阈值中的至少两者数值可以相同或不同。
本申请实施例通过将人体关键点的确定操作，采用训练好的人体关键点检测模型，根据驾驶用户驾驶时采集的原始图像，确定肩部关键点和面部关键点；其中，人体关键点检测模型基于样本用户驾驶时采集的样本图像、肩部关键点标签和面部关键点标签，对预先构建的第二神经网络模型进行训练得到。采用上述技术方案，实现了不同类别的人体关键点的一体化自动化确定，丰富了人体关键点中的内容，为后续进行异常驾驶姿态检测提供了丰富的数据支撑，进而为异常驾驶姿态检测结果的准确度的提高，奠定了基础。
由于上述技术方案中，直接对驾驶用户驾驶时采集的原始图像进行处理进行异常驾驶姿态检测，由于不同驾驶用户的身高和体重差异，以及不同可移动装置中图像采集设备规格之间的差异，导致所采集的原始图像中驾驶用户的位置不同，因此在对原始图像进行处理时通用性较差，给最终异常驾驶姿态检测结果的准确度也带来一定的影响。同时，由于原始图像中携带有大量干扰信息，因此采用原始图像进行异常驾驶姿态检测时，数据运算量也较大。为了避免上述情况的发生，本申请又一可选实施例中，在进行人体关键点确定时，还可以对原始图像进行预处理，从而采用预处理之后的图像进行人体关键点检测。
参见图3所示的一种异常驾驶姿态检测方法，包括：
S301、识别驾驶用户驾驶时采集的原始图像中的面部区域。
示例性地，可以根据人脸比例，识别原始图像中的面部区域；或者通过基于深度学习的人脸检测模块，对原始图像中的面部区域进行识别。
S302、对面部区域进行扩展，得到候选区域；候选区域包括肩部区域。
示例性地，可以对面部区域沿至少一个方向进行扩展，得到包括肩部区域的候选区域。其中，至少一个方向可以包括但不限于面部区域框的横向方向、纵向方向和对角线方向等。
在一个具体实施方式中，对面部区域进行扩展，得到候选区域，可以是：以面部区域为中线，分别双耳方向扩展第一比例，以及向双耳方向的垂直方向扩展第二比例，得到候选区域。其中，第一比例和第二比例可以相同或不同，具体数值可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定。
S303、根据候选区域截取原始图像，得到目标图像。
S304、根据目标图像，确定人体关键点。其中，人体关键点包括肩部关键点。
将目标图像替代前述原始图像，采用与前述基于原始图像类似的方式进行人体关键点的确定。
在一个可选实施例中，根据人体头部和肩部的分布特征，确定目标图像中的肩部关键点。
可选的，识别目标图像中的人体轮廓；根据人体轮廓中的宽度比例，确定肩部轮廓；选取肩部轮廓中的至少一个点作为肩部关键点。
可以理解的是，通过上述方式进行肩部关键点的确定，数据运算量小，对电子设备的算力要求较低，操作更为便捷。
在另一可选实施例中，采用训练好的肩部关键点检测模型，根据目标图像，确定肩部关键点；其中，肩部关键点检测模型基于样本用户的样本目标图像和肩部关键点标签，对预先构建的第一神经网络模型进行训练得到。
在又一可选实施例中，采用训练好的人体关键点检测模型，根据目标图像确定肩部关键点和面部关键点。其中，人体关键点检测模型基于样本用户的样本目标图像、肩部关键点标签和面部关键点标签，对预先构架的第二神经网络模型进行训练得到。
S305、根据肩部关键点，检测驾驶用户的异常驾驶姿态。
本申请实施例通过将人体关键点的确定操作，细化为识别驾驶用户驾驶时采集的原始图像中的面部区域；对面部区域进行扩展，得到包括肩部区域的候选你区域；根据候选区域截取原始图像，得到目标图像；根据目标图像，确定人体关键点。采用上述技术方案，对原始图像进行截取，得到目标图像，从而减少了进行人体关键点确定时，原始图像中的非候选区域中的干扰信息对人体关键点检测过程中的影响，减少了人体关键点检测时的数据运算量，同时提高了人体关键点确定结果准确度，为后续异常驾驶姿态检测结果准确度的提高，奠定了基础。
进一步地，在上述各技术方案的基础上，本申请还提供了进行异常驾驶姿态检测的优选实施例，该实施例适用于对车辆中的驾驶用户进行异驾驶姿态检测的情况。参见图4A和图4B所示的一种异常驾驶姿态检测方法，应用于车载终端，包括：
S401、采集驾驶用户在驾驶车辆过程中的原始图像。
S402、采用人脸检测模型，对驾驶用户在驾驶车辆过程中采集的原始图像进行人脸检测，得到人脸检测框。
其中，人脸检测模型可以基于第一深度学习网络加以实现，例如，可以采用六层卷积网络进行人脸基础特征提取，每层卷积网络实现一次对输入图像的下采样，基于最后的三层卷积神经网络分别预设值固定数量的不同尺寸人脸锚点框，进行人脸检测框回归，最终得到人脸检测框的坐标信息。其中，坐标信息可以采用矩形框的四个顶点坐标确定，还可以选取一个原点，并确定原点坐标，根据原点坐标和矩形框的两个垂直边的长度，表示进行矩形框。
S403、以人脸检测框为中心，将人脸检测框沿检测框对角线方向放大设定倍数，得到候选检测框。
其中，设定倍数可以由技术人员根据需要或经验值进行确定，例如3倍。
S404、根据候选检测框对原始图像进行裁剪，得到目标图像。
S405、将目标图像输入至人体关键点检测模型，得到第一设定数量的人脸关键点和第二设定数量的肩部关键点。
其中，第一设定数量可以是72个；第二设定数量可以是2个。
其中，人体关键点检测模型基于第二深度学习网络加以实现。其中，第二深度学习网络与第一深度学习网络可以相同或不同。示例性地，第二深度学习网络可以采用MobileNets(移动端深层神经网络)加以实现。
在人体关键点检测模型的训练阶段，将样本用户对应的样本目标图像输入至待训练的人体关键点检测模型中，得到肩部关键点预测结果和面部关键点预测结果；根据肩部关键点预测结果和肩部关键点标签确定肩部损失值；根据面部关键点预测结果和面部关键点标签，确定面部损失值；将第一设定数量与第一设定数量和第二设定数量的和值的比值，作为肩部损失权重；将第二设定数量与第一设定数量和第二设定数量的和值的比值，作为面部损失权重；根据所述肩部损失权重和所述面部损失权重，分别对所述肩部损失值和所述面部损失值进行加权，得到所述目标损失函数；根据目标损失函数的函数值和变化趋势，对人体关键点检测模型中的网络参数进行调整。
S406、根据人脸关键点，确定人脸姿态角；其中，人脸姿态角包括偏航角、旋转角和俯仰角，以及根据肩部关键点，确定肩部连接线，并确定肩部连接线与水平参考线之间的肩部姿态角。
S407、判断偏航角是否大于设定偏航角阈值；若否，则执行S408；否则，执行S411。
S408、判断旋转角是否大于设定旋转角阈值；若否，则执行S409；否则，执行S411。
S409、判断俯仰角是否大于设定俯仰角阈值；若否，则执行S410；否则，执行S411。
S410、判断肩部姿态角是否大于设定肩部姿态角阈值；若是，则执行S411；否则，返回执行S401。
S411、提醒驾驶用户存在异常驾驶姿态，返回执行S401。
其中，设定偏航角阈值、设定旋转角阈值、设定俯仰角阈值和设定肩部姿态角阈值可以由技术人员根据需要或经验值进行设定，或通过大量试验反复确定。其中，各阈值的数值大小可以相同或部分相同，也可以不同。
其中，S407～S410可以先后执行或同时执行，还可以根据需要选择其中部分进行执行，本申请实施例对此不做任何限定。
本申请实施例通过引入肩部关键点对驾驶用户的异常驾驶姿态进行检测，提供了一种新的异常驾驶姿态检测机制。同时，通过肩部关键点和人脸关键点联合检测的方式，提高了异常驾驶姿态检测结果的准确度。另外，本申请仅需对原始图像进行一次关键点检测，不需要额外的卷积神经网络模型，降低了异常驾驶姿态检测过程中数据运算量。
作为上述各异常驾驶姿态检测方法的实现，本申请还提供了一种实施异常驾驶姿态检测方法的虚拟装置的一个实施例。进一步参见图5所示的一种异常驾驶姿态检测装置500，包括：人体关键点确定模块501和异常驾驶姿态检测模块502。其中，
人体关键点确定模块501，用于根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，人体关键点包括肩部关键点；
异常驾驶姿态检测模块502，用于根据肩部关键点，检测驾驶用户的异常驾驶姿态。
本申请实施例通过人体关键点确定模块根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中人体关键点包括肩部关键点；通过异常驾驶姿态检测模块根据肩部关键点，检测驾驶用户的异常驾驶姿态。上述技术方案，通过引入肩部关键点辅助进行异常驾驶姿态检测，提供了一种新的异常驾驶姿态检测机制。另外，由于确定肩部关键点时的数据运算量小、确定效率高，从而提高了对驾驶用户进行异常驾驶姿态检测时的检测效率，同时减少了数据运算量。
进一步地，人体关键点确定模块501，包括：
肩部关键点确定单元，用于采用训练好的肩部关键点检测模型，根据驾驶用户驾驶时采集的原始图像，确定肩部关键点；
其中，肩部关键点检测模型基于样本用户驾驶时采集的样本图像和肩部关键点标签，对预先构建的第一神经网络模型进行训练得到。
进一步地，人体关键点还包括面部关键点；
人体关键点确定模块501，包括：
人体关键点确定单元，用于采用训练好的人体关键点检测模型，根据驾驶用户驾驶时采集的原始图像，确定肩部关键点和面部关键点；
其中，人体关键点检测模型基于样本用户驾驶时采集的样本图像、肩部关键点标签和面部关键点标签，对预先构建的第二神经网络模型进行训练得到。
进一步地，第二神经网络包括肩部关键点检测模块和面部关键点检测模块；
肩部关键点检测模块，用于确定样本图像中的肩部关键点预测结果；
面部关键点检测模块，用于确定样本图像中的面部关键点预测结果；
装置还包括：参数调整模块，用于：
根据肩部关键点预测结果和面部关键点预测结果、肩部关键点标签和面部关键点标签，对第二神经网络中的网络参数进行调整。
进一步地，装置还包括目标损失函数构建模块，用于在对预先构建的第二神经网络模型进行训练时，进行目标损失函数构建；
目标损失函数构建模块，包括：
损失权重确定单元，用于根据肩部关键点标签的数量和面部关键点标签的数量，分别确定肩部损失权重和面部损失权重；
损失值确定单元，用于根据样本图像的肩部关键点预测结果和肩部关键点标签，确定肩部损失值；以及，根据样本图像的面部关键点预测结果和面部关键点标签，确定面部损失值；
目标损失函数得到单元，用于根据肩部损失权重和面部损失权重，分别对肩部损失值和面部损失值进行加权，得到目标损失函数。
进一步地，人体关键点确定模块501，包括：
面部区域识别单元，用于识别驾驶用户驾驶时采集的原始图像中的面部区域；
候选区域得到单元，用于对面部区域进行扩展，得到候选区域；候选区域包括肩部区域；
目标图像得到单元，用于根据候选区域截取原始图像，得到目标图像；
人体关键点确定单元，用于根据目标图像，确定人体关键点。
进一步地，候选区域得到单元，包括：
候选区域得到子单元，用于以面部区域为中心，分别向双耳方向扩展第一比例，以及向双耳方向的垂直方向扩展第二比例，得到候选区域。
进一步地，异常驾驶姿态检测模块502，包括：
肩部连接线确定单元，用于根据至少两个肩部关键点，确定肩部连接线；
异常驾驶姿态检测单元，用于根据肩部连接线与标准参考线的夹角，检测驾驶用户的异常驾驶姿态。
上述异常驾驶姿态检测装置可执行本发明任意实施例所提供的异常驾驶姿态检测方法，具备执行异常驾驶姿态检测方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是实现本申请实施例的异常驾驶姿态检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，车载设备、个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的异常驾驶姿态检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的异常驾驶姿态检测方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的异常驾驶姿态检测方法对应的程序指令/模块(例如，附图5所示的人体关键点确定模块501和异常驾驶姿态检测模块502)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的异常驾驶姿态检测方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现异常驾驶姿态检测方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至实现异常驾驶姿态检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现异常驾驶姿态检测方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与实现异常驾驶姿态检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，通过引入肩部关键点辅助进行异常驾驶姿态检测，提供了一种新的异常驾驶姿态检测机制。另外，由于确定肩部关键点时的数据运算量小、确定效率高，从而提高了对驾驶用户进行异常驾驶姿态检测时的检测效率，同时减少了数据运算量。
本申请实施例还提供一种车辆，该车辆设置有如图6所示的电子设备。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种异常驾驶姿态检测方法，包括：
根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，所述人体关键点包括肩部关键点；
根据所述肩部关键点，检测所述驾驶用户的异常驾驶姿态；其中，所述人体关键点还包括面部关键点；
所述根据驾驶用户驾驶时采集的原始图像，确定人体关键点，包括：
采用训练好的人体关键点检测模型，根据所述驾驶用户驾驶时采集的原始图像，确定所述肩部关键点和所述面部关键点；
其中，所述人体关键点检测模型基于样本用户驾驶时采集的样本图像、肩部关键点标签和面部关键点标签，对预先构建的第二神经网络模型进行训练得到；
其中，所述第二神经网络包括肩部关键点检测模块和面部关键点检测模块；
其中，在对预先构建的第二神经网络模型进行训练时，所采用的目标损失函数根据以下方式构建：
根据所述肩部关键点标签的数量和所述面部关键点标签的数量的比值，确定面部损失权重和肩部损失权重的比值；
根据所述面部损失权重和肩部损失权重的比值，分别确定面部损失权重和肩部损失权重；
根据所述样本图像的肩部关键点预测结果和所述肩部关键点标签，确定肩部损失值；以及，根据所述样本图像的面部关键点预测结果和所述面部关键点标签，确定面部损失值；
根据所述肩部损失权重和所述面部损失权重，分别对所述肩部损失值和所述面部损失值进行加权，得到所述目标损失函数。
2.根据权利要求1所述的方法，其中，
对所述预先构建的第二神经网络模型进行训练，包括：
采用所述肩部关键点检测模块，确定所述样本图像中的肩部关键点预测结果；
采用所述面部关键点检测模块，确定所述样本图像中的面部关键点预测结果；
根据所述肩部关键点预测结果和所述面部关键点预测结果、所述肩部关键点标签和所述面部关键点标签，对所述第二神经网络中的网络参数进行调整。
3.根据权利要求1所述的方法，其中，所述根据驾驶用户驾驶时采集的原始图像，确定人体关键点，包括：
识别所述驾驶用户驾驶时采集的原始图像中的面部区域；
对所述面部区域进行扩展，得到候选区域；所述候选区域包括肩部区域；
根据所述候选区域截取所述原始图像，得到目标图像；
根据所述目标图像，确定人体关键点。
4.根据权利要求3所述的方法，其中，所述对所述面部区域进行扩展，得到候选区域，包括：
以所述面部区域为中心，分别向双耳方向扩展第一比例，以及向双耳方向的垂直方向扩展第二比例，得到所述候选区域。
5.根据权利要求1和3-4中任一项所述的方法，其中，所述根据所述肩部关键点，检测所述驾驶用户的异常驾驶姿态，包括：
根据至少两个所述肩部关键点，确定肩部连接线；
根据所述肩部连接线与标准参考线的夹角，检测所述驾驶用户的异常驾驶姿态；
其中，所述标准参考线是水平参考线或竖直参考线。
6.一种异常驾驶姿态检测装置，包括：
人体关键点确定模块，用于根据驾驶用户驾驶时采集的原始图像，确定人体关键点；其中，所述人体关键点包括肩部关键点；
异常驾驶姿态检测模块，用于根据所述肩部关键点，检测所述驾驶用户的异常驾驶姿态；其中，所述人体关键点还包括面部关键点；
所述人体关键点确定模块，包括：
人体关键点确定单元，用于采用训练好的人体关键点检测模型，根据所述驾驶用户驾驶时采集的原始图像，确定所述肩部关键点和所述面部关键点；
其中，所述人体关键点检测模型基于样本用户驾驶时采集的样本图像、肩部关键点标签和面部关键点标签，对预先构建的第二神经网络模型进行训练得到；
其中，所述第二神经网络包括肩部关键点检测模块和面部关键点检测模块；
其中，所述装置还包括目标损失函数构建模块，用于在对预先构建的第二神经网络模型进行训练时，进行目标损失函数构建；
所述目标损失函数构建模块，包括：
损失比值确定单元，用于根据所述肩部关键点标签的数量和所述面部关键点标签的数量的比值，确定面部损失权重和肩部损失权重的比值；
损失权重确定单元，用于根据所述面部损失权重和肩部损失权重的比值，分别确定面部损失权重和肩部损失权重；
损失值确定单元，用于根据所述样本图像的肩部关键点预测结果和所述肩部关键点标签，确定肩部损失值；以及，根据所述样本图像的面部关键点预测结果和所述面部关键点标签，确定面部损失值；
目标损失函数得到单元，用于根据所述肩部损失权重和所述面部损失权重，分别对所述肩部损失值和所述面部损失值进行加权，得到所述目标损失函数。
7.根据权利要求6所述的装置，其中
所述肩部关键点检测模块，用于确定所述样本图像中的肩部关键点预测结果；
所述面部关键点检测模块，用于确定所述样本图像中的面部关键点预测结果；
所述装置还包括：参数调整模块，用于：
根据所述肩部关键点预测结果和所述面部关键点预测结果、所述肩部关键点标签和所述面部关键点标签，对所述第二神经网络中的网络参数进行调整。
8.根据权利要求6所述的装置，其中，所述人体关键点确定模块，包括：
面部区域识别单元，用于识别所述驾驶用户驾驶时采集的原始图像中的面部区域；
候选区域得到单元，用于对所述面部区域进行扩展，得到候选区域；所述候选区域包括肩部区域；
目标图像得到单元，用于根据所述候选区域截取所述原始图像，得到目标图像；
人体关键点确定单元，用于根据所述目标图像，确定人体关键点。
9.根据权利要求8所述的装置，其中，所述候选区域得到单元，包括：
候选区域得到子单元，用于以所述面部区域为中心，分别向双耳方向扩展第一比例，以及向双耳方向的垂直方向扩展第二比例，得到所述候选区域。
10.根据权利要求6和8-9中任一项所述的装置，其中，所述异常驾驶姿态检测模块，包括：
肩部连接线确定单元，用于根据至少两个所述肩部关键点，确定肩部连接线；
异常驾驶姿态检测单元，用于根据所述肩部连接线与标准参考线的夹角，检测所述驾驶用户的异常驾驶姿态；
其中，所述标准参考线是水平参考线或竖直参考线。
11. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的一种异常驾驶姿态检测方法。
12.一种车辆，其中，所述车辆设置有如权利要求11所述的电子设备。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的一种异常驾驶姿态检测方法。
CN202011141832.7A 2020-10-22 2020-10-22 异常驾驶姿态检测方法、装置、设备、车辆和介质 Active CN112287795B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011141832.7A CN112287795B (zh) 2020-10-22 2020-10-22 异常驾驶姿态检测方法、装置、设备、车辆和介质
US17/379,077 US20210342613A1 (en) 2020-10-22 2021-07-19 Method and apparatus for detecting an abnormal driving posture, device, vehicle and medium
EP21187643.8A EP3879448A3 (en) 2020-10-22 2021-07-26 Method and apparatus for detecting an abnormal driving posture, device, vehicle and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011141832.7A CN112287795B (zh) 2020-10-22 2020-10-22 异常驾驶姿态检测方法、装置、设备、车辆和介质

Publications (2)

Publication Number Publication Date
CN112287795A CN112287795A (zh) 2021-01-29
CN112287795B true CN112287795B (zh) 2023-09-01

Family

ID=74424208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011141832.7A Active CN112287795B (zh) 2020-10-22 2020-10-22 异常驾驶姿态检测方法、装置、设备、车辆和介质

Country Status (3)

Country Link
US (1) US20210342613A1 (zh)
EP (1) EP3879448A3 (zh)
CN (1) CN112287795B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966655A (zh) * 2021-03-29 2021-06-15 高新兴科技集团股份有限公司 一种办公区玩手机行为识别方法、装置和计算设备
CN112990069A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113850198A (zh) * 2021-09-27 2021-12-28 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备
CN114419329B (zh) * 2022-03-30 2022-08-09 浙江大华技术股份有限公司 车辆载人数量检测方法及装置
CN114973423B (zh) * 2022-07-28 2022-10-25 聊城市飓风工业设计有限公司 用于儿童学习桌的坐姿监测的警示方法及系统
CN115240231B (zh) * 2022-09-22 2022-12-06 珠海翔翼航空技术有限公司 基于图像识别的用于全动模拟机的坐姿检测及调整方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008427A1 (en) * 2015-07-15 2017-01-19 Huawei Technologies Co., Ltd. System and method for virtual clothes fitting based on video augmented reality in mobile phone
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN109902562A (zh) * 2019-01-16 2019-06-18 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
CN110443222A (zh) * 2019-08-14 2019-11-12 北京百度网讯科技有限公司 用于训练脸部关键点检测模型的方法和装置
CN110569819A (zh) * 2019-09-16 2019-12-13 天津通卡智能网络科技股份有限公司 一种公交车乘客再识别方法
CN111414780A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种坐姿实时智能判别方法、系统、设备及存储介质
CN111488855A (zh) * 2020-04-24 2020-08-04 上海眼控科技股份有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN111666818A (zh) * 2020-05-09 2020-09-15 大连理工大学 一种驾驶员异常姿态检测方法
WO2020199931A1 (zh) * 2019-04-02 2020-10-08 腾讯科技（深圳）有限公司 人脸关键点检测方法及装置、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950346B2 (ja) * 2017-08-10 2021-10-13 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008427A1 (en) * 2015-07-15 2017-01-19 Huawei Technologies Co., Ltd. System and method for virtual clothes fitting based on video augmented reality in mobile phone
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN111414780A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种坐姿实时智能判别方法、系统、设备及存储介质
CN109902562A (zh) * 2019-01-16 2019-06-18 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
WO2020199931A1 (zh) * 2019-04-02 2020-10-08 腾讯科技（深圳）有限公司 人脸关键点检测方法及装置、存储介质和电子设备
CN110443222A (zh) * 2019-08-14 2019-11-12 北京百度网讯科技有限公司 用于训练脸部关键点检测模型的方法和装置
CN110569819A (zh) * 2019-09-16 2019-12-13 天津通卡智能网络科技股份有限公司 一种公交车乘客再识别方法
CN111488855A (zh) * 2020-04-24 2020-08-04 上海眼控科技股份有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN111666818A (zh) * 2020-05-09 2020-09-15 大连理工大学 一种驾驶员异常姿态检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Identification and Analysis of Driver Postures for In-Vehicle Driving Activities and Secondary Tasks Recognition;Yang Xing 等;IEEE Transactions on Computational Social Systems;全文 *

Also Published As

Publication number Publication date
US20210342613A1 (en) 2021-11-04
CN112287795A (zh) 2021-01-29
EP3879448A3 (en) 2022-02-23
EP3879448A2 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
CN112287795B (zh) 异常驾驶姿态检测方法、装置、设备、车辆和介质
US20230120985A1 (en) Method for training face recognition model
KR102347336B1 (ko) 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체
CN111722245B (zh) 定位方法、定位装置和电子设备
CN110826521A (zh) 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN110595490B (zh) 车道线感知数据的预处理方法、装置、设备和介质
CN110341617B (zh) 眼球追踪方法、装置、车辆和存储介质
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
EP3879443A2 (en) Method and apparatus for recognizing wearing state of safety belt, electronic device, and storage medium
CN111814637A (zh) 一种危险驾驶行为识别方法、装置、电子设备及存储介质
CN109144250B (zh) 一种位置调节的方法、装置、设备及存储介质
CN111645695B (zh) 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN112102153A (zh) 图像的卡通化处理方法、装置、电子设备和存储介质
CN106778574A (zh) 用于人脸图像的检测方法和装置
EP3582068A1 (en) Information processing device, information processing method, and program
CN111523467A (zh) 人脸跟踪方法和装置
CN111191619A (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN113628239A (zh) 显示优化方法、相关装置及计算机程序产品
CN112101261A (zh) 人脸识别方法、装置、设备及存储介质
CN112016523A (zh) 跨模态人脸识别的方法、装置、设备和存储介质
CN112508127A (zh) 数据标注方法及装置、电子设备、介质和产品
CN111833391A (zh) 图像深度信息的估计方法及装置
CN106547339B (zh) 计算机设备的控制方法和装置
CN111796874A (zh) 一种设备唤醒的方法、装置、计算机设备和存储介质
CN113780045A (zh) 用于训练距离预测模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant