CN111301280A - 一种危险状态识别方法及装置 - Google Patents
一种危险状态识别方法及装置 Download PDFInfo
- Publication number
- CN111301280A CN111301280A CN201811513111.7A CN201811513111A CN111301280A CN 111301280 A CN111301280 A CN 111301280A CN 201811513111 A CN201811513111 A CN 201811513111A CN 111301280 A CN111301280 A CN 111301280A
- Authority
- CN
- China
- Prior art keywords
- driver
- key point
- determining
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Abstract
本申请实施例提供了一种危险状态识别方法及装置，获取行车过程中的车内图像；基于所述车内图像，检测车内驾驶员的目标部位的位置信息；基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。这样，能够通过获取行车过程中车内图像，并可以从车内图像中驾驶员的目标部位的位置信息，来识别出驾驶员是否处于危险驾驶状态，从而达到对驾驶员驾驶过程进行实时监测，及时发现行车过程中危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
Description
技术领域
本申请涉及安全驾驶技术领域，具体而言，涉及一种危险状态识别方法及装置。
背景技术
随着科学技术的不断发展，汽车已经逐渐走入了人们的生活，成为大多数家庭不可缺少的出行工具。在行车过程中，许多驾驶人员会有接打电话现象的出现，驾驶人员与他人打电话交流会造成驾驶注意力不集中，影响司机对紧急状况的反应，尤其驾驶人员习惯接打电话时，一只手握方向盘，一只手接打电话，不能双手握住方向盘，一旦稍有不慎，会严重威胁生命危险。
虽然在路口可以通过监控装置自动抓拍驾驶员违章行为，但由于一般只在路口设有监控装置，并且不是所有路口都会有监控装置，导致无法对驾驶员危险状态进行及时识别。
发明内容
有鉴于此，本申请实施例提供一种危险状态识别方法及装置，能够对驾驶员驾驶过程进行实时监测，及时发现行车过程中危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
一方面，本申请实施例提供了一种危险状态识别方法，所述方法包括：
获取行车过程中的车内图像；
基于所述车内图像，检测车内驾驶员的目标部位的位置信息；
基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
在一些实施例中，在所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态之后，所述方法还包括：
若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
在上述实施例中，所述方法应用于服务器或所述用户端，所述用户端为移动终端或车载终端。
在一些实施例中，若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示，包括：
若确定所述驾驶员处于危险驾驶状态的持续时长超过预设时长阈值，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
在一些实施例中，基于所述车内图像，检测车内驾驶员的目标部位的位置信息，包括：
从所述车内图像中，检测出驾驶员图像；
从检测出的驾驶员图像中，确定车内驾驶员的多个目标部位的位置信息。
在一些实施例中，所述从所述车内图像中，检测出驾驶员图像，包括：
检测所述车内图像中方向盘的位置信息；
基于所述方向盘的位置信息，检测所述车内图像中与所述方向盘的位置信息匹配的人物图像，并将该人物图像作为所述驾驶员图像。
在上述实施例中，所述目标部位包括以下任意多个：
手腕关键点；手肘关键点；肩部关键点；五官关键点；手指关键点；手掌关键点。
在一些实施例中，当目标部位包括手腕关键点、手肘关键点和肩部关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度；
若所述夹角角度小于设定角度阈值，确定所述驾驶员处于所述危险驾驶状态。
在上述实施例中，所述基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度，包括：
基于所述手腕关键点和所述手肘关键点的位置，确定所述驾驶员的双臂中任意一条手臂上的手腕关键点和手肘关键点之间的第一连线信息；
基于所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任一条手臂上的手肘关键点和肩部关键点之间的第二连线信息；
基于所述第一连线信息和所述第二连线信息，确定所述手腕关键点和手肘关键点之间的第一连线和所述手肘关键点和肩部关键点之间的第二连线之间的夹角角度；
若所述夹角角度小于所述设定角度阈值，则确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度小于所述设定角度阈值。
在一些实施例中，当所述目标部位包括五官关键点和手腕关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离；
若所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，当所述目标部位包括手指关键点和手掌关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态；
若所述驾驶员的手势处于握持状态，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，当所述目标部位包括五官关键点和肩部关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离；
若所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，在获取行车过程中的车内图像之前，所述方法还包括：
监测行车过程中车内的电磁信号属性信息，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度；
所述获取行车过程中的车内图像，包括：
若所述电磁信号属性信息满足设定条件，则获取行车过程中的车内图像。
另一方面，本申请实施例还提供一种危险状态识别装置，所述危险状态识别装置包括：
获取模块，用于获取行车过程中的车内图像；
检测模块，用于基于所述车内图像，检测车内驾驶员的目标部位的位置信息；
确定模块，用于基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
在一些实施例中，所述危险状态识别装置还包括：
报警模块，用于若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
在上述实施例中，所述危险状态识别装置应用于服务器或所述用户端，所述用户端为移动终端或车载终端。
在一些实施例中，所述报警模块具体用于：
若确定所述驾驶员处于危险驾驶状态的持续时长超过预设时长阈值，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
在一些实施例中，所述检测模块具体用于：
从所述车内图像中，检测出驾驶员图像；
从检测出的驾驶员图像中，确定车内驾驶员的多个目标部位的位置信息。
在一些实施例中，所述检测模块具体还用于：
检测所述车内图像中方向盘的位置信息；
基于所述方向盘的位置信息，检测所述车内图像中与所述方向盘的位置信息匹配的人物图像，并将该人物图像作为所述驾驶员图像。
在上述实施例中，所述目标部位包括以下任意多个：
手腕关键点；手肘关键点；肩部关键点；五官关键点；手指关键点；手掌关键点。
在一些实施例中，当目标部位包括手腕关键点、手肘关键点和肩部关键点时，所述确定模块具体用于：
基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度；
若所述夹角角度小于设定角度阈值，确定所述驾驶员处于所述危险驾驶状态。
在上述实施例中，所述确定模块具体还用于：
基于所述手腕关键点和所述手肘关键点的位置，确定所述驾驶员的双臂中任意一条手臂上的手腕关键点和手肘关键点之间的第一连线信息；
基于所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任一条手臂上的手肘关键点和肩部关键点之间的第二连线信息；
基于所述第一连线信息和所述第二连线信息，确定所述手腕关键点和手肘关键点之间的第一连线和所述手肘关键点和肩部关键点之间的第二连线之间的夹角角度；
若所述夹角角度小于所述设定角度阈值，则确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度小于所述设定角度阈值。
在一些实施例中，当所述目标部位包括五官关键点和手腕关键点时，所述确定模块具体还用于：
基于所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离；
若所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，当所述目标部位包括手指关键点和手掌关键点时，所述确定模块具体还用于：
基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态；
若所述驾驶员的手势处于握持状态，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，当所述目标部位包括五官关键点和肩部关键点时，所述确定模块具体还用于：
基于所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离；
若所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，所述危险状态识别装置还包括：
监测模块，用于监测行车过程中车内的电磁信号属性信息，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度；
所述获取模块具体用于：
若所述电磁信号属性信息满足设定条件，则获取行车过程中的车内图像。
另一方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行上述的危险状态识别方法的步骤。
另一方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的危险状态识别方法的步骤。
本申请实施例提供的危险状态识别方法及装置，获取行车过程中的车内图像；基于所述车内图像，检测车内驾驶员的目标部位的位置信息；基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。这样，能够通过获取行车过程中的车内图像，并可以从车内图像中驾驶员的目标部位的位置信息，来识别出驾驶员是否处于危险驾驶状态，从而达到对驾驶员驾驶过程进行实时监测，及时发现行车过程中危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为根据本申请一些实施例的可以实现本申请思想的电子设备的示例性硬件和软件组件的示意图；
图2为本申请一实施例所提供的危险状态识别方法的流程图；
图3为本申请另一实施例所提供的危险状态识别方法的流程图；
图4为本申请实施例提供的危险状态识别装置的结构图之一；
图5为本申请实施例提供的危险状态识别装置的结构图之二；
图6为本申请实施例提供的危险状态识别装置的结构图之三。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“行车过程中对驾驶员行车状态进行检测”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕行车过程中对驾驶员行车状态进行检测描述，但是应该理解，这仅是一个示例性实施例。本申请可以应用于任何不同类型出行工具中对驾驶员的驾驶状态进行检测，或者用于用户在同时进行两种或者两种以上的行为活动时会导致存在危险的情况。本申请的系统或方法的应用可以包括服务器、客户端、定制系统、内部分析系统、或人工智能交互终端等，或其任意组合。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
值得注意的是，目前，在行车过程中，许多驾驶人员会有接打电话现象的出现，驾驶人员与他人打电话交流会造成驾驶注意力不集中，影响司机对紧急状况的反应，一旦稍有不慎，会严重威胁生命危险。虽然在路口可以通过监控装置自动抓拍驾驶员违章行为，但由于一般只在路口设有监控装置，并且不是所有路口都会有监控装置，导致无法对驾驶员危险状态进行及时识别。
对于此，本申请的一个方面提出一种危险状态识别方法，能够通过获取行车过程中的车内图像，从车内图像中驾驶员的目标部位的位置信息，来识别出驾驶员是否处于危险驾驶状态，从而在驾驶员驾驶过程中对驾驶行为进行实时监测，及时发现行车过程中的危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
本申请实施例可以通过与用户端交互的云平台、服务器或者服务器组实施(以下统称为服务系统)，也可以直接通过用户端实施，本申请实施例中的用户端可以理解为终端设备，也可以理解为用户在平台注册的客户端，其中，终端设备可以理解为移动终端、个人电脑(Personal Computer，PC)、车载终端、以及任何可以安装平台应用程序的设备。
在一些实施例中，服务系统可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务系统可以是分布式系统)。在一些实施例中，服务系统相对于终端，可以是本地的、也可以是远程的。例如，服务系统可以经由网络访问存储在用户端或数据库、或其任意组合中的信息和/或数据。在一些实施例中，服务系统可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(communitycloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。在一些实施例中，服务系统可以在具有本申请中图1所示的一个或多个组件的电子设备100上实现。
在一些实施例中，服务系统可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing，RISC)、或微处理器等，或其任意组合。
图1为根据本申请一些实施例的可以实现本申请思想的电子设备100的示例性硬件和软件组件的示意图。例如，处理器120可以用于电子设备100上，并且用于执行本申请中的功能。
电子设备100可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的危险状态识别方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。
例如，电子设备100可以包括连接到网络的网络端口110、用于执行程序指令的一个或多个处理器120、通信总线130、和不同形式的存储介质140，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备100还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口150。
为了便于说明，在电子设备100中仅描述了一个处理器。然而，应当注意，本申请中的电子设备100还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备100的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
下面从执行方法角度，对本申请实施例的思想做进一步描述。
请参阅图2，图2为本申请实施例提供的危险状态识别方法的流程图。所述方法应用于服务器或者用户端，所述服务器可以是独立设置的后台服务器或者云端服务器等，也可以是与所述用户端连接的后台服务器或者云端服务器，还可以是嵌入到所述用户端内部的服务器，所述用户端可以是驾驶员的移动终端，也可以是车载终端。如图2中所示，所述方法包括：
S201：获取行车过程中的车内图像。
在驾驶员驾驶车辆行车的过程中，许多驾驶员会有接打电话现象的出现，驾驶员与他人打电话交流会造成驾驶注意力不集中，会存在一些潜在的危险和风险，因此，为了可以及时对驾驶员在行车过程中的驾驶状态进行识别，在该步骤中，可以获取驾驶员驾驶车辆在行车过程中的车内图像，以此来作为基础以在后续分析驾驶员的驾驶状态。
其中，所述车内图像，可以是指车辆内部全部空间的图像，如包含驾驶室、副驾驶室和后排坐位空间的全部空间的图像，也可以是指根据识别需要，采集的车辆内部的部分空间区域内的图像，如驾驶室内图像，或者驾驶室内和副驾驶室内的图像。在本实施例中，所述车内图像，至少是需要采集到驾驶室内的图像。
其中，获取行车过程中的车内图像，可以是通过安装于车辆内部的摄像头等拍摄装置，对车辆内部进行图像采集。对车辆内部进行图像采集，可以是实时采集车辆内部的图像，或者是在每间隔一定时长的时间段后，采集车辆内部的图像，还可以是根据识别需要设定图像采集条件，在满足图像采集条件后，再采集车内图像，对此并不做任何限定。
S202：基于所述车内图像，检测车内驾驶员的目标部位的位置信息。
该步骤中，在获取到所述车内图像后，可以对所述车内图像的图像内容进行分析、检测和提取等，从所述车内图像中检测出车内的驾驶员的目标部位的位置信息。
其中，所述目标部位，可以是如所述驾驶员的手腕关键点、手肘关键点、肩部关键点、五官关键点、手指关键点和手掌关键点中的任意一个或者任意多个的组合。
所述五官关键点，可以是分别检测出的驾驶员的五官中每个感官器官的关键点，在需要使用不同的感官器官的关键点时，使用相应的感官关键点进行比对、计算等即可，而其他感官器官的关键点可以暂不使用；也可以是在检测出驾驶员的五官中每个感官器官的关键点后，根据每个感官器官的关键点位置信息，计算出一个作为统一代表或者概括的一个关键点，将计算出的关键点作为所述五官关键点的代表。
这样，通过车内图像对驾驶员的关键部位进行检测，检测结果准确可靠，便捷有效。
S203：基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
该步骤中，在检测到驾驶员的目标部位的位置信息之后，可以根据所述目标部位的位置信息，来解析所述驾驶员的动作状态和行为状态，从而根据解析结果可以确定出所述驾驶员是否是处于危险驾驶状态。
其中，所述危险驾驶状态，可以是指由于驾驶员在驾驶过程中除正常驾驶动作或者正常驾驶操作之外，由于存在危险动作等导致驾驶过程中可能会发生危险的驾驶状态，例如，驾驶员在驾驶中，如果手持终端进行接打电话，或者同时与车上的其他成员进行聊天或者互动，或者头部长时间偏转无法目视前方等动作时，会使得驾驶过程中增加发生危险的几率，此时，可以认为是处于危险驾驶状态。
本申请实施例提供的危险状态识别方法，获取行车过程中的车内图像；基于所述车内图像，检测车内驾驶员的目标部位的位置信息；基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。这样，能够通过获取行车过程中车内图像，并可以从车内图像中驾驶员的目标部位的位置信息，来识别出驾驶员是否处于危险驾驶状态，从而达到对驾驶员驾驶过程进行实时监测，及时发现行车过程中危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
请参阅图3，图3为本申请另一实施例提供的一种危险状态识别方法的流程图。所述方法应用于服务器或者用户端，所述服务器可以是独立设置的后台服务器或者云端服务器等，也可以是与所述用户端连接的后台服务器或者云端服务器，还可以是嵌入到所述用户端内部的服务器，所述用户端可以是驾驶员的移动终端，也可以是车载终端。如图3中所示，所述方法包括：
S301：获取行车过程中的车内图像。
在驾驶员驾驶车辆行车的过程中，许多驾驶员会有接打电话现象的出现，驾驶员与他人打电话交流会造成驾驶注意力不集中，会存在一些潜在的危险和风险，因此，为了可以及时对驾驶员在行车过程中的驾驶状态进行识别，在该步骤中，可以获取驾驶员驾驶车辆在行车过程中的车内图像，以此来坐位基础以在后续分析驾驶员的驾驶状态。
其中，所述车内图像，可以是指车辆内部全部空间的图像，如包含驾驶室、副驾驶室和后排坐位空间的全部空间的图像，也可以是指根据识别需要，采集的车辆内部的部分空间区域内的图像，如驾驶室内图像，或者驾驶室内和副驾驶室内的图像。在本实施例中，所述车内图像，至少需要是采集到驾驶室内的图像。
其中，获取行车过程中的车内图像，可以是通过安装于车辆内部的摄像头等拍摄装置，对车辆内部进行图像采集。对车辆内部进行图像采集，可以是实时采集车辆内部的图像，或者是在每间隔一定时长的时间端后，采集车辆内部的图像，还可以是根据识别需要设定图像采集条件，在满足图像采集条件后，再采集车内图像，对此并不做任何限定。
S302：基于所述车内图像，检测车内驾驶员的目标部位的位置信息。
该步骤中，在获取到所述车内图像后，可以对所述车内图像的图像内容进行分析、检测和提取等，从所述车内图像中检测出车内的驾驶员的目标部位的位置信息。
其中，所述目标部位，可以是如所述驾驶员的手腕关键点、手肘关键点、肩部关键点、五官关键点、手指关键点和手掌关键点中的任意一个或者任意多个的组合。
所述五官关键点，可以是分别检测出的驾驶员的五官中每个感官器官的关键点，在需要使用不同的感官器官的关键点时，使用相应的感官关键点进行比对、计算等即可，而其他感官器官的关键点可以暂不使用；也可以是在检测出驾驶员的五官中每个感官器官的关键点后，根据每个感官器官的关键点位置信息，计算出一个作为统一代表或者概括的一个关键点，将计算出的关键点作为所述五官关键点的代表。
这样，通过车内图像对驾驶员的关键部位进行检测，检测结果准确可靠，便捷有效。
S303：基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
该步骤中，在检测到驾驶员的目标部位的位置信息之后，可以根据所述目标部位的位置信息，来解析所述驾驶员的动作状态和行为状态，从而根据解析结果可以确定出所述驾驶员是否是处于危险驾驶状态。
其中，所述危险驾驶状态，可以是指由于驾驶员在驾驶过程中除正常驾驶动作或者正常驾驶操作之外，由于存在危险动作等导致驾驶过程中可能会发生危险的驾驶状态，例如，驾驶员在驾驶中，如果手持终端进行接打电话，或者同时与车上的其他成员进行聊天或者互动，或者头部长时间偏转无法目视前方等动作时，会使得驾驶过程中增加发生危险的几率，此时，可以认为是处于危险驾驶状态。
这样，可以通过拍摄的二维图像，有效识别出驾驶员处于危险驾驶状态，识别方式简单便捷，可靠性高，成本低，无需增加过多硬件设备成本。
S304：若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
该步骤中，如果根据所述目标部位确定了所述驾驶员处于危险驾驶状态的话，那么可以提醒用户，具体的，可以是通过所述驾驶员对应的用户端向所述驾驶员发出警示。
其中，向驾驶员发出警示，可以是使用驾驶员的例如手机等移动终端或者是车载终端，向驾驶员发出语音提醒。
这样，可以向驾驶员发出警示，用以提示驾驶员，帮助驾驶员意识到风险，有助于及时使驾驶员回到正常驾驶状态。
在上述实施例中，若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示，可以是在通过驾驶员的目标部位的位置信息，确定了所述驾驶员处于危险驾驶状态，并且检测到所述驾驶员处于危险驾驶状态的持续时长超过预设时长阈值的话，那么认为驾驶员驾驶过程中会发生危险的概率较大，就可以通过所述驾驶员对应的用户端向所述驾驶员发出警示。
这样，在确定驾驶员处于危险驾驶状态，并在处在该状态时间超过预设时长阈值后，向驾驶员发出警示，用以提示驾驶员，提高了驾驶员驾驶状态识别的准确性，降低了误识别的几率，相驾驶员发出警示还可以帮助驾驶员意识到风险，有助于及时使驾驶员回到正常驾驶状态。
在一些实施例中，步骤S302包括：
从所述车内图像中，检测出驾驶员图像；从检测出的驾驶员图像中，确定车内驾驶员的多个目标部位的位置信息。
该步骤中，在获取到所述车内图像后，可以从所述车内图像中检测出驾驶员图像，然后可以对检测出的驾驶员图像中驾驶员的信息进行检测，从而确定出车内驾驶员的多个目标部位的位置信息。
其中，从所述车内图像中，检测出驾驶员图像，可以是通过图像分割或者图像提取等技术，从所述车内图像中将驾驶员图像单独提取出来使用，也可以是通过图像识别技术，识别出所述车内图像中关于驾驶员部分的驾驶员图像。
在对车内图像进行驾驶员位置定位时，由于车内图像中可能会出现多个人的人体图像，而我们仅需对驾驶员的驾驶状态进行检测即可。因此，具体的，从所述车内图像中，检测出驾驶员图像，可以在先确认所述车内图像中的参照物，如车内的方向盘等，来检测出所述车内图像中方向盘的位置信息，然后根据参照物的位置信息，即所述方向盘的位置信息，对所述车内图像中进行检测，从而来匹配出与所述方向盘的位置信息相匹配的人物图像，匹配出的人物图像就可以作为所述驾驶员图像。
其中，与所述方向盘的位置信息匹配的人物图像，可以是指所述车内图像中，与所述方向盘之间的距离在一定范围内的人物的人物图像，即距离所述方向盘近的人物，还可以是指在所述车内图像中，与所述方向盘之间的方位顺序符合预设方位分布的人物的人物图像。
本实施例中，使用的参照物为方向盘，但并不局限于此，在其他实施例中，还可以使用如仪表盘、档位杆或者安全带等车内的物体做参照物，只需能准确匹配出驾驶员图像即可。
这样，在对车内图像进行驾驶员位置定位分时，可以借助方向盘等参照物识别驾驶员图像，识别准确，可以有效避免或者排除其他人员的干扰。
在一些实施例中，当目标部位包括手腕关键点、手肘关键点和肩部关键点时，步骤303包括：
基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度；若所述夹角角度小于设定角度阈值，确定所述驾驶员处于所述危险驾驶状态。
该步骤中，当从所述车内图像中检测到的驾驶员的目标部位包括手腕关键点、手肘关键点和肩部关键点的时候，可以根据所述手腕关键点的位置、所述手肘关键点的位置和所述肩部关键点的位置，来对所述车内图像中驾驶员的双臂的位置信息和动作状态进行检测，从而来确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度，在确定了所述夹角角度后，可以将所述夹角角度与一个设定角度阈值进行比较，如果判断出所述夹角角度小于所述设定角度阈值的话，就可以认为驾驶员弯曲了胳膊，已经举起驾驶员的移动终端进行接打电话，从而可以确定所述驾驶员处于所述危险驾驶状态。
其中，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度，可以是先检测驾驶员的一条手臂的弯曲程度，即一条手臂上前臂和上臂之间的夹角角度，如果该条手臂上前臂和上臂之间的夹角角度小于所述设定角度阈值的话，就可以停止检测，确定驾驶员是在进行接打电话，而如果该条手臂上前臂和上臂之间的夹角角度大于所述设定角度阈值的话，就再检测驾驶员的另一条手臂的弯曲程度，即另一条手臂上前臂和上臂之间的夹角角度，进行判断驾驶员是否在接打电话；还可以是对驾驶员的双臂的弯曲程度同时进行检测，即同时检测驾驶员的双臂上前臂和上臂之间的夹角角度，来判断驾驶员是否在接打电话。
其中，所述设定角度阈值，可以是根据检测精度的需要进行设定。本实施例中，所述设定角度阈值可以是设定为90度，即所述夹角角度小于90度，所述夹角角度为锐角。由于是从车内图像中检测得到的驾驶员手臂弯曲情况，在摄像头拍摄的图像中，甚至驾驶员的手臂有可能是前后出现在车内图像中，即出现重叠情况，此时，检测到的所述夹角角度即可以为0度。
在上述实施例中，基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度，具体的，为了简化识别，可以是根据驾驶员的双臂中任意一条手臂的手腕关键点和手肘关键点的位置，从所述车内图像中确定所述驾驶员的双臂中任意一条手臂上的手腕关键点和手肘关键点之间的第一连线信息，所述第一连线信息表示第一连线即认做为驾驶员双臂中一条手臂的前臂，并且可以根据驾驶员的双臂中任意一条手臂的手肘关键点和肩部关键点的位置，从所述车内图像中确定所述驾驶员的双臂中任意一条手臂上的肘关键点和肩部关键点之间的第二连线信息，所述第二连线信息表示的第二连线即认作为驾驶员双臂中一条手臂的上臂，然后根据所述第一连线信息和所述第二连线信息，可以通过所述第一连线信息和所述第二连线信息中的位置等信息进行计算，从而根据计算结果确定所述手腕关键点和手肘关键点之间的第一连线和所述手肘关键点和肩部关键点之间的第二连线之间的夹角角度，在将所述夹角角度与所述设定角度阈值进行比较后，如果所述夹角角度小于所述设定角度阈值的话，就可以确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度小于所述设定角度阈值。
其中，上述的前臂和上臂，均是指同一条手臂中的前臂和上臂。
这样，通过手腕关键点、手肘关键点和肩部关键点的位置，检测驾驶员的上臂和前臂之间的夹角角度小于设定角度阈值，从而确定驾驶员的手臂处于弯曲状态，即可确定驾驶员处于危险驾驶状态，识别方式简单有效，可快速确定识别结果。
在一些实施例中，当所述目标部位包括五官关键点和手腕关键点时，步骤303包括：
基于所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离；若所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值，确定所述驾驶员处于危险驾驶状态。
该步骤中，当从所述车内图像中检测到的驾驶员的目标部位包括五官关键点和手腕关键点的时候，可以根据所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离，从而对所述车内图像中驾驶员的双手的位置信息和动作状态进行检测，如果所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值的话，那么就可以认为所述驾驶员使用移动终端进行接打电话，所述驾驶员是处于危险驾驶状态中的。
这样，通过五官关键点和手腕关键点的位置，检测驾驶员的手腕与头部(或者说脸部)之间的距离小于第一距离阈值，从而确定驾驶员处于危险驾驶状态，识别方式简单有效，可快速确定识别结果。
在一些实施例中，当所述目标部位包括手指关键点和手掌关键点时，步骤303包括：
基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态；若所述驾驶员的手势处于握持状态，确定所述驾驶员处于危险驾驶状态。
该步骤中，当从所述车内图像中检测到的驾驶员的目标部位包括手指关键点和手掌关键点的时候，可以根据所述手指关键点的位置和所述手掌关键点的位置，对所述驾驶员的手部动作进行检测，从而确定所述驾驶员的手部的手势是否是处于握持状态，如果所述驾驶员的手势是处于握持状态的话，那么就可以认为所述驾驶员握持移动终端进行接打电话，所述驾驶员是处于危险驾驶状态中的。
其中，基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态，可以是使用基于浅层卷积神经网络的手势识别网络建立手势识别模型，来对所述手指关键点和所述手掌关键点进行识别，以提高手势识别的准确度。
具体的，基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态，可以是确定所述手指关键点中不同手指的关键点所在的平面，如使用至少两根手指的关键点确定一个平面，然后检测手掌关键点是否在该平面上，如果在的话，可以认为驾驶员的手势是处于握持状态。
另外，由于驾驶员的把持方向盘的时候，也可能是手部握持方向盘，因此在驾驶员把持方向盘时也会检测出驾驶员的手势是处于握持状态，所以可以通过本实施例的检测驾驶员的手势处于握持状态，搭配上述具体实施例中，检测驾驶员的手臂弯曲状态和检测驾驶员的手部与头部之间距离中的任意一种实施例，来共同对驾驶员是否处于危险驾驶状态进行检测，以提高检测的准确性。
在一些实施例中，当所述目标部位包括五官关键点和肩部关键点时，步骤303包括：
基于所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离；若所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值，确定所述驾驶员处于危险驾驶状态。
该步骤中，当从所述车内图像中检测到的驾驶员的目标部位包括五官关键点和肩部关键点的时候，可以根据所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离，从而对所述车内图像中驾驶员的头部的位置信息和动作状态进行检测，来检测所述驾驶员是否在使用头部和肩部夹持移动终端(如手机)进行接打电话，如果所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值的话，那么就可以认为所述驾驶员使用移动终端进行接打电话，所述驾驶员是处于危险驾驶状态中的。
这样，通过五官关键点和肩部关键点的位置，检测驾驶员的头部与肩部之间的距离小于第二距离阈值，从而确定驾驶员处于危险驾驶状态，识别方式简单有效，可快速确定识别结果。
在一些实施例中，在步骤301之前，所述方法还包括：
监测行车过程中车内的电磁信号属性信息，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度。
该步骤中，在驾驶员驾车行驶时，可以对行车过程中车内的电磁信号属性信息进行检测，从而来决定是否需要开始对驾驶员是否处于危险驾驶状态进行检测。
进一步的，步骤301包括：
若所述电磁信号属性信息满足设定条件，则获取行车过程中的车内图像。
该步骤中，在检测到车内的电磁信号属性信息后，可以对所述电磁信号属性信息进行判断，如果所述电磁信号属性信息满足设定条件，就可以开始对驾驶员是否处于危险驾驶状态进行检测，即可以获取行车过程中的车内图像。
其中，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度。
具体的，所述电磁信号属性信息满足设定条件，可以是指电磁信号的能量大于预设阈值，和/或电磁信号的强度大于预设阈值，这样可以认为驾驶员对应的用户端有电话通信行为存在。
这样，在驾驶员驾车行驶的过程中，通过车内电磁信号属性信息来判断出有电话通信行为的时候，才开始对驾驶员的驾驶状态进行识别，简单有效，并且可以在一定程度上减少资源的浪费。
本申请实施例提供的危险状态识别方法，获取行车过程中的车内图像；基于所述车内图像，检测车内驾驶员的目标部位的位置信息；基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态；若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
这样，能够通过获取行车过程中车内图像，并可以从车内图像中驾驶员的目标部位的位置信息，来识别出驾驶员是否处于危险驾驶状态，在驾驶员处于危险驾驶状态时对驾驶员发出警示，从而达到对驾驶员驾驶过程进行实时监测和提醒，及时发现行车过程中危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
请参阅图4至图6，图4为本申请实施例提供的危险状态识别装置的结构图之一，图5为本申请实施例提供的危险状态识别装置的结构图之二，图6为本申请实施例提供的危险状态识别装置的结构图之三。所述危险状态识别装置400可以实现上述危险状态识别方法执行的步骤。该装置可以理解为上述服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件。如图4中所示，所述危险状态识别装置400包括：
获取模块410，用于获取行车过程中的车内图像。
检测模块420，用于基于所述车内图像，检测车内驾驶员的目标部位的位置信息。
确定模块430，用于基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
在一些实施例中，如图5中所示，所述危险状态识别装置400还包括：
报警模块440，用于若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
在上述实施例中，所述危险状态识别装置400应用于服务器或所述用户端，所述用户端为移动终端或车载终端。
在一些实施例中，所述报警模块440具体用于：
若确定所述驾驶员处于危险驾驶状态的持续时长超过预设时长阈值，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
在一些实施例中，所述检测模块420具体用于：
从所述车内图像中，检测出驾驶员图像。
从检测出的驾驶员图像中，确定车内驾驶员的多个目标部位的位置信息。
在一些实施例中，所述检测模块420具体还用于：
检测所述车内图像中方向盘的位置信息。
基于所述方向盘的位置信息，检测所述车内图像中与所述方向盘的位置信息匹配的人物图像，并将该人物图像作为所述驾驶员图像。
在上述实施例中，所述目标部位包括以下任意多个：
手腕关键点；手肘关键点；肩部关键点；五官关键点；手指关键点；手掌关键点。
在一些实施例中，当目标部位包括手腕关键点、手肘关键点和肩部关键点时，所述确定模块430具体用于：
基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度。
若所述夹角角度小于设定角度阈值，确定所述驾驶员处于所述危险驾驶状态。
在上述实施例中，所述确定模块430具体还用于：
基于所述手腕关键点和所述手肘关键点的位置，确定所述驾驶员的双臂中任意一条手臂上的手腕关键点和手肘关键点之间的第一连线信息。
基于所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任一条手臂上的手肘关键点和肩部关键点之间的第二连线信息。
基于所述第一连线信息和所述第二连线信息，确定所述手腕关键点和手肘关键点之间的第一连线和所述手肘关键点和肩部关键点之间的第二连线之间的夹角角度。
若所述夹角角度小于所述设定角度阈值，则确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度小于所述设定角度阈值。
在一些实施例中，当所述目标部位包括五官关键点和手腕关键点时，所述确定模块430具体还用于：
基于所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离。
若所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，当所述目标部位包括手指关键点和手掌关键点时，所述确定模块430具体还用于：
基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态。
若所述驾驶员的手势处于握持状态，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，当所述目标部位包括五官关键点和肩部关键点时，所述确定模块430具体还用于：
基于所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离。
若所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值，确定所述驾驶员处于危险驾驶状态。
在一些实施例中，如图6中所示，所述危险状态识别装置400还包括：
监测模块450，用于监测行车过程中车内的电磁信号属性信息，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度。
所述获取模块410具体用于：
若所述电磁信号属性信息满足设定条件，则获取行车过程中的车内图像。
本申请实施例提供的危险状态识别方法，获取行车过程中的车内图像；基于所述车内图像，检测车内驾驶员的目标部位的位置信息；基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
这样，能够通过获取行车过程中车内图像，并可以从车内图像中驾驶员的目标部位的位置信息，来识别出驾驶员是否处于危险驾驶状态，从而达到对驾驶员驾驶过程进行实时监测和提醒，及时发现行车过程中危险驾驶状态，识别方法便捷有效，具有较好的鲁棒性，可靠性高。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图2以及图3所示方法实施例中的危险状态识别方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (28)
1.一种危险状态识别方法，其特征在于，所述方法包括：
获取行车过程中的车内图像；
基于所述车内图像，检测车内驾驶员的目标部位的位置信息；
基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
2.如权利要求1所述的方法，其特征在于，在所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态之后，所述方法还包括：
若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
3.如权利要求2所述的方法，其特征在于，所述方法应用于服务器或所述用户端，所述用户端为移动终端或车载终端。
4.如权利要求2所述的方法，其特征在于，若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示，包括：
若确定所述驾驶员处于危险驾驶状态的持续时长超过预设时长阈值，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
5.如权利要求1所述的方法，其特征在于，基于所述车内图像，检测车内驾驶员的目标部位的位置信息，包括：
从所述车内图像中，检测出驾驶员图像；
从检测出的驾驶员图像中，确定车内驾驶员的多个目标部位的位置信息。
6.如权利要求5所述的方法，其特征在于，所述从所述车内图像中，检测出驾驶员图像，包括：
检测所述车内图像中方向盘的位置信息；
基于所述方向盘的位置信息，检测所述车内图像中与所述方向盘的位置信息匹配的人物图像，并将该人物图像作为所述驾驶员图像。
7.如权利要求1所述的方法，其特征在于，所述目标部位包括以下任意多个：
手腕关键点；手肘关键点；肩部关键点；五官关键点；手指关键点；手掌关键点。
8.如权利要求7所述的方法，其特征在于，当目标部位包括手腕关键点、手肘关键点和肩部关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度；
若所述夹角角度小于设定角度阈值，确定所述驾驶员处于所述危险驾驶状态。
9.如权利要求8所述的方法，其特征在于，所述基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度，包括：
基于所述手腕关键点和所述手肘关键点的位置，确定所述驾驶员的双臂中任意一条手臂上的手腕关键点和手肘关键点之间的第一连线信息；
基于所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任一条手臂上的手肘关键点和肩部关键点之间的第二连线信息；
基于所述第一连线信息和所述第二连线信息，确定所述手腕关键点和手肘关键点之间的第一连线和所述手肘关键点和肩部关键点之间的第二连线之间的夹角角度；
若所述夹角角度小于所述设定角度阈值，则确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度小于所述设定角度阈值。
10.如权利要求7所述的方法，其特征在于，当所述目标部位包括五官关键点和手腕关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离；
若所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值，确定所述驾驶员处于危险驾驶状态。
11.如权利要求7所述的方法，其特征在于，当所述目标部位包括手指关键点和手掌关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态；
若所述驾驶员的手势处于握持状态，确定所述驾驶员处于危险驾驶状态。
12.如权利要求7所述的方法，其特征在于，当所述目标部位包括五官关键点和肩部关键点时，所述基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态，包括：
基于所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离；
若所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值，确定所述驾驶员处于危险驾驶状态。
13.如权利要求1所述的方法，其特征在于，在获取行车过程中的车内图像之前，所述方法还包括：
监测行车过程中车内的电磁信号属性信息，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度；
所述获取行车过程中的车内图像，包括：
若所述电磁信号属性信息满足设定条件，则获取行车过程中的车内图像。
14.一种危险状态识别装置，其特征在于，所述危险状态识别装置包括：
获取模块，用于获取行车过程中的车内图像；
检测模块，用于基于所述车内图像，检测车内驾驶员的目标部位的位置信息；
确定模块，用于基于所述目标部位的位置信息，确定所述驾驶员是否处于危险驾驶状态。
15.如权利要求14所述的危险状态识别装置，其特征在于，所述危险状态识别装置还包括：
报警模块，用于若确定所述驾驶员处于危险驾驶状态，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
16.如权利要求15所述的危险状态识别装置，其特征在于，所述危险状态识别装置应用于服务器或所述用户端，所述用户端为移动终端或车载终端。
17.如权利要求15所述的危险状态识别装置，其特征在于，所述报警模块具体用于：
若确定所述驾驶员处于危险驾驶状态的持续时长超过预设时长阈值，通过所述驾驶员对应的用户端向所述驾驶员发出警示。
18.如权利要求14所述的危险状态识别装置，其特征在于，所述检测模块具体用于：
从所述车内图像中，检测出驾驶员图像；
从检测出的驾驶员图像中，确定车内驾驶员的多个目标部位的位置信息。
19.如权利要求18所述的危险状态识别装置，其特征在于，所述检测模块具体还用于：
检测所述车内图像中方向盘的位置信息；
基于所述方向盘的位置信息，检测所述车内图像中与所述方向盘的位置信息匹配的人物图像，并将该人物图像作为所述驾驶员图像。
20.如权利要求14所述的危险状态识别装置，其特征在于，所述目标部位包括以下任意多个：
手腕关键点；手肘关键点；肩部关键点；五官关键点；手指关键点；手掌关键点。
21.如权利要求20所述的危险状态识别装置，其特征在于，当目标部位包括手腕关键点、手肘关键点和肩部关键点时，所述确定模块具体用于：
基于所述手腕关键点、所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度；
若所述夹角角度小于设定角度阈值，确定所述驾驶员处于所述危险驾驶状态。
22.如权利要求21所述的危险状态识别装置，其特征在于，所述确定模块具体还用于：
基于所述手腕关键点和所述手肘关键点的位置，确定所述驾驶员的双臂中任意一条手臂上的手腕关键点和手肘关键点之间的第一连线信息；
基于所述手肘关键点和所述肩部关键点的位置，确定所述驾驶员的双臂中任一条手臂上的手肘关键点和肩部关键点之间的第二连线信息；
基于所述第一连线信息和所述第二连线信息，确定所述手腕关键点和手肘关键点之间的第一连线和所述手肘关键点和肩部关键点之间的第二连线之间的夹角角度；
若所述夹角角度小于所述设定角度阈值，则确定所述驾驶员的双臂中任意一条手臂的前臂和上臂之间的夹角角度小于所述设定角度阈值。
23.如权利要求20所述的危险状态识别装置，其特征在于，当所述目标部位包括五官关键点和手腕关键点时，所述确定模块具体还用于：
基于所述五官关键点的位置和所述手腕关键点的位置，确定所述五官关键点和所述手腕关键点之间的距离；
若所述五官关键点和所述手腕关键点之间的距离小于第一距离阈值，确定所述驾驶员处于危险驾驶状态。
24.如权利要求20所述的危险状态识别装置，其特征在于，当所述目标部位包括手指关键点和手掌关键点时，所述确定模块具体还用于：
基于所述手指关键点的位置和所述手掌关键点的位置，检测所述驾驶员的手势是否处于握持状态；
若所述驾驶员的手势处于握持状态，确定所述驾驶员处于危险驾驶状态。
25.如权利要求20所述的危险状态识别装置，其特征在于，当所述目标部位包括五官关键点和肩部关键点时，所述确定模块具体还用于：
基于所述五官关键点的位置和所述肩部关键点的位置，确定所述五官关键点和所述肩部关键点之间的距离；
若所述五官关键点和所述肩部关键点之间的距离小于第二距离阈值，确定所述驾驶员处于危险驾驶状态。
26.如权利要求14所述的危险状态识别装置，其特征在于，所述危险状态识别装置还包括：
监测模块，用于监测行车过程中车内的电磁信号属性信息，所述电磁信号属性信息包括电磁信号的能量和/或电磁信号的强度；
所述获取模块具体用于：
若所述电磁信号属性信息满足设定条件，则获取行车过程中的车内图像。
27.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13中任一所述的危险状态识别方法的步骤。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至13中任一所述的危险状态识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811513111.7A CN111301280A (zh) | 2018-12-11 | 2018-12-11 | 一种危险状态识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811513111.7A CN111301280A (zh) | 2018-12-11 | 2018-12-11 | 一种危险状态识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111301280A true CN111301280A (zh) | 2020-06-19 |
Family
ID=71161277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811513111.7A Pending CN111301280A (zh) | 2018-12-11 | 2018-12-11 | 一种危险状态识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111301280A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931640A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 异常坐姿识别方法、装置、电子设备及存储介质 |
| CN112270283A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 异常驾驶行为确定方法、装置、设备、车辆和介质 |
| CN112690794A (zh) * | 2020-12-30 | 2021-04-23 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 驾驶员状态检测方法、系统和装置 |
| CN112990069A (zh) * | 2021-03-31 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 异常驾驶行为检测方法、装置、终端及介质 |
| CN113486759A (zh) * | 2021-06-30 | 2021-10-08 | 上海商汤临港智能科技有限公司 | 危险动作的识别方法及装置、电子设备和存储介质 |
| JP2022032520A (ja) * | 2020-08-12 | 2022-02-25 | ソフトバンク株式会社 | 管理システム、管理方法、管理装置、プログラム及び通信端末 |
| CN114627613A (zh) * | 2020-12-11 | 2022-06-14 | 深圳酷派技术有限公司 | 不规范驾驶行为识别方法、装置、存储介质及电子设备 |
| WO2022142786A1 (zh) * | 2020-12-30 | 2022-07-07 | 中兴通讯股份有限公司 | 驾驶行为识别方法、设备和存储介质 |
| CN115035502A (zh) * | 2022-07-08 | 2022-09-09 | 北京百度网讯科技有限公司 | 驾驶员的行为监测方法、装置、电子设备及存储介质 |
| CN115471826A (zh) * | 2022-08-23 | 2022-12-13 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN116884034A (zh) * | 2023-07-10 | 2023-10-13 | 中电金信软件有限公司 | 对象识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942961A (zh) * | 2014-04-30 | 2014-07-23 | 中国计量学院 | 一种面向危险驾驶行为的智能监控识别系统 |
| CN105469073A (zh) * | 2015-12-16 | 2016-04-06 | 安徽创世科技有限公司 | 一种基于Kinect的驾驶员接打电话监控方法 |
| CN105551182A (zh) * | 2015-11-26 | 2016-05-04 | 吉林大学 | 基于Kinect人体姿势识别的驾驶状态监测系统 |
| CN106066996A (zh) * | 2016-05-27 | 2016-11-02 | 上海理工大学 | 人体动作的局部特征表示方法及其在行为识别的应用 |
| US9928434B1 (en) * | 2016-06-14 | 2018-03-27 | State Farm Mutual Automobile Insurance Company | Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone |
| CN108682157A (zh) * | 2018-03-23 | 2018-10-19 | 深圳融易保科技有限公司 | 视频分析及预警方法和系统 |
| CN108944937A (zh) * | 2017-05-18 | 2018-12-07 | 通用汽车环球科技运作有限责任公司 | 分心驾驶员检测和通知系统 |
-
2018
- 2018-12-11 CN CN201811513111.7A patent/CN111301280A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942961A (zh) * | 2014-04-30 | 2014-07-23 | 中国计量学院 | 一种面向危险驾驶行为的智能监控识别系统 |
| CN105551182A (zh) * | 2015-11-26 | 2016-05-04 | 吉林大学 | 基于Kinect人体姿势识别的驾驶状态监测系统 |
| CN105469073A (zh) * | 2015-12-16 | 2016-04-06 | 安徽创世科技有限公司 | 一种基于Kinect的驾驶员接打电话监控方法 |
| CN106066996A (zh) * | 2016-05-27 | 2016-11-02 | 上海理工大学 | 人体动作的局部特征表示方法及其在行为识别的应用 |
| US9928434B1 (en) * | 2016-06-14 | 2018-03-27 | State Farm Mutual Automobile Insurance Company | Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone |
| CN108944937A (zh) * | 2017-05-18 | 2018-12-07 | 通用汽车环球科技运作有限责任公司 | 分心驾驶员检测和通知系统 |
| CN108682157A (zh) * | 2018-03-23 | 2018-10-19 | 深圳融易保科技有限公司 | 视频分析及预警方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 曾芬芳: "《虚拟现实技术》", 30 June 1997 * |
| 王丹: "基于机器视觉的驾驶员打电话行为检测", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931640A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 异常坐姿识别方法、装置、电子设备及存储介质 |
| JP2022547246A (ja) * | 2020-08-07 | 2022-11-11 | 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 | 非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラム |
| WO2022027895A1 (zh) * | 2020-08-07 | 2022-02-10 | 上海商汤临港智能科技有限公司 | 异常坐姿识别方法、装置、电子设备、存储介质及程序 |
| CN111931640B (zh) * | 2020-08-07 | 2022-06-10 | 上海商汤临港智能科技有限公司 | 异常坐姿识别方法、装置、电子设备及存储介质 |
| JP7186749B2 (ja) | 2020-08-12 | 2022-12-09 | ソフトバンク株式会社 | 管理システム、管理方法、管理装置、プログラム及び通信端末 |
| JP2022032520A (ja) * | 2020-08-12 | 2022-02-25 | ソフトバンク株式会社 | 管理システム、管理方法、管理装置、プログラム及び通信端末 |
| CN112270283A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 异常驾驶行为确定方法、装置、设备、车辆和介质 |
| US11453403B2 (en) * | 2020-11-04 | 2022-09-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Abnormal driving behavior determination method, device, vehicle and medium |
| CN114627613A (zh) * | 2020-12-11 | 2022-06-14 | 深圳酷派技术有限公司 | 不规范驾驶行为识别方法、装置、存储介质及电子设备 |
| WO2022142786A1 (zh) * | 2020-12-30 | 2022-07-07 | 中兴通讯股份有限公司 | 驾驶行为识别方法、设备和存储介质 |
| CN112690794B (zh) * | 2020-12-30 | 2022-08-30 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 驾驶员状态检测方法、系统和装置 |
| CN112690794A (zh) * | 2020-12-30 | 2021-04-23 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 驾驶员状态检测方法、系统和装置 |
| CN112990069A (zh) * | 2021-03-31 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 异常驾驶行为检测方法、装置、终端及介质 |
| CN113486759A (zh) * | 2021-06-30 | 2021-10-08 | 上海商汤临港智能科技有限公司 | 危险动作的识别方法及装置、电子设备和存储介质 |
| CN115035502A (zh) * | 2022-07-08 | 2022-09-09 | 北京百度网讯科技有限公司 | 驾驶员的行为监测方法、装置、电子设备及存储介质 |
| CN115471826A (zh) * | 2022-08-23 | 2022-12-13 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN115471826B (zh) * | 2022-08-23 | 2024-03-26 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN116884034A (zh) * | 2023-07-10 | 2023-10-13 | 中电金信软件有限公司 | 对象识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111301280A (zh) | 一种危险状态识别方法及装置 | |
| CN106952303B (zh) | 车距检测方法、装置和系统 | |
| CN106515725A (zh) | 一种车辆防碰撞的方法及终端 | |
| CN109766755B (zh) | 人脸识别方法及相关产品 | |
| CN106815574B (zh) | 建立检测模型、检测接打手机行为的方法和装置 | |
| CN109086729B (zh) | 通信行为检测方法、装置、设备及存储介质 | |
| CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
| JP2017199303A (ja) | 識別装置、識別方法、識別プログラムおよび記録媒体 | |
| CN109878512A (zh) | 自动驾驶控制方法、装置、设备及计算机可读存储介质 | |
| CN113763670A (zh) | 一种报警方法及装置、电子设备和存储介质 | |
| US11315349B2 (en) | Method, apparatus and device for identifying passenger state in unmanned vehicle, and storage medium | |
| CN111259682B (zh) | 监控施工场所的安全的方法和装置 | |
| CN111931642A (zh) | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 | |
| CN110781728A (zh) | 一种人脸朝向估计方法、装置、电子设备及存储介质 | |
| CN109859085A (zh) | 安全预警方法及相关产品 | |
| CN110864876A (zh) | 车载娱乐系统测试方法、装置、设备及存储介质 | |
| CN108200282B (zh) | 应用启动方法、装置、存储介质及电子设备 | |
| CN110135300A (zh) | 儿童安全监控方法、装置、计算机设备及计算机可读存储介质 | |
| CN117392611A (zh) | 工地安全监测方法、系统、设备及存储介质 | |
| CN115171082B (zh) | 驾驶行为的检测方法、装置、电子设备及可读存储介质 | |
| EP4124504A1 (en) | Autonomous driving vehicle detection method and apparatus, electronic device and readable storage medium | |
| CN111474916A (zh) | 船舶航行自主避碰算法测试方法和装置 | |
| CN113051958A (zh) | 基于深度学习的驾驶员状态检测方法、系统、设备及介质 | |
| CN112307920B (zh) | 一种高风险工种作业人员行为预警装置及方法 | |
| CN111368590B (zh) | 一种情绪识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |