CN112926544A - 一种驾驶状态确定方法、装置、设备和存储介质 - Google Patents
一种驾驶状态确定方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112926544A CN112926544A CN202110389607.3A CN202110389607A CN112926544A CN 112926544 A CN112926544 A CN 112926544A CN 202110389607 A CN202110389607 A CN 202110389607A CN 112926544 A CN112926544 A CN 112926544A
- Authority
- CN
- China
- Prior art keywords
- driver
- position information
- driving state
- image information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Abstract
本发明公开了一种驾驶状态确定方法、装置、设备和存储介质，该方法包括：获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；比较所述第一位置信息和所第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。上述技术方案，可以通过驾驶员的第一图像信息，确定驾驶员手部的第二位置信息，比较第二位置信息和车辆方向盘的第一位置信息，并根据比较结果，确定驾驶员的驾驶状态，相比于通过驾驶员的面部特征确定驾驶状态，本申请可以根据驾驶员驾驶过程中手部状态，确定驾驶员的驾驶状态，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
Description
技术领域
本发明实施例涉及目标检测技术，尤其涉及一种驾驶状态确定方法、装置、设备和存储介质。
背景技术
在车辆行驶过程中，如果驾驶员驾驶状态发生改变，容易造成驾驶员注意力不集中，很容易导致车辆发生交通事故。目前为了避免因驾驶员状态发生改变导致交通事故发生，通常会在车辆中设置驾驶员状态检测设备。驾驶员状态检测设备可以检测驾驶员是否处于异常状态，在检测出驾驶员处于异常状态时可以对驾驶员进行提醒。
但是，目前的驾驶员状态检测设备通常只是通过对驾驶员的面部特征进行检测来判断驾驶员是否处于异常状态，但是驾驶员在处于异常状态时，除了面部特征发生变化外，肢体发生改变也会导致车辆发生交通事故，例如，驾驶员在驾车时手部离开方向盘进行打电话、吸烟等，而驾驶员状态检测设备并不能准确的检测到驾驶状态的改变，无法更加有效地降低车辆事故发生的概率。
所以，亟需一种驾驶状态确定方法，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
发明内容
本发明提供一种驾驶状态确定方法、装置、设备和存储介质，以提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
第一方面，本发明实施例提供了一种驾驶状态确定方法，包括：
获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；
根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；
比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
进一步地，根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息，包括：
根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息；
对所述身体图像信息进行关键点检测，确定所述驾驶员手部的第二位置信息。
进一步地，根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息，包括：
在预设目标检测网络内，基于预设检测框对所述第一图像信息进行目标检测，得到的输出结果为所述驾驶员的身体图像信息。
进一步地，所述预设检测框通过如下方式确定：
根据预设比例值、第一检测框的第一面积和第二检测框的第二面积，确定所述预设检测框的长度和宽度。
进一步地，所述预设目标检测网络通过如下方式得到：
获取训练图像信息，并对所述训练图像信息所包含的驾驶员进行标注，得到真实目标框；
将所述训练图像信息和所述真实目标框作为训练数据进行网络训练，并计算损失函数；
基于反向传播算法进行网络优化，直至所述损失函数收敛，得到所述预设目标检测网络。
进一步地，所述第二位置信息包括左手位置信息和右手位置信息，
相应地，比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态，包括：
分别比较所述左手位置信息、所述右手位置信息和所述第一位置信息；
如果所述左手位置信息与所述第一位置信息有交集，且所述右手位置信息与所述第一位置信息有交集，则确定驾驶状态为正常驾驶；
否则，确定驾驶状态为异常驾驶。
进一步地，在确定驾驶状态为异常驾驶之后，还包括：
基于视觉提醒模块发出的视觉信息，和/或听觉提醒模块发出的听觉信息，提醒驾驶员安全驾驶。
第二方面，本发明实施例还提供了一种驾驶状态确定装置，包括：
获取模块，用于获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；
第一执行模块，用于根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；
第二执行模块，用于比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
第三方面，本发明实施例还提供了一种驾驶状态确定设备，所述驾驶状态确定设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
图像获取装置，用于获取车辆内驾驶员的图像信息和方向盘的图像信息；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的驾驶状态确定方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的驾驶状态确定方法。
本发明提供一种驾驶状态确定方法，通过获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；比较所述第一位置信息和所第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。上述技术方案，可以通过驾驶员的第一图像信息，确定驾驶员手部的第二位置信息，再比较第二位置信息和车辆方向盘的第一位置信息，并根据比较结果，确定驾驶员的驾驶状态，相比于现有技术通过驾驶员的面部特征确定驾驶员的驾驶状态，本申请可以根据驾驶员驾驶过程中手部状态，确定驾驶员的驾驶状态，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
附图说明
图1为本发明实施例一提供的一种驾驶状态确定方法的流程图；
图2为本发明实施例二提供的一种驾驶状态确定方法的流程图；
图3为本发明实施例二提供的一种驾驶状态确定方法中得到预设目标检测网络的流程图；
图4为本发明实施例二提供的一种驾驶状态确定方法的实现流程图；
图5为本发明实施例三提供的一种驾驶状态确定装置的结构图；
图6为本发明实施例四提供的一种驾驶状态确定设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种驾驶状态确定方法的流程图，本实施例可适用于需要精确确定驾驶状态的情况，该方法可以由车辆系统来执行，具体包括如下步骤：
步骤110、获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息。
其中，车辆方向盘的第一位置信息可以为圆盘的位置信息，可以包括内圆的位置信息和外圆的位置信息。
具体地，可以首先获取车辆方向盘的第二图像信息和车辆内驾驶员的第一图像信息，然后可以基于相对坐标或者绝对坐标方式确定第一位置信息，由于内圆的位置信息和外圆的位置信息可以组成第一位置信息，所以可以通过内圆和外圆构成的圆环的位置信息确定第一位置信息。
另外，可以通过高清图像获取装置同时获取第二图像信息和第一图像信息，高清图像获取装置可以设置在车辆内不影响驾驶员驾驶视角的任意位置，例如，可以安装在后视镜一侧，且朝向驾驶员设置，以获取到较为完整的第二图像信息和第一图像信息。
本发明实施例中，可以实时获取车辆方向盘的第二图像信息和车辆内驾驶员的第一图像信息，并同时将第二图像信息和第一图像信息发送至车辆控制器用于对车辆内驾驶员的驾驶状态进行确定；还可以将获取到的第二图像信息和第一图像信息进行存储，监察人员可以根据车辆存储器中的第二图像信息和第一图像信息判定车辆内驾驶员一段时间内的驾驶状态是否正常。
步骤120、根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息。
其中，预设目标检测网络可以基于其检测框确定第一图像信息所包含的驾驶员的身体图像信息。
具体地，在将第一图像信息作为输入信息输入预设目标检测网络之后，预设目标检测网络可以基于其检测框确定第一图像信息所包含的驾驶员的身体图像信息，进而基于与前述步骤110同样的相对坐标或者绝对坐标方式，确定驾驶员的身体位置信息，进而可以通过人体姿态检测方法确定驾驶员手部的第二位置信息。
另外，驾驶员手部可以包括左手和右手，手部的第二位置信息可以包括左第二位置信息和右第二位置信息，左第二位置信息和右第二位置信息可以根据手部左手和右手的姿态进行确定，例如，手部中左手为伸开姿态，右手为握拳姿态，则左手面积可以大于右手面积，进而根据左第二位置信息确定的左手图像信息可以大于根据右第二位置信息确定的右手图像信息。
需要说明的是，左第一位置信息和右第二位置信息均可以为确定的矩形的位置信息。
还需要说明的是，预设目标检测网络可以根据包含身体图像信息的训练图像信息和对应的真实身体图像进行训练得到。
本发明实施例中，根据包含身体图像信息的训练图像信息和对应的真实身体图像进行训练得到的预设目标检测网络可以用于根据输入的第一图像信息，确定第一图像信息所包含的驾驶员的身体图像信息，进而可以根据驾驶员的身体图像信息确定驾驶员的身体位置信息，再通过人体姿态检测方法确定驾驶员手部的第二位置信息，得到了更加精确的手部位置信息。
步骤130、比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
其中，第一位置信息为方向盘的圆环状位置信息，第二位置信息为两个矩形位置信息。
具体地，可以分别比较圆环状位置信息和两个矩形位置信息，如果圆环状位置信息与两个矩形位置信息均有交集，则确定驾驶员的驾驶状态为正常，否则，确定驾驶员的驾驶状态为异常。
另外，还可以通过判定方向盘的第二图像信息和驾驶员的手部图像信息是否有重叠区域，确地驾驶员的双手是否都在方向盘上，进而确定驾驶员的驾驶状态。
本发明实施例中，可以通过判断驾驶员手部的第二位置信息和方向盘的第一位置信息是否有交集，确定驾驶员的驾驶状态；还可以通过判断驾驶员的手部图像信息与方向盘的第二图像信息是否有重叠区域，确定驾驶员的驾驶状态，实现了确定驾驶员的驾驶状态，提升确定驾驶状态的准确性。
本发明实施例一提供一种驾驶状态确定方法，通过获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；比较所述第一位置信息和所第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。上述技术方案，可以通过驾驶员的第一图像信息，确定驾驶员手部的第二位置信息，再比较第二位置信息和车辆方向盘的第一位置信息，并根据比较结果，确定驾驶员的驾驶状态，相比于现有技术通过驾驶员的面部特征确定驾驶员的驾驶状态，本申请可以根据驾驶员驾驶过程中手部状态，确定驾驶员的驾驶状态，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
实施例二
图2为本发明实施例二提供的一种驾驶状态确定方法的流程图，本实施例是在上述实施例的基础上进行具体化。在本实施例中，该方法还可以包括：
步骤210、获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息。
具体地，可以通过获取方向盘的第二图像信息确定方向盘的第一位置信息。
另外，在获取到第一图像信息和第二图像信息之后，可以对第一图像信息和第二图像信息进行处理，以提取第一图像信息和第二图像信息中的有效数据。其中，可以通过图像增强、图像复原和图像分割等处理方式实现对第一图像信息和第二图像信息的处理。
步骤220、根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息。
一种实施方式中，步骤220具体可以包括：
根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息；对所述身体图像信息进行关键点检测，确定所述驾驶员手部的第二位置信息。
由于手部位于人体的上半身，所以根据预设目标检测网络和第一图像信息，确定得到的驾驶员的身体图像信息可以为上半身身体图像信息。
其中，可以基于人体姿态检测方法对上半身身体图像信息进行关键点检测，以确定驾驶员手部的第二位置信息。
具体地，预设目标检测网络可以通过卷积提取第一图像信息的特征信息，进而根据特征信息确定驾驶员的身体图像信息。在关键点检测技术中，可以根据身体图像信息检测得到驾驶员手部的第二位置信息，此处的第二位置信息可以包括左第二位置信息和右第二位置信息。
本发明实施例中，可以首先根据第一图像信息，确定驾驶员的身体图像信息，其中，身体图像信息可以包括上半身身体图像信息，再在关键点检测技术的基础上，根据上半身身体图像信息，确定驾驶员手部的第二位置信息。
一种实施方式中，根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息，包括：
在预设目标检测网络内，基于预设检测框对所述第一图像信息进行目标检测，得到的输出结果为所述驾驶员的身体图像信息。
具体地，在预设目标检测网络中，根据图像信息中待检测物体的尺寸，可以选择不同尺寸的检测框，对待检测物体进行目标检测，一般来说，检测框的尺寸可以大于图像信息中待检测物体的尺寸，以从图像信息中获取到待检测物体较为完整的目标图像。
一种实施方式中，所述预设检测框通过如下方式确定：
根据预设比例值、第一检测框的第一面积和第二检测框的第二面积，确定所述预设检测框的长度和宽度。
其中，在现有的目标检测技术中，比例值可以包括1、2、3、1/2和1/3，由于本发明实施例中，只需根据第一图像信息获取到驾驶员上半身身体图像信息，所以本发明实施例中预设比例值可以为1/2和1/3。
本发明实施例中，第一检测框可以为最大检测框，第二检测框可以为最小检测框。
具体地，可以基于下述计算公式确定预设检测框的长度和宽度。
其中，
用于确定预设检测框的长度，
用于确定预设检测框的宽度。
另外，上述公式中，ar为预设比例值，smax为第一检测框的第一面积，即最大检测框的第一面积，smin为第二检测框的第二面积，即最小检测框的第二面积，m为进行预测时使用特征图的数量。
进而，可以计算得到预设检测框的长度可以为
预设检测框的宽度可以为
本发明实施例中，可以根据长度为
宽度为
的预设检测框对第一图像信息进行目标检测，以确定人体的上半身身体图像信息。
图3为本发明实施例二提供的一种驾驶状态确定方法中得到预设目标检测网络的流程图，如图3所示，一种实施方式中，所述预设目标检测网络通过如下方式得到：
步骤310、获取训练图像信息，并对所述训练图像信息所包含的驾驶员进行标注，得到真实目标框。
步骤320、将所述训练图像信息和所述真实目标框作为训练数据进行网络训练，并计算损失函数。
步骤330、基于反向传播算法进行网络优化，直至所述损失函数收敛，得到所述预设目标检测网络。
其中，可以从同一车辆的图像获取装置中获取训练图像信息，具体可以从图像获取装置中获取历史时间段内的车辆内驾驶员的图像信息作为训练图像信息。
标注工具可以为labelImg，标注信息为驾驶员。通过labelImg对训练图像信息中的驾驶员进行标注，以得到真实目标框。
另外，在获取到训练图像信息之后，还可以通过图像增强、图像复原和图像分割等处理方式对训练图像信息进行处理，以获取到有效的训练图像信息。
需要说明的是，损失函数可以为位置损失函数，位置损失函数可以表明真实目标框和预测目标框的位置偏置，具体函数在此不做具体信息，可以根据实际需求进行确定。
本发明实施例中，可以将训练图像信息作为训练集对预设目标检测网络进行训练，以使预设目标检测网络可以得到更加精确的人体上半身身体图像信息，训练得到的预设目标检测网络可以作为检测模块，对第一图像信息进行目标检测，以确定第一图像所包含的驾驶员的上半身身体图像信息。
步骤230、比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
一种实施方式中，所述第二位置信息包括左手位置信息和右手位置信息，
相应地，步骤230具体可以包括：
分别比较所述左手位置信息、所述右手位置信息和所述第一位置信息；如果所述左手位置信息与所述第一位置信息有交集，且所述右手位置信息与所述第一位置信息有交集，则确定驾驶状态为正常驾驶；否则，确定驾驶状态为异常驾驶。
具体地，左手位置信息为驾驶员左手所在区域，右手位置信息为驾驶员右手所在区域，第一位置信息为方向盘所在区域。比较左手位置信息和第一位置信息，如果左手位置信息和第一位置信息有交集，则继续比较右手位置信息和第一位置信息，如果右手位置信息和第一位置信息也有交集，则表明驾驶员的驾驶状态为正常驾驶。如果任一手部位置信息与第一位置信息没有交集，则表明驾驶员的驾驶状态为异常驾驶。
需要说明的是，可以比较左手位置信息和第一位置信息之后比较右手位置信息和第一位置信息，也可以比较右手位置信息和第一位置信息之后比较左手位置信息和第一位置信息，也可以同时比较左手位置信息、右手位置信息和第一位置信息。
本发明实施例中，通过确定左手和右手与方向盘是否有交集，确定驾驶员的驾驶状态，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
步骤240、基于视觉提醒模块发出的视觉信息，和/或，听觉提醒模块发出的听觉信息，提醒驾驶员安全驾驶。
其中，视觉提醒模块可以包括灯光播放装置，例如装载在车辆前侧或者车辆顶部的灯泡，听觉提醒模块可以包括声音播放装置，例如装载在车辆内任一位置的喇叭。
当视觉提醒模块为装载在车辆前侧或者车辆顶部的灯泡时，视觉信息可以为灯泡发出的亮光；当听觉提醒模块为装载在车辆内任一位置的喇叭时，听觉信息可以为喇叭发出的声音。灯泡发出的亮光和/或喇叭发出的声音可以提醒驾驶员安全驾驶，降低车辆事故发生的概率。
本发明实施例中，在确定任一手部位置信息与第一位置信息没有交集，表明驾驶员的驾驶状态为异常驾驶后，可以触发视觉提醒模块和/或听觉提醒模块，以提醒驾驶员安全驾驶。
本发明实施例二提供一种驾驶状态确定方法，通过获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；比较所述第一位置信息和所第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。上述技术方案，可以通过驾驶员的第一图像信息，确定驾驶员手部的第二位置信息，再比较第二位置信息和车辆方向盘的第一位置信息，并根据比较结果，确定驾驶员的驾驶状态，相比于现有技术通过驾驶员的面部特征确定驾驶员的驾驶状态，本申请可以根据驾驶员驾驶过程中手部状态，确定驾驶员的驾驶状态，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
另外，在驾驶员的驾驶状态为异常驾驶时，可以触发视觉提醒模块和/或听觉提醒模块，以提醒驾驶员安全驾驶，进一步降低车辆事故发生的概率。
图4为本发明实施例二提供的一种驾驶状态确定方法的实现流程图，示例性的给出了其中一种实现方式。如图4所示，本发明实施例二提供的一种驾驶状态确定方法的实现方式包括以下步骤：
步骤410、采集车辆内驾驶员的第一图像信息和车辆内方向盘的第二图像信息；
步骤420、对采集到的第一图像信息进行人员检测，确定驾驶员的上半身图像信息为A1；
步骤430、确定第二图像信息中方向盘的位置信息A2；
步骤440、基于人体姿态检测方法，根据A1确定左手位置信息AL和右手位置信息AR；
步骤450、如果AL与A2有交集且AR与A2有交集，则确定驾驶员的驾驶状态为正常驾驶，否则，确定驾驶员的驾驶状态为异常驾驶；
步骤460、驾驶员的驾驶状态为异常驾驶时，提醒驾驶员安全驾驶。
本发明实施例二提供一种驾驶状态确定方法的实现方式，通过采集车辆内驾驶员的第一图像信息和车辆内方向盘的第二图像信息；对采集到的第一图像信息进行人员检测，确定驾驶员的上半身图像信息为A1；确定第二图像信息中方向盘的位置信息A2；基于人体姿态检测方法，根据A1确定左手位置信息AL和右手位置信息AR；如果AL与A2有交集且AR与A2有交集，则确定驾驶员的驾驶状态为正常驾驶，否则，确定驾驶员的驾驶状态为异常驾驶；驾驶员的驾驶状态为异常驾驶时，提醒驾驶员安全驾驶。实现根据驾驶员驾驶过程中手部状态，确定驾驶员的驾驶状态，并且当驾驶状态为异常驾驶时，提醒驾驶员安全驾驶，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
实施例三
图5为本发明实施例三提供的一种驾驶状态确定装置的结构图，该装置可以适用于需要精确确定驾驶状态的情况，提高确定驾驶状态的准确性，进一步降低车辆事故发生的概率。该装置可以通过软件和/或硬件实现，并一般集成在车辆系统中。
如图5所示，该装置包括：
获取模块510，用于获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；
第一执行模块520，用于根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；
第二执行模块530，用于比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
本发明实施例三提供的一种驾驶状态确定装置，通过获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；比较所述第一位置信息和所第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。上述技术方案，可以通过驾驶员的第一图像信息，确定驾驶员手部的第二位置信息，再比较第二位置信息和车辆方向盘的第一位置信息，并根据比较结果，确定驾驶员的驾驶状态，相比于现有技术通过驾驶员的面部特征确定驾驶员的驾驶状态，本申请可以根据驾驶员驾驶过程中手部状态，确定驾驶员的驾驶状态，提升确定驾驶状态的准确性，进一步降低车辆事故发生的概率。
在上述实施例的基础上，第一执行模块520，具体用于：
根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息；
对所述身体图像信息进行关键点检测，确定所述驾驶员手部的第二位置信息。
一种实施方式中，根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息，包括：
在预设目标检测网络内，基于预设检测框对所述第一图像信息进行目标检测，得到的输出结果为所述驾驶员的身体图像信息。
一种实施方式中，所述预设检测框通过如下方式确定：
根据预设比例值、第一检测框的第一面积和第二检测框的第二面积，确定所述预设检测框的长度和宽度。
一种实施方式中，所述预设目标检测网络通过如下方式得到：
获取训练图像信息，并对所述训练图像信息所包含的驾驶员进行标注，得到真实目标框；
将所述训练图像信息和所述真实目标框作为训练数据进行网络训练，并计算损失函数；
基于反向传播算法进行网络优化，直至所述损失函数收敛，得到所述预设目标检测网络。
在上述实施例的基础上，所述第二位置信息包括左手位置信息和右手位置信息，
相应地，第二执行模块530具体用于：
分别比较所述左手位置信息、所述右手位置信息和所述第一位置信息；
如果所述左手位置信息与所述第一位置信息有交集，且所述右手位置信息与所述第一位置信息有交集，则确定驾驶状态为正常驾驶；
否则，确定驾驶状态为异常驾驶。
在上述实施例的基础上，该装置还包括：
提醒模块，用于基于视觉提醒模块发出的视觉信息，和/或听觉提醒模块发出的听觉信息，提醒驾驶员安全驾驶。
本发明实施例三所提供的驾驶状态确定装置可执行本发明任意实施例所提供的驾驶状态确定方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种驾驶状态确定设备的结构示意图，如图6所示，该驾驶状态确定设备包括处理器610、存储器620和图像获取装置630；驾驶状态确定设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；驾驶状态确定设备中的处理器610、存储器620和图像获取装置630可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的驾驶状态确定方法对应的程序指令/模块(例如，驾驶状态确定装置中的获取模块510、第一执行模块520和第二执行530)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行驾驶状态确定设备的各种功能应用以及数据处理，即实现上述的驾驶状态确定方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至驾驶状态确定设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像获取装置630，用于获取车辆内驾驶员的图像信息和方向盘的图像信息。
本发明实施例提供的驾驶状态确定设备可以执行上述实施例提供的驾驶状态确定方法，具备相应的功能和有益效果。
实施例五
本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种驾驶状态确定方法，该方法包括：
获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；
根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；
比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的驾驶状态确定方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述驾驶状态确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种驾驶状态确定方法，其特征在于，包括：
获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；
根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；
比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
2.根据权利要求1所述的驾驶状态确定方法，其特征在于，根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息，包括：
根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息；
对所述身体图像信息进行关键点检测，确定所述驾驶员手部的第二位置信息。
3.根据权利要求2所述的驾驶状态确定方法，其特征在于，根据所述预设目标检测网络和所述第一图像信息，确定所述驾驶员的身体图像信息，包括：
在预设目标检测网络内，基于预设检测框对所述第一图像信息进行目标检测，得到的输出结果为所述驾驶员的身体图像信息。
4.根据权利要求3所述的驾驶状态确定方法，其特征在于，所述预设检测框通过如下方式确定：
根据预设比例值、第一检测框的第一面积和第二检测框的第二面积，确定所述预设检测框的长度和宽度。
5.根据权利要求1所述的驾驶状态确定方法，其特征在于，所述预设目标检测网络通过如下方式得到：
获取训练图像信息，并对所述训练图像信息所包含的驾驶员进行标注，得到真实目标框；
将所述训练图像信息和所述真实目标框作为训练数据进行网络训练，并计算损失函数；
基于反向传播算法进行网络优化，直至所述损失函数收敛，得到所述预设目标检测网络。
6.根据权利要求1所述的驾驶状态确定方法，其特征在于，所述第二位置信息包括左手位置信息和右手位置信息，
相应地，比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态，包括：
分别比较所述左手位置信息、所述右手位置信息和所述第一位置信息；
如果所述左手位置信息与所述第一位置信息有交集，且所述右手位置信息与所述第一位置信息有交集，则确定驾驶状态为正常驾驶；
否则，确定驾驶状态为异常驾驶。
7.根据权利要求6所述的驾驶状态确定方法，其特征在于，在确定驾驶状态为异常驾驶之后，还包括：
基于视觉提醒模块发出的视觉信息，和/或听觉提醒模块发出的听觉信息，提醒驾驶员安全驾驶。
8.一种驾驶状态确定装置，其特征在于，包括：
获取模块，用于获取车辆方向盘的第一位置信息和所述车辆内驾驶员的第一图像信息；
第一执行模块，用于根据预设目标检测网络和所述第一图像信息，确定所述驾驶员手部的第二位置信息；
第二执行模块，用于比较所述第一位置信息和所述第二位置信息，并根据比较结果，确定所述驾驶员的驾驶状态。
9.一种驾驶状态确定设备，其特征在于，所述驾驶状态确定设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
图像获取装置，用于获取车辆内驾驶员的图像信息和方向盘的图像信息；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的驾驶状态确定方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的驾驶状态确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110389607.3A CN112926544A (zh) | 2021-04-12 | 2021-04-12 | 一种驾驶状态确定方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110389607.3A CN112926544A (zh) | 2021-04-12 | 2021-04-12 | 一种驾驶状态确定方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112926544A true CN112926544A (zh) | 2021-06-08 |
Family
ID=76174120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110389607.3A Pending CN112926544A (zh) | 2021-04-12 | 2021-04-12 | 一种驾驶状态确定方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926544A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495073A (zh) * | 2022-01-29 | 2022-05-13 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
| CN115171082A (zh) * | 2022-06-29 | 2022-10-11 | 北京百度网讯科技有限公司 | 驾驶行为的检测方法、装置、电子设备及可读存储介质 |
| CN115471826A (zh) * | 2022-08-23 | 2022-12-13 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
-
2021
- 2021-04-12 CN CN202110389607.3A patent/CN112926544A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495073A (zh) * | 2022-01-29 | 2022-05-13 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
| CN115171082A (zh) * | 2022-06-29 | 2022-10-11 | 北京百度网讯科技有限公司 | 驾驶行为的检测方法、装置、电子设备及可读存储介质 |
| CN115171082B (zh) * | 2022-06-29 | 2024-01-19 | 北京百度网讯科技有限公司 | 驾驶行为的检测方法、装置、电子设备及可读存储介质 |
| CN115471826A (zh) * | 2022-08-23 | 2022-12-13 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN115471826B (zh) * | 2022-08-23 | 2024-03-26 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112926544A (zh) | 一种驾驶状态确定方法、装置、设备和存储介质 | |
| US10896626B2 (en) | Method, computer readable storage medium and electronic equipment for analyzing driving behavior | |
| JP5712968B2 (ja) | 人検出装置 | |
| EP3716194A1 (en) | Method and device for processing vehicle loss assessment data and processing device | |
| CN111552368A (zh) | 一种车载人机交互方法及车载设备 | |
| CN111144330B (zh) | 一种基于深度学习的车道线检测方法、装置以及设备 | |
| CN110765807A (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| US20220004788A1 (en) | Method and Device for Detecting State of Holding Steering Wheel | |
| CN108449954B (zh) | U形转弯辅助 | |
| WO2022027894A1 (zh) | 驾驶员行为检测方法、装置、电子设备、存储介质和程序 | |
| CN105139583A (zh) | 基于便携式智能设备的车辆危险提醒方法 | |
| WO2013186984A1 (ja) | 人検出装置 | |
| CN113743254B (zh) | 视线估计方法、装置、电子设备及存储介质 | |
| CN111176443B (zh) | 一种车载智能系统及其控制方法 | |
| CN112466147A (zh) | 一种基于多传感器的库位检测方法及相关装置 | |
| CN114550145A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
| CN105034804A (zh) | 车辆主动安全控制方法与系统 | |
| JP2015141553A (ja) | 危険回避制御装置、危険回避制御方法およびプログラム | |
| CN113743312A (zh) | 一种基于车载终端的影像校正方法及装置 | |
| CN110705483B (zh) | 驾驶提醒方法、装置、终端及存储介质 | |
| US10661733B2 (en) | Interaction method, interaction apparatus and vehicle-mounted device | |
| US9881233B2 (en) | Image recognition apparatus | |
| JP6098476B2 (ja) | 運転支援装置 | |
| CN113581196A (zh) | 一种车辆行驶预警的方法、装置、计算机设备及存储介质 | |
| CN112233447A (zh) | 变道提醒方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |