CN112149589A - 车内驾驶员行为识别方法及装置 - Google Patents

车内驾驶员行为识别方法及装置 Download PDF

Info

Publication number
CN112149589A
CN112149589A CN202011040952.8A CN202011040952A CN112149589A CN 112149589 A CN112149589 A CN 112149589A CN 202011040952 A CN202011040952 A CN 202011040952A CN 112149589 A CN112149589 A CN 112149589A
Authority
CN
China
Prior art keywords
behavior
driver
vehicle
feature
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011040952.8A
Other languages
English (en)
Other versions
CN112149589B (zh
Inventor
胡方健
余程鹏
王小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Leading Technology Co Ltd
Original Assignee
Nanjing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Technology Co Ltd filed Critical Nanjing Leading Technology Co Ltd
Priority to CN202011040952.8A priority Critical patent/CN112149589B/zh
Publication of CN112149589A publication Critical patent/CN112149589A/zh
Application granted granted Critical
Publication of CN112149589B publication Critical patent/CN112149589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明是关于一种车内驾驶员行为识别方法及装置，涉及网络识别技术领域，本发明包括：从拍摄的车内驾驶员的视频中抽取多帧图像；针对抽取的每帧图像，获取该图像的特征图；将各帧图像的特征图进行组合，得到组合图，以及采用组合图识别车内驾驶员的行为；其中组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。由于本发明实施例能够综合视频中的多张图像的时序上具有连续性的特点对车内驾驶员的行为进行识别，提高了准确率，同时加入损失函数，调整训练样本不均衡，压缩了模型体积。

Description

车内驾驶员行为识别方法及装置
技术领域
本发明涉及网络识别技术领域，尤其涉及一种车内驾驶员行为识别方法及装置。
背景技术
驾驶车辆出行依然是人们的重要选择，车内驾驶员在行驶的过程中会出现危险驾驶的行为，如抽烟、打电话等行为。轻则会影响其他车内人员的体验，重则造成交通安全事故给人民财产带来安全事故。
目前，通过拍摄车内驾驶员的视频，然后对视频中的图像帧一一进行识别，直到识别到车内驾驶员是否出现危险驾驶的行为。
然而，对于车内驾驶员的危险驾驶行为是系列动作组成的，现有的识别方式为单帧识别时，导致识别的准确率不高。
发明内容
本发明提供一种车内驾驶员行为识别方法及装置，增加了时间维度识别车内驾驶员的行为，提高了识别的准确率。
第一方面，本发明实施例提供的一种车内驾驶员行为识别方法，包括：
从拍摄的车内驾驶员的视频中抽取多帧图像；
针对抽取的每帧图像，获取该图像的特征图；
将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为；其中所述组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
上述方法，将拍摄的车内驾驶员的视频中的多帧图像提取出特征图，并按照拍摄各帧特向的时间顺序组合多种图像的特征图，采用组合后的特征图识别车内驾驶员的行为，本发明增加了时间维度的特征图进行识别驾驶员的行为，提高了识别的准确率。
在一种可能的实现方式中，所述方法还包括：
若前一次识别到车内驾驶员的行为属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第一预设间隔后，从所述第一预设间隔拍摄的车内驾驶员的视频中抽取多帧图像；或
若前一次识别到车内驾驶员的行为不属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第二预设间隔后，从所述第二预设间隔拍摄的车内驾驶员的视频中抽取多帧图像，其中，第一预设间隔大于所述第二预设间隔。
上述方法，能够在之前识别到车内驾驶员的行为属于预设的危险驾驶行为时，加大监控间隙，在之前识别到车内驾驶员的行为不属于预设的危险驾驶行为时减少监控间隙，从而能够减低监控次数，节约能耗。
在一种可能的实现方式中，所述将各帧图像的特征图进行组合，得到组合图，包括：
将当前特征图与前一个组合特征图进行组合得到当前组合特征图，以及将所述当前组合特征图与下一个特征图进行组合，直到所有的特征图均完成组合为止，将最后一个组合特征图作为组合图；其中，第一个组合特征图为各帧图像中拍摄最早的图像的特征图；最后一个当前特征图为各帧图像中拍摄最晚的图像的特征图；
其中，每次特征图与组合特征图进行组合都包括如下步骤：
针对特征图中每个特征，若该特征为驾驶员手部以及手部周围的特征，则根据组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征；或
若该特征不为驾驶员手部以及手部周围的特征，则将组合特征图中与该特征相同位置处的组合特征作为组合后的特征。
上述方法，能够在组合时，将前一个组合特征图作为输入，与当前特征图进行组合，将符合要求的当前特征图中的特征保留，不符合要求的当前特征剔除，从而得到组合后的特征，这样能够提高识别精度。
在一种可能的实现方式中，所述针对每帧图像，获取该图像的特征图，包括：
通过特征提取网络，针对每帧图像，获取该图像的特征图；
所述将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为，包括：
通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
上述方法，能够通过特征提取网络实现特征图的提取，通过行为识别网络实现识别车内驾驶员的行为，本发明通过网络识别，提高了识别的准确率。
在一种可能的实现方式中，其中，所述特征提取网络和行为识别网络的训练过程，包括：
对第一基础神经网络和第二基础神经网络进行多轮训练，得到所述第一基础神经网络训练后的特征提取网络和所述第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为所述第一基础神经网络的输入，将所述样本图像的特征图作为所述第一基础神经网络的输出；将所述第一基础神经网络在该轮的输出作为所述第二基础神经网络的输入，将车内驾驶员的行为作为所述第二基础神经网络的输出；
在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
上述方法，能够将特征提取网络和行为识别网络一起进行训练，且确定当前标签中车内驾驶员行为的类型对应的损失函数的参数值，这样对于不同标签具有不同的损失函数的参数值，解决危险驾驶行为样本少，训练的样本不均衡，从而减少模型体积，在嵌入设备上提高推理速度。
在一种可能的实现方式中，其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
上述方法，能够通过标签属于驾驶行为的每种类型的样本图像的总个数之间的比值，确定损失函数的参数，从而能够平衡样本不均衡的问题。
第二方面，本发明实施例提供的一种车内驾驶员行为识别装置，包括：
抽取模块，用于从拍摄的车内驾驶员的视频中抽取多帧图像；
特征图模块，用于针对抽取的每帧图像，获取该图像的特征图；
识别模块，用于将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为；其中所述组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
在一种可能的实现方式中，抽取模块，具体用于：
若前一次识别到车内驾驶员的行为属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第一预设间隔后，从所述第一预设间隔拍摄的车内驾驶员的视频中抽取多帧图像；或
若前一次识别到车内驾驶员的行为不属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第二预设间隔后，从所述第二预设间隔拍摄的车内驾驶员的视频中抽取多帧图像，其中，第一预设间隔大于所述第二预设间隔。
在一种可能的实现方式中，识别模块，具体用于：
将当前特征图与前一个组合特征图进行组合得到当前组合特征图，以及将所述当前组合特征图与下一个特征图进行组合，直到所有的特征图均完成组合为止，将最后一个组合特征图作为组合图；其中，第一个组合特征图为各帧图像中拍摄最早的图像的特征图；最后一个当前特征图为各帧图像中拍摄最晚的图像的特征图；
其中，每次特征图与组合特征图进行组合都包括如下步骤：
针对特征图中每个特征，若该特征为驾驶员手部以及手部周围的特征，则根据组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征；或
若该特征不为驾驶员手部以及手部周围的特征，则将组合特征图中与该特征相同位置处的组合特征作为组合后的特征。
在一种可能的实现方式中，特征图模块，具体用于通过特征提取网络，针对每帧图像，获取该图像的特征图；
识别模块，具体用于通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
在一种可能的实现方式中，所述处理器具体用于：
训练模块，用于对第一基础神经网络和第二基础神经网络进行多轮训练，得到所述第一基础神经网络训练后的特征提取网络和所述第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为所述第一基础神经网络的输入，将所述样本图像的特征图作为所述第一基础神经网络的输出；将所述第一基础神经网络在该轮的输出作为所述第二基础神经网络的输入，将车内驾驶员的行为作为所述第二基础神经网络的输出；
在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
在一种可能的实现方式中，其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
第三方面，本申请还提供一种存储介质，当所述存储介质中的指令由电子计算设备的处理器执行时，使得所述电子计算设备能够执行如第一方面实施例任一项所述的车内驾驶员行为识别方法。
另外，第二方面至第三方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种应用场景的示意图；
图2是本发明实施例提供的一种车内驾驶员行为识别方法的流程图；
图3是本发明实施例提供的一种通过网络识别车内驾驶员行为的原理示意图；
图4是本发明实施例提供的一种车内驾驶员行为识别装置的结构框图；
图5是本发明实施例提供的一种车内驾驶员行为识别的系统的结构图；
图6是本发明实施例提供的一种电子计算设备的结构图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面对文中出现的一些词语进行解释：
1、本发明实施例中术语“电子计算设备”指任何能够按照程序运行，自动、高速处理大量数据的智能电子计算设备，包含车载终端、手机、计算机、平板、智能终端、多媒体设备、流媒体设备等。
结合图1所示，在车辆行驶过程中，对车内的驾驶员的区域进行拍摄，录制车内的驾驶员的视频，其中拍摄使用的摄像头可以设置在车载终端上。然后通过拍摄的视频识别车内的驾驶员是否有危险驾驶行为，如果有，可以通过车内的车载终端上的喇叭对车内的驾驶员进行告警。如果没有，则继续进行检测。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义。
对于图1中的检测行为，目前对视频中的每帧图像均进行识别，识别单帧图像中车内的驾驶员的行为是否属于预设的危险驾驶行为，然而由于驾驶员的动作是连续的，所以对于行为识别时仅采用单张图像进行识别，会导致准确率不高。
针对上述问题，本发明实施例提供了一种车内驾驶员行为识别方法，能够将多帧图像按照各帧图像的时间顺序组合，采用组合后的图像进行车内的驾驶员的行为识别，从而在识别时增加了时间维度，提高了识别的准确率。
以下通过附图进行具体介绍：
结合图2所示，本发明实施例提供了一种车内驾驶员行为识别方法，包括：
S200：从拍摄的车内驾驶员的视频中抽取多帧图像。
其中，再结合图1所示的场景中，从摄像头中拍摄出车内驾驶员的视频。
需要说明的是，对于从视频中抽取多帧图像的数量，由于拍摄2秒的视频即可产生200多张图像，且快速照相过程中由于前后时间相差很少，所以拍摄的驾驶员的动作幅度很小，为了提高处理速度，可以从拍摄的视频的图像帧中抽取预设数量的图像作为后续处理数据。
S201：针对抽取的每帧图像，获取该图像的特征图。
S202：将各帧图像的特征图进行组合，得到组合图，以及采用组合图识别车内驾驶员的行为；其中组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
S203：若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
其中预设的危险驾驶行为可以为抽烟或者打电话等。
其中告警处理可以为对车内的驾驶员发出预设的语音告警信息，例如当识别出车内驾驶员的行为属于预设的危险驾驶行为，则通过车内的喇叭播放预设的语音告警信息，语音告警信息为：您的行为属于危险驾驶行为，请安全驾驶。
或者将识别出的车内驾驶员的行为属于预设的危险驾驶行为填入预设的告警模板中，通过车内的喇叭播放填入车内驾驶员的行为的告警模板。
例如，告警模板为：您的(……)行为属于危险驾驶行为，请安全驾驶。当识别出车内驾驶员的行为为抽烟行为，那么通过喇叭播放的内容为：您的抽烟行为属于危险驾驶行为，请安全驾驶。
当识别出车内驾驶员的行为为打电话行为，那么通过喇叭播放的内容为：您的打电话行为属于危险驾驶行为，请安全驾驶。
在本发明实施例中，针对抽取的每帧图像，获取该图像的特征图的步骤可以为：针对抽取的每帧图像，提取该图像中驾驶员手部以及手部周围的特征组成该图像的特征图。
其中，本发明实施例中提到的特征图可以采用特征向量表示。
进一步的，本发明实施例还提出通过特征提取网络，针对每帧图像，获取该图像的特征图。
其中，特征提取网络可以以CNN(Convolutional Neural Networks，卷积神经网络)为基础神经网络训练得到。
在本发明实施例中，将各帧图像的特征图进行组合，得到组合图的步骤可以为：
将当前特征图与前一个组合特征图进行组合得到当前组合特征图，以及将所述当前组合特征图与下一个特征图进行组合，直到所有的特征图均完成组合为止，将最后一个组合特征图作为组合图；其中，第一个组合特征图为各帧图像中拍摄最早的图像的特征图；最后一个当前特征图为各帧图像中拍摄最晚的图像的特征图；
其中，每次特征图与组合特征图进行组合都包括如下步骤：
针对特征图中每个特征，若该特征为驾驶员手部以及手部周围的特征，则根据组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征；或
若该特征不为驾驶员手部以及手部周围的特征，则将组合特征图中与该特征相同位置处的组合特征作为组合后的特征。
例如，各帧的特征图按照拍摄各帧图像的时间顺序分别为特征图1、特征图2、特征图3、特征图4、……、特征图32，32个特征图。各帧图像中拍摄最早的图像的特征图为特征图1，将特征图1作为第一个组合特征图，然后判断特征图2中每个特征是否为驾驶员手部以及手部周围的特征，如果是，则将特征图1中与该特征相同位置处的组合特征与该特征，得到组合后的特征，如果不是，则特征图1中与该特征相同位置处的组合特征为组合后的特征，通过组合后的特征行为第二个组合特征图，然后判断特征图3中每个特征是否为驾驶员手部以及手部周围的特征，如果是，则将第二个组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征，如果不是，则第二个组合特征图中与该特征相同位置处的组合特征为组合后的特征，通过组合后的特征行为第三个组合特征图，依次类图，将特征图32为各帧图像中拍摄最晚的图像的特征图，得到的最后一个组合特征图作为组合图。
进一步的，本发明实施例还提出通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
其中，行为识别网络可以以LSTM(Long Short–Term Memory，长时记忆网络)为基础神经网络训练得到。
通过上述介绍内的内容，以下介绍一个示例，结合图3所示，以t、t+1、t+2、t+3，连续4个时间获取的图像进行识别车内驾驶员异常行为。
首先将t时间的图像X(t)输入到特征提取网络(CNN网络)中，得到t时间的图像的特征图1，将t时间的图像的特征图Z(t)保存；
将t+1时间的图像X(t+1)输入到特征提取网络(CNN网络)中，得到t+1时间的图像的特征图2，将t+1时间的图像的特征图Z(t+1)保存；
将t+2时间的图像X(t+2)输入到特征提取网络(CNN网络)中，得到t+2时间的图像的特征图3，将t+2时间的图像的特征图Z(t+2)保存；
将t+3时间的图像X(t+3)输入到特征提取网络(CNN网络)中，得到t+3时间的图像的特征图4，将t+3时间的图像的特征图Z(t+3)保存；
将t时间的图像的特征图Z(t+3)、t+1时间的图像的特征图Z(t+1)、t+2时间的图像的特征图Z(t+2)、t+3时间的图像的特征图Z(t+3)输入到行为识别网络(LSTM网络)中，通过行为识别网络(LSTM网络)将上述特征图通过上述介绍的方式，组合成一个组合图。
然后通过组合图进行分类，确定分类出车内驾驶员的行为，例如，正常行为、抽烟行为、打电话行为等。
其中，特征提取网络的基础算式(1)，即第一基础神经网络的算式，为：
Z(t)＝fCNN(X(t)) (1)
行为识别网络的基础算式(2)和算式(3)，即第一基础神经网络的算式，为：
Y＝fLSTM(Z(t),Z(t+1),Z(t+2),Z(t+3)...) (1)
Figure BDA0002706625430000111
在通过上述网络进行识别时，需要先对算式1～3中的参数进行赋值，也就是说需要先进行训练，将算式1～3的参数确定，从而能够通过参数确定后的算式得到车内驾驶员的行为。
由于特征提取网络和行为识别网络共同完成识别车内驾驶员的行为的任务，所以，为了提高效率，特征提取网络和行为识别网络可以一起进行训练，具体一起训练的过程为：
在训练之前，首先需要采集样本图像，然后对样本图像进行标签，例如，样本图像中车内的驾驶员的行为为正常行为，则标签为正常行为，如果样本图像中车内的驾驶员的行为为抽烟行为，则标签为抽烟行为，如果样本图像中车内的驾驶员的行为为打电话行为，则标签为打电话行为。
然后，对第一基础神经网络和第二基础神经网络进行多轮训练，对算式(1)～算式(3)进行多轮训练，得到第一基础神经网络训练后的特征提取网络和第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为第一基础神经网络的输入，将样本图像的特征图作为第一基础神经网络的输出；将第一基础神经网络在该轮的输出作为第二基础神经网络的输入，将车内驾驶员的行为作为第二基础神经网络的输出。
需要说明的是由于第一基础神经网络和第二基础神经网络时一起训练的，，则无需确定第一基础神经网络输出的内容做一个标签，因为第一基础神经网络的输出作为第二基础神经网络的输入，所以第一基础神经网络输出的内容为中间内容，只需确定第一基础神经网络输入的内容，以及第二基础神经网络输出的内容，将第一基础神经网络输入的内容的标签，作为与第二基础神经网络输出的内容进行损失函数计算时的基础。
其中，在调整算式(1)～算式(3)的参数时，可以采用反向演播方进行调整，反向演播时所采用如下算式例如：
Figure BDA0002706625430000121
设
Figure BDA0002706625430000122
Figure BDA0002706625430000123
Figure BDA0002706625430000124
其中，pi为第i轮的第二基础神经网络的输出，w为第一基础神经网络和第二基础神经网络的权重，wi为第i个参数，算式(4)为损失函数，算式(5)为部分损失函数，算式(6)和算式(7)为反向演播算法的公式。
其中，为了减少参数压缩模型，可以将损失函数中的w前加入参数，得到正则化的w，可表示为λ||w||。
反向传播训练中算式(7)进行稀疏化训练，第一基础神经网络和第二基础神经网络的权重w中有接近或者等于0，将接近于0的参数设置为0，第一基础神经网络和第二基础神经网络提取的特征不需要和0相乘，从而减小了参数和计算量。方便压缩模型，减小模型体积，提高训练速度。
由于采集样本时，很可能危险驾驶行为的样本比较少，即抽烟、打电话的行为等的样本比较少，为了提高训练出来的网络的鲁棒性，在样本中动态调整损失函数的参数值，从而增加样本图像的标签属于危险驾驶行为对第一基础神经网络和第二基础神经网络的参数的调整力度。
具体来说：
算式(4)中W1、W2为损失函数的参数，在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，即确定W1、W2的数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
例如，当车内驾驶员行为的类型为抽烟行为、打电话行为以及正常驾驶行为，样本图像的标签属于正常行为，即不属于预设的危险驾驶行为的样本图像个数为200个，抽烟行为的样本图像个数为20个，打电话行为的样本图像个数为60个，那么根据60:20:200的比例，分别确定出不属于预设的危险驾驶行为时的损失函数的参数，属于打电话行为时的损失函数的参数，属于抽烟行为时的损失函数的参数。
在每轮训练过程中，如果确定样本图像的标签中的车内驾驶员的行为的类型为正常行为，则采用正常行为对应的参数的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值。
在每轮训练时，如果确定样本图像的标签中的车内驾驶员的行为的类型为抽烟行为，则根据比例确定的抽烟行为的参数的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值。
在每轮训练时，如果确定样本图像的标签中的车内驾驶员的行为的类型为打电话行为，则根据比例确定的打电话行为的参数的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值。
如需要说明的是，损失函数的参数，可以为一个参数、两个参数或者三个参数，对此本发明不作具体限制。
其中，在训练过程中用户可以对预设的权重值的大小进行调整。
本发明实施例还提供了一种车内驾驶员行为识别装置，结合图4所示，包括：
抽取模块410，用于从拍摄的车内驾驶员的视频中抽取多帧图像；
特征图模块420，用于针对抽取的每帧图像，获取该图像的特征图；
识别模块430，用于将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为；其中所述组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
告警模块440，用于若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
可选的，所述装置，还包括：检测时间模块，用于若前一次识别到车内驾驶员的行为属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第一预设间隔后，从所述第一预设间隔拍摄的车内驾驶员的视频中抽取多帧图像；或若前一次识别到车内驾驶员的行为不属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第二预设间隔后，从所述第二预设间隔拍摄的车内驾驶员的视频中抽取多帧图像，其中，第一预设间隔大于所述第二预设间隔。
可选的，识别模块420，具体用于：
将当前特征图与前一个组合特征图进行组合得到当前组合特征图，以及将所述当前组合特征图与下一个特征图进行组合，直到所有的特征图均完成组合为止，将最后一个组合特征图作为组合图；其中，第一个组合特征图为各帧图像中拍摄最早的图像的特征图；最后一个当前特征图为各帧图像中拍摄最晚的图像的特征图；
其中，每次特征图与组合特征图进行组合都包括如下步骤：
针对特征图中每个特征，若该特征为驾驶员手部以及手部周围的特征，则根据组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征；或
若该特征不为驾驶员手部以及手部周围的特征，则将组合特征图中与该特征相同位置处的组合特征作为组合后的特征。
可选的，特征图模块420，具体用于通过特征提取网络，针对每帧图像，获取该图像的特征图；
识别模块420，具体用于通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
可选的，所述装置还包括：
训练模块，用于对第一基础神经网络和第二基础神经网络进行多轮训练，得到所述第一基础神经网络训练后的特征提取网络和所述第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为所述第一基础神经网络的输入，将所述样本图像的特征图作为所述第一基础神经网络的输出；将所述第一基础神经网络在该轮的输出作为所述第二基础神经网络的输入，将车内驾驶员的行为作为所述第二基础神经网络的输出；
在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
可选的，其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
本发明实施例还提供了一种电子计算设备，该电子计算设备包括：存储器和处理器；其中，该电子计算设备可以为车载终端。
所述存储器用于存储拍照设备运行时所使用的程序代码；
所述处理器用于执行所述程序代码，以实现如下过程：
从拍摄的车内驾驶员的视频中抽取多帧图像；
针对抽取的每帧图像，获取该图像的特征图；
将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为；其中所述组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
可选的，所述处理器还用于：
若前一次识别到车内驾驶员的行为属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第一预设间隔后，从所述第一预设间隔拍摄的车内驾驶员的视频中抽取多帧图像；或
若前一次识别到车内驾驶员的行为不属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第二预设间隔后，从所述第二预设间隔拍摄的车内驾驶员的视频中抽取多帧图像，其中，第一预设间隔大于所述第二预设间隔。
可选的，所述处理器具体用于：
将当前特征图与前一个组合特征图进行组合得到当前组合特征图，以及将所述当前组合特征图与下一个特征图进行组合，直到所有的特征图均完成组合为止，将最后一个组合特征图作为组合图；其中，第一个组合特征图为各帧图像中拍摄最早的图像的特征图；最后一个当前特征图为各帧图像中拍摄最晚的图像的特征图；
其中，每次特征图与组合特征图进行组合都包括如下步骤：
针对特征图中每个特征，若该特征为驾驶员手部以及手部周围的特征，则根据组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征；或
若该特征不为驾驶员手部以及手部周围的特征，则将组合特征图中与该特征相同位置处的组合特征作为组合后的特征。
可选的，所述处理器具体用于：
通过特征提取网络，针对每帧图像，获取该图像的特征图；
所述将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为，包括：
通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
本发明实施例还提供了一种电子计算设备，电子计算设备包括：存储器和处理器；
所述存储器用于存储拍照设备运行时所使用的程序代码；
所述处理器用于执行所述程序代码，以实现如下过程：
对第一基础神经网络和第二基础神经网络进行多轮训练，得到所述第一基础神经网络训练后的特征提取网络和所述第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为所述第一基础神经网络的输入，将所述样本图像的特征图作为所述第一基础神经网络的输出；将所述第一基础神经网络在该轮的输出作为所述第二基础神经网络的输入，将车内驾驶员的行为作为所述第二基础神经网络的输出；
在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
可选的，其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
其中，结合图5所示，系统包括：电子计算设备500和服务器501相连，服务器501进行训练，训练得到特征提取网络和行为识别网络，电子计算设备500存储训练完成后的特征提取网络和行为识别网络，然后对车内驾驶员的行为进行识别，识别是否有预先的危险驾驶行为。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子计算设备的处理器执行以完成上述车内驾驶员行为识别方法或服务器的处理器执行训练方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明实施例中，电子计算设备除了图6中介绍的外，电子计算设备的结构还可以结构如图6所示，该电子计算设备500包括：射频(Radio Frequency，RF)电路610、电源620、处理器630、存储器640、输入单元650、显示单元660、通信接口670、以及无线保真(Wireless Fidelity，Wi-Fi)模块680等部件。本领域技术人员可以理解，图6中示出的电子计算设备的结构并不构成对电子计算设备的限定，本申请实施例提供的电子计算设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对所述电子计算设备500的各个构成部件进行具体的介绍：
所述RF电路610可用于通信或通话过程中，数据的接收和发送。特别地，所述RF电路610在接收到基站的下行数据后，发送给所述处理器630处理；另外，将待发送的上行数据发送给基站。通常，所述RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。
此外，RF电路610还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
Wi-Fi技术属于短距离无线传输技术，所述电子计算设备500通过Wi-Fi模块680可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述Wi-Fi模块680可用于通信过程中，数据的接收和发送。
所述电子计算设备500可以通过所述通信接口670与其他终端实现物理连接。可选的，所述通信接口670与所述其他终端的通信接口通过电缆连接，实现所述电子计算设备500和其他终端之间的数据传输。
由于在本申请实施例中，所述电子计算设备500能够实现通信业务，向其他联系人发送信息，因此所述电子计算设备500需要具有数据传输功能，即所述电子计算设备500内部需要包含通信模块。虽然图6示出了所述RF电路610、所述Wi-Fi模块680、和所述通信接口670等通信模块，但是可以理解的是，所述电子计算设备500中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。
当所述电子计算设备500为车载终端时，所述电子计算设备500可以包含所述通信接口670、所述Wi-Fi模块680进行通信，例如，可以将识别出车内驾驶员的行为属于预设的危险驾驶行为的原始图像以及告警信息发送给车辆管理平台，如果是网约车，则可以发送给网约车的车辆管理平台。
所述存储器640可用于存储软件程序以及模块。所述处理器630通过运行存储在所述存储器640的软件程序以及模块，从而执行所述电子计算设备500的各种功能应用以及数据处理，当处理器630执行存储器640中的程序代码后，可以实现本发明实施例图2中的部分或全部过程。
可选的，所述存储器640可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等；存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。
此外，所述存储器640可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入单元650可用于接收用户输入的数字或字符信息，以及产生与所述电子计算设备500的用户设置以及功能控制有关的键信号输入。
可选的，输入单元650可包括触控面板651以及其他输入设备652。
其中，所述触控面板651，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板651上或在所述触控面板651附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板651可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器630，并能接收所述处理器630发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板651。
可选的，所述其他输入设备652可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元660可用于显示由用户输入的信息或提供给用户的信息以及所述电子计算设备500的各种菜单。所述显示单元660即为所述电子计算设备500的显示系统，用于呈现界面，实现人机交互。
所述显示单元660可以包括显示面板661。可选的，所述显示面板661可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置。
进一步的，所述触控面板651可覆盖所述显示面板661，当所述触控面板651检测到在其上或附近的触摸操作后，传送给所述处理器630以确定触摸事件的类型，随后所述处理器630根据触摸事件的类型在所述显示面板661上提供相应的视觉输出。
虽然在图6中，所述触控面板651与所述显示面板661是作为两个独立的部件来实现所述电子计算设备500的输入和输入功能，但是在某些实施例中，可以将所述触控面板651与所述显示面板661集成而实现所述电子计算设备500的输入和输出功能。
例如，显示单元660可以显示被处理器630识别出为车内驾驶员的行为属于危险驾驶行为对应的图片，从而使得车内的驾驶员可以通过点击输入单元650中的触控面板651中的按钮向车辆管理平台进行申诉。
所述处理器630是所述电子计算设备500的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器640内的软件程序和/或模块，以及调用存储在所述存储器640内的数据，执行所述电子计算设备500的各种功能和处理数据，从而实现基于所述终端的多种业务。
可选的，所述处理器630可包括一个或多个处理单元。可选的，所述处理器630可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器630中。
所述电子计算设备500还包括用于给各个部件供电的电源620(比如电池)。可选的，所述电源620可以通过电源管理系统与所述处理器630逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在电子计算设备上运行时，使得所述电子计算设备执行实现本发明实施例上述任意一项车内驾驶员行为识别方法。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种车内驾驶员行为识别方法，其特征在于，包括：
从拍摄的车内驾驶员的视频中抽取多帧图像；
针对抽取的每帧图像，获取该图像的特征图；
将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为；其中所述组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
2.根据权利要求1所述的车内驾驶员行为识别方法，其特征在于，所述方法还包括：
若前一次识别到车内驾驶员的行为属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第一预设间隔后，从所述第一预设间隔拍摄的车内驾驶员的视频中抽取多帧图像；或
若前一次识别到车内驾驶员的行为不属于预设的危险驾驶行为，则在确定当前时刻与前一次识别到车内驾驶员的行为属于预设的危险驾驶行为的时刻的间隔为第二预设间隔后，从所述第二预设间隔拍摄的车内驾驶员的视频中抽取多帧图像，其中，第一预设间隔大于所述第二预设间隔。
3.根据权利要求1所述的车内驾驶员行为识别方法，其特征在于，所述将各帧图像的特征图进行组合，得到组合图，包括：
将当前特征图与前一个组合特征图进行组合得到当前组合特征图，以及将所述当前组合特征图与下一个特征图进行组合，直到所有的特征图均完成组合为止，将最后一个组合特征图作为组合图；其中，第一个组合特征图为各帧图像中拍摄最早的图像的特征图；最后一个当前特征图为各帧图像中拍摄最晚的图像的特征图；
其中，每次特征图与组合特征图进行组合都包括如下步骤：
针对特征图中每个特征，若该特征为驾驶员手部以及手部周围的特征，则根据组合特征图中与该特征相同位置处的组合特征与该特征，得到组合后的特征；或
若该特征不为驾驶员手部以及手部周围的特征，则将组合特征图中与该特征相同位置处的组合特征作为组合后的特征。
4.根据权利要求1～3任一项所述的车内驾驶员行为识别方法，其特征在于，所述针对每帧图像，获取该图像的特征图，包括：
通过特征提取网络，针对每帧图像，获取该图像的特征图；
所述将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为，包括：
通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
5.根据权利要求4所述的车内驾驶员行为识别方法，其特征在于，其中，所述特征提取网络和行为识别网络的训练过程，包括：
对第一基础神经网络和第二基础神经网络进行多轮训练，得到所述第一基础神经网络训练后的特征提取网络和所述第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为所述第一基础神经网络的输入，将所述样本图像的特征图作为所述第一基础神经网络的输出；将所述第一基础神经网络在该轮的输出作为所述第二基础神经网络的输入，将车内驾驶员的行为作为所述第二基础神经网络的输出；
在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
6.根据权利要求5所述的车内驾驶员行为识别方法，其特征在于，其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
7.一种车内驾驶员行为识别装置，其特征在于，包括：
抽取模块，用于从拍摄的车内驾驶员的视频中抽取多帧图像；
特征图模块，用于针对抽取的每帧图像，获取该图像的特征图；
识别模块，用于将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为；其中所述组合图中的每个特征为将各帧图像的特征图中对应的相同位置处的特征按照拍摄各帧图像的时间顺序进行组合得到的；
告警模块，用于若识别到车内驾驶员的行为属于预设的危险驾驶行为，则进行告警处理。
8.根据权利要求7所述的装置，其特征在于：
特征图模块，具体用于通过特征提取网络，针对每帧图像，获取该图像的特征图；
识别模块，具体用于通过行为识别网络，将各帧图像的特征图进行组合，得到组合图，以及采用所述组合图识别车内驾驶员的行为。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
训练模块，用于对第一基础神经网络和第二基础神经网络进行多轮训练，得到所述第一基础神经网络训练后的特征提取网络和所述第二基础神经网络训练后的行为识别网络；
其中，在每轮训练过程中，将样本图像作为所述第一基础神经网络的输入，将所述样本图像的特征图作为所述第一基础神经网络的输出；将所述第一基础神经网络在该轮的输出作为所述第二基础神经网络的输入，将车内驾驶员的行为作为所述第二基础神经网络的输出；
在每轮训练过程中，确定目标标签中车内驾驶员行为的类型对应的损失函数的参数值，以及利用确定的参数值的损失函数调整所述第一基础神经网络和所述第二基础神经网络中的权重值；所述目标标签为输出的车内驾驶员的行为对应的样本图像的标签。
10.根据权利要求9所述的装置，其特征在于，其中，每种车内驾驶员行为的类型对应的损失函数的参数值为，根据训练过程中所使用的所有样本图像的标签中每种车内驾驶员行为的类型的样本图像的总个数之间的比例确定的。
CN202011040952.8A 2020-09-28 2020-09-28 车内驾驶员行为识别方法及装置 Active CN112149589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011040952.8A CN112149589B (zh) 2020-09-28 2020-09-28 车内驾驶员行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011040952.8A CN112149589B (zh) 2020-09-28 2020-09-28 车内驾驶员行为识别方法及装置

Publications (2)

Publication Number Publication Date
CN112149589A true CN112149589A (zh) 2020-12-29
CN112149589B CN112149589B (zh) 2022-07-08

Family

ID=73895733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011040952.8A Active CN112149589B (zh) 2020-09-28 2020-09-28 车内驾驶员行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN112149589B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762213A (zh) * 2021-09-28 2021-12-07 杭州鸿泉物联网技术股份有限公司 危险驾驶行为检测方法、电子设备以及系统
CN114987521A (zh) * 2022-05-31 2022-09-02 重庆长安汽车股份有限公司 基于答题的驾驶功能控制方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875674A (zh) * 2018-06-29 2018-11-23 东南大学 一种基于多列融合卷积神经网络的驾驶员行为识别方法
CN109815884A (zh) * 2019-01-21 2019-05-28 深圳市能信安科技股份有限公司 基于深度学习的不安全驾驶行为检测方法及装置
CN110543848A (zh) * 2019-08-29 2019-12-06 交控科技股份有限公司 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111008567A (zh) * 2019-11-07 2020-04-14 郑州大学 一种驾驶员行为识别方法
CN111414813A (zh) * 2020-03-03 2020-07-14 南京领行科技股份有限公司 一种危险驾驶行为的识别方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875674A (zh) * 2018-06-29 2018-11-23 东南大学 一种基于多列融合卷积神经网络的驾驶员行为识别方法
CN109815884A (zh) * 2019-01-21 2019-05-28 深圳市能信安科技股份有限公司 基于深度学习的不安全驾驶行为检测方法及装置
CN110543848A (zh) * 2019-08-29 2019-12-06 交控科技股份有限公司 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111008567A (zh) * 2019-11-07 2020-04-14 郑州大学 一种驾驶员行为识别方法
CN111414813A (zh) * 2020-03-03 2020-07-14 南京领行科技股份有限公司 一种危险驾驶行为的识别方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762213A (zh) * 2021-09-28 2021-12-07 杭州鸿泉物联网技术股份有限公司 危险驾驶行为检测方法、电子设备以及系统
CN114987521A (zh) * 2022-05-31 2022-09-02 重庆长安汽车股份有限公司 基于答题的驾驶功能控制方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN112149589B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US11093782B2 (en) Method for matching license plate number, and method and electronic device for matching character information
CN106407984B (zh) 目标对象识别方法及装置
CN108345819B (zh) 一种发送报警消息的方法和装置
WO2019020014A1 (zh) 解锁控制方法及相关产品
CN109561420B (zh) 一种紧急求救的方法及相关设备
CN110209245B (zh) 人脸识别方法及相关产品
CN109376781B (zh) 一种图像识别模型的训练方法、图像识别方法和相关装置
CN112149589B (zh) 车内驾驶员行为识别方法及装置
CN108307106B (zh) 一种图像处理方法、装置及移动终端
CN110162954B (zh) 权限管理方法及相关产品
CN109309761A (zh) 紧急求助方法、移动终端及计算机可读存储介质
CN109309953B (zh) 功耗检测方法、装置、终端及可读存储介质
CN114786230A (zh) 网络链路切换方法、智能终端及存储介质
CN108260009B (zh) 视频处理方法、移动终端及计算机可读存储介质
CN112287317B (zh) 一种用户信息输入方法及电子设备
CN110298277B (zh) 指纹识别方法及相关产品
CN110728206A (zh) 疲劳驾驶检测方法、装置、计算机可读存储介质及终端
CN110694264A (zh) 游戏视频的生成方法、终端及可读存储介质
CN109709561B (zh) 测距方法、终端和计算机可读存储介质
CN110971817A (zh) 一种监控设备及监控图像的确定方法
CN107358183B (zh) 虹膜活体检测方法及相关产品
CN110188675B (zh) 静脉采集方法及相关产品
CN108256541B (zh) 车牌标识识别方法及装置
CN108549648B (zh) 人物图片处理方法、终端及计算机可读存储介质
CN107786940B (zh) 基站判别方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant