CN108629282B - 一种吸烟检测方法、存储介质及计算机 - Google Patents
一种吸烟检测方法、存储介质及计算机 Download PDFInfo
- Publication number
- CN108629282B CN108629282B CN201810273976.4A CN201810273976A CN108629282B CN 108629282 B CN108629282 B CN 108629282B CN 201810273976 A CN201810273976 A CN 201810273976A CN 108629282 B CN108629282 B CN 108629282B
- Authority
- CN
- China
- Prior art keywords
- smoking
- image
- face
- training
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000391 smoking effect Effects 0.000 title claims abstract description 244
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000000779 smoke Substances 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 235000019504 cigarettes Nutrition 0.000 claims description 33
- 230000006399 behavior Effects 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种吸烟检测方法、存储介质及计算机，该方法包括以下步骤：根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛。解决现有技术中识别人脸图像是否抽烟的图像识别的问题。
Description
技术领域
本发明涉及驾驶安全检测技术领域，具体涉及一种驾驶员吸烟检测方法、存储介质及计算机。
背景技术
吸烟有害健康，开车的人需要注意力集中，吸烟分散注意力，这个不好的习惯是致命的。对于驾驶员来说，开车本身就是一件无聊的事情，因此在驾驶过程中经常会找一些事情来调节一下情绪。很多司机都选择抽烟来缓解开车的无聊，特别是对于烟瘾很重的烟民来说更是一种好的选择。但是，开车抽烟是件很危险的事情，开车时吸烟出事故的几率比较大，吸烟的人发生车祸的可能性比不吸烟的人高出1.5倍。吐出来的烟雾虽然是兴奋剂作用，后来继续抽，会浓度增加，导致氧气不足，会出现反应缓慢，使视力变差。吸烟还会降低驾驶操作的准确性，因为习惯拿烟手势基本会成为烟手，造成重心偏移，身体的部位动作不正规或变形，而《机动车驾驶证申领和使用规定》中并没有关于开车吸烟的扣分规定。因此，对驾驶员有无吸烟驾驶行为进行实时检测，并及时提醒和警告驾驶者安全驾驶或反映给道路安全监管部门，对于保障人们的生命安全和避免发生交通事故有着举足轻重的作用。
现有技术中，常用来检测驾驶员吸烟行为的方法有以下两种：(1)利用温度测试硬件设施对车内高温可疑区域进行检测，判断车内是否有吸烟信息。该类方法的优点是当车内真实发生吸烟行为时能够准确的检测出来，但是当车子内部环境温度较低或者有多处热源时会降低检测的准确度。(2)利用气体检测装置对车内烟雾进行检测，该方法能及时有效地检测到车内弥漫烟雾，但是一般情况下驾驶员开车吸烟时都会开窗通风，所以车内的烟雾浓度会比较低，而导致烟雾检测装置漏检。
综上可知，现有的驾驶员吸烟检测方法，检测准确性较低，实用性较差。
发明内容
为此，需要提供一种驾驶员吸烟检测的方法，解决现有技术中识别人脸图像是否为吸烟图像的问题。
在本发明中，发明人提供了一种吸烟检测方法，该方法包括以下步骤：
根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；
根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛。
进一步地，还包括步骤，
实时获取车载驾驶监控视频帧，获取驾驶员脸部区域图像；
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。
优选地，利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为具体为，
采用下述预设关系式，得出所述待检测驾驶视频帧是否为吸烟图像的参考概率；
其中，p(li＝b|xi,W)表示所述待检测驾驶视频帧是吸烟图像(li＝1)或不是吸烟图像(li＝0)的概率，xi表示编号为i的待检测人脸图像的人脸特征，W表示网络参数；根据所述参考概率的大小，判断待检测驾驶视频帧是否为吸烟图像，进而判断驾驶员当前是否有吸烟行为。
所述根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集具体为；
选取公开的人脸图像数据集，筛选出可利用的人脸图像；利用筛选后的图像中的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同位置。
优选地，根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签具体为：
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，将所有吸烟测试图像进行编号，每张吸烟测试图像标注一个标签，每个标签中记录有li＝1或li＝0，其中，i表示训练人脸图像的编号，i＝1,2,…,N，li＝1表示编号为i的训练人脸图像为吸烟图像，li＝0表示编号为i的训练人脸图像不是吸烟图像。
一种吸烟检测存储介质，存储有计算机程序，所述计算机程序被运行时执行以下步骤：
根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；
根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛。
具体地，所述计算机程序被运行时还进行步骤，
实时获取车载驾驶监控视频帧，获取驾驶员脸部区域图像；
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。
进一步地，利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为具体为，
采用下述预设关系式，得出所述待检测驾驶视频帧是否为吸烟图像的参考概率；
其中，p(li＝b|xi,W)表示所述待检测驾驶视频帧是吸烟图像(li＝1)或不是吸烟图像(li＝0)的概率，xi表示编号为i的待检测人脸图像的人脸特征，W表示网络参数；根据所述参考概率的大小，判断待检测驾驶视频帧是否为吸烟图像，进而判断驾驶员当前是否有吸烟行为。
具体地，所述根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集具体为：
选取公开的人脸图像数据集，筛选出可利用的人脸图像；利用筛选后的图像中的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同位置。
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签具体为：
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，将所有吸烟测试图像进行编号，每张吸烟测试图像标注一个标签，每个标签中记录有li＝1或li＝0，其中，i表示训练人脸图像的编号，i＝1,2,…,N，li＝1表示编号为i的训练人脸图像为吸烟图像，li＝0表示编号为i的训练人脸图像不是吸烟图像。
一种吸烟检测存储计算机，包括上述的吸烟检测存储介质。
区别于现有技术，上述技术该方法使用大量虚拟生成的数据进行吸烟检测训练，降低了对训练数据的需求，利用神经网络进行检测速度快，准确度高，适用性好等特点，对人是否吸烟的判断方法进行了极大的优化。
附图说明
图1为具体实施方式所述的吸烟检测方法流程示意图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
在图1所示的实施例中，我们可以看到一种吸烟检测方法，该方法包括以下步骤：
S100根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；
选取公开的人脸图像数据集，筛选出可利用的人脸图像；利用筛选后的图像中的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同位置。例如，可以选用公开的人脸关键点数据集LF95，从中筛选出合理的可利用的人脸图像，所述可利用的人脸图像为，单一人脸的非侧脸图像，因为LF95数据集中存在不符合真实驾驶场景中的图像，比如大角度侧脸或者一张图像中出现过多人脸。利用筛选后的图像中已知的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同但合理的位置，因为现在还没有公开的驾驶员驾驶信息数据集，所以仅凭借在真实驾驶吸烟场景下采集到的少量图像去训练吸烟检测网络是远远不够的。通过上述方法，自动生成大量的正脸人脸图片以及人脸嘴部随机包含香烟或不含香烟的图片，即吸烟测试图像；多个吸烟测试图像构成数据集。
S102，根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；
所述吸烟检测训练集由正样本S和负样本S组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本S定义为不含合成香烟的图像集合，将所有吸烟测试图像进行编号，每张吸烟测试图像标注一个标签，每个标签中记录有li＝1或li＝0，其中，i表示训练人脸图像的编号，i＝1,2,…,N，li＝1表示编号为i的训练人脸图像为吸烟图像，li＝0表示编号为i的训练人脸图像不是吸烟图像。在我们的一些优化的实施例中，正负样本的比例可以定为大约3:1，更有助于提高吸烟检测模型的训练效率。
步骤S104根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛。
其中，预设吸烟检测网络包括输入层、隐含层和输出层三部分。输入层用于输入人脸图像(训练人脸图像或待检测驾驶视频帧)，隐含层由VGG(Visual Geometry Group)神经网络构成，输出层由2个分类器构成。需要说明的是，隐含层不限于由VGG神经网络构成，也可以由其它神经网络构成，此处不再一一列举。
具体实施时，根据所述标注标签，采用所述预设吸烟检测网络进行训练。将所有训练人脸图像输入至预设吸烟检测网络，该预设吸烟检测分类网络包括2个分类器，用于判断输入的训练人脸图像是否为吸烟图像的概率；
读取所有标签中记录的吸烟情况，根据所述吸烟情况以及分类器输出的是否为吸烟图像的概率，采用下述预设关系式对分类器进行训练，直至训练损失函数收敛，生成收敛吸烟检测网络：
其中，J表示训练损失，1{li＝b}为指示函数，当li＝b成立时，该指示函数的值为1，当li＝b不成立时，该指示函数的值为0，b表示预设吸烟检测分类网络包含的分类器的两个节点，b＝0表示第一个分类器，b＝1表示第二个分类器，xi表示编号为i的训练人脸图像的脸部特征，W为网络参数。
至此，吸烟检测神经网络的模型架构已经初露端倪，通过采用上述训练过的吸烟检测模型，能够很好地达到检测人脸图片是否有吸烟的效果，读者可以根据自身需要将该检测方法应用于不同的情景。相比于现有检测吸烟的方式方法，通过吸烟检测模型来判断能够更准确、更快速，效率也更高。
在其他一些进一步的实施例中，为了针对车辆驾驶员的行为进行规范，对于车辆驾驶员是否吸烟的情景进行判断，本发明还包括步骤，
S106实时获取车载驾驶监控视频帧，获取驾驶员脸部区域图像；
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。车载摄像头可以实时摄录驾驶舱图像，实时监控驾驶员脸部区域。
作为一个优选方式，在获取车载驾驶监控视频帧后还可以对视频帧进行预处理。具体实施时，可以按照下述实施方式对待检测的驾驶监控视频帧进行预处理：对待检测驾驶监控视频帧进行人脸检测，检测该待检测驾驶监控视频帧是否包含人脸，如果该待检测驾驶视频帧中包含人脸，则将该待检测驾驶视频帧进行裁剪，裁剪方式与训练集保持一致，即，在此待检测驾驶视频帧上取一个正方形区域，该正方形区域以检测到的人脸区域为中心，以人脸区域的长和宽的平均值的1.2倍作为边长。将裁剪后的视频帧输入到训练好的收敛的吸烟检测网络中，进行后续步骤。
随后可以进行步骤S108，利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。具体为，
采用下述预设关系式，得出所述待检测驾驶视频帧是否为吸烟图像的参考概率；
其中，p(li＝b|xi,W)表示所述待检测驾驶视频帧是吸烟图像(li＝1)或不是吸烟图像(li＝0)的概率，xi表示编号为i的待检测人脸图像的人脸特征，W表示网络参数；根据所述参考概率的大小，判断待检测驾驶视频帧是否为吸烟图像，进而判断驾驶员当前是否有吸烟行为。为了更好地对驾驶员的行为进行规范，本方法在判断为驾驶员有吸烟行为时，还可以通过声音信号、光信号、电信号等方式向外做出提示，从而对驾驶员进行警示或通过通信网络向车外通报。
通过上述方法，本发明能够采集驾驶舱内的驾驶员图像进行判断，达到了检测速度快，准确度高地进行驾驶员吸烟检测的问题。具有很高的适用性。
在某些实施例中，本发明还设计一种吸烟检测存储介质，存储有计算机程序，所述计算机程序被运行时执行以下步骤：
根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；
根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛。
具体地，所述计算机程序被运行时还进行步骤，
实时获取车载驾驶监控视频帧，获取驾驶员脸部区域图像；
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。
进一步地，利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为具体为，
采用下述预设关系式，得出所述待检测驾驶视频帧是否为吸烟图像的参考概率；
其中，p(li＝b|xi,W)表示所述待检测驾驶视频帧是吸烟图像(li＝1)或不是吸烟图像(li＝0)的概率，xi表示编号为i的待检测人脸图像的人脸特征，W表示网络参数；根据所述参考概率的大小，判断待检测驾驶视频帧是否为吸烟图像，进而判断驾驶员当前是否有吸烟行为。
具体地，所述根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集具体为：
选取公开的人脸图像数据集，筛选出可利用的人脸图像；利用筛选后的图像中的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同位置。
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签具体为：
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，将所有吸烟测试图像进行编号，每张吸烟测试图像标注一个标签，每个标签中记录有li＝1或li＝0，其中，i表示训练人脸图像的编号，i＝1,2,…,N，li＝1表示编号为i的训练人脸图像为吸烟图像，li＝0表示编号为i的训练人脸图像不是吸烟图像。
其他一些实施例中，本发明还提供了一种吸烟检测存储计算机，包括上述的吸烟检测存储介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
Claims (9)
1.一种吸烟检测方法，其特征在于，该方法包括以下步骤：
根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；
选取公开的人脸图像数据集，筛选出可利用的人脸图像；利用筛选后的图像中的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同位置；具体为选用公开的人脸关键点数据集LF95，从中筛选出合理的可利用的人脸图像，所述可利用的人脸图像为单一人脸的非侧脸图像；利用筛选后的图像中已知的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同但合理的位置，自动生成大量的正脸人脸图片以及人脸嘴部随机包含香烟或不含香烟的图片，即吸烟测试图像，多个吸烟测试图像构成数据集；根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，正负样本的比例定为3:1，更有助于提高吸烟检测模型的训练效率；
根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛；
根据所述标注标签，采用所述预设吸烟检测网络进行训练，将所有训练人脸图像输入至预设吸烟检测网络，该预设吸烟检测分类网络包括2个分类器，用于判断输入的训练人脸图像是否为吸烟图像的概率；
读取所有标签中记录的吸烟情况，根据所述吸烟情况以及分类器输出的是否为吸烟图像的概率，采用下述预设关系式对分类器进行训练，直至训练损失函数收敛，生成收敛吸烟检测网络：
其中，J表示训练损失，1{li＝b}为指示函数，当li＝b成立时，该指示函数的值为1，当li＝b不成立时，该指示函数的值为0，b表示预设吸烟检测分类网络包含的分类器的两个节点，b＝0表示第一个分类器，b＝1表示第二个分类器，xi表示编号为i的训练人脸图像的脸部特征，W为网络参数。
2.根据权利要求1所述的吸烟检测方法，其特征在于，还包括步骤，
实时获取车载驾驶监控视频帧，获取驾驶员脸部区域图像；
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。
3.根据权利要求2所述的吸烟检测方法，其特征在于，
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为具体为，
采用下述预设关系式，得出待检测驾驶视频帧是否为吸烟图像的参考概率；
其中，p(li＝b|xi,W)表示待检测驾驶视频帧是吸烟图像li＝1或不是吸烟图像li＝0的概率，xi表示编号为i的待检测人脸图像的人脸特征，W表示网络参数；根据所述参考概率的大小，判断待检测驾驶视频帧是否为吸烟图像，进而判断驾驶员当前是否有吸烟行为。
4.根据权利要求1所述的吸烟检测方法，其特征在于，根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签具体为：
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，将所有吸烟测试图像进行编号，每张吸烟测试图像标注一个标签，每个标签中记录有li＝1或li＝0，其中，i表示训练人脸图像的编号，i＝1,2,…,N，li＝1表示编号为i的训练人脸图像为吸烟图像，li＝0表示编号为i的训练人脸图像不是吸烟图像。
5.一种吸烟检测存储介质，其特征在于，存储有计算机程序，所述计算机程序被运行时执行以下步骤：
根据人脸图像数据合成吸烟图像并与非吸烟图像合并为吸烟检测训练集；
选取公开的人脸图像数据集，筛选出可利用的人脸图像；利用筛选后的图像中的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同位置；具体为选用公开的人脸关键点数据集LF95，从中筛选出合理的可利用的人脸图像，所述可利用的人脸图像为单一人脸的非侧脸图像；利用筛选后的图像中已知的嘴部关键点的坐标信息，随机合成不同状态的香烟到嘴部不同但合理的位置，自动生成大量的正脸人脸图片以及人脸嘴部随机包含香烟或不含香烟的图片，即吸烟测试图像，多个吸烟测试图像构成数据集；
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签；
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，正负样本的比例定为3:1，更有助于提高吸烟检测模型的训练效率；
根据所述标签，采用吸烟检测训练集对预设的吸烟检测神经网络模型进行训练，至该模型收敛；
根据所述标注标签，采用所述预设吸烟检测网络进行训练，将所有训练人脸图像输入至预设吸烟检测网络，该预设吸烟检测分类网络包括2个分类器，用于判断输入的训练人脸图像是否为吸烟图像的概率；
读取所有标签中记录的吸烟情况，根据所述吸烟情况以及分类器输出的是否为吸烟图像的概率，采用下述预设关系式对分类器进行训练，直至训练损失函数收敛，生成收敛吸烟检测网络：
其中，J表示训练损失，1{li＝b}为指示函数，当li＝b成立时，该指示函数的值为1，当li＝b不成立时，该指示函数的值为0，b表示预设吸烟检测分类网络包含的分类器的两个节点，b＝0表示第一个分类器，b＝1表示第二个分类器，xi表示编号为i的训练人脸图像的脸部特征，W为网络参数。
6.根据权利要求5所述的吸烟检测存储介质，其特征在于，所述计算机程序被运行时还进行步骤，
实时获取车载驾驶监控视频帧，获取驾驶员脸部区域图像；
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为。
7.根据权利要求6所述的吸烟检测存储介质，其特征在于，
利用训练完成的吸烟检测神经网络模型进行判断，视频帧中驾驶员是否有吸烟行为具体为，
采用下述预设关系式，得出待检测驾驶视频帧是否为吸烟图像的参考概率；
其中，p(li＝b|xi,W)表示待检测驾驶视频帧是吸烟图像li＝1或不是吸烟图像li＝0的概率，xi表示编号为i的待检测人脸图像的人脸特征，W表示网络参数；根据所述参考概率的大小，判断待检测驾驶视频帧是否为吸烟图像，进而判断驾驶员当前是否有吸烟行为。
8.根据权利要求5所述的吸烟检测存储介质，其特征在于，
根据吸烟检测训练集中每张图像中是否有烟，对所述吸烟图像标注标签具体为：
所述吸烟检测训练集由正样本S和负样本
组成，其中所述正样本S定义为含有合成香烟的图像集合，所述负样本
定义为不含合成香烟的图像集合，将所有吸烟测试图像进行编号，每张吸烟测试图像标注一个标签，每个标签中记录有li＝1或li＝0，其中，i表示训练人脸图像的编号，i＝1,2,…,N，li＝1表示编号为i的训练人脸图像为吸烟图像，li＝0表示编号为i的训练人脸图像不是吸烟图像。
9.一种吸烟检测计算机，其特征在于，包括权利要求5-8任一项所述的吸烟检测存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810273976.4A CN108629282B (zh) | 2018-03-29 | 2018-03-29 | 一种吸烟检测方法、存储介质及计算机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810273976.4A CN108629282B (zh) | 2018-03-29 | 2018-03-29 | 一种吸烟检测方法、存储介质及计算机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108629282A CN108629282A (zh) | 2018-10-09 |
| CN108629282B true CN108629282B (zh) | 2021-12-24 |
Family
ID=63696425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810273976.4A Active CN108629282B (zh) | 2018-03-29 | 2018-03-29 | 一种吸烟检测方法、存储介质及计算机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108629282B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829466A (zh) * | 2019-01-23 | 2019-05-31 | 中国建筑第八工程局有限公司 | 一种基于机器视觉的吸烟行为人工智能检测方法 |
| CN110399766A (zh) * | 2019-01-28 | 2019-11-01 | 浙江浩腾电子科技股份有限公司 | 基于深度学习的抽烟检测分析系统 |
| CN109584759A (zh) * | 2019-01-31 | 2019-04-05 | 黄山商维网络科技有限公司 | 一种广告显示装置及其吸烟检测方法 |
| CN111661059B (zh) * | 2019-03-08 | 2022-07-08 | 虹软科技股份有限公司 | 分心驾驶监测方法、系统及电子设备 |
| CN111753602A (zh) * | 2019-03-29 | 2020-10-09 | 北京市商汤科技开发有限公司 | 动作识别方法和装置、电子设备、存储介质 |
| CN110223487A (zh) * | 2019-06-13 | 2019-09-10 | 杭州电子科技大学 | 一种基于吸烟行为识别的烟雾检测与警告方法及系统 |
| CN110390673B (zh) * | 2019-07-22 | 2021-04-27 | 福州大学 | 一种监控场景下基于深度学习的香烟自动检测方法 |
| CN110490098A (zh) * | 2019-07-31 | 2019-11-22 | 恒大智慧科技有限公司 | 小区用户的抽烟行为自动检测方法、设备及可读存储介质 |
| CN111119645A (zh) * | 2019-12-10 | 2020-05-08 | 斑马网络技术有限公司 | 车窗控制方法、装置、设备及计算机可读存储介质 |
| CN111222493B (zh) * | 2020-01-20 | 2023-07-28 | 北京捷通华声科技股份有限公司 | 一种视频处理方法及装置 |
| CN111428600A (zh) * | 2020-03-17 | 2020-07-17 | 北京都是科技有限公司 | 吸烟检测方法、系统、装置及热红外图像处理器 |
| CN111832526A (zh) * | 2020-07-23 | 2020-10-27 | 浙江蓝卓工业互联网信息技术有限公司 | 一种行为检测方法及装置 |
| CN112052815B (zh) * | 2020-09-14 | 2024-02-20 | 北京易华录信息技术股份有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112380977A (zh) * | 2020-11-12 | 2021-02-19 | 深兰人工智能芯片研究院（江苏）有限公司 | 吸烟行为检测方法和装置 |
| CN112668430A (zh) * | 2020-12-21 | 2021-04-16 | 四川长虹电器股份有限公司 | 一种吸烟行为检测方法、系统、计算机设备、存储介质 |
| CN112733730B (zh) * | 2021-01-12 | 2022-11-18 | 中国石油大学(华东) | 采油作业现场吸烟人员识别处理方法及系统 |
| CN112766149A (zh) * | 2021-01-18 | 2021-05-07 | 浙江智慧视频安防创新中心有限公司 | 吸烟检测方法、系统及计算机介质 |
| FR3122756A1 (fr) * | 2021-05-04 | 2022-11-11 | Psa Automobiles Sa | Procédé et dispositif de détection d’un comportement d’un usager d’un véhicule. |
| CN113807276B (zh) * | 2021-09-23 | 2024-04-05 | 江苏信息职业技术学院 | 基于优化的YOLOv4模型的吸烟行为识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289660A (zh) * | 2011-07-26 | 2011-12-21 | 华南理工大学 | 一种基于手部姿态跟踪的违规驾驶行为检测方法 |
| CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
| CN106803062A (zh) * | 2016-12-20 | 2017-06-06 | 陕西师范大学 | 栈式降噪自编码神经网络手势图像的识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9952058B2 (en) * | 2016-08-29 | 2018-04-24 | Denso International America, Inc. | Driver visibility detection system and method for detecting driver visibility |
-
2018
- 2018-03-29 CN CN201810273976.4A patent/CN108629282B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289660A (zh) * | 2011-07-26 | 2011-12-21 | 华南理工大学 | 一种基于手部姿态跟踪的违规驾驶行为检测方法 |
| CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
| CN106803062A (zh) * | 2016-12-20 | 2017-06-06 | 陕西师范大学 | 栈式降噪自编码神经网络手势图像的识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108629282A (zh) | 2018-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108629282B (zh) | 一种吸烟检测方法、存储介质及计算机 | |
| US20230154207A1 (en) | Driver fatigue detection method and system based on combining a pseudo-3d convolutional neural network and an attention mechanism | |
| US10279804B2 (en) | Method for smartphone-based accident detection | |
| WO2016151554A1 (en) | Driver monitoring to determine context of event | |
| Jafarnejad et al. | Towards a real-time driver identification mechanism based on driving sensing data | |
| TW201328921A (zh) | 用於感測器驅動車輛遙測應用與服務之開發及部署的運算平台 | |
| US11609565B2 (en) | Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine | |
| CN108860166A (zh) | 无人驾驶汽车事故发生处理系统及处理方法 | |
| CN104077776B (zh) | 一种基于颜色空间自适应更新的视觉背景提取方法 | |
| CN112758088A (zh) | 危险源的提醒方法及高级驾驶辅助系统 | |
| CN111914738A (zh) | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 | |
| DE102021107602A1 (de) | Fahrassistenzvorrichtung und datensammelsystem | |
| Wawage et al. | Real-time prediction of car driver’s emotions using facial expression with a convolutional neural network-based intelligent system | |
| CN114926824A (zh) | 一种不良驾驶行为判别方法 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| JP7013722B2 (ja) | 運転支援装置 | |
| Lashkov et al. | A multimodal approach to psycho-emotional state detection of a vehicle driver | |
| CN114898140A (zh) | 一种基于paa算法的行为检测方法、装置及可读介质 | |
| CN110287838B (zh) | 一种驾车玩手机行为的监控方法与系统 | |
| CN109101908B (zh) | 驾驶过程感兴趣区域检测方法及装置 | |
| CN110838027A (zh) | 车辆使用满意度的确定方法及装置、存储介质、计算设备 | |
| CN112685583B (zh) | 行程记录相册生成方法及装置 | |
| CN117576605A (zh) | 一种基于多源数据的网约车分心驾驶行为识别方法 | |
| CN117456515A (zh) | 适用于车载系统的人眼状态监测方法、装置、设备及介质 | |
| US20240043027A1 (en) | Adaptive driving style |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 350003 21 floors, No. 1 Building, G District, 89 Software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant after: FUJIAN HAIJING TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: 350003 1-2 floors of Building C, Building 10, Fuzhou Software Park B, 89 Software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant before: FUZHOU HAIJING SCIENCE & TECHNOLOGY DEVELOPMENT CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Haiqing Inventor after: Wang Jinqiao Inventor after: Guo Haiyun Inventor after: Liu Zhiyong Inventor after: Zheng Suiwu Inventor after: Yang Xu Inventor after: Huang Zhiming Inventor after: Xie Dekun Inventor after: Tian Jian Inventor before: Huang Haiqing Inventor before: Liu Zhiyong Inventor before: Zheng Suiwu Inventor before: Yang Xu Inventor before: Huang Zhiming Inventor before: Xie Dekun Inventor before: Tian Jian |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231212 Granted publication date: 20211224 |
|
| PP01 | Preservation of patent right |