CN111582129A - 一种盾构机司机工作状态实时监测报警方法及装置 - Google Patents

一种盾构机司机工作状态实时监测报警方法及装置 Download PDF

Info

Publication number
CN111582129A
CN111582129A CN202010361461.7A CN202010361461A CN111582129A CN 111582129 A CN111582129 A CN 111582129A CN 202010361461 A CN202010361461 A CN 202010361461A CN 111582129 A CN111582129 A CN 111582129A
Authority
CN
China
Prior art keywords
driver
face
image
real
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010361461.7A
Other languages
English (en)
Inventor
贾连辉
林福龙
郑永光
赵祥
孟祥波
叶蕾
李光
陈力
张鹏
李莉
王昆
谢荣灿
焦敬波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Engineering Equipment Group Co Ltd CREG
Original Assignee
China Railway Engineering Equipment Group Co Ltd CREG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Engineering Equipment Group Co Ltd CREG filed Critical China Railway Engineering Equipment Group Co Ltd CREG
Priority to CN202010361461.7A priority Critical patent/CN111582129A/zh
Publication of CN111582129A publication Critical patent/CN111582129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种盾构机司机工作状态实时监测报警方法及装置，方法的步骤如下：在盾构机主控室安装视频监控装置，将所有司机的面部信息存入数据库；实时采集司机位置的视频画面并进行预处理，基于类Haar的特征点提取算法提取司机面部特征；通过特征人脸法将得到的面部特征与数据库中的司机信息进行对比，判断司机身份信息是否正确；将预处理后的图像输入卷积神经网络模型得到人脸面部的关键特征点，基于决策树的SVM多分类算法判断司机的工作状态；当判断司机当前工作状态处于疲劳、接打手机、分神不规范行为后，触发报警模块进行报警提醒。本发明简单、有效、易用，易于安装操作，工程实用性较强，大大保证了掘进施工的安全性。

Description

一种盾构机司机工作状态实时监测报警方法及装置
技术领域
本发明涉及盾构机掘进中司机状态监测的技术领域，尤其涉及一种盾构机司机工作状态实时监测报警方法及装置，实现司机状态的人脸识别及行为检测。
背景技术
盾构法隧道施工工艺由于具有安全性高、效率高、经济适用等优点，现在广泛应用于现代城市地下隧道的施工。盾构法的主要原理是由盾构机在地下掘进时切割岩体完成挖掘，然后在盾尾拼接好管片并注浆成型，以此往复完成整个隧道的施工。而掘进机在前进的过程中，由于盾构司机长期在地下主控室操作，且需要长时间集中注意力解决掘进过程中出现的故障，因此在掘进过程中司机可能出现疲劳、接打手机、分神等不规范行为，对隧道的安全准确施工存在着安全隐患。因此，对盾构司机实行有效的实时监测和行为报警，能够有效的规范司机的操作流程，提高掘进过程的安全程度。
综上所述，现有的盾构机掘进过程中缺乏有效的对司机工作状态的监测与提醒装置。相应地，本领域存在着发展一种能够准确地检测掘进机司机实时工作状态的技术需求，由视频监控装置实时拍摄司机的面部状态，通过人脸识别、面部特征提取及异常行为分类等技术，根据司机面部特征及头部位姿等关键参数，对掘进机司机的工作状态进行实时监测，同时对于司机的不规范行为发出异常报警并传输回地面监控室进行及时反馈。
发明内容
针对现有盾构机掘进过程中不能有效监测司机的实时工作状态及异常行为，影响施工时的安全和精确度的技术问题，本发明提出一种盾构机司机工作状态实时监测报警方法及装置，采用多输入层卷积神经网络与支持向量机对司机状态进行监测识别，并通过报警模块与数据传输模块将盾构司机状态与监控进行通信传输，从而有效实现了对盾构司机工作状态的实时监测，能够有效的规范司机的操作流程，提高掘进过程的安全程度。
为了达到上述目的，本发明的技术方案是这样实现的：一种盾构机司机工作状态实时监测报警方法，其步骤如下：
步骤一：在盾构机主控室的司机驾驶位置安装视频监控装置，用于采集盾构机司机的面部状态，并预先录入司机的面部信息，将所有司机的面部信息存入数据库；
步骤二：通过视频监控装置实时采集司机位置的视频画面，对采集得到的图像进行预处理，然后基于类Haar的特征点提取算法对预处理后的图像进行处理提取司机面部区域特征点，对面部区域进行定位；通过特征人脸法将得到的面部特征与数据库中的司机信息进行对比，判断司机身份信息是否正确；
步骤三：经过步骤二确定当前司机在岗信息正确后，将预处理后的图像输入卷积神经网络模型进行特征提取，得到人脸面部的关键特征点，基于决策树的SVM多分类算法判断司机的工作状态；
步骤四：当判断司机当前工作状态处于疲劳、接打手机、分神不规范行为后，触发报警模块进行报警提醒；
步骤五：通过数据传输模块将司机实时状态发送回地面监控室，当发生报警时提醒监控室进行相应的反馈，确保盾构机司机的正常操作驾驶。
所述步骤中二中预处理用来处理包含面部特征点阈值的区域，预处理包括对采集的视频图像进行线性化灰度的处理，其中线性化灰度的处理方法为：
Figure BDA0002475152750000021
其中，Gray为图像的灰度值，G1和G2为设定的线性化限值；
所述预处理还包括对线性化灰度处理后的图像进行滤波、分割、增强，滤波处理采用opencv库提供的高斯滤波法cv2.GaussianBlur()；增强采用直方图均衡化法cv2.equalizeHist()。预处理提高图片中特征点的边界特征信息，便于后续的面部定位。
所述基于类Haar的特征点提取算法对预处理后的图像进行人脸特征提取，检测分析图像中是否存在人脸面部正视图像，若检测结果显示驾驶位无人脸特征，则判断此时驾驶位置无人操控并发出警报信息；当能够捕捉到人脸特征后，将当前面部特征点与数据库中司机面部特征进行人脸识别比对，分析视频的图像中人脸是否为司机；
特征人脸法直接将人脸特征与图像中的人脸特征进行模板匹配，判断图像中是否存在于与数据库中相符合的司机面部信息模板中相似的区域位置；且特征人脸法的相似程度的测度采用误差平方和法：
Figure BDA0002475152750000022
其中，P(x,y)为摄像头采集的帧图片经类Haar算法提取的人脸特征矩阵在(x，y)处的像素值，M(j,k)为预先采集的司机面部图像经特征提取后矩阵在位置(j,k)处的像素值，j,k分别为遍历图像时的每一个像素点的位置坐标，h、w分别为图像的高和宽；T(x,y)表示数据库中的司机面部信息模板中的面部图像与当前采集到面部图像特征误差值；
所述特征人脸法是基于opencv库的Template Matching()方法实现的。特征人脸法减少搜索人脸特征时间并提高分辨率。
所述步骤三中对司机的工作状态实时监测是在Python+Keras环境下，利用卷积神经网络模型训练提取司机面部及关键特征，并导入支持向量机SVM中进行状态的分类；所述卷积神经网络的输入层为步骤二预处理后的多种司机状态的图片，包括正常驾驶、疲劳驾驶、分神、接打手机各个状态；所述卷积神经网络模型为多输入层卷积神经网络模型，即由多层输入层、两层卷积层、两层池化层及一层全连接层共同组成；经过多输入层卷积神经网络模型的两层卷积、池化计算后输入到全连接层，得到司机面部的关键点位置信息，包括眼睛上下左右关键点坐标、头部姿态及朝向关系、以及镜头内是否捕捉到手机信息。通过卷积神经网络模型得到的上述司机面部关键位置信息后，需要经过处理从而组成司机的眨眼频率及闭合状态、头部位姿信息的特征向量。
将当前实时拍摄的、预处理后的原始司机面部图像与前几帧图像由2D格式转为1D信息后共同作为输入层输入卷积神经网络模型，对每一层的图像信息加以不同的权重，进行特征融合，特征融合的模型为：
F＝q1F1+q2F2+···+qnFn，
其中，F1、F2、……、Fn分别为每层特征矩阵的值，q1、q2、……、qn为影响权重；F表示各层矩阵融合后的特征矩阵；
所述特征融合的步骤如下：
S1：根据原始样本数据即输入的图像二维矩阵，通过信号处理方法即将二维矩阵转置为一维矩阵，并赋予不同的影响权重，构造多维数据矩阵M；
S2：将多维数据矩阵M输入到卷积神经网络模型中，逐维进行第一层卷积运算，得到featuremap；
S3：将每一维的featuremap通过特征融合模型进行特征融合，之后进入第一层池化层；
S4：S3池化之后的低纬度数据再次进行卷积与池化处理，逐层提取图像特征，最后从全连接层输出提取了特征的高维向量。
所述卷积神经网络模型中卷积神经网络的训练过程分为两个阶段：第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段；另外一个阶段是当前向传播得出的结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段；卷积神经网络的训练过程为：
1、卷积神经网络进行各项参数的初始化，包括循环迭代次数，初始学习率；
2、输入图片数据经过卷积层、池化层、全连接层的前向传播得到输出值；
3、求出网络的输出值与目标值之间的误差，即损失函数的值；
4、当误差大于预设的期望值时，将误差传回网络中，依次求得全连接层、池化层、卷积层的误差；当误差等于或小于预设的期望值时，结束训练；
5、根据优化器的计算，求得误差进行权值更新；然后再进入到步骤2；
其中，卷积神经网络的损失函数为交叉熵损失函数，优化器采用的是RMSProp()，交叉熵损失函数计算公式为：
Figure BDA0002475152750000041
其中，输入样本x为多维数据矩阵M，样本标签y为训练图片中司机的各种状态，N为样本的总数，
Figure BDA0002475152750000042
为输入样本x的预测输出；L为计算得到的损失函数值，P(y|x)为模型预测正确的概率，y(i)和
Figure BDA0002475152750000043
分别为训练总样本N中第i个样本的标签与预测输出。
对得到眼睛上下左右关键点的坐标进行处理，计算眼睛的纵横比，眼睛上下左右四个关键点的坐标分别记为(U,L,D,R)，则眼睛的横纵比P计算公式为：
Figure BDA0002475152750000044
其中，je、ke分别为眼睛特征点的编号，U,L,D,R分别为眼睛上、下、左、右、四个关键点，P为眼睛的横纵比，x与y为关键点的x坐标和y坐标；
将得到的分析结果P与预设眼睛闭合度阈值pe进行比较时长超过预设值后，确定司机面部图像的眼睛闭合状态，获取司机疲劳状态信息。实现对司机面部图像的眼睛闭合度分析。
采用特征点预估法来对司机面部姿态及朝向关系进行确定：以面部区域的两眼及嘴巴形成特征三角形，当面部进行左右或上下偏移时，特征三角形的坐标信息也会发生相应的位置角度改变，低头与扭头分别改变的是特征三角形的底边长与高，当司机低头或扭头时，低头角度α与扭头角度β分别为：
Figure BDA0002475152750000045
Figure BDA0002475152750000046
其中，a和h分别为面部正视时的两眼间距与特征三角形的高，a'和h'分别为面部侧视时的两眼间距与特征三角形的高；
当特征三角形的改变持续时长超过正常状态的阈值时，即低头角度α超过40°超过20s，或扭头角度β超过60°超过30s，则可判定司机处于分神状态；
当匹配到司机面部区域后，以肩部以上为搜索区域，搜索区域中手机模型是否出现，支持向量机SVM中设定为当手机模型出现时长超过阈值时判定为接打手机。
所述司机的工作状态有正常操作、疲劳驾驶、接打手机、分神四种，所述基于决策树的SVM多分类算法的步骤如下：
a.分别计算输入样本Xo的中心与其他所有类别Xp的中心距离dop；输入样本Xo为用来分类的特征图片矩阵，其他类别Xp为训练好的分类模型，中心距离dop为欧氏距离；
b.对于任意第o个类，定义与其他类别的距离最小值为Lo，则Lo为：
Figure BDA0002475152750000051
c.将距离最小值Lo的顺序从大到小进行排列，将距离最大对应的类分离出去，构建此类与剩余其他类的超平面；
d.当存在两个类的距离最小值Lo相等时，比较距离第二小的距离，用来判断类的距离情况；
e.重复步骤c、d，按各类的顺序构建k-1个支持向量机，将所有类别分离出来；其中，k为需要区分的类别总数；
SVM的分类模型为：
Figure BDA0002475152750000052
其中，K(xi,x)为核函数，αi为拉格朗日乘子，样本x为卷积神经网络模型的输出层提取的特征，样本标签yi为训练时手工标注的图像中司机工作状态，即正常操作、疲劳驾驶、接打手机、分神中的一种，b为偏置参数；f(x)为分类模型的结果，sign()为符号函数，n为拉格朗日乘子的数量。由于SVM只能进行二分类情况，针对四种不同的司机工作状态，采用基于决策树的SVM多分类算法。
一种盾构机司机工作状态实时监测报警装置，包括视频监控装置，视频监控装置与主控制器相连接，主控制器与数据库相连接，数据库内存储有所有盾构机司机面部信息的照片；所述主控制器上设有数据处理模块和报警模块，视频监控装置与数据处理模块相连接，数据处理模块分别与报警模块和数据传输模块相连接，数据传输模块与地面监控室的上位机相连接，数据处理模块对视频监控装置实时采集的图像进行处理得到司机实时状态，报警模块对司机实时状态的不规范行为进行报警提醒，数据传输模块将司机实时状态传送至地面监控室。
所述视频监控装置包括摄像头，摄像头安装在盾构机主控室的司机驾驶位置，用于实时采集包含司机的面部特征点和面部姿态朝向的图像信息；
所述数据处理模块包括司机身份判定单元、卷积神经网络模型、状态识别单元和SVM分类单元，司机身份判定单元、卷积神经网络模型均与摄像头相连接，卷积神经网络模型与状态识别单元相连接，状态识别单元与SVM分类单元相连接；
司机身份判定单元基于类Haar的特征点提取算法提取司机面部区域特征，并将提取的司机面部区域特征与数据库中存储的司机面部信息照片进行对比，判断司机身份信息。
卷积神经网络模型用于提取采集的视频中的图像的面部关键点的特征向量；
状态识别单元根据面部关键点的特征向量对司机的工作状态进行识别；
SVM分类单元基于决策树的SVM多分类算法对状态识别单元得到的司机的工作状态进行分类判断。
所述报警模块包括灯光报警模块与语音播报模块，灯光报警模块与语音播报模块并联连接，灯光报警模块包括警报器和闪光灯，警报器和闪光灯并联连接，警报器、闪光灯和语音播报模块均设置在盾构机主控室内；
所述数据传输模块采用RS232协议进行通讯传输，通过有线通信网络与地面监室建立通信。
与现有技术相比，本发明的有益效果：
1.本发明解决了现有技术缺少对盾构机司机工作状态的实时监测，且简单、有效、易用，易于安装操作，工程实用性较强。
2.监测系统装置使用的主要仪器为视频采集模块、图像处理与识别模块、灯光报警模块、语音播报模块、数据传输模块，在不需要人工辅助的情况下即可实现实时的监测与报警，实现了盾构机司机状态的实时自动监控识别，并在司机人员出现离岗、疲劳、分神、接打手机等异常行为时进行灯光及语音报警提示，使得掘进机司机长时间作业后的状态能够得到有效的保证，大大保证了掘进施工的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
图2为本发明装置的结构布局示意图。
图3为本发明多输入层卷积神经网络的原理图。
图4为本发明基于特征三角形的面部状态分析示意图。
图5为本发明基于决策树的SVM分类原理图。
图中，1为盾构机司机，2为视频监控装置，3为图像处理及分类模块，4为报警模块，5为数据传输模块，6为地面监控室接收模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，如图1所示，一种盾构机司机工作状态实时监测报警方法，其步骤如下：
步骤一：在盾构机主控室的司机驾驶位置安装视频监控装置，用于采集盾构机司机的面部状态，并预先录入司机的面部信息，将所有司机的面部信息存入数据库。
确保视频监控装置的方向及角度能够实时录入到司机的面部状态，面部状态包括特征点及面部姿态朝向等信息。将所有司机的面部信息通过图片存入数据库，用于后续的对比。
步骤二：通过视频监控装置实时采集司机位置的视频画面，对采集得到的图像进行预处理，基于类Haar的特征点提取算法对预处理后的图像进行处理提取司机面部区域特征点，对面部区域进行定位；通过特征人脸法将得到的面部特征与数据库中的司机信息进行对比，判断司机身份信息是否正确。
对视频采集得到的图像进行线性化灰度的处理，避免主控室周边灯光环境的影响，其中线性化灰度的处理方式如下：
Figure BDA0002475152750000071
其中，Gray为图像的灰度值，G1和G2为设定的线性化限值。具体实施时，G1与G2分别取100与180，增强图像中间区域的对比度。
预处理还包括对图像进行滤波、分割、增强等，采用滤波及阈值等预处理消除灰度化图像的噪声，将包含面部特征点阈值的部分提取出来，并进行图片增强处理，提高图片中特征点的边界特征信息，便于后续的面部定位。预处理用来处理包含面部特征点阈值的区域，对特征点的提取采用下述的基于类Haar的特征点提取算法。滤波处理采用opencv库提供的高斯滤波法cv2.GaussianBlur()，可以有效的去除图像中的噪声同时保留图像的总体灰度分布；图片增强采用直方图均衡化法cv2.equalizeHist()，用于改变图像对比度，突出人脸边缘区域。
基于类Haar的特征点提取算法对预处理后的实时采集得到的位置图像进行人脸特征提取，检测分析图像中是否存在人脸面部正视图像，若检测结果显示驾驶位无人脸特征，则判断此时驾驶位置无人操控并发出警报信息；当能够捕捉到人脸特征后，将当前面部特征点与数据库中司机面部特征进行人脸识别比对，分析视频的图像中人脸是否为司机。由于盾构机的司机具有固定性，因此为了减少搜索人脸特征时间并提高分辨率，本发明采用特征人脸法直接将人脸特征与图像中的人脸特征进行模板匹配，判断图像中是否存在于与数据库中相符合的司机面部信息模板中相似的区域位置，其中特征人脸法的相似程度的测度采用的是误差平方和法，公式如下：
Figure BDA0002475152750000081
其中，P(x,y)为摄像头采集的帧图片经类Haar算法提取的人脸特征矩阵在(x，y)处的像素值，M(j,k)为预先采集的司机面部图像经特征提取后矩阵在位置(j,k)处的像素值，j,k分别为遍历图像时的每一个像素点的位置坐标，h、w分别为图像的高和宽。T(x,y)表示数据库中的司机面部信息模板中的面部图像与当前采集到面部图像特征误差值。特征人脸法是基于opencv库的Template Matching()方法实现的。
当相似程度误差超过阈值范围内，则判定当前操作人员非盾构司机，发出司机身份信息异常报警。具体实例中阈值设定越小匹配程度越高，最小阈值minval设定为0.1。
步骤三：经过步骤二确定当前司机在岗信息正确后，将预处理后的图像输入卷积神经网络模型进行特征提取，得到人脸面部的关键特征点，基于决策树的SVM多分类算法判断司机的工作状态。
对司机的工作状态实时监测采用的是在Python+Keras环境下，基于卷积神经网络模型训练提取司机面部及关键特征，并导入支持向量机SVM中进行状态的分类。其中输入层为预处理后的拍摄的人脸视频帧图像即经步骤二预处理后的多种司机状态的图片，包括正常驾驶、疲劳驾驶、分神、接打手机各个状态，为了提高识别的精度与实时性，采用多输入层卷积神经网络模型，卷积神经网络模型由多层输入层、两层卷积层、两层池化层及一层全连接层共同组成，如图3所示。将当前实时拍摄的原始司机面部图像与前几帧图像由2D格式转为1D信息后共同作为输入层输入卷积神经网络模型，来提高图像特征的自适应提取与分类。同时，对每一层的图像信息加以不同的权重，进行特征融合。其中，特征融合模型如下：
F＝q1F1+q2F2+···+qnFn，
其中，Fn为每层特征矩阵的值，qn为影响权重；F表示各层矩阵融合后的特征矩阵，即多层的图像信息矩阵的加权融合。每一层的图像信息包括当前帧得到的面部图像信息与前几帧的面部信息。
特征融合的步骤如下：
Step 1：根据原始样本数据即输入的图像二维矩阵，通过信号处理方法即将二维矩阵转置为一维矩阵，并赋予不同的影响权重，构造多维数据矩阵M。
Step 2：将多维数据矩阵M输入到卷积神经网络模型中，逐维进行第一层卷积运算，得到feature map。
Step 3：将每一维的feature map通过特征融合模型进行特征融合，之后进入第一层池化层。
Step 4：Step 3池化之后的低纬度数据再次进行卷积与池化处理，逐层提取图像特征，最后从全连接层输出提取了特征的高维向量。
卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是：当前向传播得出的结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段。训练过程为：
1、卷积神经网络进行各项参数的初始化，包括循环迭代次数，初始学习率；
2、输入图片数据经过卷积层、池化层、全连接层的前向传播得到输出值；
3、求出网络的输出值与目标值之间的误差，即损失函数的值；
4、当误差大于预设的期望值时，将误差传回网络中，依次求得全连接层，池化层，卷积层的误差。各层的误差可以理解为对于卷积神经网络的总误差，网络应承担多少；当误差等于或小于预设的期望值时，结束训练。
5、根据优化器的计算，求得误差进行权值更新。然后再进入到第二步。
其中，卷积神经网络的损失函数loss为交叉熵损失函数(CrossEntropy Loss)，优化器采用的是RMSProp()，初始学习率设置为0.01。交叉熵损失函数计算公式如下：
Figure BDA0002475152750000091
其中，x为输入样本即上述的多维数据矩阵M，y为样本标签即训练图片中司机的各种状态，N为样本的总数，
Figure BDA0002475152750000092
为输入样本x的预测输出。L为计算得到的损失函数值，用来度量模型的拟合程度好坏，P(y|x)为模型预测正确的概率，y(i)和
Figure BDA0002475152750000093
分别为训练总样本N中第i个样本的标签与预测输出。损失函数和优化器用于在训练卷积神经网络的过程中优化提高模型的准确率，让模型尽快收敛于最优解。
经过多输入层卷积神经网络模型的两层卷积、池化计算后输入到全连接层，得到司机面部的关键点位置信息，包括眼睛上下左右关键点坐标、头部姿态及朝向关系，以及镜头内是否捕捉到手机信息，通过卷积神经网络模型得到的上述司机面部关键位置信息后，需要经过下文的处理从而组成司机的眨眼频率及闭合状态、头部位姿信息的特征向量。
为了能够对司机面部图像的眼睛闭合度进行分析，需要对得到司机的眼睛上下左右关键点的坐标进行处理，计算眼睛的纵横比。眼睛上下左右四个关键点的坐标分别记为(U,L,D,R)，则眼睛的横纵比P计算公式为：
Figure BDA0002475152750000101
其中，je、ke分别为眼睛特征点的编号，U,L,D,R分别为眼睛上、下、左、右、四个关键点，P为眼睛的横纵比，x与y为关键点的x和y坐标。
将得到的分析结果P与预设眼睛闭合度阈值pe进行比较，确定司机眼睛图像的闭合状态，获取司机疲劳状态信息。设定阈值pe为0.3，当得到的眼睛横纵比P小于阈值pe时长超过10s时，则判断司机此时处于非正常闭眼状态。
对于司机面部姿态及朝向关系的确定采用特征点预估法，采用下述的特征点预估法来对司机面部姿态及朝向关系进行确定，以面部区域的两眼及嘴巴形成特征三角形，如图4所示，当面部进行左右或上下偏移时，特征三角形的坐标信息也会发生相应的位置角度改变，低头与扭头分别改变的是特征三角形的底边长与高，当司机低头或扭头时，低头角度α与扭头角度β分别为：
Figure BDA0002475152750000102
Figure BDA0002475152750000103
其中，a和h分别为面部正视时的两眼间距与特征三角形的高，a’和h’分别为面部侧视时的两眼间距与特征三角形的高。
当特征三角形的改变持续时长超过正常状态的阈值时，即低头角度α超过40°超过20s，或扭头角度β超过60°超过30s，则可判定司机处于分神状态。
当匹配到司机面部区域后，会以肩部以上为检索区域，搜索区域中手机模型是否出现，为了避免司机使用对讲机时造成准确率降低的影响，SVM分类模型设定为只有当手机模型出现时长超过阈值时(阈值p_phone设定为60s)才会判定为接打手机。
对面部关键点坐标进行定位捕捉时，首先根据前几帧已确定的目标关键点，进行位置预测来定位接下来关键点的坐标位置，然后由后续的SVM多分类算法进行识别分类，如果识别成功，则作为下一帧的预测位置，有效降低了模型的搜索时间。SVM多分类算法通过判断图片中的信息符合各个类别的概率，对图片中司机的状态进行分类。
由多输入层卷积神经网络模型提取出司机面部的特征向量后，输入到检测效率更高的支持向量机SVM中，对司机的工作状态进行分类判断，分类结果中司机有正常操作、疲劳驾驶、接打手机、分神四种工作状态。当司机出现疲劳、接打手机、分神不规范行为时，触发报警模块的警报器、语音播报模块发出相应异常行为的报警提示。由于SVM只能进行二分类情况，针对四种不同的司机工作状态结果，采用基于决策树的SVM多分类算法，如图5所示，具体步骤如下：
a.分别计算某种样本Xo的中心与其他所有类别Xp的中心距离dop；样本Xo为输入样本，即用来分类的特征图片矩阵，其他类别Xp为训练好的分类模型，中心距离dop为欧氏距离。
b.对于任意第o个类，定义它与其他类别的距离最小值为Lo，则Lo为
Figure BDA0002475152750000111
c.将o的顺序从大到小进行排列，将距离最大的类分离出去，构建此类与剩余其他类的超平面；
d.当存在两个类的距离Lo相等时，比较距离第二小的距离Lo，用来判断类的距离情况；
e.重复步骤c、d，按各类的顺序构建k-1个支持向量机，将所有类别分离出来。其中，k为需要区分的类别总数。
具体实现方式如图5所示，对特征图片的分类首先分为两个类别，正常驾驶与其他状态，svm1决策树模型对特征图片的分类首先分为两个类别(正常驾驶与其他状态)，当计算图片归属于其他状态的概率超过0.5时，进入第二个决策树svm2，对其他状态的图片继续进行分类计算，两个类别为(疲劳驾驶与其他违规状态)，当模型判断图片属于其他违规状态的概率超过0.5后，继续进入第三个决策树svm3，计算图片的下一步归属类别概率(接打手机与分神驾驶)，得出的最终结果即是多分类svm的分类结果。
支持向量机的分类模型为：
Figure BDA0002475152750000112
其中，K(xi,x)为核函数，αi为拉格朗日乘子，样本x为上述卷积神经网络模型输出层提取的特征，即确定了特征后的视频帧图片，样本标签y为训练时手工标注的图像中司机工作状态，即正常操作、疲劳驾驶、接打手机、分神中的一种，b为偏置参数。f(x)为分类模型的结果，sign()为符号函数，功能是取某个数的符号(正或负)，n为拉格朗日乘子的数量。
步骤四：当判断司机当前工作状态处于疲劳、接打手机、分神不规范行为后，触发报警模块进行报警提醒。
报警模块由灯光报警模块与语音播报模块共同组成，当判断司机状态为疲劳、接打手机、分神状态时，灯光报警模块与语音播报模块启动发出警示，并播放预先设定的司机不规范行为警示语音，提醒司机及时纠正，警示司机及时规范异常行为。
步骤五：通过数据传输模块将司机实时状态发送回地面监控室，当发生报警时提醒监控室进行相应的反馈，确保盾构机司机的正常操作驾驶。
数据传输模块采用RS232协议进行通讯传输，用于通过有线通信网络与地面监室建立通信，当司机发生违规状态时，将司机违规行为及监控视频图像发送回地面，实现对司机状态进行远程实时监测。
实施例2，一种盾构机司机工作状态实时监测报警装置，包括视频监控装置，视频监控装置与主控制器相连接，主控制器与数据库相连接，数据库内存储有所有盾构机司机面部信息的照片；所述主控制器上设有数据处理模块和报警模块，视频监控装置与数据处理模块相连接，数据处理模块分别与报警模块和数据传输模块相连接，数据传输模块与地面监控室的上位机相连接，数据处理模块对视频监控装置实时采集的图像进行处理得到司机实时状态，报警模块对司机实时状态的不规范行为进行报警提醒，数据传输模块将司机实时状态传送至地面监控室。
视频监控装置包括摄像头，摄像头安装在盾构机主控室的司机驾驶位置，用于实时采集包含司机的面部特征点和面部姿态朝向的图像信息。
所述数据处理模块包括司机身份判定单元、卷积神经网络模型、状态识别单元和SVM分类单元，司机身份判定单元、卷积神经网络模型均与摄像头相连接，卷积神经网络模型与状态识别单元相连接，状态识别单元与SVM分类单元相连接；
司机身份判定单元基于类Haar的特征点提取算法提取司机面部区域特征，并将提取的司机面部区域特征与数据库中存储的司机面部信息照片进行对比，判断司机身份信息。
卷积神经网络模型用于提取采集的视频中的图像的面部关键点的特征向量；
状态识别单元根据面部关键点的特征向量对司机的工作状态进行识别；
SVM分类单元基于决策树的SVM多分类算法对状态识别单元得到的司机的工作状态进行分类判断。
所述报警模块包括灯光报警模块与语音播报模块，灯光报警模块与语音播报模块并联连接，灯光报警模块包括警报器和闪光灯，警报器和闪光灯并联连接，当判断司机状态为疲劳、接打手机、分神状态时，灯光报警模块与语音播报模块启动发出警示，并语音播报模块播放预先设定的司机不规范行为警示语音，提醒司机及时纠正，警示司机及时规范异常行为。警报器、闪光灯和语音播报模块均设置在盾构机主控室内。报警模块能够实现在司机发生异常违规状态时及时提醒司机。
数据传输模块采用RS232协议进行通讯传输，用于通过有线通信网络与地面监室建立通信，当司机发生违规状态时，将司机违规行为及监控视频图像发送回地面，实现对司机状态进行远程实时监测。
本发明针对盾构司机处于地下操作的特点，采用智能化的多输入层卷积神经网络与支持向量机对司机状态进行监测识别，并通过报警模块与数据传输模块将盾构司机状态与监控进行通信传输，从而有效实现了对盾构司机工作状态的实时监测。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种盾构机司机工作状态实时监测报警方法，其特征在于，其步骤如下：
步骤一：在盾构机主控室的司机驾驶位置安装视频监控装置，用于采集盾构机司机的面部状态，并预先录入司机的面部信息，将所有司机的面部信息存入数据库；
步骤二：通过视频监控装置实时采集司机位置的视频画面，对采集得到的图像进行预处理，然后基于类Haar的特征点提取算法对预处理后的图像进行处理提取司机面部区域特征点，对面部区域进行定位；通过特征人脸法将得到的面部特征与数据库中的司机面部信息进行对比，判断司机身份信息是否正确；
步骤三：经过步骤二确定当前司机在岗信息正确后，将预处理后的图像输入卷积神经网络模型进行特征提取，得到人脸面部的关键特征点，基于决策树的SVM多分类算法判断司机的工作状态；
步骤四：当判断司机当前工作状态处于疲劳、接打手机、分神不规范行为后，触发报警模块进行报警提醒；
步骤五：通过数据传输模块将司机实时状态发送回地面监控室，当发生报警时提醒监控室进行相应的反馈，确保盾构机司机的正常操作驾驶。
2.根据权利要求1所述的盾构机司机工作状态实时监测报警方法，其特征在于，所述步骤中二中预处理用来处理包含面部特征点阈值的区域，预处理包括对采集的视频图像进行线性化灰度的处理，其中线性化灰度的处理方法为：
Figure FDA0002475152740000011
其中，Gray为图像的灰度值，G1和G2为设定的线性化限值；
所述预处理还包括对线性化灰度处理后的图像进行滤波、分割、增强，滤波处理采用opencv库提供的高斯滤波法cv2.GaussianBlur()；增强采用直方图均衡化法cv2.equalizeHist()。
3.根据权利要求1或2所述的盾构机司机工作状态实时监测报警方法，其特征在于，所述基于类Haar的特征点提取算法对预处理后的图像进行人脸特征提取，检测分析图像中是否存在人脸面部正视图像，若检测结果显示驾驶位无人脸特征，则判断此时驾驶位置无人操控并发出警报信息；当能够捕捉到人脸特征后，将当前面部特征点与数据库中司机面部特征进行人脸识别比对，分析视频的图像中人脸是否为司机；
特征人脸法直接将人脸特征与图像中的人脸特征进行模板匹配，判断图像中是否存在于与数据库中相符合的司机面部信息模板中相似的区域位置；且特征人脸法的相似程度的测度采用误差平方和法：
Figure FDA0002475152740000021
其中，P(x,y)为摄像头采集的帧图片经类Haar算法提取的人脸特征矩阵在(x，y)处的像素值，M(j,k)为预先采集的司机面部图像经特征提取后矩阵在位置(j,k)处的像素值，j,k分别为遍历图像时的每一个像素点的位置坐标，h、w分别为图像的高和宽；T(x,y)表示数据库中的司机面部信息模板中的面部图像与当前采集到面部图像特征误差值；
所述特征人脸法是基于opencv库的Template Matching()方法实现的。
4.根据权利要求1所述的盾构机司机工作状态实时监测报警方法，其特征在于，所述步骤三中对司机的工作状态实时监测是在Python+Keras环境下，利用卷积神经网络模型训练提取司机面部及关键特征，并导入支持向量机SVM中进行状态的分类；所述卷积神经网络的输入层为步骤二预处理后的多种司机状态的图片，包括正常驾驶、疲劳驾驶、分神、接打手机各个状态；所述卷积神经网络模型为多输入层卷积神经网络模型，即由多层输入层、两层卷积层、两层池化层及一层全连接层共同组成；经过多输入层卷积神经网络模型的两层卷积、池化计算后输入到全连接层，得到司机面部的关键点位置信息，包括眼睛上下左右关键点坐标、头部姿态及朝向关系，以及镜头内是否捕捉到手机信息。
5.根据权利要求4所述的盾构机司机工作状态实时监测报警方法，其特征在于，将当前实时拍摄的、预处理后的原始司机面部图像与前几帧图像由2D格式转为1D信息后共同作为输入层输入卷积神经网络模型，对每一层的图像信息加以不同的权重，进行特征融合，特征融合的模型为：
F＝q1F1+q2F2+···+qnFn，
其中，F1、F2、……、Fn分别为每层特征矩阵的值，q1、q2、……、qn为影响权重；F表示各层矩阵融合后的特征矩阵；
所述特征融合的步骤如下：
S1：根据原始样本数据即输入的图像二维矩阵，通过信号处理方法即将二维矩阵转置为一维矩阵，并赋予不同的影响权重，构造多维数据矩阵M；
S2：将多维数据矩阵M输入到卷积神经网络模型中，逐维进行第一层卷积运算，得到feature map；
S3：将每一维的feature map通过特征融合模型进行特征融合，之后进入第一层池化层；
S4：S3池化之后的低纬度数据再次进行卷积与池化处理，逐层提取图像特征，最后从全连接层输出提取了特征的高维向量。
6.根据权利要求5所述的盾构机司机工作状态实时监测报警方法，其特征在于，所述卷积神经网络模型中卷积神经网络的训练过程分为两个阶段：第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段；另外一个阶段是当前向传播得出的结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段；卷积神经网络的训练过程为：
1、卷积神经网络进行各项参数的初始化，包括循环迭代次数，初始学习率；
2、输入图片数据经过卷积层、池化层、全连接层的前向传播得到输出值；
3、求出网络的输出值与目标值之间的误差，即损失函数的值；
4、当误差大于预设的期望值时，将误差传回网络中，依次求得全连接层、池化层、卷积层的误差；当误差等于或小于预设的期望值时，结束训练；
5、根据优化器的计算，求得误差进行权值更新；然后再进入到步骤2；
其中，卷积神经网络的损失函数为交叉熵损失函数，优化器采用的是RMSProp()，交叉熵损失函数计算公式为：
Figure FDA0002475152740000031
其中，输入样本x为多维数据矩阵M，样本标签y为训练图片中司机的各种状态，N为样本的总数，
Figure FDA0002475152740000032
为输入样本x的预测输出；L为计算得到的损失函数值，P(y|x)为模型预测正确的概率，y(i)和
Figure FDA0002475152740000033
分别为训练总样本N中第i个样本的标签与预测输出。
7.根据权利要求4所述的盾构机司机工作状态实时监测报警方法，其特征在于，对得到眼睛上下左右关键点的坐标进行处理，计算眼睛的纵横比，眼睛上下左右四个关键点的坐标分别记为(U,L,D,R)，则眼睛的横纵比P计算公式为：
Figure FDA0002475152740000034
其中，je、ke分别为眼睛特征点的编号，U,L,D,R分别为眼睛上、下、左、右、四个关键点，P为眼睛的横纵比，x与y为关键点的x坐标和y坐标；
将得到的分析结果P与预设眼睛闭合度阈值pe进行比较时长超过预设值后，确定司机面部图像的眼睛闭合状态，获取司机疲劳状态信息。
8.根据权利要求4所述的盾构机司机工作状态实时监测报警方法，其特征在于，采用特征点预估法来对司机面部姿态及朝向关系进行确定：以面部区域的两眼及嘴巴形成特征三角形，当面部进行左右或上下偏移时，特征三角形的坐标信息也会发生相应的位置角度改变，低头与扭头分别改变的是特征三角形的底边长与高，当司机低头或扭头时，低头角度α与扭头角度β分别为：
Figure FDA0002475152740000041
Figure FDA0002475152740000042
其中，a和h分别为面部正视时的两眼间距与特征三角形的高，a'和h'分别为面部侧视时的两眼间距与特征三角形的高；
当特征三角形的改变持续时长超过正常状态的阈值时，即低头角度α超过40°超过20s，或扭头角度β超过60°超过30s，则可判定司机处于分神状态；
当匹配到司机面部区域后，以肩部以上为搜索区域，搜索区域中手机模型是否出现，支持向量机SVM中设定为当手机模型出现时长超过阈值时判定为接打手机。
9.根据权利要求1、4-8中任意一项所述的盾构机司机工作状态实时监测报警方法，其特征在于，司机工作状态有正常操作、疲劳驾驶、接打手机、分神四种，所述基于决策树的SVM多分类算法的步骤如下：
a.分别计算输入样本Xo的中心与其他所有类别Xp的中心距离dop；输入样本Xo为用来分类的特征图片矩阵，其他类别Xp为训练好的分类模型，中心距离dop为欧氏距离；
b.对于任意第o个类，定义与其他类别的距离最小值为Lo，则Lo为：
Figure FDA0002475152740000043
c.将距离最小值Lo的顺序从大到小进行排列，将距离最大对应的类分离出去，构建此类与剩余其他类的超平面；
d.当存在两个类的距离最小值Lo相等时，比较距离第二小的距离，用来判断类的距离情况；
e.重复步骤c、d，按各类的顺序构建k-1个支持向量机，将所有类别分离出来；其中，k为需要区分的类别总数；
SVM的分类模型为：
Figure FDA0002475152740000044
其中，K(xi,x)为核函数，αi为拉格朗日乘子，样本x为卷积神经网络模型的输出层提取的特征，样本标签yi为训练时手工标注的图像中司机工作状态，即正常操作、疲劳驾驶、接打手机、分神中的一种，b为偏置参数；f(x)为分类模型的结果，sign()为符号函数，n为拉格朗日乘子的数量。
10.一种盾构机司机工作状态实时监测报警装置，其特征在于，包括视频监控装置，视频监控装置与主控制器相连接，主控制器与数据库相连接，数据库内存储有所有盾构机司机面部信息的照片；所述主控制器上设有数据处理模块和报警模块，视频监控装置与数据处理模块相连接，数据处理模块分别与报警模块和数据传输模块相连接，数据传输模块与地面监控室的上位机相连接，数据处理模块对视频监控装置实时采集的图像进行处理得到司机实时状态，报警模块对司机实时状态的不规范行为进行报警提醒，数据传输模块将司机实时状态传送至地面监控室。
11.根据权利要求10所述的盾构机司机工作状态实时监测报警装置，其特征在于，所述视频监控装置包括摄像头，摄像头安装在盾构机主控室的司机驾驶位置，用于实时采集包含司机的面部特征点和面部姿态朝向的图像信息；
所述数据处理模块包括司机身份判定单元、卷积神经网络模型、状态识别单元和SVM分类单元，司机身份判定单元、卷积神经网络模型均与摄像头相连接，卷积神经网络模型与状态识别单元相连接，状态识别单元与SVM分类单元相连接；
司机身份判定单元基于类Haar的特征点提取算法提取司机面部区域特征，并将提取的司机面部区域特征与数据库中存储的司机面部信息照片进行对比，判断司机身份信息。
卷积神经网络模型用于提取采集的视频中的图像的面部关键点的特征向量；
状态识别单元根据面部关键点的特征向量对司机的工作状态进行识别；
SVM分类单元基于决策树的SVM多分类算法对状态识别单元得到的司机的工作状态进行分类判断。
12.根据权利要求10或11所述的盾构机司机工作状态实时监测报警装置，其特征在于，所述报警模块包括灯光报警模块与语音播报模块，灯光报警模块与语音播报模块并联连接，灯光报警模块包括警报器和闪光灯，警报器和闪光灯并联连接，警报器、闪光灯和语音播报模块均设置在盾构机主控室内；
所述数据传输模块采用RS232协议进行通讯传输，通过有线通信网络与地面监室建立通信。
CN202010361461.7A 2020-04-30 2020-04-30 一种盾构机司机工作状态实时监测报警方法及装置 Pending CN111582129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010361461.7A CN111582129A (zh) 2020-04-30 2020-04-30 一种盾构机司机工作状态实时监测报警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010361461.7A CN111582129A (zh) 2020-04-30 2020-04-30 一种盾构机司机工作状态实时监测报警方法及装置

Publications (1)

Publication Number Publication Date
CN111582129A true CN111582129A (zh) 2020-08-25

Family

ID=72117054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010361461.7A Pending CN111582129A (zh) 2020-04-30 2020-04-30 一种盾构机司机工作状态实时监测报警方法及装置

Country Status (1)

Country Link
CN (1) CN111582129A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062245A (zh) * 2019-10-31 2020-04-24 北京交通大学 一种基于上身姿态的机车司机疲劳状态监测方法
CN112347916A (zh) * 2020-11-05 2021-02-09 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112364828A (zh) * 2020-11-30 2021-02-12 姜召英 人脸识别方法及金融系统
CN112381871A (zh) * 2020-10-16 2021-02-19 华东交通大学 一种基于人脸识别的机车警惕装置的实现方法
CN112800854A (zh) * 2021-01-04 2021-05-14 中南大学 一种基于图像的机车乘务员作业自动分析系统
CN113034851A (zh) * 2021-03-11 2021-06-25 中铁工程装备集团有限公司 一种隧道掘进机主司机疲劳驾驶监测装置及方法
CN113382304A (zh) * 2021-06-07 2021-09-10 北博（厦门）智能科技有限公司 一种基于人工智能技术的视频拼接方法
CN113469136A (zh) * 2021-07-28 2021-10-01 大连海事大学 基于改进lstm-vgg16深层神经网络结构识别轮机员工作监控方法
CN113919394A (zh) * 2021-10-09 2022-01-11 中建八局第二建设有限公司 一种基于振动信号分析的机械设备工作状态判别方法
CN114283492A (zh) * 2021-10-28 2022-04-05 平安银行股份有限公司 基于员工行为的工作饱和度分析方法、装置、设备及介质
WO2023159750A1 (zh) * 2022-02-25 2023-08-31 平安科技（深圳）有限公司 用户在线状态的识别方法、装置、服务器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016216608A1 (en) * 2015-09-01 2017-03-16 Trip Holdings Pty Ltd A monitoring device and system
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法
CN109977771A (zh) * 2019-02-22 2019-07-05 杭州飞步科技有限公司 司机身份的验证方法、装置、设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016216608A1 (en) * 2015-09-01 2017-03-16 Trip Holdings Pty Ltd A monitoring device and system
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法
CN109977771A (zh) * 2019-02-22 2019-07-05 杭州飞步科技有限公司 司机身份的验证方法、装置、设备及计算机可读存储介质

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
何叶荣: "《煤矿安全管理风险评价方法以及应用研究》", 30 January 2017 *
俞朝辉: "《VISUALC++数字图像处理与工程应用实践》", 30 July 2012 *
关玉萍: "基于视频的驾驶员疲劳检测技术的研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
刘东升: "《连锁商业客户关系管理》", 30 December 2018 *
刘国华: "《HALCON数字图像处理》", 30 June 2018 *
张万枝: "基于面部特征三角形的机车驾驶员头部姿态参数估计", 《铁道学报》 *
焦李成: "《人工智能前沿技术丛书简明人工智能》", 30 September 2019 *
谬学宁: "《网络信息体系中数据链系统的建设与应用》", 30 May 2019 *
都伊林: "《智能安防新发展与应用》", 30 July 2018 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062245A (zh) * 2019-10-31 2020-04-24 北京交通大学 一种基于上身姿态的机车司机疲劳状态监测方法
CN112381871A (zh) * 2020-10-16 2021-02-19 华东交通大学 一种基于人脸识别的机车警惕装置的实现方法
CN112347916A (zh) * 2020-11-05 2021-02-09 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112347916B (zh) * 2020-11-05 2023-11-17 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112364828B (zh) * 2020-11-30 2022-01-04 天津金城银行股份有限公司 人脸识别方法及金融系统
CN112364828A (zh) * 2020-11-30 2021-02-12 姜召英 人脸识别方法及金融系统
CN112800854A (zh) * 2021-01-04 2021-05-14 中南大学 一种基于图像的机车乘务员作业自动分析系统
CN113034851A (zh) * 2021-03-11 2021-06-25 中铁工程装备集团有限公司 一种隧道掘进机主司机疲劳驾驶监测装置及方法
CN113382304A (zh) * 2021-06-07 2021-09-10 北博（厦门）智能科技有限公司 一种基于人工智能技术的视频拼接方法
CN113469136A (zh) * 2021-07-28 2021-10-01 大连海事大学 基于改进lstm-vgg16深层神经网络结构识别轮机员工作监控方法
CN113469136B (zh) * 2021-07-28 2024-05-14 大连海事大学 基于改进lstm-vgg16深层神经网络结构识别轮机员工作监控方法
CN113919394A (zh) * 2021-10-09 2022-01-11 中建八局第二建设有限公司 一种基于振动信号分析的机械设备工作状态判别方法
CN113919394B (zh) * 2021-10-09 2024-04-26 中建八局第二建设有限公司 一种基于振动信号分析的机械设备工作状态判别方法
CN114283492A (zh) * 2021-10-28 2022-04-05 平安银行股份有限公司 基于员工行为的工作饱和度分析方法、装置、设备及介质
CN114283492B (zh) * 2021-10-28 2024-04-26 平安银行股份有限公司 基于员工行为的工作饱和度分析方法、装置、设备及介质
WO2023159750A1 (zh) * 2022-02-25 2023-08-31 平安科技（深圳）有限公司 用户在线状态的识别方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN111582129A (zh) 一种盾构机司机工作状态实时监测报警方法及装置
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
CN102163290B (zh) 基于时空关联信息的多视角视频监控中异常事件建模方法
CN109214280B (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
US11194997B1 (en) Method and system for thermal infrared facial recognition
CN109033950A (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN111813997A (zh) 入侵分析方法、装置、设备及存储介质
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN111275058B (zh) 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置
CN112435414A (zh) 一种基于人脸识别的安防监控系统及其监控方法
CN115410258A (zh) 基于注意力图像的人脸表情识别方法
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN114332071A (zh) 一种基于前景信息增强的视频异常检测方法
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN112069898A (zh) 基于迁移学习人脸族群属性的识别方法及装置
CN115909400A (zh) 一种用于低分辨率监控场景中使用手机行为的识别方法
CN111310607B (zh) 基于计算机视觉和人工智能的公路安全风险识别方法及系统
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
CN114445787A (zh) 非机动车重识别方法及相关设备
CN113705348A (zh) 一种融合多注意力机制的行人重识别方法
CN112906680A (zh) 一种行人属性识别方法、装置及电子设备
CN112084867A (zh) 一种基于人体骨架点距离的行人定位跟踪方法
KR20210114169A (ko) 객체검증을 이용한 모니터링 영상 분석 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication