CN117522852A - 基于机器视觉的疲劳检测方法、装置及电子设备 - Google Patents

基于机器视觉的疲劳检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117522852A
CN117522852A CN202311629427.3A CN202311629427A CN117522852A CN 117522852 A CN117522852 A CN 117522852A CN 202311629427 A CN202311629427 A CN 202311629427A CN 117522852 A CN117522852 A CN 117522852A
Authority
CN
China
Prior art keywords
detection
user
detected
equipment
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311629427.3A
Other languages
English (en)
Inventor
艾意其
陈志列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evoc Hi Tech Holdings Group Ltd
Original Assignee
Xi'an Evoc Xingye Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Evoc Xingye Electronic Technology Co ltd filed Critical Xi'an Evoc Xingye Electronic Technology Co ltd
Priority to CN202311629427.3A priority Critical patent/CN117522852A/zh
Publication of CN117522852A publication Critical patent/CN117522852A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请适用于图像处理技术领域，提供了基于机器视觉的疲劳检测方法、装置及电子设备，上述方法包括：获取待检测用户的人脸图像，根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，得到状态检测结果，获取所述待检测用户的关联设备的设备信息，所述设备信息为反映所述关联设备运行状态的信息，根据所述设备信息对所述关联设备进行设备检测，得到设备检测结果，利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测。本申请可以提高疲劳检测的准确率。

Description

基于机器视觉的疲劳检测方法、装置及电子设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种基于机器视觉的疲劳检测方法、装置、电子设备及计算机可读存储介质。
背景技术
疲劳检测是指在不同场景中对待检测人员的疲劳状态进行量化，从而准确判断待检测人员的疲劳状态。例如，在工业领域中，对操作人员进行疲劳检测，判断是否存在疲劳操作等。现有技术中，主要是通过检测人体的外部表现特征来判断人体是否处于疲劳状态，包括人脸识别、行为检测等方法，这些方法基于视觉特征来对人体进行疲劳检测，容易产生误判及检测不及时等问题。
发明内容
本申请实施例提供了一种基于机器视觉的疲劳检测方法、装置及电子设备，可以提高疲劳检测的准确率。
第一方面，本申请实施例提供了一种基于机器视觉的疲劳检测方法，包括：
获取待检测用户的人脸图像；
根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，得到状态检测结果；
获取所述待检测用户的关联设备的设备信息，所述设备信息为反映所述关联设备运行状态的信息；
根据所述设备信息对所述关联设备进行设备检测，得到设备检测结果；
利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测。
可选地，在所述根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测之前，还包括：
利用预训练的人脸特征检测模型检测出所述人脸图像中的人脸特征，利用所述人脸特征对所述待检测用户进行身份验证。
可选地，所述利用预训练的人脸特征检测模型检测出所述人脸图像中的人脸特征之前，还包括：
利用历史图像集合对图像检测网络进行训练，得到所述人脸特征检测模型，所述历史图像集合包括所述待检测用户的历史人脸图像。
可选地，所述根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，包括：
在所述身份验证通过的情况下，根据所述人脸特征计算特征变化指标，所述特征变化指标用于表示所述人脸特征的变化程度；
利用所述特征变化指标对所述待检测用户进行状态检测。
可选地，所述获取所述待检测用户的关联设备的设备信息，包括：
根据所述待检测用户的身份验证结果确定所述待检测用户的关联设备；
获取所述关联设备在预设时间内的设备信息。
可选地，所述根据所述设备信息对所述关联设备进行设备检测，包括：
利用所述设备信息对所述关联设备的运行状态进行异常检测，所述异常检测包括单点异常检测、波动异常检测及序列异常检测的至少一种。
可选地，所述利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测，包括：
基于预设的结果权重对所述状态检测结果及所述设备检测结果进行加权融合；
根据加权融合结果对所述待检测用户进行疲劳检测。
第二方面，本申请实施例提供了一种基于机器视觉的疲劳检测装置，包括：
人脸图像获取模块，用于获取待检测用户的人脸图像；
状态检测模块，用于根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，得到状态检测结果；
设备信息获取模块，用于获取所述待检测用户的关联设备的设备信息，所述设备信息为反映所述关联设备运行状态的信息；
设备检测模块，用于根据所述设备信息对所述关联设备进行设备检测，得到设备检测结果；
疲劳检测模块，用于利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于机器视觉的疲劳检测方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的基于机器视觉的疲劳检测方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项所述的基于机器视觉的疲劳检测方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请利用待检测用户的状态检测结果以及待检测用户的关联设备的设备检测结果进行疲劳检测，可以提高疲劳检测的准确率。具体地，由于状态检测结果基于待检测用户的人脸特征得到，可以反映待检测用户的身体状态；而设备检测结果基于设备信息对待检测用户的关联设备进行设备检测得到，由于上述设备信息表明了该关联设备的运行状态，意味着上述设备检测结果可以反映待检测用户对关联设备的操作状态，因此相较于现有技术中通过视觉特征进行疲劳检测，在利用状态检测结果及设备检测结果对待检测用户进行疲劳检测时，同时考虑了待检测用户的外部视觉特征及待检测用户当前的操作状态，可以更准确地对待检测用户进行疲劳检测。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的基于机器视觉的疲劳检测方法的流程示意图；
图2是本申请实施例提供的基于机器视觉的疲劳检测装置的结构示意图；
图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
疲劳检测可以检测用户的疲劳状态，并在用户疲劳时进行提醒，从而提高用户生命安全、减少事故发生的概率，广泛应用于工业生产等场景。在对用户进行疲劳检测时，主要通过机器视觉识别的方式来提取用户的视觉特征(如通过深度学习模型提取用户的行为特征等)，并通过视觉特征进行疲劳检测。但是纯机器视觉的方法由于环境因素等影响，容易对用户疲劳状态产生误判，导致疲劳检测的准确率较低。
为了提高疲劳检测的准确率，本申请提供了一种结合人脸图像及设备信息的基于机器视觉的疲劳检测方法。
图1示出了本申请实施例提供的一种基于机器视觉的疲劳检测方法的流程示意图，详述如下：
S1、获取待检测用户的人脸图像。
本申请实施例中，上述待检测用户是指待进行疲劳检测的人员，例如，工业生产中的操作人员、车辆行驶中的驾驶人员。上述人脸图像可以为通过视觉系统捕捉到的包含人脸的图像(例如，可以为通过摄像头拍摄的静态图像或者动态视频序列图像等)。
S2、根据上述人脸图像中的人脸特征对上述待检测用户进行状态检测，得到状态检测结果。
本申请实施例中，上述人脸特征是指人脸图像中用于识别和区分不同人脸的一些重要部位或特征，包括眼睛、嘴唇及鼻子等。上述对待检测用户进行状态检测是指通过不同的人脸特征来对待检测用户进行疲劳状态识别，得到初步的状态检测结果，例如，根据眼睛、嘴巴等人脸特征的变化程度或相对位置等来对待检测用户进行疲劳状态检测。由于人脸特征可以在一定程度快速反映人体疲劳程度(例如，频繁的打哈欠会导致嘴唇的不断变化)，因此通过人脸特征对待检测用户进行状态检测，可以快速得到反映待检测用户身体状态的状态检测结果。
S3、获取上述待检测用户的关联设备的设备信息，上述设备信息为反映上述关联设备运行状态的信息。
本申请实施例中，上述待检测用户的关联设备是指用户当前使用的设备，例如，工业生产领域中操作人员当前操作的设备等。上述设备信息为反映关联设备运行状态的信息，可以通过设备以及设备上的传感器连接智能网关等采集。
一些实施例中，以工业生产为例，可以通过关联设备上的传感器采集产品通过速度、设备运行频率等反映设备运行状态的设备信息，进而判断关联设备是否正常运行。上述关联设备可以包括：机械工业设备(例如金属切削机床、锻压设备、起重运输设备、木工铸造设备、工业炉窑设备、动能发生设备等)、治金工业设备(例如高炉、锻压设备、炼钢炉等设备)、纺织工业设备数据(例如丝、纱线、针织染设备等)及化学工业设备(例如过滤设备、干燥设备、机械泵、破碎机械等设备)等。
S4、根据上述设备信息对上述关联设备进行设备检测，得到设备检测结果。
本申请实施例中，上述设备检测是指检测关联设备是否能够正常运行，上述设备检测结果包括设备检测正常或设备检测异常，其中，设备检测正常表明关联设备可以正常运行，设备检测异常表明关联设备不可以正常运行。利用该设备信息对关联设备进行设备检测时，由于当前关联设备的运行状态和待检测用户的操作状态密切相关，在待检测人员因疲劳而导致操作状态不佳时，通过上述设备检测结果可以准确地识别处理。
S5、利用上述状态检测结果及上述设备检测结果对上述待检测用户进行疲劳检测。
本申请实施例中，由于状态检测结果及设备检测结果可以从待检测用户的身体状态及设备运行状态的角度来分析用户是否处于疲劳状态，从而能够更准确地对待检测用户进行疲劳检测。同时，可以根据实际情况设置不同的检测条件，实现更有针对性地对待检测用户进行疲劳检测，例如，以状态检测结果为主要条件、设备检测结果为辅助条件，或以设备检测结果为主要条件、以状态检测结果为辅助条件对待检测用户进行疲劳检测。
本申请利用待检测用户的状态检测结果以及待检测用户的关联设备的设备检测结果进行疲劳检测，可以提高疲劳检测的准确率。具体地，由于状态检测结果基于待检测用户的人脸特征得到，可以反映待检测用户的身体状态；而设备检测结果基于设备信息对待检测用户的关联设备进行设备检测得到，由于上述设备信息表明了该关联设备的运行状态，意味着上述设备检测结果可以反映待检测用户对关联设备的操作状态，因此相较于现有技术中通过视觉特征进行疲劳检测，在利用状态检测结果及设备检测结果对待检测用户进行疲劳检测时，同时考虑了待检测用户的外部视觉特征及待检测用户当前的操作状态，可以更准确地对待检测用户进行疲劳检测。
本申请另一可选实施例中，在上述根据上述人脸图像中的人脸特征对上述待检测用户进行状态检测之前，还包括：
利用预训练的人脸特征检测模型检测出上述人脸图像中的人脸特征，利用上述人脸特征对上述待检测用户进行身份验证。
一些实施例中，上述预训练的人脸特征检测模型可以为预训练的深度学习网络，如Retinaface、Facenet等。通过上述人脸特征检测模型检测出人脸图像中的人脸特征(如嘴唇、眼睛及鼻子等)，可以和特征对比库中的人脸特征进行对比匹配，该特征对比库包含预先提取的待检测用户的人脸特征，若人脸特征检测模型检测出的人脸特征和特征对比库中的人脸特征能够匹配成功，则表示身份验证通过；若人脸特征检测模型检测出的人脸特征和特征对比库中的人脸特征不能够匹配成功，则表示身份验证不通过。
另一些实施例中，为了提高人脸特征检测的准确性，可以对人脸图像进行预处理，包括人脸对齐、图像转换等。例如，由于人脸拍摄位置、拍摄姿态的差异，可以对人脸图像中人脸特征点(嘴角、眼角等部位)进行定位，通过人脸特征点将人脸对齐，从而提高人脸特征检测的准确性；同时对于光照、环境噪声等影响，可以对人脸图像进行灰度转换等。例如，使用OpenCV库调用cv2.cvtColor方法对图像进行灰度转换等。
本申请另一可选实施例中，上述利用预训练的人脸特征检测模型检测出上述人脸图像中的人脸特征之前，还包括：
利用历史图像集合对图像检测网络进行训练，得到上述人脸特征检测模型，上述历史图像集合包括上述待检测用户的历史人脸图像。
一些实施例中，上述图像检测网络可以为卷积神经网络(Convolutional NeuralNetworks，CNN)，并通过包含待检测用户的历史人脸图像的历史图像集合进行训练。上述历史图像集合可以为摄像头采集的一段时间内的包含人脸图像的图像序列，例如，工业生产时，通过摄像头采集最近一个月的操作人员的人脸图像。需要说明的是，在利用历史图像集合进行训练时，可以将历史图像集合分为训练集和测试集，通过训练集来对图像检测网络进行训练，并通过测试集来对训练后的模型进行性能测试，不断调整模型性能。
本申请实施例中，上述根据上述人脸图像中的人脸特征对上述待检测用户进行状态检测，包括：
在上述身份验证通过的情况下，根据上述人脸特征计算特征变化指标，上述特征变化指标用于表示上述人脸特征的变化程度；
利用上述特征变化指标对上述待检测用户进行状态检测。
一些实施例中，上述特征变化指标可以包括眼部纵横比(Eye Aspect Ratio，EAR)、嘴部纵横比(Mouth Aspect Ratio，MAR)及头部姿态估计(Head Pose Estimation，HPE)等。
一些实施例中，以EAR和MAR为例，通过人脸特征检测模型检测出人脸图像中的人脸特征，如包括68个人脸特征点，分别计算出左眼睛和右眼睛的EAR值，再求取平均值，其中：
其中，EARleft表示左眼睛的眼部纵横比，EARright表示右眼睛的眼部纵横比，EARaverage表示平均眼部纵横比，pi表示第i个人脸特征的位置，例如当i为37时，p37表示第37个人脸特征的位置。
其中，MAR表示嘴部纵横比。
一些实施例中，对于不同的特征变化指标，可以设置不同的变化阈值，例如，EAR低于0.2和/或MAR低于0.8时，确定待检测用户处于疲劳状态。
另一些实施例中，还可以通过YCbCr色彩空间，对人脸图片中的人脸区域加以切割，接着运用Cb-Cr技术，构建高斯眼皮分割模型，并对人脸区域进行眼白切割，最终计算出眼白面积，从而实现疲劳检测；或者使用Harr算法，通过Open CV库来对人脸图像中的人脸部位进行检测，把眼睛和嘴巴的位置定位出来，最后根据闭眼的程度、眨眼和点头的频率等来判断疲劳状态。
本申请实施例中，上述获取上述待检测用户的关联设备的设备信息，包括：
根据上述待检测用户的身份验证结果确定上述待检测用户的关联设备；
获取上述关联设备在预设时间内的设备信息。
一些实施例中，在上述待检测用户的身份验证结果为身份验证通过时，可以确定该用户的身份信息所关联的设备(即关联设备)，例如用户A身份验证通过后，确定其用户ID登陆的设备为设备A，则设备A即为关联设备。由于上述设备信息为反映设备运行状态的信息，即为一种时序数据，因此可以获取在预设时间内的设备信息，例如包含当前时间的24小时内的设备运行频率。
本申请实施例中，上述根据上述设备信息对上述关联设备进行设备检测，包括：
利用上述设备信息对上述关联设备的运行状态进行异常检测，上述异常检测包括单点异常检测、波动异常检测及序列异常检测的至少一种。
一些实施例中，上述异常检测用来判断当前的运行状态是否正常，可以包括单点异常检测、波动异常检测及序列异常检测的一种或多种。其中，以设备信息为时间序列X为例，其中某一时间t对应的键值对为(t，Xi)，Xi表示时间为t时的设备信息，上述单点异常检测是指检测到当前观测的设备信息Xi与该时间序列的期望值E(X)区别较大；上述波动异常检测是指检测到当前观测的设备信息Xi与和这个时间序列上时刻t前后的值表现有较大差异；上述序列异常检测是指检测到当前观测的设备信息Xi所在的子序列和时间序列上绝大多数值不一致。
本申请实施例中，上述利用上述状态检测结果及上述设备检测结果对上述待检测用户进行疲劳检测，包括：
基于预设的结果权重对上述状态检测结果及上述设备检测结果进行加权融合；
根据加权融合结果对上述待检测用户进行疲劳检测。
一些实施例中，由于上述状态检测结果中对应有不同人脸特征的检测结果，上述设备检测结果对应有不同异常状态的检测结果，因此可以通过设置不同的结果权重来提高疲劳检测的准确性和泛用性。例如，对于状态检测结果对应的EAR、MAR和HPE等值，设置不同的权重；对于设备检测结果对应的异常状态(单点异常、波动异常及序列异常等)，可以根据出现的次数设置权重，从而将状态检测结果及设备检测结果进行融合，并和预设的疲劳阈值进行判断，在低于疲劳阈值的情况下，确定待检测用户为疲劳状态。
另一些实施例中，还可以通过对状态检测结果及设备检测结果进行灵活组合的方式，对待检测用户进行疲劳检测。例如，假设将设备检测结果作为主要条件，状态检测结果(包括EAR、MAR和HPE值等)为辅助条件，假如设备检测结果表明一段时间内多次出现单点异常、波动异常或序列异常的任意一种，或者点异常、波动异常或序列异常等异常情况在一段时间内同时出现两种，则认定进入疲劳状态；或者设置EAR、MAR与HPE值满足疲劳条件，在设备检测结果中的单点异常、波动异常或序列异常等未出现或者只出现一次时则可判断已进入疲劳状态。或者假设以待检测用户眼状态的判断为主要条件，设备运行状态、头部和嘴部状态等为辅助条件，则先判断EAR值，若眼部状态在连续一段时间内累计50％时间的EAR值都小于X(设定参数例如0.3)，则认定待检测用户已进入疲劳状态；或者设置若人眼、头部和嘴部状态满足疲劳条件，则设备检测结果出现异常则可判断为待检测用户已进入疲劳状态；或者设置若HPE值满足疲劳条件，则EAR值在连续一段时间内累计35％的时间小于阈值则可判断为待检测用户已进入疲劳状态；同样，如果嘴部MAR满足疲劳状态条件，则在EAR值一段时间内累计35％时间小于阈值时也可判断为待检测用户已进入疲劳状态。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的基于机器视觉的疲劳检测方法，图2示出了本申请实施例提供的基于机器视觉的疲劳检测装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图2，该装置可以为基于机器视觉的疲劳检测装置21，所述基于机器视觉的疲劳检测装置21可以包括人脸图像获取模块211、状态检测模块212、设备信息获取模块213、设备检测模块214及疲劳检测模块215。
参照图2，所述基于机器视觉的疲劳检测装置21包括：
所述人脸图像获取模块211，用于获取待检测用户的人脸图像；
所述状态检测模块212，用于根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，得到状态检测结果；
所述设备信息获取模块213，用于获取所述待检测用户的关联设备的设备信息，所述设备信息为反映所述关联设备运行状态的信息；
所述设备检测模块214，用于根据所述设备信息对所述关联设备进行设备检测，得到设备检测结果；
所述疲劳检测模块215，用于利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测。
另一些实施例中，所述基于机器视觉的疲劳检测装置21还包括身份验证模块，所述身份验证模块用于在所述根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测之前，包括：
利用预训练的人脸特征检测模型检测出所述人脸图像中的人脸特征，利用所述人脸特征对所述待检测用户进行身份验证。
另一些实施例中，所述基于机器视觉的疲劳检测装置21还包括模型训练模块，所述模型训练模块用于利用预训练的人脸特征检测模型检测出所述人脸图像中的人脸特征之前，包括：
利用历史图像集合对图像检测网络进行训练，得到所述人脸特征检测模型，所述历史图像集合包括所述待检测用户的历史人脸图像。
一些实施例中，所述状态检测模块212通过下述步骤根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，包括：
在所述身份验证通过的情况下，根据所述人脸特征计算特征变化指标，所述特征变化指标用于表示所述人脸特征的变化程度；
利用所述特征变化指标对所述待检测用户进行状态检测。
一些实施例中，所述设备信息获取模块213通过下述步骤获取所述待检测用户的关联设备的设备信息，包括：
根据所述待检测用户的身份验证结果确定所述待检测用户的关联设备；
获取所述关联设备在预设时间内的设备信息。
一些实施例中，所述设备检测模块214通过下述步骤根据所述设备信息对所述关联设备进行设备检测，包括：
利用所述设备信息对所述关联设备的运行状态进行异常检测，所述异常检测包括单点异常检测、波动异常检测及序列异常检测的至少一种。
一些实施例中，所述疲劳检测模块215通过下述步骤利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测，包括：
基于预设的结果权重对所述状态检测结果及所述设备检测结果进行加权融合；
根据加权融合结果对所述待检测用户进行疲劳检测。
需要说明的是，所述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图3为本申请一实施例提供的电子设备的结构示意图。如图3所示，该实施例的电子设备3包括：至少一个处理器30(图3中仅示出一个)、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现所述任意各个方法实施例中的步骤。
所述电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入发送设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31在一些实施例中可以是所述电子设备3的内部存储单元，例如电子设备3的硬盘或内存。所述存储器31也可以是所述电子设备3的外部存储设备，例如所述电子设备3上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述电子设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经发送或者将要发送的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以所述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将所述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。所述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现所述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现所述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现所述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现所述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于机器视觉的疲劳检测方法，其特征在于，包括：
获取待检测用户的人脸图像；
根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，得到状态检测结果；
获取所述待检测用户的关联设备的设备信息，所述设备信息为反映所述关联设备运行状态的信息；
根据所述设备信息对所述关联设备进行设备检测，得到设备检测结果；
利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测。
2.如权利要求1所述的基于机器视觉的疲劳检测方法，其特征在于，在所述根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测之前，还包括：
利用预训练的人脸特征检测模型检测出所述人脸图像中的人脸特征，利用所述人脸特征对所述待检测用户进行身份验证。
3.如权利要求2所述的基于机器视觉的疲劳检测方法，其特征在于，所述利用预训练的人脸特征检测模型检测出所述人脸图像中的人脸特征之前，还包括：
利用历史图像集合对图像检测网络进行训练，得到所述人脸特征检测模型，所述历史图像集合包括所述待检测用户的历史人脸图像。
4.如权利要求2所述的基于机器视觉的疲劳检测方法，其特征在于，所述根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，包括：
在所述身份验证通过的情况下，根据所述人脸特征计算特征变化指标，所述特征变化指标用于表示所述人脸特征的变化程度；
利用所述特征变化指标对所述待检测用户进行状态检测。
5.如权利要求2所述的基于机器视觉的疲劳检测方法，其特征在于，所述获取所述待检测用户的关联设备的设备信息，包括：
根据所述待检测用户的身份验证结果确定所述待检测用户的关联设备；
获取所述关联设备在预设时间内的设备信息。
6.如权利要求1所述的基于机器视觉的疲劳检测方法，其特征在于，所述根据所述设备信息对所述关联设备进行设备检测，包括：
利用所述设备信息对所述关联设备的运行状态进行异常检测，所述异常检测包括单点异常检测、波动异常检测及序列异常检测的至少一种。
7.如权利要求1至6任一项所述的基于机器视觉的疲劳检测方法，其特征在于，所述利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测，包括：
基于预设的结果权重对所述状态检测结果及所述设备检测结果进行加权融合；
根据加权融合结果对所述待检测用户进行疲劳检测。
8.一种基于机器视觉的疲劳检测装置，其特征在于，包括：
人脸图像获取模块，用于获取待检测用户的人脸图像；
状态检测模块，用于根据所述人脸图像中的人脸特征对所述待检测用户进行状态检测，得到状态检测结果；
设备信息获取模块，用于获取所述待检测用户的关联设备的设备信息，所述设备信息为反映所述关联设备运行状态的信息；
设备检测模块，用于根据所述设备信息对所述关联设备进行设备检测，得到设备检测结果；
疲劳检测模块，用于利用所述状态检测结果及所述设备检测结果对所述待检测用户进行疲劳检测。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202311629427.3A 2023-11-30 2023-11-30 基于机器视觉的疲劳检测方法、装置及电子设备 Pending CN117522852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311629427.3A CN117522852A (zh) 2023-11-30 2023-11-30 基于机器视觉的疲劳检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311629427.3A CN117522852A (zh) 2023-11-30 2023-11-30 基于机器视觉的疲劳检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117522852A true CN117522852A (zh) 2024-02-06

Family

ID=89753002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311629427.3A Pending CN117522852A (zh) 2023-11-30 2023-11-30 基于机器视觉的疲劳检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117522852A (zh)

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN110419048B (zh) 用于标识所定义的对象的系统
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN112069887B (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN110647955A (zh) 身份验证方法
CN110458093B (zh) 一种基于驾驶员监控系统的安全带检测方法以及相应的设备
CN107832721B (zh) 用于输出信息的方法和装置
CN114973215A (zh) 一种疲劳驾驶的确定方法、装置及电子设备
CN103942527A (zh) 利用眼镜分类器的眼睛离开道路分类
CN110837760A (zh) 目标检测方法、用于目标检测的训练方法和装置
CN117522852A (zh) 基于机器视觉的疲劳检测方法、装置及电子设备
JP3036319B2 (ja) 運転者状態監視装置
CN111431937A (zh) 工业网络异常流量的检测方法及系统
CN115115530B (zh) 一种图像去模糊的方法、装置、终端设备及介质
CN110569732A (zh) 一种基于驾驶员监控系统的安全带检测方法以及相应的设备
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN112416128B (zh) 一种手势识别方法及终端设备
CN115111182A (zh) 直流风机的运转状态检测方法、装置及终端设备
CN115019364A (zh) 基于人脸识别的身份认证方法、装置、电子设备及介质
EP1619624A1 (en) Artificial eye distinguishing method and device, artificial eye distinguishing program, iris recognition method, false printed matter distinguishing method, and image distinguishing method
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质
CN113014914A (zh) 一种基于神经网络的单人换脸短视频的识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240616

Address after: 518,000 B1, 20th Floor, Yanxiang Science and Technology Building, No. 31, Gaoxin Middle 4th Road, Maling Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong

Applicant after: EVOC hi-tech Holdings Group Ltd.

Country or region after: China

Address before: 710000 No. 56 Jinye Road, Xi'an High-tech Zone, Shaanxi Province

Applicant before: Xi'an EVOC Xingye Electronic Technology Co.,Ltd.

Country or region before: China