CN112733772B - 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 - Google Patents
仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 Download PDFInfo
- Publication number
- CN112733772B CN112733772B CN202110063308.0A CN202110063308A CN112733772B CN 112733772 B CN112733772 B CN 112733772B CN 202110063308 A CN202110063308 A CN 202110063308A CN 112733772 B CN112733772 B CN 112733772B
- Authority
- CN
- China
- Prior art keywords
- cognitive load
- fatigue
- detection
- sequence
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims abstract description 151
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 239000012634 fragment Substances 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000003708 edge detection Methods 0.000 claims abstract description 4
- 230000014509 gene expression Effects 0.000 claims description 28
- 210000003128 head Anatomy 0.000 claims description 24
- 230000004424 eye movement Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 206010016256 fatigue Diseases 0.000 description 95
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000000691 measurement method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，包括以下步骤：(1)实时获取仓储拣选工人的离散图像及信息片段并存储；(2)对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据；(3)采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；(4)采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。实现对仓储环境拣选工人认知负荷与疲劳的检测。
Description
技术领域
本发明涉及实时认知负荷与疲劳度检测技术领域，具体涉及一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，以及实现该方法的实时认知负荷与疲劳度检测系统。
背景技术
认知负荷是基于工作记忆理论而提出的，其前提是认知能力固有地受工作记忆资源的可用性限制。认知负荷是指个体从事特定工作时，对个体认知系统的一种负荷。当前认知负荷的检测技术主要可分为主观方法、生理测量方法和行为测量方法三类。主观方法使用主观量表询问受试者进行指定任务时的心智用力指标。合适的量表可以测量认知负荷，但是测量结果可能因为问题措辞，受试者对问题的理解不同而受到影响。生理测量方法采集并处理受试者包括脑电、心率、肌电、皮电等生理信号，以此判断受试者的认知负荷，这种方法较为客观，但对受试者影响较大，受环境和任务形式制约，不能达成非接触的认知负荷检测。行为测量方法则根据受试者在进行任务时的反应时间、眼动状态、表情状态、头部姿态、身体姿态等测量认知负荷。图像识别受试者行为的检测方法对受试者影响小，受环境限制少，可实时、较客观的检测认知负荷，但当前没有针对仓储环境的检测技术。
认知疲劳分为主动疲劳、被动疲劳及睡眠引起的疲劳，主动疲劳是由于长时间高强度的工作造成的，被动疲劳是由单调的工作或注意力不集中造成的。目前，在认知疲劳的检测技术方面有很多研究，有主观问卷方法，脑电波、心率、眼电信号等生理信号测量方法，以及利用计算机视觉进行图像识别的测量方法等。研究涉及的场景也较为广泛，涉及教育、医疗、军事、交通、制造、运动、办公、游戏等。然而，在认知疲劳检测技术方面对认知负荷与疲劳度之间的关联研究，大多关注较高强度的认知活动对受试者心理疲劳的影响。研究任务强度、任务持续时间对认知疲劳度的影响，并与之建立关联模型。
目前，在认知负荷与疲劳度检测技术方面，已采用多种方式，在多种场景下展开研究，但存在以下不足：(1)缺少针对物流仓储环境下工人拣选任务的认知负荷及疲劳度多模态检测方法。仓储情境下拣选任务不同于传统认知负荷检测场景，任务不以形成长期记忆为目标，环境较为单一，有拣选状态、行走状态等仓储特有的认知负荷检测指标。使用传统场景单一检测指标，或不考虑仓储环境特有指标，会导致检测方式不适用，检测结果不准确的问题。(2)缺少结合认知负荷与疲劳度关联性的认知负荷与疲劳度检测方法。当前方法多将认知负荷与疲劳度间接关联，研究高强度任务对疲劳的的影响，没有能够将认知负荷与疲劳度直接关联的方法与模型，对两者之间的关联和相互影响认识不清，影响检测结果的精准性。
发明内容
本发明的目的是提供一种基于认知负荷与疲劳度的相关建模，针对物流仓储环境下工人拣选任务的实时认知负荷与疲劳度检测方法，以及一种实现该方法的实时认知负荷与疲劳度检测系统，加深对仓储环境拣选工人认知负荷与疲劳的检测，以进一步减少不必要的认知负荷并缓解工人在操作中的疲劳度。
为实现上述发明目的，本发明的技术方案为：
一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，包括以下步骤：
(1)实时获取仓储拣选工人的离散图像及信息片段并存储；
(2)对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据；
(3)采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；
(4)采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。
优选地，基于离散图像进行人脸识别，当人脸识别结果与数据库不匹配时，则依据将仓储拣选工人的信息片段和人脸图像存入数据库。
优选地，步骤(2)中，对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，以获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据。
优选地，眼动检测的过程为：提取人脸关键点，包括左右眉，左右眼，鼻子，嘴巴外廓，嘴巴内廓以及下颚，通过计算眼部特征点的横纵坐标来得到眼睛纵横比，得到睁眼幅度、闭眼时间与眨眼频率；采用空洞卷积神经网络模型预测仓储拣选工人注视点，实现眼动检测；
头部姿态估计的过程为：采用FSA-Net对输入的离散图像进行计算，得到人头的二维偏航角度，并且由角度处以转头时间得到转头速度，实现头部姿态估计；
表情识别的过程为：采用表情识别模型通过对离散图像计算得到表情。
优选地，所述认知负荷度检测模型采用多核学习MKL-SVR模型；
多核学习时，每个时刻输入数据为多模态认知负荷检测指标数据xt，xt∈Rd，输出认知负荷度yt，其中，d表示输入数据的维度，包含睁眼幅度、闭眼时间、眨眼频率、扫描路径长度、凝视点个数与时长、扫视点个数、转头速度以及表情共9个维度数据，t表示时刻；
多核学习时采用多项式核、Sigmoid核和高斯核，并优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型。
优选地，所述认知负荷与疲劳度相关性模型采用多核学习MKL-SVR模型；
多核学习时，每时刻的输入数据Xt＝{(pt,1,pt,2,···,pt,n),(qt,1,qt,2,···,qt,m)}，其中，Pt＝{pt,1,pt,2,···,pt,n}为前一固定时间单位内认知负荷序列，p代表认知负荷度元素，n为认知负荷序列长度，Qt＝qt,1,qt,2,···,qt,m为历史疲劳序列，q代表历史疲劳度元素，m为历史疲劳序列长度，输出数据为下一时刻的疲劳度Yt+1；
多核学习时采用高斯核与多项式核，并优化MKL-SVR模型的网络参数，获得能够实现疲劳度检测的疲劳度检测模型。
优选地，认知负荷序列Pt和历史疲劳序列Qt在输入MKL-SVR模型之前，还需要进行噪声滤除和通过填充0实现Pt与Qt的长度对齐。
一种仓储拣选任务中的实时认知负荷与疲劳度检测系统，包括设置在仓内的采集设备、集成在采集设备上的微数据处理器、与微数据处理器通信的检测器；
所述采集设备包括摄像头，用于采集仓储拣选工人的离散图像，还包手持扫码枪，用于采集信息片段；
所述微数据处理器用于对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据；
所述检测器包含训练好的认知负荷度检测模型和疲劳度检测模型，用于采用认知负荷度检测模型对输入的多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；还用于采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。
与现有技术相比，本发明具有的有益效果至少包括：
本发明提供的仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统，通过以非接触方式获取仓储拣选任务中多仓储拣选工人离散图像及信息片段，并通过多模态特征协同提取和处理以及认知负荷度检测模型与疲劳度检测模型，实现对各个主体疲劳度的实时监测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明仓仓储拣选任务中的实时认知负荷与疲劳度检测方法的流程图；
图2是本发明预测工人注视点的Dilated CNN模型结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了解决现有物流仓储环境，由于封闭且重复单调作业累积疲劳而造成拣选效率显著下降的问题，更加清晰地理解拣选工人的认知负荷与疲劳度变化情况，更深刻地认识认知负荷与疲劳度的相互作用规律，本实施例提供了一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，还提供了一种仓储拣选任务中的实时认知负荷与疲劳度检测系统。
如图1所示，实施例提供的一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，包括以下步骤：
S101，实时获取仓储拣选工人的离散图像及信息片段并存储。
应用设在舱内的采集设备获取远近多名仓储拣选工人的离散图像及信息片段，并通过对离散图像进行人脸识别来验证工人身份以便后续记录多人离散数据。
采集设备包括多个摄像头，摄像头记录多个工人工作记录，在工人开始工作之前，工人需要看向摄像头5秒钟，摄像头将工人的画面帧通过OBS推流至集成在采集设备上的微数据处理器。微数据处理器接收图像后，将图像大小变为192×108，并采用背景相减法，获得单独的人体图像。在背景相减法中调用OpenCV对彩色图像进行灰度化，接着使用门限值对灰度图进行二值化，从而实现增强图像特征。而后使用均值滤波去噪与sobel算子对图像边缘检测，最终得到图像中人体的范围，并截取得到人体图片。这样预处理后，减去图像中多余的背景能够减轻图像体积并增加人脸识别精度。
获得预处理后的人体图片后，微数据处理器调用Face++接口实现人脸识别。通过人脸接口得到Face ID，并将其与数据库的Face ID进行比对，匹配成功后返回得到工人工号，匹配失败则提醒工人识别失败。微数据处理器将信息片段中的工人工号、时间、货架编号为主键录入数据库。
S102，对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据。
本发明中，多模态包括人脸、眼动、头部姿态和表情这4个模态的数据，统称为多模态认知负荷检测指标数据。
其中，对离散图像进行人脸识别，得到人脸图片，该识别过程与S101中的人脸识别过程相同，即通过背景相减法得到具有强特征与小体积的人体图片。然后基于该人体图片进行眼动检测、头部姿态估计以及表情识别。
针对眼动检测，基于dlib face landmark detector得到人脸关键点，关键点分别包括了左右眉，左右眼，鼻子，嘴巴外廓，嘴巴内廓以及下颚。通过计算眼部特征点的横纵坐标来得到眼睛纵横比，从而得出睁眼幅度、闭眼时间与眨眼频率，其中，睁眼程度Peye的公式如下所示。
其中p1,p2,p3,p4,p5,p6是人眼的6个关键点，p1在人眼眼角处，p6在人眼眼尾处，其他关键点分布在上眼睑与下眼睑。当Peye<0.3时，则判定为闭眼，当连续闭眼超过3帧时，则判定为眨眼，根据连续闭眼帧的个数确定闭眼时间。
除此之外，实施例采用空洞卷积神经网络(Dilated CNN)来预测工人注视点，预测注视点的过程包括训练网络权重与估计注视点坐标。针对训练，实施例使用眼动仪获取工人在校准环节的单个瞳孔图片以及注视坐标并作为眼动跟踪数据集，以映射瞳孔位置与注视点坐标的关系，将眼动跟踪数据集归一化用来训练Dilated CNN。Dilated CNN模型结构如图2所示，输入层后连接2个普通卷积，3个空洞卷积，卷积之间进行一次归一化或神经元丢弃。空洞卷积在增加卷积感受野尺寸的同时保持空间分辨率，这不需要大量增加参数，并且，更宽阔的视野能够让网络检测分割大目标。在卷积层后加入全连接层以展开特征，以及sigmoid函数回归预测注视点坐标。利用上述眼动跟踪数据集对Dilated CNN训练完毕后，将工人的实时瞳孔图片归一化输入训练好的Dilated CNN模型即可得到二维注视坐标。
针对头部姿态估计，实施例使用单幅人脸图像进行头部姿势估计，网络使用的是训练好的FSA-Net，该FSA-Net为一个基于回归和特征聚合的紧凑模型，能将转头偏航角回归问题当作一个分类问题看待，该方法学习寻找细粒度结构映射，将像素级特征空间分组，形成更强大的区域级特征头部姿态估计时，将人体图像输入模型得到人头的二维偏航角度，并且由角度处以转头时间得到转头速度。
针对表情识别。实施例将人脸的表情分为了四类，分别是开心，中立，沮丧，愤怒，微数据处理器调用Face++接口实现表情识别，获得识别的表情，然后将表情分类数值化，以备后续检测认知负荷度。
以上人脸识别、眼动检测、头部姿态估计以及表情识别均在采集设备上的微数据处理器完成，实现了数据处理边缘化，将繁琐的数据处理分布到每个采集设备上，减轻了中心端检测器的计算量，提升了检测效率。
S103，采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果。
实施例中，认知负荷度检测模型采用多核学习MKL-SVR模型，即采用多核学习MKL-SVR模型进行认知负荷度检测。
支持向量机(SVM)是一种构造超平面来分离不同类的机器学习算法，通常用于分析具有分类输出变量的数据。SVR是SVM的一个重要分支，与SVM分类不同的是，SVR回归的样本点最终只有一类，它所寻求的最优超平面使所有的样本点离超平面的总偏差最小。SVR的基本思想是通过核函数的隐式映射，将样本数据映射到一个高纬特征空间进而进行样本训练学习和预测。但是，当样本特征中出现多维数据分布不规则的情况，或数据在高维特征空间分布不平坦时，采用单一核函数效果并不理想。因此，本发明采用多核学习(MKL)，多核学习即融合多种不同的核进行训练。对于时间序列数据集T＝{(x1,y1),…,(xn,yn)},每个t时刻的输入xt(xt∈Rd)，t表示时刻，也用于输入样本的索引，输出疲劳负荷度yt(yt∈[0,100])，其中d是输入的维度，一次输入包含睁眼幅度、闭眼时间、眨眼频率、扫描路径长度、凝视点个数与时长、扫视点个数、转头速度以及表情共9个数据，因此包含9个维度。
实施例中，构造最优决策超平面f(xt)＝wTxt+b(w∈Rd,b∈R)，其中w是权重，b为偏差。所有的输入数据点在带宽ε(ε>0)的两个超平面内，分别表达为yt-f(xt)＝ε，f(xt)-yt＝ε。当输入数据点超出超平面，引入松弛变量 与ξt分别为第一个超平面和第二个超平面的松弛变量，用以计算预测值与真实值的误差，并且n为样本总量。而后，引入拉格朗日乘子向量可将式SVR的优化问题转化为对偶问题。接着，引入核函数k(x,x′)以优化问题，其中x和x′是训练样本中的不同输入数据，在多核学习中，多核函数k(x,x′)被认为是多个基核k(x,x′)的凸组合，基核选用的是多项式核、Sigmoid核和高斯核。最终，MKL-SVR的对偶问题被定义为：
其中，C是惩罚常数，在回归模型的复杂性和拟合误差的总代价之间进行权衡。xs和xt是训练样本中的两个不同输入，M是核的总个数，d＝(d1,…,dm,…,dM)T是核的权重向量，km是基础核。
在此基础上，引入J(d)作为MKL-SVR对偶问题的目标函数。公式如下所示：
当u作为核权重向量d的最大元素的索引，即du是值最大的核权重，对于du和每个元素dm来说，J(d)的简化梯度D＝(D1,…,Dm,…,DM)T如下所示：
s.t.dv>0,v≠u
其中，v是核权重向量d的元素索引。核权重向量d可以由梯度D根据SimpleMKL算法计算得到，最后由SMO算法计算SVR最优决策函数f(xt)中的权重w与偏差b。
经过上述过程能够有优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型。
应用时，将S102中获得的9个维度的认知负荷检测指标数据作为输入数据，输入至认知负荷度检测模型中，经计算预测输出输入数据对应的认知负荷度检测结果。
S104，采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。
随着时间的变换，工人认知负荷度越高，工人的疲劳度上升速度越快，并且临界值越高。工人认知负荷度越低，疲劳度上升速度越慢，临界值越低。因此实施例中对认知负荷度和历史疲劳度的时间序列进行建模，以预测未来疲劳度。
与认知负荷度检测模型相同的是，疲劳度检测建模同样是回归问题，因此实施例中疲劳度检测模型同样采用MKL-SVR模型以寻找最优解，基核函数使用的是高斯核与多项式核。与认知负荷度建模不同的是，疲劳度模型的输入数据存在大量噪声，包括错误的值以及偏离期望的孤立点，因此数据在输入模型前需要进行预处理。
对于数据集T＝{(X1,Y1),…,(Xn,Yn)}，每个输入Xt＝{(pt,1,pt,2,···,pt,n),(qt,1,qt,2,···,qt,m)}包含了前一固定单位时间内的认知负荷度序列以及历史疲劳度序列，其中p代表认知负荷度元素，n为认知负荷序列长度，q代表历史疲劳度元素，m为历史疲劳序列长度，固定单位时间是可以自定义的，例如1个小时，前一固定单位时间内是相对当前时刻来确定的，假设当前时刻是4:30，则前一固定单位时间为3:30～4:30。
预处理包括去除数据中的噪声，补充并修正序列中的离群值。对于认知负荷序列P＝{p1,p2,···,pn}与历史疲劳序列Q＝{q1,q2,···,qm}分别采用等深分箱法进行数据处理。每个序列根据记录个数进行分箱，使得每个箱子具有相同的记录数。接着对数据根据时间进行排序，将排序数据放入等深的箱中，利用数据近邻值来光滑有序数据值。分别按箱均值，箱中值和箱边值来平滑拟合数据，在平滑线附近的数值则为有效数据。接着，当认知负荷序列与历史疲劳序列长度不对等时，需要补齐数组，在短数组后填充“0”，直至短数组长度与长数组长度相等。
当将输入数据预处理之后，对利用样本数据对MKL-SVR模型进行多核学习，每时刻的输入数据Xt＝{(pt,1,pt,2,···,pt,n),(qt,1,qt,2,···,qt,m)}，其中，Pt＝{pt,1,pt,2,···,pt,n}为前一固定时间单位内认知负荷序列，p代表认知负荷度元素，n为认知负荷序列长度，Qt＝qt,1,qt,2,···,qt,m为历史疲劳序列，q代表历史疲劳度元素，m为历史疲劳序列长度，输出数据为下一时刻的疲劳度Yt+1；采用高斯核与多项式核，并采用与S103中相同的方式来优化MKL-SVR模型的网络参数，获得能够实现疲劳度检测的疲劳度检测模型。
为验证认知负荷度检测模型和疲劳度检测模型的鲁棒性，实施例采用稳健性检验。对于认知负荷度检测模型，改变模型输入，将转头次数与转头角度代替转头速度，扫视频率代替扫视长度。对于疲劳度检测模型，将带有时间序列的数据分成两部分，然后将两组不同数据按时间序列输入疲劳度检测模型，得到疲劳度序列，检查疲劳度序列的线性回归系数是否相等，结构性变化是否存在。若如果所得疲劳度序列有间断点，则说明该模型不稳定。检验结果表明，认知负荷度经检测模型与疲劳度检测模型预测的时间序列无间断点，两者均表现出健壮性与稳定性。
除此之外，实施例中根据Dilated CNN预测工人注视方向，来预测工人视觉注意力。视觉注意力能够辅助更好地了解工人的行为，例如工人拣货错误率高时，视觉注意力表现分散。认知负荷度检测模型和疲劳度检测模型能够帮助了解工人所能承受的任务难度与时间，并且及时作出预防并改变任务计划。
实施例还提供了一种实现上述仓储拣选任务中的实时认知负荷与疲劳度检测方法的系统，包括设置在仓内的采集设备、集成在采集设备上的微数据处理器、通信模块，与微数据处理器通信的检测器。
其中，采集设备包括多个与货架插孔相融合的可插拔式摄像装置，利用货架立柱的椭圆孔将摄像装置与货架固定，采用非接触方式捕捉远近仓储拣选工人的图像。采集设备还包括手持扫码枪，工人手持扫码枪获取远近多名不同工人的离散信息片段，即通过采集设备获得拣选工人图像的视频片段，以及拣选的状态与位置信息等边缘端数据，该采集设备对多个工人进行离散化地检测，单独化各员工的各实操动作，并对单一员工的多特征进行捕捉。
集成在采集设备上的微数据处理器用于边缘端数据的处理，具体对采集的画面帧进行边缘计算，实现人脸识别、眼动检测、头部姿态估计以及表情识别，获得多模态的认知负荷检测指标数据。
通信模块用于实现微数据处理器与检测器之间的通信，具体地，可以将微数据处理器的边缘处理获得的认知负荷检测指标数据返送至检测器。
检测器具有一定的预算能力，至少包括计算机处理器和计算机存储器，存储器内存储有训练好的认知负荷度检测模型和疲劳度检测模型，和计算机程序指令，该计算机程序指令被处理器运行时，实现采用认知负荷度检测模型对输入的多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；还实现采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。最后，认知负荷度检测结果和疲劳度检测结果以百分比的形式输出。
本发明提供的仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统通过与货架立柱孔相融合的摄像头，以非接触方式获取仓储拣选任务中多主体离散图像及信息片段，并通过多模态特征协同提取和处理以及认知负荷与疲劳度的相关模型，实现对各个主体疲劳度的实时监测。摄像头安装方式及非接触的检测方式减少了对主体作业的影响，针对于仓储环境的多主体离散信息片段的多模态特征处理，以及认知负荷与疲劳度相关性模型的使用，使得认知负荷与疲劳度检测在仓储环境更加准确，适用性更强。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，包括以下步骤：
(1)实时获取仓储拣选工人的离散图像及信息片段并存储；
(2)对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据；
(3)采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；
(4)采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果；
所述认知负荷度检测模型采用多核学习MKL-SVR模型；多核学习时，每个时刻输入数据为多模态认知负荷检测指标数据xt，xt∈Rd，输出认知负荷度yt，其中，d表示输入数据的维度，包含睁眼幅度、闭眼时间、眨眼频率、扫描路径长度、凝视点个数与时长、扫视点个数、转头速度以及表情共9个维度数据，t表示时刻；多核学习时采用多项式核、Sigmoid核和高斯核，并优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型；
所述疲劳度检测模型采用多核学习MKL-SVR模型；多核学习时，每时刻的输入数据Xt＝{(pt,1,pt,2,···,pt,n),(qt,1,qt,2,···,qt,m)}，其中，Pt＝{pt,1,pt,2,···,pt,n}为前一固定时间单位内认知负荷序列，p代表认知负荷度元素，n为认知负荷序列长度，Qt＝qt,1,qt,2,···,qt,m为历史疲劳序列，q代表历史疲劳度元素，m为历史疲劳序列长度，输出数据为下一时刻的疲劳度Yt+1；多核学习时采用高斯核与多项式核，并优化MKL-SVR模型的网络参数，获得能够实现疲劳度检测的疲劳度检测模型。
2.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，基于离散图像进行人脸识别，当人脸识别结果与数据库不匹配时，则依据将仓储拣选工人的信息片段和人脸图像存入数据库。
3.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，步骤(2)中，对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，以获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据。
4.如权利要求3所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，眼动检测的过程为：提取人脸关键点，包括左右眉，左右眼，鼻子，嘴巴外廓，嘴巴内廓以及下颚，通过计算眼部特征点的横纵坐标来得到眼睛纵横比，得到睁眼幅度、闭眼时间与眨眼频率；采用空洞卷积神经网络模型预测仓储拣选工人注视点，实现眼动检测；
头部姿态估计的过程为：采用FSA-Net对输入的离散图像进行计算，得到人头的二维偏航角度，并且由角度处以转头时间得到转头速度，实现头部姿态估计；
表情识别的过程为：采用表情识别模型通过对离散图像计算得到表情。
5.如权利要求1所述的仓储拣选任务中的实时认知负荷与疲劳度检测方法，其特征在于，认知负荷序列Pt和历史疲劳序列Qt在输入MKL-SVR模型之前，还需要进行噪声滤除和通过填充0实现Pt与Qt的长度对齐。
6.一种仓储拣选任务中的实时认知负荷与疲劳度检测系统，其特征在于，包括设置在仓内的采集设备、集成在采集设备上的微数据处理器、与微数据处理器通信的检测器；
所述采集设备包括摄像头，用于采集仓储拣选工人的离散图像，还包手持扫码枪，用于采集信息片段；
所述微数据处理器用于对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据；
所述检测器包含训练好的认知负荷度检测模型和疲劳度检测模型，用于采用认知负荷度检测模型对输入的多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；还用于采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果；
其中，所述认知负荷度检测模型采用多核学习MKL-SVR模型；多核学习时，每个时刻输入数据为多模态认知负荷检测指标数据xt，xt∈Rd，输出认知负荷度yt，其中，d表示输入数据的维度，包含睁眼幅度、闭眼时间、眨眼频率、扫描路径长度、凝视点个数与时长、扫视点个数、转头速度以及表情共9个维度数据，t表示时刻；多核学习时采用多项式核、Sigmoid核和高斯核，并优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型；
所述疲劳度检测模型采用多核学习MKL-SVR模型；多核学习时，每时刻的输入数据Xt＝{(pt,1,pt,2,···,pt,n),(qt,1,qt,2,···,qt,m)}，其中，Pt＝{pt,1,pt,2,···,pt,n}为前一固定时间单位内认知负荷序列，p代表认知负荷度元素，n为认知负荷序列长度，Qt＝qt,1,qt,2,···,qt,m为历史疲劳序列，q代表历史疲劳度元素，m为历史疲劳序列长度，输出数据为下一时刻的疲劳度Yt+1；多核学习时采用高斯核与多项式核，并优化MKL-SVR模型的网络参数，获得能够实现疲劳度检测的疲劳度检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110063308.0A CN112733772B (zh) | 2021-01-18 | 2021-01-18 | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110063308.0A CN112733772B (zh) | 2021-01-18 | 2021-01-18 | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733772A CN112733772A (zh) | 2021-04-30 |
| CN112733772B true CN112733772B (zh) | 2024-01-09 |
Family
ID=75592134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110063308.0A Active CN112733772B (zh) | 2021-01-18 | 2021-01-18 | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733772B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378734A (zh) * | 2021-06-18 | 2021-09-10 | 杭州海亮优教教育科技有限公司 | 一种基于ai技术的疲劳驾驶检测与预警系统及终端 |
| CN113869229B (zh) * | 2021-09-29 | 2023-05-09 | 电子科技大学 | 基于先验注意力机制引导的深度学习表情识别方法 |
| CN114170588B (zh) * | 2021-12-13 | 2023-09-12 | 西南交通大学 | 基于眼部特征的铁路调度员不良状态识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107212896A (zh) * | 2017-04-05 | 2017-09-29 | 天津大学 | 一种情绪稳定性综合评价系统及信息处理方法 |
| CN109117731A (zh) * | 2018-07-13 | 2019-01-01 | 华中师范大学 | 一种课堂教学认知负荷测量系统 |
| CN109741007A (zh) * | 2018-12-12 | 2019-05-10 | 北京航空航天大学 | 一种航空驾驶舱工作负荷试验的被试人员筛选方法 |
| CN110472512A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于深度学习的人脸状态识别方法及其装置 |
| CN111062292A (zh) * | 2019-12-10 | 2020-04-24 | 哈尔滨工程大学 | 一种疲劳驾驶检测装置与方法 |
| CN112163470A (zh) * | 2020-09-11 | 2021-01-01 | 高新兴科技集团股份有限公司 | 基于深度学习的疲劳状态识别方法、系统、存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007000030A1 (en) * | 2005-06-29 | 2007-01-04 | National Ict Australia Limited | Measuring cognitive load |
-
2021
- 2021-01-18 CN CN202110063308.0A patent/CN112733772B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107212896A (zh) * | 2017-04-05 | 2017-09-29 | 天津大学 | 一种情绪稳定性综合评价系统及信息处理方法 |
| CN109117731A (zh) * | 2018-07-13 | 2019-01-01 | 华中师范大学 | 一种课堂教学认知负荷测量系统 |
| CN109741007A (zh) * | 2018-12-12 | 2019-05-10 | 北京航空航天大学 | 一种航空驾驶舱工作负荷试验的被试人员筛选方法 |
| CN110472512A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于深度学习的人脸状态识别方法及其装置 |
| CN111062292A (zh) * | 2019-12-10 | 2020-04-24 | 哈尔滨工程大学 | 一种疲劳驾驶检测装置与方法 |
| CN112163470A (zh) * | 2020-09-11 | 2021-01-01 | 高新兴科技集团股份有限公司 | 基于深度学习的疲劳状态识别方法、系统、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| FSA-Net：Learning Fine-Grained Structure Aggregation for Head Pose Estimation from a Single Image;Tsun-Yi Yang 等;CVF;全文 * |
| 考虑疲劳和工作负荷的人工拣选货品排程研究;赵小松 等;系统工程学报;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112733772A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733772B (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| Assens Reina et al. | Saltinet: Scan-path prediction on 360 degree images using saliency volumes | |
| Kwaśniewska et al. | Deep features class activation map for thermal face detection and tracking | |
| CN109684915B (zh) | 瞳孔跟踪图像处理方法 | |
| Verlekar et al. | Using transfer learning for classification of gait pathologies | |
| CN115482574B (zh) | 基于深度学习的屏幕注视点估计方法、装置、介质及设备 | |
| Loureiro et al. | Using a skeleton gait energy image for pathological gait classification | |
| Liu et al. | Target recognition of sport athletes based on deep learning and convolutional neural network | |
| Naruniec et al. | Webcam‐based system for video‐oculography | |
| CN110929570B (zh) | 虹膜快速定位装置及其定位方法 | |
| CN114420299A (zh) | 基于眼动测试的认知功能筛查方法、系统、设备和介质 | |
| Shi et al. | An integrated neural network model for pupil detection and tracking | |
| Pandey et al. | Dumodds: Dual modeling approach for drowsiness detection based on spatial and spatio-temporal features | |
| Zhang et al. | Development of a rescue system for agricultural machinery operators using machine vision | |
| Hassan et al. | SIPFormer: Segmentation of multiocular biometric traits with transformers | |
| KR20220145412A (ko) | 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치 | |
| CN107832699A (zh) | 基于阵列镜头的兴趣点关注度测试方法及装置 | |
| CN116881853A (zh) | 基于多模态融合的注意力评估方法、系统、设备及介质 | |
| Martinez et al. | Combining first-person and third-person gaze for attention recognition | |
| CN111861275B (zh) | 家政工作模式的识别方法和装置 | |
| Sherbakov | Computational principles for an autonomous active vision system | |
| Skowronek et al. | Eye Tracking Using a Smartphone Camera and Deep Learning | |
| Wang et al. | Driving fatigue detection based on feature fusion of information entropy | |
| CN113326729A (zh) | 多模态的课堂专注度检测方法和装置 | |
| Zheng et al. | Learning scale-variant features for robust iris authentication with deep learning based ensemble framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |