CN204440098U - 一种适于视觉终端作业岗位的多模态行为分析与监控系统 - Google Patents

Abstract

本实用新型公开了一种适于视觉终端作业岗位的多模态行为分析与监控系统,包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件；本实用新型的优点是实现了对视觉终端作业岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。

Description

一种适于视觉终端作业岗位的多模态行为分析与监控系统

技术领域

本实用新型涉及一种适于视觉终端作业岗位的多模态行为分析与监控系统,属于人类工效、人机工程、智能系统以及工业控制系统技术领域。

背景技术

目前，传统的视觉终端(VDT-Visual Display Terminal)作业技术是对利用计算机系统的视觉显示终端进行数据、文字、图像信息处理工作的总称，是一种以脑力劳动为主的技术形式。视觉终端作业技术则是专职以视觉显示终端为工作信息获取的核心媒介的技术。这种技术的特点是：人员通过视觉关注屏幕与手操输入设备(如键盘、鼠标)相结合的方式来实现与计算机(或机器)共同协作完成技术任务。

在工业自动化、智能化极速发展的今天，不少关系国家、社会生产重大公共安全的系统中，有相当比例的岗位为视觉终端作业技术，且有些视觉终端作业岗位为系统的关键任务岗位，作业任务完成质量直接关系到整个系统的可靠性。例如公共交通运输系统中的调度岗位、作战指挥系统中的可视情报信息监测岗位、能源实时输送系统中的系统运行状态监控岗位、还有高安全等级场所的安全检查射线图像识别岗位，这些都属于典型的视觉显示终端作业岗位范畴，且肩负着关键任务。正是基于对这类岗位关键性的高度重视，关于岗位的工作绩效、工作负荷、工作质量以及由此岗位给系统引入的安全风险等问题备受关注，尤其是在对岗位高危行为的实时辨识与系统风险防范方面的意义更加重大。

目前，在驾驶安全领域已有关于驾驶员驾驶行为风险识别的相关技术。例如专利号为CN101565036B的实用新型专利提供了一种防疲劳驾驶的方法，通过实时采集驾驶员的图像信息，分析是否为同一驾驶员，监控驾驶员的连续驾驶时间与眼部开闭状态、视线分散度及凝视位置来分析驾驶员的驾驶状态，针对疲劳状态采取报警及制动措施。

例如，申请号为201310248710.1的实用新型专利申请提供了一种车载实时智能疲劳监控及辅助装置，通过影像采集检测驾驶员疲劳状态，对驾驶员状态进行参数化并对疲劳状态进行分级，根据分级采取干涉指令的相关措施，同时也支持对用户的疲劳基线进行个性化设置与调整。

上述可见，根据驾驶行为特点，驾驶员的疲劳状态是驾驶安全的重点识别、防范状态。而针对视觉终端作业岗位的行为分析、风险识别与智能监控就不能仅局限在疲劳状态，因为这种岗位人员给系统引入的风险除疲劳外还有一大部分是因为技能水平不够导致的注意力分布不合理，不能及时发现状况并做出快速反应。故针对视觉终端作业岗位的行为分析应从人-机协作过程量化分析与评估的角度出发，形成多模态信息综合分析、人-机行为同步监测、兼顾风险提醒和绩效评估的智能控制系统。

综上所述，目前，针对视觉作业岗位的行为分析与监控系统技术及方法尚未发展，国内外均未有提出针对视觉作业岗位的行为分析与监控系统技术的系统与方法。

实用新型内容

本实用新型的目的在于提供一种能够克服上述技术问题的适于视觉终端作业岗位的多模态行为分析与监控系统，本实用新型通过多种模态的人体行为与机器响应行为的数据获取，并结合人-机协作行为综合量化分析，实现对岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，例如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。

本实用新型提供了一种适于视觉终端作业岗位的多模态行为分析与监控系统，本实用新型的适于视觉终端作业岗位的多模态行为分析与监控系统是以视觉终端与操作键盘为核心的人-机协作过程的量化监测体系系统，其功能是人体操作行为数据探测、机器响应行为数据获取、人-机行为数据分析、风险预警反馈控制。

本实用新型的适于视觉终端作业岗位的多模态行为分析与监控系统包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件。

所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘均以独立数据线缆和多通道信息采集与处理设备相连。

所述多通道信息采集与处理设备和反馈控制与接口装置相连。

所述反馈控制与接口装置和报警器件相连。

其中所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器用于人体操作行为数据探测；所述视觉终端、操作键盘用于机器响应行为数据获取；所述多通道信息采集与处理设备用于人-机行为数据分析；所述反馈控制与接口装置、报警器件用于风险预警反馈控制。

所述眼部跟踪光电传感器用于获取人实时视线落点位置数据；所述面部跟踪光电传感器用于获取人实时表情变化数据；所述躯干跟踪光电传感器用于与面部跟踪光电传感器配合获取人实时头部姿态数据；所述腕部压电传感器用于获取人腕部作用于桌面上的压力变化数据；所述肘部压电传感器用于获取人肘部作用于座椅扶手上的压力变化数据；所述臀部压电传感器用于获取人臀部作用于座椅水平支撑面上的压力变化数据；所述背部压电传感器用于获取人背部作用于座椅竖直支撑面上的压力变化数据。

所述多通道信息采集与处理设备用于收集所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘传入的多模态信息并进行分析、决策。

所述反馈控制与接口装置用于接收多通道信息采集与处理设备得出的决策结果，以工业标准接口形式与报警器件及外部系统或设备进行信息交互；所述报警器件用于表现报警信息并将运行状态信息回传至反馈控制与接口装置。

所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘均以独立数据线缆与多通道信息采集与处理设备相连，所有数据通路为分布式并行信息通道。所述眼部跟踪光电传感器、面部跟踪光电传感器与躯干跟踪光电传感器分别获取人实时视线落点、表情变化与头部姿态信息并传送至多通道信息采集与处理设备；所述腕部压电传感器、肘部压电传感器、臀部压电传感器及背部压电传感器分别获取人在座时身体的腕、肘、臀、腰部位与相应承重面的作用力数据并传送至多通道信息采集与处理设备；同时，所述视觉终端显示的内容信息同步传送至多通道信息采集与处理设备；所述操作键盘发出的指令信号同步传送至多通道信息采集与处理设备；所述多通道信息采集与处理设备集中接收上述传入的多模态信息，加以时、空配准并开展深度分析，做出报警决策，并将决策信息传送至反馈控制与接口装置；所述反馈控制与接口装置接收多通道信息采集与处理设备传入的报警决策信息并通过标准接口传送至报警器件；所述报警器件接收反馈控制与接口装置发出的指令，完成向人传达可感知的警示信息(如视、听、触觉刺激)的任务，并将报警任务的完成状态回传至反馈控制与接口装置；同时，所述反馈控制与接口装置也支持系统通过工业标准接口与外部设备或系统进行信息交互。

本实用新型的优点是通过多种模态的人体行为与机器响应行为的数据获取，并结合人-机协作行为综合量化分析，实现了对视觉终端作业岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。

附图说明

图1是本实用新型所述一种适于视觉终端作业岗位的多模态行为分析与监控系统的结构示意图。

具体实施方式

下面结合附图对本实用新型的实施方式进行详细描述。如图1所示，本实用新型的一种适于视觉终端作业岗位的多模态行为分析与监控系统包括：

111眼部跟踪光电传感器，用于获取人实时视线落点位置数据；

112面部跟踪光电传感器，用于获取人实时表情变化数据；

113躯干跟踪光电传感器，用于与112面部跟踪光电传感器配合获取人实时头部姿态数据；

114腕部压电传感器，用于获取人腕部作用于桌面上的压力变化数据；

115肘部压电传感器，用于获取人肘部作用于座椅扶手上的压力变化数据；

116臀部压电传感器，用于获取人臀部作用于座椅水平支撑面上的压力变化数据；

117背部压电传感器，用于获取人背部作用于座椅竖直支撑面上的压力变化数据；

121视觉终端，视觉终端作业核心设备；

122操作键盘，视觉终端作业核心设备；

123多通道信息采集与处理设备，用于收集、处理、分析111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘传入的多模态信息，并根据分析结果做出报警决策；

131反馈控制与接口装置，用于根据报警决策生成反馈控制指令，并通过工业标准接口协议与外部系统或设备进行信息交互。

132报警器件，用于对人发出光信号以示警醒并将运行状态反馈回131反馈控制与接口装置。

所述111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘均以数据线缆与123多通道信息采集与处理设备相连。

所述131反馈控制与接口装置和132报警器件相连。

所述111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘均以数据线缆与131反馈控制与接口装置相连，所有数据通路为分布式并行信息通道。具体地，所述111眼部跟踪光电传感器、112面部跟踪光电传感器与113躯干跟踪光电传感器分别获取人实时视线落点、表情变化与头部姿态信息并传送至123多通道信息采集与处理设备；所述114腕部压电传感器、115肘部压电传感器、116臀部压电传感器及117背部压电传感器分别获取人在座时身体的腕、肘、臀、腰部位与相应称重面的作用力数据并传送至123多通道信息采集与处理设备；同时，所述121视觉终端显示的内容信息同步传送至123多通道信息采集与处理设备；所述122操作键盘发出的指令信号同步传送至123多通道信息采集与处理设备；所述123多通道信息采集与处理设备集中接收所述111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘传入的多模态信息，加以时、空配准并开展深度分析，做出报警决策并将决策信息传送至131反馈控制与接口装置；所述131反馈控制与接口装置接收123多通道信息采集与处理设备传入的决策信息并通过标准接口将指令传送至132报警器件，同时支持以工业标准接口协议形式与外部系统或设备进行信息交互；所述132报警器件接收131反馈控制与接口装置传入的报警控制指令发出不同波长与不同频次的光信号向人传达不同层次的警示信息，同时将指令执行状态反馈回123多通道信息采集与处理设备。

以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型公开的范围内，能够轻易想到的变化或替换，都应涵盖在本实用新型权利要求的保护范围内。

Claims (1)

1.一种适于视觉终端作业岗位的多模态行为分析与监控系统，其特征在于，包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件；

所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘均以独立数据线缆和多通道信息采集与处理设备相连；

所述多通道信息采集与处理设备和反馈控制与接口装置相连；

所述反馈控制与接口装置和报警器件相连。