CN110531516A - 一种头戴式眼动跟踪操作辅助的智能装置 - Google Patents

一种头戴式眼动跟踪操作辅助的智能装置 Download PDF

Info

Publication number
CN110531516A
CN110531516A CN201910627243.0A CN201910627243A CN110531516A CN 110531516 A CN110531516 A CN 110531516A CN 201910627243 A CN201910627243 A CN 201910627243A CN 110531516 A CN110531516 A CN 110531516A
Authority
CN
China
Prior art keywords
module
eye
user
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910627243.0A
Other languages
English (en)
Inventor
徐凯
赵其杰
孔耀辉
韩书航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910627243.0A priority Critical patent/CN110531516A/zh
Publication of CN110531516A publication Critical patent/CN110531516A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种头戴式可折叠眼动跟踪操作辅助的智能装置。本装置包括通信模块、显示模块、交互模块、监测模块、图像采集模块、生理信息监测模块、投影姿态调节模块、视频监测姿态调节模块、处理器和头戴式可折叠支架。可针对不同的头部姿态,自动调节采集图像的角度,保证采集的图像位于用户视线的中心;自动调节投影角度,保证投影的图像不产生变形。本发明装置可对用户的工作状态进行监测,发出有效提醒,减少用户低效作业产生的失误。另外本发明装置还提供护目镜、折叠功能。

Description

一种头戴式眼动跟踪操作辅助的智能装置
技术领域
本发明涉及装配制造领域辅助工具,具体涉及一种头戴式眼动跟踪操作辅助的智能装置。
背景技术
随着信息技术、智能化技术的不断发展和在制造业的应用,为解决大型复杂的装配加工和制造过程的问题提供了新的方法和思路。如大型飞机、高铁火车、轮船等复杂的装配制造周期长,工况复杂,人为因素造成的质量问题多,迫切需要新的工具和方法辅助作业提高工作效率和质量。诸如飞机、高铁火车等大型装配制造业,装配工人在现场工作需要仔细翻阅大量的图纸、工艺文件等,无法解放双手,效率较低下,且工作人员易疲劳、紧张或者注意力分散,会出现工作上的失误,造成装配质量问题,影响装配周期。据统计,人为因素引起的装配制造质量事故占大飞机装配质量事故的60%以上,特别在某些狭小空间无法查看纸质图纸,平板设备无法解放双手情况下,在封闭环境下工作,往往引起作业人员情绪、心情的异常变化,也会引起质量事故。也有借助智能眼镜实现信息查阅的研究,佩戴式眼镜在一定程度降低了操作人员频繁查看图纸的频率,但现有的设备显示屏过小,只能现实图纸局部浏览,信息查阅效率仍然较低。如果能从现场作业人员的生理、状态等多方面监测,并能集成安全防护装置,实现对现场作业人员的指导,将会极大的缓解作业人员的疲劳、烦躁等情绪,对于提高装配制造的效率和质量具有重要的意义。因此本发明设计了一款头戴式具有操作指导,对工作人员状态实时监测,兼具护目功能的头戴式操作辅助护目装置。
发明内容
本发明的目的在于针对已有的技术的不足,提供一种头戴式眼动跟踪操作辅助的智能装置,可以眼动跟踪为现场作业人员提供作业指导,资料查询和防差错过程监控,能够解放现场作业人员双手,以提高工作效率及降低差错率,同时兼具护目功能。
为了实现上述目的,本发明采用下述技术方案:
头戴式可折叠操作辅助监控护目装置,包括通信模块(I)、显示模块(Ⅱ)、交互模块(Ⅲ)、监测模块(Ⅵ)、图像采集模块(Ⅳ)、生理信息监测模块(Ⅴ)、投影姿态调节模块(Ⅶ)、视频监测姿态调节模块(Ⅶ)、处理器(Ⅸ)、头戴式可折叠支架(Ⅹ)。所述生理信息监测模块(Ⅴ)包括生理信息传感器(17)和眼动仪(10),眼动仪(10)安装在显示屏(11)左侧,显示屏(11)与眼动仪(10)组合的模块(21)与连杆(9)可动连接,连杆(9)与装置支撑架(22)可动连接,显示屏(11)接应用处理器(Ⅸ)输出。生理信息传感器(17)安装在壳体(3)右侧,输出信号接处理器(Ⅸ)输入。所述交互模块(Ⅲ)包括眼动仪(10)、语音模块(23)和触摸板(2),接处理器(Ⅸ)输入,触摸板(2)与语音模块(23)都安装于装置壳体(3)左侧。交互模块(Ⅲ)感知用户操作意图,由处理器(Ⅸ)做出判断,发出控制信号。图像采集模块(Ⅳ)与第一舵机(1)转轴连接,第一舵机(1)连接于支撑架(22)左侧,眼动仪(10)输出信号经由应用处理器(Ⅸ)处理之后输出控制信号,控制第一舵机(1),使图像采集模块(Ⅳ)角度跟随视线俯仰变化。微型投影仪(14)与第二舵机(13)转轴连接,陀螺仪(7)输出信号接应用处理器(10)输入,第二舵机(13)接收控制信号,跟踪用户头部姿态变化,保持微型投影仪(14)水平位置。
采用可调节护目镜,其特征在于:携镜架(19)通过连镜杆(18)与壳体(3)可动连接,可前后移动,用于适应不同人群面部特征,以及便于折叠收纳。携镜架(19)与连镜杆(18)可动连接,可旋转180°,三个极限位置,0°:收纳;90°:正常使用;180°:闲时不用护目镜。
装置可折叠,其特征在于: 头带(12)与支撑架(22)可动连接,头带(12)可旋转至与支撑架(22)平行位置。连杆(9)与支撑架(22)可动连接,可旋转至与壳体(3)接触平行位置。携镜架(19)可旋转至0°位置,使镜片(20)与整个壳体(3)平行。实现将装置空间尺寸最小化。
图像采集模块(Ⅳ)采用眼动跟踪技术,眼动仪(10)位于连接于支撑架(22)的连杆(9)上,采集图像提取眼部特征,应用处理器(Ⅸ)对特征进行处理后,根据视线方向,向第一舵机(1)发出控制信号,第一舵(1)机将力矩传给图像采集模块(Ⅳ),使图像采集模块(Ⅳ)采集的图像位于视线中心。
投影姿态调节模块(Ⅶ),其特征在于:微型投影仪(14)与第二舵机(13)连接,第二舵机(13)与头带(12)固定连接,第二舵机(13)通过正转反转,将力矩传予微型投影仪(14),根据用户头部俯仰姿态实现调节微型投影仪(14)的俯仰角度。
所述投影功能,微型投影仪(14)含有第二蓝牙模块,装置壳体含有第一蓝牙模块(6),第二蓝牙模块与第一蓝牙模块(6)配对,实现信息传递。
装置的监测预警功能,包括:眼动跟踪视频监测,用于判断用户工具遗漏,操作失误;用户生理信息监测,用于判断用户工作状态,疲劳,紧张,注意力分散。通过语音模块(23),显示模块(Ⅱ)用户,并通过通信模块(I)发送给服务器,实现用户状态跟踪监测。
所述视频监测预警,其特征在于:图像采集模块(Ⅳ)采集用户视角画面, 利用机器视觉技术对用户的操作过程全程记录并分析,对用户错误操作加以预警提示。
所述生理信息监测预警,其特征在于:通过安装位于装置壳体(3)右侧的生理信息传感器(17),检测用户生理信息:皮电,心率,以及基于眼动仪的面部信息采集系统,采集面部信息。采集的用户生理信息经由通信模块(I)发送给服务器,结合用户面部信息,综合判断用户工作状态。
作业指导可视化技术,图像采集模块(Ⅳ)获取作业环境中的信息,通过与设备或服务器中知识库与案例库中内容匹配,利用增强现实技术,在显示屏(11)中显示融合指导信息指导用户操作,避免操作时频繁的查看资料,减少出错的可能性。
多交互通道操作辅助技术,交互通道包括眼动仪(10)、语音(23)、触摸板(2),眼动仪(10)位于连接于支撑架(22)的连杆(9)上,采集图像提取眼部特征,采取的特征传送至处理器(Ⅸ),语音模块(23)、触摸板(2)安装在壳体(3)左侧,输出接处理器(Ⅸ),处理器(Ⅸ)通过通信模块(I)与远端服务器相连接,远端服务器存储有知识库和案例库。例如,应用处理器(Ⅸ)对用户的行为做出意图判断,对远端服务器的知识库和案例库文件实现显示和控制功能。处理器(Ⅸ)输入信号接眼动仪(10)、语音模块(23)、触摸板(2),输出信号接显示屏(11),微型投影仪(14)。当有对文件读取请求时:处理器(Ⅸ)通过通信模块(I)向服务器发送读写文件请求。当有对显示界面操作请求时:处理器(Ⅸ)对用户的界面操作意图做出判断,对显示的界面做出相应的移动,放大,缩小。
基于眼动仪的用户界面显示操作,眼动仪(10)位于连接于支撑架(22)的连杆(9)上,采集用户的眼部特征,眼部特征信息交由处理器(Ⅸ)处理,当视线向上时偏转时,显示界面向下移动;当视线向下偏转时,显示界面向上移动;当视线向左偏转时,显示界面向右移动;当视线向右偏转时,显示界面向左移动。
所述多交互通道辅助技术,交互通道可以互相切换,包括主动切换,被动切换,主动切换由用户选择交互模式,被动切换由处理器(Ⅸ)针对操作过程自主切换,眼动模式可以切换为语音模式、触摸板模式,语音模式可以切换为眼动模式、触摸板模式,触摸板模式可以切换为眼动模式、语音模式。交互通道可以互相协作,一个操作由多个过程组成,针对特定的过程采用不同交互通道。
与现有技术相比,本发明具有以下显而易见的实质性特点和技术进步:
1.本发明可针对不同的头部姿态,自动调节采集图像的角度,保证采集的图像位于用户视线的中心;自动调节投影角度,保证投影的图像不产生变形。
2.本发明可以显示较大图纸文件,克服小屏幕的不足。
3.本发明可以实现眼动跟踪驱动的文件显示和控制功能,解放双手,提高作业效率和质量,弥补现有语音控制技术的不足。
4.本发明装置可以折叠收纳,避免空间的占用。
5.本发明装置可以对用户的工作状态进行监测,有效减少用户低效作业产生的失误。
6.本发明在提供操作辅助和监测的同时,还提供护目镜功能,为用户提供必要的保护。
7.本发明可以融合显示指导信息,更加直观地给用户提供指导。
附图说明
图1为头戴式操作辅助监测护目智能装置结构示意图;
图2为头戴式操作辅助监测护目智能装置硬件结构示意图;
图3为装置的微型投影仪和图像采集模块俯仰姿态调整示意图;
图4为头戴式操作辅助监测护目智能装置的可调节护目镜结构图;
图5为头戴式操作辅助监测护目智能装置的折叠方式图。
具体实施方式
下面结合附图,对本发明的实施例做详细说明:
实施例一:
参见图1-图5,本头戴式眼动跟踪操作辅助的智能装置,包括通信模块(I)、显示模块(Ⅱ)、交互模块(Ⅲ)、监测模块(Ⅵ)、图像采集模块(Ⅳ)、生理信息监测模块(Ⅴ)、投影姿态调节模块(Ⅶ)、视频监测姿态调节模块(Ⅶ)、处理器(Ⅸ)、头戴式可折叠支架(Ⅹ),其特征在于,所述处理器(Ⅸ)连接通信模块(I)、显示模块(Ⅱ)、交互模块(Ⅲ)、监测模块(Ⅵ)、图像采集模块(Ⅳ)、生理信息监测模块(Ⅴ)、投影姿态调节模块(Ⅶ)和视频监测姿态调节模块(Ⅶ),而安装在头戴式可折叠支架(Ⅹ)上。显示模块(Ⅱ)接处理器(Ⅸ)输出,显示辅助操作信息,其中一个微型投影仪(14)可通过投影姿态调节模块(Ⅶ)调节投影姿态;交互模块(Ⅲ)接处理器(Ⅸ)输入,交互模块(Ⅲ)感知用户操作意图,由处理器做出判断,发出控制信号;监测模块(Ⅵ)用于监测用户状态,一方面通过图像采集模块(Ⅳ)采集用户操作过程信息,另一方面通过生理信息监测模块(Ⅴ)监测用户生理状态;视频监测姿态调节模块(Ⅷ)用于调节图像采集模块(Ⅳ)的采集角度。
实施例二:
本实施例与实施例一基本相同,特别之处如下:显示模块(Ⅱ),包括微型投影仪(14)和显示屏(11)含有多种显示方式,显示屏显示,投影显示,外部输出接口。微型投影仪(14)能够自适应调整投影角度;微型投影仪(14)与所述姿态调节模块(Ⅲ)中的一个第二舵机(13)连接,第二舵机(13)与所述头戴式可折叠支架(Ⅹ)中的一个头带(12)固定连接,第二舵机(13)通过正转反转,将力矩传予微型投影仪(14),根据用户头部俯仰姿态实现调节微型投影仪(14)的俯仰角度。图像采集模块(Ⅳ)采集角度可自适应调节;所述生理信息监测模块(Ⅴ)包括生理信息传感器(17)和眼动仪(10),眼动仪(10)位于连接于所述头戴式可折叠支撑架(22)的连杆(9)上,采集图像提取眼部特征,处理器(7)对特征进行处理后,根据视线方向,向所述视频监测姿态调节模块(Ⅶ)中的一个第一舵机(1)发出控制信号,第一舵机(1)将力矩传给图像采集模块(8),使图像采集模块(Ⅳ)采集的图像位于视线中心。具有监测预警功能,包括:视频监测预警技术,生理信息监测预警技术。所述视频监测预警技术:通过图像采集模块(Ⅳ)采集用户视角画面,利用机器视觉技术对用户的操作过程全程记录并分析,对用户错误操作加以预警提示;所述生理信息监测预警技术:通过生理信息监测模块中的一个生理信息传感器(17),检测用户生理信息:皮电,心率,以及基于眼动仪(10)的面部信息采集系统,采集面部信息。采集的用户生理信息包括面部信息,经过信息处理,判断用户工作状态疲惫,注意力分散。交互通道包括眼动仪(10)、语音(23)和触摸板(2)。交互模块(Ⅲ)的交互通道可以互相切换,包括主动切换,被动切换,主动切换由用户选择交互模式,被动切换由处理器(Ⅸ)针对操作过程自主切换,眼动模式可切换为语音模式、触摸板模式,语音模式可切换为眼动模式、触摸板模式,触摸板模式可切换为眼动模式、语音模式。交互模块(Ⅲ)的交互通道可互相协作,一个操作由多个过程组成,针对特定的过程采用不同交互通道。含有基于眼动仪的用户界面显示操作,所述眼动仪(10)位于连接于支撑架(22)的连杆(9)上,采集用户的眼部特征,眼部特征信息交由处理器处理(Ⅸ),当视线向上时偏转时,显示界面向下移动;当视线向下偏转时,显示界面向上移动;当视线向左偏转时,显示界面向右移动;当视线向右偏转时,显示界面向左移动。作业指导可视化,图像采集模块(Ⅳ)获取作业环境中的信息,通过与设备或服务器中知识库与案例库中内容匹配,利用增强现实技术,在所述显示模块(Ⅱ)中的显示屏(11)中显示融合指导信息。头戴式可折叠支架(Ⅹ)得结构包括:一个护目镜可调节结构:携镜架(19)通过一个连镜导杆(18)与壳体甲(3)可动连接,可前后移动,携镜架(19)与连镜导杆(18)可动连接,可旋转180°,三个极限位置为,0°,90°,180°;一个可折叠结构:一个头带(12)与一个支撑架(22)转动连接,头带(12)可旋转至与支撑架(22)平行位置;连杆(9)连接显示屏(11)、眼动仪(10),与支撑架(22)可动连接,可旋转至与壳体甲(3)平行位置。携镜架(19)可旋转至0°位置,使镜片与整个壳体平行,连镜导杆可向装置内测方向移动。
实施例三:
如图1所示,本头戴式眼动跟踪操作辅助的智能装置,能够实现解放双手,以及提供必要的护目装置。如图2所示,本发明装置包括:由第一舵机(1)和图像采集模块(8)构成的眼动跟踪视频监测姿态调整模块,自适应姿态感知模块(陀螺仪)(6),交互模块(包括:眼动仪(10),触摸板(2),语音模块(23)),显示屏(11),微型投影仪(14),处理器(7),通信模块(包括:蓝牙,Wi-Fi,USB接口),生理信息监测模块(包括:眼动仪(10),生理信息传感器(17)),可调节护目镜装置(包括:导杆(18)、携镜架(19)、护目镜片(20),连杆(9),壳体甲(3),支撑架(22),电池仓(16),电池仓盖(15),头带(12)。
如图1所示,本发明的显示模块包括微型投影仪投影显示(14)和显示屏(11)显示,其中,微型投影仪有第二蓝牙模块,其与装置的第一蓝牙模块配对连接,用来传递信号。
如图1所示,所述眼动跟踪视频监测姿态调整模块,包括:图像采集模块(8),第一舵机(1),支撑架(22)。第一舵机(1)固定于支撑架(22)上,第一舵机(1)转轴与图像采集模块(8)相连接。第一舵机(1)正转或反转,带动图像采集模块(8)俯仰姿态调整。所述自适应姿态调整投影模块,包括:头带(12),第二舵机(13),微型投影仪(14)。第二舵机(13)固定于头带(12)上,第二舵机(13)转轴与微型投影仪(14)相连接。第二舵机(13)正转或反转,带动微型投影仪(14)俯仰姿态调整。
如图4所示,所述可调节护目镜,包括:壳体甲(3),导杆(18),携镜架(19),护目镜片(20)。护目镜片(20)与携镜架(19)固定连接,携镜架(19)与导杆(18)转动连接,导杆(18)与壳体甲(3)滑动连接。导杆(18)可以以壳体甲(3)为支撑滑动,实现护目镜前后距离的调节。
如图1所示,所述折叠机构包括上述可调节护目镜,还包括:壳体乙(21),连杆(9),支撑架(22),头带(12)。壳体乙(21)与连杆(9)转动连接,连杆(9)与支撑架(22)转动连接 。连杆(9)可以绕着与支撑架(22)连接处转动,实现折叠,壳体乙(21)可以绕着与连杆(9)连接处转动,是显示屏(11)与眼动仪(10)转到装置内侧,以保护显示屏(11)和眼动仪(10)不受伤害,如图5所示。
如图2所示,本发明头戴式眼动跟踪操作辅助监测装置的硬件组成主要包括:处理器;由显示屏和微型投影仪组成的显示模块;投影姿态、视频监测姿态调节模块;由生理信息监测,视频监测组成的监测模块;由语音模块、触摸板和眼动仪组成的交互模块;通信模块;用于感知用户姿态的陀螺仪。处理器主要用来处理一些核心算法,用于信息处理。显示模块主要用于显示要给予用户的提示信息。投影姿态调节模块用于调节调节微型投影的俯仰的角度,使投影的图像上下不产生变形。视频监测姿态调节模块主要用于调节图像采集的角度,使采集的图像基本位于视线的中心。生理信息检测模块所检测的生理信息和眼动仪采集的面部特征,经由通信接口发送给远端服务器,实现用户状态的跟踪,对用户的状态做出判断。服务器将用户的不良状态(疲惫,注意力分散等)经由设备的通信接口反馈给用户,给予用户提示。交互模块主要用来采集用户控制意图信息,由处理器做出判断,然后做出操作响应。陀螺仪用于感知用户俯仰姿态信息,为投影姿态调节模块提供调节信息。
如图3,本发明姿态调整主要包括微型投影仪投影姿态调整、图像采集模块姿态调整。陀螺仪(6)接受头部姿态信息,交由处理器(7)处理,处理器对第二舵机(13)发出控制信号,低头时,微型投影仪(14)上扬,抬头时,微型投影仪(14)向下偏转。眼动仪(10)采集眼部特征信息,交由处理器(7)处理,处理器对第一舵机(1)发出控制信号,视线往下时,图像采集模块(8)向下偏转,视线往上时,图像采集模块(8)向上偏转。
如图1,本发明监测功能主要包括生理信息监测和视频监测。生理信息监测模块采集用户生理信息,图像采集模块(8)采集用户操作过程信息。这些信息经过运算处理,如有不良信息(疲惫,注意力分散,操作失误等),将通过语音或显示屏反馈给用户,提醒用户注意。
本发明的操作辅助的核心在于作业指导可视化技术,图像采集模块(8)获取作业环境中的信息,通过与设备或服务器中知识库与案例库中内容匹配,利用增强现实技术,在显示模块中显示融合指导信息指导用户操作。
在人机交互方面,在语音和触摸板的基础上还引入眼动仪,不同的交互方式可以相互切换,一个操作也可采用多种交互方式相互协作,即,通过不限于一种交互方式完成一个操作。其中,本装置可以基于眼动仪对用户界面进行操作。眼动仪(10)采集用户的眼部特征,眼部特征信息交由处理器(7)处理,当视线向上时偏转时,显示界面向下移动;当视线向下偏转时,显示界面向上移动;当视线向左偏转时,显示界面向右移动;当视线向右偏转时,显示界面向左移动。

Claims (9)

1.一种头戴式眼动跟踪操作辅助的智能装置,包括通信模块(I)、显示模块(Ⅱ)、交互模块(Ⅲ)、监测模块(Ⅵ)、图像采集模块(Ⅳ)、生理信息监测模块(Ⅴ)、投影姿态调节模块(Ⅶ)、视频监测姿态调节模块(Ⅶ)、处理器(Ⅸ)、头戴式可折叠支架(Ⅹ),其特征在于,所述处理器(Ⅸ)连接通信模块(I)、显示模块(Ⅱ)、交互模块(Ⅲ)、监测模块(Ⅵ)、图像采集模块(Ⅳ)、生理信息监测模块(Ⅴ)、投影姿态调节模块(Ⅶ)和视频监测姿态调节模块(Ⅶ),而安装在头戴式可折叠支架(Ⅹ)上,显示模块(Ⅱ)接处理器(Ⅸ)输出,显示辅助操作信息,其中一个微型投影仪(14)可通过投影姿态调节模块(Ⅶ)调节投影姿态;交互模块(Ⅲ)接处理器(Ⅸ)输入,交互模块(Ⅲ)感知用户操作意图,由处理器做出判断,发出控制信号;监测模块(Ⅵ)用于监测用户状态,一方面通过图像采集模块(Ⅳ)采集用户操作过程信息,另一方面通过生理信息监测模块(Ⅴ)监测用户生理状态;视频监测姿态调节模块(Ⅷ)用于调节图像采集模块(Ⅳ)的采集角度。
2.根据权利要求1所述的头戴式眼动跟踪操作辅助的智能装置,其特征在于显示模块(Ⅱ),包括微型投影仪(14)和显示屏(11)含有多种显示方式,显示屏显示,投影显示,外部输出接口。
3.根据权利要求2所述的头戴式眼动跟踪操作辅助的智能装置,其特征在于所述微型投影仪(14)能够自适应调整投影角度;微型投影仪(14)与所述姿态调节模块(Ⅲ)中的一个第二舵机(13)连接,第二舵机(13)与所述头戴式可折叠支架(Ⅹ)中的一个头带(12)固定连接,第二舵机(13)通过正转反转,将力矩传予微型投影仪(14),根据用户头部俯仰姿态实现调节微型投影仪(14)的俯仰角度。
4.根据权利要求1所述的头戴式眼动跟踪操作辅助的智能装置,其特征在于所述图像采集模块(Ⅳ)采集角度可自适应调节;所述生理信息监测模块(Ⅴ)包括生理信息传感器(17)和眼动仪(10),眼动仪(10)位于连接于所述头戴式可折叠支撑架(22)的连杆(9)上,采集图像提取眼部特征,处理器(7)对特征进行处理后,根据视线方向,向所述视频监测姿态调节模块(Ⅶ)中的一个第一舵机(1)发出控制信号,第一舵机(1)将力矩传给图像采集模块(8),使图像采集模块(Ⅳ)采集的图像位于视线中心。
5.根据权利要求1所述的头戴式可折叠眼动跟踪操作辅助智能装置,其特征在于具有监测预警功能,包括:视频监测预警技术,生理信息监测预警技术;
所述视频监测预警技术:通过图像采集模块(Ⅳ)采集用户视角画面,利用机器视觉技术对用户的操作过程全程记录并分析,对用户错误操作加以预警提示;
所述生理信息监测预警技术:通过生理信息监测模块中的一个生理信息传感器(17),检测用户生理信息:皮电,心率,以及基于眼动仪(10)的面部信息采集系统,采集面部信息,采集的用户生理信息包括面部信息,经过信息处理,判断用户工作状态疲惫,注意力分散。
6.根据权利要求1所述的头戴式可折叠眼动跟踪操作辅助的智能装置,其特征在于:所述交互通道包括眼动仪(10)、语音(23)和触摸板(2),交互模块(Ⅲ)的交互通道可以互相切换,包括主动切换,被动切换,主动切换由用户选择交互模式,被动切换由处理器(Ⅸ)针对操作过程自主切换,眼动模式可切换为语音模式、触摸板模式,语音模式可切换为眼动模式、触摸板模式,触摸板模式可切换为眼动模式、语音模式,交互模块(Ⅲ)的交互通道可互相协作,一个操作由多个过程组成,针对特定的过程采用不同交互通道。
7.根据权利要求4所述的头戴式可折叠眼动跟踪操作辅助的智能装置,其特征在于:含有基于眼动仪的用户界面显示操作,所述眼动仪(10)位于连接于支撑架(22)的连杆(9)上,采集用户的眼部特征,眼部特征信息交由处理器处理(Ⅸ),当视线向上时偏转时,显示界面向下移动;当视线向下偏转时,显示界面向上移动;当视线向左偏转时,显示界面向右移动;当视线向右偏转时,显示界面向左移动。
8.根据权利要求1所述的头戴式可折叠眼动跟踪操作辅助的智能装置,其特征在于:作业指导可视化,图像采集模块(Ⅳ)获取作业环境中的信息,通过与设备或服务器中知识库与案例库中内容匹配,利用增强现实技术,在所述显示模块(Ⅱ)中的显示屏(11)中显示融合指导信息。
9.根据权利要求1所述的头戴式眼动跟踪操作辅助的智能装置,其特征在于:所述头戴式可折叠支架(Ⅹ)得结构包括:
一个护目镜可调节结构:携镜架(19)通过一个连镜导杆(18)与壳体甲(3)可动连接,可前后移动,携镜架(19)与连镜导杆(18)可动连接,可旋转180°,三个极限位置为,0°,90°,180°;
一个可折叠结构:一个头带(12)与一个支撑架(22)转动连接,头带(12)可旋转至与支撑架(22)平行位置;连杆(9)连接显示屏(11)、眼动仪(10),与支撑架(22)可动连接,可旋转至与壳体甲(3)平行位置,携镜架(19)可旋转至0°位置,使镜片与整个壳体平行,连镜导杆可向装置内测方向移动。
CN201910627243.0A 2019-07-12 2019-07-12 一种头戴式眼动跟踪操作辅助的智能装置 Pending CN110531516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910627243.0A CN110531516A (zh) 2019-07-12 2019-07-12 一种头戴式眼动跟踪操作辅助的智能装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627243.0A CN110531516A (zh) 2019-07-12 2019-07-12 一种头戴式眼动跟踪操作辅助的智能装置

Publications (1)

Publication Number Publication Date
CN110531516A true CN110531516A (zh) 2019-12-03

Family

ID=68659670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627243.0A Pending CN110531516A (zh) 2019-07-12 2019-07-12 一种头戴式眼动跟踪操作辅助的智能装置

Country Status (1)

Country Link
CN (1) CN110531516A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655619A (zh) * 2021-08-17 2021-11-16 融信信息科技有限公司 一种增强现实单眼ar眼镜
CN114415375A (zh) * 2022-01-18 2022-04-29 东风汽车股份有限公司 一种设备点检用可智能翻转的单镜片头戴式设备
WO2023237023A1 (zh) * 2022-06-08 2023-12-14 广州视源电子科技股份有限公司 图像处理方法、装置、存储介质及头显设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097324A1 (en) * 2005-10-27 2007-05-03 Yokogawa Electric Corporation Image information display unit
CN102812417A (zh) * 2010-02-02 2012-12-05 寇平公司 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
CN203313378U (zh) * 2013-07-12 2013-11-27 黄通兵 一种便于收纳的扬声器连接装置和新型眼镜式设备
US20140313121A1 (en) * 2013-04-18 2014-10-23 Samsung Display Co., Ltd. Eyeglasses attached with projector and method of controlling the same
CN105376666A (zh) * 2014-08-29 2016-03-02 上海市格致初级中学 一种带护目镜的头戴式耳机
CN105929948A (zh) * 2016-04-14 2016-09-07 佛山市威格特电气设备有限公司 基于增强现实自学习型智能头盔及其运行方法
CN206235778U (zh) * 2016-11-28 2017-06-09 深圳市柔宇科技有限公司 头戴式显示设备及其视听装置
US9870716B1 (en) * 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
CN107783357A (zh) * 2016-08-24 2018-03-09 南京乐朋电子科技有限公司 一种便携式投影阅读器
CN207817314U (zh) * 2018-01-29 2018-09-04 潍坊歌尔电子有限公司 头戴显示器
CN207851413U (zh) * 2017-12-25 2018-09-11 湖北工业大学 一体折叠式vr头显
CN208076833U (zh) * 2018-05-11 2018-11-09 重庆第二师范学院 新型ar眼镜及新型ar眼镜系统
US20190098286A1 (en) * 2015-12-07 2019-03-28 Koc Universitesi Dual function display and multi-view imaging system
CN109932821A (zh) * 2017-12-18 2019-06-25 深圳纬目信息技术有限公司 一种ar头戴设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097324A1 (en) * 2005-10-27 2007-05-03 Yokogawa Electric Corporation Image information display unit
CN102812417A (zh) * 2010-02-02 2012-12-05 寇平公司 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US9870716B1 (en) * 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
US20140313121A1 (en) * 2013-04-18 2014-10-23 Samsung Display Co., Ltd. Eyeglasses attached with projector and method of controlling the same
CN203313378U (zh) * 2013-07-12 2013-11-27 黄通兵 一种便于收纳的扬声器连接装置和新型眼镜式设备
CN105376666A (zh) * 2014-08-29 2016-03-02 上海市格致初级中学 一种带护目镜的头戴式耳机
US20190098286A1 (en) * 2015-12-07 2019-03-28 Koc Universitesi Dual function display and multi-view imaging system
CN105929948A (zh) * 2016-04-14 2016-09-07 佛山市威格特电气设备有限公司 基于增强现实自学习型智能头盔及其运行方法
CN107783357A (zh) * 2016-08-24 2018-03-09 南京乐朋电子科技有限公司 一种便携式投影阅读器
CN206235778U (zh) * 2016-11-28 2017-06-09 深圳市柔宇科技有限公司 头戴式显示设备及其视听装置
CN109932821A (zh) * 2017-12-18 2019-06-25 深圳纬目信息技术有限公司 一种ar头戴设备
CN207851413U (zh) * 2017-12-25 2018-09-11 湖北工业大学 一体折叠式vr头显
CN207817314U (zh) * 2018-01-29 2018-09-04 潍坊歌尔电子有限公司 头戴显示器
CN208076833U (zh) * 2018-05-11 2018-11-09 重庆第二师范学院 新型ar眼镜及新型ar眼镜系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655619A (zh) * 2021-08-17 2021-11-16 融信信息科技有限公司 一种增强现实单眼ar眼镜
CN113655619B (zh) * 2021-08-17 2024-06-14 融信信息科技有限公司 一种增强现实单眼ar眼镜
CN114415375A (zh) * 2022-01-18 2022-04-29 东风汽车股份有限公司 一种设备点检用可智能翻转的单镜片头戴式设备
WO2023237023A1 (zh) * 2022-06-08 2023-12-14 广州视源电子科技股份有限公司 图像处理方法、装置、存储介质及头显设备

Similar Documents

Publication Publication Date Title
CN110531516A (zh) 一种头戴式眼动跟踪操作辅助的智能装置
KR101977332B1 (ko) 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
JP4251673B2 (ja) 画像呈示装置
WO2016113951A1 (ja) 頭部装着型表示装置、及び映像表示システム
WO1995005620A1 (fr) Dispositif de visualisation du type lunettes et processeur de donnees d'images equipe d'un tel dispositif
US6426740B1 (en) Visual-axis entry transmission apparatus and method therefor
TW201721228A (zh) 反應眼睛凝視的虛擬實境頭戴式組件
CN103429139A (zh) 具有可调整视场的眼镜装置和方法
WO2014107220A1 (en) A headset computer with head tracking input used for inertial control
WO2002001336A2 (en) Automated visual tracking for computer access
CN101077232A (zh) 一种用于穿戴式计算机的人机交互头盔
US11287660B2 (en) Head-mounted display
CN106066750A (zh) 显示系统
JP2021506052A5 (zh)
KR101467529B1 (ko) 착용형 정보 제공 시스템
CN109116565A (zh) 一种头戴式显示设备
KR20130059827A (ko) 동공인식을 이용한 안경 카메라
Shi et al. Eye-centric ICT control
US20190011701A1 (en) Head-mounted display apparatus
CN109758727A (zh) 基于人体生理数据的自适应调节的跑步平台系统
KR20190115265A (ko) 헤드마운트디스플레이 분석 시스템
US20230296923A1 (en) Portable multimodal learning analytics smart glasses
WO2021019540A1 (en) Automated dynamic display adjustment based on user pose
CN111160165A (zh) 一种自适应式姿态纠错检测方法及装置
CN103677356A (zh) 电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203