CN108596106B - 基于vr设备的视觉疲劳识别方法及其装置、vr设备 - Google Patents

基于vr设备的视觉疲劳识别方法及其装置、vr设备 Download PDF

Info

Publication number
CN108596106B
CN108596106B CN201810384239.1A CN201810384239A CN108596106B CN 108596106 B CN108596106 B CN 108596106B CN 201810384239 A CN201810384239 A CN 201810384239A CN 108596106 B CN108596106 B CN 108596106B
Authority
CN
China
Prior art keywords
eye
average
value
fatigue
jump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810384239.1A
Other languages
English (en)
Other versions
CN108596106A (zh
Inventor
孙建康
张�浩
陈丽莉
楚明磊
薛鸿臻
闫桂新
李茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810384239.1A priority Critical patent/CN108596106B/zh
Publication of CN108596106A publication Critical patent/CN108596106A/zh
Priority to PCT/CN2019/083902 priority patent/WO2019206145A1/zh
Priority to US16/612,996 priority patent/US11132544B2/en
Application granted granted Critical
Publication of CN108596106B publication Critical patent/CN108596106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06T5/70—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本发明提供一种基于虚拟现实设备的视觉疲劳识别方法及其装置、虚拟现实设备，该方法包括：获取佩戴虚拟现实设备用户的眼部图像；从所述眼部图像获取视觉特征，并根据所述视觉特征计算视觉疲劳值；根据所述视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；根据所述视觉疲劳等级生成对应的提醒信号。该视觉疲劳识别方法可降低用户发生近视等问题的风险，有助于保护用户视力。

Description

基于VR设备的视觉疲劳识别方法及其装置、VR设备
技术领域
本发明涉及图像识别技术领域，尤其涉及基于虚拟现实VR设备的视觉疲劳识别方法及其装置、虚拟现实VR设备。
背景技术
虚拟现实(Virtual Reality，简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术，其结合了计算机技术和显示技术，构造出的虚拟环境，使用户沉浸到该虚拟环境中，具有很强的沉浸感。
虚拟现实VR设备通常为头戴式，其可应用于电子游戏和视频交互等领域，但头戴式虚拟现实设备的通常在一个昏暗和相对封闭的环境中使用，用于佩戴VR设备时，通常与观看的显示屏的距离较近，并且，通过VR设备观察显示屏显示的图像时，可能存在图像畸变和两眼视差过大等问题，因此，使得用户在使用虚拟现实设备时产生视觉疲劳。
但用户在使用VR设备时产生的沉浸感和游戏产生的快感，往往容易忽略这种视觉疲劳，从而增加或加深用户发生近视等问题的风险。
发明内容
本发明提供基于虚拟现实VR设备的视觉疲劳识别方法及其装置、虚拟现实VR设备，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种基于虚拟现实设备的视觉疲劳识别方法，包括：
获取佩戴虚拟现实设备用户的眼部图像；
从所述眼部图像获取视觉特征，并根据所述视觉特征计算视觉疲劳值；
根据所述视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；
根据所述视觉疲劳等级生成对应的提醒信号。
可选的，所述获取佩戴虚拟现实设备用户的眼部图像之后，包括：
提高所述眼部图像的亮度和对比度之后对所述眼部图像进行去噪处理。
可选的，所述视觉特征包括：眼跳平均速度、眼跳平均角速度、闭眼持续平均时间和/或眨眼平均频率，所述从所述眼部图像提取视觉特征包括：
从连续的各帧所述眼部图像中分别获取瞳孔位置、瞳孔面积和/或眨眼次数；
根据预设时间段内的各所述瞳孔位置计算眼跳平均速度；
根据预设时间段内的各所述瞳孔位置计算眼跳平均角速度；
根据预设时间段内的各所述瞳孔面积计算闭眼平均持续时间；
和/或
根据预设时间段内的眨眼次数计算眨眼平均频率。
可选的，所述根据所述视觉特征计算视觉疲劳值，包括：
当所述眼跳平均速度小于眼跳平速度轻度疲劳阈值时，则第一视觉疲劳值为第一数值，当所述眼跳平均速度大于眼跳平均速度轻度疲劳阈值且小于眼跳平均速度中度疲劳阈值时，则第一视觉疲劳值为第二数值，当所述眼跳平均速度大于眼跳平均速度中度疲劳阈值且小于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第三数值，当所述眼跳平均速度大于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第四数值，其中，眼跳平速度轻度疲劳阈值小于眼跳平均速度中度疲劳阈值，眼跳平均速度中度疲劳阈值小于眼跳平均速度重度疲劳阈值；
当所述眼跳平均角速度小于眼跳平均角速度轻度疲劳阈值时，则第二视觉疲劳值为第一数值，当所述眼跳平均角速度大于眼跳平均角速度轻度疲劳阈值且小于眼跳平均角速度中度疲劳阈值时，则第二视觉疲劳值为第二数值，当所述眼跳平均角速度大于眼跳平均角速度中度疲劳阈值且小于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第三数值，当所述眼跳平均角速度大于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第四数值，其中，眼跳平角速度轻度疲劳阈值小于眼跳平均角速度中度疲劳阈值，眼跳平均角速度中度疲劳阈值小于眼跳平均角速度重度疲劳阈值；
当所述闭眼持续平均时间小于闭眼持续平均时间轻度疲劳阈值时，则第三视觉疲劳值为第一数值，当所述闭眼持续平均时间大于闭眼持续平均时间轻度疲劳阈值且小于闭眼持续平均时间中度疲劳阈值时，则第三视觉疲劳值为第二数值，当所述闭眼持续平均时间大于闭眼持续平均时间中度疲劳阈值且小于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第三数值，当所述闭眼持续平均时间大于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第四数值，其中，闭眼持续平均时间轻度疲劳阈值小于闭眼持续平均时间中度疲劳阈值，闭眼持续平均时间中度疲劳阈值小于闭眼持续平均时间重度疲劳阈值；
当所述眨眼平均频率小于眨眼平均频率轻度疲劳阈值时，则第四视觉疲劳值为第一数值，当所述眨眼平均频率大于眨眼平均频率轻度疲劳阈值且小于眨眼平均频率中度疲劳阈值时，则第四视觉疲劳值为第二数值，当所述眨眼平均频率大于眨眼平均频率中度疲劳阈值且小于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第三数值，当所述眨眼平均频率大于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第四数值，其中，眨眼平均频率轻度疲劳阈值小于眨眼平均频率中度疲劳阈值，眨眼平均频率中度疲劳阈值小于眨眼平均频率重度疲劳阈值；
计算所述第一视觉疲劳值、所述第二视觉疲劳值、所述第三视觉疲劳值和/或所述第四视觉疲劳值的总和作为视觉疲劳值。
可选的，所述根据所述视觉疲劳等级生成对应的提醒信号，包括：
根据所述视觉疲劳等级生成对应颜色的图像闪烁信号和/或对应频率的振动信号，以使虚拟现实设备的屏幕上显示对应颜色的图像且所述图像以设定频率闪烁和/或使虚拟现实设备以预设频率震动。
根据本发明实施例的第二方面，提供一种基于虚拟现实设备的视觉疲劳识别装置，包括：
眼部图像获取单元，用于获取佩戴虚拟现实设备用户的眼部图像；
视觉疲劳值获取单元，用于从所述眼部图像获取视觉特征，并根据所述视觉特征计算视觉疲劳值；
视觉疲劳等级判定单元，用于根据所述视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；
提醒信号生成单元，用于根据所述视觉疲劳等级生成对应的提醒信号。
可选的，还包括：
图像预处理单元：用于提高所述眼部图像的亮度和对比度之后对所述眼部图像进行去噪处理。
可选的，所述视觉特征包括：眼跳平均速度、眼跳平均角速度、闭眼持续平均时间和/或眨眼平均频率，所述视觉疲劳值获取单元包括：
视觉特征获取子单元，用于从连续的各帧所述眼部图像中分别获取瞳孔位置、瞳孔面积和/或眨眼次数；
眼跳平均速度计算子单元，用于根据预设时间段内的各所述瞳孔位置计算眼跳平均速度；
眼跳平均角速度计算子单元，用于根据预设时间段内的各所述瞳孔位置计算眼跳平均角速度；
闭眼平均持续时间计算子单元，用于根据预设时间段内的各所述瞳孔面积计算闭眼平均持续时间；
和/或
眨眼平均频率计算子单元，用于根据预设时间段内的眨眼次数计算眨眼平均频率。
可选的，所述视觉疲劳值获取单元还包括：
第一视觉疲劳值确定子单元，用于当所述眼跳平均速度小于眼跳平速度轻度疲劳阈值时，则第一视觉疲劳值为第一数值，当所述眼跳平均速度大于眼跳平均速度轻度疲劳阈值且小于眼跳平均速度中度疲劳阈值时，则第一视觉疲劳值为第二数值，当所述眼跳平均速度大于眼跳平均速度中度疲劳阈值且小于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第三数值，当所述眼跳平均速度大于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第四数值，其中，眼跳平速度轻度疲劳阈值小于眼跳平均速度中度疲劳阈值，眼跳平均速度中度疲劳阈值小于眼跳平均速度重度疲劳阈值；
第二视觉疲劳值确定子单元，用于当所述眼跳平均角速度小于眼跳平均角速度轻度疲劳阈值时，则第二视觉疲劳值为第一数值，当所述眼跳平均角速度大于眼跳平均角速度轻度疲劳阈值且小于眼跳平均角速度中度疲劳阈值时，则第二视觉疲劳值为第二数值，当所述眼跳平均角速度大于眼跳平均角速度中度疲劳阈值且小于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第三数值，当所述眼跳平均角速度大于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第四数值，其中，眼跳平角速度轻度疲劳阈值小于眼跳平均角速度中度疲劳阈值，眼跳平均角速度中度疲劳阈值小于眼跳平均角速度重度疲劳阈值；
第三视觉疲劳值确定子单元，用于当所述闭眼持续平均时间小于闭眼持续平均时间轻度疲劳阈值时，则第三视觉疲劳值为第一数值，当所述闭眼持续平均时间大于闭眼持续平均时间轻度疲劳阈值且小于闭眼持续平均时间中度疲劳阈值时，则第三视觉疲劳值为第二数值，当所述闭眼持续平均时间大于闭眼持续平均时间中度疲劳阈值且小于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第三数值，当所述闭眼持续平均时间大于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第四数值，其中，闭眼持续平均时间轻度疲劳阈值小于闭眼持续平均时间中度疲劳阈值，闭眼持续平均时间中度疲劳阈值小于闭眼持续平均时间重度疲劳阈值；
第四视觉疲劳值确定子单元，用于当所述眨眼平均频率小于眨眼平均频率轻度疲劳阈值时，则第四视觉疲劳值为第一数值，当所述眨眼平均频率大于眨眼平均频率轻度疲劳阈值且小于眨眼平均频率中度疲劳阈值时，则第四视觉疲劳值为第二数值，当所述眨眼平均频率大于眨眼平均频率中度疲劳阈值且小于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第三数值，当所述眨眼平均频率大于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第四数值，其中，眨眼平均频率轻度疲劳阈值小于眨眼平均频率中度疲劳阈值，眨眼平均频率中度疲劳阈值小于眨眼平均频率重度疲劳阈值；
视觉疲劳值相加子单元，用于计算所述第一视觉疲劳值、所述第二视觉疲劳值、所述第三视觉疲劳值和/或所述第四视觉疲劳值的总和作为视觉疲劳值。
根据本发明实施例的第三方面，提供一种虚拟现实设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行上述任一所述方法。
根据上述技术方案可知，该基于VR设备的视觉疲劳识别方法，可以从眼部图像中提取的视觉特征计算视觉疲劳值，进而判定视觉疲劳等级，并根据视觉疲劳等级生成对应的提醒信息，通过提醒信息对用户的人眼疲劳程度进行提醒，使用户获知当前人眼疲劳程度，用户可进行适当休息，降低用户发生近视等问题的风险，有助于保护用户视力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明一实施例提供的基于虚拟现实设备的视觉疲劳识别方法的工作流程图；
图2是根据本发明一实施例提供的人眼瞳孔位置变化的示意图；
图3是根据本发明另一实施例提供的人眼瞳孔位置变化的示意图；
图4是根据本发明一实施例提供的人脸瞳孔面积变化的示意图；
图5是根据本发明一实施例提供的基于虚拟现实设备的视觉疲劳识别装置的方框图；
图6是根据本发明一实施例提供的虚拟现实设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
针对现有虚拟现实设备容易忽略视觉疲劳，因此增加或加深用户发生近视等问题的风险，据此，本发明实施例提供一种基于虚拟现实VR设备的视觉疲劳识别方法，如图1所示，该方法包括：
步骤S10、获取佩戴虚拟现实设备用户的眼部图像；
步骤S20、从眼部图像获取视觉特征，并根据视觉特征计算视觉疲劳值；
步骤S30、根据视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；
步骤S40、根据视觉疲劳等级生成对应的提醒信号。
虚拟现实VR设备从硬件角度看，可以包括建模部件(例如，3D扫描仪)，三维视觉显示部件(例如，3D展示装置、投影装置等)，头戴式立体显示器(例如，双目全方位显示器)，发声部件(例如，三维的声音装置)，交互设备(例如，包括位置追踪仪、数据手套等)，3D输入设备(例如，三维鼠标)，动作捕捉设备以及其他交互设备等。
可在VR设备中进一步的设置红外光源和红外相机，红外相机可设置在VR设备的三维视觉现实部件中的透镜下方，红外光源可对眼部进行补光，然后采用红外相机获取眼部图像，可有助于获取眼部图像的细节信息，特别是瞳孔部位图像的细节信息。
眼部图像可同时包括左眼图像和右眼图像，或者只采集左眼图像或者右眼图像，由于人的两只眼睛的状态通常是相同或者类似的，通过一只眼睛的图像也可以判断人眼状态。
可采用基于深度学习的图像识别算法从眼部图像中提取视觉特征，视觉特征例如包括眼跳速度、眼跳角速度、闭眼持续时间和/或眨眼频率等，根据视觉特征可计算视觉疲劳值，视觉疲劳值用于表示人眼疲劳程度，视觉疲劳值越大代表人眼疲劳程度越高，根据视觉特征可以计算视觉疲劳值，例如，如果在一定时间内眨眼频率低和闭眼持续时间长，计算出视觉疲劳值较大，可认为用户人眼处于较为疲劳状态，
将视觉疲劳值与疲劳阈值进行比较，根据比较结果进一步的判断视觉疲劳等级，视觉疲劳等级是根据人眼疲劳程度对其进行的分级，视觉疲劳等级例如可包括轻度疲劳、中度疲劳和重度疲劳等。
根据视觉疲劳值与疲劳阈值进行比较的结果可以判断视觉疲劳等级，疲劳阈值可以为判断视觉疲劳程度的参考值，例如，如果视觉疲劳值大于轻度疲劳时的疲劳阈值，可判定用户人眼处于轻度疲劳状态。
根据视觉疲劳等级进一步的生成对应的提醒信号，提醒信号用于提醒用户当前处于何种视觉疲劳程度，用户根据该提醒信号进行适当的休息，有助于缓解人眼疲劳，提醒信号可以为多种形式，例如，利用VR设备中的扬声器发出报警声音，或者在VR设备的显示器中显示提醒图像，或者控制VR设备振动等。
由上述描述可知，该基于VR设备的视觉疲劳识别方法，可以从眼部图像中提取的视觉特征计算视觉疲劳值，进而判定视觉疲劳等级，并根据视觉疲劳等级生成对应的提醒信息，通过提醒信息对用户的人眼疲劳程度进行提醒，使用户获知当前人眼疲劳程度，用户可进行适当休息，降低用户发生近视等问题的风险，有助于保护用户视力。
为了提高获取眼部图像的图像质量，可对获取的原始眼部图像进一步的进行预处理，具体而言，可通过图像处理算法，例如，灰度变换法或者直方图调整法等提高眼部图像的亮度和对比度，并且，由于获取的原始眼部图像通常具有一定的噪声，为进一步改善眼部图像质量，进一步可采用滤波算法对眼部图像进行滤波处理后可去除眼部图像中的噪声，有助于从高质量的眼部图像中提取视觉特征。
在一个可选的实施方式中，视觉特征可以包括眼跳速度、眼跳角速度、闭眼持续时间和/或眨眼频率，上述步骤S20所述的从眼部图像提取视觉特征包括：
步骤S201、从连续的各帧所述眼部图像中分别获取瞳孔位置、瞳孔面积和/或眨眼次数；
步骤S202、根据预设时间段内的各瞳孔位置计算眼跳平均速度；
步骤S203、根据预设时间段内的各瞳孔位置计算眼跳平均角速度；
步骤S204、根据预设时间段内的各瞳孔面积计算闭眼平均持续时间；和/或
步骤S205、根据预设时间段内的眨眼次数计算眨眼平均频率。
在通过图像采集装置，例如红外相机采集用户的眼部图像时，图像采集装置可连续采集到多帧眼部图像，图像采集装置以一定的帧速采集图像，例如，帧速为240帧/s，即每秒可采集到240帧眼部图像。
对于连续采集的各帧眼部图像，可对每帧图像进行视觉特征提取，或者为了降低视觉特征提取的计算量，可每隔若干帧图像进行视觉特征提取，可从连续的各帧图像中分别获取瞳孔位置和瞳孔面积等。
进一步的，可根据连续两帧眼部图像的两个瞳孔位置计算眼跳速度，具体而言，为了计算方便，瞳孔位置可以为瞳孔中心位置，参照图2所示，图中虚线表示瞳孔中心所经过的水平方向，对于连续的两帧图像而言，假设从t时刻的眼部图像获取的瞳孔中心位于A点，t时刻瞳孔中心位置的二维坐标为(xA,yA)；从t+1时刻的眼部图像获取的瞳孔中心位于B点，t+1时刻瞳孔中心位置的二维坐标为(xB,yB)；图像采集装置的帧速为rate；则t+1时刻的眼跳速度vt+1可以通过下述公式计算得出：
可根据连续三帧眼部图像的三个瞳孔位置计算眼跳角速度，具体而言，参照图3所示，图中虚线表示瞳孔中心所经过的水平方向，假设从t-1时刻的眼部图像获取的瞳孔中心位于C点，t-1时刻的瞳孔中心位置的二维坐标为(xC,yC)；从t时刻的眼部图像获取的瞳孔中心位于D点，t时刻瞳孔中心位置的二维坐标为(xD,yD)，且t时刻瞳孔中心的运动角为θt；从t+1时刻的眼部图像获取的瞳孔中心位于E点，t+1时刻瞳孔中心位置的二维坐标为(xE,yE)，且t+1时刻瞳孔中心的运动角为θt+1；则t+1时刻的眼跳角速度vt+1可以通过下述公式计算得出：其中，/>
可根据连续三帧眼部图像的各瞳孔面积计算闭眼持续时间，具体而言，参照图4所示，根据t1时刻的眼部图像获取瞳孔面积并非完整的瞳孔面积，例如为完整瞳孔面积的1/4，可以认为此时用户正在闭眼，将t1时刻作为闭眼初始时间，到t2时刻，根据t2时刻的眼部图像检测不到瞳孔，认为此时瞳孔面积为零，从t1时刻到t2时刻为闭眼持续时间的半个周期，时长为t2-t1＝T1，到t3时刻，根据t3时刻的眼部图像获取的瞳孔面积为完整瞳孔面积的1/4，从t2时刻到t3时刻为闭眼持续时间的另外半个周期，时长为t3-t2＝T2，则闭眼持续时间tclose等于tclose＝T1+T2。
可根据单位时间t(例如1秒钟)内的眨眼次数n计算眨眼频率f为：
上述方式为根据连续的多帧眼部图像计算一次眼跳速度、一次眼跳角速度、一次闭眼持续时间和单位时间内的眨眼频率，一次计算出的上述各值可能存在较大的误差，因此，可计算预设时间段内的上述各值的平均值，将平均值作为视觉特征，具体而言，可采用上述方式计算出的预设时间段T内的多个眼跳速度计算该预设时间段内的眼跳平均速度根据多个眼跳角速度计算该预设时间段内的眼跳平均角速度/>根据多个闭眼持续时间计算该预设时间段内的闭眼持续平均时间/>根据多个眨眼频率计算该预设时间段内的眨眼平均频率/>
上述预设时间可根据需要选择，较佳的该预设时间段为60s。
在一些例子中，上述步骤S20中所述的根据视觉特征计算视觉疲劳值，包括：
步骤S206、当眼跳平均速度小于眼跳平速度轻度疲劳阈值/>时，则第一视觉疲劳值m1为第一数值，例如m1＝0；
当眼跳平均速度大于眼跳平均速度轻度疲劳阈值/>且小于眼跳平均速度中度疲劳阈值/>时，则第一视觉疲劳值m1为第二数值，例如m1＝1；
当眼跳平均速度大于眼跳平均速度中度疲劳阈值/>且小于眼跳平均速度重度疲劳阈值/>时，则第一视觉疲劳值m1为第三数值，例如m1＝2；
当眼跳平均速度大于眼跳平均速度重度疲劳阈值/>时，则第一视觉疲劳值m1为第四数值，例如m1＝3。
上述的眼跳平均速度轻度疲劳阈值小于眼跳平均速度中度疲劳阈值眼跳平均速度中度疲劳阈值/>小于眼跳平均速度重度疲劳阈值
上述的眼跳平均速度轻度疲劳阈值眼跳平均速度中度疲劳阈值和眼跳平均速度重度疲劳阈值/>可根据经验值预先设定。
步骤S207、当眼跳平均角速度小于眼跳平均角速度轻度疲劳阈值/>时，则第二视觉疲劳值m2为第一数值，例如m2＝0；
当眼跳平均角速度大于眼跳平均角速度轻度疲劳阈值/>且小于眼跳平均角速度中度疲劳阈值/>时，则第二视觉疲劳值m2为第二数值，例如m2＝1；
当眼跳平均角速度大于眼跳平均角速度中度疲劳阈值/>且小于眼跳平均角速度重度疲劳阈值/>时，则第二视觉疲劳值m2为第三数值，例如m2＝2；
当眼跳平均角速度大于眼跳平均角速度重度疲劳阈值/>时，则第二视觉疲劳值m2为第四数值，例如m2＝3；
上述的眼跳平均角速度轻度疲劳阈值小于眼跳平均角速度中度疲劳阈值/>眼跳平均角速度中度疲劳阈值/>小于眼跳平均速度重度疲劳阈值
上述的眼跳平均角速度轻度疲劳阈值眼跳平均角速度中度疲劳阈值和眼跳平均角速度重度疲劳阈值/>可根据经验值预先设定。
步骤S208、当闭眼持续平均时间小于闭眼持续平均时间轻度疲劳阈值时，则第三视觉疲劳值m3为第一数值，例如m3＝0；
当闭眼持续平均时间大于闭眼持续平均时间轻度疲劳阈值/>且小于闭眼持续平均时间中度疲劳阈值/>时，则第三视觉疲劳值m3为第二数值，例如m3＝1；
当闭眼持续平均时间大于闭眼持续平均时间中度疲劳阈值/>且小于闭眼持续平均时间重度疲劳阈值/>时，则第三视觉疲劳值m3为第三数值，例如m3＝2；
当闭眼持续平均时间大于闭眼持续平均时间重度疲劳阈值/>时，则第三视觉疲劳值m3为第四数值，例如m3＝3；
上述的闭眼持续平均时间轻度疲劳阈值小于闭眼持续平均时间中度疲劳阈值/>闭眼持续平均时间中度疲劳阈值/>小于闭眼持续平均时间重度疲劳阈值/>
上述的闭眼持续平均时间轻度疲劳阈值闭眼持续平均时间中度疲劳阈值/>和闭眼持续平均时间重度疲劳阈值/>可根据经验值预先设定。
步骤S209、当眨眼平均频率小于眨眼平均频率轻度疲劳阈值/>时，则第四视觉疲劳值为m4为第四数值，例如m4＝0；
当眨眼平均频率大于眨眼平均频率轻度疲劳阈值/>且小于眨眼平均频率中度疲劳阈值/>时，则第四视觉疲劳值m4为第二数值，例如m4＝1；
当所述眨眼平均频率大于眨眼平均频率中度疲劳阈值/>且小于眨眼平均频率重度疲劳阈值/>时，则第四视觉疲劳值m4为第三数值，例如m4＝2；
当眨眼平均频率大于眨眼平均频率重度疲劳阈值/>时，则第四视觉疲劳值m4为第四数值，例如m4＝3；
眨眼平均频率轻度疲劳阈值小于眨眼平均频率中度疲劳阈值眨眼平均频率中度疲劳阈值/>小于眨眼平均频率重度疲劳阈值
上述的眨眼平均频率轻度疲劳阈值眨眼平均频率中度疲劳阈值眨眼平均频率重度疲劳阈值/>可根据经验值预先设定。
步骤S210、计算上述第一视觉疲劳值、第二视觉疲劳值、第三视觉疲劳值和/或第四视觉疲劳值的总和作为视觉疲劳值，即视觉疲劳值m为将上述第一视觉疲劳值m1、第二视觉疲劳值m2、第三视觉疲劳值m3和/或第四视觉疲劳值m4进行相加得到的总和，即m＝m1+m2+m3+m4，也可称为视觉疲劳综合值。
得到上述视觉疲劳值后，可将该视觉疲劳值与疲劳等级值进行比较，根据比较结果可判断出视觉疲劳等级，视觉疲劳等级可分为轻度疲劳、中度疲劳和重度疲劳，疲劳等级阈值也可以包括分为轻度疲劳阈值、中度疲劳阈值和重度疲劳阈值，具体而言，轻度疲劳阈值例如为4，中度疲劳阈值例如为8，度疲劳阈值例如为12，据此，若4≤m＜8，则可以判定用户的人眼疲劳程度为轻度疲劳，若8≤m＜12，则可以判定用户的人眼疲劳程度为中度疲劳，若12≤m，则可以判定用户的人眼疲劳程度为重度疲劳。
下一个可选的实施方式中，上述步骤S40所述的根据视觉疲劳等级生成对应的提醒信号，包括：
根据视觉疲劳等级生成对应颜色的图像闪烁信号和/或对应频率的振动信号，以使虚拟现实设备的屏幕上显示对应颜色的图像且以设定频率闪烁和/或虚拟现实设备以预设频率振动。
本实施例中，提醒信号可以包括视觉信号和/或触觉信号，视觉信号具体可以为图像闪烁信号，虚拟现实设备接收到该图像闪烁信号后可在其屏幕上显示对应颜色的图像，且该图像以设定频率闪烁；触觉信号可以为对应频率的振动信号，VR设备接收到该振动信号后以预设频率振动，通过图像闪烁信号和振动信号可更好地提醒用户，用户可据此获知当前人眼疲劳程度。
具体而言，若判定出视觉疲劳等级为轻度疲劳，可在VR设备的屏幕上方出现绿色闪烁三角图像，并且使VR设备轻度振动(以某一较低的频率振动)，以进行轻度疲劳提醒；若判定出视觉疲劳等级为中度疲劳，可在VR设备的屏幕上方出现橙色闪烁三角图像，并且使VR设备中度振动(以某一较高的频率振动)，以进行轻度疲劳提醒；若判定出视觉疲劳等级为重度疲劳，可在VR设备的屏幕上方出现红色闪烁三角图像，并且使VR设备重度振动(以某一更高的频率振动)，以进行重度疲劳提醒。
本发明实施例还提供一种基于虚拟现实设备的视觉疲劳识别装置，如图5所示，该视觉疲劳识别装置05包括：
眼部图像获取单元501，用于获取佩戴虚拟现实设备用户的眼部图像；
视觉疲劳值获取单元502，用于从所述眼部图像获取视觉特征，并根据所述视觉特征计算视觉疲劳值；
视觉疲劳等级判定单元503，用于根据所述视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；
提醒信号生成单元504，用于根据所述视觉疲劳等级生成对应的提醒信号。
在一个可选的实施方式中，该视觉疲劳识别装置还可以包括：
图像预处理单元：用于提高所述眼部图像的亮度和对比度之后对所述眼部图像进行去噪处理。
在一个可选的实施方式中，所述视觉特征包括：眼跳平均速度、眼跳平均角速度、闭眼持续平均时间和/或眨眼平均频率，所述视觉疲劳值获取单元包括：
视觉特征获取子单元，用于从连续的各帧所述眼部图像中分别获取瞳孔位置、瞳孔面积和/或眨眼次数；
眼跳平均速度计算子单元，用于根据预设时间段内的各所述瞳孔位置计算眼跳平均速度；
眼跳平均角速度计算子单元，用于根据预设时间段内的各所述瞳孔位置计算眼跳平均角速度；
闭眼平均持续时间计算子单元，用于根据预设时间段内的各所述瞳孔面积计算闭眼平均持续时间；
和/或
眨眼平均频率计算子单元，用于根据预设时间段内的眨眼次数计算眨眼平均频率。
在一个可选的实施方式中，所述视觉疲劳值获取单元还包括：
第一视觉疲劳值确定子单元，用于当所述眼跳平均速度小于眼跳平速度轻度疲劳阈值时，则第一视觉疲劳值为第一数值，当所述眼跳平均速度大于眼跳平均速度轻度疲劳阈值且小于眼跳平均速度中度疲劳阈值时，则第一视觉疲劳值为第二数值，当所述眼跳平均速度大于眼跳平均速度中度疲劳阈值且小于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第三数值，当所述眼跳平均速度大于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第四数值，其中，眼跳平速度轻度疲劳阈值小于眼跳平均速度中度疲劳阈值，眼跳平均速度中度疲劳阈值小于眼跳平均速度重度疲劳阈值；
第二视觉疲劳值确定子单元，用于当所述眼跳平均角速度小于眼跳平均角速度轻度疲劳阈值时，则第二视觉疲劳值为第一数值，当所述眼跳平均角速度大于眼跳平均角速度轻度疲劳阈值且小于眼跳平均角速度中度疲劳阈值时，则第二视觉疲劳值为第二数值，当所述眼跳平均角速度大于眼跳平均角速度中度疲劳阈值且小于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第三数值，当所述眼跳平均角速度大于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第四数值，其中，眼跳平角速度轻度疲劳阈值小于眼跳平均角速度中度疲劳阈值，眼跳平均角速度中度疲劳阈值小于眼跳平均角速度重度疲劳阈值；
第三视觉疲劳值确定子单元，用于当所述闭眼持续平均时间小于闭眼持续平均时间轻度疲劳阈值时，则第三视觉疲劳值为第一数值，当所述闭眼持续平均时间大于闭眼持续平均时间轻度疲劳阈值且小于闭眼持续平均时间中度疲劳阈值时，则第三视觉疲劳值为第二数值，当所述闭眼持续平均时间大于闭眼持续平均时间中度疲劳阈值且小于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第三数值，当所述闭眼持续平均时间大于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第四数值，其中，闭眼持续平均时间轻度疲劳阈值小于闭眼持续平均时间中度疲劳阈值，闭眼持续平均时间中度疲劳阈值小于闭眼持续平均时间重度疲劳阈值；
第四视觉疲劳值确定子单元，用于当所述眨眼平均频率小于眨眼平均频率轻度疲劳阈值时，则第四视觉疲劳值为第一数值，当所述眨眼平均频率大于眨眼平均频率轻度疲劳阈值且小于眨眼平均频率中度疲劳阈值时，则第四视觉疲劳值为第二数值，当所述眨眼平均频率大于眨眼平均频率中度疲劳阈值且小于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第三数值，当所述眨眼平均频率大于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第四数值，其中，眨眼平均频率轻度疲劳阈值小于眨眼平均频率中度疲劳阈值，眨眼平均频率中度疲劳阈值小于眨眼平均频率重度疲劳阈值；
视觉疲劳值相加子单元，用于计算所述第一视觉疲劳值、所述第二视觉疲劳值、所述第三视觉疲劳值和/或所述第四视觉疲劳值的总和作为视觉疲劳值。
与前述识别疲劳识别方法的实施例相对应，本发明提供的视觉疲劳装置可降低用户发生近视等问题的风险，有助于保护用户视力。
对于装置实施例而言，其中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上；上述各单元可以合并为一个单元，也可以进一步拆分成多个子单元。
通过以上的实施方式的描述，本实施例的装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，以软件实现为例，作为一个逻辑意义上的装置，是通过应用该装置的设备所在的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
参见图6，本发明还提供一种虚拟现实设备的硬件架构图，该虚拟现实设备包括：机器可读存储介质101和处理器102，还可以包括非易失性介质103、通信接口104和总线105；其中，机器可读存储介质101、处理器102、非易失性介质103和通信接口104通过总线105完成相互间的通信。处理器102通过读取并执行机器可读存储介质101中与视觉疲劳识别方法的控制逻辑对应的机器可执行指令，可执行上文描述的视觉疲劳识别方法。
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。
当然，上述的VR设备还可以包括其他已有部件，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (4)

1.一种基于虚拟现实设备的视觉疲劳识别方法，其特征在于，包括：
获取佩戴虚拟现实设备用户的眼部图像，在获取佩戴虚拟现实设备用户的眼部图像之后，提高所述眼部图像的亮度和对比度之后对所述眼部图像进行去噪处理；
从所述眼部图像获取视觉特征，并根据所述视觉特征计算视觉疲劳值，所述视觉特征包括：闭眼持续平均时间和眨眼平均频率至少一者、眼跳平均速度以及眼跳平均角速度，所述从所述眼部图像提取视觉特征包括：
从连续的各帧所述眼部图像中分别获取瞳孔位置、瞳孔面积和/或眨眼次数；
根据预设时间段内的各所述瞳孔位置计算眼跳平均速度，包括：t时刻瞳孔中心位置的二维坐标为(xA，yA)；t+1时刻瞳孔中心位置的二维坐标为(xB，yB)；图像采集装置的帧速为rate；则t+1时刻的眼跳速度vt+1通过下述公式计算得出：计算预设时间段内的眼跳速度的平均值以得到所述眼跳平均速度；
根据预设时间段内的各所述瞳孔位置计算眼跳平均角速度，包括：t-1时刻的瞳孔中心位置的二维坐标为(xC，yC)；t时刻瞳孔中心位置的二维坐标为(xD，yD)，且t时刻瞳孔中心的运动角为θt；t+1时刻瞳孔中心位置的二维坐标为(xE，yE)，且t+1时刻瞳孔中心的运动角为θt+1；则t+1时刻的眼跳角速度vt+1通过下述公式计算得出：其中，计算预设时间段内的角速度的平均值以得到所述眼跳平均角速度；
根据预设时间段内的各所述瞳孔面积计算闭眼平均持续时间，包括根据连续三帧眼部图像的各瞳孔面积计算闭眼持续时间，计算预设时间段内的闭眼持续时间的平均值以得到所述闭眼平均持续时间，包括：根据t1时刻的眼部图像获取瞳孔面积并非完整的瞳孔面积；到t2时刻，根据t2时刻的眼部图像检测不到瞳孔，认为此时瞳孔面积为零，从t1时刻到t2时刻为闭眼持续时间的半个周期，时长为t2-t1＝T1，到t3时刻，根据t3时刻的眼部图像获取的瞳孔面积为完整瞳孔面积的1/4，从t2时刻到t3时刻为闭眼持续时间的另外半个周期，时长为t3-t2＝T2，则闭眼持续时间tclose＝T1+T2；
根据预设时间段内的眨眼次数计算眨眼平均频率，包括根据单位时间内的眨眼次数计算眨眼频率，计算预设时间段内的眨眼频率的平均值以得到所述眨眼平均频率；
所述根据所述视觉特征计算视觉疲劳值，包括：
当所述眼跳平均速度小于眼跳平速度轻度疲劳阈值时，则第一视觉疲劳值为第一数值，当所述眼跳平均速度大于眼跳平均速度轻度疲劳阈值且小于眼跳平均速度中度疲劳阈值时，则第一视觉疲劳值为第二数值，当所述眼跳平均速度大于眼跳平均速度中度疲劳阈值且小于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第三数值，当所述眼跳平均速度大于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第四数值，其中，眼跳平速度轻度疲劳阈值小于眼跳平均速度中度疲劳阈值，眼跳平均速度中度疲劳阈值小于眼跳平均速度重度疲劳阈值；
当所述眼跳平均角速度小于眼跳平均角速度轻度疲劳阈值时，则第二视觉疲劳值为第一数值，当所述眼跳平均角速度大于眼跳平均角速度轻度疲劳阈值且小于眼跳平均角速度中度疲劳阈值时，则第二视觉疲劳值为第二数值，当所述眼跳平均角速度大于眼跳平均角速度中度疲劳阈值且小于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第三数值，当所述眼跳平均角速度大于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第四数值，其中，眼跳平角速度轻度疲劳阈值小于眼跳平均角速度中度疲劳阈值，眼跳平均角速度中度疲劳阈值小于眼跳平均角速度重度疲劳阈值；
当所述闭眼持续平均时间小于闭眼持续平均时间轻度疲劳阈值时，则第三视觉疲劳值为第一数值，当所述闭眼持续平均时间大于闭眼持续平均时间轻度疲劳阈值且小于闭眼持续平均时间中度疲劳阈值时，则第三视觉疲劳值为第二数值，当所述闭眼持续平均时间大于闭眼持续平均时间中度疲劳阈值且小于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第三数值，当所述闭眼持续平均时间大于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第四数值，其中，闭眼持续平均时间轻度疲劳阈值小于闭眼持续平均时间中度疲劳阈值，闭眼持续平均时间中度疲劳阈值小于闭眼持续平均时间重度疲劳阈值；
当所述眨眼平均频率小于眨眼平均频率轻度疲劳阈值时，则第四视觉疲劳值为第一数值，当所述眨眼平均频率大于眨眼平均频率轻度疲劳阈值且小于眨眼平均频率中度疲劳阈值时，则第四视觉疲劳值为第二数值，当所述眨眼平均频率大于眨眼平均频率中度疲劳阈值且小于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第三数值，当所述眨眼平均频率大于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第四数值，其中，眨眼平均频率轻度疲劳阈值小于眨眼平均频率中度疲劳阈值，眨眼平均频率中度疲劳阈值小于眨眼平均频率重度疲劳阈值；
计算所述第三视觉疲劳值和所述第四视觉疲劳值中至少一者、所述第一视觉疲劳值、所述第二视觉疲劳值的总和作为视觉疲劳值；
根据所述视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；
根据所述视觉疲劳等级生成对应的提醒信号。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视觉疲劳等级生成对应的提醒信号，包括：
根据所述视觉疲劳等级生成对应颜色的图像闪烁信号和/或对应频率的振动信号，以使虚拟现实设备的屏幕上显示对应颜色的图像且所述图像以设定频率闪烁和/或使虚拟现实设备以预设频率震动。
3.一种基于虚拟现实设备的视觉疲劳识别装置，其特征在于，包括：
眼部图像获取单元，用于获取佩戴虚拟现实设备用户的眼部图像；
图像预处理单元，用于提高所述眼部图像的亮度和对比度之后对所述眼部图像进行去噪处理；
视觉疲劳值获取单元，用于从所述眼部图像获取视觉特征，并根据所述视觉特征计算视觉疲劳值；
所述视觉特征包括：闭眼持续平均时间和眨眼平均频率中至少一者、眼跳平均速度以及眼跳平均角速度，所述视觉疲劳值获取单元包括：
视觉特征获取子单元，用于从连续的各帧所述眼部图像中分别获取瞳孔位置、瞳孔面积和/或眨眼次数；
眼跳平均速度计算子单元，用于根据预设时间段内的各所述瞳孔位置计算眼跳平均速度，包括：t时刻瞳孔中心位置的二维坐标为(xA，yA)；t+1时刻瞳孔中心位置的二维坐标为(xB，yB)；图像采集装置的帧速为rate；则t+1时刻的眼跳速度vt+1通过下述公式计算得出：计算预设时间段内的眼跳速度的平均值以得到所述眼跳平均速度；
眼跳平均角速度计算子单元，用于根据预设时间段内的各所述瞳孔位置计算眼跳平均角速度，包括：t-1时刻的瞳孔中心位置的二维坐标为(xC，yC)；t时刻瞳孔中心位置的二维坐标为(xD，yD)，且t时刻瞳孔中心的运动角为θt；t+1时刻瞳孔中心位置的二维坐标为(xE，yE)，且t+1时刻瞳孔中心的运动角为θt+1；则t+1时刻的眼跳角速度vt+1通过下述公式计算得出：其中，/>计算预设时间段内的角速度的平均值以得到所述眼跳平均角速度；
闭眼平均持续时间计算子单元，用于根据预设时间段内的各所述瞳孔面积计算闭眼平均持续时间，包括根据连续三帧眼部图像的各瞳孔面积计算闭眼持续时间，计算预设时间段内的闭眼持续时间的平均值以得到所述闭眼平均持续时间，包括，根据t1时刻的眼部图像获取瞳孔面积并非完整的瞳孔面积；到t2时刻，根据t2时刻的眼部图像检测不到瞳孔，认为此时瞳孔面积为零，从t1时刻到t2时刻为闭眼持续时间的半个周期，时长为t2-t1＝T1，到t3时刻，根据t3时刻的眼部图像获取的瞳孔面积为完整瞳孔面积的1/4，从t2时刻到t3时刻为闭眼持续时间的另外半个周期，时长为t3-t2＝T2，则闭眼持续时间tclose＝T1+T2；
眨眼平均频率计算子单元，用于根据预设时间段内的眨眼次数计算眨眼平均频率，包括根据单位时间内的眨眼次数计算眨眼频率，计算预设时间段内的眨眼频率的平均值以得到所述眨眼平均频率；
所述视觉疲劳值获取单元还包括：
第一视觉疲劳值确定子单元，用于当所述眼跳平均速度小于眼跳平速度轻度疲劳阈值时，则第一视觉疲劳值为第一数值，当所述眼跳平均速度大于眼跳平均速度轻度疲劳阈值且小于眼跳平均速度中度疲劳阈值时，则第一视觉疲劳值为第二数值，当所述眼跳平均速度大于眼跳平均速度中度疲劳阈值且小于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第三数值，当所述眼跳平均速度大于眼跳平均速度重度疲劳阈值时，则第一视觉疲劳值为第四数值，其中，眼跳平速度轻度疲劳阈值小于眼跳平均速度中度疲劳阈值，眼跳平均速度中度疲劳阈值小于眼跳平均速度重度疲劳阈值；
第二视觉疲劳值确定子单元，用于当所述眼跳平均角速度小于眼跳平均角速度轻度疲劳阈值时，则第二视觉疲劳值为第一数值，当所述眼跳平均角速度大于眼跳平均角速度轻度疲劳阈值且小于眼跳平均角速度中度疲劳阈值时，则第二视觉疲劳值为第二数值，当所述眼跳平均角速度大于眼跳平均角速度中度疲劳阈值且小于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第三数值，当所述眼跳平均角速度大于眼跳平均角速度重度疲劳阈值时，则第二视觉疲劳值为第四数值，其中，眼跳平角速度轻度疲劳阈值小于眼跳平均角速度中度疲劳阈值，眼跳平均角速度中度疲劳阈值小于眼跳平均角速度重度疲劳阈值；
第三视觉疲劳值确定子单元，用于当所述闭眼持续平均时间小于闭眼持续平均时间轻度疲劳阈值时，则第三视觉疲劳值为第一数值，当所述闭眼持续平均时间大于闭眼持续平均时间轻度疲劳阈值且小于闭眼持续平均时间中度疲劳阈值时，则第三视觉疲劳值为第二数值，当所述闭眼持续平均时间大于闭眼持续平均时间中度疲劳阈值且小于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第三数值，当所述闭眼持续平均时间大于闭眼持续平均时间重度疲劳阈值时，则第三视觉疲劳值为第四数值，其中，闭眼持续平均时间轻度疲劳阈值小于闭眼持续平均时间中度疲劳阈值，闭眼持续平均时间中度疲劳阈值小于闭眼持续平均时间重度疲劳阈值；
第四视觉疲劳值确定子单元，用于当所述眨眼平均频率小于眨眼平均频率轻度疲劳阈值时，则第四视觉疲劳值为第一数值，当所述眨眼平均频率大于眨眼平均频率轻度疲劳阈值且小于眨眼平均频率中度疲劳阈值时，则第四视觉疲劳值为第二数值，当所述眨眼平均频率大于眨眼平均频率中度疲劳阈值且小于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第三数值，当所述眨眼平均频率大于眨眼平均频率重度疲劳阈值时，则第四视觉疲劳值为第四数值，其中，眨眼平均频率轻度疲劳阈值小于眨眼平均频率中度疲劳阈值，眨眼平均频率中度疲劳阈值小于眨眼平均频率重度疲劳阈值；
视觉疲劳值相加子单元，用于计算所述第三视觉疲劳值和所述第四视觉疲劳值中至少一者、所述第一视觉疲劳值以及所述第二视觉疲劳值的总和作为视觉疲劳值；
视觉疲劳等级判定单元，用于根据所述视觉疲劳值与疲劳等级阈值的比较结果判定视觉疲劳等级；
提醒信号生成单元，用于根据所述视觉疲劳等级生成对应的提醒信号。
4.一种虚拟现实设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行如权利要求1至2任一项所述方法。
CN201810384239.1A 2018-04-26 2018-04-26 基于vr设备的视觉疲劳识别方法及其装置、vr设备 Active CN108596106B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810384239.1A CN108596106B (zh) 2018-04-26 2018-04-26 基于vr设备的视觉疲劳识别方法及其装置、vr设备
PCT/CN2019/083902 WO2019206145A1 (zh) 2018-04-26 2019-04-23 视觉疲劳识别方法、视觉疲劳识别装置、虚拟现实设备和存储介质
US16/612,996 US11132544B2 (en) 2018-04-26 2019-04-23 Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810384239.1A CN108596106B (zh) 2018-04-26 2018-04-26 基于vr设备的视觉疲劳识别方法及其装置、vr设备

Publications (2)

Publication Number Publication Date
CN108596106A CN108596106A (zh) 2018-09-28
CN108596106B true CN108596106B (zh) 2023-12-05

Family

ID=63609587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810384239.1A Active CN108596106B (zh) 2018-04-26 2018-04-26 基于vr设备的视觉疲劳识别方法及其装置、vr设备

Country Status (3)

Country Link
US (1) US11132544B2 (zh)
CN (1) CN108596106B (zh)
WO (1) WO2019206145A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596106B (zh) * 2018-04-26 2023-12-05 京东方科技集团股份有限公司 基于vr设备的视觉疲劳识别方法及其装置、vr设备
CN110413124A (zh) * 2019-08-01 2019-11-05 贵州电网有限责任公司 一种基于vr视频的人机交互系统及其使用方法
CN112183443A (zh) * 2020-10-14 2021-01-05 歌尔科技有限公司 保护视力的方法、装置及智能眼镜
CN113239841B (zh) * 2021-05-24 2023-03-24 桂林理工大学博文管理学院 基于人脸识别的课堂专注状态检测方法及相关仪器
CN113448439A (zh) * 2021-06-30 2021-09-28 广东小天才科技有限公司 光线发射方法、装置、终端设备及存储介质
CN115993239A (zh) * 2023-03-24 2023-04-21 京东方艺云(苏州)科技有限公司 一种评估方法、装置、电子设备及存储介质
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN117653350A (zh) * 2024-02-01 2024-03-08 科弛医疗科技(北京)有限公司 手术机器人和手术机器人防疲劳方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
CN105513280A (zh) * 2016-01-15 2016-04-20 苏州大学 疲劳驾驶检测方法
CN106168854A (zh) * 2016-06-30 2016-11-30 北京小米移动软件有限公司 视力保护的提醒方法及装置
WO2017101226A1 (zh) * 2015-12-18 2017-06-22 中兴通讯股份有限公司 一种判断用户视力疲劳的方法及装置
CN107341468A (zh) * 2017-06-30 2017-11-10 北京七鑫易维信息技术有限公司 驾驶员状态识别方法、装置、存储介质及处理器
CN107463254A (zh) * 2017-07-24 2017-12-12 中科创达软件科技（深圳）有限公司 一种视力保护方法、装置及终端
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
CN107645590A (zh) * 2017-08-16 2018-01-30 广东小天才科技有限公司 一种用眼疲劳提醒方法及用户终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186609A (zh) * 2011-12-30 2013-07-03 深圳富泰宏精密工业有限公司 使用电子装置时缓解视觉疲劳的系统及方法
CN102846324B (zh) * 2012-09-29 2015-01-21 中国人民解放军第四军医大学 具有监测人体疲劳能力的眼镜
CN103903583A (zh) 2014-03-18 2014-07-02 友达光电股份有限公司 用于视觉疲劳判别的液晶显示装置及其屏幕闪烁方法
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN204065594U (zh) * 2014-07-08 2014-12-31 镇江万新光学眼镜有限公司 一种可调控眼部湿润的眼镜
CN104240446A (zh) * 2014-09-26 2014-12-24 长春工业大学 基于人脸识别的疲劳驾驶预警系统
CN104778396B (zh) * 2015-04-29 2019-01-29 惠州Tcl移动通信有限公司 一种基于环境筛选帧的眼纹识别解锁方法及系统
CN106073805B (zh) * 2016-05-30 2018-10-19 南京大学 一种基于眼动数据的疲劳检测方法和装置
CN207207753U (zh) * 2017-08-07 2018-04-10 江苏速度智能科技有限公司 一种自带疲劳驾驶预警功能的低速电动车仪表
CN108596106B (zh) * 2018-04-26 2023-12-05 京东方科技集团股份有限公司 基于vr设备的视觉疲劳识别方法及其装置、vr设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
WO2017101226A1 (zh) * 2015-12-18 2017-06-22 中兴通讯股份有限公司 一种判断用户视力疲劳的方法及装置
CN105513280A (zh) * 2016-01-15 2016-04-20 苏州大学 疲劳驾驶检测方法
CN106168854A (zh) * 2016-06-30 2016-11-30 北京小米移动软件有限公司 视力保护的提醒方法及装置
CN107341468A (zh) * 2017-06-30 2017-11-10 北京七鑫易维信息技术有限公司 驾驶员状态识别方法、装置、存储介质及处理器
CN107463254A (zh) * 2017-07-24 2017-12-12 中科创达软件科技（深圳）有限公司 一种视力保护方法、装置及终端
CN107645590A (zh) * 2017-08-16 2018-01-30 广东小天才科技有限公司 一种用眼疲劳提醒方法及用户终端
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉特性的驾驶安全眼动研究进展;郑秀娟等;《技术与创新管理》;20180131;第39卷(第1期);第52-55页第2节以及第57页第4节 *

Also Published As

Publication number Publication date
US11132544B2 (en) 2021-09-28
CN108596106A (zh) 2018-09-28
US20210042497A1 (en) 2021-02-11
WO2019206145A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
CN108596106B (zh) 基于vr设备的视觉疲劳识别方法及其装置、vr设备
CN109643162B (zh) 用现实世界内容增强虚拟现实内容
CN108885799B (zh) 信息处理设备，信息处理系统以及信息处理方法
KR102000888B1 (ko) 이미지들의 스트림을 디스플레이하기 위한 시스템 및 방법
US20140118397A1 (en) Planar surface detection
US10713760B2 (en) Configuration for rendering virtual reality with an adaptive focal plane
KR20140014160A (ko) 실감형 디스플레이 경험
US10976816B2 (en) Using eye tracking to hide virtual reality scene changes in plain sight
EP2926554A1 (en) System and method for generating 3-d plenoptic video images
US11645823B2 (en) Neutral avatars
CN109901710A (zh) 媒体文件的处理方法和装置、存储介质及终端
CN105763829A (zh) 一种图像处理方法及电子设备
US20190141358A1 (en) Client-server communication for live filtering in a camera view
US11302049B2 (en) Preventing transition shocks during transitions between realities
CN110300994A (zh) 图像处理装置、图像处理方法以及图像系统
CN114391117A (zh) 眼睛跟踪延迟增强
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
US11128836B2 (en) Multi-camera display
EP3547079A1 (en) Presenting images on a display device
EP3996075A1 (en) Image rendering system and method
CN116850012B (zh) 一种基于双眼分视的视觉训练方法及系统
WO2023222182A1 (en) System and method for object detection in immersive images
US9609313B2 (en) Enhanced 3D display method and system
KR101649188B1 (ko) 입체감 측정 방법 및 장치
CN117395384A (zh) 图像显示及视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant