CN113064490A - 一种基于眼动轨迹的虚拟增强设备及其识别方法 - Google Patents
一种基于眼动轨迹的虚拟增强设备及其识别方法 Download PDFInfo
- Publication number
- CN113064490A CN113064490A CN202110365806.0A CN202110365806A CN113064490A CN 113064490 A CN113064490 A CN 113064490A CN 202110365806 A CN202110365806 A CN 202110365806A CN 113064490 A CN113064490 A CN 113064490A
- Authority
- CN
- China
- Prior art keywords
- eyeball
- electroencephalogram
- server
- virtual
- eye movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 23
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 95
- 238000004458 analytical method Methods 0.000 claims abstract description 52
- 238000009877 rendering Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000003416 augmentation Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010223 real-time analysis Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 8
- 230000005669 field effect Effects 0.000 abstract description 3
- 238000007654 immersion Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于眼动轨迹的虚拟增强设备及其识别方法，其中设备包括：与无线路由器连接的真实场景采集相机、眼球跟踪相机、脑电信号采集器、计算机视觉服务器、眼动轨迹分析服务器、脑电信号分析服务器、虚拟场景渲染服务器和显示设备。本发明与传统技术相比，通过实时获取眼动轨迹及脑电信号数据，并进行计算分析，实时调整增强现实系统显示图像的聚焦程度，调整增强现实系统中虚拟场景的景深效果，提高了用户的沉浸感。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种基于眼动轨迹的虚拟增强设备及其识别方法。
背景技术
增强现实(Augmented Reality，AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的技术。AR系统涉及到计算机科学的多个领域，其中包括多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪与三维注册、场景融合等多种技术。
AR系统可以将虚拟信息无缝叠加到真实场景中，帮助置身于高沉浸感“增强”环境中的用户能更好的理解与感受所处的环境。为实现这一目标，需要AR系统能很好解决虚拟与真实融合一致性问题。
通常在AR系统中，虚实融合一致性问题又可分为几何一致性和光照一致性两个方面。其中，几何一致性问题主要针对虚拟物体与真实场景在三维空间上的一致性，例如虚拟与真实物体的正确对位、以及正确的前后遮挡关系；光照一致性问题主要针对虚拟场景中对真实场景内的光照情况的模拟与仿真，例如光源位置的估算，虚拟物体阴影的模拟等。伴随三维跟踪注册技术的发展，AR系统中的几何一致性问题已在一定程度上得到解决，但光照一致性问题仍然面临诸多难题。
目前，针对AR系统中的光照一致性问题的研究工作主要分为：借助辅助标志，借助辅助设备以及基于图像分析这三类。其中，借助辅助标志的方法实时性高，但限制了AR的应用范围；借助深度相机、鱼眼相机等辅助设备的解决方案在一定程度上克服了辅助标志的缺点，但额外的辅助设备对用户使用而言并不友好。因此，对外部依赖更少的基于图像内容分析的光照估计方法得到了更多的重视。但已有的基于图像内容分析的光照估计方法，多基于传统PC平台，且算法本身的复杂度较高。
为了更好提高AR系统的虚实一致性，通过眼动及脑电技术来感知虚拟场景的景深感，从而影响及提升虚实融合效果与感受。
眼动研究是人们通过人的眼球运动轨迹数据来探讨眼动与人的心理活动关系。其中，眼动技术分析人类在不同环境情况下的视觉加工特性，并提供人类心理活动间接工具。眼动技术通过观察、机械、光学以及视频影像等记录方式。通过对眼动轨迹记录，提取注视时间和次数、瞳孔大小、注视点等数据，研究使用者的感知变化。
人们的情感主要受大脑皮层进行调整，因此AR系统的使用者对虚实融合的效果反馈，可以通过脑电信号变化获得。脑电技术是通过分析脑电信号数据客观反映人们的感知和思维，其中脑电信号数据可以体现大脑神经元活动。
在AR系统中，可以通过头盔式(Head Mounted Optics)显示系统，采用相机以及脑电接口设备捕获使用者的眼球与脑电信号动态变化过程，分析眼球对现实场景的感知状态，分析个体心理活动及内在认知过程，调整增强现实系统中虚拟场景的景深效果，从而提升虚实融合效果与感受。
综上所述，为了解决眼动研究与AR技术的融合，我们做出了一系列改进。
发明内容
本发明的目的在于，提供一种基于眼动轨迹的虚拟增强设备及其识别方法，以克服现有技术所存在的上述缺点和不足。
一种基于眼动轨迹的虚拟增强设备，包括：真实场景采集相机、眼球跟踪相机、脑电信号采集器、计算机视觉服务器、无线路由器、眼动轨迹分析服务器、脑电信号分析服务器、虚拟场景渲染服务器和显示设备，所述真实场景采集相机和眼球跟踪相机通过无线路由器与计算机视觉服务器连接，所述脑电信号采集器通过无线路由器与脑电信号分析服务器连接，所述计算机视觉服务器通过无线路由器与眼动轨迹分析服务器连接，所述眼动轨迹分析服务器通过无线路由器与虚拟场景渲染服务器连接，所述脑电信号分析服务器通过无线路由器与虚拟场景渲染服务器连接，所述虚拟场景渲染服务器通过无线路由器与显示设备连接。
一种基于眼动轨迹的虚拟增强设备的识别方法，包括：
步骤1：使用真实场景采集相机，实时采集真实场景图像，并通过无线网络传送给计算机视觉服务器；
步骤2：通过眼球跟踪相机，实时采集用户眼球的运动图像，并通过无线网络传送给计算机视觉服务器；
步骤3：计算机视觉服务器实现眼球区域获取、眼球关键点提取及特征计算，并将检测结果通过无线网络传送给眼动轨迹分析服务器；
步骤4：眼动轨迹分析服务器初始化训练数据库，对实时获取的眼动特征通过训练获得的模型分析眼动轨迹和运动情况分析，轨迹记录生成及存储，并通过无线网络传送给虚拟场景渲染服务器；
步骤5：使用脑电信号采集器，实时采集用户脑电信号，并通过无线网络传送给脑电信号分析服务器；
步骤6：脑电信号分析服务器对脑电信号数据预处理转化，获取感兴趣的脑电特征，构建脑电事件模型进行脑电信号数据实时分析，实现数据存储管理，并通过无线网络传送给虚拟场景渲染服务器；
步骤7：虚拟场景渲染服务器结合眼动轨迹及脑电数据分析，可以精确计算对焦程度参数，然后对虚实物体进行准确对位，并对虚拟物体的图像显示聚焦情况及虚拟场景景深进行调整，实时完成虚实场景的自动景深融合渲染，并通过无线网络传送给显示设备；
步骤8：显示设备输出显示自动景深融合渲染后的虚实场景图像；
其中，所述步骤3中的眼球区域获取：为去除眼球图像的噪声干扰，对图像进行双边滤波处理，同时保持眼球区域边界仍然清晰，采用直方图均衡化进行对比度优化处理，最后使用自适应阈值分割算法实现眼球图像的二值化处理，并获取眼球区域位置；
所述步骤3中的眼球关键点提取：对于眼球区域图像中的每个像素，与同一尺度内的相邻各点以及上下邻近尺度空间内的相邻点进行比较，获取眼球局部关键点，并通过计算不同尺度归一化后的局部极大值点，来提取眼球关键点，最后利用特征点局部图像结构特性来计算其主方向；
所述步骤3中的眼球特征计算：提取原始眼球图像的亮度、饱和度和色调特征，并对获取后的眼球图像计算相关面积、长度、宽度和对比度特征，最后对眼球关键点计算眼球的瞳孔直径、离散度、注视坐标、注视距离和眼跳幅度特征；
所述步骤4中眼球轨迹特征提取：对提取的连续眼球特征序列，在时间维度上进行窗口滑动划分，计算相邻眼球特征之间的变化率，并进行编码获取眼球轨迹特征；
所述步骤4中眼球被训练的模型建立：通过眼球训练数据和验证数据，进行步骤4中的眼球轨迹特征提取，将相关特征信息进行分类器训练，并对每个训练样本进行阈值判别，保留分类误判率最低的弱分类器，最后联级形成强分类器，实现眼球轨迹运动情况的分析。
3、根据权利要2所述的一种基于眼动轨迹的虚拟增强设备的识别方法，所述步骤6中，脑电信号预处理：对采集的脑电信号，进行固定帧数大小窗口的平滑滤波，减弱信号干扰，并通过带通滤波处理保留0.5至35Hz波段的有用脑电信号；
所述步骤6中，脑电特征提取：对步骤6中保留下的有用脑电信号，采用小波变换进行时频域的快速独立分解处理，保留信号细节并用于构造多维信号数据，最后采用空间滤波器获取脑电信号特征；
所述步骤6中，脑电分析模型建立：采用支持向量机算法，对步骤6中提取的脑电特征数据进行学习和分类建模，以分析用户对真实场景中目标物体的聚焦程度。
本发明的有益效果：
本发明与传统技术相比，通过实时获取眼动轨迹及脑电信号数据，并进行计算分析，实时调整增强现实系统显示图像的聚焦程度，调整增强现实系统中虚拟场景的景深效果，提高了用户的沉浸感。
附图说明：
图1为本发明的结构示意图。
图2为眼球轨迹分析结果图。
附图标记：
真实场景采集相机100、眼球跟踪相机200、脑电信号采集器300、计算机视觉服务器400、无线路由器500、眼动轨迹分析服务器600、脑电信号分析服务器700、虚拟场景渲染服务器800和显示设备900。
具体实施方式
以下结合具体实施例，对本发明作进步说明。应理解，以下实施例仅用于说明本发明而非用于限定本发明的范围。
实施例1
图1为本发明的结构示意图。图2为眼球轨迹分析结果图。
如图1所示，一种基于眼动轨迹的虚拟增强设备，包括：真实场景采集相机100、眼球跟踪相机200、脑电信号采集器300、计算机视觉服务器400、无线路由器500、眼动轨迹分析服务器600、脑电信号分析服务器700、虚拟场景渲染服务器800和显示设备900，真实场景采集相机100和眼球跟踪相机200通过无线路由器500与计算机视觉服务器400连接，脑电信号采集器300通过无线路由器500与脑电信号分析服务器700连接，计算机视觉服务器400通过无线路由器500与眼动轨迹分析服务器600连接，眼动轨迹分析服务器600通过无线路由器500与虚拟场景渲染服务器800连接，脑电信号分析服务器700通过无线路由器500与虚拟场景渲染服务器800连接，虚拟场景渲染服务器800通过无线路由器500与显示设备900连接。
真实场景采集相机：用于获取真实场景图像。眼球跟踪相机：用于采集用户眼球运动图像。脑电信号采集器：通过干电极探头设备获取脑电信号数据，由于原始脑电信号幅值相对较小，通过前置放大器对相关信号进行脑电信号放大。无线路由器：提供系统中各部件间完成数据无线通信。计算机视觉服务器：完成图像预处理、眼球目标区域获取、眼球特征提取及表示功能。眼动轨迹分析服务器：负责眼球运动轨迹的历史数据存储管理，完成眼动轨迹实时分析功能。脑电信号分析服务器：负责对脑电信号数据预处理、特征提取、实时分析及数据存储管理功能；
虚拟场景渲染服务器：根据眼动轨迹分析及脑电信号分析获得的相关反馈参数，计算景深参数计算，对每帧需显示的虚拟物体进行动态渲染调整，实时完成虚实场景的自动景深融合显示；
显示设备：输出显示融合后的虚实场景图像。
一种基于眼动轨迹的虚拟增强设备的识别方法，包括：
步骤1：使用真实场景采集相机100，实时采集真实场景图像，并通过无线网络传送给计算机视觉服务器400；
步骤2：通过眼球跟踪相机200，实时采集用户眼球的运动图像，并通过无线网络传送给计算机视觉服务器400；
步骤3：计算机视觉服务器400实现眼球区域获取、眼球关键点提取及特征计算，并将检测结果通过无线网络传送给眼动轨迹分析服务器600；
步骤4：眼动轨迹分析服务器600初始化训练数据库，对实时获取的眼动特征通过训练获得的模型分析眼动轨迹和运动情况分析，轨迹记录生成及存储，并通过无线网络传送给虚拟场景渲染服务器800；
步骤5：使用脑电信号采集器300，实时采集用户脑电信号，并通过无线网络传送给脑电信号分析服务器700；
步骤6：脑电信号分析服务器700对脑电信号数据预处理转化，获取感兴趣的脑电特征，构建脑电事件模型进行脑电信号数据实时分析，实现数据存储管理，并通过无线网络传送给虚拟场景渲染服务器800；
步骤7：虚拟场景渲染服务器800结合眼动轨迹及脑电数据分析，可以精确计算对焦程度参数，然后对虚实物体进行准确对位，并对虚拟物体的图像显示聚焦情况及虚拟场景景深进行调整，实时完成虚实场景的自动景深融合渲染，并通过无线网络传送给显示设备900；
步骤8：显示设备900输出显示自动景深融合渲染后的虚实场景图像；
其中，步骤3中的眼球区域获取：为去除眼球图像的噪声干扰，对图像进行双边滤波处理，同时保持眼球区域边界仍然清晰，采用直方图均衡化进行对比度优化处理，最后使用自适应阈值分割算法实现眼球图像的二值化处理，并获取眼球区域位置；
步骤3中的眼球关键点提取：对于眼球区域图像中的每个像素，与同一尺度内的相邻各点以及上下邻近尺度空间内的相邻点进行比较，获取眼球局部关键点，并通过计算不同尺度归一化后的局部极大值点，来提取眼球关键点，最后利用特征点局部图像结构特性来计算其主方向；
步骤3中的眼球特征计算：提取原始眼球图像的亮度、饱和度和色调特征，并对获取后的眼球图像计算相关面积、长度、宽度和对比度特征，最后对眼球关键点计算眼球的瞳孔直径、离散度、注视坐标、注视距离和眼跳幅度特征；
如图2所示，步骤4中眼球轨迹特征提取：对提取的连续眼球特征序列，在时间维度上进行窗口滑动划分，计算相邻眼球特征之间的变化率，并进行编码获取眼球轨迹特征；
步骤4中眼球被训练的模型建立：通过眼球训练数据和验证数据，进行步骤4中的眼球轨迹特征提取，将相关特征信息进行分类器训练，并对每个训练样本进行阈值判别，保留分类误判率最低的弱分类器，最后联级形成强分类器，实现眼球轨迹运动情况的分析。
步骤6中，脑电信号预处理：对采集的脑电信号，进行固定帧数大小窗口的平滑滤波，减弱信号干扰，并通过带通滤波处理保留0.5至35Hz波段的有用脑电信号；
步骤6中，脑电特征提取：对步骤6中保留下的有用脑电信号，采用小波变换进行时频域的快速独立分解处理，保留信号细节并用于构造多维信号数据，最后采用空间滤波器获取脑电信号特征；
步骤6中，脑电分析模型建立：采用支持向量机算法，对步骤6中提取的脑电特征数据进行学习和分类建模，以分析用户对真实场景中目标物体的聚焦程度。
以上对本发明的具体实施方式进行了说明，但本发明并不以此为限，只要不脱离本发明的宗旨，本发明还可以有各种变化。
Claims (3)
1.一种基于眼动轨迹的虚拟增强设备，其特征在于，包括：真实场景采集相机(100)、眼球跟踪相机(200)、脑电信号采集器(300)、计算机视觉服务器(400)、无线路由器(500)、眼动轨迹分析服务器(600)、脑电信号分析服务器(700)、虚拟场景渲染服务器(800)和显示设备(900)，所述真实场景采集相机(100)和眼球跟踪相机(200)通过无线路由器(500)与计算机视觉服务器(400)连接，所述脑电信号采集器(300)通过无线路由器(500)与脑电信号分析服务器(700)连接，所述计算机视觉服务器(400)通过无线路由器(500)与眼动轨迹分析服务器(600)连接，所述眼动轨迹分析服务器(600)通过无线路由器(500)与虚拟场景渲染服务器(800)连接，所述脑电信号分析服务器(700)通过无线路由器(500)与虚拟场景渲染服务器(800)连接，所述虚拟场景渲染服务器(800)通过无线路由器(500)与显示设备(900)连接。
2.一种基于眼动轨迹的虚拟增强设备的识别方法，其特征在于，包括：
步骤1：使用真实场景采集相机(100)，实时采集真实场景图像，并通过无线网络传送给计算机视觉服务器(400)；
步骤2：通过眼球跟踪相机(200)，实时采集用户眼球的运动图像，并通过无线网络传送给计算机视觉服务器(400)；
步骤3：计算机视觉服务器(400)实现眼球区域获取、眼球关键点提取及特征计算，并将检测结果通过无线网络传送给眼动轨迹分析服务器(600)；
步骤4：眼动轨迹分析服务器(600)初始化训练数据库，对实时获取的眼动特征通过训练获得的模型分析眼动轨迹和运动情况分析，轨迹记录生成及存储，并通过无线网络传送给虚拟场景渲染服务器(800)；
步骤5：使用脑电信号采集器(300)，实时采集用户脑电信号，并通过无线网络传送给脑电信号分析服务器(700)；
步骤6：脑电信号分析服务器(700)对脑电信号数据预处理转化，获取感兴趣的脑电特征，构建脑电事件模型进行脑电信号数据实时分析，实现数据存储管理，并通过无线网络传送给虚拟场景渲染服务器(800)；
步骤7：虚拟场景渲染服务器(800)结合眼动轨迹及脑电数据分析，可以精确计算对焦程度参数，然后对虚实物体进行准确对位，并对虚拟物体的图像显示聚焦情况及虚拟场景景深进行调整，实时完成虚实场景的自动景深融合渲染，并通过无线网络传送给显示设备(900)；
步骤8：显示设备(900)输出显示自动景深融合渲染后的虚实场景图像；
其中，所述步骤3中的眼球区域获取：为去除眼球图像的噪声干扰，对图像进行双边滤波处理，同时保持眼球区域边界仍然清晰，采用直方图均衡化进行对比度优化处理，最后使用自适应阈值分割算法实现眼球图像的二值化处理，并获取眼球区域位置；
所述步骤3中的眼球关键点提取：对于眼球区域图像中的每个像素，与同一尺度内的相邻各点以及上下邻近尺度空间内的相邻点进行比较，获取眼球局部关键点，并通过计算不同尺度归一化后的局部极大值点，来提取眼球关键点，最后利用特征点局部图像结构特性来计算其主方向；
所述步骤3中的眼球特征计算：提取原始眼球图像的亮度、饱和度和色调特征，并对获取后的眼球图像计算相关面积、长度、宽度和对比度特征，最后对眼球关键点计算眼球的瞳孔直径、离散度、注视坐标、注视距离和眼跳幅度特征；
所述步骤4中眼球轨迹特征提取：对提取的连续眼球特征序列，在时间维度上进行窗口滑动划分，计算相邻眼球特征之间的变化率，并进行编码获取眼球轨迹特征；
所述步骤4中眼球被训练的模型建立：通过眼球训练数据和验证数据，进行步骤4中的眼球轨迹特征提取，将相关特征信息进行分类器训练，并对每个训练样本进行阈值判别，保留分类误判率最低的弱分类器，最后联级形成强分类器，实现眼球轨迹运动情况的分析。
3.根据权利要2所述的一种基于眼动轨迹的虚拟增强设备的识别方法，其特征在于：所述步骤6中，脑电信号预处理：对采集的脑电信号，进行固定帧数大小窗口的平滑滤波，减弱信号干扰，并通过带通滤波处理保留0.5至35Hz波段的有用脑电信号；
所述步骤6中，脑电特征提取：对步骤6中保留下的有用脑电信号，采用小波变换进行时频域的快速独立分解处理，保留信号细节并用于构造多维信号数据，最后采用空间滤波器获取脑电信号特征；
所述步骤6中，脑电分析模型建立：采用支持向量机算法，对步骤6中提取的脑电特征数据进行学习和分类建模，以分析用户对真实场景中目标物体的聚焦程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110365806.0A CN113064490B (zh) | 2021-04-06 | 2021-04-06 | 一种基于眼动轨迹的虚拟增强设备的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110365806.0A CN113064490B (zh) | 2021-04-06 | 2021-04-06 | 一种基于眼动轨迹的虚拟增强设备的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113064490A true CN113064490A (zh) | 2021-07-02 |
| CN113064490B CN113064490B (zh) | 2022-07-29 |
Family
ID=76565966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110365806.0A Active CN113064490B (zh) | 2021-04-06 | 2021-04-06 | 一种基于眼动轨迹的虚拟增强设备的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113064490B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278084A (zh) * | 2022-07-29 | 2022-11-01 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115761871A (zh) * | 2022-12-01 | 2023-03-07 | 北京中科睿医信息科技有限公司 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
| CN115278084B (zh) * | 2022-07-29 | 2024-07-26 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587542A (zh) * | 2009-06-26 | 2009-11-25 | 上海大学 | 基于眼动轨迹跟踪的景深融合增强显示方法及系统 |
| CN105117018A (zh) * | 2015-09-08 | 2015-12-02 | 长城信息产业股份有限公司 | 一种利用脑电波与眼球状态的信息交互系统及方法 |
| CN108646915A (zh) * | 2018-05-03 | 2018-10-12 | 东南大学 | 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统 |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
| US20200082735A1 (en) * | 2018-09-12 | 2020-03-12 | Singularity Education Group, dba Singularity University | Neuroadaptive intelligent virtual reality learning system and method |
| CN112220482A (zh) * | 2020-09-25 | 2021-01-15 | 北京大学 | 基于神经网络的脑磁图眼动伪迹检测、清除方法及电子装置 |
-
2021
- 2021-04-06 CN CN202110365806.0A patent/CN113064490B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587542A (zh) * | 2009-06-26 | 2009-11-25 | 上海大学 | 基于眼动轨迹跟踪的景深融合增强显示方法及系统 |
| CN105117018A (zh) * | 2015-09-08 | 2015-12-02 | 长城信息产业股份有限公司 | 一种利用脑电波与眼球状态的信息交互系统及方法 |
| CN108646915A (zh) * | 2018-05-03 | 2018-10-12 | 东南大学 | 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统 |
| US20200082735A1 (en) * | 2018-09-12 | 2020-03-12 | Singularity Education Group, dba Singularity University | Neuroadaptive intelligent virtual reality learning system and method |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
| CN112220482A (zh) * | 2020-09-25 | 2021-01-15 | 北京大学 | 基于神经网络的脑磁图眼动伪迹检测、清除方法及电子装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278084A (zh) * | 2022-07-29 | 2022-11-01 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115278084B (zh) * | 2022-07-29 | 2024-07-26 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115761871A (zh) * | 2022-12-01 | 2023-03-07 | 北京中科睿医信息科技有限公司 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
| CN115761871B (zh) * | 2022-12-01 | 2023-08-11 | 北京中科睿医信息科技有限公司 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113064490B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197169B (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN111046823A (zh) | 基于课堂视频的学生课堂参与度分析系统 | |
| CN114581823B (zh) | 基于时序特征的虚拟现实视频情感识别方法及系统 | |
| Wang et al. | Eye gaze pattern analysis for fatigue detection based on GP-BCNN with ESM | |
| CN105426827A (zh) | 活体验证方法、装置和系统 | |
| JP2008538623A (ja) | 運動行為中のイベントを検出及び分類するための方法及びシステム | |
| CN112597967A (zh) | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 | |
| Szwoch | FEEDB: a multimodal database of facial expressions and emotions | |
| CN109528217A (zh) | 一种基于生理振动分析的情绪检测和预警方法 | |
| JP2010104754A (ja) | 情動分析装置 | |
| CN110717461A (zh) | 一种疲劳状态识别方法、装置和设备 | |
| CN108983966B (zh) | 基于虚拟现实和眼动技术的罪犯改造评估系统和方法 | |
| CN113064490B (zh) | 一种基于眼动轨迹的虚拟增强设备的识别方法 | |
| CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 | |
| Jingchao et al. | Recognition of classroom student state features based on deep learning algorithms and machine learning | |
| CN117520826B (zh) | 一种基于可穿戴设备的多模态情绪识别方法及系统 | |
| CN107480635A (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及系统 | |
| CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| CN111680608B (zh) | 一种基于视频分析的智慧体育辅助训练系统及训练方法 | |
| Othman et al. | Challenges and Limitations in Human Action Recognition on Unmanned Aerial Vehicles: A Comprehensive Survey. | |
| de Amorim et al. | Asl-skeleton3d and asl-phono: Two novel datasets for the american sign language | |
| CN206948499U (zh) | 学员实训视频追踪监控、评价系统 | |
| Lu et al. | Value of virtual reality technology in image inspection and 3D geometric modeling | |
| CN113255786B (zh) | 基于脑电信号和目标显著特性的视频质量评价方法 | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |