CN117727087B - 基于虚拟现实的视点校准方法、装置及认知推断系统 - Google Patents
基于虚拟现实的视点校准方法、装置及认知推断系统 Download PDFInfo
- Publication number
- CN117727087B CN117727087B CN202410174984.9A CN202410174984A CN117727087B CN 117727087 B CN117727087 B CN 117727087B CN 202410174984 A CN202410174984 A CN 202410174984A CN 117727087 B CN117727087 B CN 117727087B
- Authority
- CN
- China
- Prior art keywords
- eye
- viewpoint
- image
- slice
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000001149 cognitive effect Effects 0.000 title claims description 47
- 239000013598 vector Substances 0.000 claims abstract description 90
- 210000001747 pupil Anatomy 0.000 claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 230000019771 cognition Effects 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000013210 evaluation model Methods 0.000 claims abstract description 8
- 210000001508 eye Anatomy 0.000 claims description 179
- 210000005252 bulbus oculi Anatomy 0.000 claims description 68
- 210000004087 cornea Anatomy 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 24
- 230000000295 complement effect Effects 0.000 claims description 21
- 230000003930 cognitive ability Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004424 eye movement Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000012937 correction Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 9
- 230000035484 reaction time Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000024827 Alzheimer disease Diseases 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241001649081 Dina Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种基于虚拟现实的视点校准方法、装置及认知推断系统，视点校准方法以被试者随观测点移动所获得的多张不同角度的被试者眼球状态图像作为一个校正组。对于每个校正组内的双眼眼球状态图像，在进行初步确分割确定眼部关键区域后进行再次分割以形成多个切片。将多个切片依次投影在嵌入向量上并结合每个切片的位置信息对分割后的眼部关键区域图像进行补偿以获得更为细致的眼部边缘，并经提取后得到精确的瞳孔边缘特征。基于每一校准组内的瞳孔边缘特征校准视点追踪模型内的视点位置。认知推断时追踪被试者在答题过程中的视点以生成视点移动时间参数，视点评估模型对视点移动时间参数进行分类以得到标准被试者认知能力的视点评估结果。
Description
技术领域
本发明涉及计算机领域，且特别涉及一种基于虚拟现实的视点校准方法、装置及认知推断系统。
背景技术
认知诊断是基于认知加工过程的诊断，是对个体认知加工过程中所涉及的认知属性的诊断从广义上说，认知诊断是建立观察分数和被试者内部认知特征之间的关系；从狭义上说是指在测试中，被试者在测验上的试题作答记录以对其知识状态(如知识掌握水平)进行评价并在此基础上对其技能或特质进行分类。传统的认知诊断模型主要用于评估学生的知识掌握情况，随着认知诊断技术的不断发展，其应用也逐渐扩展至游戏竞技、医疗诊断等行业；如在医疗诊断领域中用于评估患者在卒中、阿尔兹海默症等疾病治疗过程中的认知康复情况。传统的认知诊断模型，譬如DINA模型、IRT模型等，都是基于人工定义的交互函数的，比如逻辑回归函数或者内积等这些函数来将被试者本身和试题的特征线性相结合以对其认知进行评估。此外，亦有人提出将被试者和试题投影到因子向量并利用多层建模来模拟被试者回答练习的复杂交互的神经认知诊断模型NeuralCDM。
然而，不管是传统的认知诊断模型还是基于现有基于神经网络的认知诊断模型均只从试题维度、被试者对于试题的掌握情况以及被试者答复总用时等结果性维度上对其认知能力进行评估。但在医疗领域内对于患卒中和阿尔兹海默症等患者而言，其专注度、反应力以及其对于肢体的控制能力都要弱于常人，简单的从试题维度和测试结果上去对其认知进行评估将难以准确反映其认知能力。随着虚拟现实技术的不断发展，亦有人提出借助于虚拟现实场景下追踪被试者视点变化来更细致地反映被试者在答题时的专注度和反应力。这种评估方式的准确性极度依赖被试者校准后的视点位置及其移动变化，且不同被试者间眼部特性的差异亦会对其在虚拟现实场景中视点位置的校准产生影响。因此，如何准确校准被试者的视点位置成为基于虚拟现实的认知诊断评估模型研究的重点方向。
发明内容
本发明为了克服现有技术的不足，提供一种基于虚拟现实的视点校准方法、装置及认知推断系统。
为了实现上述目的，本发明提供一种基于虚拟现实的视点校准方法，其包括：
获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像；
识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：
分割每张眼球状态图像以确定眼部关键区域；
对分割后得到的眼部关键区域图像进行再分割以得到多个切片；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影；获取每一切片在眼部关键区域图像中的位置以形成位置标签；基于每一切片在嵌入向量上的投影和所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度；
提取增强后的眼部关键区域图像内的眼球特征；
每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置。
根据本发明的一实施例，将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影时，在嵌入向量前增设一补全切片向量，补全切片向量的维度与嵌入向量的维度相同。
根据本发明的一实施例，基于每一切片在嵌入向量上的投影、补全切片向量以及位置标签采用如下公式对眼部关键区域图像进行补偿增强：
z0=[XTip；M；M；……M]+MPos，，；
其中，z0为补偿参数；XTip为补全切片向量；M为第一个切片在嵌入向量M上的投
影；M第N个切片在嵌入向量M上的投影，N为眼部关键区域图像再分割后的切片数量；MPos
为位置标签；为嵌入向量的大小，D为嵌入向量的维度，P为切片大小调整参数，C为眼
部关键区域图像的通道数；为位置标签的大小。
根据本发明的一实施例，提取增强后的眼部关键区域图像内的眼球特征包括：
归一化补偿后的眼部关键区域图像；
在归一化后嵌入多头注意力机制以并行提取图像信息；
融合多头注意力机制的输出和补偿后眼部关键区域图像，并将融合后的图像进行归一化；
将再次归一化后的图像输入至多层感知器，将多层感知器感的输出和补偿后眼部关键区域图像进行融合；
将再次融合后的图像信息输入至分类器以得到眼球特征。
根据本发明的一实施例，分割每张眼球状态图像以确定眼部关键区域包括：
基于差异度阈值分别以行扫描和列扫描的方式计算眼球状态图像内像素点的差异度以确定眼部识别区域框；
从两侧向中心方向逐列扫描眼部识别区域框，计算每一列内的像素点差异度，以像素点差异度超过预设的角膜差异度阈值的列或上一列作为角膜边缘；基于角膜的两侧边缘和眼部识别区域框的上下边缘确定角膜区域；
基于瞳孔处像素点和角膜内像素点的差异度阈值，以行扫描和列扫描的方式在角膜区域内确定瞳孔的边缘位置以形成瞳孔区域；
眼部关键区域包括分割所确定的眼部识别区域框、角膜区域以及瞳孔区域。
根据本发明的一实施例，每张眼球状态图像经金字塔特征网络进行下采样和上采样处理后得到眼球移动特征，眼球移动特征包括瞳孔中心至瞳孔区域边缘的距离、瞳孔中心至角膜区域边缘的距离以及瞳孔中心至眼部识别区域框边缘的距离；
或者，在补偿增强眼部关键区域后基于瞳孔中心位置坐标和眼部关键区域的位置确定眼球移动特征。
另一方面，本发明还提供一种基于虚拟现实的视点校准装置，其包括图像获取模块、特征识别模块以及校准模块。图像获取模块获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像。特征识别模块识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：分割每张眼球状态图像以确定眼部关键区域；对分割后得到的眼部关键区域图像进行再分割以得到多个切片；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影；获取每一切片在眼部关键区域图像中的位置以形成位置标签；基于每一切片在嵌入向量上的投影和所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度；提取增强后的眼部关键区域图像内的眼球特征；校准模块将每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置。
根据本发明的一实施例，特征识别模块将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影时，在嵌入向量前增设一补全切片向量，补全切片向量的维度与嵌入向量的维度相同。
另一方面，本发明还提供一种认知推断系统，其包括上述基于虚拟现实的视点校准装置、视点追踪装置以及视点评估装置。视点追踪装置为基于虚拟现实的视点校准装置校准后的瞳孔角膜反射式追踪装置，视点追踪装置追踪被试者在听到认知测试题干后生成视点移动时间参数；视点移动时间参数包括视点从静止到答案出现时开始移动的时间T1、在每个答案上停留的时间T2、在每个答案间切换的时间T3以及视点在不同答案间来回切换的次数n。视点评估装置将获取到的被试者的视点移动时间参数输入至以神经网络为基础的视点评估模型内以得到表征被试者认知能力的视点评估结果。
根据本发明的一实施例，基于视点追踪的认知推断系统还包括反应时评估装置和认知评估装置。反应时评估装置基于获取被试者从每道题目出题开始到被试者给出答案的时间参数、被试者的基本信息参数β、题目i的时间强度ζi以及时间区分度参数γi得到表征认知能力的反应时评估结果。认知评估装置基于被试者掌握第i个题目的k个属性情况下给出准确答案的概率αik，题目i的时间强度ζi，时间区分度参数γi以及被试者的对k个属性的掌握模式θk得到表征认知能力的认知得分。
综上所述，本发明提供的基于虚拟现实的视点校准方法以被试者随观测点移动一次所获得的多张不同角度的被试者双眼眼球状态图像作为一个校正组。对于每个校正组内的双眼眼球状态图像，在进行初步确分割确定眼部关键区域后进行再次分割以形成多个切片。将多个切片依次投影在嵌入向量上并结合每个切片的位置信息对分割后的眼部关键区域图像进行补偿，以获得更为细致的眼部边缘，进而为眼球特征的精确提取提供条件。基于每一校准组内所有眼球状态图像的瞳孔边缘特征来精确调整眼部建模参数，进而实现被试者视点位置的校准。在进行视点评估时追踪被试者在答题过程中视点的移动以生成视点移动时间参数，通过预先训练好的以神经网络为基础的视点评估模型对视点移动时间参数进行评估，进而获得表征被试者认知能力的视点评估结果。
进一步的，本发明提供的认知推断系统将在试点评估的基础上融合基于被试者信息和答题时间参数的反应时评估模型以及基于被试者对于题目掌握情况的认知评估模型，从多维度上评估被试者的认知能力，从而大大提升评估的准确性。
为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。
附图说明
图1所示为本发明一实施例提供的基于虚拟现实的视点校准方法的流程示意图。
图2所示为图1中步骤S26的流程示意图。
图3所示为图1中识别每张眼球状态图像以形成瞳孔边缘特征的原理示意图。
图4所示为本发明一实施例提供的基于虚拟现实的视点校准装置的结构示意图。
图5所示为本发明一实施例提供的认知推断系统的结构示意图。
图6所示为图5所示的认知推断系统的原理示意图。
具体实施方式
基于现有虚拟现实技术中被试者视点位置校准精度低而难以实现准确追踪的问题，本实施例提供一种以多个眼部图像组作为校正组且校准前对每一眼球状态图像进行增强补偿后再进行眼球特征提取的视点校准方式。被试者视点的精确校准极大地提升了视点追踪的准确性，为基于视点追踪的认知评估提供了条件。
具体的，如图1所示，本实施例提供的基于虚拟现实的视点校准方法包括获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组（步骤S10），每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像。识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征（步骤S20）；该步骤包括分割每张眼球状态图像以确定眼部关键区域（步骤S21）； 对分割后得到的眼部关键区域图像进行再分割以得到多个切片（步骤S22）；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影（步骤S23）；获取每一切片在眼部关键区域图像中的位置以形成位置标签（步骤S24）；基于每一切片在嵌入向量上的投影和所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强图像内不同区域的差异度（步骤S25）；提取增强后的眼部关键区域图像内的眼球特征（步骤S26）。每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置（步骤S30）。
以下将结合图1至图3来详细描述本实施例提供的基于虚拟现实的视点校准方法的详细步骤。
该方法始于步骤S10，被试者佩戴虚拟现实设备（VR设备）后目视正前方，视点追踪模块会从双眼各三个角度记录当前双眼眼球的状态图像，得到六个角度的眼球状态图像以形成一组眼部图像组。虚拟现实设备内的视点追踪模块调整观测点位置而使被试者的双眼跟随观测点运动并维持一定时间，如两秒；在此期间内视点追踪模块获取当前状态下双眼眼球在六个角度下的眼球状态图像以形成另一组眼部图像组。以同样的方式继续调整观测点位置，进而得到包括多组眼部图像组。优选的，本实施例以十五组眼部图像组为例进行说明。然而，本发明对眼部图像组的数量和每一眼部图像组内眼球状态图像的数量均不作任何限定。
在步骤S10获得多个眼部图像组后执行步骤S20，识别每张眼球状态图像内的眼球特征和眼球移动特征以形成瞳孔边缘特征。于本实施例中，眼球特征主要包括瞳孔大小、角膜位置、左巩膜区域大小以及右巩膜区域大小等特征。眼球移动特征包括瞳孔中心至瞳孔区域边缘的距离、瞳孔中心至角膜区域边缘的距离以及瞳孔中心至眼部识别区域框边缘的距离。
为实现多个眼球特征的提取，首先需要精确眼部关键区域，眼部关键区域包括分割所确定的眼部识别区域框、角膜区域以及瞳孔区域。
具体的，步骤S21的一种可能的实现方式如下：
步骤S211、基于差异度阈值分别以行扫描和列扫描的方式计算眼球状态图像内像素点的差异度以确定眼部识别区域框。具体的，以横向的一组像素点为单位逐行计算每个像素点相对其所在行的像素点均值的差异度。若一组内所有像素点的差异度均小于设定的差异度阈值（如0.75）则表明当前行为皮肤；若当前计算行存在差异度超过差异度阈值的目标像素点且目标像素点的数量超过预先设定的数量阈值（如五个）时，则表明当前行可能为眼部识别框区边缘。标记该行并对继续扫描下一行。以目标像素点的数量超过数量阈值的行为单位，加入与其相邻近的两行组成一个识别组，若识别组满足目标像素点数量依次增加，则表面当前扫描区域为眼部上边缘区域；以同样的方式自下而上行扫描眼球状态图像以确定眼部的下边缘区域。同样的，以列扫描的方式确定眼部的左右边缘区域；眼部的上、下、左、右边缘区域形成眼部识别区域框。
在确定眼部识别区域框后，从两侧向中心方向逐列扫描眼部识别区域框以计算每一列内的像素点差异度。具体的，以巩膜所在的白像素点为基准列扫描眼部识别区域框，当某一列内出现像素点差异度超过预设的角膜差异度阈值的像素点时，表明当前列内除了具有巩膜所在的白像素点外还存在其它像素点；将当前扫描列或上一列作为角膜边缘。基于该方法在眼部识别区域框内确定角膜的左右边缘，基于角膜的左右边缘和和眼部识别区域框的上下边缘确定角膜区域。
与确定眼部识别区域框的方式相类似的，基于瞳孔处像素点和角膜内像素点的差异度阈值，以行扫描和列扫描的方式在角膜区域内确定瞳孔的边缘位置以形成瞳孔区域。
步骤S21对眼球状态图像分割实现了眼部关键区域的初步定位，很显然的，基于该初步定的眼球特征提取是难以满足视点校准要求的。为此，本实施例提供的校准方式在步骤S21的基础上将眼部关键区域图像转换成向量的方式并对其进行补偿，提高不同区域的差异度以准确地描绘眼部关键区域内各区域的边缘，进而提高眼球特征识别的准确度。具体的：
步骤S22、将一张分割好的眼部关键区域图像F∈再次分割成N个更小的二维
切片XP∈。其中，（H,W）为眼部关键区域图像的分辨率，C 是通道数；P是一个可变的
参数以用于调整二维切片XP的大小，优选的P可取4；N =H*W/ P2。
步骤S23、基于预设的可学习的D维嵌入向量M，将每一切片XP映射至D维嵌入向量
以形成该切片在嵌入向量上的投影，M为第j个切片在嵌入向量M上的投影，其中1≤j≤N。
D维指的是嵌入向量M的维度，其可为一维或二维。此外，在将每一切片XP映射至D维嵌入向
量时在嵌入向量M增设一个维度与嵌入向量相同的补全切片向量XTip，以减少在计算过程中
像素点的损失而进一步提高补偿后的图像精度。
步骤S24、获取每一切片在眼部关键区域图像中的位置以形成位置标签，切片
的位置指的是切片中心区域在眼部关键区域图像中的坐标位置。
步骤S25、基于每一切片在嵌入向量上的投影M、补全切片向量XTip以及位置标签采用如下公式对眼部关键区域图像进行补偿增强：
z0=[XTip；M；M；……M]+MPos，，。
其中，z0为补偿参数；XTip为补全切片向量；M为第一个切片在嵌入向量M上的投
影；M第N个切片在嵌入向量M上的投影，N为眼部关键区域图像再分割后的切片数量；MPos
为位置标签；为嵌入向量的大小，D为嵌入向量的维度，P为切片大小调整参数，C为眼
部关键区域图像的通道数;为眼部关键区域图像的位置标签，为位置标签的大
小。
之后执行步骤S26、提取增强后的眼部关键区域图像内的眼球特征。具体的，如图3所示，该步骤包括：
步骤S261、归一化补偿后的眼部关键区域图像。
步骤S262、在归一化后嵌入多头注意力机制MSA以并行提取图像信息；多头注意力机制MSA的公式表达如下：
Zl’=MSA(LN(zl-1))+ zl-1，l=1,2,...,L；
其中，Zl’是多头注意力机制MSA处理后的中间变量，zl-1是指第l-1层的嵌入向量。
步骤S263、融合多头注意力机制MSA的输出和补偿后眼部关键区域图像，并将融合后的图像进行归一化。
步骤S264、将再次归一化后的图像输入至多层感知器，将多层感知器感的输出和补偿后眼部关键区域图像进行融合；多层感知器的的公式表达如下：
Zl=MLP(LN(Zl’))+ Zl’，l=1,2,...,L；
步骤S265、将再次融合后的图像信息输入至分类器以得到眼球特征。
于本实施例中，特征提取网络内多头注意力机制MSA输出和多层感知器的输出均与补偿后眼部关键区域图像进行异或融合，该设置可有避免图像处理后信息的丢失。
如图3所示，对于眼球移动特征的获取，本实施例将采用金字塔特征网络进行下采样和上采样处理后得到。金字塔特征网络内C1，C2，C3，C4以及C5为下采样通道，而P2，P3，P4以及P5则为上采样通道。之后拼接获得的眼球特征和眼球移动特征以形成瞳孔边缘特征。然而，本发明对于眼球移动特征的获取不作任何限定。于其它实施例中，亦可在步骤S25在补偿增强眼部关键区域后，基于瞳孔中心位置坐标和眼部关键区域的位置确定眼球移动特征。
在步骤S20获得每张眼球状态图像的瞳孔边缘特征后，执行步骤S30。每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置。具体的，在校准时可选取平均准度、精度从热图分布、眼动轨迹图、眼动时间（如注视停留时间、眼跳时间、回视时间、追随运动时间、注视过程中的微动时间、自发性高频眼球微颤、慢速漂移）等维度中的一个或多个指标评价视点校准后的结果，进而实现VR设备内被试者视点的精确校正。
与上述基于虚拟现实的视点校准方法相对应的，如图4所示，本实施例还提供一种基于虚拟现实的视点校准装置100，其包括图像获取模块10、特征识别模块20以及校准模块30。图像获取模块10获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像。特征识别模块20识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：分割每张眼球状态图像以确定眼部关键区域（步骤S21）；对分割后得到的眼部关键区域图像进行再分割以得到多个切片（步骤S22）；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影（步骤S23）；获取每一切片在眼部关键区域图像中的位置以形成位置标签（步骤S24）；基于每一切片在嵌入向量上的投影和所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度（步骤S25）；提取增强后的眼部关键区域图像内的眼球特征（步骤S26）。校准模块30将每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置。
于本实施例中，特征识别模块20将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影时，在嵌入向量前增设一补全切片向量，所述补全切片向量的维度与嵌入向量的维度相同。
具体的，图像获取模块10执行步骤S10以获取多个眼部图像组；特征识别模块20将执行步骤S21至步骤S26，确定每一眼球状态图像内的眼部关键区域、补偿增强眼部关键区域图像并提取增强后的眼部关键区域图像内的眼球特征。校准模块30将执行步骤S30以校准被试者的视点位置。
关于基于虚拟现实的视点校准装置的具体限定可以参见上文中对于基于虚拟现实的视点校准方法中步骤S10至步骤S30的限定，在此不再赘述。上述基于虚拟现实的视点校准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在基于被试者视点的精确校准后，本实施例还提供一种以上述基于虚拟现实的视点校准方法为基础的认知推断系统。如图5和图6所示，该认知推断系统包括上述基于虚拟现实的视点校准装置100、视点追踪装置200以及视点评估装置300。视点追踪装置200为基于虚拟现实的视点校准装置校准后的瞳孔角膜反射式追踪装置。视点追踪装置追踪被试者在听到认知测试题干后生成视点移动时间参数；视点移动时间参数包括视点从静止到答案出现时开始移动的时间T1、在每个答案上停留的时间T2、在每个答案间切换的时间T3以及视点在不同答案间来回切换的次数n。视点评估装置300将获取到的被试者的视点移动时间参数输入至以神经网络为基础的视点评估模型内以得到表征被试者认知能力的视点评估结果。
于本实施例中，视点评估模型为以神经网络为基础所构建的分类模型，其基于预先获取的被试者样本集内每一样本的视点移动时间参数和样本的认知属性所训练而得到的。被试者样本集内的样本包括正常人样本、卒中患者样本、卒中患者在治疗中不同阶段下所形成的样本、阿尔兹海默症患者样本、阿尔兹海默症患者患者在治疗中不同阶段下所形成的样本以及其它病患所形成的具有多种认知属性的样本。进一步的，基于年龄和性别可对样本作进一步的细分以形成细分的标签属性。然而，本发明对此不作任何的限定。
现有的基于试题维度、被试者对于试题的掌握情况以及被试者答复总用的认知评估模型只是从结果上反应被试者的认知能力。但是对于疾病创伤后的患者而言，由于其专注时长难以维持很久，受该因素的干扰以试题认知结果和总用时为导向的认知评估难以准确反应其认知能力。而本实施例提供的基于视点移动的被试者认知评估可精确反应被试者在答题过程中其在每一试题上的专注度和认知度，即以每道试题为单位去反应被试者的认知能力，消除因专注时长等其它因素的干扰而提高认知反应的评估准确性。
进一步的，为提高评估的准确性，本实施例提供的认知推断系统还包括反应时评估装置400和认知评估装置500。反应时评估装置400基于获取被试者从每道题目出题开始到被试者给出答案的时间参数、被试者的基本信息参数β、题目i的时间强度ζi以及时间区分度参数γi得到表征认知能力的反应时评估结果。其中，时间参数包括个体初始速度时间参数τ0；个体速度的随机线性趋势项τ1，用于表明在初始速度的基础上加速或减速；τ2二次平方项，用于表明加速或减速的快慢。而认知评估装置500则基于被试者掌握第i个题目的k个属性情况下给出准确答案的概率αik，题目i的时间强度ζi，时间区分度参数γi以及被试者的对k个属性的掌握模式θk得到表征认知能力的认知得分。最后，融合视点评估装置300、反应时评估装置400以及认知评估装置500所给出的三个维度的评估结果以得到最终的认知评估。具体的，可通过设置不同权重的方式来实现多个评估结果的融合；然而，本发明对此不作任何限定。多维度认知评估的融合将有效避免单一评估方式所带来的有限性和极端性，大大提高被试者认知评估的可信度。
进一步的，尽管反应时评估装置400主要以被试者参数为主对其认知能力进评估，但其亦融入试题维度上的参数题目i的时间强度ζi和时间区分度参数γi。同样的，反应时评估装置400则在试题维度的基础上融入基于被试者的准确答案概率αik和被试者的对k个属性的掌握模式θk。两个评估装置在各自维度的基础上考虑另一维度上的参数信息，大大提高了模型评估的准确性。
对于反应时评估装置400和认知评估装置500内的具体的模型，本发明不作任何限定。具体的，反应时评估装置400内可选用IRT模型对被试者的认知进行评估，而认知评估装置500则可选用DINA模型或NeuralCDM中任一种进行评估。
综上所述，本发明提供的基于虚拟现实的视点校准方法以被试者随观测点移动一次所获得的多张不同角度的被试者双眼眼球状态图像作为一个校正组。对于每个校正组内的双眼眼球状态图像，在进行初步确分割确定眼部关键区域后进行再次分割以形成多个切片。将多个切片依次投影在嵌入向量上并结合每个切片的位置信息对分割后的眼部关键区域图像进行补偿，以获得更为细致的眼部边缘，进而为眼球特征的精确提取提供条件。基于每一校准组内所有眼球状态图像的瞳孔边缘特征来精确调整眼部建模参数，进而实现被试者视点位置的校准。在进行视点评估时追踪被试者在答题过程中视点的移动以生成视点移动时间参数，通过预先训练好的以神经网络为基础的视点评估模型对视点移动时间参数进行评估，进而获得表征被试者认知能力的视点评估结果。
进一步的，本发明提供的认知推断系统将在试点评估的基础上融合基于被试者信息和答题时间参数的反应时评估模型以及基于被试者对于题目掌握情况的认知评估模型，从多维度上评估被试者的认知能力，从而大大提升评估的准确性。
虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所要求保护的范围为准。
Claims (7)
1.一种基于虚拟现实的视点校准方法，其特征在于，包括：获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像；
识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：分割每张眼球状态图像以确定眼部关键区域；对分割后得到的眼部关键区域图像进行再分割以得到多个切片；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影并在嵌入向量前增设一补全切片向量，所述补全切片向量的维度与嵌入向量的维度相同；获取每一切片在眼部关键区域图像中的位置以形成位置标签；基于每一切片在嵌入向量上的投影、补全切片向量以及所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度；提取增强后的眼部关键区域图像内的眼球特征；每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置；其中，基于每一切片在嵌入向量上的投影、补全切片向量以及位置标签采用如下公式对眼部关键区域图像进行补偿增强：z0=[XTip；M；/>M；……/>M]+MPos，/>，/>；其中，z0为补偿参数；XTip为补全切片向量；/>M为第一个切片在嵌入向量M上的投影；/>M第N个切片在嵌入向量M上的投影，N为眼部关键区域图像再分割后的切片数量；MPos为位置标签；/>为嵌入向量的大小，D为嵌入向量的维度，P为切片大小调整参数，C为眼部关键区域图像的通道数;/>为眼部关键区域图像的位置标签，为位置标签的大小。
2.根据权利要求1所述的基于虚拟现实的视点校准方法，其特征在于，提取增强后的眼部关键区域图像内的眼球特征包括：归一化补偿后的眼部关键区域图像；在归一化后嵌入多头注意力机制以并行提取图像信息；融合多头注意力机制的输出和补偿后眼部关键区域图像，并将融合后的图像进行归一化；将再次归一化后的图像输入至多层感知器，将多层感知器感的输出和补偿后眼部关键区域图像进行融合；将再次融合后的图像信息输入至分类器以得到眼球特征。
3.根据权利要求1所述的基于虚拟现实的视点校准方法，其特征在于，分割每张眼球状态图像以确定眼部关键区域包括：基于差异度阈值分别以行扫描和列扫描的方式计算眼球状态图像内像素点的差异度以确定眼部识别区域框； 从两侧向中心方向逐列扫描眼部识别区域框，计算每一列内的像素点差异度，以像素点差异度超过预设的角膜差异度阈值的列或上一列作为角膜边缘；基于角膜的两侧边缘和眼部识别区域框的上下边缘确定角膜区域；基于瞳孔处像素点和角膜内像素点的差异度阈值，以行扫描和列扫描的方式在角膜区域内确定瞳孔的边缘位置以形成瞳孔区域；眼部关键区域包括分割所确定的眼部识别区域框、角膜区域以及瞳孔区域。
4.根据权利要求1所述的基于虚拟现实的视点校准方法，其特征在于，每张眼球状态图像经金字塔特征网络进行下采样和上采样处理后得到眼球移动特征，所述眼球移动特征包括瞳孔中心至瞳孔区域边缘的距离、瞳孔中心至角膜区域边缘的距离以及瞳孔中心至眼部识别区域框边缘的距离；或者，在补偿增强眼部关键区域后基于瞳孔中心位置坐标和眼部关键区域的位置确定眼球移动特征。
5.一种基于虚拟现实的视点校准装置，其特征在于，包括：图像获取模块，获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像；特征识别模块，识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：分割每张眼球状态图像以确定眼部关键区域；对分割后得到的眼部关键区域图像进行再分割以得到多个切片；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影并在嵌入向量前增设一补全切片向量，所述补全切片向量的维度与嵌入向量的维度相同；获取每一切片在眼部关键区域图像中的位置以形成位置标签；基于每一切片在嵌入向量上的投影、补全切片向量以及所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度；提取增强后的眼部关键区域图像内的眼球特征；校准模块，每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置；其中，特征识别模块基于每一切片在嵌入向量上的投影、补全切片向量以及位置标签采用如下公式对眼部关键区域图像进行补偿增强：z0=[XTip；M；/>M；……/>M]+MPos，/>，；其中，z0为补偿参数；XTip为补全切片向量；/>M为第一个切片在嵌入向量M上的投影；/>M第N个切片在嵌入向量M上的投影，N为眼部关键区域图像再分割后的切片数量；MPos为位置标签；/>为嵌入向量的大小，D为嵌入向量的维度，P为切片大小调整参数，C为眼部关键区域图像的通道数;/>为眼部关键区域图像的位置标签，/>为位置标签的大小。
6.一种认知推断系统，其特征在于，包括：权利要求5所述的基于虚拟现实的视点校准装置；视点追踪装置，其为基于虚拟现实的视点校准装置校准后的瞳孔角膜反射式追踪装置，所述视点追踪装置追踪被试者在听到认知测试题干后生成视点移动时间参数；所述视点移动时间参数包括视点从静止到答案出现时开始移动的时间T1、在每个答案上停留的时间T2、在每个答案间切换的时间T3以及视点在不同答案间来回切换的次数n；视点评估装置，将获取到的被试者的视点移动时间参数输入至以神经网络为基础的视点评估模型内以得到表征被试者认知能力的视点评估结果。
7.根据权利要求6所述的认知推断系统，其特征在于，所述认知推断系统还包括：反应时评估装置，基于获取被试者从每道题目出题开始到被试者给出答案的时间参数、被试者的基本信息参数β、题目i的时间强度ζi以及时间区分度参数γi得到表征认知能力的反应时评估结果； 认知评估装置，基于被试者掌握第i个题目的k个属性情况下给出准确答案的概率αik，题目i的时间强度ζi，时间区分度参数γi以及被试者的对k个属性的掌握模式θk得到表征认知能力的认知得分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410174984.9A CN117727087B (zh) | 2024-02-07 | 2024-02-07 | 基于虚拟现实的视点校准方法、装置及认知推断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410174984.9A CN117727087B (zh) | 2024-02-07 | 2024-02-07 | 基于虚拟现实的视点校准方法、装置及认知推断系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117727087A CN117727087A (zh) | 2024-03-19 |
| CN117727087B true CN117727087B (zh) | 2024-05-03 |
Family
ID=90209166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410174984.9A Active CN117727087B (zh) | 2024-02-07 | 2024-02-07 | 基于虚拟现实的视点校准方法、装置及认知推断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117727087B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101748563B1 (ko) * | 2016-09-26 | 2017-06-20 | 유비씨엔(주) | 양안기반 시선추적 방법 |
| CN110347257A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪设备的校准方法、装置、设备和存储介质 |
| CN113971834A (zh) * | 2021-10-23 | 2022-01-25 | 郑州大学 | 基于虚拟现实的眼球追踪方法和系统 |
| CN115019380A (zh) * | 2022-06-07 | 2022-09-06 | 广州医科大学 | 基于眼部图像的斜视智能识别方法、装置、终端及介质 |
| CN115607153A (zh) * | 2022-09-06 | 2023-01-17 | 北京工业大学 | 一种基于眼动追踪的心理量表回答质量评估系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056092B (zh) * | 2016-06-08 | 2019-08-20 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
-
2024
- 2024-02-07 CN CN202410174984.9A patent/CN117727087B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101748563B1 (ko) * | 2016-09-26 | 2017-06-20 | 유비씨엔(주) | 양안기반 시선추적 방법 |
| CN110347257A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪设备的校准方法、装置、设备和存储介质 |
| CN113971834A (zh) * | 2021-10-23 | 2022-01-25 | 郑州大学 | 基于虚拟现实的眼球追踪方法和系统 |
| CN115019380A (zh) * | 2022-06-07 | 2022-09-06 | 广州医科大学 | 基于眼部图像的斜视智能识别方法、装置、终端及介质 |
| CN115607153A (zh) * | 2022-09-06 | 2023-01-17 | 北京工业大学 | 一种基于眼动追踪的心理量表回答质量评估系统及方法 |
Non-Patent Citations (6)
| Title |
|---|
| 张闯 ; 迟健男 ; 邱亚飞 ; 张朝晖 ; .视线追踪系统中特征参数提取方法研究.中国图象图形学报.2010,(09),全文. * |
| 视线追踪系统中特征参数提取方法研究;张闯;迟健男;邱亚飞;张朝晖;;中国图象图形学报;20100916(09);全文 * |
| 视线追踪系统眼部特征检测及视线方向计算方法研究;迟健男;张闯;胡涛;颜艳桃;刘洋;;控制与决策;20090915(09);全文 * |
| 赵浩然 ; 季渊 ; 穆廷洲 ; 陈文栋 ; 高钦 ; 冉峰 ; .面向近眼式应用的快速瞳孔中心定位算法.电讯技术.2020,(09),全文. * |
| 迟健男 ; 张闯 ; 胡涛 ; 颜艳桃 ; 刘洋 ; .视线追踪系统眼部特征检测及视线方向计算方法研究.控制与决策.2009,(09),全文. * |
| 面向近眼式应用的快速瞳孔中心定位算法;赵浩然;季渊;穆廷洲;陈文栋;高钦;冉峰;;电讯技术;20200927(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117727087A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10386645B2 (en) | Digital therapeutic corrective spectacles | |
| CN110623629B (zh) | 一种基于眼球运动的视觉注意检测方法及系统 | |
| CN111933275B (zh) | 一种基于眼动与面部表情的抑郁评估系统 | |
| CN110555845A (zh) | 眼底oct图像识别方法及设备 | |
| Valente et al. | Automatic diagnosis of strabismus in digital videos through cover test | |
| JP2019192215A (ja) | 深層学習を用いた網膜層の３ｄ定量解析 | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| Zhang et al. | A human-in-the-loop deep learning paradigm for synergic visual evaluation in children | |
| CN117788407A (zh) | 基于人工神经网络的青光眼图像特征提取的训练方法 | |
| CN110929570A (zh) | 虹膜快速定位装置及其定位方法 | |
| CN117727087B (zh) | 基于虚拟现实的视点校准方法、装置及认知推断系统 | |
| CN113610842A (zh) | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 | |
| Ngo et al. | Quantitative analysis of facial paralysis based on three-dimensional features | |
| CN112991289B (zh) | 图像标准切面的处理方法及装置 | |
| CN115424319A (zh) | 一种基于深度学习的斜视识别系统 | |
| JP5688514B2 (ja) | 視線計測システム、方法およびプログラム | |
| Siregar et al. | Optic Disc Segmentation on Eye Retinal Image with U-Net Convolutional Neural Network Architecture | |
| CN112052721A (zh) | 基于深度学习的眨眼波形图生成方法、装置及设备 | |
| Biswas et al. | Suitable Embedding to Find Similarity Between Left and Right Retinas of a Person | |
| Hoshino et al. | Eye tracking and measurement of eye rotation using a small camera installed roughly next to the eye | |
| CN115798019B (zh) | 基于计算机视觉的实训驾驶平台智能预警方法 | |
| Faisal et al. | Observation of human eye movements to simulate visual exploration of complex scenes | |
| KR102575371B1 (ko) | 광각 안저영상을 생성하기 위해 복수의 안저영상을 정합하는 방법 및 이를 수행하는 장치 | |
| Yuvaraju et al. | Automatically Detecting the Diseased Areas in Retina and Removal of Artefacts | |
| Yaseen et al. | A Comparison and Evaluation of Computerized Methods for OD Localization and Detection in Retinal Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |