CN109875863A - 基于双目视觉与脑力影像训练的头戴式vr视力提升系统 - Google Patents

基于双目视觉与脑力影像训练的头戴式vr视力提升系统 Download PDF

Info

Publication number
CN109875863A
CN109875863A CN201910192664.5A CN201910192664A CN109875863A CN 109875863 A CN109875863 A CN 109875863A CN 201910192664 A CN201910192664 A CN 201910192664A CN 109875863 A CN109875863 A CN 109875863A
Authority
CN
China
Prior art keywords
binocular
image
region
eyesight
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910192664.5A
Other languages
English (en)
Other versions
CN109875863B (zh
Inventor
李庆武
马云鹏
周亚琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ruishili Technology Co ltd
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201910192664.5A priority Critical patent/CN109875863B/zh
Publication of CN109875863A publication Critical patent/CN109875863A/zh
Application granted granted Critical
Publication of CN109875863B publication Critical patent/CN109875863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统,包括头戴式VR视力提升训练设备和用户端APP;所述头戴式VR视力提升训练设备包括双目相机和VR成像模组,所述双目相机设置于外壳的正前方,所述VR成像模组包括微处理器、无线通信模块、微型电机和双目透镜;双目相机、脑波监测设备、亮度传感器分别与微处理器连接;所述微处理器通过无线通信模块与用户端APP进行通信;本发明提供了一种安全性高、成本低、智能化程度高的新型视力提升训练系统,在屈光不正治疗领域具有重要的意义。

Description

基于双目视觉与脑力影像训练的头戴式VR视力提升系统
技术领域
本发明涉及一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统,属于计算机视觉与视力提升领域。
技术背景
近年来,随着电子娱乐产品的盛行和学生课业负担的加重,我国青少年视力不良现象尤为突出,且呈现高发、低龄化趋势,已成为亟待解决的一大社会问题,各相关部门均在积极寻找有效的视力下降防控手段。
目前国内外常见的视力不良问题方法如硬性角膜塑形镜、药物治疗及激光手术等都与眼球产生直接接触,易出现对眼睛造成二次伤害,安全问题难以保障。生物学研究表明,大脑对于模糊、重影等非正常图像具有一定的补偿能力,且可以通过针对性的训练进行增强。由此提出了“脑力影像”理论,通过刺激大脑视觉神经,增强大脑视觉系统处理能力,缓解弱视、近视、斜视等视力问题,是一种非接触性、无副作用、无反弹的高安全性治疗方法,受到了广大患者的欢迎。但是,现有的“脑力影像训练”系统对专业治疗环境依赖大,效率低,治疗期间经济与时间成本高,无法满足我国庞大视力不良患者的治疗需求,导致大部分青少年延误了治疗的最佳时期。
为了提升视力训练效率,已有企业提出将脑力影像训练与智能变焦眼镜相结合,研发了一款便携式视力提升训练眼镜。该训练镜根据用户验光情况确定镜片变焦范围,通过镜片的交错运动实现动态变焦,方便患者随时随地进行自我视觉训练,开启了便携式穿戴设备在自主视力提升训练领域的应用。然而,该训练镜仍存在诸多不足:(1)通过机械运动调节光学镜片进行自动变焦,运行过程中噪声大,易干扰使用者注意力;(2)采用光学镜片变焦进行训练,无法针对训练场景准确调节变焦内容,且不能定制视觉训练素材,训练模式单一;(3)训练过程中忽视了使用者反馈信息的收集和分析,无法定制化训练方案,智能化程度不足,导致用户体验和治疗效果的下降;(4)对光学器件及精密仪器设计及制作有很高要求,设备成本高。
发明内容
本发明所要解决的技术问题是:提高视力提升便携式训练设备的调整精确度、智能化程度,同时降低其成本及设备噪声。
为解决上述技术问题,本发明以VR(virtual reality)设备为训练平台,将双目视觉感知、脑波数据处理等技术与脑力影像训练原理相结合,提出一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统。
本发明的基于双目视觉与脑力影像训练的头戴式VR视力提升系统,包括头戴式VR视力提升训练设备和用户端APP;
所述头戴式VR视力提升训练设备包括双目相机1和VR成像模组2,所述双目相机设置于外壳的正前方,所述VR成像模组包括微处理器、无线通信模块、微型电机和双目透镜;双目相机、脑波监测设备3、4、亮度传感器5分别与微处理器连接;所述微处理器通过无线通信模块与用户端APP进行通信;
所述双目相机通过传动机构一与微型电机一连接,双目透镜通过传动机构二与微型电机二连接,所述微型电机一、微型电机二均与微处理器连接;
所述微处理器运行下程序模块:
模糊成像校正程序模块,用于根据用户验光数据拟合视力退化模型,通过视力退化模型实现用户视网膜成像的模糊成像校正;
双目图像深度轴建立程序模块,用于建立双目图像场景深度轴;
人体唤醒度监测程序模块,用于通过眼电伪迹检测方法判断人体是否处于唤醒状态;
大脑兴奋度监测程序模块,利用预先建立好的检测模型对大脑兴奋度进行检测;
视觉训练素材生成程序模块,用于根据深度信息将双目视频制成视觉训练素材。
所述双目相机均为120°广角相机。
所述亮度传感器位于VR设备外壳内侧。
基于双目视觉与脑力影像训练的头戴式VR视力提升方法,包括以下步骤:
1)首先在用户端APP输入个人验光参数,包括左、右眼的球镜[SL,SR]、柱镜[CL,CR]与轴位[AL,AR]与瞳距PD四项,组成7维个人参数序列Pe=[SL,SR,CL,CR,AL,AR,PD],传输入VR设备进行初始设置;
2)根据7维个人参数序列Pe中的瞳距PD信息,微处理器控制微型电机,带动双目相机与双目透镜移动,改变双目相机与双目透镜的基线距,使所述基线距与输入瞳距一致;基线距分别指左目相机与右目相机之间的水平距离、左目透镜与右目透镜之间的水平距离;
3)使用者佩戴好VR设备后,亮度传感器检测到光线变暗,发出指令,控制双目相机与脑波传感器开始采集信息,并将实时采集的双目视频数据与脑波数据信息传输入微处理器中进行分析处理;
4)微处理器中的人体唤醒度监测程序模块,通过眼电伪迹检测方法判断人体是否处于唤醒状态,若用户处于非唤醒状态超过设定时间,则语音提示用户积极配合训练;
5)微处理器同时对双目视频数据与脑波数据进行处理,其中双目视频数据处理内容依次为模糊成像校正与视觉训练素材生成:将处理后的双目视频数据传输至VR电子屏幕进行播放;
6)系统运作过程中重复步骤3)-步骤5)直至用户结束使用。
与现有技术相比,本发明的有益效果是:
1)本发明摒弃了传统光学镜片,提出利用双目相机采集场景信息,并通过双目立体图像感知技术对图像进行处理,实现不同区域的精准变焦,从而能精确地引导人眼关注系统设定的不同深度层区域,极大地提升了系统训练过程的有效性;
2)本发明采用VR设备进行沉浸式训练,且无光学变焦机械运动噪声,可帮助使用者更好地集中注意力;
3)本发明通过脑波监测仪监督人体唤醒度与大脑兴奋度,可实时获取用户状态,并进行智能语音提醒,提高了用户的训练效率;
4)与光学智能变焦镜片训练相比,本发明以VR设备进行视觉训练,不仅可以通过实际场景进行视功能训练,还可将其他制作VR视频课程作为训练素材进行训练,功能多样。
附图说明
图1为本发明的基于双目视觉与脑力影像训练的头戴式VR视力提升系统架构;
图2为本发明的基于双目视觉与脑力影像训练的头戴式VR视力提升系统处理流程图;
图3为眼电伪迹干扰示意图;
图4为屈光不正成像过程以及模糊成像校正过程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示,本发明的基于双目视觉与脑力影像训练的;头戴式VR视力提升系统包括头戴式VR视力提升训练设备和用户端APP;
所述头戴式VR视力提升训练设备包括双目相机1和VR成像模组2,所述双目相机设置于外壳的正前方,所述VR成像模组包括微处理器、无线通信模块、微型电机和双目透镜;双目相机、脑波监测传感器3、4、亮度传感器5分别与微处理器连接;所述亮度传感器位于VR设备内侧中央;所述微处理器通过无线通信模块与用户端APP进行通信;
所述双目相机通过传动机构一与微型电机一连接,双目透镜通过传动机构二与微型电机二连接,所述微型电机一、微型电机二均与微处理器连接;
可由微处理器运行的软件控制微型电机带动双目相机与双目透镜跟随人眼瞳距而调整基线距,以保障视物舒适度和清晰度,根据人眼瞳距距离范围统计结果,本系统设置的基线距调整范围为[50mm,80mm]。
所述双目相机均为120°广角相机,最大化用户视野。
所述脑波监测设备包括脑波监测传感器2与参考电极耳夹4,脑波监测传感器与参考电极耳夹相互连接,内部均有金属触点,脑波监测传感器作为作用电极,工作时需与人体前额皮肤充分接触,参考电极耳夹作为参考电极,使用时与耳垂皮肤充分接触;脑波监测传感器与参考电极耳夹采集的电信号均传输入至微处理器进行处理,获取脑电信号,脑电信息即为作用电极与参考电极的差值。
所述亮度传感器位于VR设备外壳内侧,用于检测VR设备是否处于佩戴状态。
VR成像模组还包括电子屏幕、语音播放器,电子屏幕、语音播放器均与微处理器相连接,分别用于播放系统处理后的图像、语音信息。
还包括锂电池,锂电池用于为设备中所有部件供电。
如图1所示,微处理器运行的程序模块包括模糊校正程序模块、双目图像深度轴建立程序模块、人体唤醒度监测程序模块、大脑兴奋度监测程序模块及视觉训练素材生成程序模块。
系统运作流程如图2所示:
1)首先在用户端APP输入个人验光参数,包括左、右眼的球镜[SL,SR](近视或远视度数)、柱镜[CL,CR](散光度数)与轴位[AL,AR](散光度数方向)与瞳距PD四项,组成7维个人参数序列Pe=[SL,SR,CL,CR,AL,AR,PD],传输入VR设备进行初始设置;
2)根据7维个人参数序列Pe中的瞳距PD信息,微处理器控制微型电机,带动双目相机与双目透镜移动,改变双目相机与双目透镜的基线距,使所述基线距与输入瞳距一致;基线距分别指左目相机与右目相机之间的水平距离、左目透镜与右目透镜之间的水平距离;
3)使用者佩戴好VR设备后,亮度传感器检测到光线变暗,发出指令,控制双目相机与脑波传感器开始采集信息,并将实时采集的双目视频数据与脑波数据信息传输入微处理器中进行分析处理;
4)微处理器中的人体唤醒度监测程序模块,通过眼电伪迹检测方法判断人体是否处于唤醒状态(即用眼状态),若用户处于非唤醒状态超过设定时间,如2分钟,则语音提示用户积极配合训练;
5)微处理器同时对双目视频数据与脑波数据进行处理,其中双目视频数据处理内容依次为模糊成像校正与视觉训练素材生成,将处理后的双目视频数据传输至VR电子屏幕进行播放;
51)微处理器中的模糊校正程序模块根据用户验光数据拟合视力退化模型,通过视力退化模型实现用户视网膜成像的模糊成像校正,提高视觉清晰度;
52)微处理器中的双目图像深度轴建立程序模块,建立双目图像场景深度轴,视觉训练素材生成程序模块根据深度信息将双目视频制成视觉训练素材;
53)将处理后的双目视频数据传输至VR电子屏幕进行播放,引导人眼关注不同远近的目标物体,促进晶状体的调节,同时刺激视觉神经,起到锻炼大脑视觉功能的效果,帮助视力不良患者提升视力。
微处理器中的大脑兴奋度监测程序模块同时利用预先建立好的检测模型对大脑兴奋度进行检测,首先对采集的脑电信号进行去眼电伪迹操作,去眼电等噪声干扰,再将脑波数据与检测模型进行匹配,得出当前用户兴奋度等级,若用户处于疲劳状态,则提醒用户进行休息,并根据大脑兴奋度调整训练间隔时间T,兴奋度越高,则训练间隔时间T越短。
6)系统运作过程中重复步骤(3)-(5)直至用户结束使用。
在步骤4)中,所述基于眼电伪迹检测人体唤醒度,根据眼电信号幅值大,频率低的特点,眼电出现处,脑波信号将会收到明显干扰,幅值明显增大、而频率明显降低。如图3所示,虚线表示用户眼部状态,低电平表示用户处于闭眼状态,高电平表示用户处于睁眼状态,通过对脑波图的分析可知,用户在睁眼的瞬间,脑波会出现大幅度的脉冲震荡,经过均值滤波对脑波数据进行平滑后,睁眼瞬间造成的瞬时脉冲更为明显。因此,本发明通过监测用户脑波中是否存在瞬时脉冲,即可判断用户是否处于用眼状态,以此来判断其是否在配合进行视觉训练。
在步骤51)中,模糊成像校正的具体方法为:如图4所示,将存在视力不良患者的人眼屈光系统等价于一个视力退化模型,正常图像I(x,y)通过视力退化模型后,将产生退化后的模糊图像 表示卷积计算,通过求解屈光不正模型矩阵的逆矩阵Am -1,将逆矩阵Am -1与正常图像I(x,y)进行卷积,对正常图像I(x,y)进行逆转变,改变正常图像I(x,y)原本的分布得到模糊校正图像I′(x,y),使模糊校正图像I′(x,y)经过屈光不正模型Am的卷积后,患者即可在视网膜上呈现清晰图像G'(x,y),即:
其中,x,y分别为成像平面上的横坐标与纵坐标。因此,求解视力退化模型Am是实现以上步骤的关键。视力退化模型即屈光不正模型。
研究表明,人眼视觉系统波像差与屈光不正程度存在一定关联,本发明利用Zernike多项式对人眼波像差进行拟合,并提取Zernike多项式第2、3、4项系数Z2,Z3,Z4推测视力退化模型Am,其中:
系数Z2=[2(x2+y2)-1,xy,x2-y2],Z2中三项分别表示散焦度、垂直平方向像散和水平方向像散,与柱镜屈光度(散光)呈正相关;
系数Z3=[x(-2+3x2+3y2)y(-2+3x2+3y2)],系数Z3中两项系数分别代表水平方向彗差与垂直方向彗差,与柱镜屈光度呈负相关;
系数Z4=1-6(x2+y2)-6(x2+y2)2表示球差,与人眼球镜屈光度(近、远视)负相关。
因此,本发明根据用户输入验光数值[SL,SR,CL,CR,AL,AR]对各项三项系数进行相应加权,拟合该用户左、右眼的视力退化模型
其中,x,y分别为成像平面上的横坐标与纵坐标,[SL,SR]分别为左、右眼的球镜(近视或远视度数),[CL,CR]分别为左、右眼的柱镜(散光度数),[AL,AR]分别为左、右眼的轴位(散光度数方向);
模糊校正后的双目图像IL'(x,y)、IR'(x,y)由视力退化模型的逆矩阵与原图像IL(x,y)、IR(x,y)的卷积得到:
在步骤52)中,所述建立双目图像深度轴的具体步骤为:
521)首先通过边缘、纹理、颜色特征分别完成对双目相机采集的左目图像和右目图像进行区域分割,具体步骤如下:
a.首先利用结构化随机森林边缘检测算法快速提取图像边缘概率图PB;
b.利用SLIC算法将双目相机采集的左目图像或者右目图像图像分割为N块超像素,提取每个超像素块的边缘像素点,并以8-邻域统计所有边缘像素点的邻域点,获取所有邻域点在边缘概率图PB上值并求平均Es_i,S_i∈[1,N]指代超像素块的标号,以平均值作为该超像素块的边缘概率,依次获取所有超像素块的边缘概率值,得到超像素边缘概率图SPB;
c.采用阈值Tmerge=avg(SPB)进行边缘筛选,将小于边缘概率小于阈值的超像素块进行合并,获取初始分割图Sego,其包含Nos个初始分割区域;
d.将模糊校正图像转换至CIELab颜色空间,提取Sego中每个区域的颜色、纹理等8维特征:Sp(i)={Los_i,aos_i,bos_i,gos_i,Cconos_i,Ccoros_i,Enos_i,Hgos_i},其中,os_i=1,2,3,4,…,Nos为Sego中每个区域的标号,Los_i,aos_i,bos_i,gos_i分别代表第os_i个区域的L、a、b颜色均值以及灰度均值,Cconos_i,Ccoros_i,Enos_i,Hgos_i分别表示第os_i个区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值;
e.统计Nos个区域的像素点个数,筛选出包含像素点个数小于阈值Sr的区域为小区域Rsm(sm_j),sm_j∈[1,Nsm],其中,Nsm为小区域总个数,同时并依次寻找每个小区域的所有相邻区域代表第sm_j个小区域的相邻区域数量,计算每个小区域与其对应的相邻区域的相似度Sms(k,sm_j):
Sms(k,sm_j)=[ε+0.5·(||Lk-Lsm_j||2+||ak-asm_j||2+||bk-bsm_j||2+||gk-gsm_j||2)+
0.5·(||Cconk-Cconsm_j||2+||Ccork-Ccorsm_j||2+||Enk-Ensm_j||2+||Hgk-Hgsm_j||2)]-1
其中,Lsm_j,asm_j,bsm_j,gsm_j分别为第sm_j个小区域的L、a、b颜色均值和灰度均值,Cconsm_j,Ccorsm_j,Ensm_j,Hgsm_j分别为第sm_j个小区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值;Lk,ak,bk,gk分别为第sm_j个小区域的第k个相邻区域的L、a、b颜色均值和灰度均值,Cconk,Ccork,Enk,Hgk分别为第sm_j个小区域的第k个相邻区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值;
提取相似度最大的相邻区域作为当前区域的合并区域进行合并;以此步骤依次将所有小区域合并至相邻的相似区域中,完成二次分割,获取最终分割结果Segf,最终分割结果Segf中的分割区域总数为Nrm
522)分别对左目图像和右目图像建立深度轴,具体步骤如下:
a.通过SURF分别获取左右目图像中的特征点,并根据欧氏距离获取初始匹配点对,再根据正确匹配点对之间的斜率应接近于0的先验条件,剔除斜率在[-2,2]之外的匹配点对,完成正确匹配点对的筛选,并计算所有匹配点对之间的视差,即该匹配点对水平坐标差的绝对值;
b.通过匹配点找到左目图像和右目图像内分割区域的对应关系,组成左-右目分割区域对;
c.提取左目图像中每个区域的内的匹配点,统计对应视差值,计算每个区域内所有匹配点对应的视差值的中值作为该区域的深度值,并赋给该区域的所有像素点,最后将左目图像中每个区域的深度值赋给右目图像中的对应区域,以此完成左目和右目图像深度轴的建立。
523)由视觉训练素材生成程序模块生成视觉训练方案:首先模糊化双目图像,使人眼得到放松,再按设定时间间隔T依次清晰化地显示左目和右目图像中的每个深度层区域,引导人眼关注不同远近的物体进行训练。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

Claims (10)

1.一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统,其特征在于,包括头戴式VR视力提升训练设备和用户端APP;
所述头戴式VR视力提升训练设备包括双目相机和VR成像模组,所述双目相机设置于外壳的正前方,所述VR成像模组包括微处理器、无线通信模块、微型电机和双目透镜;双目相机、脑波监测设备、亮度传感器分别与微处理器连接;所述微处理器通过无线通信模块与用户端APP进行通信;
所述双目相机通过传动机构一与微型电机一连接,双目透镜通过传动机构二与微型电机二连接,所述微型电机一、微型电机二均与微处理器连接;
所述微处理器运行下程序模块:
模糊成像校正程序模块,用于根据用户验光数据拟合视力退化模型,通过视力退化模型实现用户视网膜成像的模糊成像校正;
双目图像深度轴建立程序模块,用于建立双目图像场景深度轴;
人体唤醒度监测程序模块,用于通过眼电伪迹检测方法判断人体是否处于唤醒状态;
大脑兴奋度监测程序模块,利用预先建立好的检测模型对大脑兴奋度进行检测;
视觉训练素材生成程序模块,用于根据深度信息将双目视频制成视觉训练素材。
2.根据权利要求1所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统,其特征在于,所述脑波监测设备包括脑波监测传感器与参考电极耳夹,脑波监测传感器与参考电极耳夹相互连接,脑波监测传感器与参考电极耳夹采集的电信号均传输入至微处理器进行处理,获取脑电信号。
3.根据权利要求1所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统,其特征在于,所述亮度传感器位于VR设备外壳内侧,用于检测VR设备是否处于佩戴状态。
4.根据权利要求1所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统,其特征在于,VR成像模组还包括电子屏幕、语音播放器,电子屏幕、语音播放器均与微处理器相连接,分别用于播放系统处理后的图像、语音信息。
5.一种基于双目视觉与脑力影像训练的头戴式VR视力提升方法,其特征在于,包括以下步骤:
1)首先在用户端APP输入个人验光参数,包括左、右眼的球镜[SL,SR]、柱镜[CL,CR]与轴位[AL,AR]与瞳距PD四项,组成7维个人参数序列Pe=[SL,SR,CL,CR,AL,AR,PD],传输入VR设备进行初始设置;
2)根据7维个人参数序列Pe中的瞳距PD信息,微处理器控制微型电机,带动双目相机与双目透镜移动,改变双目相机与双目透镜的基线距,使所述基线距与输入瞳距一致;基线距分别指左目相机与右目相机之间的水平距离、左目透镜与右目透镜之间的水平距离;
3)使用者佩戴好VR设备后,亮度传感器检测到光线变暗,发出指令,控制双目相机与脑波传感器开始采集信息,并将实时采集的双目视频数据与脑波数据信息传输入微处理器中进行分析处理;
4)微处理器中的人体唤醒度监测程序模块,通过眼电伪迹检测方法判断人体是否处于唤醒状态,若用户处于非唤醒状态超过设定时间,则语音提示用户积极配合训练;
5)微处理器同时对双目视频数据与脑波数据进行处理,其中双目视频数据处理内容依次为模糊成像校正与视觉训练素材生成:将处理后的双目视频数据传输至VR电子屏幕进行播放;
微处理器中的大脑兴奋度监测程序模块同时利用预先建立好的检测模型对大脑兴奋度进行检测,首先对采集的脑电信号进行去眼电伪迹操作,再将脑波数据与检测模型进行匹配,得出当前用户兴奋度等级,若用户处于疲劳状态,则提醒用户进行休息,并根据大脑兴奋度调整训练间隔时间T,兴奋度越高,则训练间隔时间T越短;
6)系统运作过程中重复步骤3)-步骤5)直至用户结束使用。
6.根据权利要求5所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升方法,其特征在于,在所述步骤5)中,具体包括以下步骤:
51)微处理器中的模糊校正程序模块根据用户验光数据拟合视力退化模型,通过视力退化模型实现用户视网膜成像的模糊成像校正,提高视觉清晰度;
52)微处理器中的双目图像深度轴建立程序模块,建立双目图像场景深度轴,视觉训练素材生成程序模块根据深度信息将双目视频制成视觉训练素材;
53)将处理后的双目视频数据传输至VR电子屏幕进行播放,引导人眼关注不同远近的目标物体。
7.根据权利要求6所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升方法,其特征在于:
在步骤4)中,通过监测用户脑波中是否存在瞬时脉冲,判断用户是否处于用眼状态,以此来判断其是否在配合进行视觉训练。
8.根据权利要求6所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升方法,其特征在于:
在步骤51)中,模糊成像校正的具体方法为:根据用户输入验光数值[SL,SR,CL,CR,AL,AR]对各项三项系数进行相应加权,拟合该用户左、右眼的视力退化模型
其中,x,y分别为成像平面上的横坐标与纵坐标,[SL,SR]分别为左、右眼的球镜,[CL,CR]分别为左、右眼的柱镜,[AL,AR]分别为左、右眼的轴位;
模糊校正后的双目图像IL'(x,y)、IR'(x,y)由视力退化模型的逆矩阵与原图像IL(x,y)、IR(x,y)的卷积得到:
9.根据权利要求6所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升方法,其特征在于:
在步骤52)中,所述建立双目图像深度轴的具体步骤为:
521)首先通过边缘、纹理、颜色特征分别完成对双目相机采集的左目图像和右目图像进行区域分割;
522)分别对左目图像和右目图像建立深度轴,具体步骤如下:
a.通过SURF分别获取左右目图像中的特征点,并根据欧氏距离获取初始匹配点对,剔除匹配点对之间的斜率在[-2,2]之外的匹配点对,完成正确匹配点对的筛选,并计算所有匹配点对之间的视差,即该匹配点对水平坐标差的绝对值;
b.通过匹配点找到左目图像和右目图像内分割区域的对应关系,组成左-右目分割区域对;
c.提取左目图像中每个区域的内的匹配点,统计对应视差值,计算每个区域内所有匹配点对应的视差值的中值作为该区域的深度值,并赋给该区域的所有像素点,最后将左目图像中每个区域的深度值赋给右目图像中
的对应区域,以此完成左目和右目图像深度轴的建立;
523)由视觉训练素材生成程序模块生成视觉训练方案:首先模糊化双目图像,使人眼得到放松,再按设定时间间隔T依次清晰化地显示左目和右目图像中的每个深度层区域,引导人眼关注不同远近的物体进行训练。
10.根据权利要求9所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升方法,其特征在于:在步骤521)中,进行区域分割的具体步骤如下:
a.首先利用结构化随机森林边缘检测算法快速提取图像边缘概率图PB;
b.利用SLIC算法将双目相机采集的左目图像或者右目图像图像分割为N块超像素,提取每个超像素块的边缘像素点,并以8-邻域统计所有边缘像素点的邻域点,获取所有邻域点在边缘概率图PB上值并求平均Es_i,S_i∈[1,N]指代超像素块的标号,以平均值作为该超像素块的边缘概率,依次获取所有超像素块的边缘概率值,得到超像素边缘概率图SPB;
c.采用阈值Tmerge=avg(SPB)进行边缘筛选,将小于边缘概率小于阈值的超像素块进行合并,获取初始分割图Sego,其包含Nos个初始分割区域;
d.将模糊校正图像转换至CIELab颜色空间,提取Sego中每个区域的颜色、纹理等8维特征:Sp(i)={Los_i,aos_i,bos_i,gos_i,Cconos_i,Ccoros_i,Enos_i,Hgos_i},其中,os_i=1,2,3,4,…,Nos为Sego中每个区域的标号,Los_i,aos_i,bos_i,gos_i分别代表第os_i个区域的L、a、b颜色均值以及灰度均值,Cconos_i,Ccoros_i,Enos_i,Hgos_i分别表示第os_i个区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值;
e.统计Nos个区域的像素点个数,筛选出包含像素点个数小于阈值Sr的区域为小区域Rsm(sm_j),sm_j∈[1,Nsm],其中,Nsm为小区域总个数,同时并依次寻找每个小区域的所有相邻区域 代表第sm_j个小区域的相邻区域数量,计算每个小区域与其对应的相邻区域的相似度Sms(k,sm_j):
Sms(k,sm_j)=[ε+0.5·(||Lk-Lsm_j||2+||ak-asm_j||2+||bk-bsm_j||2+||gk-gsm_j||2)+0.5·(||Cconk-Cconsm_j||2+||Ccork-Ccorsm_j||2+||Enk-Ensm_j||2+||Hgk-Hgsm_j||2)]-1
其中,Lsm_j,asm_j,bsm_j,gsm_j分别为第sm_j个小区域的L、a、b颜色均值和灰度均值,Cconsm_j,Ccorsm_j,Ensm_j,Hgsm_j分别为第sm_j个小区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值;Lk,ak,bk,gk分别为第sm_j个小区域的第k个相邻区域的L、a、b颜色均值和灰度均值,Cconk,Ccork,Enk,Hgk分别为第sm_j个小区域的第k个相邻区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值;
提取相似度最大的相邻区域作为当前区域的合并区域进行合并;以此步骤依次将所有小区域合并至相邻的相似区域中,完成二次分割,获取最终分割结果Segf,最终分割结果Segf中的分割区域总数为Nrm
CN201910192664.5A 2019-03-14 2019-03-14 基于双目视觉与脑力影像训练的头戴式vr视力提升系统 Active CN109875863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910192664.5A CN109875863B (zh) 2019-03-14 2019-03-14 基于双目视觉与脑力影像训练的头戴式vr视力提升系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910192664.5A CN109875863B (zh) 2019-03-14 2019-03-14 基于双目视觉与脑力影像训练的头戴式vr视力提升系统

Publications (2)

Publication Number Publication Date
CN109875863A true CN109875863A (zh) 2019-06-14
CN109875863B CN109875863B (zh) 2021-07-20

Family

ID=66932287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192664.5A Active CN109875863B (zh) 2019-03-14 2019-03-14 基于双目视觉与脑力影像训练的头戴式vr视力提升系统

Country Status (1)

Country Link
CN (1) CN109875863B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110600103A (zh) * 2019-09-25 2019-12-20 李牧什 一种提升视力的可穿戴智能服务系统
CN110604675A (zh) * 2019-09-25 2019-12-24 李牧什 一种基于vr交互实现视力矫正的方法
CN110664595A (zh) * 2019-10-17 2020-01-10 诸暨启爱近视防控中心有限公司 一种视觉训练方法及系统
CN111781656A (zh) * 2020-07-30 2020-10-16 广州市南方人力资源评价中心有限公司 头戴式显示设备的佩戴状态检测方法、装置、设备和介质
CN113470045A (zh) * 2021-06-16 2021-10-01 浙江工业大学 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法
CN114900806A (zh) * 2022-06-08 2022-08-12 中国人民解放军空军军医大学 一种物联网重症监护系统
CN115797333A (zh) * 2023-01-29 2023-03-14 成都中医药大学 一种个性化定制的智能视觉训练方法
CN117058132A (zh) * 2023-10-11 2023-11-14 天津大学 基于神经网络的文物照明视觉舒适度量化评估方法及系统
CN117612018A (zh) * 2024-01-23 2024-02-27 中国科学院长春光学精密机械与物理研究所 用于光学遥感载荷像散的智能判别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07275286A (ja) * 1994-04-13 1995-10-24 Sharp Corp 視力回復装置
JP2003290303A (ja) * 2002-04-02 2003-10-14 Nikon Gijutsu Kobo:Kk 眼疲労緩和画像提示装置、及びその為のプログラム
KR20090084399A (ko) * 2008-02-01 2009-08-05 주식회사 이엠디티 시력강화방법이 적용된 헤드마운티드 디스플레이 시스템
US20100073469A1 (en) * 2006-12-04 2010-03-25 Sina Fateh Methods and systems for amblyopia therapy using modified digital content
CN102573611A (zh) * 2009-08-03 2012-07-11 耐克国际有限公司 互补色立体深度感训练或测试
TW201404355A (zh) * 2012-07-17 2014-02-01 Davalor Consultoria Estrategica Y Tecnologica S L 檢查、診斷或輔助功能性視力問題之診斷和治療的裝置及方法
CN104618710A (zh) * 2015-01-08 2015-05-13 左旺孟 基于增强光场显示的视觉缺陷校正系统
CN104706509A (zh) * 2013-12-16 2015-06-17 李胜 一种眼保健三维立体图像设计方法
US20160045388A1 (en) * 2006-02-27 2016-02-18 Vital Art And Science, Llc Vision measurement and training system and method of operation thereof
CN106309089A (zh) * 2016-08-29 2017-01-11 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
CN107168529A (zh) * 2017-04-26 2017-09-15 深圳市明德智慧教育科技有限公司 用户状态的监测及调控方法及头戴式设备
WO2017187468A1 (en) * 2016-04-27 2017-11-02 Consiglio Nazionale Delle Ricerche Method for modifying at least one frame video of a digital video stream to be displayed on a displaying area and related system
CN107913162A (zh) * 2016-10-10 2018-04-17 简顺源 视力训练装置及视力训练方法
CN108519676A (zh) * 2018-04-09 2018-09-11 杭州瑞杰珑科技有限公司 一种头戴式助视装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07275286A (ja) * 1994-04-13 1995-10-24 Sharp Corp 視力回復装置
JP2003290303A (ja) * 2002-04-02 2003-10-14 Nikon Gijutsu Kobo:Kk 眼疲労緩和画像提示装置、及びその為のプログラム
US20160045388A1 (en) * 2006-02-27 2016-02-18 Vital Art And Science, Llc Vision measurement and training system and method of operation thereof
US20100073469A1 (en) * 2006-12-04 2010-03-25 Sina Fateh Methods and systems for amblyopia therapy using modified digital content
KR20090084399A (ko) * 2008-02-01 2009-08-05 주식회사 이엠디티 시력강화방법이 적용된 헤드마운티드 디스플레이 시스템
CN102573611A (zh) * 2009-08-03 2012-07-11 耐克国际有限公司 互补色立体深度感训练或测试
TW201404355A (zh) * 2012-07-17 2014-02-01 Davalor Consultoria Estrategica Y Tecnologica S L 檢查、診斷或輔助功能性視力問題之診斷和治療的裝置及方法
CN104706509A (zh) * 2013-12-16 2015-06-17 李胜 一种眼保健三维立体图像设计方法
CN104618710A (zh) * 2015-01-08 2015-05-13 左旺孟 基于增强光场显示的视觉缺陷校正系统
WO2017187468A1 (en) * 2016-04-27 2017-11-02 Consiglio Nazionale Delle Ricerche Method for modifying at least one frame video of a digital video stream to be displayed on a displaying area and related system
CN106309089A (zh) * 2016-08-29 2017-01-11 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
CN107913162A (zh) * 2016-10-10 2018-04-17 简顺源 视力训练装置及视力训练方法
CN107168529A (zh) * 2017-04-26 2017-09-15 深圳市明德智慧教育科技有限公司 用户状态的监测及调控方法及头戴式设备
CN108519676A (zh) * 2018-04-09 2018-09-11 杭州瑞杰珑科技有限公司 一种头戴式助视装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110604675A (zh) * 2019-09-25 2019-12-24 李牧什 一种基于vr交互实现视力矫正的方法
CN110600103B (zh) * 2019-09-25 2021-10-08 李牧什 一种提升视力的可穿戴智能服务系统
CN110600103A (zh) * 2019-09-25 2019-12-20 李牧什 一种提升视力的可穿戴智能服务系统
CN110664595A (zh) * 2019-10-17 2020-01-10 诸暨启爱近视防控中心有限公司 一种视觉训练方法及系统
CN110664595B (zh) * 2019-10-17 2021-11-23 诸暨启爱近视防控中心有限公司 一种视觉训练方法及系统
CN111781656A (zh) * 2020-07-30 2020-10-16 广州市南方人力资源评价中心有限公司 头戴式显示设备的佩戴状态检测方法、装置、设备和介质
CN111781656B (zh) * 2020-07-30 2023-09-15 广州市南方人力资源评价中心有限公司 头戴式显示设备的佩戴状态检测方法、装置、设备和介质
CN113470045B (zh) * 2021-06-16 2024-04-16 浙江工业大学 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法
CN113470045A (zh) * 2021-06-16 2021-10-01 浙江工业大学 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法
CN114900806A (zh) * 2022-06-08 2022-08-12 中国人民解放军空军军医大学 一种物联网重症监护系统
CN114900806B (zh) * 2022-06-08 2023-09-29 中国人民解放军空军军医大学 一种物联网重症监护系统
CN115797333A (zh) * 2023-01-29 2023-03-14 成都中医药大学 一种个性化定制的智能视觉训练方法
CN117058132B (zh) * 2023-10-11 2024-01-23 天津大学 基于神经网络的文物照明视觉舒适度量化评估方法及系统
CN117058132A (zh) * 2023-10-11 2023-11-14 天津大学 基于神经网络的文物照明视觉舒适度量化评估方法及系统
CN117612018A (zh) * 2024-01-23 2024-02-27 中国科学院长春光学精密机械与物理研究所 用于光学遥感载荷像散的智能判别方法
CN117612018B (zh) * 2024-01-23 2024-04-05 中国科学院长春光学精密机械与物理研究所 用于光学遥感载荷像散的智能判别方法

Also Published As

Publication number Publication date
CN109875863B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109875863A (zh) 基于双目视觉与脑力影像训练的头戴式vr视力提升系统
US12016629B2 (en) Screening apparatus and method
CN103239347B (zh) 一种采用调控眼优势治疗视觉功能障碍的系统
JP2020509790A5 (zh)
CA3082935A1 (en) Method and apparatus for treating diplopia and convergence insufficiency disorder
CN106491323B (zh) 用于治疗弱视的视频系统和装置
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
TW202004268A (zh) 具有用於減少近距離觀看對近視初期及/或近視加深之影響之系統的裝置
WO2014199366A1 (en) Audio-feedback computerized system and method for operator-controlled eye exercise
CN102552000A (zh) 一种近视等眼病综合仿生训练系统
CN105943327A (zh) 具有防眩晕设备的视力锻炼保健系统
CN110850596B (zh) 两侧眼视功能调整装置及虚拟现实头戴式显示设备
CN109276420A (zh) 治疗近视的虚拟现实装置
CN110812145A (zh) 一种视功能调整方法及装置、虚拟现实头戴式显示设备
CN110522619A (zh) 一种视觉辅助用穿戴设备
CN114099316A (zh) 一种基于高压氧眼部治疗仪的眼部放松方法及设备
CN110882139B (zh) 一种利用图序列的视功能调整方法及装置
CN105287091A (zh) 一种可穿戴的近视治疗仪
WO2017054364A1 (zh) 视觉功能优化训控系统及训控方法
CN203539645U (zh) 一种采用调控眼优势治疗视觉功能障碍的系统
CN205145044U (zh) 一种视力矫正系统
CN112535453B (zh) 一种正视化诱导控制方法及装置
CN2311787Y (zh) 矫正近视用眼镜
CN118151754A (zh) 基于ar的周边离焦的防控近视方法及系统
CN112289438A (zh) 识别眼屈光度异常发育的方法及约束其过快发育的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210630

Address after: 213023 Yulong South Road 179-2, Changzhou City, Jiangsu Province

Applicant after: JIANGSU RUISHILI TECHNOLOGY Co.,Ltd.

Address before: 213000, No. 200 Jinling North Road, Jiangsu, Changzhou

Applicant before: CHANGZHOU CAMPUS OF HOHAI University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant