CN114815262B - 一种基于双向微振扫描投射成像的隐形mr眼镜系统 - Google Patents

一种基于双向微振扫描投射成像的隐形mr眼镜系统 Download PDF

Info

Publication number
CN114815262B
CN114815262B CN202210537763.4A CN202210537763A CN114815262B CN 114815262 B CN114815262 B CN 114815262B CN 202210537763 A CN202210537763 A CN 202210537763A CN 114815262 B CN114815262 B CN 114815262B
Authority
CN
China
Prior art keywords
image
preset
bidirectional
attention
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210537763.4A
Other languages
English (en)
Other versions
CN114815262A (zh
Inventor
刘美鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Estar Electronics Co ltd
Original Assignee
Estar Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Estar Electronics Co ltd filed Critical Estar Electronics Co ltd
Priority to CN202210537763.4A priority Critical patent/CN114815262B/zh
Publication of CN114815262A publication Critical patent/CN114815262A/zh
Application granted granted Critical
Publication of CN114815262B publication Critical patent/CN114815262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于双向微振扫描投射成像的隐形MR眼镜系统，包括：支架、设置在所述支架上的MEMS双向微振扫描显示组件及设置在所述支架内侧的视力矫正镜片；其中，所述MEMS双向微振扫描显示组件用于形成全彩平行点光源，通过X轴与Y轴双向微振扫描，并投射至视网膜上，得到投射图像；所述视力矫正镜片，用于实现视力矫正。采用隐形眼镜结构：体积小，重量轻，可以实现视网膜直接成像且视场角大、亮度高、畸变小。基于MEMS双向微振扫描显示组件是将振镜和光源及其他功能组件集成在一起的一体化部件，取消了镜面结构，只作为一个振动扫描平台，体积小重量轻、降低了光学系统的复杂度，提高了光学成像的显示精度。

Description

一种基于双向微振扫描投射成像的隐形MR眼镜系统
技术领域
本发明涉及混合现实技术领域，特别涉及一种基于双向微振扫描投射成像的隐形MR眼镜系统。
背景技术
混合现实是一种将现实世界信息和虚拟世界信息“无缝”集成的新技术，它将计算机生成的图形叠加到现实世界中，不仅展现了现实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。现有技术中存在以下技术问题：1、传统框式眼镜结构：体积大；2、传统MR眼镜采用平面微显示屏：虚拟成像尺寸小、视角角窄，亮度低、成像畸变大；3、传统光学成像系统：光学系统复杂、体积大、重量大、虚拟成像的视场角小、畸变大、虚实结合精度低、融入感差、眩晕感强；4、一般传统振镜扫描器是采用一整片镜面反射外部照射过来的光线，光源和振镜是分体的，光学系统设计比较复杂，体积较大。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于双向微振扫描投射成像的隐形MR眼镜系统，采用隐形眼镜结构：体积小，重量轻，可以实现视网膜直接成像且视场角大、亮度高、畸变小。基于MEMS双向微振扫描显示组件是将振镜和光源及其他功能组件集成在一起的一体化部件，取消了镜面结构，只作为一个振动扫描平台，体积小重量轻、降低了光学系统的复杂度，提高了光学成像的显示精度。
为达到上述目的，本发明实施例提出了一种基于双向微振扫描投射成像的隐形MR眼镜系统，包括：支架、设置在所述支架上的MEMS双向微振扫描显示组件及设置在所述支架内侧的视力矫正镜片；其中，
所述MEMS双向微振扫描显示组件用于形成全彩平行点光源，通过X轴与Y轴双向微振扫描，并投射至视网膜上，得到投射图像；
所述视力矫正镜片，用于实现视力矫正。
根据本发明的一些实施例，所述MEMS双向微振扫描显示组件包括：微振镜平台及设置在所述微振镜平台上的MEMS双轴微振镜、全彩单像素点、聚光准直微透镜、无线驱动电路；其中，
所述无线驱动电路，用于发出控制指令及供电，使得所述微振镜平台产生在X轴和Y轴两个方向上的扫描动作；
固定于所述微振镜平台中心点上的全彩单像素点发出的光经所述聚光准直微透镜汇聚准直后成为一个全彩平行点光源，在所述微振镜平台的带动下，使得所述全彩平行点光源投射在视网膜上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜上成像。
根据本发明的一些实施例，所述无线驱动电路还用于：
接收图像信号端输入的图像信号，根据所述图像信号生成待显示图像；
获取所述待显示图像的每个像素点的RGB颜色值；所述RGB颜色值包括R通道值、G通道值、B通道值；
将所述RGB颜色值对应的R通道值、G通道值、B通道值的亮度信号分别传送至固定于微振镜平台上的RGB全彩单像素点上，根据所述RGB全彩单像素点在所述视网膜上显示出目标图像。
根据本发明的一些实施例，所述X轴的谐振频率与Y轴的谐振频率不一致。
根据本发明的一些实施例，还包括：
无线组件，分别与所述无线驱动电路及所述图像信号端连接，用于实现所述无线驱动电路与所述图像信号端之间的无线信号传输。
根据本发明的一些实施例，还包括：
视网膜监视摄像模块，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
传输模块，用于将所述视网膜图像传输至服务器。
根据本发明的一些实施例，还包括：监测模块，用于监测所述微振镜平台的位置信息和工作状态信息并进行显示。
根据本发明的一些实施例，还包括，确定模块，用于：
获取包括眼镜的检测图像；
确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；
计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；
在确定所述比值大于预设比值时，获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；
在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；
对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；
将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；
根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；
根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；
根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
根据本发明的一些实施例，还包括：
获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；
降噪模块，用于：
对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；
将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；
根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；
计算模块，用于：
对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；
将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；
计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；
显示模块，用于：
在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；
根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；
将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；
计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；
将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的一种基于双向微振扫描投射成像的隐形MR眼镜系统的示意图。
附图标记：
支架1、MEMS双向微振扫描显示组件2、全彩单像素点21、聚光准直微透镜22、无线驱动电路23、电源及控制器件231、天线24、视力矫正镜片3、视网膜4、视网膜监视摄像模块5。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提出了一种基于双向微振扫描投射成像的隐形MR眼镜系统，包括：支架1、设置在所述支架1上的MEMS双向微振扫描显示组件2及设置在所述支架1右侧的视力矫正镜片3；其中，
所述MEMS双向微振扫描显示组件2用于形成全彩平行点光源，通过X轴与Y轴双向微振扫描，并投射至视网膜4上，得到投射图像；
所述视力矫正镜片3，用于实现视力矫正。
根据本发明的一些实施例，所述MEMS双向微振扫描显示组件2包括：微振镜平台及设置在所述微振镜平台上的MEMS双轴微振镜、全彩单像素点21、聚光准直微透镜22、无线驱动电路23；其中，
所述无线驱动电路23，用于发出控制指令及供电，使得所述微振镜平台产生在X轴和Y轴两个方向上的扫描动作；
固定于所述微振镜平台中心点上的全彩单像素点21发出的光经所述聚光准直微透镜22汇聚准直后成为一个全彩平行点光源，在所述微振镜平台的带动下，使得所述全彩平行点光源投射在视网膜4上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜4上成像。无线驱动电路23包括电源及控制器件231用于控制指令及供电。
在一实施例中，微振镜平台上设置有天线24。
根据本发明的一些实施例，所述无线驱动电路23还用于：
接收图像信号端输入的图像信号，根据所述图像信号生成待显示图像；
获取所述待显示图像的每个像素点的RGB颜色值；所述RGB颜色值包括R通道值、G通道值、B通道值；
将所述RGB颜色值对应的R通道值、G通道值、B通道值的亮度信号分别传送至固定于微振镜平台上的RGB全彩单像素点21上，根据所述RGB全彩单像素点21在所述视网膜4上显示出目标图像。
上述技术方案的工作原理：MEMS双向微振在MEMS驱动电路的控制下使得中间的微振镜平台产生在X轴(上下扫描)和Y轴(左右扫描)两个方向上的扫描动作；固定于微振镜平台中心点上的全彩单像素点21发出的光经聚光准直微透镜22汇聚准直后成为一个全彩平行点光源，在微振镜平台的带动下，使得全彩点光源投射在视网膜4上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜4上成像。无线驱动电路23一方面控制微振镜扫描显示组件产生X轴和Y轴的扫描动作，另一方面将图像信号输入端的图像信号通过无线传输的方式，将需要显示图像的每个像素点的RGB三种颜色的亮度信号分别传送至固定于微振镜平台上的RGB全彩单像素点21上，使得在视网膜4上显示出相应的图像，即目标图像。图1中的小树即为投射图像。
上述技术方案的有益效果：采用隐形眼镜结构：体积小，重量轻，可以实现视网膜4直接成像且视场角大、亮度高、畸变小。基于MEMS双向微振扫描显示组件2是将振镜和光源及其他功能组件集成在一起的一体化部件，取消了镜面结构，只作为一个振动扫描平台，体积小重量轻、降低了光学系统的复杂度，提高了光学成像的显示精度。
无线驱动电路23可以作为穿戴设备，戴着人体器官上，如耳朵等方便穿戴及方便控制的部位，也可以设置在眼镜腿上，本发明对无线驱动电路23的设置位置不做具体限定。
根据本发明的一些实施例，所述X轴的谐振频率与Y轴的谐振频率不一致。
根据本发明的一些实施例，还包括：
无线组件，分别与所述无线驱动电路及所述图像信号端连接，用于实现所述无线驱动电路与所述图像信号端之间的无线信号传输。
上述技术方案的有益效果：便于提高数据传输的方便性。
根据本发明的一些实施例，还包括：
视网膜监视摄像模块5，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
传输模块，用于将所述视网膜图像传输至服务器。
上述技术方案的有益效果：保证采集到的视网膜图像就是眼睛看到的实际图像，使得虚实图像融合精度高，畸变小。同时基于服务器可以实现监控。
根据本发明的一些实施例，还包括：监测模块，用于监测所述微振镜平台的位置信息和工作状态信息并进行显示。
上述技术方案的有益效果：实现对微振镜平台的位置信息和工作状态信息监测，在发生异常情况时，便于及时处理。
根据本发明的一些实施例，还包括，确定模块，用于：
获取包括眼镜的检测图像；
确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；
计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；
在确定所述比值大于预设比值时，获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；
在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；
对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；
将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；
根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；
根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；
根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
上述技术方案的工作原理：确定模块，用于：获取包括眼镜的检测图像；确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；在确定所述比值大于预设比值时，表示用户对现实图像及所述虚拟图像的融合图像存在感兴趣区域。获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；所述预设区域为用户感兴趣的区域。对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
上述技术方案的有益效果：便于准确确定用户的感兴趣的区域，并获取感兴趣的区域的图像，即关注图像。确定所述关注图像包括的目标场景。根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；实现基于不同的解析模型对不同场景的图像进行解析，便于提高解析的准确性，进而保证得到兴趣标签的准确性。根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送所述图像信号端。便于播放用户感兴趣的内容，提高用户体验。
根据本发明的一些实施例，还包括：
获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；
降噪模块，用于：
对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；
将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；
根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；
计算模块，用于：
对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；
将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；
计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；
显示模块，用于：
在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；
根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；
将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；
计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；
将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
上述技术方案的工作原理：获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；降噪模块，用于：对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；计算模块，用于：对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；显示模块，用于：在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
上述技术方案的有益效果：根据在得到所述投射图像前预设时间段内各个通道电极采集的脑电信号，准确确定脑电特征信息，即能量特征值的拟合曲线，计算所述拟合曲线与预设拟合曲线的匹配度，进而准确判断用户对所述投射图像是否感兴趣。在确定用户对投射图像感兴趣时，获取在得到投射图像后预设时间段内的眼动数据；基于眼动数据准确确定用户对所述投射图像中感兴趣的区域，并对感兴趣的区域基于感兴趣的程度进行排序，并将排序结果进行显示，便于清楚的了解用户的感兴趣的信息，并根据用户的感兴趣的信息设置投射内容，便于提高用户体验。
在一实施例中，计算所述拟合曲线与预设拟合曲线的匹配度，包括：
对所述拟合曲线进行分割，得到n段子拟合曲线；
对所述预设拟合曲线进行分割，得到n段子预设拟合曲线；
计算所述拟合曲线与预设拟合曲线的匹配度P：
Figure BDA0003647133360000141
其中，pi为第i段子拟合曲线与第i段子预设拟合曲线的匹配度。
上述技术方案的工作原理及有益效果：将拟合曲线及预设拟合曲线分别进行分割，并且分割成相同数量的子拟合曲线及子预设拟合曲线，分别确定各个子拟合曲线与对应的子预设拟合曲线的匹配度，进而准确计算出拟合曲线及预设拟合曲线的匹配度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，包括：支架、设置在所述支架上的MEMS双向微振扫描显示组件及设置在所述支架内侧的视力矫正镜片；其中，
所述MEMS双向微振扫描显示组件用于形成全彩平行点光源，通过X轴与Y轴双向微振扫描，并投射至视网膜上，得到投射图像；
所述视力矫正镜片，用于实现视力矫正；
还包括：
获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；
降噪模块，用于：
对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；
将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；
根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；
计算模块，用于：
对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；
将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；
计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；
显示模块，用于：
在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；
根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；
将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；
计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；
将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
2.如权利要求1所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，所述MEMS双向微振扫描显示组件包括：微振镜平台及设置在所述微振镜平台上的MEMS双轴微振镜、全彩单像素点、聚光准直微透镜、无线驱动电路；其中，
所述无线驱动电路，用于发出控制指令及供电，使得所述微振镜平台产生在X轴和Y轴两个方向上的扫描动作；
固定于所述微振镜平台中心点上的全彩单像素点发出的光经所述聚光准直微透镜汇聚准直后成为一个全彩平行点光源，在所述微振镜平台的带动下，使得所述全彩平行点光源投射在视网膜上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜上成像。
3.如权利要求2所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，所述无线驱动电路还用于：
接收图像信号端输入的图像信号，根据所述图像信号生成待显示图像；
获取所述待显示图像的每个像素点的RGB颜色值；所述RGB颜色值包括R通道值、G通道值、B通道值；
将所述RGB颜色值对应的R通道值、G通道值、B通道值的亮度信号分别传送至固定于微振镜平台上的RGB全彩单像素点上，根据所述RGB全彩单像素点在所述视网膜上显示出目标图像。
4.如权利要求2所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，所述X轴的谐振频率与Y轴的谐振频率不一致。
5.如权利要求3所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，还包括：
无线组件，分别与所述无线驱动电路及所述图像信号端连接，用于实现所述无线驱动电路与所述图像信号端之间的无线信号传输。
6.如权利要求1所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，还包括：
视网膜监视摄像模块，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
传输模块，用于将所述视网膜图像传输至服务器。
7.如权利要求2所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，还包括：监测模块，用于监测所述微振镜平台的位置信息和工作状态信息并进行显示。
8.如权利要求3所述的基于双向微振扫描投射成像的隐形MR眼镜系统，其特征在于，还包括，确定模块，用于：
获取包括眼镜的检测图像；
确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；
计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；
在确定所述比值大于预设比值时，获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；
在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；
对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；
将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；
根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；
根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；
根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
CN202210537763.4A 2022-05-17 2022-05-17 一种基于双向微振扫描投射成像的隐形mr眼镜系统 Active CN114815262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537763.4A CN114815262B (zh) 2022-05-17 2022-05-17 一种基于双向微振扫描投射成像的隐形mr眼镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537763.4A CN114815262B (zh) 2022-05-17 2022-05-17 一种基于双向微振扫描投射成像的隐形mr眼镜系统

Publications (2)

Publication Number Publication Date
CN114815262A CN114815262A (zh) 2022-07-29
CN114815262B true CN114815262B (zh) 2023-04-07

Family

ID=82515007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537763.4A Active CN114815262B (zh) 2022-05-17 2022-05-17 一种基于双向微振扫描投射成像的隐形mr眼镜系统

Country Status (1)

Country Link
CN (1) CN114815262B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2893694C (en) * 2011-12-06 2019-05-14 E-Vision Smart Optics, Inc. Systems, devices, and/or methods for providing images
US20180074330A1 (en) * 2016-09-12 2018-03-15 Michael Callahan Method And System For A Visual Overlay Display
US10474230B2 (en) * 2016-12-15 2019-11-12 Tectus Corporation Brightness control for an augmented reality eye-mounted display
US10642352B2 (en) * 2017-05-18 2020-05-05 Tectus Coporation Gaze calibration via motion detection for eye-mounted displays
US10580349B2 (en) * 2018-02-09 2020-03-03 Tectus Corporation Backplane for eye-mounted display
US10481403B2 (en) * 2018-02-15 2019-11-19 Tectus Corporation Contact lens with retinal camera
DE102018221438A1 (de) * 2018-12-11 2020-06-18 Robert Bosch Gmbh Projektionsvorrichtung, Mikroscanner sowie Datenbrille
CN113655615A (zh) * 2020-05-12 2021-11-16 蒋晶 大出瞳光学显示装置、近眼显示装置及图像投射方法
CN112507799B (zh) * 2020-11-13 2023-11-24 幻蝎科技(武汉)有限公司 基于眼动注视点引导的图像识别方法、mr眼镜及介质
CN113570624A (zh) * 2021-07-30 2021-10-29 平安科技（深圳）有限公司 基于智能穿戴眼镜的前景信息提示方法及相关设备

Also Published As

Publication number Publication date
CN114815262A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN108780229B (zh) 眼睛图像采集、选择和组合
US6757422B1 (en) Viewpoint position detection apparatus and method, and stereoscopic image display system
EP2638693B1 (en) Automatic variable virtual focus for augmented reality displays
CN110703904B (zh) 一种基于视线跟踪的增强虚拟现实投影方法及系统
CN106484116B (zh) 媒体文件的处理方法和装置
CN111202663A (zh) 一种基于vr技术的视觉训练学习系统
CN105518416A (zh) 基于透视头戴式设备的导航方法
CN103281959A (zh) 视觉疲劳度测定装置、视觉疲劳度测定方法、视觉疲劳度测定系统及三维眼镜
CN110502100A (zh) 基于眼动跟踪的虚拟现实交互方法及装置
WO2003079272A1 (en) Materials and methods for simulating focal shifts in viewers using large depth of focus displays
CN101634750A (zh) 具有变焦距透镜的头戴显示器
US20140198297A1 (en) Using a 3d display to train a weak eye
CN111710050A (zh) 一种用于虚拟现实设备的图像处理方法及装置
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
US20220148218A1 (en) System and method for eye tracking
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
CN114730216A (zh) 用于眼睛跟踪的显示器下的图像传感器
CN107307981B (zh) 头戴显示设备的控制方法
CN106095106A (zh) 虚拟现实终端及其显示光心距的调整方法及装置
JP2001340300A (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
CN115668106A (zh) 基于图像的神经网络分析的增强眼睛跟踪技术
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、系统
CN114815262B (zh) 一种基于双向微振扫描投射成像的隐形mr眼镜系统
CN112419986A (zh) 头戴式显示设备的图像显示方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant