CN114624883A - 一种基于柔性曲面透明微显示屏的混合现实眼镜系统 - Google Patents
一种基于柔性曲面透明微显示屏的混合现实眼镜系统 Download PDFInfo
- Publication number
- CN114624883A CN114624883A CN202210217991.3A CN202210217991A CN114624883A CN 114624883 A CN114624883 A CN 114624883A CN 202210217991 A CN202210217991 A CN 202210217991A CN 114624883 A CN114624883 A CN 114624883A
- Authority
- CN
- China
- Prior art keywords
- curved surface
- flexible curved
- display screen
- micro
- voice signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 10
- 210000001525 retina Anatomy 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 48
- 230000005540 biological transmission Effects 0.000 claims description 41
- 210000000695 crystalline len Anatomy 0.000 claims description 32
- 210000001508 eye Anatomy 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/04—Contact lenses for the eyes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
- G09F9/301—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements flexible foldable or roll-able electronic displays, e.g. thin LCD, OLED
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于柔性曲面透明微显示屏的混合现实眼镜系统，包括：从外至内依次排列的柔性曲面透明微显示屏、曲面聚光微透镜阵列、屈光度矫正透镜；其中，所述柔性曲面透明微显示屏显示微图像；所述柔性曲面透明微显示屏的像素点按预设占空比大间隔交错排列；所述曲面聚光微透镜阵列与所述柔性曲面透明微显示屏中心对齐；所述屈光度矫正透镜，用于实现视力矫正。从而实现虚拟图像和现实图像叠加融合成像于视网膜上，实现混合现实的人眼观感，且成像的视场角大、亮度高、畸变小。
Description
技术领域
本发明涉及混合现实技术领域，特别涉及一种基于柔性曲面透明微显示屏的混合现实眼镜系统。
背景技术
混合现实是一种将现实世界信息和虚拟世界信息“无缝”集成的新技术，它将计算机生成的图形叠加到现实世界中，不仅展现了现实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。混合现实技术已广泛应用于医疗、军事、工业、电视转播、娱乐、旅游等领域。现有技术中存在以下技术问题：1、传统框式眼镜结构：体积大；2、传统的混合现实眼镜采用平面微显示屏：虚拟成像尺寸小、视角角窄，亮度低、成像畸变大；3、传统光学成像系统：光学系统复杂、体积大、重量大、虚拟成像的视场角小、畸变大、虚实结合精度低、融入感差、眩晕感强。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于柔性曲面透明微显示屏的混合现实眼镜系统，采用隐形眼镜结构，体积小，重量轻；采用柔性曲面透明微显示屏+微透镜阵列光学系统，可以实现视网膜直接成像且视场角大、亮度高、畸变小。柔性曲面透明微显示屏的像素点阵采用交错大间隔排列方式：不会全遮挡住入眼光线，让眼睛即可以看见球面显示屏的虚拟图像也看见外部环境的现实场景，从而可以实现现实场景和虚拟图像的融合显示。
为达到上述目的，本发明实施例提出了一种基于柔性曲面透明微显示屏的混合现实眼镜系统，包括：
从外至内依次排列的柔性曲面透明微显示屏、曲面聚光微透镜阵列、屈光度矫正透镜；其中，
所述柔性曲面透明微显示屏显示微图像；所述柔性曲面透明微显示屏的像素点按预设占空比大间隔交错排列；
所述曲面聚光微透镜阵列与所述柔性曲面透明微显示屏中心对齐；所述曲面聚光微透镜阵列包括与所述柔性曲面透明微显示屏的像素点相同数量的微透镜，所述微透镜与所述柔性曲面透明微显示屏的像素点中心对齐，每个微透镜用于将柔性曲面透明微显示屏像素点发出的离散光汇聚成一个聚合的光点，经过所述屈光度矫正透镜后进入人眼，然后通过眼球晶状体后投射到视网膜上，形成投射像素点；根据所述投射像素点构建虚拟图像；
根据所述柔性曲面透明微显示屏未被像素点遮盖的地方透过外部的光线，而使得眼睛看到现实图像；
将所述现实图像及所述虚拟图像进行融合显示；
所述屈光度矫正透镜，用于实现视力矫正。
根据本发明的一些实施例，所述柔性曲面透明微显示屏的像素点间距范围为0.5-5um。
根据本发明的一些实施例，所述曲面聚光微透镜阵列的厚度范围为0.1-1.0mm。
根据本发明的一些实施例，所述柔性曲面透明微显示屏包括左眼显示屏及右眼显示屏。
根据本发明的一些实施例，还包括：
无线组件，与所述柔性曲面透明微显示屏连接，用于为所述柔性曲面透明微显示屏实现无线充能及无线信号传输。
根据本发明的一些实施例，所述微透镜的曲率半径为0.5um-10um。
根据本发明的一些实施例，还包括：
微型视网膜成像监控摄像模块，用于：
采集当前帧视网膜上的现实图像；
采集当前帧的下一帧视网膜上的现实图像及虚拟图像的混合图像；
将当前帧视网膜上的现实图像及当前帧的下一帧视网膜上的现实图像及虚拟图像的混合图像作为一组对比图像发送至图像处理模块；
所述图像处理模块，用于：
接收对比图像并进行对比处理，将处理结果与预设的虚拟图像进行比较，根据比较结果得到控制偏差参数，根据所述偏差参数调整预设的虚拟图像。
根据本发明的一些实施例，还包括：无线传输模块，用于：
获取虚拟图像信号、混合图像信号及控制模块生成的控制信号，进行打包处理，得到打包数据，将所述打包数据分为第一部分数据及第二部分数据；所述第一部分数据包括建立传输通道请求；
将所述第一部分数据基于透传的传输方式传输至服务器；
服务器对所述第一部分数据进行验证，在确定验证通过时，建立传输通道，并将所述第一部分数据基于所述传输通道进行两次传输，服务器获取第一接收数据及第二接收数据；
获取所述第一接收数据的第一指标信息及所述第二接收数据的第二指标信息；
根据所述第一指标信息及所述第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度，并与预设匹配度进行比较；
在确定所述匹配度大于预设匹配度时，将所述第二部分数据基于所述传输通道进行传输。
根据本发明的一些实施例，还包括：
采集模块，用于采集语音信号；
信号处理模块，用于：
对所述语音信号进行分帧加窗及短时傅里叶变换处理，得到频域语音信号；将所述频域语音信号分割为若干个子频域语音信号；
获取若干个子频域语音信号的频率，并分别与预设频率进行比较；
筛选出频率小于等于预设频率的子频域语音信号，作为第一子频域语音信号；对所述第一子频域语音信号进行解析，确定对应的频谱图，对所述频谱图进行特征提取，确定频谱图中包括的谱线上各个谱点的能量值，确定能量值最大对应的谱点，作为目标谱点；获取所述目标谱点对应的频率值，作为目标频率值，根据所述目标频率值查询预设数据表，得到滤波系数，根据所述滤波系数对所述第一子频率语音信号进行滤波处理；
筛选出频率大于预设频率的子频域语音信号，作为第二子频域语音信号；将所述第二子频域语音信号输入噪声识别模型，输出噪声帧及语音帧；获取经过滤波处理后的第一子频率语音信号的第一功率参数，并确定最大功率参数；获取所述噪声帧的第二功率参数；根据所述第二功率参数及所述最大功率参数对所述噪声帧进行功率抑制处理，得到处理信号；
根据经过滤波处理后的第一子频率语音信号、语音帧及所述处理信号进行信号重构，得到目标语音信号；
发送模块，用于将所述目标语音信号发送至服务器。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的一种基于柔性曲面透明微显示屏的混合现实眼镜系统的示意图。
附图标记：柔性曲面透明微显示屏1、曲面聚光微透镜阵列2、屈光度矫正透镜3、晶状体4、像素点5、视网膜6。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提出了一种基于柔性曲面透明微显示屏1的混合现实眼镜系统，包括：
从外至内依次排列的柔性曲面透明微显示屏1、曲面聚光微透镜阵列2、屈光度矫正透镜3；其中，
所述柔性曲面透明微显示屏1显示微图像；所述柔性曲面透明微显示屏1的像素点5按预设占空比大间隔交错排列；
所述曲面聚光微透镜阵列2与所述柔性曲面透明微显示屏1中心对齐；所述曲面聚光微透镜阵列2包括与所述柔性曲面透明微显示屏的像素点相同数量的微透镜，所述微透镜与所述柔性曲面透明微显示屏的像素点中心对齐，每个微透镜用于将柔性曲面透明微显示屏1像素点5发出的离散光汇聚成一个聚合的光点，经过所述屈光度矫正透镜3后进入人眼，然后通过眼球晶状体4后投射到视网膜6上，形成投射像素点；根据所述投射像素点构建虚拟图像；
根据所述柔性曲面透明微显示屏1未被像素点5遮盖的地方透过外部的光线，而使得眼睛看到现实图像；
将所述现实图像及所述虚拟图像进行融合显示；
所述屈光度矫正透镜3，用于实现视力矫正。
根据本发明的一些实施例，所述柔性曲面透明微显示屏1的像素点5间距范围为0.5-5um。。
根据本发明的一些实施例，所述曲面聚光微透镜阵列2的厚度范围为0.1-1.0mm。
根据本发明的一些实施例，所述柔性曲面透明微显示屏1包括左眼显示屏及右眼显示屏。
根据本发明的一些实施例，所述曲面聚光微透镜阵列2为球面微透镜阵列或为其他曲面微透镜阵列。本发明对曲面聚光微透镜阵列的曲面形状不做具体限定。
根据本发明的一些实施例，所述微透镜的曲率半径为0.5um-10um。
上述技术方案的工作原理：所述柔性曲面透明微显示屏1显示微图像，所述曲面聚光微透镜阵列2与微显示屏中心对齐，所述微透镜阵列的每个微透镜与所述的微显示屏的每个像素点5中心对齐；所述柔性曲面透明微显示屏1的像素点5按一定的占空比大间隔交错排列，保证未被像素点5遮盖的地方可以透过外部的光线，而使得眼睛既可以看到外部现实环境的景象，也可以看见由微显示屏像素点5组成的虚拟图像，从而可以实现现实场景和虚拟图像的融合显示；所述微透镜用于将微显示屏像素点5发出的离散光汇聚成一个聚合的光点，然后通过眼球晶状体4后投射到视网膜6上，让人感觉看到一个像素点5；所述微显示屏的每个像素点5经过对应的微透镜阵列后，形成一束束汇聚光经过屈光度矫正透镜3后进入人眼，再经过眼球晶状体4后被投射到视网膜6，视网膜6上形成一个聚合光点集合的微图像而形成虚拟图像，空间中现实物体发出的光线经柔性曲面透明微显示屏1没有像素点5覆盖的透明部分进入人眼，从而可以实现现实场景和虚拟图像的融合显示，实现混合现实的效果；所述屈光度矫正透镜3，是根据不同人眼的视力配合不同屈光度透镜，实现视力矫正。
上述技术方案的有益效果：采用隐形眼镜结构，体积小，重量轻；采用柔性曲面透明微显示屏1+微透镜阵列光学系统，可以实现视网膜6直接成像且视场角大、亮度高、畸变小。柔性曲面透明微显示屏1的像素点5阵采用交错大间隔排列方式：不会全遮挡住入眼光线，让眼睛即可以看见球面显示屏的虚拟图像也看见外部环境的现实场景，从而可以实现现实场景和虚拟图像的融合显示。
根据本发明的一些实施例，还包括：
无线组件，与所述柔性曲面透明微显示屏1连接，用于为所述柔性曲面透明微显示屏1实现无线充能及无线信号传输。
上述技术方案的工作原理：提高数据传输及充能的方便性。
在一实施例中，还包括：
微型视网膜成像监控摄像模块，用于：
采集当前帧视网膜上的现实图像；
采集当前帧的下一帧视网膜上的现实图像及虚拟图像的混合图像；
将当前帧视网膜上的现实图像及当前帧的下一帧视网膜上的现实图像及虚拟图像的混合图像作为一组对比图像发送至图像处理模块；
所述图像处理模块，用于：
接收对比图像并进行对比处理，将处理结果与预设的虚拟图像进行比较，根据比较结果得到控制偏差参数，根据所述偏差参数调整预设的虚拟图像。
上述技术方案的有益效果：从而让虚拟图像和现实图像融合的更精准，减少了眩晕感和提高了虚拟成像的精确度。
在一实施例中，还包括：无线传输模块，用于：
获取虚拟图像信号、混合图像信号及控制模块生成的控制信号，进行打包处理，得到打包数据，将所述打包数据分为第一部分数据及第二部分数据；所述第一部分数据包括建立传输通道请求；
将所述第一部分数据基于透传的传输方式传输至服务器；
服务器对所述第一部分数据进行验证，在确定验证通过时，建立传输通道，并将所述第一部分数据基于所述传输通道进行两次传输，服务器获取第一接收数据及第二接收数据；
获取所述第一接收数据的第一指标信息及所述第二接收数据的第二指标信息；
根据所述第一指标信息及所述第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度，并与预设匹配度进行比较；
在确定所述匹配度大于预设匹配度时，将所述第二部分数据基于所述传输通道进行传输。
上述技术方案的工作原理：获取虚拟图像信号、混合图像信号及控制模块生成的控制信号，进行打包处理，得到打包数据，将所述打包数据分为第一部分数据及第二部分数据；所述第一部分数据包括建立传输通道请求；所述第一部分数据还包括重要等级较低的数据。第二部分数据包括重要等级较高的数据。将所述第一部分数据基于透传的传输方式传输至服务器；服务器对所述第一部分数据进行验证，在确定验证通过时，建立传输通道，并将所述第一部分数据基于所述传输通道进行两次传输，服务器获取第一接收数据及第二接收数据；获取所述第一接收数据的第一指标信息及所述第二接收数据的第二指标信息；根据所述第一指标信息及所述第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度，并与预设匹配度进行比较；在确定所述匹配度大于预设匹配度时，将所述第二部分数据基于所述传输通道进行传输。第一指标信息或第二指标信息包括大小、类型、关键词、源地址、敏感度等。
上述技术方案的有益效果：基于透传的传输方式实现对第一部分数据的有效及快速传输，便于与服务器快速建立传输通道。但是透传的传输方式安全性不高，因此重要数据及大容量数据还需通过传输通道进行传输。在建立传输通道后，对建立的传输通道进行通道质量及连接稳定性进行验证，将第一部分数据两次基于建立的传输通道进行传输，服务器得到第一接收数据及第二接收数据。计算所述第一接收数据与所述第二接收数据的匹配度，在确定所述匹配度大于预设匹配度时，表示建立的传输通道的通道质量得到保证，进而将第二部分数据基于所述传输通道进行传输，提高对重要等级数据的重点保护，提高了数据传输安全性。
根据所述第一指标信息及所述第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度，包括：
获取所述第一指标信息包括的指标数量及所述第二指标信息包括的指标数量，并判断是否相等，在确定所述第一指标信息包括的指标数量与所述第二指标信息包括的指标数量相等时，判断所述指标数量是否为奇数，在确定所述指标数量不是奇数时，获取第一指标信息中包括的各项指标的优先级信息，确定优先级最低的指标并剔除，并将所述第二指标信息中对应的指标也剔除，得到修正第一指标信息及修正第二指标信息；
根据所述修正第一指标信息及修正第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度P(an,am)
其中，an,s为第一接收数据an的修正第一指标信息中包括的第s个指标的值；am,s为第二接收数据am的修正第二指标信息中包括的第s个指标的值；G为修正第一指标信息中包括的指标数量，也为修正第二指标信息中包括的指标数量，且修正第一指标信息中包括的指标数量与修正第二指标信息中包括的指标数量相等；max an,s，am,s为an,s及am,s中的较大值。
上述技术方案的工作原理及有益效果：在确定所述第一指标信息包括的指标数量与所述第二指标信息包括的指标数量不相等时，直接判定建立的传输通道不合格。在确定所述第一指标信息包括的指标数量与所述第二指标信息包括的指标数量相等时，判断所述指标数量是否为奇数，在确定所述指标数量不是奇数时，获取第一指标信息中包括的各项指标的优先级信息，确定优先级最低的指标并剔除，并将所述第二指标信息中对应的指标也剔除，得到修正第一指标信息及修正第二指标信息；根据所述修正第一指标信息及修正第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度。基于上述公式准确计算出第一接收数据与所述第二接收数据的匹配度，进而提高了判断匹配度与预设匹配度大小的准确性。
根据本发明的一些实施例，还包括：
采集模块，用于采集语音信号；
信号处理模块，用于：
对所述语音信号进行分帧加窗及短时傅里叶变换处理，得到频域语音信号；将所述频域语音信号分割为若干个子频域语音信号；
获取若干个子频域语音信号的频率，并分别与预设频率进行比较；
筛选出频率小于等于预设频率的子频域语音信号，作为第一子频域语音信号；对所述第一子频域语音信号进行解析，确定对应的频谱图，对所述频谱图进行特征提取，确定频谱图中包括的谱线上各个谱点的能量值，确定能量值最大对应的谱点，作为目标谱点；获取所述目标谱点对应的频率值，作为目标频率值，根据所述目标频率值查询预设数据表，得到滤波系数，根据所述滤波系数对所述第一子频率语音信号进行滤波处理；
筛选出频率大于预设频率的子频域语音信号，作为第二子频域语音信号；将所述第二子频域语音信号输入噪声识别模型，输出噪声帧及语音帧；获取经过滤波处理后的第一子频率语音信号的第一功率参数，并确定最大功率参数；获取所述噪声帧的第二功率参数；根据所述第二功率参数及所述最大功率参数对所述噪声帧进行功率抑制处理，得到处理信号；
根据经过滤波处理后的第一子频率语音信号、语音帧及所述处理信号进行信号重构，得到目标语音信号；
发送模块，用于将所述目标语音信号发送至服务器。
上述技术方案的工作原理：采集模块，用于采集语音信号；信号处理模块，用于：对所述语音信号进行分帧加窗及短时傅里叶变换处理，得到频域语音信号；将所述频域语音信号分割为若干个子频域语音信号；获取若干个子频域语音信号的频率，并分别与预设频率进行比较；筛选出频率小于等于预设频率的子频域语音信号，作为第一子频域语音信号；即低频信号。对所述第一子频域语音信号进行解析，确定对应的频谱图，对所述频谱图进行特征提取，确定频谱图中包括的谱线上各个谱点的能量值，确定能量值最大对应的谱点，作为目标谱点；获取所述目标谱点对应的频率值，作为目标频率值，根据所述目标频率值查询预设数据表，得到滤波系数，根据所述滤波系数对所述第一子频率语音信号进行滤波处理；预设数据表为频率值-滤波系数对应表。筛选出频率大于预设频率的子频域语音信号，作为第二子频域语音信号；即高频信号。将所述第二子频域语音信号输入噪声识别模型，输出噪声帧及语音帧；获取经过滤波处理后的第一子频率语音信号的第一功率参数，并确定最大功率参数；获取所述噪声帧的第二功率参数；根据所述第二功率参数及所述最大功率参数对所述噪声帧进行功率抑制处理，得到处理信号；根据经过滤波处理后的第一子频率语音信号、语音帧及所述处理信号进行信号重构，得到目标语音信号；发送模块，用于将所述目标语音信号发送至服务器。
上述技术方案的有益效果：将语音信号进行解析，确定低频信号及高频信号；对低频信号基于目标频率值查询预设数据表，得到滤波系数进行滤波处理，对第一子频域语音信号基于对应的滤波系数进行滤波处理，得到了降噪准确性，进而保证获取的第一子频域语音信号的功率参数的准确性，进而有利于后面步骤中对噪声帧进行率抑制处理。基于预先训练好的噪声识别模型，实现对第二子频域语音信号的准确识别，确定语音帧及噪声帧，只对噪声帧进行功率抑制处理，减少了处理量，提高了处理效率，得到目标语音信号，并发送至服务器。便于用户基于目标语音信号发送语音指令，便于从服务器调取出相应的数据进行显示，实现语音智能控制，提高用户体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，包括：
从外至内依次排列的柔性曲面透明微显示屏、曲面聚光微透镜阵列、屈光度矫正透镜；其中，
所述柔性曲面透明微显示屏显示微图像；所述柔性曲面透明微显示屏的像素点按预设占空比大间隔交错排列；
所述曲面聚光微透镜阵列与所述柔性曲面透明微显示屏中心对齐；所述曲面聚光微透镜阵列包括与所述柔性曲面透明微显示屏的像素点相同数量的微透镜，所述微透镜与所述柔性曲面透明微显示屏的像素点中心对齐，每个微透镜用于将柔性曲面透明微显示屏像素点发出的离散光汇聚成一个聚合的光点，经过所述屈光度矫正透镜后进入人眼，然后通过眼球晶状体后投射到视网膜上，形成投射像素点；根据所述投射像素点构建虚拟图像；
根据所述柔性曲面透明微显示屏未被像素点遮盖的地方透过外部的光线，而使得眼睛看到现实图像；
将所述现实图像及所述虚拟图像进行融合显示；
所述屈光度矫正透镜，用于实现视力矫正。
2.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，所述柔性曲面透明微显示屏的像素点间距范围为0.5-5um。
3.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，所述曲面聚光微透镜阵列的厚度范围为0.1-1.0mm。
4.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，所述柔性曲面透明微显示屏包括左眼显示屏及右眼显示屏。
5.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，还包括：
无线组件，与所述柔性曲面透明微显示屏连接，用于为所述柔性曲面透明微显示屏实现无线充能及无线信号传输。
6.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，所述微透镜的曲率半径为0.5um-10um。
7.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，还包括：
微型视网膜成像监控摄像模块，用于：
采集当前帧视网膜上的现实图像；
采集当前帧的下一帧视网膜上的现实图像及虚拟图像的混合图像；
将当前帧视网膜上的现实图像及当前帧的下一帧视网膜上的现实图像及虚拟图像的混合图像作为一组对比图像发送至图像处理模块；
所述图像处理模块，用于：
接收对比图像并进行对比处理，将处理结果与预设的虚拟图像进行比较，根据比较结果得到控制偏差参数，根据所述偏差参数调整预设的虚拟图像。
8.如权利要求7所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，还包括：无线传输模块，用于：
获取虚拟图像信号、混合图像信号及控制模块生成的控制信号，进行打包处理，得到打包数据，将所述打包数据分为第一部分数据及第二部分数据；所述第一部分数据包括建立传输通道请求；
将所述第一部分数据基于透传的传输方式传输至服务器；
服务器对所述第一部分数据进行验证，在确定验证通过时，建立传输通道，并将所述第一部分数据基于所述传输通道进行两次传输，服务器获取第一接收数据及第二接收数据；
获取所述第一接收数据的第一指标信息及所述第二接收数据的第二指标信息；
根据所述第一指标信息及所述第二指标信息计算所述第一接收数据与所述第二接收数据的匹配度，并与预设匹配度进行比较；
在确定所述匹配度大于预设匹配度时，将所述第二部分数据基于所述传输通道进行传输。
9.如权利要求1所述的一种基于柔性曲面透明微显示屏的混合现实眼镜系统，其特征在于，还包括：
采集模块，用于采集语音信号；
信号处理模块，用于：
对所述语音信号进行分帧加窗及短时傅里叶变换处理，得到频域语音信号；将所述频域语音信号分割为若干个子频域语音信号；
获取若干个子频域语音信号的频率，并分别与预设频率进行比较；
筛选出频率小于等于预设频率的子频域语音信号，作为第一子频域语音信号；对所述第一子频域语音信号进行解析，确定对应的频谱图，对所述频谱图进行特征提取，确定频谱图中包括的谱线上各个谱点的能量值，确定能量值最大对应的谱点，作为目标谱点；获取所述目标谱点对应的频率值，作为目标频率值，根据所述目标频率值查询预设数据表，得到滤波系数，根据所述滤波系数对所述第一子频率语音信号进行滤波处理；
筛选出频率大于预设频率的子频域语音信号，作为第二子频域语音信号；将所述第二子频域语音信号输入噪声识别模型，输出噪声帧及语音帧；获取经过滤波处理后的第一子频率语音信号的第一功率参数，并确定最大功率参数；获取所述噪声帧的第二功率参数；根据所述第二功率参数及所述最大功率参数对所述噪声帧进行功率抑制处理，得到处理信号；
根据经过滤波处理后的第一子频率语音信号、语音帧及所述处理信号进行信号重构，得到目标语音信号；
发送模块，用于将所述目标语音信号发送至服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210217991.3A CN114624883B (zh) | 2022-03-08 | 2022-03-08 | 一种基于柔性曲面透明微显示屏的混合现实眼镜系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210217991.3A CN114624883B (zh) | 2022-03-08 | 2022-03-08 | 一种基于柔性曲面透明微显示屏的混合现实眼镜系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114624883A true CN114624883A (zh) | 2022-06-14 |
| CN114624883B CN114624883B (zh) | 2022-10-04 |
Family
ID=81900621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210217991.3A Active CN114624883B (zh) | 2022-03-08 | 2022-03-08 | 一种基于柔性曲面透明微显示屏的混合现实眼镜系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114624883B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006292883A (ja) * | 2005-04-07 | 2006-10-26 | Sony Corp | 画像表示装置および方法 |
| US20140105407A1 (en) * | 2012-10-11 | 2014-04-17 | International Business Machines Corporation | Reducing noise in a shared media sesssion |
| CN104994054A (zh) * | 2015-03-19 | 2015-10-21 | 数据通信科学技术研究所 | 基于td-scdma透传语音信道传输分组数据的方法、移动终端 |
| CN104994546A (zh) * | 2015-03-19 | 2015-10-21 | 数据通信科学技术研究所 | 基于cdma透传语音信道传输分组数据的方法、移动终端 |
| US20180025521A1 (en) * | 2015-01-30 | 2018-01-25 | Ent. Services Development Corporation Lp | Dynamic modulation for near eye display |
| US20180173304A1 (en) * | 2016-12-15 | 2018-06-21 | Spy Eye, Llc | Brightness control for an augmented reality eye-mounted display |
| CN110914786A (zh) * | 2017-05-29 | 2020-03-24 | 爱威愿景有限公司 | 用于在外部场景与虚拟图像之间配准的方法和系统 |
| WO2021148548A1 (fr) * | 2020-01-21 | 2021-07-29 | Institut Mines Telecom | Lentille de contact pour réalité augmentée et procédé correspondant |
| US20210343033A1 (en) * | 2020-05-01 | 2021-11-04 | Tectus Corporation | Stabilizing images produced by eye-mounted displays, based on images of the external environment captured by eye-mounted imaging devices |
-
2022
- 2022-03-08 CN CN202210217991.3A patent/CN114624883B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006292883A (ja) * | 2005-04-07 | 2006-10-26 | Sony Corp | 画像表示装置および方法 |
| US20140105407A1 (en) * | 2012-10-11 | 2014-04-17 | International Business Machines Corporation | Reducing noise in a shared media sesssion |
| US20180025521A1 (en) * | 2015-01-30 | 2018-01-25 | Ent. Services Development Corporation Lp | Dynamic modulation for near eye display |
| CN104994054A (zh) * | 2015-03-19 | 2015-10-21 | 数据通信科学技术研究所 | 基于td-scdma透传语音信道传输分组数据的方法、移动终端 |
| CN104994546A (zh) * | 2015-03-19 | 2015-10-21 | 数据通信科学技术研究所 | 基于cdma透传语音信道传输分组数据的方法、移动终端 |
| US20180173304A1 (en) * | 2016-12-15 | 2018-06-21 | Spy Eye, Llc | Brightness control for an augmented reality eye-mounted display |
| CN110914786A (zh) * | 2017-05-29 | 2020-03-24 | 爱威愿景有限公司 | 用于在外部场景与虚拟图像之间配准的方法和系统 |
| WO2021148548A1 (fr) * | 2020-01-21 | 2021-07-29 | Institut Mines Telecom | Lentille de contact pour réalité augmentée et procédé correspondant |
| US20210343033A1 (en) * | 2020-05-01 | 2021-11-04 | Tectus Corporation | Stabilizing images produced by eye-mounted displays, based on images of the external environment captured by eye-mounted imaging devices |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114624883B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10191276B2 (en) | Imaging adjustment device and imaging adjustment method | |
| US10180581B2 (en) | Image correction method and system for adjustable virtual reality helmet | |
| CN106309089B (zh) | Vr视力矫正方法及装置 | |
| US10048750B2 (en) | Content projection system and content projection method | |
| CN104777622B (zh) | 基于视觉系统特性的多层液晶近眼显示权重优化方法和装置 | |
| US10261345B2 (en) | Imaging adjustment device and imaging adjustment method | |
| CN106526867B (zh) | 影像画面的显示控制方法、装置及头戴式显示设备 | |
| CN102123291B (zh) | 智能型裸眼立体显示系统及其控制方法 | |
| CN108259887B (zh) | 注视点校准方法及装置、注视点标定方法及装置 | |
| WO2011017485A9 (en) | 3d autostereoscopic display with true depth perception | |
| JPWO2013175923A1 (ja) | シミュレーション装置 | |
| CN104777620B (zh) | 虚拟现实3d场景用的景深识别光学装置及其成像方法 | |
| US20090059364A1 (en) | Systems and methods for electronic and virtual ocular devices | |
| CN107260506B (zh) | 基于眼动的3d视觉训练系统、智能终端及头戴设备 | |
| CN106095106A (zh) | 虚拟现实终端及其显示光心距的调整方法及装置 | |
| CN106921857A (zh) | 立体显示系统及立体显示方法 | |
| CN112926523B (zh) | 基于虚拟现实的眼球追踪方法、系统 | |
| CN114624883B (zh) | 一种基于柔性曲面透明微显示屏的混合现实眼镜系统 | |
| CN107291233B (zh) | 头戴3d显示设备的视觉优化系统、智能终端及头戴设备 | |
| CN104216126A (zh) | 一种变焦3d显示技术 | |
| CN110007475A (zh) | 利用虚拟深度补偿视力的方法与装置 | |
| CN110840720B (zh) | 一种视力训练系统 | |
| CN211786414U (zh) | 虚拟现实显示系统 | |
| CN113960788B (zh) | 图像显示方法、装置、ar眼镜及存储介质 | |
| US20130050448A1 (en) | Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |