CN111025641B - 一种基于眼动仪的混合现实显示装置 - Google Patents

一种基于眼动仪的混合现实显示装置 Download PDF

Info

Publication number
CN111025641B
CN111025641B CN201911326131.8A CN201911326131A CN111025641B CN 111025641 B CN111025641 B CN 111025641B CN 201911326131 A CN201911326131 A CN 201911326131A CN 111025641 B CN111025641 B CN 111025641B
Authority
CN
China
Prior art keywords
information
optical system
eye tracker
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911326131.8A
Other languages
English (en)
Other versions
CN111025641A (zh
Inventor
郜禹铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201911326131.8A priority Critical patent/CN111025641B/zh
Publication of CN111025641A publication Critical patent/CN111025641A/zh
Application granted granted Critical
Publication of CN111025641B publication Critical patent/CN111025641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种基于眼动仪的混合现实显示装置，包括：眼动仪、红外测距设备、信息处理单元、光学系统调整单元、图像生成单元、光学系统和图像承载设备；所述眼动仪和红外测距设备分别与所述信息处理单元无线连接或有线连接，所述信息处理单元与所述光学系统调整单元无线连接，所述信息处理单元与所述图像生成单元无线连接，所述光学系统调整单元和所述图像生成单元分别与所述图像承载设备无线连接；光学系统调整单元用来对光学元件中的各光学镜面角度及镜面间距离进行调整；图像承载设备用来显示图像信息。本发明的有益效果是：实现了现实场景与别的位置的数字信息能够同时清晰查看的功能，且避免了数字信息遮挡视觉中心视线的问题出现。

Description

一种基于眼动仪的混合现实显示装置
技术领域
本发明涉及平视显示器领域，尤其涉及一种基于眼动仪的混合现实显示装置。
背景技术
平视显示器(英语：HeadUpDisplay，缩写HUD)是一种目前普遍运用在航空器上的飞行辅助仪器。HUD是利用光学反射的原理，将重要的飞行相关资讯投射在一片玻璃上面。这片玻璃位于座舱前端，文字和影像被投射在镀膜镜片(析光镜)并平衡反射进飞行员的眼睛。飞行员透过HUD往前方看的时候，能够轻易的将外界的景象与HUD显示的资料融合在一起。由于反射进眼睛中的影像永远与飞机的中轴平衡，所以飞行员的身高不会对俯仰角或目视瞄准造成偏差。HUD设计的用意是让飞行员不需要低头查看仪表的显示与资料，始终保持抬头的姿态，降低低头与抬头之间忽略外界环境的快速变化以及眼睛焦距需要不断调整产生的延迟与不适。HUD投射的资料主要与飞行安全有重要关系，譬如飞行高度，飞行速度，航向，垂直速率变化，飞机倾斜角度等等。使用于战斗环境时，还会加上目标资料，武器，目视瞄准器与发射的相关资料，预估命中点等等。这些显示的资料能够根据不同状况而变换。但是还存在着对不同距离物体需要调整焦距和在固定屏幕上时固定的成像会存在阻挡视线的情况的问题，不能同时看到现实场景和反射图像生成单元产生的数字信息的场景。
发明内容
为了解决上述问题，本发明提供了一种基于眼动仪的混合现实显示装置，
该混合现实显示装置包括：眼动仪、红外测距设备、信息处理单元、光学系统调整单元、图像生成单元、光学系统和图像承载设备；所述眼动仪的输出端和所述红外测距设备的输出端分别与所述信息处理单元的输入端连接，所述信息处理单元的输出端分别与所述眼动仪的输入端、所述红外测距设备的输入端、光学系统调整单元的输入端和图像生成单元的输入端连接，所述信息处理单元的输出端与图像生成单元的输入端连接，所述光学系统的输入端分别与光学系统调整单元的输出端和图像生成单元的输出端连接，所述光学系统的输出端与所述所述图像承载设备的输入端连接；
所述眼动仪用来实时采集人眼的视线信息，并将所述视线信息实时发送至所述信息处理单元；所述视线信息包括总注视次数、注视持续时间、注视方向、注视点序列和第一次视线到达目标兴趣区的时间；
所述信息处理单元将接收到的注视方向信息发送至所述红外测距设备，所述红外测距设备根据所述注视方向信息，实时测量目标物与该红外测距设备的距离信息，并将该距离信息实时反馈至所述信息处理单元；所述信息处理单元将所述视线信息及所述距离信息共同处理后，分别发送图像生成指令和调整指令至所述图像生成单元和所述光学系统调整单元，所述图像生成单元根据所述图像生成指令生成目标物的图像信息，并将生成的目标物的图像信息发送至所述光学系统，所述光学系统调整单元根据所述调整指令调整所述光学系统中各光学元件的镜面角度及各镜面间的距离，使得所述目标物的图像信息经过调整后的光学系统后，在所述图像承载设备上呈现的图像信息，所述图像承载设备由透射材质制成，以便用户无障碍的同时查看目标物信息和用户前方场景。
进一步地，所述眼动仪采用的是眼动追踪技术。
进一步地，所述注视持续时间不少于100ms。
进一步地，所述注视方向信息包括注视路线及注视的目标点，根据所述目标点确定所述目标物。
进一步地，所述红外测距设备是通过红外线进行测距的。
进一步地，所述光学系统调整单元中的光学元件包括球面镜和非球面镜。
进一步地，所述光学系统调整单元中的光学元件为除了球面镜和非球面镜外的其他光学元件中的一种或多种的组合。
进一步地，所述光学系统用于调整数字信息显示的大小和区域。
本发明提供的技术方案带来的有益效果是：实现了现实场景与别的位置的数字信息能够同时清晰查看的功能，且避免了数字信息遮挡视觉中心视线的问题出现。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于眼动仪的混合现实显示装置的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于眼动仪的混合现实显示装置，该混合现实显示装置运用了AR技术、眼动追踪技术、红外测距技术和图像显示技术。
请参考图1，图1是本发明实施例中一种基于眼动仪的混合现实显示装置的流程图，具体包括：眼动仪、红外测距设备、信息处理单元、光学系统调整单元、图像生成单元、光学系统和图像承载设备；所述眼动仪和红外测距设备分别与所述信息处理单元无线连接或有线连接，所述信息处理单元与所述光学系统调整单元无线连接或有线连接，所述信息处理单元与所述图像生成单元无线连接或有线连接，所述光学系统调整单元和所述图像生成单元分别与所述图像承载设备无线连接或有线连接；
所述眼动仪的输出端和所述红外测距设备的输出端分别与所述信息处理单元的输入端连接，所述信息处理单元的输出端分别与所述眼动仪的输入端、所述红外测距设备的输入端、光学系统调整单元的输入端和图像生成单元的输入端连接，所述信息处理单元的输出端与图像生成单元的输入端连接，所述光学系统的输入端分别与光学系统调整单元的输出端和图像生成单元的输出端连接，所述光学系统的输出端与所述所述图像承载设备的输入端连接；
所述眼动仪用来实时采集人眼的视线信息，并将所述视线信息实时发送至所述信息处理单元；所述视线信息包括总注视次数、注视持续时间、注视方向、注视点序列和第一次视线到达目标兴趣区的时间；
所述信息处理单元将接收到的注视方向信息发送至所述红外测距设备，所述红外测距设备根据所述注视方向信息，实时测量目标物与该红外测距设备的距离信息，并将该距离信息实时反馈至所述信息处理单元；所述信息处理单元将所述视线信息及所述距离信息共同处理后，分别发送图像生成指令和调整指令至所述图像生成单元和所述光学系统调整单元，所述图像生成单元根据所述图像生成指令生成目标物的图像信息，并将所述目标物的图像信息发送至所述光学系统，所述光学系统调整单元根据所述调整指令调整所述光学系统中各光学元件的镜面角度及各镜面间的距离，使得所述目标物的图像信息经过调整后的光学系统后，在所述图像承载设备上呈现的图像信息显示最佳，所述最佳是指人眼看到的图像是清晰的，即通过光学系统的镜组，调整合适的焦距，在图像承载设备上显示出来的清晰虚像为最佳；所述图像承载设备由透射材质制成，以便用户无障碍的同时查看目标物信息和用户前方场景。
所述眼动仪采用的是眼动追踪技术。
根据不同视线结果体现不同效果，其中注视只是一种形式，这种技术一共有三种形式分别是：注视、跳动、平滑尾随跟踪。主要参数为：总注视次数、注视持续时间、注视方向、注视点序列和第一次视线到达目标兴趣区的时间。总注视次数主要用于空闲时数字信息显示位置的确定。注视持续时间主要用于确定数字信息在当前位置显示时长的确定。注视方向用于预测使用者注视方向下一步更有可能向那个方向进行转移，引导数字信息进行提前的微动，进行微交互。注视点序列用于研究数据信息层级，根据数据重要性进行排列。第一次到达目标兴趣区的时间可以确定数据信息在移动中的时间，使交互行为更为流畅。所述注视持续时间应不少于100ms。
所述注视方向信息包括注视路线及注视的目标点，根据所述目标点确定所述目标物。
所述红外测距设备是通过红外线进行测距的。
所述光学系统调整单元中的光学元件包括球面镜和非球面镜。
所述光学系统调整单元中的光学元件为除了球面镜和非球面镜外的其他光学元件中的一种或多种的组合。
所述光学系统用于调整数字信息显示的大小和区域。
本发明的有益效果是：实现了现实场景与别的位置的数字信息能够同时清晰查看的功能，且避免了数字信息遮挡视觉中心视线的问题出现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于眼动仪的混合现实显示装置，其特征在于：包括：眼动仪、红外测距设备、信息处理单元、光学系统调整单元、图像生成单元、光学系统和图像承载设备；
所述眼动仪的输出端和所述红外测距设备的输出端分别与所述信息处理单元的输入端连接，所述信息处理单元的输出端分别与所述眼动仪的输入端、所述红外测距设备的输入端、光学系统调整单元的输入端和图像生成单元的输入端连接，所述信息处理单元的输出端与图像生成单元的输入端连接，所述光学系统的输入端分别与光学系统调整单元的输出端和图像生成单元的输出端连接，所述光学系统的输出端与所述图像承载设备的输入端连接；
所述眼动仪用来实时采集人眼的视线信息，并将所述视线信息实时发送至所述信息处理单元；所述视线信息包括总注视次数、注视持续时间、注视方向、注视点序列和第一次视线到达目标兴趣区的时间信息；总注视次数用于确定空闲时数字信息显示位置，注视持续时间用于确定数字信息在当前位置显示时长的确定，注视方向用于预测使用者注视方向下一步更有可能向哪个方向进行转移，以引导数字信息进行提前的微动，进行微交互，注视点序列用于研究数据信息层级，以根据数据重要性对注视点进行排列，第一次到达目标兴趣区的时间信息用于确定数据信息在移动中的时间，所述注视持续时间不少于100ms；
所述信息处理单元将接收到的注视方向信息发送至所述红外测距设备，所述红外测距设备根据所述注视方向信息，实时测量目标物与该红外测距设备的距离信息，并将该距离信息实时反馈至所述信息处理单元；所述信息处理单元将所述视线信息及所述距离信息共同处理后，分别发送图像生成指令和调整指令至所述图像生成单元和所述光学系统调整单元，所述图像生成单元根据所述图像生成指令生成目标物的图像信息，并将生成的目标物的图像信息发送至所述光学系统，所述光学系统调整单元根据所述调整指令调整所述光学系统中各光学元件的镜面角度及各镜面间的距离，使得所述目标物的图像信息经过调整后的光学系统后，在所述图像承载设备上呈现的图像信息，所述图像承载设备由透射材质制成，以便用户无障碍的同时查看目标物信息和用户前方场景；所述光学系统用于调整数字信息显示的大小和区域。
2.如权利要求1所述的一种基于眼动仪的混合现实显示装置，其特征在于：所述眼动仪采用的是眼动追踪技术。
3.如权利要求1所述的一种基于眼动仪的混合现实显示装置，其特征在于：所述注视方向信息包括注视路线及注视的目标点，根据所述目标点确定所述目标物。
4.如权利要求1所述的一种基于眼动仪的混合现实显示装置，其特征在于：所述红外测距设备是通过红外线进行测距的。
5.如权利要求1所述的一种基于眼动仪的混合现实显示装置，其特征在于：所述光学系统中的光学元件包括球面镜和非球面镜。
6.如权利要求1所述的一种基于眼动仪的混合现实显示装置，其特征在于：所述光学系统中的光学元件为除了球面镜和非球面镜外的其他光学元件中的一种或多种的组合。
CN201911326131.8A 2019-12-20 2019-12-20 一种基于眼动仪的混合现实显示装置 Active CN111025641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911326131.8A CN111025641B (zh) 2019-12-20 2019-12-20 一种基于眼动仪的混合现实显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911326131.8A CN111025641B (zh) 2019-12-20 2019-12-20 一种基于眼动仪的混合现实显示装置

Publications (2)

Publication Number Publication Date
CN111025641A CN111025641A (zh) 2020-04-17
CN111025641B true CN111025641B (zh) 2021-08-03

Family

ID=70211213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911326131.8A Active CN111025641B (zh) 2019-12-20 2019-12-20 一种基于眼动仪的混合现实显示装置

Country Status (1)

Country Link
CN (1) CN111025641B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044925B2 (en) * 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
US20180365900A1 (en) * 2017-06-20 2018-12-20 Immerex Inc. Mixed Reality Head Mounted Display Device
CN108932879A (zh) * 2018-08-23 2018-12-04 重庆加河科技有限公司 一种基于mr的教学展示系统

Also Published As

Publication number Publication date
CN111025641A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
US7542210B2 (en) Eye tracking head mounted display
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
WO2017071458A1 (zh) 一种屈光度自适应头戴式显示装置
US10200680B2 (en) Eye gaze responsive virtual reality headset
KR101409846B1 (ko) 3차원 증강현실 기반 헤드 업 디스플레이 장치
US20210257084A1 (en) Ar/xr headset for military medical telemedicine and target acquisition
US20120139817A1 (en) Head up display system
CN110325895A (zh) 聚焦调整多平面头戴式显示器
WO2016115873A1 (zh) 双目ar头戴显示设备及其信息显示方法
CN103917913A (zh) 在近眼显示器上自动聚焦的方法
CN104898276A (zh) 头戴式显示装置
Bohme et al. Remote eye tracking: State of the art and directions for future development
Rash et al. Human factors and safety considerations of night-vision systems flight using thermal imaging systems
CN105812777A (zh) 双目ar头戴显示设备及其信息显示方法
JP2021534368A (ja) ダイレクト拡張ビュー光学
US9581819B1 (en) See-through augmented reality system
CN108398787B (zh) 增强现实显示设备、方法和增强现实眼镜
CN110879469A (zh) 一种头戴式显示设备
CN113589534B (zh) 屈光度自适应调节的近眼显示装置和增强现实显示设备
US10650713B2 (en) Head mounted display
CN110456505A (zh) 透明和反射性的照明源
JP4370997B2 (ja) 頭部装着型表示装置
JPH06175067A (ja) 中心間距離調整手段付きヘルメット取付け式双眼ディスプレー光学装置
CN111025641B (zh) 一种基于眼动仪的混合现实显示装置
CN110794590A (zh) 虚拟现实显示系统及其显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant