CN108304071A - 一种基于眼球跟踪实现交互式2.5d的方法 - Google Patents

一种基于眼球跟踪实现交互式2.5d的方法 Download PDF

Info

Publication number
CN108304071A
CN108304071A CN201810106990.5A CN201810106990A CN108304071A CN 108304071 A CN108304071 A CN 108304071A CN 201810106990 A CN201810106990 A CN 201810106990A CN 108304071 A CN108304071 A CN 108304071A
Authority
CN
China
Prior art keywords
interactive mode
eye tracking
module
human eye
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810106990.5A
Other languages
English (en)
Inventor
曾树洪
蔡招权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou University
Original Assignee
Huizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou University filed Critical Huizhou University
Priority to CN201810106990.5A priority Critical patent/CN108304071A/zh
Publication of CN108304071A publication Critical patent/CN108304071A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于眼球跟踪实现交互式2.5D的方法，其包括：信息采集模块，图像处理模块以及显示模块；所述信息采集模块与图像处理模块连接，图像处理模块与显示模块连接，实现交互式2.5D。本发明用交互式的方式获得比较良好的裸眼立体效果；细腻地还原图像而不会产生眩晕感；移植性高，能有效的降低成本。不仅能应用在小型设备，更能应用于大型设备。

Description

一种基于眼球跟踪实现交互式2.5D的方法
技术领域
本发明涉及交互式2.5D领域, 特别是涉及基于眼球跟踪实现交互式2.5D的方法。
背景技术
2.5D的定义为整体采用3D引擎，但同时在图象模块里包含了2D图象显示技术。2.5D在日常生活中广泛应用于电影和游戏领域，不过传统的2.5D技术并不能产生比较强烈的立体效果。而基于光栅技术的裸眼3D虽然能产生不错的立体效果，但同时带来了不少问题，其一，使用光栅的用户一般会产生眩晕感而且感觉画面很粗糙，其二，长时间使用也会使用户眼睛感到不适，其三，使用光栅技术需要专门针对使用的屏幕去录制，处理图像，其使用成本高，而且移植性不强，所以图像资源往往会很少。对于交互式图像显示，市面上一般使用的是基于重力传感器的2.5D技术，通过转动设备（如手机）来对3D模型进行不同角度的显示，其要求设备可以多角度转动，对于小的设备来说不成问题，但对于较大的显示设备来说非常不方便。
发明内容
本发明的目的是克服上述现有技术中的不足，提供了一种基于眼球跟踪实现交互式2.5D的方法。
本发明的目的是通过以下技术方案来实现的：
一种基于眼球跟踪实现交互式2.5D的方法，包括：信息采集模块，图像处理模块以及显示模块。
所述信息采集模块包括：摄像设备，距离传感器和数据处理模块，用于实时获取人眼相对于三维模型的位置。
其中所述摄像设备用人脸定位技术进行实时拍摄，然后用影像扫描眼球跟踪技术根据眼球和眼球周边特征变化或虹膜角度变化进行跟踪，并确定人眼位置。可先令屏幕左下角为起始位置，其二维坐标为A0（0,0），三维坐标为Z0(0,0,0)。然后用眼球跟踪技术确定眼睛相对屏幕起始位置A0（0,0）的坐标A1（x1，z1）。特别的，所述人脸定位技术和眼球跟踪技术均可通过本领域任一现有技术实现。
其中距离传感器通过红外线从发出到被接受到的时间t及红外线的传播速度v计算获得人眼与屏幕距离y1=v*t/2。
其中数据处理器用于将从拍摄的图片获得的人眼相对屏幕的二维坐标A1（x1，z1），与人眼与屏幕距离y1组成相对屏幕的三维坐标Z1（x1，y1，z1）。然后与模型相对屏幕起始位置Z0(0,0,0)的三维坐标Z2（x2，y2，z2）的对应坐标进行减法运算，从而得出人眼相对模型的三维坐标Z（x，y，z）=Z(x1-x2,y1-y2,z1-z2)。
所述图像处理模块包括显卡，中央处理器及其外围连接电路，通过显卡，用于模拟人眼的视角，并在位置Z（x，y，z）用渲染软件对建立的三维模型进行实时渲染。
所述显示模块包括显示器及其外围连接电路，显示模块通过用显示器，将图像处理模块渲染出来的图像进行显示。
所述信息采集模块将人眼位置信息送给图像处理模块，图像处理模块得到的图像传送给显示模块。
特别的，所述距离传感器、数据处理器、渲染软件均可通过本领域内任一现有技术实现。
本发明的有益效果表现在：突破传统2.5D场景的静态显示，用交互式的方式获得比较良好的立体效果；细腻地还原图像而不会产生眩晕感；只需要在现有设备添加少量设备，主体运用软件算法就能轻松实现，移植性高，能有效的降低成本。不仅能应用在小型设备，更能应用于大型设备。
附图说明
图1为基于眼球跟踪实现交互式2.5D方法的流程框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述:
参照图1，一种基于眼球跟踪实现交互式2.5D的方法，包括：信息采集模块，图像处理模块以及显示模块。
所述信息采集模块包括：摄像设备，距离传感器和数据处理模块，用于实时获取人眼相对于三维模型的位置。
摄像设备可以用电脑摄像头或手机前置摄像头，用人脸定位技术进行实时拍摄，然后用影像扫描眼球跟踪软件Eye_tracking等软件，根据眼球和眼球周边特征变化或虹膜角度变化进行跟踪，来确定人眼位置。可先令屏幕左下角为起始位置，其二维坐标为A0（0,0），三维坐标为Z0(0,0,0)。然后用眼球跟踪技术确定眼睛相对屏幕起始位置A0（0,0）的坐标A1（x1，z1）。
距离传感器，优选的为松下LS-92F距离传感器，通过红外线从发出到被接受到的时间t及红外线的传播速度v计算获得人眼与屏幕距离y1=v*t/2。
数据处理器，优选的为酷睿系列微处理器，嵌入式芯片，骁龙手机微处理器等，用于将从拍摄的图片获得的人眼相对屏幕的二维坐标A1（x1，z1），与人眼与屏幕距离y1组成相对屏幕的三维坐标Z1（x1，y1，z1）。然后与模型相对屏幕起始位置Z0(0,0,0)的三维坐标Z2（x2，y2，z2）的对应坐标进行减法运算，从而得出人眼相对模型的三维坐标Z（x，y，z）=Z(x1-x2,y1-y2,z1-z2)。
图像处理模块包括显卡，中央处理器及其外围连接电路，通过显卡，用于模拟人眼的视角，并在位置Z（x，y，z）用渲染软件，优选的为vray渲染器，对3Dmax软件建立的三维模型进行实时渲染。
显示模块包括显示器及其外围连接电路，显示模块通过用显示器如HDMI接口的液晶显示屏，将图像处理模块渲染出来的图像进行显示。
信息采集模块将人眼位置信息送给图像处理模块，图像处理模块将得到的图像送给显示模块。
本发明突破了传统2.5D场景的静态显示，用交互式的方式获得比较良好的立体效果；细腻地还原图像而不会产生眩晕感；只需要在现有设备添加少量设备，如在电脑上添加摄像头和红外线传感器，主体运用C语言等就能实现，移植性高，能有效的降低成本。不仅能应用在小型设备，更能应用于大型设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。特别的，本发明中所未详细描述的技术特点，均可通过任一现有技术实现。

Claims (6)

1.一种基于眼球跟踪实现交互式2.5D的方法，其特征在于：包括信息采集模块，图像处理模块以及显示模块；所述信息采集模块与图像处理模块连接，图像处理模块与显示模块连接，实现交互式2.5D。
2.根据权利要求1所述的基于眼球跟踪实现交互式2.5D的方法，其特征在于：所述信息采集模块包括：摄像设备、距离传感器和数据处理模块。
3.根据权利要求2所述的基于眼球跟踪实现交互式2.5D的方法，其特征在于：所述摄像设备用人脸定位技术进行实时拍摄，然后用影像扫描眼球跟踪技术根据眼球和眼球周边特征变化或虹膜角度变化进行跟踪，并确定人眼位置；可先令屏幕左下角为起始位置，其二维坐标为A0（0,0），三维坐标为Z0(0,0,0)；然后用眼球跟踪技术确定眼睛相对屏幕起始位置A0（0,0）的坐标A1（x1，z1）。
4.根据权利要求3所述的基于眼球跟踪实现交互式2.5D的方法，其特征在于：所述距离传感器通过红外线从发出到被接受到的时间t及红外线的传播速度v，计算获得人眼与屏幕距离y1=v*t/2。
5.根据权利要求4所述的基于眼球跟踪实现交互式2.5D的方法，其特征在于：所述数据处理器用于生成从拍摄的图片获得的人眼相对屏幕的二维坐标A1（x1，z1），与人眼与屏幕距离y1组成相对屏幕的三维坐标Z1（x1，y1，z1）；然后与模型相对屏幕起始位置Z0(0,0,0)的三维坐标Z2（x2，y2，z2）的对应坐标进行减法运算，从而得出人眼相对模型的三维坐标Z（x，y，z）=Z(x1-x2,y1-y2,z1-z2)。
6.根据权利要求5所述的基于眼球跟踪实现交互式2.5D的方法，其特征在于：图像处理模块包括显卡、中央处理器及其外围连接电路，所述显卡与中央处理器连接，通过中央处理器，所述显卡用于模拟人眼的视角，并在位置Z（x，y，z）用渲染软件对建立的三维模型进行实时渲染。
CN201810106990.5A 2018-02-02 2018-02-02 一种基于眼球跟踪实现交互式2.5d的方法 Pending CN108304071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810106990.5A CN108304071A (zh) 2018-02-02 2018-02-02 一种基于眼球跟踪实现交互式2.5d的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810106990.5A CN108304071A (zh) 2018-02-02 2018-02-02 一种基于眼球跟踪实现交互式2.5d的方法

Publications (1)

Publication Number Publication Date
CN108304071A true CN108304071A (zh) 2018-07-20

Family

ID=62850862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810106990.5A Pending CN108304071A (zh) 2018-02-02 2018-02-02 一种基于眼球跟踪实现交互式2.5d的方法

Country Status (1)

Country Link
CN (1) CN108304071A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917638A (zh) * 2010-07-07 2010-12-15 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
CN103279942A (zh) * 2013-04-10 2013-09-04 北京航空航天大学 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN104155767A (zh) * 2014-07-09 2014-11-19 深圳市亿思达显示科技有限公司 自适应追踪式立体显示装置及其显示方法
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法
CN105989326A (zh) * 2015-01-29 2016-10-05 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
CN106504271A (zh) * 2015-09-07 2017-03-15 三星电子株式会社 用于眼睛跟踪的方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917638A (zh) * 2010-07-07 2010-12-15 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
CN103279942A (zh) * 2013-04-10 2013-09-04 北京航空航天大学 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN104155767A (zh) * 2014-07-09 2014-11-19 深圳市亿思达显示科技有限公司 自适应追踪式立体显示装置及其显示方法
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法
CN105989326A (zh) * 2015-01-29 2016-10-05 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
CN106504271A (zh) * 2015-09-07 2017-03-15 三星电子株式会社 用于眼睛跟踪的方法和设备

Similar Documents

Publication Publication Date Title
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
CN101779460B (zh) 电子镜装置
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US9411413B2 (en) Three dimensional user interface effects on a display
US9595127B2 (en) Three-dimensional collaboration
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
JP7329612B2 (ja) オブジェクトカテゴリモデリングのための生成潜在テクスチャプロキシ
US8194101B1 (en) Dynamic perspective video window
US20190026935A1 (en) Method and system for providing virtual reality experience based on ultrasound data
JP2013050881A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP3951362B2 (ja) 画像処理装置、ゲーム装置、その方法および記録媒体
CN115965672A (zh) 三维物体的显示方法、装置、设备及介质
CN108304071A (zh) 一种基于眼球跟踪实现交互式2.5d的方法
TW201935188A (zh) 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體
WO2022089061A1 (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
US11481960B2 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
CN115690363A (zh) 虚拟物体显示方法、装置和头戴式显示装置
CN108986228B (zh) 用于虚拟现实中界面显示的方法及装置
US11295531B1 (en) System and method for generating interactive virtual image frames in an augmented reality presentation
US20240153223A1 (en) Reliable Depth Measurements for Mixed Reality Rendering
US20240119568A1 (en) View Synthesis Pipeline for Rendering Passthrough Images
Faaborg et al. METHODS AND APPARATUS TO SCALE ANNOTATIONS FOR DESIRABLE VIEWING IN AUGMENTED REALITY ENVIRONMENTS
Ali et al. 3D VIEW: Designing of a Deception from Distorted View-dependent Images and Explaining interaction with virtual World.
WO2024081288A1 (en) View synthesis pipeline for rendering passthrough images
CN111679806A (zh) 播放控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720

RJ01 Rejection of invention patent application after publication