CN106796443A - 三维上的凝视点的位置确定方法 - Google Patents

三维上的凝视点的位置确定方法 Download PDF

Info

Publication number
CN106796443A
CN106796443A CN201480081076.XA CN201480081076A CN106796443A CN 106796443 A CN106796443 A CN 106796443A CN 201480081076 A CN201480081076 A CN 201480081076A CN 106796443 A CN106796443 A CN 106796443A
Authority
CN
China
Prior art keywords
user
sight line
fixation point
face orientation
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480081076.XA
Other languages
English (en)
Inventor
洛克拉因·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Ltd By Share Ltd
Original Assignee
Fove Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Ltd By Share Ltd filed Critical Fove Ltd By Share Ltd
Publication of CN106796443A publication Critical patent/CN106796443A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Abstract

本发明提供在表现三维空间的游戏引擎中，准确地输入用户的凝视点的凝视点算出方法。凝视点算出方法被配置成，通过来自用于对用户的眼睛进行摄像的摄影机(10)的数据算出用户的两眼的视线数据，并基于所述用户的视线数据和包含在游戏引擎所管理的系统的三维数据对用户所凝视的三维空间中的三维坐标位置进行计算。

Description

三维上的凝视点的位置确定方法
技术领域
本发明涉及在立体影像中的用户的凝视点的确定方法。
背景技术
在头戴式显示器(HMD)等显示装置中，已知有追踪用户的视线的装置，但实际上用户所凝视的点与装置所识别的用户的视线之间存在误差，因此无法准确地确定用户的视线。
一般而言，作为模拟出与通过机器显示的角色之间的通信的装置，已知有模拟游戏等。
例如，关于对用户的眼睛进行摄像的用户界面装置，已知有现有技术文献1中所记载的装置。在该用户界面装置中，用户的视线用作对装置的输入机构。
并且，关于通过用户的视线进行输入的装置，已知还有现有技术文献2中所记载的装置。在该装置中，通过用户的视线位置检测机构、影像显示机构及视线位置与影像两者的一致检测机构而能够实现由用户视线进行的输入。
作为现有利用虚拟角色进行通信模拟的装置已知有例如如现有技术文献3那样，将通过键盘的文字输入作为主要输入且将用户的脉搏、体温、出汗作为辅助输入的装置。
现有技术文献
专利文献
专利文献1:日本公开专利公报2012-008745号
专利文献2:日本公开专利公报平09-018775号
专利文献3:日本公开专利公报2004-212687号
发明内容
发明要解决的问题
在包括头戴式显示器的显示器中，当追踪用户的视线时，用户的两眼的瞳孔方向与用户所凝视的点不一定一致，因此，谋求确定准确的用户的凝视点的坐标的技术。
当人用眼睛看事物时，根据与对象物之间的距离调整晶状体的厚度，调节焦距以清晰地结像出对象物的像。由此，针对从视点远离的对象物，焦距未对准，依稀可见。
然而，在现有立体影像的情况下，仅通过对两眼提供不同的影像来演出立体感，针对应从视点远离的对象物的焦距也对准，清晰可见。
为了进行通过机器的通信模拟，必须对模拟体系中导入现实的通信要素。尤其，在现实的通信中，由于相互视线识别起很大作用，因而，如何将用户的视线检测及判定导入到模拟中成为技术课题。
并且，在实际的通信中，使脸部方向朝向对方也是重要的，因此，如何检测并判定这一点而导入到模拟中也是技术课题之一。
用于解决问题的方案
上述目的由凝视点算出方法实现，所述凝视点算出方法包括：通过来自摄像用户的眼睛的摄影机的数据算出用户的两眼的视线数据；通过光线投影法或Z缓存法对所算出的视线数据与游戏引擎所管理的三维空间的深度数据进行对照；及计算用户所凝视的三维空间中的三维坐标位置。
根据本发明的凝视点算出方法，优选地，利用通过视线检测方法确定出的三维上的坐标位置信息来对该坐标的场面施加伴随深度信息的模糊表现，从而虚拟性地导入聚焦表现。
根据本发明的凝视点算出方法，优选地，显示交互的对象物，在用户的视线和脸部方向与显示在影像显示单元的对象物的特定部位一致一定时间以上的情况下，判定为用户与所述对象物进行交互。
本发明的由具有视线检测功能的显示装置的模拟通过来自用于检测用户的脸部方向的方向传感器的数据算出用户的脸部方向，在用户的视线和脸部方向与显示在影像显示单元的对象物的特定部位一致一定时间以上的情况下，判定为用户与对象物进行交互。
本发明的由具有视线检测功能的显示装置的模拟通过来自用于检测用户的脸部方向的方向传感器的数据算出用户的脸部方向，在用户的视线、脸部方向和位置与显示在影像显示单元的对象物的特定部位一致一定时间以上的情况下，判定为用户与对象物进行交互。
根据本发明的凝视点算出方法，优选内装在头戴式显示器(HMD)，所述头戴式显示器(HMD)包括影像显示单元和用于对用户的眼睛进行摄像的摄影机，其中，影像显示单元和摄影机容纳于被固定在用户的头部的壳体。
发明效果
在利用HMD等3D影像装置的立体影像中，当算出用户的凝视点时，如果仅摄像用户的眼睛，就在实际用户的凝视点和所算出的凝视点之间产生误差，但通过对在影像中的对象进行对照而算出用户的凝视点，从而能够准确地算出用户的凝视点。
在影像中用户的焦点和在影像空间中的深度隔开的位置添加模糊，从而提供立体影像。为此，必需准确地算出用户的焦点，但若作为焦点只简单算出两眼视线的最短距离点或交点，则与用户实际凝视的焦点之间产生误差，因此，通过本发明的方法补正该误差。
根据所述构成，当通过根据本发明的具有视线检测功能的显示装置进行通信模拟时，通过具备用于显示角色的影像显示单元和用于对用户的眼睛进行摄像的摄影机，检测用户的视线，并算出用户在看所显示的影像中哪一部分。
从而，当用户的视线在一定时间范围内朝向显示在影像显示单元的角色的特定部位时，尤其，当用户看见角色的眼睛或脸部的中心附近时，就判定为适当进行通信。
由此，与不伴随视线输入步骤的现有通信模拟相比，能够实现更接近现实通信的模拟。
在通信模拟中，通过包括用于检测用户的脸部方向的方向传感器并通过方向传感器分析用户的脸部方向，从而判定是否不仅用户的视线朝向角色而且用户的脸部朝向角色。
由此，当用户变更脸部方向时，可以根据用户的脸部方向改变影像。并且，通过只有用户的脸部朝向角色就判定进行通信，能够实现更准确的通信模拟。
在影像显示单元和摄影机容纳于固定在用户的头部的壳体且整体上为HMD的情况下，可以将现有HMD技术直接应用到本发明中，从而无需利用大型屏幕，也能够向用户的视野以较宽的角度显示影像。
附图说明
图1为本发明的焦点识别功能的方法的简化流程图。
图2为本发明的焦点识别功能的方法的流程图。
图3为模拟的流程图。
图4为本发明的第一实施方式的具有视线检测功能的HMD型显示装置的安装图。
图5为本发明的第二实施方式的具有视线检测功能的眼镜型显示装置的安装图。
图6为对用户的两眼进行摄像的本发明的结构图。
具体实施方式
图1为本发明的焦点识别功能的方法的简化流程图。
摄影机10通过对用户的两眼进行摄像来算出视线数据。接着，通过光线投影法11或Z缓存法13将所述视线数据与游戏引擎内的三维空间中深度数据12进行对照，通过凝视点算出处理法14算出凝视点，确定用户所凝视的三维空间中的三维坐标位置。
摄影机10对用户的两眼进行摄像来算出用户的两眼的视线的最短距离点或交点，参照与用户的两眼的视线的最短距离点或交点最接近的影像部的Z缓冲值。然后，根据所述Z缓冲值和其他影像部的Z缓冲值之差而对其他影像部添加模糊。
图2为更详细地示出图1中的方法的流程图。首先，通过Z缓存法或光线投影法输入游戏中的一点。
根据Z缓存法，将用户的视线投影到设定有Z缓冲值的游戏中对象200，算出游戏中作为对象的表面设定的点的坐标201，并作为Z点输入202。
根据光线投影法，向游戏引擎中的三维空间引入投影线203，在游戏中的物理线上作为P点输入视线与游戏中对象的交点的坐标204。
判定P点或Z点是否存在至少一点205，而且，在存在至少一点的一致点的情况下，判定是否一致点有两点且所述两点是否为小于阈值α的距离206，在一致点有两点且所述两点的距离小于α的情况下，作为焦点输出该两点的中点207或作为焦点输出该两点的重点208。
另一方面，在P点和Z点的一致点小于或等于一点时，或在虽然是两点但所述两点的距离以阈值α以上隔开时，算出两眼视线的最短距离点或交点(CI)209并输入两眼视线的最短距离点或交点(CI)210。
判定CI是否具有起源点211，若不具有起源点，则视为未确定焦点，从而输出从焦点的值远离的点212。
另一方面，在CI存在起源点的情况下，判定是否在从CI距离较近的范围存在Z点213，若Z点的距离在较近的范围存在，作为焦点输出Z点214，若Z点的距离在较近的范围不存在，则对CI施加过滤215，对该被过滤的值施加混合来输出216。
图3为示出通过根据本发明的具有视线检测功能的显示装置的通信模拟的流程图。
在图3中，在模拟启动后，通过借助点击或键盘的输入步骤31，开始模拟而转移到开始画面32。
从开始画面32起，经过由用户的角色探索步骤33、角色显示画面34、由用户视线的输入步骤35、适当通信的判定步骤36、在通信成功时的画面37或在通信失败时的画面38，最终转移到模拟结束39。
图4为根据本发明的第一实施方式的安装图。具有视线检测功能的显示装置40包括用于检测脸部方向的传感器41，并且影像显示单元和摄影机10容纳于被固定在用户的头部的壳体，且作为整体而言为HMD型。
图5为根据本发明的第二实施方式的安装图。具有视线检测功能的显示装置采用用于个人计算机的显示器等除了HMD之外的影像显示装置，且作为整体而言为眼镜型。在角色的探索画面中，用户通过鼠标或键盘的操作，操作并探索显示在影像显示装置的焦点。
在第二实施方式中，对通过摄影机10摄像到的眼睛的图像和用于检测脸部方向的传感器41的信息进行分析，从而分析出用户的视线。
图6为摄影机10对两眼进行摄像的结构图。通过视差62算出用户的视线的最短距离点或交点63在空间上的坐标。
例如在通信的判定步骤36中，若最短距离点或交点63的坐标朝向显示在影像显示单元的角色的特定部位一定时间以上，则判定为用户与所述角色进行通信。
通过包括用于检测用户的脸部方向的传感器41并利用传感器41分析用户的脸部方向，若用户的视线和脸部方向朝向显示在所述影像显示单元的角色的特定部位一定时间以上，则判定为用户与所述角色进行通信。
在实施本发明的情况下的角色的探索步骤33中，若用户改变脸部方向，则沿着脖子的方向所显示的画面发生变化。由此，在现实空间中改变脸部方向时投射到眼睛的视野变化的现象就再现在通过HMD的影像表现上。
在角色探索步骤33中，由于在开始时设定为角色在视野外存在，因而角色不显示在画面上，但通过用户回头看的行为，在背景影像变化的同时显示角色。
在本发明中的摄影机10为对用户的眼睛进行摄像的小型摄影机，通过用摄影机10摄像的图像算出用户的视线。
在根据本发明的模拟中，将用户的视线当作模拟的主要输入要素。
在视线输入步骤35中，对由摄影机10的用户视线进行分析，以被输入为视线数据。
在通信判定步骤36中，若用户的视线朝向显示在影像显示单元的角色的特定部位一定时间以上，则判定为用户与角色进行通信。
在通信判定步骤36中，角色看着用户约15秒。
在所述约15秒的时间内，若用户的视线朝向角色脸部的中心附近约1秒以上，则判定为通信成功。
另一方面，若在用户的视线不朝向角色脸部的中心附近1秒以上的状态下经过15秒，则判定为通信失败。
而且，在用户的视线移动太快或过渡凝视角色的情况下，也就判定为通信失败。
在通信成功时的画面37上，角色与用户打招呼。另一方面，在通信失败时的画面38上，角色不与用户打招呼，直接走了过去。
在开始模拟之前，为了准确的视线输入，设置调整步骤。
在本发明中，为了由视线的输入，从用摄影机摄像的瞳孔的影像算出用户的视线方向。在此，通过分析用户的眼睛40的影像来算出计算上的视线，该计算上的视线与用户实际凝视的实际视线之间有可能发生差异。
由此，在调整这种差异的步骤中，使用户凝视显示在画面上的指针，从而算出用户凝视的实际视线的位置与计算上的视线的位置之间的差异。
然后，在模拟中，在计算上的视线的位置，修正所算出的差值，从而将装置所识别的焦点的位置对准到用户实际凝视的一点。
附图标记说明
10：摄影机
11：光线投影法
12：三维空间的深度数据
13：Z缓存法
14：凝视点算出处理法
15：用户所凝视的三维空间中的坐标位置
200：向Z缓存器投影视线
201：算出游戏中的Z点
202：输入Z点
203：通过光线投影法引出投影线
204：输入P点
205：是否P点或Z点存在至少一点？
206：是否存在一对的P点或Z点且距离小于阈值α？
207：算出P点或Z点的中点
208：输出P点或Z点的中点
209：算出视线以算出最短距离点或交点(CI)
210：输入CI值
211：CI是否具有起源点？
212：将远处的点作为焦点输出
213：P点或Z点是否在从CI较近的距离内存在？
214：输出P点或Z点
215：过滤CI值
216：输出被过滤的CI值
30：启动
31：开始输入步骤
32：开始画面
33：由用户的探索
34：角色显示画面
35：视线输入步骤
36：通信判定步骤
37：在通信成功时的画面
38：在通信失败时的画面
39：模拟结束
40：具有视线检测功能的HMD型显示装置
41：用于检测脸部方向的传感器
50：具有视线检测功能的眼镜型显示装置
52：屏幕
60：眼睛
61：镜片
62：视差
63：最短距离点或交点

Claims (6)

1.一种凝视点算出方法，其特征在于，包括：
通过来自用于对用户的眼睛进行摄像的摄影机的数据算出用户的两眼的视线数据；
通过光线投影法或Z缓存法对所算出的视线数据和游戏引擎所管理的三维空间的深度数据进行对照；及
对所述用户所凝视的三维空间中的三维坐标位置进行计算。
2.根据权利要求1所述的凝视点算出方法，其特征在于，
利用通过所述视线检测方法确定出的三维上的坐标位置信息来对该坐标的场面施加伴随深度信息的模糊表现，由此虚拟性地导入聚焦表现。
3.根据权利要求1所述的凝视点算出方法，其特征在于，
对交互的对象物进行显示，
在用户的视线和焦点朝向所述对象物的特定部位规定时间以上的情况下，判定为用户与所述对象物进行交互。
4.根据权利要求1所述的凝视点算出方法，其特征在于，
通过来自用于检测用户的脸部方向的方向传感器的数据算出用户的脸部方向，
在用户的视线和脸部方向与显示在所述影像显示单元的对象物的特定部位一致规定时间以上的情况下，判定为用户与所述对象物进行交互。
5.根据权利要求1所述的凝视点算出方法，其特征在于，
通过来自用于检测用户的脸部方向的方向传感器的数据算出用户的脸部方向，
在用户的视线、脸部方向和位置与显示在所述影像显示单元的对象物的特定部位一致规定时间以上的情况下，判定为用户与所述对象物进行交互。
6.一种头戴式显示器，其特征在于，包括：
影像显示单元；及
摄影机，其用于对用户的眼睛进行摄像，
其中，
所述影像显示单元和所述摄影机容纳于被固定在用户的头部的壳体，
所述头戴式显示器内装有权利要求1所述的凝视点算出方法。
CN201480081076.XA 2014-08-07 2014-08-07 三维上的凝视点的位置确定方法 Pending CN106796443A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/070954 WO2016021034A1 (ja) 2014-08-07 2014-08-07 ３次元上の注視点の位置特定アルゴリズム

Publications (1)

Publication Number Publication Date
CN106796443A true CN106796443A (zh) 2017-05-31

Family

ID=55263340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480081076.XA Pending CN106796443A (zh) 2014-08-07 2014-08-07 三维上的凝视点的位置确定方法

Country Status (5)

Country Link
US (1) US20180133593A1 (zh)
JP (1) JP6454851B2 (zh)
KR (1) KR20170041720A (zh)
CN (1) CN106796443A (zh)
WO (1) WO2016021034A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009091845A1 (en) 2008-01-14 2009-07-23 Isport, Llc Method and system of enhancing ganglion cell function to improve physical performance
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US11106276B2 (en) * 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10209773B2 (en) 2016-04-08 2019-02-19 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US10747859B2 (en) * 2017-01-06 2020-08-18 International Business Machines Corporation System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation
US11054886B2 (en) * 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
KR102094953B1 (ko) * 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
JP6878350B2 (ja) * 2018-05-01 2021-05-26 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
WO2019226691A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
CN1969249A (zh) * 2004-06-18 2007-05-23 托比技术有限公司 基于眼跟踪控制计算机装置的装置、方法及计算机程序
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
EP2709060B1 (en) * 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US20140164056A1 (en) * 2012-12-07 2014-06-12 Cascade Strategies, Inc. Biosensitive response evaluation for design and research
US9275278B2 (en) * 2013-02-15 2016-03-01 Fuji Xerox Co., Ltd. Systems and methods for implementing and using off-center embedded media markers
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
DE102014115341B4 (de) * 2014-10-21 2016-11-03 Carl Zeiss Smart Optics Gmbh Abbildungsoptik und Datenbrille

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
CN1969249A (zh) * 2004-06-18 2007-05-23 托比技术有限公司 基于眼跟踪控制计算机装置的装置、方法及计算机程序
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEBASTIEN HILLAIRE: "Using an Eye-Tracking System to Improve Camera Motions and", 《2008 IEEE VIRTUAL REALITY CONFERENCE》 *

Also Published As

Publication number Publication date
JP6454851B2 (ja) 2019-01-23
JPWO2016021034A1 (ja) 2017-05-25
KR20170041720A (ko) 2017-04-17
WO2016021034A1 (ja) 2016-02-11
US20180133593A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN106796443A (zh) 三维上的凝视点的位置确定方法
CN109074681B (zh) 信息处理装置、信息处理方法和程序
EP1708139B1 (en) Calibration method and apparatus
US9210413B2 (en) System worn by a moving user for fully augmenting reality by anchoring virtual objects
CN107392888B (zh) 一种基于Unity引擎的距离测试方法及系统
US10623721B2 (en) Methods and systems for multiple access to a single hardware data stream
CN109696953B (zh) 虚拟现实文字显示的方法、装置和虚拟现实设备
EP2850609A1 (en) A system worn by a moving user for fully augmenting reality by anchoring virtual objects
Berning et al. A study of depth perception in hand-held augmented reality using autostereoscopic displays
KR20180060559A (ko) 동공 거리 결정 방법 및 장치
EP3693925B1 (en) Information processing device, information processing method, and recording medium
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
CN111033573B (zh) 信息处理装置、系统、图像处理方法及存储介质
CN112493981B (zh) 一种基于裸眼3d的动态立体视觉检测系统和方法
Medeiros et al. Perceiving depth: Optical versus video see-through
TWI666570B (zh) 模擬環境顯示系統及方法
WO2012057774A1 (en) A three-dimensional image based on a distance of a viewer
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
CN116661143A (zh) 图像处理装置、图像处理方法及存储介质
Li et al. Design and analysis of depth cues on depth perception in interactive mixed reality simulation systems
WO2021132013A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5402070B2 (ja) 画像提示システム、画像処理装置、プログラムおよび画像提示方法
Jin et al. Creating a comfortable stereoscopic viewing experience: effects of viewing distance and field of view on fusional range
JP6686319B2 (ja) 画像投影装置及び画像表示システム
Wu et al. Depth-disparity calibration for augmented reality on binocular optical see-through displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531