CN102981616A - 增强现实中对象的识别方法及系统和计算机 - Google Patents

增强现实中对象的识别方法及系统和计算机 Download PDF

Info

Publication number
CN102981616A
CN102981616A CN201210438517XA CN201210438517A CN102981616A CN 102981616 A CN102981616 A CN 102981616A CN 201210438517X A CN201210438517X A CN 201210438517XA CN 201210438517 A CN201210438517 A CN 201210438517A CN 102981616 A CN102981616 A CN 102981616A
Authority
CN
China
Prior art keywords
input
computing machine
left eye
right eye
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210438517XA
Other languages
English (en)
Other versions
CN102981616B (zh
Inventor
钱煜明
屠要峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201210438517.XA priority Critical patent/CN102981616B/zh
Publication of CN102981616A publication Critical patent/CN102981616A/zh
Priority to EP13804735.2A priority patent/EP2919093A4/en
Priority to US14/440,890 priority patent/US20150301596A1/en
Priority to PCT/CN2013/080661 priority patent/WO2013185714A1/zh
Application granted granted Critical
Publication of CN102981616B publication Critical patent/CN102981616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明提供了一种增强现实中对象的识别方法及系统和计算机，其中，该识别方法包括：计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。本发明通过检测双眼瞳孔位置，实现三维视线的建模，并将三维视线与三维空间进行叠加匹配，解决了在三维空间中识别出用户的关注对象的问题，并可以与该关注对象进行交互。

Description

增强现实中对象的识别方法及系统和计算机
技术领域
本发明涉及一种增强现实技术，尤其涉及一种增强现实中对象的识别方法及系统和计算机。
背景技术
增强现实(Augmented Reality，简称AR)，也被称之为混合现实，是通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的对象实时地叠加到了同一个画面或空间同时存在。
增强现实技术可应用到如下领域：
医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位；军事领域：部队可以利用增强现实技术，进行方位的识别，获得目前所在地点的地理数据等重要军事数据；古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构；工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等；网络视频通讯领域：该系统使用增强现实和人脸跟踪技术，在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟对象，在很大程度上提高了视频对话的趣味性；电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时地将辅助信息叠加到画面中，使得观众可以得到更多的信息；娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战；旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料；市政建设规划：采用增强现实技术将规划效果叠加到真实场景中以直接获得规划的效果。
对于增强现实的显示技术实现原理基本上是将左右两眼看到的真实场景图像之上叠加上生成的虚拟图像。目前已经有类似头盔的产品出售.谷歌(Google)眼镜也是类似产品，但由于虚拟信息叠加在单眼，不能实现立体的虚拟场景。
现有技术对于虚拟3D空间内对象与图片的展现技术目前已经相对比较成熟，但交互技术目前仍存在一些障碍，具体表现为计算机无法很方便地获知人对于3D空间内的哪个对象感兴趣，想操纵哪个对象或虚拟对象。对于这方面现有技术主要有以下几种：
头盔上装有传感器，实现对头盔在3D空间中的定位和方向定位；
通过外部传感器跟踪人眼动作，确定视线方向，但因为空间是3D，该方法不能够定位对象景深；
通过手势识别方式，判断想要操作的对象位置，同样缺乏景深信息，如果有多个景深的对象处于相同方位，就无法正确识别。
现有的双目视觉基本上是通过两个平行轴摄像机拍摄对象，然后用本领域熟知的深度恢复和三维重建方法(Ramesh Jain，Rangachar Kasturi，Brain GSchunck，Machine Version，McGraw Hill，1995)进行三维重建。
发明内容
本发明实施例提供了一种增强现实中对象的识别方法及系统和计算机，以解决如何在三维空间中识别出用户的关注对象，并与该关注对象进行交互的问题。
本发明实施例提供了一种增强现实中对象的识别方法，该方法包括：
计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；
所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。
优选地，所述计算机确定出用户待操作的虚拟对象之后，所述方法还包括：
所述计算机接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。
优选地，所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：
双眼视线滑动对应于：改变当前输入焦点；
左眼闭合且右眼视线滑动对应于：拖拽操作；
左眼闭合且右眼眨眼对应于：点击操作；
右眼闭合且左眼视线滑动对应于：放大或缩小操作；
右眼闭合且左眼眨眼对应于：右键点击操作；
双眼快速连续眨眼对应于：弹出菜单操作；
单眼凝视对象2秒以上对应于：长按操作；
双眼凝视对象2秒以上对应于：删除操作；以及
双眼闭合2秒以上对应于：关闭菜单操作。
优选地，所述计算机对待操作对象执行对应的操作之前，所述方法还包括：
所述计算机接收输入设备输入的视差图像，对外部世界建模，确定所述双眼视线焦点处有真实对象，识别出所述真实对象的属性；所述待操作对象包括识别出属性的真实对象。
优选地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。
优选地，所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标，包括：
所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。
本发明实施例还提供了一种计算机，应用与增强现实中，该计算机包括：
图像识别模块，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块；
所述图像分析模块，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块；
所述景深恢复计算模块，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块；以及
所述对象匹配模块，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。
优选地，所述计算机还包括：
对象操控命令输出模块，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。
优选地，所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：
双眼视线滑动对应于：改变当前输入焦点；
左眼闭合且右眼视线滑动对应于：拖拽操作；
左眼闭合且右眼眨眼对应于：点击操作；
右眼闭合且左眼视线滑动对应于：放大或缩小操作；
右眼闭合且左眼眨眼对应于：右键点击操作；
双眼快速连续眨眼对应于：弹出菜单操作；
单眼凝视对象2秒以上对应于：长按操作；
双眼凝视对象2秒以上对应于：删除操作；以及
双眼闭合2秒以上对应于：关闭菜单操作。
优选地，所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；
所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。
优选地，所述对象操控命令输出模块，还用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。
本发明实施例还提供了一种增强现实中对象的识别系统，该系统包括输入设备和计算机，其中：
所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标；
所述计算机为上述计算机。
优选地，所述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；或者，所述输入设备提供的语音信息和/或视差图像；或者，所述输入设备提供的按键信息和/或视差图像。
优选地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。
本发明实施例，通过检测双眼瞳孔位置，实现三维视线的建模，并将三维视线与三维空间进行叠加匹配，解决了在三维空间中识别出用户的关注对象的问题，并可以与该关注对象进行交互。
附图说明
图1为本发明增强现实的场景示意图；
图2为本发明计算机实施例的结构示意图；
图3为本发明增强现实中对象的识别系统实施例的结构示意图；
图4为本发明眼球坐标的示意图；
图5为本发明空间模型的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例通过输入设备检测使用者双眼的位置及视线方向，利用双眼立体视觉效应判断出使用者注视点在空间中的位置，并在距离用户一定距离的空间内投射出虚拟增强现实影像或对象；将双眼注视点坐标与虚拟增强现实屏幕或对象的坐标进行比对，控制虚拟空间内的鼠标或增强显示效果，用于实现用户虚拟世界与现实空间的交互，或利用眨眼、语音、手势等辅助手段实现对虚拟空间内对象的操作。
如图1所示，为本发明增强现实的场景示意图，其中，眼球检测设备用于检测眼球视线方向；投影屏幕在双眼投射不同图片，实现增强现实的虚拟立体视觉；与双眼方向一致的对外摄像头，拍摄外部真实世界，通过计算机实现对外部世界的建模，计算机计算双眼视线焦点(用户的注视点)的空间坐标；计算机将用户注视点坐标与虚拟世界对象坐标，以及真实世界的对象坐标比较；眼球检测设备捕获眼部动作，实现对虚拟世界或真实世界注视点处对象的操作。
通过上述技术可以实现：主动感知用户的空间注视点，并通过计算机反馈实现与虚拟世界的交互；使用双眼操作距离用户一定距离虚拟屏幕上的应用或菜单；以主动感知方式获取人机指令信息，真正做到所见所得，因此具有广阔的应用场景和范围。
对应上述场景，本发明实施例提供了一种增强现实中对象的识别方法，该方法从计算机侧进行描述，该方法包括：
步骤一、计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；
该输入设备可以为摄像头；该步骤可以具体为：计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标；
步骤二、计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。
该步骤中的输入设备可以为虚拟模型系统；
另外，计算机在确定出用户待操作的虚拟对象之后，所述方法还包括：所述计算机接收输入设备例如眼球检测设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。当然，还可以使用手持设备进行按键或鼠标输入，或通过语音输入方法来替代操作待操作对象。
进一步地，所述计算机对待操作对象执行对应的操作之前，所述方法还包括：所述计算机接收输入设备例如摄像头输入的视差图像，对外部空间建模，确定所述双眼视线焦点处有真实对象，识别出所述真实对象的属性；所述待操作对象包括识别出属性的真实对象。
与上述方法实施例相对应，本发明实施例还提供了一种计算机，该计算机包括：
图像识别模块11，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块12；
所述图像分析模块12，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块13；
所述景深恢复计算模块13，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块14；以及
所述对象匹配模块14，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。
另外，所述计算机还包括：对象操控命令输出模块15，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。
进一步地，为了判断双眼视线焦点是否有真实对象，所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。此后，所述对象操控命令输出模块，还可以用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。
另外，本发明实施例还提供了一种增强现实中对象的识别系统，如图3所示，该系统包括图2所示结构的计算机和输入设备，所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标。
上述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；或者，所述输入设备提供的语音信息和/或视差图像；或者，所述输入设备提供的按键信息和/或视差图像。对应地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。
该系统的工作原理为：
步骤101、系统校准(特征点标定)：在虚拟空间内距离人2米位置，投射虚拟的X焦点对象，要求用户注视该焦点数秒。为达到精确计算瞳孔位置的目的，可以在虚拟影像的边界点分别布置虚拟焦点图片，并要求重复四次校准动作：左上，右上，左下，右下，如图4所示；
当然，在该步骤之前，需要分别将两个摄像头对准用户的两只眼睛；
经过校准，每只眼能够得到四个坐标位置真实对象的空间坐标为(x0，y0，2)，(x1，y1，2)，(x2，y2，2)，(x3，y3，2)，对应左眼瞳孔坐标(x0’，y0’)(x1’，y1’)(x2’，y2’)(x3’，y3’)，对应右眼瞳孔坐标(x0”，y0”)(x1”，y1”)(x2”，y2”)(x3”，y3”)；
步骤102、立体视觉计算：双眼注视三维空间内一个对象P，图5为空间模型：
左眼线性方程：Z＝(X)*m+(Y)*n
右眼线性方程：Z＝(X+a)*m1+Y*n1
a为瞳距，可以测量得到，一般为55-60mm；
步骤103、根据校准特征点坐标及眼球坐标，可以计算出m，n，m1，n1的数值；
步骤104、用户注视对象，测量瞳孔位置，并计算出视线方向信息；
根据已知的m，n，m1，n1，代入公式，并输入x1，y1，x2，y2信息，可以得到注视点X，Y，Z坐标；
步骤105、将注视点X，Y，Z坐标与增强现实内对象坐标进行匹配，找到接近的虚拟对象；
可选地，通过与视线同方向的对外摄像设备，获取外部的视差图像，经过计算实现对外部世界的建模，并将注视点坐标与外部世界坐标进行匹配；
步骤106、如果注视点与虚拟对象匹配，通过眼部动作或语音，按键操作等对虚拟对象进行控制；
类似地，如果注视点与真实对象匹配，  通过眼部动作或语音，按键操作等对真实对象进行控制。
上述系统的工作流程为：
步骤201、左右眼摄像头对准人的左右眼，检测眼球瞳孔位置，通过与标定图片瞳孔位置的比较，获取瞳孔相对坐标值；
步骤202、将左右眼瞳孔坐标位置输入景深恢复计算模块，计算得到用户视线焦点的空间坐标(X，Y，Z)；
步骤203、通过虚拟模型系统获取三维增强现实显示各虚拟对象的空间坐标位置，并与视线焦点坐标进行比对，如果视线焦点在某个虚拟对象(图标，按钮或菜单等)附近，则认为该用户准备操作该虚拟对象；
步骤204、眼球检测设备同时通过分析前后帧眼球的图片差别，检测用户眼睛动作，典型如眨眼，长闭眼，单眼开闭，视线滑动等；每个动作对应的命令含义预先定义，并将分析出的用户动作输入对象操控命令输出模块，对视线内对象进行操控动作。
进行双眼协调控制可以包括多种动作，各种动作及其对应的命令如下：
(1)双眼视线滑动：改变当前输入焦点；
(2)左眼闭合，右眼视线滑动：拖拽；
(3)左眼闭合，右眼眨眼：点击；
(4)右眼闭合，左眼视线滑动：放大/缩小；
(5)右眼闭合，左眼眨眼：右键点击；
(6)双眼快速连续眨眼：弹出菜单；
(7)单眼凝视对象2秒以上：长按；
(8)双眼凝视对象2秒以上：删除；
(9)闭合双眼2秒以上：关闭菜单；
这些组合动作可以通过自定义映射，定义为不同的操作方法，用于计算机设备的界面操作；上述映射关系仅为示例，可灵活设置；
步骤205、可选地，前向左摄像头和前向右摄像头分别获取差值图像，交给景深恢复计算模块，该景深恢复计算模块同时输入视线焦点坐标，由该景深恢复计算模块判断是否在视线焦点处存在真实对象，如果存在真实对象，  由后续的图像识别模块识别对象属性，并将识别出的对象返回给对象操控命令输出模块实现对象操作命令输出。
上述前向左、前向右摄像头部件为可选组件，没有该组件只能实现虚拟对象操控，存在该组件后可以实现虚拟对象和真实对象的协同操控。
采用本发明所述方法和系统，与现有技术相比，通过双眼跟踪，实现对注视点的三维建模和景深恢复，对增强现实场景的操控，不仅仅能够操作指定方向的对象，更可以操作同一方向不同距离的多个虚拟对象或真实对象，提高了对操作对象的识别精度，让用户对虚拟或真实场景内的操作更加真实。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，上述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (14)

1.一种增强现实中对象的识别方法，其特征在于，该方法包括：
计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；
所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。
2.根据权利要求1所述的方法，其特征在于：
所述计算机确定出用户待操作的虚拟对象之后，所述方法还包括：
所述计算机接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。
3.根据权利要求2所述的方法，其特征在于：
所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：
双眼视线滑动对应于：改变当前输入焦点；
左眼闭合且右眼视线滑动对应于：拖拽操作；
左眼闭合且右眼眨眼对应于：点击操作；
右眼闭合且左眼视线滑动对应于：放大或缩小操作；
右眼闭合且左眼眨眼对应于：右键点击操作；
双眼快速连续眨眼对应于：弹出菜单操作；
单眼凝视对象2秒以上对应于：长按操作；
双眼凝视对象2秒以上对应于：删除操作；以及
双眼闭合2秒以上对应于：关闭菜单操作。
4.根据权利要求2所述的方法，其特征在于：
所述计算机对待操作对象执行对应的操作之前，所述方法还包括：
所述计算机接收输入设备输入的视差图像，对外部世界建模，确定所述双眼视线焦点处有真实对象，识别出所述真实对象的属性；所述待操作对象包括识别出属性的真实对象。
5.根据权利要求1-4任一权利要求所述的方法，其特征在于：
所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。
6.根据权利要求1所述的方法，其特征在于：
所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标，包括：
所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。
7.一种计算机，其特征在于，应用与增强现实中，该计算机包括：
图像识别模块，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块；
所述图像分析模块，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块；
所述景深恢复计算模块，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块；以及
所述对象匹配模块，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。
8.根据权利要求7所述的计算机，其特征在于，所述计算机还包括：
对象操控命令输出模块，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。
9.根据权利要求8所述的计算机，其特征在于：
所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：
双眼视线滑动对应于：改变当前输入焦点；
左眼闭合且右眼视线滑动对应于：拖拽操作；
左眼闭合且右眼眨眼对应于：点击操作；
右眼闭合且左眼视线滑动对应于：放大或缩小操作；
右眼闭合且左眼眨眼对应于：右键点击操作；
双眼快速连续眨眼对应于：弹出菜单操作；
单眼凝视对象2秒以上对应于：长按操作；
双眼凝视对象2秒以上对应于：删除操作；以及
双眼闭合2秒以上对应于：关闭菜单操作。
10.根据权利要求7-9任一权利要求所述的计算机，其特征在于：
所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；
所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。
11.根据权利要求10所述的计算机，其特征在于：
所述对象操控命令输出模块，还用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。
12.一种增强现实中对象的识别系统，其特征在于，该系统包括输入设备和计算机，其中：
所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标；
所述计算机为权利要求7-11任一权利要求所述的计算机。
13.根据权利要求12所述的系统，其特征在于：
所述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；或者，所述输入设备提供的语音信息和/或视差图像；或者，所述输入设备提供的按键信息和/或视差图像。
14.根据权利要求12或13所述的系统，其特征在于：
所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。
CN201210438517.XA 2012-11-06 2012-11-06 增强现实中对象的识别方法及系统和计算机 Active CN102981616B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210438517.XA CN102981616B (zh) 2012-11-06 2012-11-06 增强现实中对象的识别方法及系统和计算机
EP13804735.2A EP2919093A4 (en) 2012-11-06 2013-08-01 METHOD, SYSTEM AND COMPUTER FOR OBJECT IDENTIFICATION IN INCREASED REALITY
US14/440,890 US20150301596A1 (en) 2012-11-06 2013-08-01 Method, System, and Computer for Identifying Object in Augmented Reality
PCT/CN2013/080661 WO2013185714A1 (zh) 2012-11-06 2013-08-01 增强现实中识别对象的方法及系统和计算机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210438517.XA CN102981616B (zh) 2012-11-06 2012-11-06 增强现实中对象的识别方法及系统和计算机

Publications (2)

Publication Number Publication Date
CN102981616A true CN102981616A (zh) 2013-03-20
CN102981616B CN102981616B (zh) 2017-09-22

Family

ID=47855735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210438517.XA Active CN102981616B (zh) 2012-11-06 2012-11-06 增强现实中对象的识别方法及系统和计算机

Country Status (4)

Country Link
US (1) US20150301596A1 (zh)
EP (1) EP2919093A4 (zh)
CN (1) CN102981616B (zh)
WO (1) WO2013185714A1 (zh)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268188A (zh) * 2013-05-27 2013-08-28 华为终端有限公司 一种基于图片特征元素的设置方法、解锁方法和装置
CN103324290A (zh) * 2013-07-04 2013-09-25 深圳市中兴移动通信有限公司 终端设备及其眼睛操控方法
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
WO2013185714A1 (zh) * 2012-11-06 2013-12-19 中兴通讯股份有限公司 增强现实中识别对象的方法及系统和计算机
CN103984413A (zh) * 2014-05-19 2014-08-13 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN104360751A (zh) * 2014-12-05 2015-02-18 三星电子（中国）研发中心 一种实现智能控制的方法和设备
CN104391567A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
WO2015081705A1 (zh) * 2013-12-02 2015-06-11 深圳市亿思达科技集团有限公司 一种空中触控系统
CN104731340A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 光标位置确定方法及终端设备
US20150212330A1 (en) * 2014-01-24 2015-07-30 Quanta Computer Inc. Head mounted display and control method thereof
CN104850229A (zh) * 2015-05-18 2015-08-19 小米科技有限责任公司 识别物体的方法及装置
CN104918036A (zh) * 2014-03-12 2015-09-16 联想(北京)有限公司 增强现实显示装置及方法
CN104951059A (zh) * 2014-03-31 2015-09-30 联想(北京)有限公司 一种数据处理方法、装置及一种电子设备
CN105183142A (zh) * 2014-06-13 2015-12-23 中国科学院光电研究院 一种利用空间位置装订的数字信息复现方法
CN105264571A (zh) * 2013-05-30 2016-01-20 查尔斯·安东尼·史密斯 Hud对象设计和方法
CN105630135A (zh) * 2014-10-27 2016-06-01 中兴通讯股份有限公司 一种智能终端的控制方法和装置
CN105741290A (zh) * 2016-01-29 2016-07-06 中国人民解放军国防科学技术大学 一种基于增强现实技术的印制电路板信息指示方法及装置
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105933613A (zh) * 2016-06-28 2016-09-07 广东欧珀移动通信有限公司 一种图像处理的方法、装置及移动终端
CN105975179A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 一种3d空间用户界面的操作对象确定方法及其装置
CN106095111A (zh) * 2016-06-24 2016-11-09 北京奇思信息技术有限公司 根据用户眼部动作控制虚拟现实交互的方法
CN106095106A (zh) * 2016-06-21 2016-11-09 乐视控股（北京）有限公司 虚拟现实终端及其显示光心距的调整方法及装置
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106155322A (zh) * 2016-06-30 2016-11-23 联想(北京)有限公司 信息处理方法、电子设备以及控制系统
CN106484122A (zh) * 2016-11-16 2017-03-08 捷开通讯(深圳)有限公司 一种虚拟现实装置及其浏览轨迹跟踪方法
CN106527662A (zh) * 2016-11-04 2017-03-22 歌尔科技有限公司 一种虚拟现实设备及其显示屏的控制方法、装置
CN106527696A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种实现虚拟操作的方法以及可穿戴设备
CN106598214A (zh) * 2016-11-02 2017-04-26 歌尔科技有限公司 用于虚拟现实设备的功能触发方法、装置及虚拟现实设备
CN106648055A (zh) * 2016-09-30 2017-05-10 珠海市魅族科技有限公司 一种在虚拟现实环境中管理菜单的方法及虚拟现实设备
CN107003737A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 用于自然用户输入的指示器投影
CN107097227A (zh) * 2017-04-17 2017-08-29 北京航空航天大学 一种人机协作机器人系统
CN107209565A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 固定大小的增强现实对象
CN107341791A (zh) * 2017-06-19 2017-11-10 北京全域医疗技术有限公司 一种基于混合现实的勾靶方法、装置及系统
WO2018036113A1 (zh) * 2016-08-23 2018-03-01 深圳市掌网科技股份有限公司 一种增强现实方法及系统
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN107852488A (zh) * 2015-05-22 2018-03-27 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
CN108345844A (zh) * 2018-01-26 2018-07-31 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
CN108446018A (zh) * 2018-02-12 2018-08-24 上海青研科技有限公司 一种基于双目视觉技术的增强现实眼动交互系统
CN108563327A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 增强现实方法、装置、存储介质及电子设备
CN108605166A (zh) * 2015-12-17 2018-09-28 汤姆逊许可公司 采用增强现实的个性化呈现增强
CN109035415A (zh) * 2018-07-03 2018-12-18 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN109086726A (zh) * 2018-08-10 2018-12-25 陈涛 一种基于ar智能眼镜的局部图像识别方法及系统
CN109785445A (zh) * 2019-01-22 2019-05-21 京东方科技集团股份有限公司 交互方法、装置、系统及计算机可读存储介质
CN109891342A (zh) * 2016-10-21 2019-06-14 通快机床两合公司 在金属加工工业中基于室内人员定位的制造控制
CN110891533A (zh) * 2017-05-29 2020-03-17 爱威愿景有限公司 具有聚焦管理的眼睛投影系统和方法
CN110933396A (zh) * 2019-12-12 2020-03-27 中国科学技术大学 集成成像显示系统及其显示方法
CN111247523A (zh) * 2017-09-21 2020-06-05 亚马逊科技公司 用于航空载具的物体检测和躲避
CN111505837A (zh) * 2019-12-31 2020-08-07 杭州电子科技大学 一种基于双眼成像分析的视距检测自动变焦光学系统
CN111722708A (zh) * 2020-04-29 2020-09-29 中国人民解放军战略支援部队信息工程大学 一种基于眼动的多维地理信息自适应智能交互方法及装置
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
US10921979B2 (en) 2015-12-07 2021-02-16 Huawei Technologies Co., Ltd. Display and processing methods and related apparatus
CN114356482A (zh) * 2021-12-30 2022-04-15 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法
US11520314B2 (en) 2016-10-21 2022-12-06 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Control of manufacturing processes in metal processing industry

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
EP3091510B1 (en) * 2015-05-06 2021-07-07 Reactive Reality AG Method and system for producing output images
US10635189B2 (en) 2015-07-06 2020-04-28 RideOn Ltd. Head mounted display curser maneuvering
CN106708249B (zh) * 2015-07-31 2020-03-03 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
US20180027230A1 (en) * 2016-07-19 2018-01-25 John T. Kerr Adjusting Parallax Through the Use of Eye Movements
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
US10796487B2 (en) * 2017-09-27 2020-10-06 Fisher-Rosemount Systems, Inc. 3D mapping of a process control environment
US11783464B2 (en) * 2018-05-18 2023-10-10 Lawrence Livermore National Security, Llc Integrating extended reality with inspection systems
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
CN110286754B (zh) * 2019-06-11 2022-06-24 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
CN110310373B (zh) * 2019-06-28 2023-12-12 京东方科技集团股份有限公司 一种增强现实设备的图像处理方法和增强现实设备
US11393198B1 (en) 2020-06-02 2022-07-19 State Farm Mutual Automobile Insurance Company Interactive insurance inventory and claim generation
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11861137B2 (en) 2020-09-09 2024-01-02 State Farm Mutual Automobile Insurance Company Vehicular incident reenactment using three-dimensional (3D) representations
KR102495213B1 (ko) * 2020-11-05 2023-02-07 한국전자통신연구원 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
US11170540B1 (en) 2021-03-15 2021-11-09 International Business Machines Corporation Directional based commands

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN101441513A (zh) * 2008-11-26 2009-05-27 北京科技大学 一种利用视觉进行非接触式人机交互的系统
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20120113092A1 (en) * 2010-11-08 2012-05-10 Avi Bar-Zeev Automatic variable virtual focus for augmented reality displays
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3543666A (en) * 1968-05-06 1970-12-01 Sidney Kazel Automatic ranging and focusing system
US6244703B1 (en) * 1999-03-16 2001-06-12 Nathaniel Resnikoff Method and apparatus for calibration of an electronic vision device
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
DE10241475A1 (de) * 2002-09-03 2004-03-11 4D-Vision Gmbh Simulationsverfahren
EP1450206B1 (en) * 2003-02-21 2016-04-20 Canon Kabushiki Kaisha Mask and its manufacturing method, exposure, and semiconductor device fabrication method
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
WO2006017771A1 (en) * 2004-08-06 2006-02-16 University Of Washington Variable fixation viewing distance scanned light displays
DE102004046617A1 (de) * 2004-09-22 2006-04-06 Eldith Gmbh Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
DE102005003699B4 (de) * 2005-01-26 2018-07-05 Rodenstock Gmbh Vorrichtung und Verfahren zum Bestimmen von optischen Parametern eines Benutzers; Computerprogrammprodukt
JP4533284B2 (ja) * 2005-08-30 2010-09-01 キヤノン株式会社 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
GB0718622D0 (en) * 2007-05-16 2007-11-07 Seereal Technologies Sa Holograms
EP2171527B1 (fr) * 2007-07-26 2019-09-04 Essilor International Procédé de mesure d'au moins un paramètre géométrico-physionomique d'implantation d'une monture de lunettes de correction visuelle sur le visage d'un porteur
US8885177B2 (en) * 2007-09-26 2014-11-11 Elbit Systems Ltd. Medical wide field of view optical tracking system
WO2009040792A1 (en) * 2007-09-26 2009-04-02 Elbit Systems Ltd. Wide field of view optical tracking system
JP5169253B2 (ja) * 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
DE102009010467A1 (de) * 2009-02-26 2010-09-09 Carl Zeiss Vision Gmbh Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
TWI411760B (zh) * 2010-05-14 2013-10-11 Pixart Imaging Inc Calculation of the distance between eyes
US8493241B2 (en) * 2010-11-30 2013-07-23 Honeywell International Inc. Systems, methods and computer readable media for displaying multiple overlaid images to a pilot of an aircraft during flight
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
KR101970929B1 (ko) * 2011-12-06 2019-04-19 이-비전 스마트 옵틱스, 아이엔씨. 영상들을 제공하기 위한 시스템, 기기, 및/또는 방법들
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN101441513A (zh) * 2008-11-26 2009-05-27 北京科技大学 一种利用视觉进行非接触式人机交互的系统
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20120113092A1 (en) * 2010-11-08 2012-05-10 Avi Bar-Zeev Automatic variable virtual focus for augmented reality displays
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Cited By (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185714A1 (zh) * 2012-11-06 2013-12-19 中兴通讯股份有限公司 增强现实中识别对象的方法及系统和计算机
CN103268188A (zh) * 2013-05-27 2013-08-28 华为终端有限公司 一种基于图片特征元素的设置方法、解锁方法和装置
CN105264571B (zh) * 2013-05-30 2019-11-08 查尔斯·安东尼·史密斯 Hud对象设计和方法
CN105264571A (zh) * 2013-05-30 2016-01-20 查尔斯·安东尼·史密斯 Hud对象设计和方法
CN103324290A (zh) * 2013-07-04 2013-09-25 深圳市中兴移动通信有限公司 终端设备及其眼睛操控方法
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
WO2015081705A1 (zh) * 2013-12-02 2015-06-11 深圳市亿思达科技集团有限公司 一种空中触控系统
US9430878B2 (en) * 2014-01-24 2016-08-30 Quanta Computer Inc. Head mounted display and control method thereof
US20150212330A1 (en) * 2014-01-24 2015-07-30 Quanta Computer Inc. Head mounted display and control method thereof
CN104918036A (zh) * 2014-03-12 2015-09-16 联想(北京)有限公司 增强现实显示装置及方法
CN104918036B (zh) * 2014-03-12 2019-03-29 联想(北京)有限公司 增强现实显示装置及方法
CN104951059B (zh) * 2014-03-31 2018-08-10 联想(北京)有限公司 一种数据处理方法、装置及一种电子设备
CN104951059A (zh) * 2014-03-31 2015-09-30 联想(北京)有限公司 一种数据处理方法、装置及一种电子设备
CN103984413B (zh) * 2014-05-19 2017-12-08 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN103984413A (zh) * 2014-05-19 2014-08-13 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN105183142A (zh) * 2014-06-13 2015-12-23 中国科学院光电研究院 一种利用空间位置装订的数字信息复现方法
CN105183142B (zh) * 2014-06-13 2018-02-09 中国科学院光电研究院 一种利用空间位置装订的数字信息复现方法
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104391567A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
EP3002944A1 (en) * 2014-09-30 2016-04-06 Shenzhen Estar Technology Group Co., Ltd 3d holographic virtual object display controlling method based on human-eye tracking
CN105630135A (zh) * 2014-10-27 2016-06-01 中兴通讯股份有限公司 一种智能终端的控制方法和装置
CN107003737A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 用于自然用户输入的指示器投影
CN104360751B (zh) * 2014-12-05 2017-05-10 三星电子（中国）研发中心 一种实现智能控制的方法和设备
CN104360751A (zh) * 2014-12-05 2015-02-18 三星电子（中国）研发中心 一种实现智能控制的方法和设备
CN107209565B (zh) * 2015-01-20 2020-05-05 微软技术许可有限责任公司 用于显示固定大小的增强现实对象的方法和系统
CN107209565A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 固定大小的增强现实对象
CN104731340A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 光标位置确定方法及终端设备
CN104731340B (zh) * 2015-03-31 2016-08-17 努比亚技术有限公司 光标位置确定方法及终端设备
US10133957B2 (en) 2015-05-18 2018-11-20 Xiaomi Inc. Method and device for recognizing object
CN104850229B (zh) * 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
CN104850229A (zh) * 2015-05-18 2015-08-19 小米科技有限责任公司 识别物体的方法及装置
US10521941B2 (en) 2015-05-22 2019-12-31 Samsung Electronics Co., Ltd. System and method for displaying virtual image through HMD device
CN107852488A (zh) * 2015-05-22 2018-03-27 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
CN107852488B (zh) * 2015-05-22 2021-03-30 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
US11386600B2 (en) 2015-05-22 2022-07-12 Samsung Electronics Co., Ltd. System and method for displaying virtual image through HMD device
US10921979B2 (en) 2015-12-07 2021-02-16 Huawei Technologies Co., Ltd. Display and processing methods and related apparatus
US10834454B2 (en) 2015-12-17 2020-11-10 Interdigital Madison Patent Holdings, Sas Personalized presentation enhancement using augmented reality
CN108605166A (zh) * 2015-12-17 2018-09-28 汤姆逊许可公司 采用增强现实的个性化呈现增强
CN105741290B (zh) * 2016-01-29 2018-06-19 中国人民解放军国防科学技术大学 一种基于增强现实技术的印制电路板信息指示方法及装置
CN105741290A (zh) * 2016-01-29 2016-07-06 中国人民解放军国防科学技术大学 一种基于增强现实技术的印制电路板信息指示方法及装置
CN105912110B (zh) * 2016-04-06 2019-09-06 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105975179A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 一种3d空间用户界面的操作对象确定方法及其装置
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN107771342B (zh) * 2016-06-20 2020-12-15 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN106095106A (zh) * 2016-06-21 2016-11-09 乐视控股（北京）有限公司 虚拟现实终端及其显示光心距的调整方法及装置
CN106095111A (zh) * 2016-06-24 2016-11-09 北京奇思信息技术有限公司 根据用户眼部动作控制虚拟现实交互的方法
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106127167B (zh) * 2016-06-28 2019-06-25 Oppo广东移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN105933613A (zh) * 2016-06-28 2016-09-07 广东欧珀移动通信有限公司 一种图像处理的方法、装置及移动终端
CN106155322A (zh) * 2016-06-30 2016-11-23 联想(北京)有限公司 信息处理方法、电子设备以及控制系统
WO2018036113A1 (zh) * 2016-08-23 2018-03-01 深圳市掌网科技股份有限公司 一种增强现实方法及系统
CN106648055A (zh) * 2016-09-30 2017-05-10 珠海市魅族科技有限公司 一种在虚拟现实环境中管理菜单的方法及虚拟现实设备
US11520314B2 (en) 2016-10-21 2022-12-06 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Control of manufacturing processes in metal processing industry
US11361391B2 (en) 2016-10-21 2022-06-14 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Manufacturing control in the metal processing industry
CN109891342A (zh) * 2016-10-21 2019-06-14 通快机床两合公司 在金属加工工业中基于室内人员定位的制造控制
CN106527696A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种实现虚拟操作的方法以及可穿戴设备
WO2018082162A1 (zh) * 2016-11-02 2018-05-11 歌尔科技有限公司 用于虚拟现实设备的功能触发方法、装置及虚拟现实设备
CN106598214A (zh) * 2016-11-02 2017-04-26 歌尔科技有限公司 用于虚拟现实设备的功能触发方法、装置及虚拟现实设备
CN106527662A (zh) * 2016-11-04 2017-03-22 歌尔科技有限公司 一种虚拟现实设备及其显示屏的控制方法、装置
WO2018082161A1 (zh) * 2016-11-04 2018-05-11 歌尔科技有限公司 一种虚拟现实设备及其显示屏的控制方法、装置
CN106484122A (zh) * 2016-11-16 2017-03-08 捷开通讯(深圳)有限公司 一种虚拟现实装置及其浏览轨迹跟踪方法
CN107097227B (zh) * 2017-04-17 2019-12-06 北京航空航天大学 一种人机协作机器人系统
CN107097227A (zh) * 2017-04-17 2017-08-29 北京航空航天大学 一种人机协作机器人系统
CN110891533A (zh) * 2017-05-29 2020-03-17 爱威愿景有限公司 具有聚焦管理的眼睛投影系统和方法
CN107341791A (zh) * 2017-06-19 2017-11-10 北京全域医疗技术有限公司 一种基于混合现实的勾靶方法、装置及系统
US11195011B2 (en) 2017-09-21 2021-12-07 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
CN111247523A (zh) * 2017-09-21 2020-06-05 亚马逊科技公司 用于航空载具的物体检测和躲避
CN111247523B (zh) * 2017-09-21 2022-05-10 亚马逊科技公司 用于航空载具的物体检测和躲避
CN108345844A (zh) * 2018-01-26 2018-07-31 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
CN108345844B (zh) * 2018-01-26 2020-11-20 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
CN108446018A (zh) * 2018-02-12 2018-08-24 上海青研科技有限公司 一种基于双目视觉技术的增强现实眼动交互系统
CN108563327A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 增强现实方法、装置、存储介质及电子设备
CN108563327B (zh) * 2018-03-26 2020-12-01 Oppo广东移动通信有限公司 增强现实方法、装置、存储介质及电子设备
CN109035415A (zh) * 2018-07-03 2018-12-18 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN109086726B (zh) * 2018-08-10 2020-01-14 陈涛 一种基于ar智能眼镜的局部图像识别方法及系统
CN109086726A (zh) * 2018-08-10 2018-12-25 陈涛 一种基于ar智能眼镜的局部图像识别方法及系统
US11610380B2 (en) 2019-01-22 2023-03-21 Beijing Boe Optoelectronics Technology Co., Ltd. Method and computing device for interacting with autostereoscopic display, autostereoscopic display system, autostereoscopic display, and computer-readable storage medium
CN109785445B (zh) * 2019-01-22 2024-03-08 京东方科技集团股份有限公司 交互方法、装置、系统及计算机可读存储介质
CN109785445A (zh) * 2019-01-22 2019-05-21 京东方科技集团股份有限公司 交互方法、装置、系统及计算机可读存储介质
CN110933396A (zh) * 2019-12-12 2020-03-27 中国科学技术大学 集成成像显示系统及其显示方法
CN111505837A (zh) * 2019-12-31 2020-08-07 杭州电子科技大学 一种基于双眼成像分析的视距检测自动变焦光学系统
CN111722708B (zh) * 2020-04-29 2021-06-08 中国人民解放军战略支援部队信息工程大学 一种基于眼动的多维地理信息自适应智能交互方法及装置
CN111722708A (zh) * 2020-04-29 2020-09-29 中国人民解放军战略支援部队信息工程大学 一种基于眼动的多维地理信息自适应智能交互方法及装置
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
CN114356482A (zh) * 2021-12-30 2022-04-15 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法
CN114356482B (zh) * 2021-12-30 2023-12-12 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法

Also Published As

Publication number Publication date
EP2919093A1 (en) 2015-09-16
US20150301596A1 (en) 2015-10-22
CN102981616B (zh) 2017-09-22
WO2013185714A1 (zh) 2013-12-19
EP2919093A4 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
CN102981616A (zh) 增强现实中对象的识别方法及系统和计算机
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
US10635895B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
KR20230066626A (ko) 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
EP3332285B1 (en) Gaze direction mapping
Hirzle et al. A design space for gaze interaction on head-mounted displays
CN103793060B (zh) 一种用户交互系统和方法
US9210413B2 (en) System worn by a moving user for fully augmenting reality by anchoring virtual objects
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
CN103443742A (zh) 用于凝视和姿势接口的系统和方法
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US11442685B2 (en) Remote interaction via bi-directional mixed-reality telepresence
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
Saggio et al. Augmented reality for restoration/reconstruction of artefacts with artistic or historical value
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
CN106125927B (zh) 图像处理系统及方法
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
Flotyński et al. Extended Reality Environments
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant