CN106980377A - 一种三维空间的交互系统及其操作方法 - Google Patents

一种三维空间的交互系统及其操作方法 Download PDF

Info

Publication number
CN106980377A
CN106980377A CN201710197342.0A CN201710197342A CN106980377A CN 106980377 A CN106980377 A CN 106980377A CN 201710197342 A CN201710197342 A CN 201710197342A CN 106980377 A CN106980377 A CN 106980377A
Authority
CN
China
Prior art keywords
operator
space
interaction
processor
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710197342.0A
Other languages
English (en)
Other versions
CN106980377B (zh
Inventor
丁小梁
董学
王海生
吴俊纬
刘英明
王鹏鹏
郑智仁
韩艳玲
曹学友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710197342.0A priority Critical patent/CN106980377B/zh
Publication of CN106980377A publication Critical patent/CN106980377A/zh
Priority to US15/776,960 priority patent/US10936053B2/en
Priority to PCT/CN2017/104165 priority patent/WO2018176773A1/zh
Application granted granted Critical
Publication of CN106980377B publication Critical patent/CN106980377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种三维空间的交互系统及其操作方法，根据操作者眼睛的位置和眼睛的注视角度确定视场空间，根据操作者各关节位置和视场空间确定绝对交互空间和相对交互空间，实现了对空间区域的划分；再根据操作者的当前动作、操作者观看到的虚拟物体与绝对交互空间三者之间的关系，确定操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作，以实现在操作者产生相应的动作时，对虚拟物体执行与操作者的动作相匹配的操作；将生成的对应三维图像显示信号输出至三维图像显示装置，完成三维空间的体感交互。因此，该交互系统不仅对空间区域进行了划分，还通过对操作者动作进行分析，实现人的操作与影像的互动，实现了优质的体感交互体验。

Description

一种三维空间的交互系统及其操作方法
技术领域
本发明涉及三维显示技术领域，尤指一种三维空间的交互系统及其操作方法。
背景技术
在目前的显示领域，三维显示技术给人们创造了虚拟的环境，可以使观看者身临其境的感受画面中的各种场景；另外，体感交互技术，实现了用户通过自己的肢体控制系统，使得用户只需对着显示器做出相应的动作，显示器通过捕捉用户的动作使显示画面产生与用户动作相匹配的显示图像；然而，目前类似于Kinect的体感交互技术，只能够应用于二维显示的电视游戏中，而基于三维显示的体感交互技术却寥寥无几。
基于此，如何将三维显示技术与体感交互技术相结合，实现三维空间的体感交互，提高用户的交互体验，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种三维空间的交互系统及其操作方法，用以解决现有技术中如何将三维显示技术与体感交互技术相结合，实现三维空间的体感交互，提高用户的交互体验。
本发明实施例提供了一种三维空间的交互系统，包括：眼定位装置、空间定位装置、以及主控装置；其中，
所述眼定位装置，用于确定操作者眼睛位置以及眼睛的注视角度，并输出至所述主控装置；
所述空间定位装置，用于确定所述操作者的各关节位置，并输出至所述主控装置；
所述主控装置，包括：视场空间处理器、交互空间处理器、操作动作处理器、互动匹配处理器和图像处理器；
所述视场空间处理器与所述眼定位装置电连接，用于根据所述操作者眼睛位置以及眼睛的注视角度确定视场空间；
所述交互空间处理器分别与所述空间定位装置和所述视场空间处理器电连接，用于根据所述操作者的各关节位置确定交互空间，并将所述交互空间中与所述视场空间交叠的区域作为绝对交互空间，将其他所述交互空间的区域作为相对交互空间；
所述操作动作处理器与所述空间定位装置电连接，用于根据所述操作者的各关节位置的变化确定所述操作者的当前动作；
所述互动匹配处理器分别与所述视场空间处理器、所述交互空间处理器和所述操作动作处理器电连接，用于根据所述操作者的当前动作、所述操作者观看到的虚拟物体与所述绝对交互空间三者之间的关系，确定所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作；
所述图像处理器分别与所述互动匹配处理器和所述视场空间处理器电连接，用于根据所述视场空间和所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作，生成对应的三维图像显示信号输出至电连接的三维图像显示装置。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述操作动作处理器，具体用于根据所述操作者触控部位的关节位置变化确定所述操作者的当前触控动作；根据所述操作者非触控部位的关节位置变化确定所述操作者的当前肢体动作。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于所述相对交互空间时，确定所述操作者对位于所述交互空间外的所述视场空间内的所述虚拟物体执行移动至所述绝对交互空间内的操作。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述视场空间处理器，还用于根据所述操作者眼睛的注视角度在所述视场空间内确定注视空间；
所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于相对交互空间时，确定所述操作者对位于所述交互空间外的所述注视空间内的所述虚拟物体执行移动至所述绝对交互空间内的操作。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述交互空间处理器，还用于将所述绝对交互空间中与所述注视空间交叠的区域作为精细交互空间；
所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于绝对交互空间时，确定所述操作者对位于所述绝对交互空间内选中的所述虚拟物体执行对应的操作。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于绝对交互空间时，确定所述操作者对仅位于所述精细交互空间内选中的所述虚拟物体执行对应的操作。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述图像处理器，还用于在所述操作者眼睛位置发生变化时，根据所述操作者观看同一所述虚拟物体时视角的变化，确定所述虚拟物体在所述三维图像显示装置中的三维图像位置，并生成对应的三维图像显示信号输出至电连接的三维图像显示装置；其中，同一所述虚拟物体与所述三维图像显示装置的位置关系相对固定。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述图像处理器，具体用于采用如下公式确定所述虚拟物体在所述三维图像显示装置中的三维图像位置：
其中，(x1,y1)表示所述操作者眼睛的瞳距中心变化前的位置，(x2,y2)表示所述操作者眼睛的瞳距中心变化后的位置，(a1,b1)表示在所述操作者眼睛位置发生变化前，所述虚拟物体在所述三维图像显示装置中的左眼图像位置，(a2,b2)表示在所述操作者眼睛位置发生变化前，所述虚拟物体在所述三维图像显示装置中的右眼图像位置，(c1,d1)表示在所述操作者眼睛位置发生变化后，所述虚拟物体在所述三维图像显示装置中的左眼图像位置，(c2,d2)表示在所述操作者眼睛位置发生变化后，所述虚拟物体在所述三维图像显示装置中的右眼图像位置，d1表示所述操作者眼睛的瞳距。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述眼定位装置，具体包括：第一红外发射器、第一红外摄像头、以及第一处理芯片；其中，
所述第一红外发射器，用于向所述操作者发射第一红外信号；
所述第一红外摄像头，用于获取所述操作者眼睛反射的第一红外信号图像；
所述第一处理芯片，用于根据所述红外发射器发射的第一红外信号、以及所述第一红外摄像头获取到的所述操作者眼睛反射的第一红外信号图像，确定所述操作者眼睛位置和眼睛的注视角度，并输出至所述主控装置。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述空间定位装置，具体包括：第二红外发射器、第二红外摄像头、以及第二处理芯片；其中，
所述第二红外发射器，用于向所述操作者发射第二红外信号；
所述第二红外摄像头，用于获取所述操作者的各关节位置反射的第二红外信号图像；
所述第二处理芯片，用于根据所述第二红外发射器发射的第二红外信号、以及所述第二红外摄像头获取到的所述操作者的各关节位置反射的第二红外信号图像，确定所述操作者的各关节位置，并输出至所述主控装置。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述第一红外发射器和所述第二红外发射器为同一红外发射器；所述第一红外摄像头和所述第二红外摄像头为同一红外摄像头。
在一种可能的实施方式中，在本发明实施例提供的上述交互系统中，所述空间定位装置，还包括：雷达检测器和/或超声波检测器；其中，
所述雷达检测器，用于采用雷达检测所述操作者触控部位的关节位置反射的雷达信号；
所述超声波检测器，用于采用超声波检测所述操作者触控部位的关节位置反射的超声波信号。
另一方面，本发明实施例还提供了一种上述三维空间的交互系统的操作方法，包括：
眼定位装置确定操作者眼睛位置以及眼睛的注视角度，并输出至主控装置；
空间定位装置确定所述操作者的各关节位置，并输出至所述主控装置；
所述主控装置中的视场空间处理器根据所述操作者眼睛位置以及眼睛的注视角度确定视场空间；
所述主控装置中的交互空间处理器根据所述操作者的各关节位置确定交互空间，并将所述交互空间中与所述视场空间交叠的区域作为绝对交互空间，将其他所述交互空间的区域作为相对交互空间；
所述主控装置中的操作动作处理器根据所述操作者的各关节位置的变化确定所述操作者的当前动作；
所述主控装置中的互动匹配处理器根据所述操作者的当前动作、所述操作者观看到的虚拟物体与所述绝对交互空间三者之间的关系，确定所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作；
所述主控装置中的图像处理器根据所述视场空间和所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作，生成对应的三维图像显示信号输出至电连接的三维图像显示装置。
本发明有益效果如下：
本发明实施例提供的一种三维空间的交互系统及其操作方法，该交互系统首先根据操作者的眼睛位置和眼睛的注视角度确定视场空间，根据操作者的各关节位置和视场空间确定绝对交互空间和相对交互空间，实现了对空间区域的划分；然后，根据操作者的当前动作、操作者观看到的虚拟物体与绝对交互空间三者之间的关系，确定操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作，以实现在操作者产生相应的动作时，对虚拟物体执行与操作者的动作相匹配的操作；最后，将生成的对应三维图像显示信号输出至电连接的三维图像显示装置，实现三维图像的显示，完成三维空间的体感交互。因此，该交互系统不仅对空间区域进行了划分，还通过对操作者产生的动作进行分析，实现人的操作与影像的互动，实现了优质的体感交互体验。
附图说明
图1为本发明实施例中提供的一种三维空间的交互系统的结构示意图之一；
图2为本发明实施例中提供的一种三维空间的交互系统的结构示意图之二；
图3a和图3b为本发明实施例中提供的三维图像显示装置与眼睛的可视范围之间关系的示意图；
图4为本发明实施例中提供的眼睛的注视方向的示意图；
图5为本发明实施例中提供的注视空间的结构示意图；
图6为本发明实施例中提供的操作者的各关节位置的结构示意图；
图7为本发明实施例中提供的交互空间的水平界面的示意图；
图8a和图8b为本发明实施例中提供的交互空间的区域划分的示意图；
图9为本发明实施例中提供的交互空间、视场空间和系统空间的结构示意图；
图10a和图10b本发明实施例中提供的对手指关节位置的检测的示意图；
图11a至图11c本发明实施例中提供的操作者对选中的虚拟物体执行的与当前动作相匹配的操作的示意图；
图12为本发明实施例中提供的在操作者的眼睛位置发生变化时虚拟物体在三维图像显示装置中的左眼图像和右眼图像的位置变化的示意图。
具体实施方式
下面将结合附图，对本发明实施例提供的一种三维空间的交互系统的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种三维空间的交互系统，如图1所示，可以包括：眼定位装置100、空间定位装置200、以及主控装置300；其中，
眼定位装置100，用于确定操作者眼睛位置以及眼睛的注视角度，并输出至主控装置300；
空间定位装置200，用于确定操作者的各关节位置，并输出至主控装置300；
主控装置300，包括：视场空间处理器301、交互空间处理器302、操作动作处理器303、互动匹配处理器304和图像处理器305；
视场空间处理器301与眼定位装置100电连接，用于根据操作者眼睛位置以及眼睛的注视角度确定视场空间；
交互空间处理器302分别与空间定位装置200和视场空间处理器301电连接，用于根据操作者的各关节位置确定交互空间，并将交互空间中与视场空间交叠的区域作为绝对交互空间，将其他交互空间的区域作为相对交互空间；
操作动作处理器303与空间定位装置200电连接，用于根据操作者的各关节位置的变化确定操作者的当前动作；
互动匹配处理器304分别与视场空间处理器301、交互空间处理器302和操作动作处理器303电连接，用于根据操作者的当前动作、操作者观看到的虚拟物体与绝对交互空间三者之间的关系，确定操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作；
图像处理器305分别与互动匹配处理器304和视场空间处理器301电连接，用于根据视场空间和操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作，生成对应的三维图像显示信号输出至电连接的三维图像显示装置。
本发明实施例提供的上述三维空间的交互系统，该交互系统首先实现了对空间区域的划分；然后，在操作者产生相应的动作时，通过对操作者产生的动作进行分析，对虚拟物体执行与操作者的动作相匹配的操作，实现人的操作与影像的互动；最后，通过将生成的对应三维图像显示信号输出至电连接的三维图像显示装置，实现了三维图像的显示，还实现了优质的体感交互体验。
在具体实施时，通常采用主动式红外成像技术，实现对操作者的眼睛位置和眼睛的注视角度进行定位，而主动式红外成像技术一般包括发射红外信号的红外发射器、获取红外信号图像的红外摄像头、以及对发射的红外信号和获取的红外信号图像进行解析处理的处理芯片；因此，在本发明实施例提供的上述交互系统中，如图2所示，眼定位装置100，可以具体包括：第一红外发射器101、第一红外摄像头102、以及第一处理芯片103；其中，
第一红外发射器101，用于向操作者发射第一红外信号；
第一红外摄像头102，用于获取操作者眼睛反射的第一红外信号图像；
第一处理芯片103，用于根据红外发射器发射的第一红外信号、以及第一红外摄像头102获取到的操作者眼睛反射的第一红外信号图像，确定操作者眼睛位置和眼睛的注视角度，并输出至主控装置300。
当然，为了实现对操作者眼睛的位置和眼睛的注视角度进行定位，并不限于采用上述主动式红外成像技术，还可以采用其他可以实现此目的的技术，在此不作限定。
具体地，主控装置300中的视场空间处理器301，可以根据眼定位装置100确定出的操作者眼睛的位置和眼睛的注视角度确定视场空间；当然，在确定视场空间时，还需要借助三维图像显示装置的位置、形状和尺寸，以及眼睛的可视角度，一般情况下，眼睛的可视角度最大为120°，因此对应的最大可视范围即为以眼睛的瞳距中心为顶点的最大可视角度；所以，根据操作者与三维图像显示装置的位置关系，可以分为以下两种情况：一是三维图像显示装置的尺寸大于或等于眼睛的最大可视范围；二是三维图像显示装置的尺寸小于眼睛的最大可视范围。
在三维图像显示装置的尺寸大于或等于眼睛的最大可视范围时，如图3a所示的三维图像显示装置01的尺寸大于眼睛的最大可视范围，操作者的视场空间(黑点填充区域)即为最大可视范围，水平方向的实线表示视场的景深；在三维图像显示装置01的尺寸小于眼睛的最大可视范围时，如图3b所示，眼睛的可视角度与三维图像显示装置01的尺寸和位置有关，水平方向的实线表示视场的景深。
具体地，通过采用主动式红外成像技术，不仅可以实现对操作者的眼睛位置和眼睛的注视角度进行定位，还可以对操作者的注视位置进行定位，以图3b所示的三维图像显示装置01的尺寸小于眼睛的最大可视范围为例，如图4所示，眼睛在由x轴、y轴和z轴构成的三维空间中的位置坐标为(x,y,z,α,β)，其中，α为注视方向与x轴之间的夹角，β为注视方向与y轴之间的夹角，α和β均表示眼睛的注视方向的方位角；因此，如图5所示，可以根据注视方向(带箭头的实线)，将以注视方向为轴心，以眼睛的瞳距中心为顶点，顶角为20°以内的视场空间确定为注视空间(竖线填充区域)，在注视空间内，操作者的眼睛可以清晰的看到注视空间内的任何画面，而对于位于注视空间之外的视场空间内的画面，虽然眼睛可以看到，但画面较为模糊，所以当需要对视场空间内的虚拟物体进行操作时，需要借助于注视空间以提高操作的准确率。
在具体实施时，在对空间进行初步定位时，通常也采用红外成像技术，其中包括的部件为发射红外信号的红外发射器、获取红外信号图像的红外摄像头、以及对红外信号和红外信号图像进行解析处理的处理芯片；因此，在本发明实施例提供的上述交互系统中，如图2所示，空间定位装置200，可以具体包括：第二红外发射器201、第二红外摄像头202、以及第二处理芯片203；其中，
第二红外发射器201，用于向操作者发射第二红外信号；
第二红外摄像头202，用于获取操作者的各关节位置反射的第二红外信号图像；
第二处理芯片203，用于根据第二红外发射器发射的第二红外信号、以及第二红外摄像头202获取到的操作者的各关节位置反射的第二红外信号图像，确定操作者的各关节位置，并输出至主控装置300。
具体地，在眼定位装置100和空间定位装置200中，因均使用了红外发射器和红外摄像头，所以，第一红外发射器和第二红外发射器可以为同一红外发射器；第一红外摄像头和第二红外摄像头可以为同一红外摄像头；当然，第一红外发射器和第二红外发射器也可以为两个不同的红外发射器；第一红外摄像头和第二红外摄像头也可以为两个不同的红外摄像头，在此不作限定。
具体地，对空间进行初步定位，也就是对操作者的各关节位置进行定位，以得到操作者的人体定位坐标；而这里指的人体关节位置可以包括两肩位置、肘关节位置、手腕位置、手掌中心和颈部位置等，但并限于上半身的关节位置，还包括其它部位的各关节位置，图6中只给出了部分关节位置，且黑点表示关节位置；因各关节位置之间距离较远，对关节位置的检测精度不高，一般为厘米级，所以一般采用红外成像技术进行检测定位，并且，一般采用双广角摄像头，以实现对较大范围的检测；当然，对空间的初步定位并不限于采用上述红外成像技术，还可以采用其他可以实现此目的的技术，在此不作限定。
具体地，在对空间进行初步定位之后，即可获得人体的各关节位置，同时，主控装置300中的交互空间处理器302，就可以根据操作者全身的各关节位置，确定操作者的整个身体的交互空间；其中，以确定上半身的交互空间为例，可以根据两肩位置、肘关节位置和手掌位置确定交互空间，即操作者可以进行上半身动作的空间，如图7所示的交互空间的水平界面，左臂的交互空间为：以左肩a为轴心，左臂长l1为半径，顶角θ1为270°的圆锥，且左臂半径l1＝(左肩坐标-左肘坐标)+(左肘坐标-左手坐标)；右臂交互空间的确定方法与左臂交互空间的确定方法相似，同样是以右肩b为轴心，右臂长l2为半径，顶角θ2为270°的圆锥，且右臂半径l2＝(右肩坐标-右肘坐标)+(右肘坐标-右手坐标)；最后，将左臂交互空间与右臂交互空间的并集作为上半身的交互空间。
具体地，主控装置300中的交互空间处理器302，通过与视场空间处理器301电连接，还可以根据视场空间的位置和交互空间的位置，将交互空间中与视场空间的交叠区域作为绝对交互空间(白色填充的扇形区域)，将其他交互空间(图中仅示出一部分)的区域作为相对交互空间，如图8a所示；进一步地，交互空间处理器302还可以根据注视空间(竖线填充区域)的位置，确定绝对交互空间中(白色填充的扇形区域)与注视空间的交叠区域为精细交互空间(方格填充区域)，如图8b所示，以实现在此精细交互空间内，操作者可以对虚拟物体进行精准的操作。
具体地，如图9所示，根据确定出的视场空间901和交互空间902，还可以确定出由视场空间901和交互空间902组成的系统空间，以实现对视场空间901和交互空间902的坐标匹配；当然，系统空间可以大于或等于视场空间901和交互空间902的总和；当操作者正在操作的三维体感游戏空间较大时，需要系统空间大于视场空间901和交互空间902的总和，以提高操作者的游戏体验。
在具体实施时，因红外成像技术的盲区存在出现距离摄像头较近的区域，所以为了实现对手指关节位置，以及对其他可能发生触控的关节位置的精细定位，则需要采用精度较高的检测装置，来确定触控部位的关节位置，一般采用雷达检测器或超声波检测器，实现近距离的空间定位；因此，在本发明实施例提供的上述交互系统中，所述空间定位装置，还可以包括：雷达检测器和/或超声波检测器；其中，
雷达检测器，用于采用雷达检测操作者触控部位的关节位置反射的雷达信号；
超声波检测器，用于采用超声波检测操作者触控部位的关节位置反射的超声波信号。
具体地，在对触控部位的关节位置进行精细定位时，可以采用雷达检测器或超声波检测器其中的一种(如图2所示，空间定位装置200只包括雷达检测器204)，也可以采用二者的组合，以提高检测精度；其中，以手指关节位置进行精细定位为例，图10a所示为雷达检测，将多个雷达检测器1001均匀分散地放置于支撑板1002之上，通过检测雷达信号来确定手指关节位置。
当然，对触控部位的关节位置的精细定位并不限于使用雷达检测器或超声波检测器，还可以采用多摄像头和多组光源组合的方式；如图10b所示，多个光源1003和多个摄像头1004均匀且分散地放置于支撑板1002之上，并且每隔三个摄像头1004放置一个光源1003；通过多组光源1003将手打亮，每个摄像头1004均可以获取一个图像信息，然后将这些图像信息进行解析处理，得到手指关节位置的具体信息，该方法通过设置多个摄像头1004来获取多个角度的图像信息，在对空间进行定位时，多角度图像输入意味着计算量的大大减少，既增加了检测精度，又提升了第二处理芯片的运算速度，减少了延迟现象，提升了用户体验。
具体地，为了在不增加功耗的同时又实现对手指关节位置的精细定位，可以采用红外成像技术在初步定位时确定手腕位置，然后以手腕位置为基点，利用雷达检测器和/或超声波检测器，再对手指关节位置进行精细定位；如此，在精细定位时便不需要再重新寻找手指的位置，有利于减少功耗。
在具体实施时，在体感交互过程中，可能会出现很多触控动作，如手指对虚拟门或膝盖顶虚拟球的触控动作，还可能会出现非触控动作，如用双臂做出开门的动作等，所以，需要通过对操作者的各关节位置的变化，以确定操作者的当前动作；因此，在本发明实施例提供的上述交互系统中，操作动作处理器303，具体用于根据操作者触控部位的关节位置变化确定操作者的当前触控动作；根据操作者非触控部位的关节位置变化确定操作者的当前肢体动作。
在具体实施时，为了使视场空间内的虚拟物体的位置变化与操作者的当前动作相匹配，在本发明实施例提供的上述交互系统中，互动匹配处理器304，具体用于在确定操作者的当前触控动作位于相对交互空间时，确定操作者对位于交互空间外的视场空间内的虚拟物体执行移动至绝对交互空间内的操作；如图11a所示，立方体表示虚拟物体，虚拟物体的初始位置处于绝对交互空间(白色填充的区域)之外的视场空间内，因虚拟物体的位置超出了操作者的操作范围，操作者需要首先将虚拟物体拉近至交互空间内再进行操作，所以当操作者做出牵拉的手势时，虚拟物体对应的移动至绝对交互空间内。
具体地，为了能够准确地将操作者选中的虚拟物体拉近至绝对交互空间内，可以结合注视空间进行操作，因此，在本发明实施例提供的上述交互系统中，视场空间处理器301，还用于根据操作者眼睛的注视角度在视场空间内确定注视空间；
互动匹配处理器304，具体用于在确定操作者的当前触控动作位于相对交互空间时，确定操作者对位于交互空间外的注视空间内的虚拟物体执行移动至绝对交互空间内的操作。
如图11b所示，立方体表示虚拟物体，位于最上方的虚拟物体为1号，位于中间的虚拟物体为2号，且位于注视空间(竖线填充区域)内，位于最下面的虚拟物体为3号，1号和3号位于注视空间之外的视场空间内；因此，当操作者注视到2号虚拟物体，且操作者做出牵拉的动作时，2号虚拟物体则移动至绝对交互空间内。
具体地，在操作者将虚拟物体移动至绝对交互空间内之后，便可以实现对虚拟物体的操作，因此，在本发明实施例提供的上述交互系统中，交互空间处理器302，还用于将绝对交互空间中与注视空间交叠的区域作为精细交互空间；
互动匹配处理器304，具体用于在确定操作者的当前触控动作位于绝对交互空间时，确定操作者对位于绝对交互空间内选中的虚拟物体执行对应的操作。
具体地，当结合精细交互空间时，可以实现操作者对虚拟物体的精准操作，较大地降低误操作的几率，因此，在本发明实施例提供的上述交互系统中，互动匹配处理器304，具体用于在确定操作者的当前触控动作位于绝对交互空间时，确定操作者对仅位于精细交互空间内选中的虚拟物体执行对应的操作；如图11c所示，立方体表示虚拟物体，从左至右的编号依次为1号，2号和3号；当操作者选中2号立方体时，2号立方体则落入了精细交互空间(方格填充区域)内，由于操作者可以对该范围内的画面实现精确的定位，所以操作者可以精准地对2号立方体进行操作，而减少误操作的几率。
在具体实施时，虽然通过互动匹配处理器304，实现了虚拟物体的位置变化与操作者的当前动作相匹配，但还需要通过图像处理器305实现对图像进行相应的处理；例如，在操作者的眼睛位置发生变化时，会导致视场空间的变化，响应地，虚拟物体在系统空间中的定位也会发生变化，这是与人的观察习惯相违背的，所以，为了解决这一问题，需要通过对操作者眼睛位置的监测实现对视场空间变化的监测，以达到在操作者眼睛位置发生变化时，虚拟物体的位置依然保持不变；因此，在本发明实施例提供的上述交互系统中，图像处理器305，还用于在操作者眼睛位置发生变化时，根据操作者观看同一虚拟物体时视角的变化，确定虚拟物体在三维图像显示装置中的三维图像位置，并生成对应的三维图像显示信号输出至电连接的三维图像显示装置；其中，同一虚拟物体与三维图像显示装置的位置关系相对固定。
具体地，为了确定虚拟物体在三维图像显示装置中的三维图像位置，在本发明实施例提供的上述交互系统中，图像处理器305，具体用于采用如下公式确定虚拟物体在三维图像显示装置中的三维图像位置：
其中，(x1,y1)表示操作者眼睛的瞳距中心变化前的位置，(x2,y2)表示操作者眼睛的瞳距中心变化后的位置，(a1,b1)表示在操作者眼睛位置发生变化前，虚拟物体在三维图像显示装置中的左眼图像位置，(a2,b2)表示在操作者眼睛位置发生变化前，虚拟物体在三维图像显示装置中的右眼图像位置，(c1,d1)表示在操作者眼睛位置发生变化后，虚拟物体在三维图像显示装置中的左眼图像位置，(c2,d2)表示在操作者眼睛位置发生变化后，虚拟物体在三维图像显示装置中的右眼图像位置，d1表示操作者眼睛的瞳距。
具体地，如图12所示，当操作者眼睛的瞳距中心位置从P1(x1,y1)移动至P2(x2,y2)时，若要保持虚拟立方体02与三维图像显示装置01的相对位置不变，虚拟立方体02在三维图像显示装置01上面的左眼图像位置和右眼图像位置分别由Ml1(a1,b1)和Mr1(a2,b2)移动至Ml2(c1,d1)和Mr2(c2,d2)。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
基于同一发明构思，本发明实施例还提供了一种上述三维空间的交互系统的操作方法，由于该操作方法解决问题的原理与前述一种三维空间的交互系统相似，因此该操作方法的实施可以参见系统的实施，重复之处不再赘述。
具体地，本发明实施例提供的一种三维空间的交互系统的操作方法，可以包括以下步骤：
眼定位装置确定操作者眼睛位置以及眼睛的注视角度，并输出至主控装置；
空间定位装置确定操作者的各关节位置，并输出至主控装置；
主控装置中的视场空间处理器根据操作者眼睛位置以及眼睛的注视角度确定视场空间；
主控装置中的交互空间处理器根据操作者的各关节位置确定交互空间，并将交互空间中与视场空间交叠的区域作为绝对交互空间，将其他交互空间的区域作为相对交互空间；
主控装置中的操作动作处理器根据操作者的各关节位置的变化确定操作者的当前动作；
主控装置中的互动匹配处理器根据操作者的当前动作、操作者观看到的虚拟物体与绝对交互空间三者之间的关系，确定操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作；
主控装置中的图像处理器根据视场空间和操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作，生成对应的三维图像显示信号输出至电连接的三维图像显示装置。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
本发明实施例提供了一种三维空间的交互系统及其操作方法，该交互系统首先根据操作者的眼睛位置和眼睛的注视角度确定视场空间，根据操作者的各关节位置和视场空间确定绝对交互空间和相对交互空间，实现了对空间区域的划分；然后，根据操作者的当前动作、操作者观看到的虚拟物体与绝对交互空间三者之间的关系，确定操作者对选中的虚拟物体所需执行的与当前动作相匹配的操作，以实现在操作者产生相应的动作时，对虚拟物体执行与操作者的动作相匹配的操作；最后，将生成的对应三维图像显示信号输出至电连接的三维图像显示装置，实现三维图像的显示，完成三维空间的体感交互。因此，该交互系统不仅对空间区域进行了划分，还通过对操作者产生的动作进行分析，实现人的操作与影像的互动，实现了优质的体感交互体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种三维空间的交互系统，其特征在于，包括：眼定位装置、空间定位装置、以及主控装置；其中，
所述眼定位装置，用于确定操作者眼睛位置以及眼睛的注视角度，并输出至所述主控装置；
所述空间定位装置，用于确定所述操作者的各关节位置，并输出至所述主控装置；
所述主控装置，包括：视场空间处理器、交互空间处理器、操作动作处理器、互动匹配处理器和图像处理器；
所述视场空间处理器与所述眼定位装置电连接，用于根据所述操作者眼睛位置以及眼睛的注视角度确定视场空间；
所述交互空间处理器分别与所述空间定位装置和所述视场空间处理器电连接，用于根据所述操作者的各关节位置确定交互空间，并将所述交互空间中与所述视场空间交叠的区域作为绝对交互空间，将其他所述交互空间的区域作为相对交互空间；
所述操作动作处理器与所述空间定位装置电连接，用于根据所述操作者的各关节位置的变化确定所述操作者的当前动作；
所述互动匹配处理器分别与所述视场空间处理器、所述交互空间处理器和所述操作动作处理器电连接，用于根据所述操作者的当前动作、所述操作者观看到的虚拟物体与所述绝对交互空间三者之间的关系，确定所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作；
所述图像处理器分别与所述互动匹配处理器和所述视场空间处理器电连接，用于根据所述视场空间和所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作，生成对应的三维图像显示信号输出至电连接的三维图像显示装置。
2.如权利要求1所述的交互系统，其特征在于，所述操作动作处理器，具体用于根据所述操作者触控部位的关节位置变化确定所述操作者的当前触控动作；根据所述操作者非触控部位的关节位置变化确定所述操作者的当前肢体动作。
3.如权利要求1所述的交互系统，其特征在于，所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于所述相对交互空间时，确定所述操作者对位于所述交互空间外的所述视场空间内的所述虚拟物体执行移动至所述绝对交互空间内的操作。
4.如权利要求3所述的交互系统，其特征在于，所述视场空间处理器，还用于根据所述操作者眼睛的注视角度在所述视场空间内确定注视空间；
所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于相对交互空间时，确定所述操作者对位于所述交互空间外的所述注视空间内的所述虚拟物体执行移动至所述绝对交互空间内的操作。
5.如权利要求4所述的交互系统，其特征在于，所述交互空间处理器，还用于将所述绝对交互空间中与所述注视空间交叠的区域作为精细交互空间；
所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于绝对交互空间时，确定所述操作者对位于所述绝对交互空间内选中的所述虚拟物体执行对应的操作。
6.如权利要求5所述的交互系统，其特征在于，所述互动匹配处理器，具体用于在确定所述操作者的当前触控动作位于绝对交互空间时，确定所述操作者对仅位于所述精细交互空间内选中的所述虚拟物体执行对应的操作。
7.如权利要求2所述的交互系统，其特征在于，所述图像处理器，还用于在所述操作者眼睛位置发生变化时，根据所述操作者观看同一所述虚拟物体时视角的变化，确定所述虚拟物体在所述三维图像显示装置中的三维图像位置，并生成对应的三维图像显示信号输出至电连接的三维图像显示装置；其中，同一所述虚拟物体与所述三维图像显示装置的位置关系相对固定。
8.如权利要求7所述的交互系统，其特征在于，所述图像处理器，具体用于采用如下公式确定所述虚拟物体在所述三维图像显示装置中的三维图像位置：
c 1 = a 1 - ( x 2 - x 1 ) ( a 1 - a 2 ) 2 + ( b 1 - b 2 ) 2 d 1
d 1 = b 1 - ( y 2 - y 1 ) ( a 1 - a 2 ) 2 + ( b 1 - b 2 ) 2 d 1
c 2 = a 2 - ( x 2 - x 1 ) ( a 1 - a 2 ) 2 + ( b 1 - b 2 ) 2 d 1
d 2 = b 2 - ( y 2 - y 1 ) ( a 1 - a 2 ) 2 + ( b 1 - b 2 ) 2 d 1
其中，(x1,y1)表示所述操作者眼睛的瞳距中心变化前的位置，(x2,y2)表示所述操作者眼睛的瞳距中心变化后的位置，(a1,b1)表示在所述操作者眼睛位置发生变化前，所述虚拟物体在所述三维图像显示装置中的左眼图像位置，(a2,b2)表示在所述操作者眼睛位置发生变化前，所述虚拟物体在所述三维图像显示装置中的右眼图像位置，(c1,d1)表示在所述操作者眼睛位置发生变化后，所述虚拟物体在所述三维图像显示装置中的左眼图像位置，(c2,d2)表示在所述操作者眼睛位置发生变化后，所述虚拟物体在所述三维图像显示装置中的右眼图像位置，d1表示所述操作者眼睛的瞳距。
9.如权利要求1所述的交互系统，其特征在于，所述眼定位装置，具体包括：第一红外发射器、第一红外摄像头、以及第一处理芯片；其中，
所述第一红外发射器，用于向所述操作者发射第一红外信号；
所述第一红外摄像头，用于获取所述操作者眼睛反射的第一红外信号图像；
所述第一处理芯片，用于根据所述红外发射器发射的第一红外信号、以及所述第一红外摄像头获取到的所述操作者眼睛反射的第一红外信号图像，确定所述操作者眼睛位置和眼睛的注视角度，并输出至所述主控装置。
10.如权利要求9所述的交互系统，其特征在于，所述空间定位装置，具体包括：第二红外发射器、第二红外摄像头、以及第二处理芯片；其中，
所述第二红外发射器，用于向所述操作者发射第二红外信号；
所述第二红外摄像头，用于获取所述操作者的各关节位置反射的第二红外信号图像；
所述第二处理芯片，用于根据所述第二红外发射器发射的第二红外信号、以及所述第二红外摄像头获取到的所述操作者的各关节位置反射的第二红外信号图像，确定所述操作者的各关节位置，并输出至所述主控装置。
11.如权利要求10所述的交互系统，其特征在于，所述第一红外发射器和所述第二红外发射器为同一红外发射器；所述第一红外摄像头和所述第二红外摄像头为同一红外摄像头。
12.如权利要求11所述的交互系统，其特征在于，所述空间定位装置，还包括：雷达检测器和/或超声波检测器；其中，
所述雷达检测器，用于采用雷达检测所述操作者触控部位的关节位置反射的雷达信号；
所述超声波检测器，用于采用超声波检测所述操作者触控部位的关节位置反射的超声波信号。
13.一种如权利要求1-12任一项所述的三维空间的交互系统的操作方法，其特征在于，包括：
眼定位装置确定操作者眼睛位置以及眼睛的注视角度，并输出至主控装置；
空间定位装置确定所述操作者的各关节位置，并输出至所述主控装置；
所述主控装置中的视场空间处理器根据所述操作者眼睛位置以及眼睛的注视角度确定视场空间；
所述主控装置中的交互空间处理器根据所述操作者的各关节位置确定交互空间，并将所述交互空间中与所述视场空间交叠的区域作为绝对交互空间，将其他所述交互空间的区域作为相对交互空间；
所述主控装置中的操作动作处理器根据所述操作者的各关节位置的变化确定所述操作者的当前动作；
所述主控装置中的互动匹配处理器根据所述操作者的当前动作、所述操作者观看到的虚拟物体与所述绝对交互空间三者之间的关系，确定所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作；
所述主控装置中的图像处理器根据所述视场空间和所述操作者对选中的所述虚拟物体所需执行的与所述当前动作相匹配的操作，生成对应的三维图像显示信号输出至电连接的三维图像显示装置。
CN201710197342.0A 2017-03-29 2017-03-29 一种三维空间的交互系统及其操作方法 Active CN106980377B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710197342.0A CN106980377B (zh) 2017-03-29 2017-03-29 一种三维空间的交互系统及其操作方法
US15/776,960 US10936053B2 (en) 2017-03-29 2017-09-29 Interaction system of three-dimensional space and method for operating same
PCT/CN2017/104165 WO2018176773A1 (zh) 2017-03-29 2017-09-29 三维空间的交互系统及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710197342.0A CN106980377B (zh) 2017-03-29 2017-03-29 一种三维空间的交互系统及其操作方法

Publications (2)

Publication Number Publication Date
CN106980377A true CN106980377A (zh) 2017-07-25
CN106980377B CN106980377B (zh) 2019-01-25

Family

ID=59339690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710197342.0A Active CN106980377B (zh) 2017-03-29 2017-03-29 一种三维空间的交互系统及其操作方法

Country Status (3)

Country Link
US (1) US10936053B2 (zh)
CN (1) CN106980377B (zh)
WO (1) WO2018176773A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688791A (zh) * 2017-09-04 2018-02-13 北京京东金融科技控股有限公司 显示内容控制方法及装置、系统、存储介质和电子设备
CN107767417A (zh) * 2017-09-11 2018-03-06 广州慧玥文化传播有限公司 基于特征点确定mr头显设备输出的虚拟景象的方法及系统
WO2018176773A1 (zh) * 2017-03-29 2018-10-04 京东方科技集团股份有限公司 三维空间的交互系统及其操作方法
CN113610901A (zh) * 2021-07-07 2021-11-05 江西科骏实业有限公司 双目动作捕捉摄像头控制装置及一体机设备
CN114842146A (zh) * 2022-05-10 2022-08-02 中国民用航空飞行学院 一种民航发动机维修手册与工卡建模方法及可存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US9990043B2 (en) * 2014-07-09 2018-06-05 Atheer Labs, Inc. Gesture recognition systems and devices for low and no light conditions
US9983684B2 (en) * 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
CN106980377B (zh) * 2017-03-29 2019-01-25 京东方科技集团股份有限公司 一种三维空间的交互系统及其操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176773A1 (zh) * 2017-03-29 2018-10-04 京东方科技集团股份有限公司 三维空间的交互系统及其操作方法
US10936053B2 (en) 2017-03-29 2021-03-02 Boe Technology Group Co., Ltd. Interaction system of three-dimensional space and method for operating same
CN107688791A (zh) * 2017-09-04 2018-02-13 北京京东金融科技控股有限公司 显示内容控制方法及装置、系统、存储介质和电子设备
WO2019041982A1 (zh) * 2017-09-04 2019-03-07 北京京东金融科技控股有限公司 显示内容控制方法及装置、系统、存储介质和电子设备
CN107767417A (zh) * 2017-09-11 2018-03-06 广州慧玥文化传播有限公司 基于特征点确定mr头显设备输出的虚拟景象的方法及系统
CN107767417B (zh) * 2017-09-11 2021-06-25 广州慧玥文化传播有限公司 基于特征点确定mr头显设备输出的虚拟景象的方法及系统
CN113610901A (zh) * 2021-07-07 2021-11-05 江西科骏实业有限公司 双目动作捕捉摄像头控制装置及一体机设备
CN113610901B (zh) * 2021-07-07 2024-05-31 江西科骏实业有限公司 双目动作捕捉摄像头控制装置及一体机设备
CN114842146A (zh) * 2022-05-10 2022-08-02 中国民用航空飞行学院 一种民航发动机维修手册与工卡建模方法及可存储介质

Also Published As

Publication number Publication date
US10936053B2 (en) 2021-03-02
CN106980377B (zh) 2019-01-25
WO2018176773A1 (zh) 2018-10-04
US20200272228A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
CN106980377B (zh) 一种三维空间的交互系统及其操作方法
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10007351B2 (en) Three-dimensional user interface device and three-dimensional operation processing method
CN103180893B (zh) 用于提供三维用户界面的方法和系统
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
Valkov et al. 2D touching of 3D stereoscopic objects
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
EP3106963B1 (en) Mediated reality
CN114127669A (zh) 无源指示笔的可跟踪性增强
CN114402589A (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
CN106919294A (zh) 一种3d触控交互装置、其触控交互方法及显示装置
JP2016503915A (ja) ナチュラルユーザーインプットの照準合わせおよび押下
CN115191006B (zh) 用于所显示的2d元素的3d模型
JP3242079U (ja) 浮遊画像表示装置、及び浮遊画像表示システム
US20160299565A1 (en) Eye tracking for registration of a haptic device with a holograph
US11194402B1 (en) Floating image display, interactive method and system for the same
US9122346B2 (en) Methods for input-output calibration and image rendering
Ballestin et al. A registration framework for the comparison of video and optical see-through devices in interactive augmented reality
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
CN106066689B (zh) 基于ar或vr系统的人机交互方法和装置
CN109313483A (zh) 一种与虚拟现实环境进行交互的装置
TWI796022B (zh) 在立體影像上執行互動的方法與立體影像顯示系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant