CN108205373B - 一种交互方法及系统 - Google Patents

一种交互方法及系统 Download PDF

Info

Publication number
CN108205373B
CN108205373B CN201711421865.5A CN201711421865A CN108205373B CN 108205373 B CN108205373 B CN 108205373B CN 201711421865 A CN201711421865 A CN 201711421865A CN 108205373 B CN108205373 B CN 108205373B
Authority
CN
China
Prior art keywords
terminal
interactive
control
infrared light
dimensional virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711421865.5A
Other languages
English (en)
Other versions
CN108205373A (zh
Inventor
陈东川
吴全磊
郭志奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhizhen Zhizao Technology Co ltd
Original Assignee
Beijing Zhizhen Zhizao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhizhen Zhizao Technology Co ltd filed Critical Beijing Zhizhen Zhizao Technology Co ltd
Priority to CN201711421865.5A priority Critical patent/CN108205373B/zh
Publication of CN108205373A publication Critical patent/CN108205373A/zh
Application granted granted Critical
Publication of CN108205373B publication Critical patent/CN108205373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种交互方法及系统，涉及虚拟现实技术领域。该系统包括：显示终端、交互终端、采集终端和控制终端，其中，交互终端包括：红外光发生器和九轴传感器，显示终端用于在现实空间内显示三维虚拟图形，交互终端用于在现实空间内直接对三维虚拟图形进行操作和控制，采集终端用于采集红外光发生器发出的红外光，得到红外光图像，控制终端用于根据红外光图像确定交互终端与显示终端之间的距离信息，并根据距离信息和九轴传感器采集的交互终端的姿态数据对应地改变三维虚拟图形。本发明提供的一种交互方法及系统，能够实现对现实空间内的三维虚拟图形的直接控制，并且能够实现对现实空间内的三维虚拟图形的精细控制。

Description

一种交互方法及系统
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种交互方法及系统。
背景技术
现有的虚拟现实交互技术都是通过头戴式虚拟现实设备在现实空间产生虚拟影像，无法实现对虚拟影像的精细控制。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供能够对现实空间产生的虚拟影像进行精细操作和控制的一种交互方法及系统。
本发明解决上述技术问题的技术方案如下：
一种交互系统，包括：显示终端、交互终端、采集终端和控制终端，其中，所述交互终端包括：红外光发生器和九轴传感器，所述显示终端用于在现实空间内显示三维虚拟图形，所述交互终端用于在所述现实空间内直接对所述三维虚拟图形进行操作和控制，所述采集终端用于采集所述红外光发生器发出的红外光，得到红外光图像，所述控制终端用于根据所述红外光图像确定所述交互终端与所述显示终端之间的距离信息，并根据所述距离信息和所述九轴传感器采集的所述交互终端的姿态数据对应地改变所述三维虚拟图形，以完成所述交互终端对所述三维虚拟图形的操作和控制。
本发明的有益效果是：本发明提供的一种交互系统，通过交互终端直接对显示在现实空间内的三维虚拟图形进行操作和控制，并通过采集终端采集交互终端的位置信息和姿态信息，并通过控制终端对位置信息和姿态信息进行分析和判断，使显示终端显示的三维虚拟图形根据交互终端的操作和控制进行相应的变化，能够实现对现实空间内的三维虚拟图形的直接控制，并且能够实现对现实空间内的三维虚拟图形的精细控制。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，所述采集终端包括：两个以上深度摄像头，各所述深度摄像头分别用于从不同的位置采集所述红外光发生器发出的红外光，得到两个以上红外光图像；
所述控制终端具体用于根据各所述红外光图像确定所述交互终端与所述显示终端之间的距离信息。
采用上述进一步方案的有益效果是：通过不同位置的深度摄像头对交互终端的位置进行检测采集，能够提高得到的交互终端位置的准确度。
进一步地，各所述深度摄像头设置在所述显示终端上，以便所述控制终端根据各所述红外光图像确定所述交互终端与所述显示终端之间的距离信息。
进一步地，所述交互终端还包括：指套，所述红外光发生器和所述九轴传感器设置在所述指套的外表面。
采用上述进一步方案的有益效果是：通过将红外光发生器和九轴传感器设置在指套上，即将交互终端设置成指套式，能够便于用户操作，能够避免现有的虚拟现实系统中，用户长时间使用交互手柄、交互笔等导致的用户手臂酸痛等，并能够避免无法通过交互手柄、交互笔等对虚拟图形进行精细操作时的不便，进一步提高对虚拟图形进行精细操作和控制时的精确度。
并且将交互终端设置为指套，具有携带方便、穿戴方便、便于操作的优点，简化了用户的操作逻辑，符合用户的操作习惯，且能够避免使用交互手柄、交互笔时被因被用户的手遮挡导致的无法识别交互终端问题。
进一步地，所述交互终端还包括：至少一个按键，各所述按键设置在所述指套的外表面，用于向所述控制终端发送触发信号；
所述控制终端还用于根据所述触发信号触发预存的不同类型的控制方法，以实现对所述三维虚拟图形进行不同类型的操作和控制。
采用上述进一步方案的有益效果是：通过预先设置不同按键对应的不同类型的控制方法，可以提高对三维虚拟图形进行操作的便利性，使在按下不同按键时，用户的相同操作可以实现对三维虚拟图形的不同控制，能够实现仅通过一个交互终端就实现多种不同的操作，提高了本申请的实用性。
进一步地，所述交互终端还包括：微型振动器，所述微型振动器设置在所述指套的外表面，用于根据所述控制终端的控制进行振动。
采用上述进一步方案的有益效果是：通过在指套上设置微型振动器，能够及时给用户以必要的反馈，提高用户的交互体验度。
进一步地，所述交互终端还包括：LED灯，所述LED灯设置在所述指套的外表面，用于根据所述控制终端的控制进行发光。
采用上述进一步方案的有益效果是：通过在指套上设置LED灯，能够及时给用户以必要的反馈，使用户直观地了解交互终端当前的工作状态，能够提高用户的交互体验度。
进一步地，所述交互终端还包括：单片机，所述单片机设置在所述指套的外表面，用于根据所述控制终端的控制指令控制所述红外光发生器、所述九轴传感器、全部所述按键、所述微型振动器和所述LED灯，并获取所述九轴传感器采集的所述姿态数据和各所述按键生成的所述触发信号。
进一步地，所述交互终端还包括：通信模块，所述通信模块设置在所述指套的外表面，用于将所述控制终端的控制指令控制发送给所述单片机，并将所述单片机获取的所述姿态数据和所述触发信号发送给所述控制终端。
本发明解决上述技术问题的另一种技术方案如下：
一种交互方法，包括：
显示终端在现实空间内显示三维虚拟图形；
交互终端在所述现实空间内直接对所述三维虚拟图形进行操作和控制；
所述交互终端发出红外光；
采集终端采集所述交互终端发出的红外光，得到红外光图像；
控制终端根据所述红外光图像确定所述交互终端与所述显示终端之间的距离信息；
所述交互终端采集自身的姿态数据，并发送给所述控制终端；
所述控制终端根据所述距离信息和所述姿态数据对应地改变所述三维虚拟图形，以完成所述交互终端对所述三维虚拟图形的操作和控制。
本发明的有益效果是：本发明提供的一种交互方法，通过交互终端直接对显示在现实空间内的三维虚拟图形进行操作和控制，并通过采集终端采集交互终端的位置信息和姿态信息，并通过控制终端对位置信息和姿态信息进行分析和判断，使显示终端显示的三维虚拟图形根据交互终端的操作和控制进行相应的变化，能够实现对现实空间内的三维虚拟图形的直接控制，并且能够实现对现实空间内的三维虚拟图形的精细控制。
进一步地，所述采集终端采集所述交互终端发出的红外光，得到红外光图像，具体包括：
所述采集终端分别从不同的位置采集所述红外光发生器发出的红外光，得到两个以上红外光图像。
所述控制终端根据所述红外光图像确定所述交互终端与所述显示终端之间的距离信息，具体包括：
所述控制终端根据各所述红外光图像确定所述交互终端与所述显示终端之间的距离信息。
进一步地，所述交互终端在所述现实空间内直接对所述三维虚拟图形进行操作和控制，具体包括：
从预存的不同类型的控制方法中选择任意一种控制方法；
交互终端根据选择的所述控制方法在所述现实空间内直接对所述三维虚拟图形进行操作和控制。
所述控制终端根据所述距离信息和所述姿态数据对应地改变所述三维虚拟图形，具体包括：
控制终端根据选择的所述控制方法、所述距离信息和所述姿态数据对应地改变所述三维虚拟图形。
进一步地，还包括：所述控制终端控制所述交互终端进行振动。
进一步地，还包括：所述控制终端控制所述交互终端进行发光。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明一种交互系统的一个实施例提供的结构框架图；
图2为本发明一种交互系统的另一实施例提供的结构框架图；
图3为本发明一种交互系统的另一实施例提供的结构示意图；
图4为本发明一种交互系统的又一实施例提供的交互示意图；
图5为本发明一种交互系统的再一实施例提供的交互示意图；
图6为本发明一种交互方法的一个实施例提供的流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明一种交互系统的一个实施例提供的结构框架图，该交互系统可以直接对三维虚拟图形进行精细操作，该系统包括：显示终端1、交互终端2、采集终端3和控制终端4，下面结合这些终端的结构和功能进行进一步说明。
显示终端1用于在现实空间内显示三维虚拟图形。
优选地，显示终端1可以为3D显示器，可以在显示器的前方投射出虚拟的三维图像。
交互终端2包括：红外光发生器21和九轴传感器22，交互终端2用于在现实空间内直接对三维虚拟图形进行操作和控制。
需要说明的是，交互终端2还应包括交互终端2的本体，例如，交互终端2的本体可以为笔状、手柄状等，用于定位用户操作产生的空间位置，例如，当现实终端在某一空间位置产生了虚拟三维图形，那么需要检测交互终端2的空间位置，即用户需要对虚拟三维图形操作的空间位置，以实现对虚拟三维图形的操作。
例如，假设显示器在现实空间某处产生了虚拟三维图形，该图形为一个线段，线段的两个端点的空间直角坐标分别为A1(x1，y1，z1)和A2(x2，y2，z2)，现在需要对端点A1进行操作，那么就需要对交互终端2进行定位定姿，当获取到交互终端2的空间坐标后，根据交互终端2的姿态确定交互点的位置，当交互终端2的交互点的位置是(x1，y1，z1)时，可以得到是将对端点A1进行操作；当交互终端2的交互点的位置是(x2，y2，z2)时，可以得到是将对端点A2进行操作。
其中，红外光发生器21用于确定交互终端2与显示终端1的距离，九轴传感器22用于确定交互终端2的姿态，例如，当交互终端2为笔状终端时，需要区分和确定笔尖和笔尾。
对三维虚拟图形进行操作和控制指的是对现实控制中的虚拟三维图形进行拖拽、拉伸、放大、缩小、切换、旋转等操作。
优选地，还可以根据预设的交互方法，实现对虚拟三维图形更多的操作和交互方式。
例如，可以根据预设的操作速度对交互终端2的移动速度进行检测，当交互终端2的移动速度达到预设速度时，可以使虚拟三维图形以相同的速度或其他速度移动。
下面给出一种优选的实施方式。
可以通过虚拟三维图形实现躲避球的游戏，用户可以通过控制交互终端2击打虚拟的小球，虚拟的小球可以根据交互终端2的移动速度进行躲避。
又例如，还可以根据预设的操作方法实现对虚拟三维图形进行上色等操作。
下面给出一种优选的实施方式。
可以通过显示终端1显示出需要上色的各种颜色，然后通过交互终端2进行点选等操作选择需要使用的颜色，然后通过移动交互终端2的方式，实现对虚拟三维图形的上色操作。
需要说明的是，上述交互终端2的各优选交互方式不对本申请构成任何限定，其具体的交互方式可以根据实际需求设置。
采集终端3用于采集红外光发生器21发出的红外光，得到红外光图像。
优选地，采集终端3可以为深度摄像头，深度摄像头可以设置在显示终端1上，采集到的红外光图像就是深度图像。
需要说明的是，深度摄像头的数量和具体的排布方式可以根据实际需求设置。
例如，为了得到更为精准的距离信息，可以将两个深度摄像头设置在显示终端1的显示屏的两个顶角处。
控制终端4用于根据红外光图像确定交互终端2与显示终端1之间的距离信息，并根据距离信息和九轴传感器22采集的交互终端2的姿态数据对应地改变三维虚拟图形，以完成交互终端2对三维虚拟图形的操作和控制。
优选地，控制终端4可以为计算机、手机等具有数据处理和传输功能的终端。
下面对控制终端4控制三维虚拟图形的过程进行详细说明。
首先，控制终端4对采集终端3采集的交互终端2的红外光图像进行形态学分析，从中得到红外光点的深度信息，根据红外光电的深度信息确定交互终端2在采集终端3的坐标系中的坐标；
然后根据采集终端3在整个交互系统中的位置坐标，通过姿态变换方法将采集终端3的坐标系变换到整个交互系统的坐标系中；
再将交互终端2在采集终端3的坐标系中的坐标变换到整个交互系统的坐标系中，就可以得到交互终端2与采集终端3之间的距离信息。
优选地，为便于计算，可以将采集终端3设置在显示终端1上，那么交互终端2与采集终端3之间的距离信息就可以认为是交互终端2与显示终端1之间的距离信息。如果采集终端3未设置在显示终端1上，那么还需要获取采集终端3与显示终端1之间的距离，再据此计算得到交互终端2与显示终端1之间的距离信息。
然后，控制终端4获取九轴传感器22采集的交互终端2的俯仰角、翻滚角和偏航角，再结合交互终端2在整个交互系统的坐标系中的坐标，确定交互终端2的姿态，以实现对虚拟三维图像的精确控制。
优选地，当识别出交互终端2的位置信息和姿态信息后，可以在虚拟三维图形中显示一条长度适当的线段来表示该交互终端2，以便用户操作。
本实施例提供的一种交互系统，通过交互终端2直接对显示在现实空间内的三维虚拟图形进行操作和控制，并通过采集终端3采集交互终端2的位置信息和姿态信息，并通过控制终端4对位置信息和姿态信息进行分析和判断，使显示终端1显示的三维虚拟图形根据交互终端2的操作和控制进行相应的变化，能够实现对现实空间内的三维虚拟图形的直接控制，并且能够实现对现实空间内的三维虚拟图形的精细控制。
如图2所示，为本发明一种交互系统的另一实施例提供的结构框架图，在上述实施例的基础上，对本申请一种交互系统进行进一步说明，该系统包括：显示终端1、交互终端2、采集终端3和控制终端4，下面结合这些终端的结构和功能进行进一步说明。
显示终端1用于在现实空间内显示三维虚拟图形。
优选地，显示终端1可以为3D显示器，可以在显示器的前方投射出虚拟的三维图像。
交互终端2包括：红外光发生器21和九轴传感器22，交互终端2用于在现实空间内直接对三维虚拟图形进行操作和控制。
需要说明的是，交互终端2还应包括交互终端2的本体，例如，交互终端2的本体可以为笔状、手柄状等，用于定位用户操作产生的空间位置，例如，当现实终端在某一空间位置产生了虚拟三维图形，那么需要检测交互终端2的空间位置，即用户需要对虚拟三维图形操作的空间位置，以实现对虚拟三维图形的操作。
例如，假设显示器在现实空间某处产生了虚拟三维图形，该图形为一个线段，线段的两个端点的空间直角坐标分别为A1(x1，y1，z1)和A2(x2，y2，z2)，现在需要对端点A1进行操作，那么就需要对交互终端2进行定位定姿，当获取到交互终端2的空间坐标后，根据交互终端2的姿态确定交互点的位置，当交互终端2的交互点的位置是(x1，y1，z1)时，可以得到是将对端点A1进行操作；当交互终端2的交互点的位置是(x2，y2，z2)时，可以得到是将对端点A2进行操作。
其中，红外光发生器21用于确定交互终端2与显示终端1的距离，九轴传感器22用于确定交互终端2的姿态，例如，当交互终端2为笔状终端时，需要区分和确定笔尖和笔尾。
对三维虚拟图形进行操作和控制指的是对现实控制中的虚拟三维图形进行拖拽、拉伸、放大、缩小、切换、旋转等操作。
优选地，还可以根据预设的交互方法，实现对虚拟三维图形更多的操作和交互方式。
例如，可以根据预设的操作速度对交互终端2的移动速度进行检测，当交互终端2的移动速度达到预设速度时，可以使虚拟三维图形以相同的速度或其他速度移动。
下面给出一种优选的实施方式。
可以通过虚拟三维图形实现躲避球的游戏，用户可以通过控制交互终端2击打虚拟的小球，虚拟的小球可以根据交互终端2的移动速度进行躲避。
又例如，还可以根据预设的操作方法实现对虚拟三维图形进行上色等操作。
下面给出一种优选的实施方式。
可以通过显示终端1显示出需要上色的各种颜色，然后通过交互终端2进行点选等操作选择需要使用的颜色，然后通过移动交互终端2的方式，实现对虚拟三维图形的上色操作。
需要说明的是，上述交互终端2的各优选交互方式不对本申请构成任何限定，其具体的交互方式可以根据实际需求设置。
下面对交互终端2的结构优选实施方式进行说明。
优选地，交互终端2还包括：指套23，红外光发生器21和九轴传感器22设置在指套23的外表面。
需要说明的是，指套23可以为橡胶、皮革等材质。
优选地，指套23还可以做成指环，将红外光发生器21和九轴传感器22设置在指环上。
通过将红外光发生器21和九轴传感器22设置在指套23上，即将交互终端2设置成指套23式，能够便于用户操作，能够避免现有的虚拟现实系统中，用户长时间使用交互手柄、交互笔等导致的用户手臂酸痛等，并能够避免无法通过交互手柄、交互笔等对虚拟图形进行精细操作时的不便，优选提高对虚拟图形进行精细操作和控制时的精确度。
并且将交互终端2设置为指套23，具有携带方便、穿戴方便、便于操作的优点，简化了用户的操作逻辑，符合用户的操作习惯，且能够避免使用交互手柄、交互笔时被因被用户的手遮挡导致的无法识别交互终端2问题。
优选地，交互终端2还包括：至少一个按键24，各按键24设置在指套23的外表面，用于向控制终端4发送触发信号；
控制终端4还用于根据触发信号触发预存的不同类型的控制方法，以实现对三维虚拟图形进行不同类型的操作和控制。
例如，可以设置三个按键24，这三个按键24分别对应旋转、移动和拉伸操作。例如，当用户按下了移动操作按键24时，当指套23式交互终端2移动时，虚拟三维图形会跟随指套23式交互终端2移动；当当用户按下了旋转操作按键24时，当指套23式交互终端2移动时，虚拟三维图形会跟随指套23式交互终端2旋转。其具体的实现功能可以根据实际需求设置，在此不再赘述。
优选地，还可以通过按键24实现开关、模式切换等功能。
通过预先设置不同按键24对应的不同类型的控制方法，可以提高对三维虚拟图形进行操作的便利性，使在按下不同按键24时，用户的相同操作可以实现对三维虚拟图形的不同控制，能够实现仅通过一个交互终端2就实现多种不同的操作，提高了本申请的实用性。
优选地，交互终端2还包括：微型振动器25，微型振动器25设置在指套23的外表面，用于根据控制终端4的控制进行振动。
例如，当用户操作成功后，控制终端4可以控制微型振动器25进行振动，以提示用户操作成功。
需要说明的是，微型振动器25的振动强度、振动次数和振动时间等可以通过控制终端4进行设备。
通过在指套23上设置微型振动器25，能够及时给用户以必要的反馈，提高用户的交互体验度。
优选地，交互终端2还包括：LED灯26，LED灯26设置在指套23的外表面，用于根据控制终端4的控制进行发光。
例如，当用户操作成功后，控制终端4可以控制LED灯26进行发光，以提示用户操作成功。
通过在指套23上设置LED灯26，能够及时给用户以必要的反馈，使用户直观地了解交互终端2当前的工作状态，能够提高用户的交互体验度。
优选地，LED灯26可以为三色灯。
优选地，交互终端2还包括：单片机27，单片机27设置在指套23的外表面，用于根据控制终端4的控制指令控制红外光发生器21、九轴传感器22、全部按键24、微型振动器25和LED灯26，并获取九轴传感器22采集的姿态数据和各按键24生成的触发信号。
优选地，交互终端2还包括：通信模块28，通信模块28设置在指套23的外表面，用于将控制终端4的控制指令控制发送给单片机27，并将单片机27获取的姿态数据和触发信号发送给控制终端4。
需要说明的是，通信模块28可以为2.4G无线传输模块，包括串口转USB的micro A口，2.4G无线传输模块可与计算机进行无线交互，串口转USB的micro A口用数据线与电脑USB口连接可与计算机进行有线交互，同时可以通过接口给交互终端2供电。
采集终端3用于采集红外光发生器21发出的红外光，得到红外光图像。
优选地，采集终端3可以为深度摄像头，深度摄像头可以设置在显示终端1上，采集到的红外光图像就是深度图像。
需要说明的是，深度摄像头的数量和具体的排布方式可以根据实际需求设置。
优选地，采集终端3包括：两个以上深度摄像头，各深度摄像头分别用于从不同的位置采集红外光发生器21发出的红外光，得到两个以上红外光图像；
控制终端4具体用于根据各红外光图像确定交互终端2与显示终端1之间的距离信息。
通过不同位置的深度摄像头对交互终端2的位置进行检测采集，能够提高得到的交互终端2位置的准确度。
优选地，各深度摄像头设置在显示终端1上，以便控制终端4根据各红外光图像确定交互终端2与显示终端1之间的距离信息。
如图3所示，为本实施例提供的采集终端3与显示终端1位置关系的结构示意图，为了得到更为精准的距离信息，可以将两个深度摄像头30设置在3D显示器10的显示屏的两个顶角处，就可以拍摄到不同角度的指套式交互设备20的图像。
控制终端4用于根据红外光图像确定交互终端2与显示终端1之间的距离信息，并根据距离信息和九轴传感器22采集的交互终端2的姿态数据对应地改变三维虚拟图形，以完成交互终端2对三维虚拟图形的操作和控制。
优选地，控制终端4可以为计算机、手机等具有数据处理和传输功能的终端。
下面对控制终端4控制三维虚拟图形的过程进行详细说明。
首先，控制终端4对采集终端3采集的交互终端2的红外光图像进行形态学分析，从中得到红外光点的深度信息，根据红外光电的深度信息确定交互终端2在采集终端3的坐标系中的坐标；
然后根据采集终端3在整个交互系统中的位置坐标，通过姿态变换方法将采集终端3的坐标系变换到整个交互系统的坐标系中；
再将交互终端2在采集终端3的坐标系中的坐标变换到整个交互系统的坐标系中，就可以得到交互终端2与采集终端3之间的距离信息。
优选地，为便于计算，可以将采集终端3设置在显示终端1上，那么交互终端2与采集终端3之间的距离信息就可以认为是交互终端2与显示终端1之间的距离信息。如果采集终端3未设置在显示终端1上，那么还需要获取采集终端3与显示终端1之间的距离，再据此计算得到交互终端2与显示终端1之间的距离信息。
然后，控制终端4获取九轴传感器22采集的交互终端2的俯仰角、翻滚角和偏航角，再结合交互终端2在整个交互系统的坐标系中的坐标，确定交互终端2的姿态，以实现对虚拟三维图像的精确控制。
优选地，当识别出交互终端2的位置信息和姿态信息后，可以在虚拟三维图形中显示一条长度适当的线段来表示该交互终端2，以便用户操作。
本实施例提供的一种交互系统，通过交互终端2直接对显示在现实空间内的三维虚拟图形进行操作和控制，并通过采集终端3采集交互终端2的位置信息和姿态信息，并通过控制终端4对位置信息和姿态信息进行分析和判断，使显示终端1显示的三维虚拟图形根据交互终端2的操作和控制进行相应的变化，能够实现对现实空间内的三维虚拟图形的直接控制，并且能够实现对现实空间内的三维虚拟图形的精细控制。
并通过将交互终端2设计成指套23式，具有携带方便、穿戴方便、便于操作的优点，简化了用户的操作逻辑，符合用户的操作习惯，且能够避免使用交互手柄、交互笔时被因被用户的手遮挡导致的无法识别交互终端2问题，并通过在指套23上设置微型振动器25、按键24、LED灯26等装置，能够提高实用性，提升用户的交互体验度。
如图4所示，为本发明一种交互系统的另一实施例提供的交互示意图，在本实施例中，以两个指套式交互设备20为例，对交互系统的交互过程进行说明。
本实施例中，用户将一个指套式交互设备20佩戴在右手食指上，将另一个指套式交互设备20佩戴在左手食指上。
本实施例中指套式交互设备20上电初始化后，使用USB转串口的通信模块实现与计算机通信。计算机检测到两个指套式交互设备20，并向这两个指套式交互设备20发送通信开始信号。
两个指套式交互设备20的通信开关打开，将九轴传感器采集得到的数据发送给计算机。计算机结合深度摄像头30所识别的位于指套两端的红外灯，而获取的每个指套式交互设备20的三维坐标，获得两个指套式交互设备20的空间位置和准确的姿态角。
3D显示器10显示出两个指套式交互设备20的虚拟指示线，根据虚拟指示线选中3D显示器10中的虚拟物体。
如若碰到特定情况需要警示，则计算机发送控制命令，使点亮或关闭红外灯，点亮或关闭三色灯，以及控制震动马达的开关以及强弱和次数和震动时间等。
右手操作一个指套式交互设备20用大拇指按下指套式交互设备20的左侧的按键可对所选取的虚拟物体进行可定义的任意操作。左手操作一个指套式交互设备20用大拇指按下指套式交互设备20的右侧的按键可对所选取的虚拟物体进行可定义的任意操作。
本实施例可以使用左手和右手协同控制3D显示器10里的虚拟物体，可实现对3D显示器10里的两个物体同时操作，比如可实现两个零器件的组装等。
如图5所示，为本发明一种交互系统的另一实施例提供的交互示意图，在本实施例中，以一个指套式交互设备20结合裸手为例，对交互系统的交互过程进行说明。
本实施例中，用户将一个指套式交互设备20佩戴在右手食指上，左手未佩戴指套式交互设备20，但仍可以进行辅助操作。
本实施例中指套式交互设备20上电初始化后，使用USB转串口的通信模块实现与计算机通信。计算机检测到一个指套式交互设备20，并向这个指套式交互设备20发送通信开始信号。
指套式交互设备20的通信开关打开，将九轴传感器采集得到的数据发送给计算机。计算机结合深度摄像头30所识别的位于指套两端的红外灯，而获取的该指套式交互设备20的三维坐标，获得该指套式交互设备20的空间位置和准确的姿态角。深度摄像头30识别裸手空间位置以及手势。
3D显示器10显示出该指套式交互设备20的虚拟指示线，根据虚拟指示线选中3D显示器10中的虚拟物体。
如若碰到特定情况需要警示，则计算机发送控制命令，使点亮或关闭红外灯，点亮或关闭三色灯，以及控制震动马达的开关以及强弱和次数和震动时间等。
用大拇指按下指套式交互设备20的左侧的按键可对所选取的虚拟物体进行可定义的任意操作。同时左手作出相应的手势即可对3D显示器10里的物体拖拉旋转等操作。
本实施例可以使用佩戴指套式交互设备20的右手和未佩戴指套式交互设备20的左手协同控制3D显示器10里的虚拟物体，可实现对选中物体的拖拉以及旋转操作等功能，也可实现对3D显示器10里的两个物体同时操作，比如可实现两个零器件的组装等。
如图6所示，为本发明一种交互方法的一个实施例提供的流程示意图，该方法包括：
S1，显示终端在现实空间内显示三维虚拟图形；
S2，交互终端在现实空间内直接对三维虚拟图形进行操作和控制；
S3，交互终端发出红外光；
S4，采集终端采集交互终端发出的红外光，得到红外光图像；
S5，控制终端根据红外光图像确定交互终端与显示终端之间的距离信息；
S6，交互终端采集自身的姿态数据，并发送给控制终端；
S7，控制终端根据距离信息和姿态数据对应地改变三维虚拟图形，以完成交互终端对三维虚拟图形的操作和控制。
优选地，步骤S4中，具体可以包括：
采集终端分别从不同的位置采集红外光发生器发出的红外光，得到两个以上红外光图像。
在此基础上，步骤S5中，具体可以包括：
控制终端根据各红外光图像确定交互终端与显示终端之间的距离信息。
优选地，步骤S2中，具体可以包括：
从预存的不同类型的控制方法中选择任意一种控制方法；
交互终端根据选择的控制方法在现实空间内直接对三维虚拟图形进行操作和控制。
在此基础上，步骤S7中，具体可以包括：
控制终端根据选择的控制方法、距离信息和姿态数据对应地改变三维虚拟图形。
优选地，还可以包括：控制终端控制交互终端进行振动。
优选地，还可以包括：控制终端控制交互终端进行发光。
本实施例提供的一种交互方法，通过交互终端直接对显示在现实空间内的三维虚拟图形进行操作和控制，并通过采集终端采集交互终端的位置信息和姿态信息，并通过控制终端对位置信息和姿态信息进行分析和判断，使显示终端显示的三维虚拟图形根据交互终端的操作和控制进行相应的变化，能够实现对现实空间内的三维虚拟图形的直接控制，并且能够实现对现实空间内的三维虚拟图形的精细控制，并通过振动、发光等形式对用户的操作进行反馈，能够进一步提升用户的交互体验度。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种交互系统，其特征在于，包括：显示终端、交互终端、采集终端和控制终端，其中，所述交互终端包括：红外光发生器和九轴传感器，所述显示终端用于在现实空间内显示三维虚拟图形，所述交互终端用于在所述现实空间内直接对所述三维虚拟图形进行操作和控制，所述采集终端用于采集所述红外光发生器发出的红外光，得到红外光图像，所述控制终端用于根据所述红外光图像确定所述交互终端与所述显示终端之间的距离信息，并根据所述距离信息和所述九轴传感器采集的所述交互终端的姿态数据对应地改变所述三维虚拟图形，以完成所述交互终端对所述三维虚拟图形的操作和控制。
2.根据权利要求1所述的交互系统，其特征在于，所述采集终端包括：两个以上深度摄像头，各所述深度摄像头分别用于从不同的位置采集所述红外光发生器发出的红外光，得到两个以上红外光图像；
所述控制终端具体用于根据各所述红外光图像确定所述交互终端与所述显示终端之间的距离信息。
3.根据权利要求2所述的交互系统，其特征在于，各所述深度摄像头设置在所述显示终端上，以便所述控制终端根据各所述红外光图像确定所述交互终端与所述显示终端之间的距离信息。
4.根据权利要求1至3中任一项所述的交互系统，其特征在于，所述交互终端还包括：指套，所述红外光发生器和所述九轴传感器设置在所述指套的外表面。
5.根据权利要求4所述的交互系统，其特征在于，所述交互终端还包括：至少一个按键，各所述按键设置在所述指套的外表面，用于向所述控制终端发送触发信号；
所述控制终端还用于根据所述触发信号触发预存的不同类型的控制方法，以实现对所述三维虚拟图形进行不同类型的操作和控制。
6.根据权利要求5所述的交互系统，其特征在于，所述交互终端还包括：微型振动器，所述微型振动器设置在所述指套的外表面，用于根据所述控制终端的控制进行振动。
7.根据权利要求6所述的交互系统，其特征在于，所述交互终端还包括：LED灯，所述LED灯设置在所述指套的外表面，用于根据所述控制终端的控制进行发光。
8.根据权利要求7所述的交互系统，其特征在于，所述交互终端还包括：单片机，所述单片机设置在所述指套的外表面，用于根据所述控制终端的控制指令控制所述红外光发生器、所述九轴传感器、全部所述按键、所述微型振动器和所述LED灯，并获取所述九轴传感器采集的所述姿态数据和各所述按键生成的所述触发信号。
9.根据权利要求8所述的交互系统，其特征在于，所述交互终端还包括：通信模块，所述通信模块设置在所述指套的外表面，用于将所述控制终端的控制指令控制发送给所述单片机，并将所述单片机获取的所述姿态数据和所述触发信号发送给所述控制终端。
10.一种交互方法，其特征在于，包括：
显示终端在现实空间内显示三维虚拟图形；
交互终端在所述现实空间内直接对所述三维虚拟图形进行操作和控制；
所述交互终端发出红外光；
采集终端采集所述交互终端发出的红外光，得到红外光图像；
控制终端根据所述红外光图像确定所述交互终端与所述显示终端之间的距离信息；
所述交互终端采集自身的姿态数据，并发送给所述控制终端；
所述控制终端根据所述距离信息和所述姿态数据对应地改变所述三维虚拟图形，以完成所述交互终端对所述三维虚拟图形的操作和控制。
CN201711421865.5A 2017-12-25 2017-12-25 一种交互方法及系统 Active CN108205373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711421865.5A CN108205373B (zh) 2017-12-25 2017-12-25 一种交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711421865.5A CN108205373B (zh) 2017-12-25 2017-12-25 一种交互方法及系统

Publications (2)

Publication Number Publication Date
CN108205373A CN108205373A (zh) 2018-06-26
CN108205373B true CN108205373B (zh) 2021-08-13

Family

ID=62605958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711421865.5A Active CN108205373B (zh) 2017-12-25 2017-12-25 一种交互方法及系统

Country Status (1)

Country Link
CN (1) CN108205373B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109529318A (zh) * 2018-11-07 2019-03-29 艾葵斯（北京）科技有限公司 虚拟视觉系统
CN111223187B (zh) * 2018-11-23 2024-09-24 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2836215B1 (fr) * 2002-02-21 2004-11-05 Yodea Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
CN104090660B (zh) * 2014-05-30 2017-11-10 广东虚拟现实科技有限公司 一种基于立体视觉的动作采集和反馈方法及系统
WO2016097841A2 (en) * 2014-12-16 2016-06-23 Quan Xiao Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
CN105159450B (zh) * 2015-08-25 2018-01-05 中国运载火箭技术研究院 一种便携式可交互桌面级虚拟现实系统
CN206541271U (zh) * 2017-03-03 2017-10-03 北京国承万通信息科技有限公司 一种光学定位系统和虚拟现实系统
CN106933385B (zh) * 2017-03-08 2019-05-28 吉林大学 一种基于三维超声波定位的低功耗空鼠笔的实现方法
CN107102749B (zh) * 2017-04-23 2019-11-08 吉林大学 一种基于超声波和惯性传感器的三维笔式定位方法
CN106970713A (zh) * 2017-05-09 2017-07-21 深圳未来立体教育科技有限公司 桌面型空间立体交互系统及方法

Also Published As

Publication number Publication date
CN108205373A (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
JP3262677B2 (ja) 情報入力装置
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
EP2755194B1 (en) 3d virtual training system and method
US10001912B2 (en) Robot operation apparatus, robot system, and robot operation program
CN111766937B (zh) 虚拟内容的交互方法、装置、终端设备及存储介质
JP5839220B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5930618B2 (ja) 空間手書きシステム及び電子ペン
CN104272218A (zh) 基于联合数据的虚拟手
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
US10795446B2 (en) Portable electronic haptic vision device
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
CN109069920B (zh) 手持式控制器、跟踪定位方法以及系统
WO2019102825A1 (ja) レンダリング装置及びレンダリング方法
US10739823B2 (en) Motion control assembly with battery pack
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
KR20070041570A (ko) 디스플레이를 제어하기 위한 방법과 시스템
CN108205373B (zh) 一种交互方法及系统
JP2017033294A (ja) ３次元描画システム及び３次元描画プログラム
CN108459702A (zh) 基于手势识别与视觉反馈的人机交互方法与系统
CN109102571B (zh) 一种虚拟影像的控制方法、装置、设备及其存储介质
US20210055784A1 (en) Information processing apparatus
CN103336583B (zh) 投影键盘及投影键盘字符编码确定方法
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
US11789536B2 (en) Input device and display input system
CN111857364B (zh) 交互装置、虚拟内容的处理方法、装置以及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant