CN111722769A - 交互方法、装置、显示设备和存储介质 - Google Patents

交互方法、装置、显示设备和存储介质 Download PDF

Info

Publication number
CN111722769A
CN111722769A CN202010683899.7A CN202010683899A CN111722769A CN 111722769 A CN111722769 A CN 111722769A CN 202010683899 A CN202010683899 A CN 202010683899A CN 111722769 A CN111722769 A CN 111722769A
Authority
CN
China
Prior art keywords
space
image
optical signal
dimensional
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010683899.7A
Other languages
English (en)
Other versions
CN111722769B (zh
Inventor
林明田
邬文捷
陈镜州
周伟彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010683899.7A priority Critical patent/CN111722769B/zh
Publication of CN111722769A publication Critical patent/CN111722769A/zh
Priority to PCT/CN2021/097660 priority patent/WO2022012194A1/zh
Priority to US17/733,813 priority patent/US11948243B2/en
Application granted granted Critical
Publication of CN111722769B publication Critical patent/CN111722769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/36—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using refractive optical elements, e.g. prisms, in the optical path between the images and the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors

Abstract

本发明实施例公开了一种交互方法、装置、显示设备和存储介质；本发明实施例可以获取三维立体影像；向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。在本发明实施例中，用户可在第二区域与原来投影在第一区域的3D影像投影进行交互。由此，本方案提出的交互方法可以使得用户可以与投影在空中的3D影像进行体感交互。

Description

交互方法、装置、显示设备和存储介质
技术领域
本发明涉及计算机领域，具体涉及一种交互方法、装置、显示设备和存储介质。
背景技术
近年来，随着三维成像技术的发展，三维成像显示器和三维成像投影机提出了一种新的信息输出方式，相比于传统的二维成像，三维成像具有细节丰富、符合人类自然使用习惯等优点。
目前的三维成像技术是将三维图像投影在透明的三维显示屏上成像，从而实现三维图像悬浮在空中的效果。
然而，目前通过操控投影设备或者通过触摸三维显示屏等方法来与三维图像进行交互的方法无法满足用户的需求，因此，目前的三维图像的交互方法单一。
发明内容
本发明实施例提供一种交互方法、装置、显示设备和存储介质，使得用户可以与投影在空中的3D影像进行体感交互。
本发明实施例提供一种交互方法，包括：
获取三维立体影像；
向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像；
当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；
向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。
本发明实施例还提供一种交互装置，包括：
获取单元，用于获取三维立体影像；
发射单元，用于向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像；
体感单元，用于当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；
交互单元，用于向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。
在一些实施例中，所述发射单元，包括：
翻转子单元，用于对所述三维立体影像进行镜像翻转操作，得到翻转三维立体影像；
发射子单元，用于生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述光信号经光学面板的负折射后在空间的第二区域显示所述三维立体影像。
在一些实施例中，所述光信号包括左光信号和右光信号，所述发射子单元，用于：
生成所述翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。
在一些实施例中，所述交互单元，包括：
更新翻转子单元，用于对所述更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；
更新发射子单元，用于生成所述更新后的翻转三维立体影像的光信号，并向空间的第一区域发射所述更新后的翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述更新后的光信号经光学面板的负折射后在空间的第二区域显示所述更新后的三维立体影像。
在一些实施例中，所述光信号包括左眼光信号和右眼光信号，所述更新发射子单元，用于：
生成所述更新后的翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。
在一些实施例中，所述体感单元，包括：
图像坐标子单元，用于确定所述三维立体影像在虚拟坐标系中的图像坐标集；
体感坐标子单元，用于当检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集；
触摸状态子单元，用于基于所述用户的体感坐标集和所述图像坐标集，确定所述用户针对所述三维立体影像的成像的触摸状态；
更新子单元，用于基于所述触摸状态更新所述三维立体影像，得到更新后的三维立体影像。
在一些实施例中，所述体感坐标集包括骨骼节点坐标集，所述体感坐标子单元，用于：
获取用户在所述空间的第二区域的手部图像；
对所述手部图像进行骨骼分析，从而确定用户手部的骨骼节点；
确定所述用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。
在一些实施例中，所述体感单元，还包括：
反馈信息子单元，用于确定所述体感操作对应的体感反馈信息；
反馈子单元，用于向空间的第二区域发送所述体感反馈信息，以使用户在空间的第二区域接收所述体感反馈信息。
在一些实施例中，所述体感反馈包括触觉反馈，所述反馈信息包括超声波信号，所述反馈信息子单元，用于：
基于所述体感操作生成超声波信号；
所述反馈子单元，用于：
向空间的第二区域发射所述超声波信号，以使用户在空间的第二区域感受到所述超声波信号形成的触觉反馈。
本发明实施例还提供一种显示设备，包括显示模块、光学面板、体感检测模块、存储器和处理器，其中：
所述体感检测模块用于检测用户的体感操作；
所述显示模块用于发射光信号；
所述光学面板设置在空间的在第一区域和第二区域的交界处，用于使射向空间的第一区域的三维立体影像的光信号负折射，从而使所述光信号在空间的第二区域生成所述三维立体影像的成像；
所述存储器用于存储三维立体影像的数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取三维立体影像；
控制显示模块向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像；
当体感检测模块检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；
控制显示模块向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。
在一些实施例中，所述显示设备还包括体感反馈模块，其中：
所述体感反馈模块用于发送体感反馈信息；
所述处理器用于执行以下步骤：
确定所述体感操作对应的体感反馈信息；
控制体感反馈模块向空间的第二区域发送所述体感反馈信息，以使用户在空间的第二区域接收所述体感反馈信息。
在一些实施例中，所述体感反馈包括触觉反馈，所述体感反馈信息包括超声波信号，在执行步骤确定所述体感操作对应的体感反馈信息时，所述处理器用于执行以下步骤：
基于所述体感操作生成超声波信号；
在执行步骤控制显示模块向空间的第二区域发送所述体感反馈信息，以使用户在空间的第二区域接收所述体感反馈信息时，所述处理器用于执行以下步骤：
控制显示模块向空间的第二区域发射所述超声波信号，以使用户在空间的第二区域感受到所述超声波信号形成的触觉反馈。
在一些实施例中，当执行步骤控制显示模块向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像时，所述处理器执行以下步骤：
对所述三维立体影像进行镜像翻转操作，得到翻转三维立体影像；
控制显示模块生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，以使所述光信号经光学面板的负折射后在空间的第二区域显示所述三维立体影像。
在一些实施例中，所述光信号包括左光信号和右光信号，当执行步骤控制显示模块生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号时，所述显示模块执行以下步骤：
生成所述翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼
在一些实施例中，当执行步骤向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像时，所述处理器执行以下步骤：
对所述更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；
控制所述显示模块生成所述更新后的翻转三维立体影像的光信号，并向空间的第一区域发射所述更新后的翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述更新后的光信号经光学面板的负折射后在空间的第二区域显示所述更新后的三维立体影像。
在一些实施例中，所述光信号包括左光信号和右光信号，当执行步骤控制显示模块生成所述更新后的翻转三维立体影像的光信号，并向空间的第一区域发射所述更新后的翻转三维立体影像的光信号时，所述显示模块执行以下步骤：
控制显示模块生成所述更新后的翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。
在一些实施例中，在步骤当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像时，所述处理器执行以下步骤：
确定所述三维立体影像在虚拟坐标系中的图像坐标集；
当体感检测模块检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集；
基于所述用户的体感坐标集和所述图像坐标集，确定所述用户针对所述三维立体影像的成像的触摸状态；
基于所述触摸状态更新所述三维立体影像，得到更新后的三维立体影像。
在一些实施例中，所述体感坐标集包括骨骼节点坐标集，在步骤当体感检测模块检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集时，所述体感检测模块执行以下步骤：
获取用户在所述空间的第二区域的手部图像；
对所述手部图像进行骨骼分析，从而确定用户手部的骨骼节点；
确定所述用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种交互方法中的步骤。
本发明实施例可以获取三维立体影像；向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
在本发明中，用户可在第二区域与原来投影在第一区域的3D影像投影进行交互。由此，本方案提出的交互方法可以使得用户可以与投影在空中的3D图像进行体感交互。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的交互方法的场景示意图；
图1b是本发明实施例提供的交互方法的流程示意图；
图1c是本发明实施例提供的交互方法的光线负折射示意图；
图1d是本发明实施例提供的交互方法的成像示意图；
图2a是本发明实施例提供的显示设备的机械结构示意图；
图2b是本发明实施例提供的交互方法在应用场景的流程示意图；
图3是本发明实施例提供的交互装置的结构示意图；
图4是本发明实施例提供的显示设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种交互方法、装置、显示设备和存储介质。
其中，该交互装置具体可以集成在电子设备中，该电子设备可以为投影仪、显示器、终端等设备。
例如，参考图1a，该电子设备可以为显示设备，该显示设备可以包括显示模块、光学面板、体感检测模块、存储器和处理器，其中：
体感检测模块用于检测用户的体感操作；
显示模块用于发射光信号；
光学面板设置在空间的第一区域和第二区域的交界处，用于使射向空间的第一区域的三维立体影像的光信号负折射，从而使光信号在空间的第二区域生成三维立体影像的成像；
存储器用于存储三维立体影像的数据以及多条指令；
处理器用于读取存储器存储的多条指令，以执行以下步骤：
获取三维立体影像；
控制显示模块向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；
当体感检测模块检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；
控制显示模块向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中，提供了一种与三维立体影像交互的方法，本交互方法可以实现在空中显示三维立体影像，且用户可以与该空中的三维立体影像交互，从而达成一种物体真实呈现在用户眼前，且用户可感受到触碰物体的触觉反馈效果。
如图1b所示，该交互方法的具体流程可以如下：
101、获取三维立体影像。
由于人左右眼之间有一定的眼距，在真实的三维世界中，人左右眼看到的影像并不完全相同，而两个不同的图像在人眼中成像后，人脑会产生立体的空间感。
三维立体影像可以包括左影像和右影像，当人的左眼接收到左影像、右眼接收到右影像时，人脑可以产生该三维立体影像的空间感。
其中，三维立体影像可以是三维虚拟角色的影像、三维虚拟物体的影像，等等。
其中，获取三维立体影像的方式具有多种，比如，通过网络从服务器中获取；再比如，通过读取本地保存的三维建模来确定三维立体影像；比如，通过全息技术采集真实世界中某事物的三维立体影像，等等。
102、向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像。
其中，空间的第一区域可以位于显示设备的内部，空间的第二区域可以位于显示设备的外部，空间的第二区域可以是位于显示设备外部的一个感应区域，其中，在第一区域和第二区域的交界处可以设置有光学面板，第一区域内可以设置有显示模块，用户可以在第二区域与显示设备进行体感交互。
当显示模块向空间的第一区域发射三维立体影像的光信号时，光信号可以透过光学面板射向第二区域，从而在显示设备的外部成像。
其中，光学面板可以是一种由透明或半透明材料构成的平板结构。需要注意的是，光学面板可以是平面面板，也可以是曲面面板，等等。
在一些实施例中，光学面板是一种负折射面板，该负折射面板是由负折射率材料构成的透明平板，该负折射率材料具有负折射率(Negative Refraction)，与常规折射相反，当光波从具有正折射率的材料入射到具有负折射率材料的界面时，入射波和折射波处在于界面法线方向同一侧。
通过负折射面板对光信号的负折射后，光线可以沿入射的相反的方向进行偏折，从而使得显示模块显示的三维立体影像可以在显示设备外部成像，从而使得用户可以看到悬空于空气中的三维立体影像。
比如，参考图1c，图1c的上半部分是光波从空气中入射到折射率为1.3的玻璃面板的示意图，其入射波和折射波处于界面法线方向相反的一侧，故当光信号通过玻璃面板后，无法在玻璃面板另一面后的空气中成像；图1c的下半部分是光波从空气中入射到折射率为-1.3的负折射面板的示意图，其入射波和折射波处在于界面法线方向同一侧，故当光信号通过负折射面板后，可以在负折射面板的另一面后的空气中成像。
在一些实施例中，该光学面板可以是一种由多个不同材料的面板构成的面板模组，其中，该面板模组中可以包含负折射率面板，还可以包括保护玻璃、光学辅助面板，等等。
因此，由于负折射面板的上述特性，当光信号通过负折射面板后显示的是原来三维立体影像的镜像，故为了保证三维立体影像显示的准确性，在步骤102中需要提前对原三维立体影像进行镜像翻转，从而使得镜像翻转后的三维立体影像的光信号在通过负折射面板后，显示的就是原来三维立体影像。
比如，在一些实施例中，步骤102可以包括如下步骤：
(1)对三维立体影像进行镜像翻转操作，得到翻转三维立体影像；
(2)生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使光信号经光学面板的负折射后在空间的第二区域显示三维立体影像。
例如，参考图1d，图1d的上部分是直接发射原三维立体影像的光信号的效果，用户可以直接看到该原三维立体影像；图1d的中间部分是将原三维立体影像的光信号发射到负折射面板后的效果，用户可以看到的是原三维立体影像的镜像；图1d的下部分是先将原三维立体影像进行镜像翻转，再将翻转三维立体影像的光信号发射到负折射面板后的效果，用户可以看到的是原三维立体影像。
例如，参考图1d，在一些实施例中，由于三维立体影像分为左影像和右影像，故三维立体影像的光信号可以分为左光信号和右光信号，步骤(1)生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，可以包括如下步骤：
生成翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。
103、当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像。
其中，体感操作是人直接地使用肢体动作，与显示设备进行互动的操作，体感(Motion Sensing)或称躯体感觉，可以包括触觉、压觉、温觉、痛觉等等，不同的传感器可以感受不同类型的体感。
比如，体感操作可以借助体感传感器如摄像头、手柄、脚带、感应帽等完成人体的肢体动作的捕捉，从而通过这些肢体动作实现人机互动操作。
例如，当检测到用户“触摸”空间的第二区域中的虚拟三维角色时，虚拟三维角色可以做出“后退”的反应。
在一些实施例中，可以通过体感检测模块检测用户在空间的第二区域对三维立体影像的成像进行体感操作，步骤103可以包括如下步骤：
(1)确定三维立体影像在虚拟坐标系中的图像坐标集；
(2)当检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集；
(3)基于用户的体感坐标集和图像坐标集，确定用户针对三维立体影像的成像的触摸状态；
(4)基于触摸状态更新三维立体影像，得到更新后的三维立体影像。
其中，虚拟坐标系为预设的三维坐标系，该虚拟坐标系可以用于确定现实中用户的体感操作是如何作用于虚拟场景中三维立体影像的。
比如，假设三维立体影像在虚拟坐标系中的图像坐标集为P，P＝p(xi,yi,zi)，其中，p(xi,yi,zi)为三维立体影像的每个像素点在虚拟坐标系中的图像坐标，其中，i为大于0的正整数。
当检测到用户在空间的第二区域的体感操作时，可以基于体感操作在虚拟坐标系中生成用户的体感坐标集，比如，当检测到用户在空间的第二区域的手势操作时，可以确定用户的手部在虚拟坐标系中的体感坐标集H，H＝h(xj,yj,zj)，其中，h(xj,yj,zj)为用户手部的每个骨骼节点在虚拟坐标系中的图像坐标，其中，j为大于0的正整数。
当P和H相交时，可以确定用户的手部触摸了该三维立体影像，故可以确定用户针对三维立体影像的成像的触摸状态为[触摸]；当P和H不相交时，可以确定用户的手部还未触碰该三维立体影像，故可以确定用户针对三维立体影像的成像的触摸状态为[未触摸]，等等。
当确定用户的手部触摸了该三维立体影像时，可以对三维立体影像进行如步骤104所述的更新显示步骤。
具体地，在一些实施例中，体感坐标集可以包括骨骼节点坐标集，步骤(2)当检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集，可以包括如下步骤：
获取用户在空间的第二区域的手部图像；
对手部图像进行骨骼分析，从而确定用户手部的骨骼节点；
确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。
比如，可以体感检测模块可以采集第二区域的图像，通过对这些图像进行图像分类，来判断这些图像是否未包含了用户手部的图像。
然后，体感检测模块可以对手部图像中用户手部的骨骼节点进行识别，从而确定用户手部的骨骼节点在虚拟坐标系中的坐标。
其中，体感检测模块采集的可以是深度图像、左右影像，等等。
例如，体感检测模块中可以包括左右两个摄像头，体感检测模块可以基于左右两个摄像头在第二区域采集的左右影像来构建深度图像，通过全连接神经网络(FullyConvolutional Networks)对深度图像进行图像语义分割，从而得到深度图像中用户手部的手部深度图像；然后，通过对手部深度图像进行图像识别，来确定手部深度图像中用户手部的每个骨骼节点，从而确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到用户的体感坐标集。
通过用户的体感坐标集，即用户手部每个骨骼节点在虚拟坐标系中的坐标，可以确定用户的手势，以及用户的手部是否与三维立体影像在虚拟坐标系中相交，等等。
在一些实施例中，当用户的手进入第二区域后，显示设备可以根据用户手部变化对应调整虚拟三维角色的动作来实现视觉上的交互。
另外，在一些实施例中，为了给予用户触觉感知，从而进一步提高用户体验，在一些实施例中，步骤103还可以包括如下步骤：
(1)确定体感操作对应的体感反馈信息；
(2)向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息。
其中，体感反馈是指给与用户触觉、压觉、温觉、痛觉等躯体感觉，比如，按照类型，体感反馈可以分为触觉反馈、力反馈、光反馈，等等。
在本方案中，可以采用体感反馈模块来向空间的第二区域发送体感反馈信息。
其中，体感反馈模块可以包括触觉反馈发生器、力反馈发生器、光反馈发生器，等等。
比如，触觉反馈发生器可以包括超声波触觉反馈发生器、红外线触觉反馈发生器，等等。
其中，超声波触觉反馈发生器可以发出超声波能量束，使得超声波能量束打到人的皮肤上，使人感知到触觉反馈。
例如，在一些实施例中，为了使得用户可以感知到除视觉变化外的触觉反馈，从而实现多维度的交互反馈感受，体感反馈可以包括触觉反馈，体感反馈信息可以包括超声波信号，步骤(1)确定体感操作对应的体感反馈信息，可以包括如下步骤：
基于体感操作生成超声波信号；
故步骤(2)向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息，可以包括如下步骤：
向空间的第二区域发射超声波信号，以使用户在空间的第二区域感受到超声波信号形成的触觉反馈。
104、向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
在一些实施例中，步骤104可以包括如下步骤：
(1)对更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；
(2)生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使更新后的光信号经光学面板的负折射后在空间的第二区域显示更新后的三维立体影像。
在一些实施例中，光信号可以包括左光信号和右光信号，步骤(2)生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，可以包括如下步骤：
生成更新后的翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。
此步骤可以参考步骤102，在此不做赘述。
由上可知，本发明实施例可以获取三维立体影像；向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
由此，本方案提出一种在空中的感应区域显示三维立体影像的方式，用户可以在感应区域与该三维立体影像进行体感交互，提升了用户体验，实现了一种多维度的交互方式，故本方案提出的交互方法可以使得用户可以与投影在空中的3D图像进行体感交互。
根据上述实施例所描述的方法，以下将作进一步详细说明。
在本实施例中，将以本发明应用在游戏领域中，采用如图2a所示的显示设备为例，对本发明实施例的方法进行详细说明。
如图2b所示，一种交互方法具体流程如下：
201、显示模块向负折射面板发射游戏角色的光信号，使得显示设备外部生成该游戏角色的三维影像。
在本实施例中，负折射面板可以分割显示设备的内外部，显示设备外部具有一个感应区域，该感应区域即为第二区域，负折射面板可以位于显示设备的内外部交界处的第一区域。
其中，显示模块可以包括光场显示屏，比如，该光场显示屏可以由多个投影仪构成，通过多个投影仪组成的阵列向显示设备外部的第二区域内投射不同方向光信号，从而实现三维影像的投影。
显示模块向负折射面板发射游戏角色的光信号后，光信号经过负折射面板的折射，可以以负折射面板为镜面，在显示设备内部的原成像位置对应的另一位置上成像。
由于负折射面板本身光学特性，会使得折射后的图像呈镜面反转，故在一些实施例中，需要提前将游戏角色镜像翻转，再将镜像翻转后游戏角色的光信号通过负折射面板折射，最后，在感应区域呈现该游戏角色正确的三维影像。
其中，具体的显示方法可以参考步骤102，在此不做赘述。
202、当手势检测模块检测到玩家手部触碰到该游戏角色在显示设备外部的成像时，基于玩家手部触碰改变游戏角色的动作，得到改变后游戏角色。
其中，手势检测模块可采用但不限于现有的红外手势检测方案、超声波手势检测方案等。
手势检测模块通过检测用户手部在感应区域内的运动轨迹及手势状态，从而确定对应的交互操作，使得游戏角色的动作根据交互操作进行相应的改变。
在一些实施例中，负折射面板可以相对于显示模块呈倾斜摆放，负折射面板的倾斜角度可以根据实际需求进行改动，从而修改游戏角色成像的成像效果、成像位置，等等。
在一些实施例中，为了便于用户调整成像的成像位置和成像效果，显示装置的机械结构中还可以包括负折射面板的多个倾角的倾斜角度调整槽，通过将负折射面板固定在不同倾角的调整槽中，可以使得负折射面板相对于显示模块呈不同倾角倾斜摆放。
其中，具体的检测方法可以参考步骤103，在此不做赘述。
203、显示模块向负折射面板发射该改变后游戏角色的光信号，使得显示设备外部三维影像中游戏角色的动作改变。
比如，当用户伸手尝试触碰游戏角色的三维影像时，游戏角色可以产生相应的动作改变，如移动、躲闪、变形、消失等动作。
其中，具体的显示方法可以参考步骤101，在此不做赘述。
204、触觉反馈模块向显示设备外部发送超声波信号，使得玩家感受到该超声波信号触碰皮肤所产生的触觉，从而实现用户和游戏角色的交互。
比如，触觉反馈模块可以包括但不限于超声波能量发生器、红外线能量发生器，等等；例如，可以通过超声波能量发生器发出超声波能量束，使得超声波能量束打到用户手部的皮肤表面，使用户可以感知到触觉反馈。
其中，具体的触觉反馈方法可以参考步骤103，在此不做赘述。
因此，在本方案中，显示设备可以在显示设备外部的感应区域显示游戏角色的三维影像，摆脱了只能依靠屏幕表面做为显示边界的物理限制，当用户的手进入显示设备外部的感应区域后，显示设备会根据用户手部变化对应调整游戏角色的动作来实现视觉上的交互，另外，触觉反馈发生器也可以给予用户手部相应的触觉感知，从而同时实现视觉和触觉上的交互感知。
由上可知，本方案可以显示模块向负折射面板发射游戏角色的光信号，使得显示设备外部生成该游戏角色的三维影像；当手势检测模块检测到玩家手部触碰到该游戏角色在显示设备外部的成像时，基于玩家手部触碰改变游戏角色的动作，得到改变后游戏角色；显示模块向负折射面板发射该改变后游戏角色的光信号，使得显示设备外部三维影像中游戏角色的动作改变；触觉反馈模块向显示设备外部发送超声波信号，使得玩家感受到该超声波信号触碰皮肤所产生的触觉，从而实现用户和游戏角色的交互。
由此，本方案提出的交互方法可以使得用户可以与投影在空中的3D图像进行体感交互。
为了更好地实施以上方法，本发明实施例还提供一种交互装置，该交互装置具体可以集成在电子设备中，该电子设备可以为显示器、投影仪、终端等设备。
比如，在本实施例中，将以交互装置具体集成在显示器中为例，对本发明实施例的方法进行详细说明。
例如，如图3所示，该交互装置可以包括获取单元301、发射单元302、体感单元303以及交互单元304，如下：
(一)获取单元301：
获取单元301可以用于获取三维立体影像。
(二)发射单元302：
发射单元302可以用于向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像。
在一些实施例中，发射单元302可以包括翻转子单元以及发射子单元，如下：
(1)翻转子单元：
翻转子单元可以用于对三维立体影像进行镜像翻转操作，得到翻转三维立体影像。
(2)发射子单元：
发射子单元可以用于生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使光信号经光学面板的负折射后在空间的第二区域显示三维立体影像。
在一些实施例中，光信号可以包括左光信号和右光信号，发射子单元可以用于：
生成翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。
(三)体感单元303：
体感单元303可以用于当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像。
在一些实施例中，体感单元303可以包括图像坐标子单元、体感坐标子单元、触摸状态子单元以及更新子单元，如下：
(1)图像坐标子单元：
图像坐标子单元可以用于确定三维立体影像在虚拟坐标系中的图像坐标集。
(2)体感坐标子单元：
体感坐标子单元可以用于当检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集。
在一些实施例中，体感坐标集可以包括骨骼节点坐标集，体感坐标子单元，可以用于：
获取用户在空间的第二区域的手部图像；
对手部图像进行骨骼分析，从而确定用户手部的骨骼节点；
确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。
(3)触摸状态子单元：
触摸状态子单元可以用于基于用户的体感坐标集和图像坐标集，确定用户针对三维立体影像的成像的触摸状态。
(4)更新子单元：
更新子单元可以用于基于触摸状态更新三维立体影像，得到更新后的三维立体影像。
在一些实施例中，体感单元303还可以包括反馈信息子单元和反馈子单元，如下：
(1)反馈信息子单元：
反馈信息子单元可以用于确定体感操作对应的体感反馈信息。
在一些实施例中，体感反馈可以包括触觉反馈，反馈信息可以包括超声波信号，反馈信息子单元，可以用于：
基于体感操作生成超声波信号。
(2)反馈子单元：
反馈子单元可以用于向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息。
在一些实施例中，反馈子单元可以用于：
向空间的第二区域发射超声波信号，以使用户在空间的第二区域感受到超声波信号形成的触觉反馈。
(四)交互单元304：
交互单元304可以用于向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
在一些实施例中，交互单元304可以包括更新翻转子单元以及更新发射子单元，如下：
(1)更新翻转子单元：
更新翻转子单元可以用于对更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；
(2)更新发射子单元：
更新发射子单元可以用于生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使更新后的光信号经光学面板的负折射后在空间的第二区域显示更新后的三维立体影像。
在一些实施例中，光信号可以包括左眼光信号和右眼光信号，更新发射子单元，可以用于：
生成更新后的翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的交互装置由获取单元获取三维立体影像；由发射单元向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；由体感单元当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；由交互单元向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
由此，本发明实施例可以使得用户可以与投影在空中的3D图像进行体感交互。
本发明实施例还提供一种电子设备，该电子设备可以为显示设备，比如，显示器、投影仪、显示终端等。
在本实施例中，将以本实施例的电子设备是显示设备为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的显示设备的结构示意图，具体来讲：
该显示设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、显示模块404以及体感检测模块405和体感反馈模块406等部件，此外，在该显示设备中还可以包括光学面板，该光学面板可以不与整个显示设备的各个部分电连接，其中该光学面板可以为一种包括了负折射面板的面板组件，该负折射面板为由负折射率材料构成的面板。
其中，负折射率材料(Negative index materials)的介电常数或磁导率(Permeability)是负的，具有负的折射率。
本领域技术人员可以理解，图4中示出的显示设备结构并不构成对显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该显示设备的控制中心，利用各种接口和线路连接整个显示设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行显示设备的各种功能和处理数据，从而对显示设备进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据显示设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
显示设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该显示设备还可包括显示模块404，该显示模块404可用于发射光信号等，在一些实施例中，显示模块404可以包括光场显示屏、偏光显示屏等等。
该显示设备还可包括体感检测模块405，体感检测模块405可以用于检测用户的体感操作，体感检测模块405可以包括红外传感器、超声波传感器、图像传感器、深度传感器等。
该显示设备还可包括体感反馈模块406，该体感反馈模块406用于发送体感反馈信息，该体感反馈信息可以包括超声波信息、红外线信息，等等。
尽管未示出，显示设备还可以包括声音单元等，在此不再赘述。
具体在本实施例中，显示设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取三维立体影像；
向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；
当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；
向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
在一些实施例中，处理器401还用于执行以下步骤：
确定体感操作对应的体感反馈信息；
控制体感反馈模块406向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息。
在一些实施例中，体感反馈包括触觉反馈，体感反馈信息包括超声波信号，在执行步骤确定体感操作对应的体感反馈信息时，处理器401用于执行以下步骤：
基于体感操作生成超声波信号；
在执行步骤控制显示模块404向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息时，处理器401用于执行以下步骤：
控制显示模块404向空间的第二区域发射超声波信号，以使用户在空间的第二区域感受到超声波信号形成的触觉反馈。
在一些实施例中，当执行步骤控制显示模块404向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像时，处理器401执行以下步骤：
对三维立体影像进行镜像翻转操作，得到翻转三维立体影像；
控制显示模块404生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，以使光信号经光学面板的负折射后在空间的第二区域显示三维立体影像。
在一些实施例中，光信号包括左光信号和右光信号，当执行步骤控制显示模块404生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号时，显示模块404执行以下步骤：
生成翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼
在一些实施例中，当执行步骤向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像时，处理器401执行以下步骤：
对更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；
控制显示模块404生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使更新后的光信号经光学面板的负折射后在空间的第二区域显示更新后的三维立体影像。
在一些实施例中，光信号包括左光信号和右光信号，当执行步骤控制显示模块404生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号时，显示模块404执行以下步骤：
控制显示模块404生成更新后的翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。
在一些实施例中，在步骤当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像时，处理器401执行以下步骤：
确定三维立体影像在虚拟坐标系中的图像坐标集；
当体感检测模块405检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集；
基于用户的体感坐标集和图像坐标集，确定用户针对三维立体影像的成像的触摸状态；
基于触摸状态更新三维立体影像，得到更新后的三维立体影像。
在一些实施例中，体感坐标集包括骨骼节点坐标集，在步骤当体感检测模块405检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集时，体感检测模块405执行以下步骤：
获取用户在空间的第二区域的手部图像；
对手部图像进行骨骼分析，从而确定用户手部的骨骼节点；
确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本方案提出的交互方法可以使得用户可以与投影在空中的3D图像进行体感交互。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种交互方法中的步骤。例如，该指令可以执行如下步骤：
获取三维立体影像；
向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；
当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；
向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的三维影像显示方面或者三维影像互动方面的各种可选实现方式中提供的方法。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种交互方法中的步骤，因此，可以实现本发明实施例所提供的任一种交互方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种交互方法、装置、显示设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种交互方法，其特征在于，包括：
获取三维立体影像；
向空间的第一区域发射所述三维立体影像的光信号，使得在所述空间的第二区域生成所述三维立体影像的成像；
当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；
向所述空间的第一区域发射所述更新后的三维立体影像的光信号，使得在所述空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。
2.如权利要求1所述的交互方法，其特征在于，所述向空间的第一区域发射所述三维立体影像的光信号，使得在所述空间的第二区域生成所述三维立体影像的成像，包括：
对所述三维立体影像进行镜像翻转操作，得到翻转三维立体影像；
生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述光信号经光学面板的负折射后在所述空间的第二区域显示所述三维立体影像。
3.如权利要求2所述的交互方法，其特征在于，所述光信号包括左光信号和右光信号，所述生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，包括：
生成所述翻转三维立体影像的左光信号和右光信号；
向空间的第一区域发射所述左光信号和所述右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。
4.如权利要求1所述的交互方法，其特征在于，所述向所述空间的第一区域发射所述更新后的三维立体影像的光信号，使得在所述空间的第二区域生成所述更新后的三维立体影像的成像，包括：
对所述更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；
生成所述更新后的翻转三维立体影像的光信号，并向所述空间的第一区域发射所述更新后的翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述更新后的光信号经光学面板的负折射后在所述空间的第二区域显示所述更新后的三维立体影像。
5.如权利要求4所述的交互方法，其特征在于，所述光信号包括左光信号和右光信号，所述生成所述更新后的翻转三维立体影像的光信号，并向所述空间的第一区域发射所述更新后的翻转三维立体影像的光信号，包括：
生成所述更新后的翻转三维立体影像的左光信号和右光信号；
向所述空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。
6.如权利要求1所述的交互方法，其特征在于，当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像，包括：
确定所述三维立体影像在虚拟坐标系中的图像坐标集；
当检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集；
基于所述用户的体感坐标集和所述图像坐标集，确定所述用户针对所述三维立体影像的成像的触摸状态；
基于所述触摸状态更新所述三维立体影像，得到更新后的三维立体影像。
7.如权利要求6所述的交互方法，其特征在于，所述体感坐标集包括骨骼节点坐标集，所述当检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集，包括：
获取用户在所述空间的第二区域的手部图像；
对所述手部图像进行骨骼分析，从而确定用户手部的骨骼节点；
确定所述用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。
8.如权利要求1所述的交互方法，其特征在于，所述基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像，还包括：
确定所述体感操作对应的体感反馈信息；
向所述空间的第二区域发送所述体感反馈信息，以使用户在所述空间的第二区域接收所述体感反馈信息。
9.如权利要求8所述的交互方法，其特征在于，所述体感反馈包括触觉反馈，所述体感反馈信息包括超声波信号，所述确定所述体感操作对应的体感反馈信息，包括：
基于所述体感操作生成超声波信号；
所述向所述空间的第二区域发送所述体感反馈信息，以使用户在所述空间的第二区域接收所述体感反馈信息，包括：
向所述空间的第二区域发射所述超声波信号，以使用户在所述空间的第二区域感受到所述超声波信号形成的触觉反馈。
10.一种交互装置，其特征在于，包括：
获取单元，用于获取三维立体影像；
发射单元，用于向空间的第一区域发射所述三维立体影像的光信号，使得在所述空间的第二区域生成所述三维立体影像的成像；
体感单元，用于当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；
交互单元，用于向所述空间的第一区域发射所述更新后的三维立体影像的光信号，使得在所述空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。
11.一种显示设备，其特征在于，显示模块、光学面板、体感检测模块、存储器和处理器，其中：
所述体感检测模块用于检测用户的体感操作；
所述显示模块用于发射光信号；
所述光学面板设置在空间的在第一区域和第二区域的交界处，用于使射向空间的第一区域的三维立体影像的光信号负折射，从而使所述光信号在所述空间的第二区域生成所述三维立体影像的成像；
所述存储器用于存储三维立体影像的数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取三维立体影像；
控制显示模块向空间的第一区域发射所述三维立体影像的光信号，使得在所述空间的第二区域生成所述三维立体影像的成像；
当体感检测模块检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；
控制显示模块向所述空间的第一区域发射所述更新后的三维立体影像的光信号，使得在所述空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。
12.如权利要求11所述显示设备，其特征在于，所述显示设备还包括体感反馈模块，其中：
所述体感反馈模块用于发送体感反馈信息；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
确定所述体感操作对应的体感反馈信息；
控制体感反馈模块向所述空间的第二区域发送所述体感反馈信息，以使用户在所述空间的第二区域接收所述体感反馈信息。
13.如权利要求11所述显示设备，其特征在于，当执行步骤控制显示模块向空间的第一区域发射所述三维立体影像的光信号，使得在所述空间的第二区域生成所述三维立体影像的成像时，所述处理器执行以下步骤：
对所述三维立体影像进行镜像翻转操作，得到翻转三维立体影像；
控制显示模块生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，以使所述光信号经光学面板的负折射后在所述空间的第二区域显示所述三维立体影像。
14.如权利要求13所述的显示设备，其特征在于，所述光信号包括左光信号和右光信号，当执行步骤控制显示模块生成所述翻转三维立体影像的光信号，并向所述空间的第一区域发射所述翻转三维立体影像的光信号时，所述显示模块执行以下步骤：
控制显示模块生成所述翻转三维立体影像的左光信号和右光信号；
向所述空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～9任一项所述的交互方法中的步骤。
CN202010683899.7A 2020-07-16 2020-07-16 交互方法、装置、显示设备和存储介质 Active CN111722769B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010683899.7A CN111722769B (zh) 2020-07-16 2020-07-16 交互方法、装置、显示设备和存储介质
PCT/CN2021/097660 WO2022012194A1 (zh) 2020-07-16 2021-06-01 交互方法、装置、显示设备和存储介质
US17/733,813 US11948243B2 (en) 2020-07-16 2022-04-29 Three-dimensional virtual object interaction method and apparatus, display device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010683899.7A CN111722769B (zh) 2020-07-16 2020-07-16 交互方法、装置、显示设备和存储介质

Publications (2)

Publication Number Publication Date
CN111722769A true CN111722769A (zh) 2020-09-29
CN111722769B CN111722769B (zh) 2024-03-05

Family

ID=72572719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010683899.7A Active CN111722769B (zh) 2020-07-16 2020-07-16 交互方法、装置、显示设备和存储介质

Country Status (3)

Country Link
US (1) US11948243B2 (zh)
CN (1) CN111722769B (zh)
WO (1) WO2022012194A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906372A (zh) * 2021-05-20 2022-01-07 深圳盈天下视觉科技有限公司 一种空中成像交互系统
WO2022012194A1 (zh) * 2020-07-16 2022-01-20 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
CN114281185A (zh) * 2021-04-25 2022-04-05 北京壹体体育产业发展有限公司 基于嵌入式平台的体态识别及体感交互系统和方法
CN114489315A (zh) * 2020-11-12 2022-05-13 幻景启动股份有限公司 图像处理系统以及图像处理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2610414A (en) * 2021-09-03 2023-03-08 Integrated Design Ltd Anti-climb system

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279249A1 (en) * 2009-05-29 2011-11-17 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
JP2012083458A (ja) * 2010-10-08 2012-04-26 Seiko Epson Corp 虚像表示装置
KR20120069008A (ko) * 2010-11-05 2012-06-28 전자부품연구원 실감형 3차원 게임 시스템
KR101430907B1 (ko) * 2013-04-24 2014-08-18 전자부품연구원 상호작용 가능한 3차원 영상 장치
US20160316185A1 (en) * 2015-04-27 2016-10-27 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
CN106919294A (zh) * 2017-03-10 2017-07-04 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
KR20180044550A (ko) * 2016-10-24 2018-05-03 엘지전자 주식회사 Hmd 디바이스
WO2018094934A1 (zh) * 2016-11-22 2018-05-31 深圳市超级人生科技有限公司 体感刺激发生装置
CN110471249A (zh) * 2019-09-17 2019-11-19 荆门市探梦科技有限公司 现场全息显示系统
CN111312118A (zh) * 2020-03-16 2020-06-19 长沙英芙机电科技有限公司 一种沉浸式互动显示系统
CN111311986A (zh) * 2020-03-16 2020-06-19 河南职业技术学院 一种沉浸式互动全景教学系统
CN111402885A (zh) * 2020-04-22 2020-07-10 北京万向新元科技有限公司 一种基于语音和空气成像技术的交互方法及其系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9713658D0 (en) * 1997-06-28 1997-09-03 Travis Adrian R L View-sequential holographic display
AU6171200A (en) * 1999-08-10 2001-03-05 Peter Mcduffie White Communications system
US6252720B1 (en) * 1999-08-20 2001-06-26 Disney Entpr Inc Optical system and method for remotely manipulating interactive graphical elements on television screens and the like
US7787009B2 (en) * 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US8797382B2 (en) * 2009-04-13 2014-08-05 Hewlett-Packard Development Company, L.P. Dynamically reconfigurable holograms for generating color holographic images
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9733789B2 (en) * 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
US8823641B2 (en) * 2012-05-22 2014-09-02 Delphi Technologies, Inc. System for projecting 3D images and detecting gestures
KR101950939B1 (ko) * 2012-09-13 2019-02-22 삼성전자주식회사 홀로그래픽 객체 처리 장치 및 그 동작 방법
US20140355974A1 (en) * 2013-06-04 2014-12-04 Delphi Technologies, Inc. Multi-view image system with a single camera and a transreflective device
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
WO2015170406A1 (ja) * 2014-05-09 2015-11-12 日立マクセル株式会社 ヘッドアップディスプレイ装置
US10275098B1 (en) * 2015-07-12 2019-04-30 sigmund lindsay clements Laser mid-air hologram touch input buttons for a device
CN106970709B (zh) * 2017-03-30 2020-01-17 宁波万维显示科技有限公司 一种基于全息成像的3d交互方法和装置
US10512839B2 (en) * 2017-09-28 2019-12-24 Igt Interacting with three-dimensional game elements using gaze detection
JP2019207574A (ja) * 2018-05-29 2019-12-05 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US20200393156A1 (en) * 2019-06-12 2020-12-17 Alibaba Group Holding Limited Temperature adjustment feedback system in response to user input
CN111722769B (zh) * 2020-07-16 2024-03-05 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279249A1 (en) * 2009-05-29 2011-11-17 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
JP2012083458A (ja) * 2010-10-08 2012-04-26 Seiko Epson Corp 虚像表示装置
KR20120069008A (ko) * 2010-11-05 2012-06-28 전자부품연구원 실감형 3차원 게임 시스템
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
KR101430907B1 (ko) * 2013-04-24 2014-08-18 전자부품연구원 상호작용 가능한 3차원 영상 장치
US20160316185A1 (en) * 2015-04-27 2016-10-27 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
KR20180044550A (ko) * 2016-10-24 2018-05-03 엘지전자 주식회사 Hmd 디바이스
WO2018094934A1 (zh) * 2016-11-22 2018-05-31 深圳市超级人生科技有限公司 体感刺激发生装置
CN106919294A (zh) * 2017-03-10 2017-07-04 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN110471249A (zh) * 2019-09-17 2019-11-19 荆门市探梦科技有限公司 现场全息显示系统
CN111312118A (zh) * 2020-03-16 2020-06-19 长沙英芙机电科技有限公司 一种沉浸式互动显示系统
CN111311986A (zh) * 2020-03-16 2020-06-19 河南职业技术学院 一种沉浸式互动全景教学系统
CN111402885A (zh) * 2020-04-22 2020-07-10 北京万向新元科技有限公司 一种基于语音和空气成像技术的交互方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕宝媛;蔡煜城;林伟达;曹家榕;杨敬达;蔡泽民;: "一种基于Leap Motion的交互全息投影方法", 信息技术与网络安全, no. 10, 10 October 2018 (2018-10-10) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012194A1 (zh) * 2020-07-16 2022-01-20 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
US11948243B2 (en) 2020-07-16 2024-04-02 Tencent Technology (Shenzhen) Company Limited Three-dimensional virtual object interaction method and apparatus, display device, and storage medium
CN114489315A (zh) * 2020-11-12 2022-05-13 幻景启动股份有限公司 图像处理系统以及图像处理装置
CN114489315B (zh) * 2020-11-12 2023-12-19 幻景启动股份有限公司 图像处理系统以及图像处理装置
CN114281185A (zh) * 2021-04-25 2022-04-05 北京壹体体育产业发展有限公司 基于嵌入式平台的体态识别及体感交互系统和方法
CN114281185B (zh) * 2021-04-25 2023-10-27 浙江壹体科技有限公司 基于嵌入式平台的体态识别及体感交互系统和方法
CN113906372A (zh) * 2021-05-20 2022-01-07 深圳盈天下视觉科技有限公司 一种空中成像交互系统
WO2022241714A1 (zh) * 2021-05-20 2022-11-24 深圳盈天下视觉科技有限公司 一种空中成像交互系统

Also Published As

Publication number Publication date
US11948243B2 (en) 2024-04-02
WO2022012194A1 (zh) 2022-01-20
US20220262064A1 (en) 2022-08-18
CN111722769B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN111722769B (zh) 交互方法、装置、显示设备和存储介质
US11340694B2 (en) Visual aura around field of view
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
KR102365730B1 (ko) 인터랙티브 콘텐츠 제어 장치 및 방법
US11954243B2 (en) Mapping and localization of a passable world
CN113196209A (zh) 在任何位置渲染位置特定的虚拟内容
US9367951B1 (en) Creating realistic three-dimensional effects
CA3018758A1 (en) Interactions with 3d virtual objects using poses and multiple-dof controllers
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
CN102508562B (zh) 一种立体交互系统
CN103744518A (zh) 立体交互方法及其显示装置和系统
US20210042988A1 (en) Fast 3d reconstruction with depth information
CN104349157A (zh) 3d显示装置及其方法
CN114514493A (zh) 增强设备
CN104637080A (zh) 一种基于人机交互的三维绘图系统及方法
CN102508561B (zh) 一种操作棒
CN102508563B (zh) 一种立体交互方法以及被操作设备
US20210082193A1 (en) Object interactivity in virtual space
KR101687986B1 (ko) 모션 인식을 활용한 영상 매핑 방법
WO2024026638A1 (en) Haptic interaction with 3d object on naked eye 3d display
JP2024506299A (ja) 占有率グリッドを使用した場面理解
KR101196570B1 (ko) 체험 장치
JP2002230588A (ja) グラフィックス装置及び教育機器
JP2021010133A (ja) 仮想空間内のプレイヤー視点からの視界をユーザの視界としてディスプレイに表示するための情報処理方法、プログラム、システム
Rosenberg Natural Interaction with a Virtual World

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant