CN114779947A - 虚实结合交互方法、装置、系统、存储介质及计算设备 - Google Patents

Abstract

本申请公开一种虚实结合交互方法、装置、系统、存储介质及计算设备，该方法包括：向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。本申请解决现有技术中用户交互体验差的技术问题。

Description

虚实结合交互方法、装置、系统、存储介质及计算设备

技术领域

本申请涉及人机交互技术领域，具体而言，涉及一种虚实结合交互方法、装置、系统、存储介质及计算设备。

背景技术

常见的交互方案一般包括纯虚拟、纯真实或者传统的虚实交互方案。

针对纯虚拟的交互方案，用户通过在收集、平板等电子设备上通过设备内部的设计来实现交互行为，操作和反馈均为虚拟的，这种交互会被电子设备的屏幕尺寸、功能、显示效果所限制，并且基于电子设备的交互对用户的眼睛会有一定的影响，无法保证用户用眼健康。

针对纯真实的交互方案，用户利用实际的物品通过遵循某种规则来进行交互，例如传统的棋类游戏。

纯真实的交互不会有伤眼问题，但由于是基于实物进行的交互，因此交互特殊效果或者交互扩展内容完全受限于所拥有的实物，且交互效果固定，无法进行个性化扩展交互。

针对传统虚拟交互方案，以一般的基于投影技术的虚实交互为例，虽然通过投影显示了电子设备上的虚拟界面，但是其交互过程仍需用户借助点击电子设备上的按钮来实现与投影内容的交互，不够灵活并且需要有电子设备的支持。

传统的虚实交互虽然接入了投影仪来一定程度解决护眼问题和扩展问题，但仍然需要针对电子设备进行操作，不够灵活，并且不能良好的利用真实物品，仅是将实物作为一个投影的载体，不能实现真正的虚实交互。

针对上述现有技术中用户交互体验差的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种虚实结合交互方法、装置、系统、存储介质及计算设备，以至少解决现有技术中用户交互体验差的技术问题。

根据本申请实施例的一个方面，提供了一种虚实结合交互方法，包括：向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

根据本申请实施例的另一个方面，提供一种虚实结合交互装置，包括：发送单元，用于向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息将一真实物体放置到或移动到所述虚拟交互界面上的期望位置；获取单元，用于获取摄像设备采集到的针对所述指定区域的图像数据，根据确定所述图像数据确定用户所操作中包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；确定单元，用于根据包含用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；执行单元，用于执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

根据本申请实施例的另一个方面，提供一种虚实结合交互系统，包括：投影设备，摄像设备，计算设备及存储设备，其中：

投影设备接收计算设备发送的显示数据，以根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息将一真实物体放置到或移动到所述虚拟交互界面上的期望位置；摄像设备采集针对所述指定区域的图像数据；计算设备接收摄像设备采集的图像数据，根据确定所述图像数据确定用户所操作中包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；计算设备根据包含用户所操作的所述真实物体以及其所处的位置从存储设备中预存的对应关系中确定出与该真实物体及所处位置对应的用户交互指令；计算设备执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

根据本申请实施例的另一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任一实施例的方法。

根据本申请实施例的另一个方面，提供了一种计算设备，包括处理器，处理器用于运行程序，其中，程序运行时执行上述任一实施例的方法。

在本申请实施例中，通过向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面，实施了虚拟投影和实物交互相结合的交互方式，实现了更为灵活的交互效果，进而解决了现有技术中用户交互体验差的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

在附图中：

图1是根据本申请实施例的一种用于实现虚实结合交互方法的计算机终端（或移动设备）的硬件结构框图；

图2是根据本申请实施例的一种虚实结合交互方法的流程图；

图3是根据本申请实施例的一种虚实结合交互装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。

基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请中使用了“真实物体”这一术语，而对该术语的理解应当采取最为广泛的角度，即真实物体是指一切客观存在的物体，不仅包括人眼可见的物品，还包括人眼看不见、但可以通过其他仪器设备稳定监测到的物质；不仅包括有特定形状的物品，还包括没有特定形状到的无形物，如笔迹、水、光线、光斑、或荧光物质。

实施例1

根据本申请实施例，还提供了一种虚实结合交互方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。

图1示出了一种用于实现虚实结合交互方法的计算机终端（或移动设备）的硬件结构框图。

如图1所示，计算机终端10（或移动设备10）可以包括一个或多个（图中采用102a、102b，……，102n来示出）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输装置106。

除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为I/O接口的端口中的一个端口被包括）、网络接口、电源和/或相机。

本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。

例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。

该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。

此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10（或移动设备）中的其他元件中的任意一个内。

如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的虚实结合交互确定方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的虚实结合交互方法。

存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。

上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。

上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。

在一个实例中，传输装置106包括一个网络适配器（Network InterfaceController，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。

在一个实例中，传输装置106可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算机终端10（或移动设备）的用户界面进行交互。

此处，需要说明的是，在一些可选实施例中，上述图1所示的计算机设备（或移动设备）可以包括硬件元件（包括电路）、软件元件（包括存储在计算机可读介质上的计算机代码）、或硬件元件和软件元件两者的结合。

应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备（或移动设备）中的部件的类型。

本申请在上述运行环境下运行如图2所示的一种虚实结合交互方法。

需要说明的是，该方法的执行主体为如图1所示的至少具备处理器，存储器，和通信装置的计算设备，该计算设备可以为物理上独立的设备，只需和投影设备、摄像设备建立有线或无线的通信链路即可，以最大限度的兼容现有投影设备和摄像设备，这种情况下投影设备和摄像设备可以相互独立存在，也可一体集成。

该计算设备还可以一体集成到投影设备中，例如配置投影设备的处理器和存储器并和摄像设备通信，以执行该方法，使得投影设备具备投影和虚实交互的功能；该计算设备还可以一体集成到摄像设备中，例如配置摄像设备的处理器和存储器并和投影设备通信以执行该方法；进一步，该计算设备、摄像设备和投影设备三者还可以一体集成到同一个设备中，该设备在物理上或外观上显示为一个独立设备，三者可共用同一处理器和存储器，或者各自具备独立的处理器和存储器，换句话说，该设备内部硬件模块上可单独设置虚实结合交互设备模块、投影设备模块和摄像设备模块。

图2是根据本申请实施例的虚实结合交互方法的流程图，该方法应用于移动终端、计算机、投影仪等设备，这些设备均可基于图1所述的计算机终端实现。

参见图2所示，虚实结合交互方法可以包括：

步骤S202：向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；

在一种可选方案中，虚拟交互界面例如桌游棋盘界面，在传统的桌游棋盘游戏中，往往需要真实的棋盘媒介以供用户将棋子等实物放置其上，而在本申请实施例中，可以在预定物理界面上投影出与任何桌游棋盘对应的虚拟交互界面以供用户进行游戏。

在另一种可选方案中，虚拟交互界面例如虚拟教学交互界面，可将用户指定的学习内容对应的界面进行投射，以供用户采用本申请所述的虚拟交互方法进行学习。

在又一种可选方案中，虚拟交互界面例如做餐食谱图文教程界面，可将用户选定的餐食对应的材料准备界面、图文教程界面以及成果评分界面进行投射。

可选地，虚拟交互界面上包含多个可供用户可操作区域，针对每一可操作区域，用户不仅可以在该区域放置新的真实物体或者挪动虚拟交互界面上其他区域已放置的真实物体的位置，以将其挪动到用户期望的可操作区域，用户对真实物体的放置或挪动表征着用户的交互意图，在后续步骤中计算设备通过识别用户放置的真实物体的内容和位置即可对应确定出用户交互意图，并生成用户交互指令以实现虚实结合交互。

用户还可以在可操作区域内书写或者绘画出指定字符或信息码，这也属于用户操作真实物体的范围，用户书写或者绘画的内容也表征着用户的交互意图。

用户还可以改变原物体的形状或结构，比如将原有可操作区域内可发生形变的物体的形状进行改变，或者将原有可操作区域内具有可被监测到的立体结构的物体的结构进行改变，这种改变也表征着用户的交互意图。

用户还可以移除原有可操作区域内已有的物体，包括用户将该物体移出该指定区域，或摄像设备的采集范围，或者擦除原来书写或绘画的痕迹，这种移除也表征着用户的交互意图。

可选的，该方法由计算设备执行，在该步骤之前，方法还包括：接收用户输入的待投影界面的指示，根据该指示获取与该待投影界面对应的显示数据，以实现将用户指示的待投影界面作为虚拟交互界面投射至所述指定区域。

例如，计算设备中存储有多种待投影场景，每种投影场景下对应多个待投影界面，每个待投影界面对应一显示数据，例如待投影场景包括：游戏场景，厨房场景和教学场景。

以游戏场景为例，在游戏场景下对应有多个待投影界面及其显示数据，例如虚拟象棋交互界面、虚拟围棋交互界面、虚拟跳棋交互界面和虚拟战棋交互界面等，根据用户输入的例如投射虚拟象棋交互界面的指示，获取虚拟象棋交互界面对应的显示数据，以在指定区域投射虚拟象棋交互界面。

以厨房场景为例，在厨房场景下对应有多个不同菜品制作图文教程的待投影页面及其显示数据，或者查看不同菜品营养成分和制作方法的待投影页面及其显示数据。

用户输入例如京酱肉丝菜品的制作图文教程的指示，获取该菜品图文教程界面对应的显示数据，以在指定区域投射该菜品的制作教程虚拟交互界面，或者用户输入查看食材营养配比交互界面的指示，获取食材营养配比交互界面对应的显示数据，以在指定区域投射食材营养配比虚拟交互界面。

步骤S204：获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

在一种可选方案中，摄像装置可以为RGB摄像头，视觉摄像头，深度摄像头，双目摄像头等等，当需要获取的图像数据仅包含视觉图像数据时，可启用RGB摄像头，视觉摄像头等摄像装置获取彩色图像，传输给系统处理；当需要获取的图像数据包含视觉图像数据和深度图像数据时，一种情况下可通过图像处理技术对视觉图像数据进行深度信息提取，以得到深度图像数据，例如启用RGB摄像头拍摄图像数据，然后对拍摄的图像数据采用AI算法初步处理后，再根据结果生成热力图数据，计算热力图中每一位置处深度信息的概率，基于概率得到更精确的深度信息。

另一种情况下可启动深度摄像头如3D结构光摄像头或TOF摄像头以采集深度图像数据。

又一种情况下还可启用双目摄像头，即由两个可见光摄像头组成，可同时作为RGB摄像头和深度摄像头来获取彩色、深度图像。

在一种可选方案中，摄像设备可正好采集虚拟交互界面范围内的图像，也可采集包含有虚拟交互界面的稍大范围的图像并随后按照预设尺寸进行裁剪。

用户可将在虚拟交互界面上操作任一真实物体，摄像设备用于对该区域的图像数据进行采集和分析，以判断用户操作的真实物体的内容和位置，从而判断用户意图。

例如可基于图像处理技术判断图像数据中除虚拟交互界面外的其余图像数据中是否包含用户操作真实物体的操作痕迹，还可结合深度信息判断是否真实存在该真实物体。

例如当用户放置户移动真实象棋棋子时，可从图像数据中确定出真实存在有象棋棋子、每一象棋棋子上的汉字、以及每一象棋棋子的位置。

步骤S206：根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；

在一种可选方案中，以投射虚拟象棋交互界面为例，用户可放置和移动的真实物体例如真实的象棋棋子，根据用户移动的象棋棋子的类别和将象棋棋子移至的位置，可确定出用户发出了移动指定象棋棋子的交互指令；或者，用户在缺乏真实象棋棋子的情况下，可用笔书写出对应象棋棋子的汉字及所属下棋方，例如用户可画一圈，圈中写入汉字“兵”并在圈外附所述下棋方“红”，通过该方法就可识别出用户发出了放置红“兵”这一象棋棋子的交互指令，当用户擦除之前书写的字迹时即可识别到用户发出了移除某一象棋棋子的交互指令，如此一来，用户可以使用可擦除的有色签字笔等进行书写下棋。

在另一种可选方案中，以投射菜品制作图文教程对应的虚拟交互界面为例，向指定区域投射菜品准备教程虚拟交互界面，该界面上有指示用户需要准备的菜品类别和分量，其中当用户将准备好的一定菜品放入指定菜品对应位置时，即识别到用户发出了确认当前放置的菜品分量的交互指令，可通过图像处理技术结合深度信息大致估算当前放置的菜品分量并更新显示，以简化菜品制作流程；当投射食材营养配比虚拟交互界面时，用户将当前一餐准备的所有食材放入指定区域，即可识别到用户发出了确认当前放置的所有食材中每一种食材的营养成分或总营养成分的交互指令，可通过图像处理技术对用户方式的食材进行识别，并将识别到的食材对应的营养信息发送给投影设备进行更新显示。

在又一种可选方案中，可投射教学虚拟交互界面，允许用户在界面上指定位置处回答问题或进行选择，即识别到用户发出了确认当前回答的交互指令，可对用户的回答进行识别并将针对该回答的解释或正确标识或错误标识发送给投影设备以更新显示。

步骤S208：执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

在一种可选方案中，所述计算设备中还包括对应于该虚拟交互界面的处理逻辑例如游戏逻辑，所述处理逻辑根据用户发出的放置或移动真实物体的交互指令进行处理，确定是否允许继续针对当前虚拟交互界面进行操作。

当处理逻辑根据用户输入的交互指令判断当前游戏胜负已定时，则不接收针对当前虚拟交互界面的操作，并输出对应的结果。

当处理逻辑根据用户输入的交互指令判断当前游戏未结束时，接收针对当前虚拟交互界面的操作。

在本申请实施例中，通过向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许将一真实物体放置到或移动到所述虚拟交互界面上的期望位置；获取摄像设备采集到的针对所述指定区域的图像数据，确定所述图像数据中包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；根据包含的所述真实物体以及其所处的位置确定用户输入的交互指令；执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面，实施了虚拟投影和实物交互相结合的交互方式，实现了更为灵活的交互效果，进而解决了现有技术中用户交互体验差的技术问题。

可选地，用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息包括以下至少一种：用户将一真实物体放置到所述期望位置处，用户将所述虚拟交互界面上其他位置处的真实物体移动到所述期望位置处，用户在所述期望位置处留下书画痕迹，用户改变所述期望位置处原有真实物体的形状或结构，用户移除所述期望位置处原有真实物体。

此处需要说明的是，用户在期望位置处留下书画痕迹，包括书写痕迹和绘画痕迹，包括可被人眼观察到的可见痕迹和不能被人眼观察到但可被摄像设备采集到的书画痕迹，如包含荧光剂的痕迹，可采用现有任一技术通过摄像设备获取荧光痕迹，本申请不做限定。

用户改变所述期望位置处原有真实物体的形状包括将原有可操作区域内可发生形变的物体的形状进行改变，例如将球状物体变为柱状物体，或改变原物体的高度、宽度、长度等，用户改变所述期望位置处原有真实物体的结构，例如改变分子结构模型，将石墨分子结构模型变为石墨烯分子结构模型。

用户移除期望位置处原有真实物体，包括用户将该真实物体移出该指定区域，或摄像设备的采集范围，或者擦除原来书写或绘画的痕迹。

可选地，步骤S2044：确定所述图像数据中包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置包括：

步骤S2042：对摄像设备采集到的所述图像数据按照所述虚拟交互界面的范围进行裁剪；

在一种实施例中，对所述图像数据的处理还包括旋转和梯度校正。

步骤S2044：判断裁剪后的图像数据中是否包含用户手部图像；

步骤S2046：若否，则获取上一帧未包含用户手部图像的裁剪后的图像数据，根据当前裁剪后的图像数据与上一帧未包含用户手部图像的裁剪后的图像数据之间的差异，确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置。

上述步骤可通过两帧不包含用户手部图像的裁剪后的图像数据中的差异，确定用户操作的真实物体，例如当前帧图像中包含的真实物体A在上一帧图像中未曾出现，则识别出用户将一真实物体A放置到所述期望位置处。

又例如，当前帧图像中包含的真实物体B的位置与其在上一帧图像中的位置不同，则识别出用户将所述虚拟交互界面上其他位置处的真实物体B移动到所述期望位置处。

又例如，用户在所述期望位置处的书画痕迹C在上一帧图像中未曾出现，则识别出用户在期望位置处书写真实物体C。

又例如，当前帧图像中包含的真实物体D的结构或形状与上一帧图像中的不同，则识别出用户改变所述期望位置处原有真实物体的形状或结构。

又例如，当前帧图像中包含不包含真实物体E但上一帧图像中包含，则识别出用户移除所述期望位置处原有真实物体E。

所述虚拟交互界面上显示至少一个可供用户操作的虚拟目标对象，供用户使用手部对该虚拟目标对象进行手势操作，在步骤S2044：判断裁剪后的图像数据中是否包含用户手部图像之后，所述方法还包括：

步骤S2048：若是，则判断用户是否进行了针对所述虚拟交互界面上虚拟目标对象的手势操作；

步骤S2049：若是，则针对所述虚拟目标对象执行用户手势操作对应的交互指令。

通过上述步骤，当识别出用户手部图像后，可根据多帧图像中的用户手部图像确定用户输入的手势，从而确定与该手势动作针对的交互指令。

这一方法与前述的虚实交互方法相结合，既可实现原有的针对虚拟投影界面的手势交互，还可同时实现针对虚拟投影交互界面的新型虚实结合交互。

可选地，步骤S204：确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置包括：

步骤S204A：根据图像数据判断用户所操作的真实物体，其中判断裁剪后的图像数据中是否包含真实物体，其中用户所操作的所述真实物体包括：用户放置、移动、改变、书画或移除载字物体、载码物体或无载物体；载字物体、载码物体和无载物体中的至少一种，其中载字物体包括至少一表面上含有字符的物体或形似字符的用户书画痕迹，载码物体包括至少一表面上含有信息码的物体或形似信息码的用户书画痕迹，无载物体包括表面上不含字符和信息码的物体；

步骤S204B：当判断出用户所操作的物体为用户放置、移动、改变、书画或移除载字物体时，裁剪后的图像数据中包含载字物体时，识别所述载字物体上载有的字符内容和所述载字物体所处的位置，以根据用户放置、移动、改变、书画或移除的载字物体上所载有的字符和所处的位置确定交互指令；

步骤S204C：当判断出用户所操作的物体为用户放置、移动、改变、书画或移除载码物体时，裁剪后的图像数据中包含载码物体时，识别所述载码物体上载有的信息码内容和所述载码物体所处的位置，以根据用户放置、移动、改变、书画或移除的载码物体上所载有的信息码和所处的位置确定交互指令；

步骤S204D：当判断出用户所操作的物体为用户放置、移动、改变、书画或移除无载物体时，裁剪后的图像数据中包含无载物体时，识别所述无载物体的类型和所处的位置，以根据用户放置、移动、改变、书画或移除的无载物体的类型和所处的位置确定交互指令。

在一种实施例中，载字物体可包括写有字符的纸片、或印刷有字符的卡片、或者写有或印有字符的块状物，其中载字物体可具有多个表面，载字物体的每个表面上均可写有或印刷有不同的字符，例如骰子的六个面上有六种不同点数，载字物体被摄像设备采集到的表面为暴露表面，同一时刻载字物体只有一个暴露表面能被采集到，字符可包含但不限于字母、汉字、数字、特殊字符、特殊图形甚至emoji表情等。

同理，载码物体可包括画有信息码的纸片、或印刷有信息码的卡片、或者写有或印有信息码的块状物，其中载码物体可具有多个表面，载码物体的每个表面上均可画有或印刷有不同的信息码，载码物体被摄像设备采集到的表面为暴露表面，同一时刻载码物体只有一个暴露表面能被采集到，信息码可包含但不限于条形码和二维码。

无载物体为排除上述载字物体和载码物体的其余物体，无载物体主要靠其本身的类型、内容和位置而表征含义。

当判断出裁剪后的图像数据中包含载字物体时，识别所述载字物体上载有的字符内容和所述载字物体所处的位置，以根据载有的字符和所处的位置确定交互指令；例如，首先RGB摄像头实时记录当前场景的内容。

由计算板裁剪图片到虚拟桌面的范围再进行图片信息的识别（裁剪、旋转、梯度矫正）。

如果识别到了文字，会利用算法识别具体的信息，包括文字内容、位置。

进而基于文字内容在数据库检索相应的操作。

当判断出裁剪后的图像数据中包含载码物体时，识别所述载码物体上载有的信息码内容和所述载码物体所处的位置，以根据载有的信息码和所处的位置确定交互指令；例如，提前生产好并且上面印有特殊内容的卡片，例如二维码，条形码等等，将卡片上带有的记录特殊信息的二维码、条形码等内容缩写为“特殊码”。

具体识别过程为：首先RGB摄像头实时记录当前场景的内容。

由计算板裁剪图片到虚拟桌面的范围再进行图片信息的识别（裁剪、旋转、梯度矫正）。

如果识别到了可识别的特殊码，会利用算法识别响应内容，包括特殊码所记录的内容以及特殊码的位置。

进而基于特殊码的内容在数据库检索相应的操作，同时基于特殊码对应的卡片类型结合特殊码的坐标可以得到卡片的具体坐标。

当判断出裁剪后的图像数据中包含无载物体时，识别所述无载物体的类型和所处的位置，以根据无载物体的类型和所处的位置确定交互指令。

例如，首先RGB摄像头实时记录当前场景的内容。

由计算板裁剪图片到虚拟桌面的范围再进行图片信息的识别（裁剪、旋转、梯度矫正）。

识别图片内的所有可识别的实物，记录实物的信息和坐标位置。

此时计算板会根据识别到的实物信息从数据库中检索出所有实物对应的其他信息（例如物品的详细介绍或者物品在当前场景下代表的含义等等）并进行打包处理。

综上所述，本申请提供三种如步骤S204B，步骤S204C，步骤S204D所示的不同真实物体的识别方法，在某些简单的虚拟交互界面中只需要用到其中一种真实物体，例如虚拟象棋交互界面只需要用到载字物体的识别，而在一些复杂的虚拟交互界面中，根据交互规则可允许用户放置多种真实物体，此时如步骤S204B，步骤S204C，步骤S204D所示的不同真实物体的识别方法可针对同一虚拟交互界面进行组合，即可同时识别虚拟交互界面中对应的载字物体、载码物体以及无载物体，并分别进行处理。

三种识别方法的结合可搭建一种更加科幻的虚实交互场景。

可选地，步骤S204：确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置还包括：

步骤S204’：从用户历史操作记录数据库中，获取预定数量的用户历史操作记录，用户历史操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

具体的，针对用户开启当前一轮的虚实结合交互，或者针对同一场景的虚拟结合交互，保存识别出的每一条用户操作记录，存入用户历史操作记录数据库中。

预定数量的用户历史操作记录，可以为固定数量的用户历史操作记录，例如五条，还可以为针对同一投影场景的所有历史用户操作记录，还可以为针对同一投影场景的预定数量的用户历史操作记录。

步骤S204’’：判断当前用户所操作的真实物体与用户历史操作的真实物体之间是否相关；

具体的，针对教学场景，当用户历史操作真实物体包括书写苹果，而当前用户操作的真实物体包含放置一个真实的苹果实物时，则认为二者之间相关；针对游戏场景，当用户历史操作真实物体与用户当前操作真实物体具有隐含预设关联时，则认为二者之间相关，例如用户历史操作真实物体包括绘画刮风图像，当前操作真实物体包括放置草船，则认为二者之间相关；针对教学场景，第一题与第五题知识点相关，当用户历史操作记录中包括回答第一题，当前操作记录包括回答第五题时，则认为二者之间相关。

步骤S204’’’：若是，则根据当前用户所操作的真实物体和用户历史操作的真实物体之间的关系，确定附加交互指令，其中，所述附加交互指令与所述交互指令不同，用于在虚拟交互界面上更新显示相关性交互效果。

具体的，在教学场景中，放置一个物体，书写一些文字，如果物体和文字之间有关系，那么就会自动利用投影效果来进行展示。

例如在桌面上有“苹果”、“香蕉”、“橘子”等文字，放置一个苹果后，便会自动将苹果和“苹果”文字连接起来，达到一个匹配的效果。

或者，利用二维码卡片投影出了卡片对应的怪兽，当前怪兽的受击规则是写出从一到十的字，此时每写出一个字，怪兽就会掉一颗血，会利用投影更新血条，写完了便可消灭怪兽。

可选地，步骤S208：更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面包括：

步骤S2082：获取与识别出的真实物体对应的附加内容，所述附加内容包括真实物体的含义、真实物体表征的交互指令、所述交互指令的执行结果、以及增强真实物体显示的虚拟显示配件中的至少一种；

例如，附加内容表示真实物体在当前虚拟交互界面中表征的含义，例如识别到尖锐的无载物体后可在该物体周围投影攻击标识，识别到块状的无载物体后可在该物体周围投影防御标识等。

附加内容还可以表示真实物体表征的交互指令，例如载字物体上识别出+符号，则显示增加某一值的交互指令，又例如载字物体上识别出数字符号，则显示具有具体控制值的交互指令。

附加内容还可以表示交互指令的执行结果，例如当前交互指令执行后的胜率。

附加内容还可以表示增强显示，例如在识别到的真实物体周围显示增强边框。

又例如，附加内容可与场景相关，在游戏场景下，可以在物体周围更新他们的攻防、数值等信息；在二维码卡片上投影出对应的怪物、人物影响。

在厨房场景下，可以在物体周围投影出物体对应的营养信息。

在教学场景下，可以在文字周围投影出文字的含义，文字的扩展信息等等。

本申请对附加内容作出了诸多示例，但可不限于这些示例。

又例如，附加内容可以是针对物体周围的扩展，例如放置一个二维码卡片，便可在卡片周围投影出卡片对应的怪物、人物效果，可以是对整个投影桌面的更新，例如在厨房做饭场景下，我们识别到用户放了一个苹果在桌面上，我们便可将整个投影画面切换为苹果有关的营养信息介绍以及有关的菜品做法，也可以是不同物体之间的交互，例如在桌面上放置了很多物体，如果在我们系统的规则中，物体A和物体B是有关系的，那么如果先放一个A，再放一个B，在B放置之后便会在AB之间投影出对应的关系特效。

步骤S2084：向所述投影设备发送包含所述附加内容的显示数据，以在所识别出的真实物体的关联区域中投影显示所述附加内容。

例如，关联区域可以是真实物体所在区域本身，或其周围区域，或者虚拟投影界面上一单独边缘区域等等。

可选地，步骤S204：获取摄像设备采集到的针对所述指定区域的图像数据包括：步骤S2041：获取摄像设备采集到的针对所述指定区域的视觉图像和深度图像，其中，确定所述图像数据中包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置包括：

步骤S2047：确定所述视觉图像中是否有不属于虚拟交互界面的对象；

步骤S2048：若是，则在深度图像中确定该对象的深度值是否不同于虚拟交互界面的深度值；

步骤S2049：若是，则确定该对象为所述图像数据中包含的真实物体，并将该对象在所述图像数据中的位置确定为所述真实物体所处的位置。

可选地，在步骤S206：根据包含的所述真实物体以及其所处的位置确定用户输入的交互指令之前，所述方法还包括：

步骤S205：预先设置真实物体以及其所处位置与用户输入的交互指令之间的对应关系。

可选地，步骤S205：预先设置真实物体以及其所处位置与用户输入的交互指令之间的对应关系包括：

步骤S2052：向投影设备发送放置提示数据，以供所述投影设备根据所述放置提示数据向指定区域投射出一虚拟交互界面，其中所述虚拟交互界面上显示多个可供用户放置真实物体的放置框以及与每个放置框对应的交互指令提示；

例如，当用户选择投射虚拟象棋交互界面但又没有系统默认的标准象棋真实棋子时，可触发该步骤S205代表的设置流程，首先确定出当前虚拟交互界面所需要的所有真实物体的个数及对应的交互指令提示，例如象棋需要红方十六枚棋子以及黑方十六枚棋子，因此控制投影设备向指定区域投射虚拟交互界面，该投射的虚拟交互界面上包含共计三十二个放置框，用于提示用户放置三十二个真实物体，在每一放置框的临近区域内显示该放置框对应的交互指令提示，例如第一放置框提示放入红方车，第二放置框提示放入红方将帅等等，用户根据自己需求将表征象棋三十二棋子的真实物体放入对应的放置框，例如将一红色车辆模型放入表征红方车的放置框。

步骤S2054：获取摄像设备采集到的针对所述指定区域的图像数据，识别用户在每个放置框中所放置的真实物体；

例如，摄像设备识别出用户放置的红色车辆模型的特征图像。

步骤S2056：建立每个放置框中放置的真实物体与该放置框的交互指令之间的对应关系，将该对应关系存储于数据库中。

例如，建立用户放置的红色车辆模型的特征图像与象棋棋子中红色车之间的对应关系，使得当后续用户移动红色车辆模型时，可视为移动象棋棋子中的红色车。

通过上述步骤，可以实现用户在没有标准真实物体时，可以自己DIY当前场景对应的真实物体，通过这些技术手段解决了灵活性不足的问题，同时增加了交互的趣味性和多样性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。

其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的虚实结合交互方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例的方法。

实施例2

根据本申请实施例，还提供了一种用于实施上述虚实结合交互方法的虚实结合交互装置，该装置以软件或硬件方式实现于移动终端、计算机，投影仪等设备，这些设备都可基于图1所述的计算机终端实现。

如图3所示，该虚实结合交互装置300包括：

发送单元302，用于向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；

获取单元304，用于获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

确定单元306，用于根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；

执行单元308，用于执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

此处，需要说明的是，上述发送单元302，获取单元304，确定单元306，以及执行单元308对应于实施例1中的步骤S202至步骤S208，上述四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。

需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

该装置该包括各种对应的功能模块，用以实现如实施例1中任一实施方式或可选方式中的流程步骤，囿于篇幅不再赘述。

实施例3

本申请的实施例可以提供一种计算设备，该计算设备可以是计算机终端群中的任意一个计算机终端设备。

可选地，在本实施例中，上述计算设备也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述计算设备包括一个或多个处理器、存储器、以及传输装置。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的虚实结合交互方法和装置对应的程序指令/模块。

处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的虚实结合交互方法。

可选地，存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备120。

上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在本实施例中，上述计算设备中的处理器运行存储的程序代码时可以执行以下方法步骤：向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

进一步地，在本实施例中，上述计算设备中的处理器运行存储的程序代码时可以执行实施例1中所列举的任一方法步骤，囿于篇幅不再赘述。

实施例4

本申请的实施例还提供了一种存储介质。

可选地，在本实施例中，上述存储介质可以用于保存上述虚实结合交互方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

进一步地，在本实施例中，存储介质被设置为存储用于执行实施例1中所列举的任一方法步骤的程序代码，囿于篇幅不再赘述。

实施例5

根据本申请实施例，还提供了一种虚实结合交互系统，该系统可执行实施例1所提供的虚实结合交互方法，该系统包括：投影设备，摄像设备，计算设备及存储设备，其中：

投影设备接收计算设备发送的显示数据，以根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；

摄像设备采集针对所述指定区域的图像数据；

计算设备接收摄像设备采集的图像数据，根据所述图像数据中用户所操作的包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

计算设备根据用户所操作的所述真实物体以及其所处的位置从存储设备中预存的对应关系中确定出与该真实物体及所处位置对应的用户交互指令；

计算设备执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

进一步地，在本实施例中，处理器可执行指令以实现实施例1中所列举的任一方法步骤，囿于篇幅不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。

其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。

可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种虚实结合交互方法，其特征在于，该方法包括：

向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；

获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；

执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

2.根据权利要求1所述的方法，其特征在于，用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息包括以下至少一种：用户将一真实物体放置到所述期望位置处，用户将所述虚拟交互界面上其他位置处的真实物体移动到所述期望位置处，用户在所述期望位置处留下书画痕迹，用户改变所述期望位置处原有真实物体的形状或结构，用户移除所述期望位置处原有真实物体。

3.根据权利要求1所述的方法，其特征在于，确定所述图像数据中用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置包括：

对摄像设备采集到的所述图像数据按照所述虚拟交互界面的范围进行裁剪；

判断裁剪后的图像数据中是否包含用户手部图像；

若否，则获取上一帧未包含用户手部图像的裁剪后的图像数据，根据当前裁剪后的图像数据与上一帧未包含用户手部图像的裁剪后的图像数据之间的差异，确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置。

4.根据权利要求2或3所述的方法，其特征在于，确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置包括：

根据图像数据判断用户所操作的真实物体，其中用户所操作的真实物体包括：用户放置、移动、改变、书画或移除载字物体、载码物体或无载物体；其中载字物体包括至少一表面上含有字符的物体或形似字符的用户书画痕迹，载码物体包括至少一表面上含有信息码的物体或形似信息码的用户书画痕迹，无载物体包括表面上不含字符和信息码的物体；

当判断出用户所操作的物体为用户放置、移动、改变、书画或移除载字物体时，识别所述载字物体上载有的字符内容和所述载字物体所处的位置，以根据用户放置、移动、改变、书画或移除的载字物体上所载有的字符和所处的位置确定交互指令；

当判断出用户所操作的物体为用户放置、移动、改变、书画或移除载码物体时，识别所述载码物体上载有的信息码内容和所述载码物体所处的位置，以根据用户放置、移动、改变、书画或移除的载码物体上所载有的信息码和所处的位置确定交互指令；

当判断出用户所操作的物体为用户放置、移动、改变、书画或移除无载物体时，识别所述无载物体的类型和所处的位置，以根据用户放置、移动、改变、书画或移除的无载物体的类型和所处的位置确定交互指令。

5.根据权利要求1所述的方法，其特征在于，更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面包括：

获取与识别出的真实物体对应的附加内容，所述附加内容包括真实物体的含义、真实物体表征的交互指令、所述交互指令的执行结果、以及增强真实物体显示的虚拟显示配件中的至少一种；

向所述投影设备发送包含所述附加内容的显示数据，以在所识别出的真实物体的关联区域中投影显示所述附加内容。

6.根据权利要求1所述的方法，其特征在于，获取摄像设备采集到的针对所述指定区域的图像数据包括：获取摄像设备采集到的针对所述指定区域的视觉图像和深度图像，其中，确定所述图像数据中包含的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置包括：

确定所述视觉图像中是否有不属于虚拟交互界面的对象；

若是，则在深度图像中确定该对象的深度值是否不同于虚拟交互界面的深度值；

若是，则确定该对象为所述图像数据中包含的真实物体，并将该对象在所述图像数据中的位置确定为所述真实物体所处的位置。

7.根据权利要求1所述的方法，其特征在于，在根据包含的所述真实物体以及其所处的位置确定用户输入的交互指令之前，所述方法还包括：

预先设置真实物体以及其所处位置与用户输入的交互指令之间的对应关系。

8.根据权利要求7所述的方法，其特征在于，预先设置真实物体以及其所处位置与用户输入的交互指令之间的对应关系包括：

向投影设备发送放置提示数据，以供所述投影设备根据所述放置提示数据向指定区域投射出一虚拟交互界面，其中所述虚拟交互界面上显示多个可供用户放置真实物体的放置框以及与每个放置框对应的交互指令提示；

获取摄像设备采集到的针对所述指定区域的图像数据，识别用户在每个放置框中所放置的真实物体；

建立每个放置框中放置的真实物体与该放置框的交互指令之间的对应关系，将该对应关系存储于数据库中。

9.根据权利要求3所述的方法，其特征在于，所述虚拟交互界面上显示至少一个可供用户操作的虚拟目标对象，供用户使用手部对该虚拟目标对象进行手势操作，在判断裁剪后的图像数据中是否包含用户手部图像之后，所述方法还包括：

若是，则判断用户是否进行了针对所述虚拟交互界面上虚拟目标对象的手势操作；

若是，则针对所述虚拟目标对象执行用户手势操作对应的交互指令。

10.一种虚实结合交互装置，其特征在于，该装置包括：

发送单元，用于向投影设备发送显示数据，以供所述投影设备根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；

获取单元，用于获取摄像设备采集到的针对所述指定区域的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

确定单元，用于根据用户所操作的所述真实物体以及其所处的位置确定用户输入的交互指令；

执行单元，用于执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

11.一种虚实结合交互系统，其特征在于，该系统包括投影设备，摄像设备，计算设备及存储设备，其中：

投影设备接收计算设备发送的显示数据，以根据所述显示数据向指定区域投射出一虚拟交互界面，其中用户被允许在所述虚拟交互界面上的期望位置处操作一真实物体并留下能被摄像设备采集到的操作信息；

摄像设备采集针对所述指定区域的图像数据；

计算设备接收摄像设备采集的图像数据，根据所述图像数据确定用户所操作的真实物体以及所述真实物体在所述虚拟交互界面上所处的位置；

计算设备根据用户所操作的所述真实物体以及其所处的位置从存储设备中预存的对应关系中确定出与该真实物体及所处位置对应的用户交互指令；

计算设备执行所述交互指令并更新向所述投影设备发送的显示数据，以更新投射出的虚拟交互界面。

12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-9任一项所述的方法。

13.一种计算设备，包括处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1-9任一项所述的方法。

Images