CN107368193B - 人机操作交互方法和系统 - Google Patents

Abstract

本发明提供了一种人机操作交互方法和系统，该方法包括：操作台，显示设备，头戴显示器和图像识别卡；操作台用于显示目标图像，并用于识别放置于操作台上的图像识别卡的标识信息和图像识别卡的变化信息，并在识别到的变化信息之后，根据变化信息生成控制指令，并向显示设备发送控制指令；显示设备用于接收控制指令，并根据控制指令的控制显示设备中的目标模型执行目标动作，以显示三维图像信息，三维图像信息包括：执行目标动作的目标模型和虚拟场景，目标模型为放置于操作台上的图像识别卡对应的模型；每个头戴显示器用于实时接收正在运行的可执行程序通过局域网发来的指令，并在头戴显示器中显示三维图像信息。

Description

人机操作交互方法和系统

技术领域

本发明涉及图像显示的技术领域，尤其是涉及一种人机操作交互方法和系统。

背景技术

混合现实技术(Mixed Reality，简称MR)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。包括虚拟环境的高效构建、现实环境空间结构的恢复、虚实环境的自然融合以及混合现实支撑软件平台等。

现有MR显示系统都是体验者能看到虚拟的场景，除体验者以外的人都不能观看到虚拟的场景，这样就造成了体验者在不懂操作的情况下没有人提供指导。例如某公司研发的视频同步，必须有两台相同HoloLens设备和特制的录像设备才能实现。HoloLens手势控制不是每个人都能标准的使用，这样就造成人机交互比较困难。

发明内容

有鉴于此，本发明的目的在于提供一种人机操作交互方法和系统，以缓解了传统的MR显示系统中任意两个头戴显示器在实现视频同步时，操作较为繁琐的技术问题。

根据本发明实施例的一个方面，提供了一种人机操作交互系统，包括：操作台，显示设备，头戴显示器和图像识别卡；所述操作台用于显示目标图像，并对光学识别设备识别到的放置于所述操作台上的所述图像识别卡的标识信息和所述图像识别卡的变化信息进行分析，从而根据所述分析结果生成控制指令，并向所述显示设备发送所述控制指令，其中，所述变化信息包括所述图像识别卡的位移和/或所述图像识别卡的旋转角度；所述显示设备用于接收所述控制指令，并根据所述控制指令的控制所述显示设备中的目标模型执行目标动作，以显示三维图像信息，其中，所述三维图像信息包括：执行所述目标动作的所述目标模型和虚拟场景，所述目标模型为放置于所述操作台上的所述图像识别卡对应的模型，所述虚拟场景为采用AR识别技术对所述目标图像进行识别之后得到的场景；所述头戴显示器的数量为多个，每个头戴显示器用于通过局域网接收接收正在运行的可执行程序发来的操作指令，并基于所述操作指令在所述头戴显示器中显示所述三维图像信息。

进一步地，所述操作台设置于支撑架上，其中，所述支撑架为具有中空结构的长方体支撑架；所述长方体支撑架上还设置有所述光学识别设备，其中，所述光学识别设备用于在驱动程序的控制下识别放置于所述操作台上的所述图像识别卡的标识信息和所述图像识别卡的变化信息，其中，所述驱动程序在所述人机操作交互系统运行时第一个启动的程序。

进一步地，所述系统还包括：操作台控制程序和网络传输程序，所述操作台控制程序用于在检测到所述图像识别卡放置于所述操作台上的时刻，控制在所述操作台上显示与所述图像识别卡相对应的交互界面，其中，所述交互界面中包括指针和所述目标动作的文字表达，所述指针随所述图像识别卡的转动而转动；所述网络传输程序用于控制所述显示设备和所述头戴显示器之间的数据传输。

进一步地，所述系统还包括：所述操作台控制程序还用于接收所述图像识别卡的标识信息和所述图像识别卡的变化信息，并根据所述变化信息确定所述图像识别卡是否满足触发条件，其中，如果满足，则生成所述控制指令。

进一步地，所述系统包括：所述可执行程序，其中，所述可执行程序用于在摄像头接入所述操作台之后，自动查找所述摄像头，并实现与所述摄像头的连接，其中，所述可执行程序为接入至所述人机操作交互系统之后启动的程序。

进一步地，所述摄像头用于在目标项目启动时，采集所述目标项目所对应的所述目标图像，并通过AR识别器对所述目标图像进行识别得到所述虚拟场景，其中，在得到所述虚拟场景之后，将所述虚拟场景传送至所述显示设备中进行显示，其中，所述目标项目为所述可执行程序启动之后的工程项目。

进一步地，正在运行的所述可执行程序还用于接收所述控制指令，并对所述控制指令进行解析，以根据所述控制指令控制所述显示设备中的所述目标模型执行所述目标动作，以显示所述三维图像信息。

进一步地，所述操作台包括用于放置图像识别卡的投射面，其中，所述投射面为透明玻璃板，所述透明玻璃板的下表面粘贴有半透式全息膜。

进一步地，所述图像识别卡为二维图像识别卡，所述二维图像识别卡的一面载有的二维码，所述二维图像识别卡的另一面载有与所述二维码对应的图像的缩略图，其中，载有所述二维码的一面朝向所述透明玻璃板放置。

根据本发明实施例的另一个方面，还提供了一种人机操作交互方法，应用于上述所述的人机操作交互系统，包括：在显示出目标图像的情况下，获取放置于所述人机操作交互系统中操作台上的图像识别卡的标识信息和所述图像识别卡的变化信息，并对所述变化信息和所述标识信息进行分析，得到分析结果，其中，所述变化信息包括设置于所述图像识别卡的位移和/或设置于所述图像识别卡的旋转角度；根据所述分析结果生成控制指令，并向所述显示设备中正在运行的可执行程序发送所述控制指令；根据所述分析结果生成控制指令，并向所述显示设备中正在运行的可执行程序发送所述控制指令；正在运行的所述可执行程序通过局域网向所述人机操作交互系统中的头戴显示器中传达相关操作指令，并基于所述操作指令在所述头戴显示器中显示所述三维图像信息。

在本发明实施例提供的人机操作交互系统中，包括：操作台，头戴显示器和图像识别卡，其中，操作台包括显示设备和操作台。其中，操作台用于显示目标图像，并用于识别放置于操作台上的图像识别卡的标识信息和图像识别卡的变化信息，并在识别到的变化信息之后，根据变化信息生成控制指令，并向显示设备发送控制指令，其中，变化信息包括设置于图像识别卡的位移和/或设置于图像识别卡的旋转角度；显示设备用于接收控制指令，并根据控制指令的控制显示设备中的目标模型执行目标动作，以显示三维图像信息，其中，三维图像信息包括：执行目标动作的目标模型和虚拟场景，目标模型为放置于操作台上的图像识别卡对应的模型，虚拟场景为采用AR识别技术对目标图像进行识别之后得到的场景；头戴显示器的数量为多个，每个头戴显示器通过局域网用于接收正在运行的可执行程序发来的指令，并在头戴显示器中显示三维图像信息。通过上述方式，能够实现多台头戴显示器同时观看显示设备中显示的三维图像信息，而无需增加任何的操作，能够实现多人互动，相对于现有技术中使用特定的录像设备来实现多人观看的方案，本发明实施例提供的人机操作交互系统能够降低成本，而且展示效果更加，进而缓解了传统的MR显示系统中任意两个头戴显示器在实现视频同步时，操作较为繁琐的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种人机操作交互系统的示意图；

图2是根据本发明实施例的一种主机的示意图；

图3是根据本发明实施例的一种交互界面的示意图；

图4是根据本发明实施例的另一种人机操作交互系统的示意图；

图5是根据本发明实施例的一种人机操作交互方法的流程图。

100-主机；200-头戴显示器；300-图像识别卡；400-支撑架；500-光学识别设备；101-操作台；102-显示设备。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

根据本发明实施例，提供了一种人机操作交互系统的实施例。

图1是根据本发明实施例的一种人机操作交互系统的示意图，如图1所示，该人机操作交互系统包括：主机100，头戴显示器200和图像识别卡300，其中，主机100包括操作台101和显示设备102。

操作台101用于显示目标图像，并对光学识别设备识别到的放置于操作台上101的图像识别卡300的标识信息和图像识别卡的变化信息进行分析，从而根据分析结果生成控制指令，并向显示设备102发送控制指令，其中，变化信息包括图像识别卡300的位移和/或图像识别卡300的旋转角度；

显示设备102用于接收控制指令，并根据控制指令控制显示设备102中的目标模型执行目标动作，以显示三维图像信息，其中，三维图像信息包括：执行目标动作的目标模型和虚拟场景，目标模型为放置于操作台上的图像识别卡对应的模型，虚拟场景为采用AR识别技术对目标图像进行识别之后得到的场景；

头戴显示器200的数量为多个，每个头戴显示器用于通过局域网接收正在运行的可执行程序发来的操作指令，并基于该操作指令在所述头戴显示器中显示三维图像信息。

在本发明实施例中，通过上述方式，能够实现多台头戴显示器同时观看显示设备中显示的三维图像信息，而无需增加任何的操作，能够实现多人互动，相对于现有技术中使用特定的录像设备来实现多人观看的方案，本发明实施例提供的人机操作交互系统能够降低成本，而且展示效果更加，进而缓解了传统的MR显示系统中任意两个头戴显示器在实现视频同步时，操作较为繁琐的技术问题。

在一个可选实施方式中，如图2所示，操作台101设置于支撑架400上，其中，支撑架400为具有中空结构的长方体支撑架。

需要说明的是，除了长方体形状的支撑架之外，该操作台还可以设置为直角梯形形状的支撑架，对此不做具体限定。

长方体支撑架上还设置有光学识别设备500，其中，光学识别设备500用于在驱动程序的控制下识别放置于操作台101上的图像识别卡300的标识信息和图像识别卡300的变化信息，其中，驱动程序在人机操作交互系统运行时第一个启动的程序。

在本发明实施例的另一个可选实施方式中，操作台包括用于放置图像识别卡的投射面，其中，投射面为透明玻璃板，透明玻璃板的下表面粘贴有半透式全息膜。

进一步地，上述图像识别卡300为二维图像识别卡，二维图像识别卡的一面载有的二维码(二维码中包含图像识别卡的标识信息)，二维图像识别卡的另一面载有与二维码对应的图像的缩略图，其中，载有二维码的一面朝向透明玻璃板放置。

需要说明的是，在本发明实施例中，人机操作交互系统又可以称为One Fly实训台，上述操作台101又可以称为下屏，显示设备102又可以称为上屏，在下述实施方式中，人机操作交互系统均简称为One Fly，操作台101均称为下屏，显示设备102称为上屏。

在本发明实施例中，在使用人机操作交互系统时，首先要开启自主研发的程序“ReacTIVision”(即，上述驱动程序)，该驱动程序会自动驱动光学识别设备识别图像识别卡的标识信息，以及识别图像识别卡的位移信息或旋转信息，该驱动程序会识别这些信息，然后，将对应的控制指令传到One-FLY实训台的上屏。

在启动完成程序“ReacTIVision”之后，就可以将摄像头接入至主机上，然后，就可以启动人机操作交互系统中的可执行程序，并运行该可执行程序。

正在运行的可执行程序用于在摄像头接入操作台之后，自动查找该摄像头，以实现与摄像头的连接，其中，可执行程序为摄像头接入至人机操作交互系统之后启动的程序，摄像头为驱动程序之后，接入至人机操作交互系统中的。

在接入摄像头之后，就可以打开目标可执行程序(例如，火箭项目Rocket)的应用程序，并运行程序，此时，One-FLY实训台的下屏会出现一张特定的图片(即，上述目标图像)。

此时，上述摄像头用于在目标项目启动时，采集目标项目所对应的目标图像(即，下屏操作台图像)，并通过摄像头中的AR识别器对目标图像进行识别得到虚拟场景，其中，在得到虚拟场景之后，将虚拟场景传送至显示设备中进行显示，其中，目标项目为可执行程序启动之后启动的工程项目(例如，上述火箭项目)。

具体地，在目标工程运行时，可以使用外置摄像头靠近One-FLY下屏的目标图像，并使用摄像头中的AR识别器对目标图像进行AR识别，并在识别之后，将识别结果传送至上屏，使上屏显示设备中出现一个三维的虚拟场景。此时，上屏显示设备中显示的内容就是摄像头摄像的画面。

在上屏显示设备中显示虚拟场景之后，就可以对头戴显示器进行设置，在本发明实施例中，选择的头戴显示器为HoloLens。

具体地，多台HoloLens开机，并打开对应的程序，然后，用HoloLens里的光圈点对准下屏的目标图像，利用HoloLens的AR识别系统识别目标图像，识别完成后HoloLens中会出现和上屏相同的虚拟场景。

需要说明的是，对于每个HoloLens，均可以采用上述设置方式进行设置，通过该设置方式进行设置之后，每个HoloLens均能同步显示上屏中显示的虚拟场景，而无需再设置摄像装置，节省了开支，同时简化了操作步骤。

在完成虚拟场景的显示之后，就可以在操作台上放置图像识别卡，然后，通过光学识别设备对图像识别卡的标识信息和图像识别卡的变化信息，其中，变化信息包括位移信息和旋转角度。

光学识别设备在识别到上述标识信息和变化信息之后，将标识信息和变化信息传送至操作台控制程序，其中，操作台控制程序又可以称为下屏控制程序。操作台控制程序在接收图像识别卡的标识信息和图像识别卡的变化信息之后，根据变化信息确定图像识别卡是否满足触发条件，其中，如果满足，则生成控制指令，并向正在运行的可执行程序发送该控制指令。

正在运行的可执行程序在接收控制指令之后，对控制指令进行解析，以根据控制指令控制显示设备中的目标模型执行目标动作，以显示三维图像信息。

在本发明实施例中，操作台控制程序在检测到图像识别卡放置于操作台上的时刻，控制在操作台上显示与图像识别卡相对应的交互界面，其中，交互界面中包括指针和目标动作的文字表达，指针随图像识别卡的转动而转动。

如图3所示的即为该交互界面。如图3所示的为“火箭项目”的交互界面，如图3所示，包括一个指针和三个目标动作的文字表达，分别为“重置”，“分解”和“发射”。当图像识别卡转动时，该指针也会随时转动。

需要说明的是，在此情况下，上述触发条件可以理解为：当指针由“重置”位置开始旋转，当旋转至该指针指向“发射”或者指向“分解”时，则确定满足触发条件。此时，操作台控制程序将生成对应的控制指令，例如，当指针指向“发射”时，将生成控制火箭发射的指令，正在运行的可执行程序则控制火箭(其中，火箭即为上述目标模型)执行发射的动作，执行发射动作的火箭将显示在上屏中。

在上屏中显示执行发射动作的火箭和虚拟场景的同时，HoloLens也会实时接收正在运行的可执行程序通过局域网传来的操作指令，同步执行发射动作，这样就能够实现上屏和HoloLens中的图像是同步的，以便于第三者观察和管控。

实施例二：

图4是根据本发明实施例的另一种人机操作交互系统的示意图，如图4所示，该系统包括：One Fly主机，一台或者多台头戴显示器和摄像头，其中，One Fly主机包括上屏，下屏和卡牌，其中，卡牌即为上述实施例一中的图像识别卡。

具体地，在本发明实施例中，如图4所示的人机操作交互系统的工作流程描述如下：

步骤1、开启One Fly主机的工作电源，从而启动One Fly主机。

步骤2、检查One Fly主机是否已经接入网络，如果检查已接入网络，则执行下述步骤。

步骤3、开启自主研发的程序“ReacTIVision”(即，上述驱动程序)，该程序会自动驱动光学识别设备来识别图像识别卡(也即，特定的卡牌)的移动或旋转，程序会识别这些移动动作或者旋转动作。

具体地，将软件包中的ReacTIVision放入C:\Program Files下，双击Start.bat启动光学识别设备，“按S键之后”，尝试放置卡牌，观察图像识别是否成功，如果成功卡牌的识别图像底部会有绿色数字。

步骤4、在步骤3之前不要接入外置摄像头。如果已经接入，可以先拔出外置摄像头，在用软件包中的ReacTIVision覆盖C:\Program Files\ReacTIVision中的文件。如果此时出现异常提示可以进入windows服务中停掉ReacTIVision服务，再覆盖，之后再执行上步启动操作。

步骤5、插入外置摄像头，插孔在One Fly主机后部电源处。

步骤6、打开“火箭”的可执行程序，此时上屏的视图中出现了外置摄像头显示的内容。

步骤7、可执行程序启动成功后将卡牌放置于操作台上，此时会出现控制UI(如图3所示的交互界面)显示，完成卡牌的校验过程。

步骤8、将外置摄像头对准下屏的目标图像，待上屏出现虚拟场景后，将摄像头安置于支架上。如果在上屏中的场景发生了偏斜，可以将摄像头再次对准识别目标图像后调整。

步骤9、开启多台HoloLens设备，打开对应程序；程序启动后，用设备的正面对准oneFLY主机下屏进行AR识别。当HoloLens中出现虚拟模型，即完成目标图像的识别。

步骤10、在oneFLY主机下屏放上相应的控制卡牌，卡牌四周就会出现相应的交互界面(如图3所示)，此时，可以转动卡牌，使指针对准交互界面上的文字描述，之后HoloLens和oneFLY主机的上屏都会出现相同的虚拟场景。

具体地的数据传输原理描述如下：

使用时，ReacTIVision程序将光学识别设备识别到的卡牌标识信息和变化信息(例如，位移和旋转角度)等信息实时传递给“正在运行的可执行程序”，同时“正在运行的可执行程序”根据收到信息将控制交互界面生成于卡牌之下，并根据卡牌角度与指针的相对偏转角度判断是否满足触发条件态。当卡牌偏转的角度满足触发条件时(例如：指针指向了“发射”)，正在运行的可执行程序就会发出对应的控制指令。使AR识别生成的火箭做出相应的动作，同时根据火箭的角度与摄像头传输过来的目标图像，叠加成最终输出的三维图像信息并输出到上屏。同时HoloLens也会实时接收正在运行的可执行程序通过局域网传来的操作指令，根据传来操作指令的内容来执行和上屏相同的命令，这样就能够实现上屏和HoloLens中的图像是同步的，以便于第三者观察和管控。

需要说明的是，目前Hololens多人交互最高只支持到6个人，另外官方“观众视角”展示方式所用的设备包括Hololens、专业摄像设备和PC的总和，该购置成本较高。且该设备的组合只是单纯的展示以及拍摄展示视频，尚无其他应用方向。然而，在本发明实施例中，使用OneFly和普通摄像头的方式，既可向“观众(即，没有佩戴Hololens的学生)”展示内容，又不影响Hololens自身对展示内容的交互，还能在不佩戴Hololens设备的情况下控制整个流程(其中，Hololens设备重量略大，不便于长时间佩戴，另外自身交互系统有一定学习适应成本)。同时，OneFly可进行自身应有的教学功能。从购置以及实际使用的角度来说，性价比相对较高。

进一步地，在本发明实施例中，上屏和头戴显示器的同步只是“上屏”程序与Hololens里边程序在接收到正在运行的可执行程序指令后的行为逻辑一致，而不是将Hololens中的内容通过视频流的方式传输到OneFly“上屏”。

进一步地，在本发明实施例中，使用AR技术达到MR技术的效果，使观众体验更贴近Hololens的视觉感受，同时使展示流程控制的人员得到及时的操作反馈。多人观看时，看到的场景是相同的，但是每个人的视角不同，所看到的虚拟视角是不同。

综上，相对于现有技术，本发明实施例提供的人机操作交互系统具有以下优点：

第一、设备连接和调试完成后，头戴显示器的摄像头可以随意的移动，此时上屏上所看到的场景也会随着头戴显示器的摄像头的移动而实时变化，能够实现多人同时观看体验者的虚拟场景。

第二、设备连接和调试完成后，放置特定的卡牌，就会出现相应的UI控制按钮(如图3所示)，旋转或移动卡牌来实现场景中的交互，这样能够使操作更简单，避免手势的并不正确带来的不便，交互的内容会同时显示在HoloLens和上屏上。

第三、通过该系统可以实现多台HoloLens同时观看相同场景，能够实现多人互动。

第四、相比使用特定的录像设备来实现多人观看的方案，该系统降低了成本，而且展示效果基本相当。

实施例三：

本发明实施例还提供了一种人机操作交互方法的实施例，该方法应用于上述实施例一中的人机操作交互系统。

图5是根据本发明实施例的一种人机操作交互方法的流程图，如图5所示，该人机操作交互方法包括如下步骤：

步骤S502，在显示出目标图像的情况下，获取放置于人机操作交互系统中操作台上的图像识别卡的标识信息和图像识别卡的变化信息，并对变化信息和标识信息进行分析，得到分析结果，其中，变化信息包括设置于图像识别卡的位移和/或设置于图像识别卡的旋转角度；

步骤S504，根据分析结果生成控制指令，并向显示设备中正在运行的可执行程序发送控制指令；

步骤S506，正在运行的可执行程序根据控制指令的控制人机操作交互系统的显示设备中的目标模型执行目标动作，以显示三维图像信息，其中，三维图像信息包括：执行目标动作的目标模型和虚拟场景，目标模型为放置于操作台上的图像识别卡对应的模型，虚拟场景为采用AR识别技术对目标图像进行识别之后得到的场景；

步骤S508，正在运行的可执行程序通过局域网向人机操作交互系统中的头戴显示器中传达相关操作指令，并基于操作指令在头戴显示器中显示所述三维图像信息。

需要说明的是，该方法的具体过程如上述实施例一和实施例二，对此不再赘述。

在本发明实施例中，通过上述方式，能够实现多台头戴显示器同时观看显示设备中显示的三维图像信息，而无需增加任何的操作，能够实现多人互动，相对于现有技术中使用特定的录像设备来实现多人观看的方案，本发明实施例提供的人机操作交互系统能够降低成本，而且展示效果更加，进而缓解了传统的MR显示系统中任意两个头戴显示器在实现视频同步时，操作较为繁琐的技术问题。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种人机操作交互系统，其特征在于，包括：操作台，显示设备，头戴显示器和图像识别卡；

所述操作台用于显示目标图像，并对光学识别设备识别到的放置于所述操作台上的所述图像识别卡的标识信息和所述图像识别卡的变化信息进行分析，从而根据分析结果生成控制指令，并向所述显示设备发送所述控制指令，其中，所述变化信息包括所述图像识别卡的位移和/或所述图像识别卡的旋转角度；

所述显示设备用于接收所述控制指令，并根据所述控制指令控制所述显示设备中的目标模型执行目标动作，以显示三维图像信息，其中，所述三维图像信息包括：执行所述目标动作的所述目标模型和虚拟场景，所述目标模型为放置于所述操作台上的所述图像识别卡对应的模型，所述虚拟场景为采用AR识别技术对所述目标图像进行识别之后得到的场景；

所述头戴显示器的数量为多个，每个头戴显示器用于通过局域网接收正在运行的可执行程序发来的操作指令，并基于所述操作指令在所述头戴显示器中显示所述三维图像信息；所述头戴显示器中显示所述三维图像信息的过程包括：所述头戴显示器的光圈点对准所述操作台的目标图像，利用头戴显示器的AR识别系统识别目标图像，识别完成后头戴显示器中出现和所述显示设备相同的虚拟场景；

所述操作台设置于支撑架上，其中，所述支撑架为具有中空结构的长方体支撑架；

所述长方体支撑架上还设置有所述光学识别设备，其中，所述光学识别设备用于在驱动程序的控制下识别放置于所述操作台上的所述图像识别卡的标识信息和所述图像识别卡的变化信息，其中，所述驱动程序在所述人机操作交互系统运行时第一个启动的程序。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：操作台控制程序和网络传输程序，

所述操作台控制程序用于在检测到所述图像识别卡放置于所述操作台上的时刻，控制在所述操作台上显示与所述图像识别卡相对应的交互界面，其中，所述交互界面中包括指针和所述目标动作的文字表达，所述指针随所述图像识别卡的转动而转动；

所述网络传输程序用于控制所述显示设备和所述头戴显示器之间的数据传输。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括：

所述操作台控制程序还用于接收所述图像识别卡的标识信息和所述图像识别卡的变化信息，并根据所述变化信息确定所述图像识别卡是否满足触发条件，其中，如果满足，则生成所述控制指令。

4.根据权利要求1所述的系统，其特征在于，所述系统包括：所述可执行程序，其中，所述可执行程序用于在摄像头接入所述操作台之后，自动查找所述摄像头，并实现与所述摄像头的连接，其中，所述可执行程序为接入至所述人机操作交互系统之后启动的程序。

5.根据权利要求4所述的系统，其特征在于，所述摄像头用于在目标项目启动时，采集所述目标项目所对应的所述目标图像，并通过AR识别器对所述目标图像进行识别得到所述虚拟场景，其中，在得到所述虚拟场景之后，将所述虚拟场景传送至所述显示设备中进行显示，其中，所述目标项目为所述可执行程序启动之后的工程项目。

6.根据权利要求5所述的系统，其特征在于，正在运行的所述可执行程序还用于接收所述控制指令，并对所述控制指令进行解析，以根据所述控制指令控制所述显示设备中的所述目标模型执行所述目标动作，以显示所述三维图像信息。

7.根据权利要求1所述的系统，其特征在于，所述操作台包括用于放置图像识别卡的投射面，其中，所述投射面为透明玻璃板，所述透明玻璃板的下表面粘贴有半透式全息膜。

8.根据权利要求7所述的系统，其特征在于，所述图像识别卡为二维图像识别卡，所述二维图像识别卡的一面载有的二维码，所述二维图像识别卡的另一面载有与所述二维码对应的图像的缩略图，其中，载有所述二维码的一面朝向所述透明玻璃板放置。

9.一种人机操作交互方法，应用于上述权利要求1至8中任一项所述的人机操作交互系统，其特征在于，所述方法包括：

在显示出目标图像的情况下，获取放置于所述人机操作交互系统中操作台上的图像识别卡的标识信息和所述图像识别卡的变化信息，并对所述变化信息和所述标识信息进行分析，得到分析结果，其中，所述变化信息包括设置于所述图像识别卡的位移和/或设置于所述图像识别卡的旋转角度；

根据所述分析结果生成控制指令，并向所述显示设备中正在运行的可执行程序发送所述控制指令；

正在运行的所述可执行程序根据所述控制指令的控制所述人机操作交互系统的显示设备中的目标模型执行目标动作，以显示三维图像信息，其中，所述三维图像信息包括：执行所述目标动作的所述目标模型和虚拟场景，所述目标模型为放置于所述操作台上的所述图像识别卡对应的模型，所述虚拟场景为采用AR识别技术对所述目标图像进行识别之后得到的场景；

正在运行的所述可执行程序通过局域网向所述人机操作交互系统中的头戴显示器中传达相关操作指令，并基于所述操作指令在所述头戴显示器中显示所述三维图像信息。

Images