CN110716685A - 图像显示方法、图像显示装置及其实体对象 - Google Patents

Abstract

本申请提供一种图像显示方法，包括：采集实体对象的图像，实体对象包括至少两个不共面的不同标记物；获取构建的虚拟模型；根据至少一个标记物获取实体对象的姿态信息；以及根据姿态信息显示虚拟模型。本申请还提供一种图像显示装置及其实体对象。上述的图像显示方法，能够根据实体对象的状态实时地显示虚拟模型，有利于实现用户与虚拟模型之间的交互。

Description

图像显示方法、图像显示装置及其实体对象

技术领域

本申请涉及图像显示领域，特别涉及一种图像显示方法、图像显示装置及其实体对象。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟模型，并通过图像识别定位技术将虚拟模型准确地融合到真实环境中，借助显示设备将虚拟模型与真实环境融为一体，并显示给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟模型准确地融合到真实世界中，也就是要使虚拟模型以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。在传统的技术中，通过在真实场景图像中叠加虚拟模型进行图像显示，然而在显示中，难以实现对虚拟模型的操控。

发明内容

本申请实施例的目的在于提供一种能够易于操控及交互的图像显示方法，以及用于执行该方法的图像显示装置及其实体对象。

本申请实施例提供一种图像显示方法，包括：采集实体对象的图像，实体对象包括至少两个不共面的不同标记物；获取构建的虚拟模型；根据至少一个标记物获取实体对象的姿态信息；以及根据姿态信息显示虚拟模型。

进一步地，在其中一些实施方式中，采集实体对象的图像，包括：采集实体对象所处环境的场景图像，场景图像包括实体对象的图像。显示虚拟模型，包括：构建场景图像的第一预显示图层；

构建虚拟模型的第二预显示图层；以及将第二预显示图层叠加至第一显示图层进行显示，使虚拟模型覆盖实体对象的图像。

进一步地，在其中一些实施方式中，根据至少一个标记物获取实体对象的姿态信息，包括：识别采集的图像中包含的实体对象的至少一个标记物；以及计算至少一个标记物与终端设备之间的相对位置及旋转关系，获取实体对象的姿态信息。

进一步地，在其中一些实施方式中，实体对象包括惯性测量传感器；根据标记物获取实体对象的姿态信息，还包括：获取惯性测量传感器的感应数据，根据感应数据获取实体对象的姿态信息。

进一步地，在其中一些实施方式中，实体对象包括操控区；方法还包括：当操控区接收到操控动作时，生成与操控动作对应的控制指令；根据控制指令控制虚拟模型的显示。

进一步地，在其中一些实施方式中，操控区包括压力区，压力区设有压力传感器；方法还包括：获取压力区所检测的压力数据；以及根据压力数据生成控制指令，控制指令用于控制显示虚拟模型。

进一步地，在其中一些实施方式中，方法还包括：获取实体对象与终端设备之间的距离；采用预设的函数关系计算虚拟模型的缩放系数；以及控制虚拟模型以缩放系数进行缩放显示。

进一步地，在其中一些实施方式中，方法还包括：根据实体对象的姿态信息，确定实体对象所处的姿态变换区间；当姿态变换区间发生变化时，将当前显示的第一虚拟模型切换为第二虚拟模型，第二虚拟模型与变化后的姿态变换区间相对应。

进一步地，在其中一些实施方式中，采集实体对象的图像时，通过视觉装置采集；方法还包括：监控实体对象相对于视觉装置的位置；当实体对象处于视觉装置的视野范围外时，记录虚拟模型的当前显示状态，将当前显示状态作为中断状态；中断虚拟模型的显示；以及当重新检测到实体对象出现在视野范围内时，以中断状态显示虚拟模型。

本申请实施方式还提供一种图像显示装置，图像显示装置包括：图像采集模块，用于采集实体对象的图像，实体对象包括至少两个不共面的不同标记物；姿态采集模块，用于根据至少一个标记物获取实体对象的姿态信息；以及显示模块，用于获取构建的虚拟模型，并根据姿态信息显示虚拟模型。

本申请实施方式还提供一种应用于图像显示的实体对象，实体对象包括第一表面及与第一表面不共面的第二表面，第一表面设有第一标记物，第二表面设有第二标记物，第一标记物区别于第二标记物；实体对象由终端设备识别后，以虚拟模型的形式显示在终端设备中，虚拟模型的显示状态对应于实体对象的位置姿态。

进一步地，在其中一些实施方式中，实体对象包括以下模组中的任一种或多种的组合：惯性测量传感器、压力传感器。

进一步地，在其中一些实施方式中，实体对象还包括第三表面，第三表面设有用于接收外部控制指令的操控区；操控区为多个，操控区包括触摸屏、按键中的至少一个。

本申请实施例还提供一种具有处理器可执行的程序代码的计算机可读取存储介质，程序代码使处理器执行上述任一项的图像显示方法。

相对于现有技术，本申请实施例所提供的图像显示方法中，通过获取实体对象的姿态信息构建虚拟模型，并根据姿态信息显示虚拟模型，使虚拟模型能够显示在实际所需的场景中(例如实体对象所处场景或预设场景等)，并能够根据实体对象的状态实时地控制虚拟模型，有利于方便地实现用户与虚拟模型之间的交互。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的图像显示方法的流程示意图；

图2是图1所示图像显示方法的步骤S107的流程示意图；

图3是本申请实施例提供的图像显示装置的功能模块示意图；

图4是本申请一实施例提供的图像显示系统的使用状态示意图；

图5是本申请另一实施例提供的图像显示系统的使用状态示意图；

图6是本申请一实施例提供的图像显示系统的实体对象的结构示意图；

图7是本申请其中一些实施例提供的图像显示系统的实体对象的结构示意图；

图8是本申请其中另一些实施例提供的图像显示系统的实体对象的结构分解示意图；

图9至图12是本申请一实施例提供的图像显示系统的一种使用状态示意图；

图13至图14是本申请一实施例提供的图像显示系统的另一种使用状态示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本申请实施例提供一种图像显示方法。该图像显示方法通过采集实体对象的图像以获取实体对象的姿态信息，获取构建的虚拟模型，根据姿态信息显示该虚拟模型，使虚拟模型能够显示在实际所需的场景中(例如实体对象所处场景或预设场景等)，并能够根据实体对象的状态实时地控制虚拟模型，有利于实现用户与虚拟模型之间的交互。

在具体的实施例中，上述的图像显示方法应用于如图3所示的图像显示装置200以及配置有图像显示装置200的图像显示系统300(图4及图5)中。图像显示系统300包括视觉装置301、显示装置303以及实体对象100，视觉装置301电连接于现实装置303，视觉装置301用于获取实体对象100的图像，显示装置303用于根据视觉装置301获取的图像显示预定的图像内容。

在本申请提供一些实施例中，上述的图像显示方法可以包括以下步骤：

步骤S101：采集实体对象的图像，实体对象包括至少两个不共面的不同标记物。

在一些实施方式中，采集实体对象的图像的同时，采集实体对象所处环境的场景图像，其中场景图像包括实体对象的图像。在其他的一些实施方式中，采集实体对象的图像时，可以仅采集实体对象的图像而不需采集实体对象所处环境的场景图像。

步骤S103：获取构建的虚拟模型。在一些实施例中，可以直接构建虚拟模型或获取已构建的虚拟模型。其中，虚拟模型的轮廓可以与实体对象相同或相类似，或者，虚拟模型的轮廓可以与实体对象的轮廓具有明显区别。

步骤S105：根据至少一个标记物获取实体对象的姿态信息。

在一些实施方式中，步骤S105可以包括：识别采集的图像中包含的实体对象的至少一个标记物，计算至少一个标记物与终端设备之间的相对位置及旋转关系,获取实体对象的姿态信息，根据姿态信息控制显示装置以预定姿态显示虚拟模型。

进一步地，实体对象可以包括第一表面及与第一表面不共面的第二表面，第一表面设有第一标记物，第二表面设有第二标记物，第二标记物区别于第一标记物，第一标记物及第二标记物用于供视觉装置识别；则获取实体对象的姿态信息时，根据实体对象的图像，识别第一标记物或/及第二标记物；计算第一标记物或/及第二标记物以及视觉装置之间的相对位置及旋转关系，获取实体对象的姿态信息。

在一些实施方式中，实体对象可以包括惯性测量传感器，获取实体对象的姿态时，通过获取惯性测量传感器的感应数据，计算实体对象的姿态信息。或者，通过标记物的的图像结合惯性测量传感器的感应数据，计算实体对象的姿态信息,能够较为快速且精确地获取实体对象的姿态信息。

在一些实施方式中，实体对象包括操控区，操控区用于接收控制指令；步骤S105还可以包括：获取操控区的状态，判断操控区是否接收到操控动作；当操控区接收到操控动作时，生成与操控动作对应的控制指令，根据控制指令控制显示装置显示虚拟模型。

进一步地，在一些实施方式中，操控区包括至少一个第一操控区以及至少一个第二操控区，第一操控区区别于第二操控区；获取操控区的状态时，根据第一操控区及第二操控区所接收到的操控动作，生成与操控动作对应的控制指令。

具体在一些实施方式中，若判断第一操控区接收到操控动作而第二操控区未接收到操控动作时，生成第一控制指令，第一控制指令用于控制显示装置以第一状态显示虚拟模型；若判断第二操控区接收到操控动作而第一操控区未接收到操控动作时，生成第二控制指令，第二控制指令用于控制显示装置以第二状态显示虚拟模型；若判断第一操控区以及第二操控区同时接收到操控动作时，生成第三控制指令，第三控制指令用于控制显示装置以第三状态显示虚拟模型。其中，在一些实施方式中，上述的第一、第二、第三状态互不相同。

或者，在另一些实施方式中，操控区为多个。获取操控区的状态时，判断多个操控区中的任意一个或多个接收到操控动作时，生成第四控制指令，第四控制指令用于控制显示装置以第四状态显示虚拟模型。

或者，在另一些实施方式中，操控区为多个。获取操控区的状态时，判断所有的操控区均接收到操控动作时，生成第五控制指令，第五控制指令用于控制显示装置以第五状态显示虚拟模型，判断并非所有的操控区接收到操控动作时(例如，多个操控区中的任一个接收到操控动作，且同时多个操控区中的任一个未接收到操控动作)，生成第六控制指令，第六控制指令用于控制显示装置显示以第六状态虚拟模型。

在一些实施方式中，操控区可以包括压力区，压力区设有压力传感器；通过获取压力区所检测的压力数据，根据压力数据生成控制指令，控制指令用于控制显示装置显示虚拟模型。进一步地，控制指令为控制虚拟模型以变形状态进行显示的指令，使虚拟模型显示为受外力挤压而变形的状态。进一步地，根据压力数据，采用预设的函数关系计算虚拟模型的变形状态；例如，虚拟模型的形变量与压力值成正比关系，压力值越大，虚拟模型的形变量越大，甚至，压力值超过设定阈值时，可以执行预设的图像显示动作(例如：虚拟模型爆炸或消失、切换虚拟模型等)。

进一步地，在一些实施方式中，操控区可以包括触摸屏，通过检测触摸屏的触摸状态，若判断按触摸屏产生触摸信号，则认为操控区接收到操控动作。或/及，在一些实施方式中，操控区包括按键，通过检测按键的按压状态，若判断按键产生压力信号，则认为操控区接收到操控动作。在另一些实施方式中，操控区可以为多个，多个操控区包括触摸屏、按键中的至少一个。

步骤S107：根据姿态信息显示虚拟模型。

在一些实施方式中，显示虚拟模型时，可以以下列任一种或多种方式显示虚拟模型：控制虚拟模型以预定的静止姿态显示；控制虚拟模型以预定的运动姿态现实；控制虚拟模型以三维形象显示；控制虚拟模型放大显示或缩小显示；控制显示装置将虚拟模型切换为另一虚拟模型进行显示，其中，另一虚拟模型可以为虚拟模型的内部构造，或另一虚拟模型可以为预设的与前述虚拟模型不相同的虚拟模型。

其中，虚拟模型的切换可能有多种实现方式，包括但不限于：根据实体对象的操控区状态切换(如，根据压力区的压力大小切换、根据操控区的操控动作切换等)、根据所识别的不同的标记物切换(如，不同的标记物对应不同的虚拟模型)、根据实体对象的姿态信息切换等(如，不同的姿态信息对应不同的虚拟模型)。具体而言，切换虚拟模型时，根据实体对象的姿态信息进行切换，其可以包括：根据实体对象的姿态信息，确定实体对象所处的姿态变换区间；当姿态变换区间发生变化时，将当前显示的第一虚拟模型切换为第二虚拟模型，第二虚拟模型与变化后的姿态变换区间相对应。其中，姿态变换区间可以为实体对象与视觉装置之间的位置关系区间或/及旋转关系区间，实体对象的旋转参数和平移参数作为实体对象与视觉装置之间的位置信息及旋转信息。

进一步地，在一些实施方式中，显示虚拟模型时，将显示虚拟模型叠加至实体对象所处的场景图像中进行显示。具体而言，请参阅图2，步骤S107可以包括：

步骤S1071：采集实体对象所处环境的场景图像，该场景图像包括实体对象的图像；

步骤S1073：构建场景图像的第一预显示图层；

步骤S1075：构建显示虚拟模型的第二预显示图层；以及

步骤S1077：将第二预显示图层叠加至第一显示图层进行显示，使显示虚拟模型覆盖实体对象的图像。

在一些实施方式中，上述的图像显示方法，还可以包括步骤：

步骤S109：获取实体对象与视觉装置之间的距离，计算虚拟模型的缩放系数，控制虚拟模型以该缩放系数进行缩放显示。

进一步地，可以根据视觉装置采集到标记物图像及实体对象上的标记物信息计算实体对象与视觉装置之间的距离。

可以理解，在其他的实施方式中，还可以通过其他的方法计算实体对象与视觉装置之间的距离，例如，图像显示系统可以包括距离传感器，距离传感器可以设置于视觉装置或/及显示装置，距离传感器用于检测实体对象与视觉装置或/及显示装置之间的距离，则步骤S109可以包括：获取距离传感器所检测的距离数据，计算实体对象与视觉装置或显示装置之间的距离；采用预设的函数关系计算虚拟模型的缩放系数；以及控制虚拟模型以缩放系数进行缩放显示态。

在一些实施方式中，上述的图像显示方法，还可以包括步骤：

步骤S111：监控实体对象相对于视觉装置的位置；

步骤S112：当实体对象处于视觉装置的视野范围外时，记录虚拟模型的当前显示状态，将当前显示状态作为中断状态，中断虚拟模型的显示；

步骤S113：当重新检测到实体对象出现在视野范围内时，以中断状态显示虚拟模型。具体而言，持续监控实体对象相对于视觉装置的位置，判断若实体对象复位至视觉装置的视野范围内时，控制显示装置以中断状态显示虚拟模型。

在另一些实施方式中，上述的图像显示方法，还可以包括步骤：

步骤S115：采集对虚拟模型施加的操控动作并控制虚拟模型。

具体而言，在一些实施方式中，显示装置可以包括操作面板，操作面板用于接收用户对面板施加的操控动作；步骤S115可以包括：采集操作面板所接收的操控动作，根据操控动作控制虚拟模型。或者，在一些实施方式中，虚拟模型可以包括交互区，交互区用于接收交互指令，显示装置显示虚拟模型时，还用于接收外界对交互区的交互指令；步骤S115可以包括：采集交互区所接收的交互指令,根据交互指令控制虚拟模型。

上述的图像显示方法，通过获取实体对象的姿态信息构建虚拟模型，并根据姿态信息显示虚拟模型，使虚拟模型能够显示在实际所需的场景中(例如实体对象所处场景或预设场景等)，并能够根据实体对象的状态实时地控制虚拟模型，有利于方便地实现用户与虚拟模型之间的交互。

本申请的上述图像显示方法可以用于多种领域：例如，教学领域、游戏领域、医学领域、建筑领域等等……以下通过以具体的应用领域以及应用设备为例进一步说明上述的图像显示方法。

请参阅图3，在一个实施例中，图像显示方法应用于如图3所示的图像显示装置200以及配置有图像显示装置200的图像显示系统300(图4及图5)中。图像显示装置200包括图像采集模块201、姿态采集模块203、指令模块205以及显示模块207。图像采集模块201用于采集实体对象的图像，姿态采集模块203用于根据实体对象的标记物获取实体对象的姿态信息，指令模块205用于根据实体对象的操控区生成对应的控制指令，显示模块207用于获取构建的虚拟模型，并根据姿态信息显示虚拟模型。可以理解的是，上述各模块可以为运行于计算机可读存储介质中的程序模块。

请参阅图4及图5，在本申请实施方式中，图像显示装置200被存储在图像显示系统300的存储器中，并被配置为由图像显示系统300的一个或多个处理器执行。图像显示系统300包括视觉装置301、显示装置303以及实体对象100。

图4显示了图像显示系统300的一种应用场景示意图，该图像显示系统300基于头戴显示装置形成，其中，视觉装置301与显示装置303可以共同形成头戴显示装置。具体而言，显示装置303包括控制中心401以及显示器403，显示器403为透反镜片，控制中心401用于向显示器403投放显示虚拟模型内容，使用户能够在显示器403中观察到虚拟模型。用户在显示器403中看到虚拟模型的同时，能够透过显示器403观察到前方的环境，因而，用户眼睛所获得的图像为图像内容与前方环境叠加后的虚拟现实叠加场景。视觉装置301电连接于显示装置303，视觉装置301用于获取其视场范围内的环境信息。实体对象100用于供用户手持并操作。

请参阅图5，图5显示了图像显示系统300的另一种应用场景示意图，该图像显示系统300基于便携式移动设备(如手机、平板电脑等)形成，便携式移动设备的摄像头作为上述的视觉装置301、便携式移动设备的显示屏作为上述的显示装置303。摄像头识别实体对象的图像及其姿态信息后，显示屏以对应的状态显示虚拟模型，使虚拟模型叠加/覆盖/取代实体对象的图像，其中显示屏所显示的图像中，可以将显示虚拟模型叠加至实体对象所处的环境的图像中，也可以在虚拟的环境中显示虚拟模型，而使虚拟模型的状态对应于实体对象的图像即可。

请参阅图6，图6显示了本申请一种实施例中提供的实体对象100的示意图。实体对象100上设有标记物101，视觉装置301通过采集具有标记物101的图像，获取实体对象100的姿态信息，并将该姿态信息传输至控制中心401，使控制中心401根据该姿态信息控制显示器403执行控制指令。

实体对象100的具体形态结构不受限制。具体在图中所示的实施方式中，实体对象100为二十六面体，其包括十八个正方形面以及八个三角形面。

进一步地，实体对象100包括第一表面12以及第二表面14，第二表面14与第一表面12不共面。具体而言，第一表面12的法线方向与第二表面12的法线方向不相同。第一表面12上设置有第一标记物11，第二表面14上设置有区别于第一标记物11的第二标记物141。通过设置第一标记物11及第二标记物141，使视觉装置301识别第一标记物11及第二标记物141中的任一个或两个，进而并获取实体对象100的姿态信息。

可以理解的是，第一表面12及第二表面14之间的位置关系不受限制，例如，第一表面12与第二表面14可以相邻设置，或者，第一表面12与第二表面14可以相间隔设置，或者，第一表面12及第二表面14可以为十八个正方形面以及八个三角形面中的任意两个，并不局限于本说明书所描述。

可以理解的是，在其他的一些实施方式中，实体对象100还可以包括第三表面、第四表面、第五表面……第二十六表面(图中均未标出)中的任一个或多个，相应地，这些表面上设置有对应的标记物101，多个表面上的标记物101可以各不相同。当用户使用时，通过使实体对象100上的不同的标记物101在视觉装置301的视野范围内发生旋转或/及位移，使得视觉装置301实时采集实体对象100上的标记物101信息，进而获取实体对象100的姿态信息，以便显示装置300根据该姿态信息显示虚拟模型。

可以理解的是，标记物101显示出的具体图案不受限制，其可以为任意供视觉装置300获取的图案。例如，标记物101的具体图案可以为以下任意图案中的一种或多种的组合：圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等，并不局限于本说明书所描述。可以理解的是，在其他的一些实施方式中，标记物101可以为其他类型的图案，而使标记物101能够较为有效地以被视觉装置300识别。例如，标记物101的具体图案可以为在视觉装置300能够分辨的几何图形(如圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等)、预定图案(如动物头像、常用示意符号例如交通标志等)或者其他的图案以形成标记物，并不局限于本说明书所描述。同样可以理解的是，在其他的一些实施方式中，标记物101可以为条形码、二维码等识别码。

可以理解的是，实体对象100的形状可以为其他形状，而使实体对象100可以至少包括第一表面12以及第二表面14，第一表面12及第二表面14上均设有对应的标记物101，以便于实体对象100能够借由标记物101以便被视觉装置301识别并获取/追踪姿态。

例如，请参阅图7(a)，实体对象100可以设计为正四面体，其包括四个正三角形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。又如，请参阅图7(b)，实体对象100可以设计为正六面体，其包括六个正方形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。再如，请参阅图7(c)，实体对象100可以设计为八面体，其包括八个正三角形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。又如，请参阅图7(d)，实体对象100可以设计为十二面体，其包括十二个正五边形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。

实体对象100还可以设计为其他的多面体结构，例如图7(e)至图7(i)所示的多面体结构，本说明书不再一一赘述。应当了解的是，实体对象100为多面体结构，其包括多个面、多条边和多个顶点，当然，球体可以理解为由无数个面形成的多面体。可以理解的是，实体对象100的多面体结构还可以为平面与曲面相结合的多面体、曲面与曲面相结合的多面体。

可以理解的是，实体对象100的多面体结构可以看作多个多面体结构相结合而成，例如，图7(c)中的实体对象100可以看作是两个四棱锥相结合而成的多面体结构，又如，图7(e)中的实体对象100可以看作是四个五棱锥相结合而成的多面体结构，再如，图7(g)中的实体对象100可以看作是多个四棱锥相结合而成的多面体结构，又如，图7(h)中的实体对象100可以看作是一个多棱锥与一个多棱台相结合而成的多面体结构，本说明书中不再穷举。总而言之，装置主体的多面体结构，可以为以下结构中的任一种或多种的组合：棱锥、棱柱、棱台、多面体、球体等等。可以理解的是，实体对象100并不限定于本实施方式中的结构，可以是任何具有至少两个不共面的标记物101的载体。

请参阅图8，在一些实施方式中，实体对象100可以包括第一壳体111、第二壳体113以及电子元件115，第一壳体111与第二壳体113的结构大致相同，第一壳体111与第二壳体113相互扣合形成实体对象100的多面体结构。电子元件115收容于第一壳体111及第二壳体113所形成的收容空间内。其中，电子元件115可以为实体对象100的控制电路板。进一步地，第一壳体111或/及第二壳体113的表面设有标记物101，标记物101上覆盖有滤光层102，滤光层102可以过滤除照明装置射向标记物101的光线之外的光线，避免标记物101在反射光线时受到环境光线的影响，从而使得标记物101更容易被识别。

在一些实施方式中，滤光层102的滤光性能可以根据实际需要设置。例如，当实体对象100进入视觉装置的视场中以被识别/追踪时，为了提高识别效率，视觉装置通常借助辅助光源进行辅助采集图像，例如，采用红外光源进行辅助时，滤光层102则用于过滤除红外光以外的光(如可见光、紫外光等)，使除红外光以外的光无法穿过滤光层102而红外光可穿过并抵达标记物101。当辅助光源将红外光投射至标记物101，滤光层102会过滤除红外光以外的环境光，使仅有红外光到达标记物101并被标记物101反射至近红外的视觉装置中，从而能够降低环境光线对识别/追踪过程的影响。

在一些实施方式中，第一壳体111或/及第二壳体113上设有按键1111，按键1111与电子元件115电连接，其用于接收操控动作，以使电子元件115能够生成用于控制显示模型的控制指令。可以理解，按键1111可以作为上述的操控区161。

在本申请提供的上述实体对象100至少包括携带第一标记物121的第一表面12，以及携带第二标记物141的第二表面14，其中，第二标记物141区别于第一标记物121。当用户使用时，通过使实体对象100上的不同的标记物101在视觉装置301的视野范围内发生旋转或/及位移，使得视觉装置301实时获取实体对象100上的标记物101信息，进而获取实体对象100的姿态信息。

进一步地，请再次参阅图6，在一些实施方式中，实体对象100还可以包括第三表面16，第三表面16设有操控区161，操控区161用于接收用户的控制指令。具体而言，操控区161可以为触摸屏、按键等中的一个或多个。

在一些实施方式中，操控区161可以为多个，多个操控区161可以指向相同的控制指令，通过向多个操控区161中的任一个或多个输入操控动作，可以使显示装置303根据该操控动作生成控制指令，进而控制虚拟模型以对应的状态进行显示。

当然，在其他的实施方式中，多个操控区161中的任一个操控区161所指向的控制操控区别于其他的操控区161，通过对不同的操控区161输入操控动作，能够使显示装置303生成不同的控制指令，进而控制虚拟模型以不同的状态进行显示。例如，多个操控区161可以包括至少一个第一操控区以及至少一个第二操控区，第一操控区区别于第二操控区，第一操控区指向第一控制指令，而第二操控区指向第二控制指令。

在一些实施方式中，实体对象100还可以包括惯性测量传感器，惯性测量传感器用于感测并获取实体对象100的姿态信息。

在一些实施方式中，实体对象100还可以包括压力区(图中未标出)，压力区设有压力传感器，压力传感器用于感测实体对象所接收到的外界压力，使显示装置303根据外界压力生成对应的控制指令。压力区可以设置在实体对象100的部分区域，也可以完全覆盖实体对象100的外表面，还可以与上述的操控区16、第一表面12、第二表面14重叠设置。值得注意的是，在本说明书提供的实施例中，在不冲突的情况下，上述的实施例之间可以相互结合，各实施例的特征之间也可以相互结合，并不以实施例为限定。

在一些实施方式中，图像显示系统300还可以包括距离传感器，距离传感器可以设置于视觉装置301或/及显示装置303，距离传感器用于检测实体对象与视觉装置301或/及显示装置303之间的距离。

在一些实施方式中，基于上述的视觉显示装置200以及视觉显示系统300，上述的图像显示控制方法可以包括步骤：

步骤S201：采集实体对象的图像，实体对象包括至少两个不共面的不同标记物。具体地，图像采集模块用于控制视觉装置采集实体对象的图像。

在一些实施方式中，图像采集模块控制视觉装置采集实体对象的图像时，同时采集实体对象所处环境的场景图像，其中场景图像包括实体对象的图像。在其他的一些实施方式中，图像采集模块控制视觉装置采集实体对象的图像时，可以仅采集实体对象的图像而不需采集实体对象所处环境的场景图像。

步骤S203：根据至少一个标记物获取实体对象的状态信息。进一步地，姿态采集模块用于获取实体对象的状态信息。

具体而言，姿态采集模块用于识别采集的图像中包含的实体对象的至少一个标记物，计算至少一个标记物与终端设备之间的相对位置及旋转关系,获取实体对象的姿态信息。例如，姿态采集模块用于根据实体对象的图像，识别第一标记物以及第二标记物；计算第一标记物、第二标记物以及视觉装置的相对位置关系，计算实体对象的姿态信息。或者，姿态采集模块获取实体对象的姿态信息时，获取惯性测量传感器的感应数据，计算实体对象的姿态信息。

在一些具体的显示实例中，上述的图像显示方法可以应用于医学领域，请参阅图9至图12。在图9所示的实施例中，当视觉装置获取实体对象的图像后，显示装置中的虚拟模型显示为医用人体模型的三维图形。当姿态采集模块用于控制人体模型以对应与实体对象的姿态信息进行显示。

在一些实施方式中，姿态采集模块用于在获取实体对象的状态信息时，同时获取实体对象的操控区的状态，并判断操控区是否接收到操控动作；若是，则指令模块根据操控动作生成控制指令，控制指令用于控制显示装置显示虚拟模型执行对应的动作。

进一步地，在一些实施方式中，姿态采集模块获取操控区的实体对象的状态时，根据第一操控区及第二操控区所接收到的操控动作，生成与操控动作对应的控制指令。

具体在一些实施方式中：

1)若姿态采集模块判断第一操控区接收到操控动作而第二操控区未接收到操控动作时，则指令模块生成生成第一控制指令，第一控制指令用于控制显示装置以第一状态显示虚拟模型。例如，态采集模块判断第一操控区接收到操控动作而第二操控区未接收到操控动作时，指令模块生成展示肌肉线条的控制指令，该控制指令用于使显示模块用于控制人体模型仅显示肌肉线条而隐藏其他人体结构。

2)若姿态采集模块判断第二操控区接收到操控动作而第一操控区未接收到操控动作时，则指令模块生成生成第二控制指令，第二控制指令用于控制显示装置以第二状态显示虚拟模型。例如，姿态采集模块判断第二操控区接收到操控动作而第一操控区未接收到操控动作时，指令模块生成展示骨骼结构的控制指令，该控制指令用于使显示模块用于控制人体模型仅显示骨骼结构而隐藏其他人体结构。

3)若姿态采集模块判断第一操控区以及第二操控区同时接收到操控动作时，则指令模块生成生成第三控制指令，第三控制指令用于控制显示装置以第三状态显示虚拟模型。例如，姿态采集模块判断第一操控区以及第二操控区同时接收到操控动作时，指令模块生成蜷缩的控制指令，该控制指令用于使显示模块用于控制人体模型蜷缩并展现肌肉受力状态。

4)若姿态采集模块判断多个操控区中的任意一个或多个接收到操控动作时，则指令模块生成生成第四控制指令，第四控制指令用于控制显示装置以第四状态显示虚拟模型。例如，若姿态采集模块判断多个操控区中的任意一个或多个接收到操控动作时，指令模块生成展示血液循环系统的控制指令，该控制指令用于使显示模块用于控制人体模型仅显示血液循环系统而隐藏其他人体结构。

5)若姿态采集模块判断所有的操控区均接收到操控动作时，则指令模块生成生成第五控制指令，第五控制指令用于控制显示装置以第五状态虚拟显示对象。例如，若姿态采集模块判断所有的操控区均接收到操控动作时，指令模块生成变化透明度的控制指令，该控制指令用于使显示模块用于控制人体模型淡化或/及消失。

6)若姿态采集模块判断并非所有的操控区接收到操控动作时(例如，多个操控区中的任一个接收到操控动作，且同时多个操控区中的任一个未接收到操控动作)，则指令模块生成生成第六控制指令，第六控制指令用于控制显示装置显示以第六状态虚拟模型。例如，若姿态采集模块判断并非所有的操控区接收到操控动作时，则指令模块生成语音交互的控制指令，该控制指令用于使显示模块用于控制人体模型张嘴发声并与用户进行交互。

在一些实施方式中，姿态采集模块还可以通过获取压力区所检测的压力数据获取实体对象的状态信息，则指令模块根据压力数据生成控制指令，控制指令用于控制显示装置显示虚拟模型。进一步地，控制指令为控制虚拟模型以变形状态进行显示的指令，使虚拟模型显示为受外力挤压而变形的状态。进一步地，姿态采集模块可以根据压力数据，采用预设的函数关系计算虚拟模型的变形状态：例如，虚拟模型的形变量与压力值成正比关系，压力值越大，虚拟模型的形变量越大，甚至，压力值超过设定阈值时，可以执行预设的图像显示动作(例如：虚拟模型爆炸或消失、切换虚拟模型等)。

例如，请参阅图11，图11中的虚拟模型为图9～9的人体模型的心脏模型，在图11所示的实施例中，若姿态采集模块判断压力区接收到外界压力时，计算心脏模型的变形量，指令模块生成变形的控制指令，该控制指令用于使显示模块用于控制心脏模型显示被外力挤压变形的状态，其中，压力值越大，心脏模型变形越严重，当压力值超过设定阈值时，心脏模型可以显示为分解状态，并显示心脏模型的剖切模型(参见图12)。

进一步地，在一些实施方式中，操控区包括触摸屏时，姿态采集模块还可以检测触摸屏的触摸状态，若判断按触摸屏产生触摸信号，则认为操控区接收到操控动作。或/及，在一些实施方式中，操控区为按键时，姿态采集模块还可以通过检测按键的按压状态，若判断按键产生压力信号，则认为操控区接收到操控动作。

步骤S205：获取构建的虚拟模型。在一些实施例中，显示模块用于获取虚拟模型，进一步地，显示模块可以直接构建虚拟模型或获取已构建的虚拟模型。其中，虚拟模型的轮廓可以与实体对象相同或相类似，或者，虚拟模型的轮廓可以与实体对象的轮廓具有明显区别。

在一些实施方式中，显示模块用于根据实体对象的状态信息构建虚拟模型，使虚拟模型具有与实体对象相仿的状态信息。其中，虚拟模型的轮廓可以与实体对象相同或相类似，或者，虚拟模型的轮廓可以与实体对象的轮廓具有明显区别。

例如，在一些具体的显示实例中，上述的图像显示方法可以应用于医学领域，请参阅图9至图12，则显示模块构建的虚拟模型可以为人体模型或其他的人体器官模型。或者，上述的图像显示方法可以应用于教学领域，如应用于太空知识的教学，请参阅图13及图14，则显示模块构建的虚拟模型可以为太空模型。或者，上述的图像显示方法可以应用于游戏领域，请参阅图4及图5，则显示模块构建的虚拟模型可以为游戏模型(如图中所示立体俄罗斯方块，或其他的游戏模型)。或者，上述的图像显示方法可以应用于建筑领域，则显示模块构建的虚拟模型可以为建筑模型。

步骤S207：根据控制指令，显示虚拟模型。进一步地，显示模块用于控制显示装置显示虚拟模型。

在一些实施方式中，显示模块显示虚拟模型时，可以以下列任一种或多种方式显示虚拟模型：控制虚拟模型以预定的静止姿态显示；控制虚拟模型以预定的运动姿态现实；控制虚拟模型以三维形象显示；控制虚拟模型放大显示或缩小显示；控制显示装置将虚拟模型切换为另一虚拟模型进行显示，其中，另一虚拟模型为虚拟模型的内部构造，或另一虚拟模型为预设的与虚拟模型不相同的虚拟模型

进一步地，显示模块控制显示装置显示虚拟模型时，将显示虚拟模型叠加至场景图像中进行显示。具体而言，图像采集模块还用于采集实体对象所处环境的场景图像，场景图像包括实体对象的图像；显示模块还用于构建场景图像的第一预显示图层，并用于构建显示虚拟模型的第二预显示图层，以及用于将第二预显示图层叠加至第一显示图层进行显示，使显示虚拟模型覆盖实体对象的图像。

在一些实施方式中，上述的图像显示方法，还可以包括步骤：

步骤S209：根据实体对象与视觉装置之间的距离，计算虚拟模型的缩放系数，控制虚拟模型以缩放系数进行缩放显示。

进一步地，姿态采集模块还用于根据实体对象与视觉装置或/及显示装置之间的距离，计算虚拟模型的缩放系数，则显示模块还用于控制虚拟模型以缩放系数进行缩放显示。具体而言，姿态采集模块还用于根据显示装置的像素大小以及实体对象的图像大小(或标记物的图像大小)计算实体对象与视觉装置之间的距离。可以理解，在其他的实施方式中，姿态采集模块还可以通过其他的方法计算实体对象与视觉装置之间的距离，例如，姿态采集模块还用于获取距离传感器所检测的距离数据，计算实体对象与或/及显示装置之间的距离，并用于通过预设的函数关系计算虚拟模型的缩放系数。或/及，姿态采集模块还用于根据实体对象的标记物的图像极端实体对象与或/及显示装置之间的距离。

在一些实施方式中，上述的图像显示方法，还可以包括步骤：

步骤S211：监控实体对象相对于视觉装置的位置，当实体对象处于视觉装置的视野范围外时，记录虚拟模型的当前显示状态，将当前显示状态作为中断状态，中断虚拟模型的显示。

进一步地，图像采集模块还用于监测实体对象是否处于视觉装置的视野范围内，若否，则显示模块用于中断虚拟模型的显示，并记录中断显示之前虚拟模型的显示状态为中断状态。

步骤S213：持续监控实体对象相对于视觉装置的位置，判断若实体对象复位至视觉装置的视野范围内时，控制显示装置以中断状态显示虚拟模型。

进一步地，图像采集模块还用于持续监控实体对象相对于视觉装置的位置，当实体对象复位至视觉装置的视野范围内时，则显示模块用于控制显示装置以中断状态显示虚拟模型，使虚拟模型能够接续中断之前的状态进行显示而不需重置虚拟模型，能够提高用户体验。

在另一些实施方式中，上述的图像显示方法，还可以包括步骤：

步骤S215：采集对虚拟模型施加的操控动作并控制虚拟模型。具体而言，显示装置的显示屏包括操作面板，操作面板用于接收用户对面板施加的操控动作；指令模块还用于采集操作面板所接收的操控动作，显示模块还用于根据操控动作控制虚拟模型。或者，在一些实施方式中，虚拟模型包括交互区，交互区用于接收交互指令，显示装置显示虚拟模型时，还用于接收外界对交互区的交互指令；指令模块还用于采集交互区所接收的交互指令，显示模块还用于根据交互指令控制虚拟模型。

例如，在图9所示的实施例中，以便携式移动终端作为显示装置以及图像采集装置，便携式移动终端显示屏作为显示装置的同时，还可以作为操作面板。当指令模块采集到操作面板上的操控动作，如用户在人体模型的心脏位置处进行点选，则指令控制模块构建淡化人体模型并显示心脏模型的控制指令，显示模块用于控制人体模型色彩淡化至消失并显示心脏模型(图11)。

进一步地，本申请还提供一种具有处理器可执行的程序代码的计算机可读取存储介质，程序代码使处理器执行上述任一项的图像显示方法。

上述的图像显示方法，可以用于多种领域中，本说明书不再一一赘述。通过上述的图像显示方法，根据实体对象的状态信息显示虚拟模型，使虚拟模型能够直观地显示在用户眼前，并能够根据实体对象的状态实时地控制虚拟模型，有利于实现用户与虚拟模型之间的交互，使虚拟模型所携带的信息更易于获取，能够提高用户的使用体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种图像显示方法，其特征在于，包括：

采集实体对象的图像，所述实体对象包括至少两个不共面的不同标记物；

获取构建的虚拟模型；

根据至少一个标记物获取所述实体对象的姿态信息；以及

根据所述姿态信息显示所述虚拟模型。

2.如权利要求1所述的方法，其特征在于，采集实体对象的图像，包括：采集所述实体对象所处环境的场景图像，所述场景图像包括所述实体对象的图像；

显示所述虚拟模型，包括：

构建所述场景图像的第一预显示图层；

构建所述虚拟模型的第二预显示图层；以及

将所述第二预显示图层叠加至所述第一显示图层进行显示，使所述虚拟模型覆盖所述实体对象的图像。

3.如权利要求1所述的方法，其特征在于，

根据至少一个标记物获取所述实体对象的姿态信息，包括：

识别采集的图像中包含的所述实体对象的至少一个标记物；以及

计算所述至少一个标记物与终端设备之间的相对位置及旋转关系，获取所述实体对象的姿态信息。

4.如权利要求1所述的方法，其特征在于，所述实体对象包括惯性测量传感器；根据所述标记物获取所述实体对象的姿态信息，还包括：获取所述惯性测量传感器的感应数据，根据所述感应数据获取所述实体对象的姿态信息。

5.如权利要求1所述的方法，其特征在于，所述实体对象包括操控区；所述方法还包括：当所述操控区接收到操控动作时，生成与所述操控动作对应的控制指令；

根据所述控制指令控制所述虚拟模型的显示。

6.如权利要求5所述的方法，其特征在于，所述操控区包括压力区，所述压力区设有压力传感器；所述方法还包括：

获取所述压力区所检测的压力数据；以及

根据所述压力数据生成控制指令，所述控制指令用于控制显示所述虚拟模型。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述实体对象与终端设备之间的距离；

采用预设的函数关系计算所述虚拟模型的缩放系数；以及

控制所述虚拟模型以所述缩放系数进行缩放显示。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述实体对象的姿态信息，确定所述实体对象所处的姿态变换区间；

当所述姿态变换区间发生变化时，将当前显示的第一虚拟模型切换为第二虚拟模型，所述第二虚拟模型与变化后的姿态变换区间相对应。

9.如权利要求1～8中任一项所述的方法，其特征在于，采集所述实体对象的图像时，通过视觉装置采集；所述方法还包括：

监控所述实体对象相对于所述视觉装置的位置；

当所述实体对象处于所述视觉装置的视野范围外时，记录所述虚拟模型的当前显示状态，将所述当前显示状态作为中断状态；

中断所述虚拟模型的显示；以及

当重新检测到所述实体对象出现在视野范围内时，以所述中断状态显示所述虚拟模型。

10.一种图像显示装置，其特征在于，所述图像显示装置包括：

图像采集模块，用于采集实体对象的图像，所述实体对象包括至少两个不共面的不同标记物；

姿态采集模块，用于根据至少一个标记物获取所述实体对象的姿态信息；以及显示模块，用于获取构建的虚拟模型，并根据所述姿态信息显示所述虚拟模型。

11.一种应用于图像显示的实体对象，其特征在于，所述实体对象包括第一表面及与第一表面不共面的第二表面，所述第一表面设有第一标记物，所述第二表面设有第二标记物，所述第一标记物区别于所述第二标记物；所述实体对象由终端设备识别后，以虚拟模型的形式显示在终端设备中，所述虚拟模型的显示状态对应于所述实体对象的位置姿态。

12.如权利要求11所述的实体对象，其特征在于，所述实体对象还包括第三表面，所述第三表面设有用于接收外部操控动作的操控区；所述操控区为多个，所述操控区包括

压力区、触摸屏、按键中的至少一个。

Images