CN110928399A - 控制系统、方法及电子设备 - Google Patents

Abstract

本发明实施例提供了一种控制系统、方法及电子设备，其中，系统包括：3D显示装置，用于显示具有视觉3D效果的虚拟物品图像；坐标获取装置，用于捕捉操作对象的第二空间坐标数据；联动控制装置，用于根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置；超声波触觉装置，用于根据所述联动控制模块提供的第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据发射超声波。本发明实施例通过将3D显示、超声波触觉、空间动作识别这三方面技术进行有机的结合，实现多模联动，形成了具有现实触感的虚拟物品的3D展示。

Description

控制系统、方法及电子设备

技术领域

本申请涉及一种控制系统、方法及电子设备，属于计算机技术领域。

背景技术

在诸如商业展会、客户交流会等需要展示物品的场景，由于物品自身的限制(例如，物品体积太大放不下、材质易碎不适合运输等)以及展会环境的限制(光线亮、噪音大、没有水火能源等)，物品无法携带到现场或者在现场展示效果不佳。

面对这种情况，一些物品采用3D虚拟显示技术，在一定的物品展示空间中，形成3D的虚拟物品。不过现有的展示方式中，仅仅是对物品的3D成像，缺少与观察者互动性，这样的展示效果并不理想。

发明内容

本发明实施例提供一种控制系统、方法及电子设备，以提升3D展示效果。

为了实现上述目的，本发明实施例提供了一种控制系统，包括3D显示装置、超声波触觉装置、坐标获取装置以及联动控制装置：

所述3D显示装置，用于显示具有视觉3D效果的虚拟物品图像，并向联动控制装置发送所述虚拟物品图像对应的第一空间坐标数据；

所述坐标获取装置，用于捕捉操作对象的第二空间坐标数据，并发送给所述联动控制装置；

所述联动控制装置，用于根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，所述超声波数据用来表示发射的超声波的压力大小；

所述超声波触觉装置，用于根据所述联动控制模块提供的第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据发射超声波。

本发明实施例还提供了一种控制方法，包括：

获取3D显示装置所显示的虚拟物品对应的第一空间坐标数据；

从坐标获取装置获取在所述物品展示空间区域中操作对象的第二空间坐标数据；

根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，以触发所述超声波触觉装置发射超声波。

本发明实施例还提供了一种电子设备，其中，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，以用于如下处理：

获取3D显示装置所显示的虚拟物品对应的第一空间坐标数据；

从坐标获取装置获取在所述物品展示空间区域中操作对象的第二空间坐标数据；

根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，以触发所述超声波触觉装置发射超声波。

本发明实施例的控制系统、方法及电子设备，通过将3D显示、超声波触觉、空间动作识别这三方面技术进行有机的结合，实现多模联动，形成了具有现实触感的虚拟物品的3D展示。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本发明实施例的控制系统的结构示意图；

图2为本发明实施例的控制方法的流程示意图；

图3为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面通过一些具体实施例来进一步说明本发明的技术方案。

实施例一

为了提升物品展示的效果，让观察者能够更加具有真实感与被展示的物品进行交互，本发明实施例提供出一种多模联动的展示物品的技术，主要利用3D显示技术、超声波触觉技术以及空间动作识别技术，并将这三种技术进行有机融合，形成了如图1所示的多模联动3D显示的控制处理系统，其主要包括：3D显示装置11、超声波触觉装置13、坐标获取装置12以及联动控制装置14。

1)3D显示装置

为了虚拟展示的需要，物品会预先进行数字化处理(例如3D扫描)，形成3D模型数据，或者直接使用产品设计数据来形成3D模型数据。然后将该3D模型数据输入到该3D显示装置11中就可以实现显示具有视觉3D效果的虚拟物品(例如图中的汽车)。

需要说明是，3D显示装置11实际上显示的仍然是平面的虚拟物品图像，利用人眼的视觉误差来形成视觉3D效果。在视觉3D效果中，显示的虚拟物品会处于一个预定的物品展示空间区域15中，3D显示装置在进行3D显示同时，可以根据3D视觉效果模型，计算虚拟物品图像投射到指定的互动空间区域后，形成的3D虚拟物品的空间坐标数据作(以下称为第一空间坐标数据)，并发送给联动控制装置14。也就是说，第一空间坐标数据并非虚拟物品的实际空间位置数据，而是一种基于3D视觉效果模型计算出的具有虚拟映射关系的相对空间坐标数据。因此，以下所说的虚拟物品的空间坐标数据是指在3D视觉效果进行映射后的相对空间坐标数据。

3D显示装置可以是裸眼3D显示装置，除了上述的3D显示处理之外，在裸眼3D显示装置上设置有用于获取眼球位置跟踪数据的探测器，在显示原理上，裸眼3D显示装置根据物品的3D模型数据和眼球位置跟踪数据，显示虚拟物品图像。

具体地，裸眼3D显示装置在通常液晶显示面板正面安装局部遮光的狭缝，即带有视差格栅(Parallax Barrier)功能的面板，通过向左右眼显示不同的影像来达到3D显示的效果。在配备视差格栅的面板内部，通过控制液晶分子来形成狭缝。观察者站在裸眼3D显示装置的屏幕前，望着屏幕，裸眼3D显示装置就会通过摄像头开始捕捉眼球位置，通过人脸识别技术判断观察者与屏幕的位置关系，从而调整3D显示效果，让观察者不用自己移动来找最佳观看位置，从多个角度都能看到3D效果。

需要说明的是，基于眼球位置跟踪数据的3D显示控制处理，可以由3D显示装置的控制处理模块来完成，可以由联动控制装置14来执行。

2)坐标获取装置

坐标获取装置12，用于互动空间区域捕捉操作对象的空间坐标数据(以下称作第二空间坐标数据)，并发送给联动控制装置14。该装置可以实现为光学发射装置和成像装置的结合，利用图像分析算法，进行3D建模，提取出互动空间区域操作对象的空间位置信息和以及运动轨迹信息。

具体地，可以光学发射装置可以发射红外光透过红外滤镜照射到互动空间区域15的操作对象上，红外光就会被反射回来，经过红外滤镜后，被成像装置(摄像头)所接收，而可见光又不能透过红外滤镜，从而能够得到较为清晰的操作对象图像。如果将采用双摄像头的结构，得到的半灰度的红外图像，通过双目视觉的算法把图像的景深提取出来进行3D建模，就能够提取出操作对象在真实世界三维空间的运动和位置信息。

在实施例中，操作对象可以是指人体的某个部位，不过在实际的展示场景中，观察者主要是通过手部来触碰虚拟物品。因此，上述的坐标获取装置12可以具体为VR(虚拟现实)手势识别装置，用于在互动空间区域15中捕捉手部的第二空间坐标数据。该装置重建出手部在真实世界三维空间的运动信息，可以检测和追踪手、手指的离散的位置和运动轨迹数据。

3)超声波触觉装置

超声波触觉装置13，用于根据输入的空间位置坐标(以下称作第三空间坐标数据)和与该第三空间坐标数据对应的超声波数据(用来表示发射的超声波的压力大小，即希望在不同空间位置实现的触感压力)，互动空间区域发射超声波，其中，希望实现的触觉压力是通过不同的超声波频率来实现，超声波触觉装置所需要的数据，由联动控制装置14来提供。

具体地，超声波在压力之下会带来形状的改变，并且模拟出一种虚构的形状和力度。通过使用能发出超声波的扬声器将超声波集中在皮肤上，这时超声波会提供足够大的力量让皮肤产生触觉。以不同的频率来振动皮肤，从而创造出不同的感觉。可以通过改变超声波的各种参数，使操作对象感觉到不同形状的触感。

4)联动控制装置

联动控制装置14从3D显示装置11获取到了虚拟物品的空间坐标数据(第一空间坐标数据)，例如，虚拟物品的外表面的空间坐标数据。

联动控制装置又从坐标获取装置12获取到了操作对象的空间坐标数据(第二空间坐标数据)，以手部为例，手部所处的空间位置以及运动轨迹数据。

此外，针对不同的物品，联动控制装置14会预先配置好触觉控制策略。例如，当手部触碰到虚拟物品的表面时，应当提供什么样的压力触觉等。

在获得了以上数据的基础上，联动控制装置14会根据触觉控制策略、第一空间坐标数据以及第二空间坐标数据，来生成第三空间坐标数据(要施加超声波触觉的空间位置)以及对应的超声波压力数据(在具体的位置上产生什么样的触觉压力)，并发送给超声波触觉装置13，以触发超声波触觉装置13发射超声波。

此外，上述的VR手势识别装置能够获取到手部的空间坐标数据(第二空间坐标数据)，并传给联动控制装置14。联动控制装置14可以通过这些空间坐标数据分析出一些手势动作，并根据预设的手势控制策略，向3D显示装置发送改变虚拟物品显示状态的指令，从而对虚拟物品进行一些操作，例如，让虚拟物品转动、放大以及缩小等。

另外，3D显示装置11、超声波触觉装置13、坐标获取装置12可能会有各自的空间坐标体系，不过，由于各个装置以及物品展示区域15是相对固定的，各自坐标体系之间可以通过一定转换关系来实现坐标转换，从而实现坐标统一。因此，联动控制装置还可以用于：根据3D显示装置11、超声波触觉装置13、坐标获取装置12的各自的坐标基准，在第一空间坐标数据、第三空间坐标数据以及第二空间坐标数据之间进行坐标数据转换，以适应多模联动控制处理的需要。在实际应用中，3D显示装置11、超声波触觉装置13、坐标获取装置12的空间坐标数据可以统一到上述的互动空间区域中，以便于进行控制处理，

本发明实施例的多模联动3D显示的控制处理系统，通过将3D显示、超声波触觉、空间动作识别这三方面技术进行有机的结合，实现多模联动，形成了具有现实触感的虚拟物品的3D展示，从而让观察者能够更加直观地了解展示的物品，这样的展示技术不会被物品大小以及材质等限制，非常适合在展会中展示不便于拿到现场的物品。

实施例二

如图2所示，其为本发明实施例的多模联动3D显示的控制处理方法的流程示意图，该方法包括：

S101：获取3D显示装置所显示的虚拟物品对应的第一空间坐标数据；

S102：从坐标获取装置获取在互动空间区域中操作对象的第二空间坐标数据；

S103：根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给超声波触觉装置，以触发超声波触觉装置发射超声波。

其中，上述的3D显示装置可以为裸眼3D显示装置，在裸眼3D显示装置上设置有用于获取眼球位置跟踪数据的探测器，相应地，该方法还可以包括：

获取眼球位置跟踪数据；

根据物品的3D模型数据和眼球位置跟踪数据，显示虚拟物品图像。

此外，上述的坐标获取装置可以为VR手势识别装置，则获取操作对象的第二空间坐标数据可以具体为：获取手部的第二空间坐标数据。

进一步地，本发明实施例的方法还可以包括：

根据预设的手势控制策略和手部的第二空间坐标数据，向3D显示装置发送改变虚拟物品图像显示状态的指令。

此外，对于3D显示装置、超声波触觉装置、坐标获取装置的空间坐标体系的情形，本发明实施例的方法还可以包括：根据3D显示装置、超声波触觉装置、坐标获取装置的各自的坐标基准，在第一空间坐标数据、第三空间坐标数据以及第二空间坐标数据之间进行坐标数据转换，以适应多模联动控制处理的需要。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

本发明实施例的多模联动3D显示的控制处理方法，通过将3D显示、超声波触觉、空间动作识别这三方面技术进行有机的结合，实现多模联动，形成了具有现实触感的虚拟物品的3D展示，从而让观察者能够更加直观地了解展示的物品，这样的展示技术不会被物品大小以及材质等限制，非常适合在展会中展示不便于拿到现场的物品。

实施例三

前面实施例描述了多模联动3D显示的控制处理技术的流程处理及系统结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图3所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。

存储器110，用于存储程序。

除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器120，耦合至存储器110，用于执行存储器110中的程序，以用于执行如下处理：

获取3D显示装置所显示的虚拟物品对应的第一空间坐标数据；

从坐标获取装置获取在所述物品展示空间区域中操作对象的第二空间坐标数据；

根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，以触发所述超声波触觉装置发射超声波。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。

通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。

显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种控制系统，包括3D显示装置、超声波触觉装置、坐标获取装置以及联动控制装置：

所述3D显示装置，用于显示具有视觉3D效果的虚拟物品图像，并向联动控制装置发送所述虚拟物品图像对应的第一空间坐标数据；

所述坐标获取装置，用于捕捉操作对象的第二空间坐标数据，并发送给所述联动控制装置；

所述联动控制装置，用于根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，所述超声波数据用来表示发射的超声波的压力大小；

所述超声波触觉装置，用于根据所述联动控制模块提供的第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据发射超声波。

2.根据权利要求1所述的系统，其中，所述3D显示装置具体为裸眼3D显示装置，所述3D显示装置上设置有用于获取眼球位置跟踪数据的探测器，

所述3D显示装置具体用于，根据物品的3D模型数据和所述眼球位置跟踪数据，显示所述虚拟物品图像，并向联动控制装置发送所述虚拟物品图像对应的第一空间坐标数据。

3.根据权利要求1所述的系统，其中，所述坐标获取装置为VR手势识别装置，具体用于捕捉人体手部的第二空间坐标数据。

4.根据权利要求3所述的系统，其中，所述联动控制装置还用于，根据预设的手势控制策略和所述人体手部的第二空间坐标数据，向所述3D显示装置发送改变所述虚拟物品图像显示状态的指令。

5.根据权利要求1所述的系统，其中，所述联动控制装置还用于，根据3D显示装置、超声波触觉装置、坐标获取装置的各自的坐标基准，在第一空间坐标数据、第三空间坐标数据以及第二空间坐标数据之间进行坐标数据转换。

6.根据权利要求1所述的系统，其中，向联动控制装置发送所述虚拟物品图像对应的第一空间坐标数据包括：

根据3D视觉效果模型，计算所述虚拟物品图像在所述3D显示装置显示中，在互动空间区域的相对空间坐标数据，将所述空间坐标数据作为第一空间坐标数据，并发送给所述联动控制装置。

7.一种控制方法，包括：

获取3D显示装置所显示的虚拟物品对应的第一空间坐标数据；

从坐标获取装置获取在所述物品展示空间区域中操作对象的第二空间坐标数据；

根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，以触发所述超声波触觉装置发射超声波，所述超声波数据用来表示发射的超声波的压力大小。

8.根据权利要求7所述的方法，其中，还包括：

获取眼球位置跟踪数据；

根据物品的3D模型数据和所述眼球位置跟踪数据，显示所述虚拟物品图像。

9.根据权利要求7所述的方法，其中，所述坐标获取装置为VR手势识别装置，

所述获取操作对象的第二空间坐标数据具体为：获取手部的第二空间坐标数据。

10.根据权利要求9所述的方法，其中，还包括：

根据预设的手势控制策略和所述手部的第二空间坐标数据，向所述3D显示装置发送改变所述虚拟物品图像显示状态的指令。

11.一种电子设备，其中，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，以用于如下处理：

获取3D显示装置所显示的虚拟物品对应的第一空间坐标数据；

从坐标获取装置获取在所述物品展示空间区域中操作对象的第二空间坐标数据；

根据控制策略、第一空间坐标数据以及第二空间坐标数据，生成所述第三空间坐标数据以及与该第三空间坐标数据对应的超声波数据，并发送给所述超声波触觉装置，以触发所述超声波触觉装置发射超声波。

Images