CN116243786A - 在立体影像上执行互动的方法与立体影像显示系统 - Google Patents

Abstract

一种在立体影像上执行互动的方法与立体影像显示系统，立体影像显示系统包括一立体影像显示设备以及一手势传感器，在所述方法中，以立体影像显示设备显示立体影像，以手势传感器感测手势，得出当下手势状态，取得前一时间立体影像的状态以及前一时间的手势状态，根据当下手势状态与前一时间的手势状态，演算对应手势的立体坐标变化，再根据前一时间立体影像的状态与对应手势的立体坐标变化得出一新的立体影像数据，即通过立体影像显示设备显示以新的立体影像数据形成的一新的立体影像。

Description

在立体影像上执行互动的方法与立体影像显示系统

技术领域

本发明关于一种互动感测技术，特别涉及以手势或任一物件在一立体影像上执行互动的方法与立体影像显示系统。

背景技术

一般已知的立体显示设备所采用的技术多半是利用人类双眼视差在脑中组合成具有深度的立体影像的方式，通过显示器显示的影像即设计成两张有差异的画面，当使用者使用特定装置，如红蓝眼镜、偏光眼镜或是快门眼镜，甚至是一种头戴式显示器，就可以将显示器显示的两张有差异的画面分别投射到双眼，之后再于脑中组合成立体影像。

另有裸视立体显示的技术，通过光学组件(透镜、光栅)的设计，可将显示器中影像分别直接投射在人的双眼上，使得在无须特殊装置的情况下直接感受到立体影像。

在各式立体显示技术中，都仍是平面显示的技术，并未提出让使用者可以直接操作立体影像的互动技术，主要原因是，常见的立体影像显示技术都是在脑中组合的虚像，无法直接与影像产生互动。

发明内容

本公开公开一种在立体影像上执行互动的方法与系统，提供使用者可以用手势在用立体影像显示设备所显示的立体影像上进行互动，让使用者以手势执行移动、旋转或缩放动作，通过立体坐标转换，可从手势得到立体坐标变化量，能据此判断互动指令，参考前一时间的立体影像的状态，可演算出新的立体影像，达到以手势与立体影像互动的效果。

根据实施例，所提出的立体影像显示系统主要组件包括一立体影像显示设备与一手势传感器，手势传感器可设于立体影像显示设备的一侧，以建立涵盖立体影像显示设备显示的立体影像的一有效感测区域，使得手势可执行于此有效感测区域内。

立体影像显示系统执行一在立体影像上执行互动的方法，在方法中，根据一立体影像数据，以立体影像显示设备显示一立体影像，以手势传感器感测手势，并得出当下手势状态，同时可以自一存储器中取得前一时间立体影像的状态，以及取得前一时间的手势状态，使得可以根据当下手势状态与前一时间的手势状态演算对应当下手势的立体坐标变化，以及可根据前一时间立体影像的状态与对应手势的立体坐标变化得出一新的立体影像数据，之后通过立体影像显示设备显示以新的立体影像数据形成的一新的立体影像。

根据实施例，手势传感器用以取得执行手势的一身体部位或一指示装置的影像与深度图，以根据影像与深度图演算建立手势的多个关键位置的立体坐标，以及根据前一时间的手势状态取得对应手势的立体坐标变化。

在实作手势传感器时，可通过飞行时间检测技术、声波检测技术、双眼视差检测技术、结构光检测技术取得手势的深度信息，形成上述的深度图。

如此，可根据手势的立体坐标变化判断互动指令，互动指令则可为点击指令、滑动指令、旋转指令或缩放指令。

进一步地，根据前一时间立体影像的状态、手势的立体坐标变化，以及根据手势的立体坐标变化得出的手势移动信息，能演算出立体影像在一时间内的位置变化、速度、加速度与尺寸变化，以显示出变化中的新的立体影像。

在一实施例中，所述立体影像显示系统还可包括一立体影像服务器，上述立体影像数据即可由立体影像服务器提供，立体影像数据为提供立体影像显示设备显示立体影像的数据，于根据前一时间立体影像的状态与对应手势的立体坐标变化，从立体影像服务器得出新的立体影像数据。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

附图说明

图1显示立体影像显示系统的实施例示意图；

图2显示立体影像显示系统的电路实施例图；

图3显示立体影像显示系统的另一实施例示意图；

图4显示在立体影像上执行互动的方法实施例的一流程图；

图5显示在立体影像上执行互动的方法实施例的一流程图；

图6显示在立体影像上执行互动的方法中取得手部关键位置变化的实施例图；

图7显示在立体影像上执行互动的方法中取得手持工具坐标变化的实施例图之一；

图8显示在立体影像上执行互动的方法中取得手持工具坐标变化的实施例图之二；

图9至图12显示在立体影像上执行互动的方法中操作手势的实施例图；

图13显示利用手部变化造成立体影像变化的实施例图；

图14至17显示多种手势的感测设备的实施例图；

图18至20显示立体影像显示系统中建立有效感测区域的实施例图之三；以及

图21接着显示在立体影像上执行互动的方法运行于手势传感器、立体影像显示设备与立体影像服务器之间的实施例流程图。

具体实施方式

本公开公开一种在立体影像上执行互动的方法与立体影像显示系统，这个技术是提供使用者可以在观看显示在立体影像显示设备上的立体影像时，还能通过手势操控其中立体影像，其中主要方法是利用手势传感器感测到在立体影像上的手势，如点击(clicking)、滑动(swiping)、旋转(circling)或缩放(zooming)动作，再得出对应手势的立体坐标变化量，根据所判断的互动指令，对应显示随着手势产生的立体影像，提供使用者实现以手势与立体影像互动的技术目的。需要一提的是，这个立体影像可为一静态物件的一立体影像，或是动态物件的连续立体影像，而反映手势新形成的立体影像可以是一个静态影像，亦可以是根据一个手势演算形成移动中的立体影像。

在一应用中，在所述立体影像显示设备中的显示技术可以是一种浮空显示立体影像的技术，这种技术是由一平面显示面板显示多个子影像(单元影像)，多个子影像的组成一个完整的影像(集成影像)，显示时，平面显示面板上显示的影像通过一层光学组件(如透镜数组)显示，每个子影像会通过对应的透镜成像，通过多个透镜可在显示设备上形成一个完整的影像，如此，可以产生一个浮空影像的显示效果。

图1显示立体影像显示系统的实施例示意图。

此例显示有一立体影像显示设备10，如以上描述的实施例，此立体影像显示设备10由一层光学组件101与显示面板102组成，其中具备图像处理器，可以处理显示内容，并具备通信能力，可以从外部影像提供来源取得立体影像数据，经图像处理后显示出立体影像103。

进一步地，立体影像显示设备10设有一手势传感器105(此图例显示的手势传感器105的位置并非用于限制本发明实施方式)，用以感测使用者以手12在立体影像103上的动作。

所述手势传感器105可以一影像检测手段实现，主要方式是利用照相机取得手12的几个关键部位(如手指、手掌、指关节)的连续画面，通过图像处理，可以取得在一时间间隔前后的影像变化，主要为每个关键部分在手势传感器坐标系的立体坐标(如直角坐标系表示的Xsensor,Ysensor,Zsensor，或球坐标系表示的γ,θ,φ)，经连续取得后，可以得出立体坐标变化量，再转换成立体影像显示设备10坐标系的立体坐标(Xdevice,Ydevice,Zdevice)的变化量，如向量(位移、方向)、速率(距离与时间)等信息，最后可以判断出点击、滑动、旋转或缩放的其中的一个或任意组合的互动指令。

其中实施方式可参考图6显示在立体影像上执行互动的方法中取得手部关键位置变化的实施例图。

一开始，如图中显示手部60上根据需求设定有多个关键位置601，关键位置601的位置与数量可以依据实际需求而定，若立体影像显示系统中采用的计算机系统有强大的算力，可以处理更多的关键位置601数量而提升手势细节的判断能力，可以处理更细微的手势变化。关键位置601的位置可以参考系统需要判断出手部60(或特定物件)的手势，如点击、滑动、旋转、缩放等手势。

之后可通过手势传感器取得手部60中的多个关键位置601在立体坐标系中的空间位置，以取得判断手势的信息，例如图例显示利用多个手部60的关键位置601的深度信息建立的深度图62，或加上彩色、灰阶或二值化的影像64，借此得出手部60中多个关键位置601’的当下状态，再根据前一时间的手势状态，即前一时间得出的关键部位的多点位置，以及当下生成的深度图62与影像64，演算出手势变化。举例来说，可根据手势判断可指出对应手指、手掌与关节或其他(如其他工具：触控笔、物件等)在空间的多点位置的立体坐标，可演算出前后时间的手势变化。例如可以判断出位置变化的手势、点选的手势、滑动手势、旋转手势、缩放手势。

相关手势可参考图9至图12接着显示在立体影像上执行互动的方法中操作手势的实施例图，其中，图9显示点击手势的动作示意图，图10显示滑动手势的动作示意图，图11显示旋转手势的动作示意图，而图12显示缩放手势的动作示意图。

除了以手执行手势外，还可以其他物件执行手势，如图7显示在立体影像上执行互动的方法中取得手持工具坐标变化的实施例图，此例显示使用者手持一手持工具70，同样可以在浮空的立体影像上执行互动，通过以上描述的飞行时间演算的检测技术、声波检测技术、双眼视差检测技术或结构光检测技术感测到此手持工具70上多个关键位置的深度信息，得出一时间内的立体坐标变化，判断出手势。

图8则显示另一取得手持工具坐标变化的实施例图，此例显示使用者手持一较小的手持工具80，同样可通过手势传感器得出手持工具80在一时间内的立体坐标变化，可判断出手势。

在另一实施例中，手势传感器105可以采用光线遮断的原理来感测出手势，相关技术是先以一光源投射出感测光线，当手12进入这个光线范围内，可以光传感器检测出光线被遮断时在手部产生的光点，再从其中得出每个关键部位反射光线的量(反映变化部位)与时间差(反映深度)，同样地，根据连续取得这些光线信息，可以得出手势造成的立体坐标变化量，再判断出移动、旋转与缩放动作的其中的一个或任意组合的互动指令。

所述光线遮断的感测实施方式可参考图14所示以影像检测方式感测手势的实施例图。图中显示在立体影像显示设备10的一侧显示的光线传感器14，用以感测操作手势的手141，利用光线感测手势而产生的感测数据通过一处理单元140处理，能以根据前一手势状态与当下感测的手势之间的变化演算出新的立体影像。根据实施例之一，光线传感器14可设有一可见光或不可见光的光发射器，较佳可以红外光发射器实作，再设有一感测此频段光线的光传感器，用以接收自手141或特定物件反射的光线，也就是被手141或物件遮断而反射的光线，利用反射时间差计算手141上多个关键部位的深度信息。

于再一实施例中，手势传感器105可以包括声波产生器与接收器，利用声波反射的信息判断手势。当手12在手势传感器105的感测范围中，会阻断声波，同样地产生反射波，使得声波接收器可以根据声波的变化，也就可以检测到手12的几个关键部位在空间的变化量，进而转换为立体坐标变化量，能够据此判断出点击、滑动、旋转或缩放动作的其中的一个或任意组合的互动指令。

所述利用声波感测判断手势的实施方式可参考图15显示的实施例图，其中显示设于立体影像显示设备一侧的声波传感器15，设有声波发射器，可以在一有效感测区域内发射一声波，实施例可以超音波或示雷达波实作。操作于有效感测区域内的手151或是任一物件反射声波，再由声波传感器15中传感器接收后，产生感测数据，通过处理单元150演算，利用手151的多个关键部位反射的声波计算各部位时间差，可以据此演算出各关键部位的深度信息，借此判断手势。

另有感测手势的实施方式如图16所示以两个影像传感器建立执行手势的手163或是特定物件的影像视差(parallax)，借此演算手163或特定物件上关键部位的深度信息。在图中显示的实施范例中，在立体影像显示设备附件设有具有相距一个距离的第一影像传感器161与第二影像传感器162，分别取得手163的影像，同一时间的两张手163的影像具有一视差，通过处理单元160的处理，可以根据手163中多个关键部位的影像视差演算深度信息，如此，可以演算出以手163(或特定物件)操作的手势。

图17显示一种利用结构光感测手势的实施例图，此例显示设于立体影像显示设备附近的结构光发射器171与结构光传感器172，用以建立一有效感测区域。其中结构光发射器171在此有效感测区域发射一具有特定图案(如并行线、网状或其他图案)的结构光，照向手173(或特定物件)，以结构光传感器172感测手173反射结构光后形成的反射光，反射光本身也具备一结构，于是，后端的处理单元170可根据反射结构光的变化演算出手173反射结构光形成的一立体曲面，可以根据此立体曲面演算得出手势。

如此，利用各种感测手势技术的手势传感器105所实现的互动感应方法，可以依据手势所反映出手12的手指、手掌位置与指关节的立体坐标的变化，以判断得出移动、旋转与缩放动作的其中的一个或任意组合的互动指令，之后，经对照影像数据库中记载的立体影像数据，得出立体影像103在各种手势操作下的下一个立体影像数据，显示出下一个立体影像，立体影像数据可以包括一个静态立体影像，或是连续影像形成的立体影片。当其中感测到变化、坐标转换与立体影像演算等的处理程序可以高速演算，可实时反应手势产生实时互动的效果。

图2接着显示立体影像显示系统的电路实施例图。

图中显示的立体影像显示设备20可以通过特定联机或是结构连接手势传感器22，根据实施例之一，两者可整合在一个装置内，立体影像显示设备20与手势传感器22为两个内建的模块，两者电性连接；或是，立体影像显示设备20与手势传感器22为两个独立装置，再以有线或无线联机连接，能互相传递信息；根据再一实施例，如图2所示，还可提出一立体影像服务器24，立体影像显示设备20与手势传感器22分别通过网络或特定联机方式连接立体影像服务器24，由立体影像服务器24处理手势传感器22产生的手势变化信息，如在立体空间中的变化量，在立体影像服务器24中形成推送至立体影像显示设备20显示立体影像的数据。

在立体影像显示设备20中，设有执行图像处理与所公开的互动感应方法的图像处理器203，电性链接其他电路组件，如输入接口201，输入接口201为一通信接口，通过网络或特定方式联机立体影像服务器24，使得立体影像显示设备20可通过输入接口201自立体影像服务器24接收要显示的立体影像的立体影像数据。而立体影像服务器24提供的立体影像数据主要是根据手势传感器22所感测的手势所转换得出的互动指令所产生。根据实施例，立体影像服务器24自手势传感器22接收的信息是感测到手势形成的立体坐标变化量，使得立体影像服务器24可以根据立体坐标变化量演算得出互动指令，再根据互动指令演算出新的立体影像的影像坐标信息。

在立体影像服务器24中，当取得由手势传感器22得出的手势对应的立体坐标变化量后，可演算出点击、旋转、滑动、缩放等互动指令，依据这些互动指令，查询立体影像服务器24中的影像数据库，以得出对应变化的立体影像数据，或是可以通过立体影像服务器24中的处理器根据互动指令实时演算得出新的立体影像数据，且可为静态立体影像或连续影像形成的立体影片。其中提供给立体影像显示设备20的立体影像数据用于描述以立体影像显示设备20显示立体影像的色彩信息与三维空间信息。图像处理器203电性连接显示驱动单元204，可以根据立体影像数据的描述得出立体影像，通过显示单元205显示出来。

手势传感器22设有感测组件221，实现利用光线、声波、影像等方式感测手势的技术，所谓手势可以为手部的几个关键部位产生的姿势变化，包括手指、手掌位置、指关节所代表的手势位置。

控制单元222为手势传感器22中的控制电路，通过接口单元223连接立体影像显示设备20，控制单元222能够根据感测组件221得到的感测信息得出手势反映出的立体坐标变化量。

在此一提的是，由手势传感器22感测到手势对应的立体坐标变化量是为以手势传感器22的坐标系的坐标信息，之后提供给立体影像服务器24执行坐标转换，演算出互动指令，通过立体影像服务器24时，将互动指令在以手势传感器22形成的坐标系的坐标信息转换至以立体影像显示设备20形成的坐标系中，才能继续对照显示的立体影像的影像坐标信息。若在另一实施例中，立体影像显示设备20可通过输入接口201以有线或无线通信方式连接手势传感器22中的接口单元223，这是输入接口201是一个通信接口，借此传递来往信息，立体影像显示设备20可根据手势演算出立体影像数据，再通过显示单元205显示出来。

其中，以立体影像显示设备20显示的立体影像，其中影像的每个位置都是已知，当反馈给立体影像服务器24，使得立体影像服务器24可以判断出手势经坐标转换后在相同坐标系中的相关性，这个相关性表达手势形成的立体坐标与显示中的立体影像的关系。举例来说，滑动手势造成立体影像朝某个方向的移动，因此立体影像的立体坐标应加入这个方向的变化量，因此在新的位置重新得出新的立体影像，在立体影像服务器24(或直接在立体影像显示设备20中的图像处理器203)中，实时查询或是实时演算出一个新的立体影像数据，提供给立体影像显示设备20的显示驱动单元204形成显示影像。若为旋转手势，将造成立体影像朝一个方向旋转，因此原本立体影像的立体坐标应加入旋转变化量，也就形成新的立体影像数据，用以显示新的立体影像数据。同理，若为缩放手势，将立体影像在相同参考点位置上的大小变化，该相关的立体坐标也随着变化，图像处理器203查询影像数据库或实时演算，产生新的立体影像数据，提供给显示驱动单元204形成显示影像。

上述滑动、旋转或缩放等手势可以任意组合，形成互动指令，再由立体影像服务器24(或立体影像显示设备20的图像处理器203)运算产生新的立体影像数据，立体影像数据为提供立体影像显示设备20直接显示立体影像的数据。进一步地，为了反映当下的手势，在立体影像服务器24中或是立体影像显示设备20的图像处理器203中，可参考前一时间的手势状态，借此决定移动中的多笔连续立体影像数据，据此显示动态立体影像。

续根据图3所示立体影像显示系统的另一实施例示意图，此例显示交互式立体显示设备包括有通过网络30联机的立体影像服务器301，上述立体影像数据可由立体影像服务器301提供，立体影像服务器301设有影像数据库303，提供查询得到在各种互动指令对应的立体影像数据。

根据实际运行的方式，当使用者执行互动时，可先查询目前在立体影像显示设备20中存储的数据是否包括了对应互动指令的下一个显示样态，若已经包括新的显示样态，则立体影像显示设备20可自行运算后产生立体影像数据，并显示；若并未包括互动产生的下一个显示样态，可立即通过网络30向立体影像服务器301发出新立体影像资源文件的请求，以下载新的立体影像数据，显示出下一个经过互动产生的立体影像。

可参考图1，当使用者以手12在立体影像显示设备10上与立体影像互动时，产生的手势形成立体坐标变化量，并据此得出互动指令，这时，互动指令可通过网络30传送至立体影像服务器301，由立体影像服务器301根据互动指令提供新的立体影像数据。

通过上述实施例所描述的立体影像显示系统执行在立体影像上执行互动的方法，实施例之一可参考图4显示的流程图。

根据一立体影像数据，系统可通过立体影像显示设备显示一立体影像，特别是如以图1描述的实施例显示的浮空立体影像(步骤S401)，使得使用者可以手部或是其他物件直觉地以显示出的立体实像上执行手势，当在浮空立体影像上操作手势时，通过手势传感器感测手势，取得当下手势状态(步骤S403)。在一实施例中，影像可以直接在手部或物件上显示遮蔽光线的影像，因此立体影像显示系统可以通过影像传感器取得手势影像，进而判断手势形成的互动指令。立体影像显示系统将通过如图14至17所示手势传感器实施例(实际实施时并不排除其他感测方式)感测手势，而取得执行手势的手部或其他物件的深度信息，即反映出当下手势状态。

根据实施例，立体影像显示系统提出任一形式的一存储器，用以存储前一时间的手势状态，即前一时间的手势的多个关键位置的立体坐标与移动信息，以及前一时间该立体影像的状态，即存储于存储器中前一时间的该立体影像的立体坐标与移动信息。如此，立体影像显示系统可在感测到手势时，自存储器取得前一时间立体影像的状态，如记载于系统中特定存储器中前一时间立体影像的立体坐标，其中反映出前一时间的位置、速度、加速度、姿态与尺寸等(步骤S405)，并也取得前一时间的手势状态，指的是系统在前一时间所判断的手势的位置、速度信息与尺寸(步骤S407)。之后，立体影像显示系统中的软件程序可根据前后时间的手势状态演算对应手势的立体坐标变化(stereo coordinate variations)，以判断出手势，即可据此得出互动指令(interactive instruction)，如点击、滑动、旋转或缩放等(步骤S409)。

根据手势，立体影像显示系统中的软件程序可根据前一时间立体影像的状态与手势变化演算出新的立体影像(立体影像的立体坐标)，这步骤可以通过查询影像数据库得出立体影像数据，进而演算出新的立体影像(步骤S411)，并以立体影向显示设备显示以新的立体影像数据形成的一新的立体影像(步骤S413)。

图5显示在立体影像上执行互动的方法的另一实施例流程图。

同样的，先通过立体影像显示设备显示立体影像(步骤S501)，通过手势传感器取得当下手势的状态(步骤S503)，此时，立体影像显示系统取得前一时间立体影像的状态(步骤S505)，以及前一时间的手势状态，即前一时间执行手势的立体坐标位置(步骤S507)，使得立体影像显示系统中的软件程序可以演算出使用者的手部或特定物件在一时间内的立体坐标的变化(步骤S509)，此变化可以反映出手势的位置变化、速度、加速度、尺寸变化等移动信息，这些变化形成一个互动指令，可以是点击、滑动、旋转或缩放。

接着，通过立体影像显示系统中的软件程序可根据前一时间立体影像的状态、手势的立体坐标变化，以及根据手势的立体坐标变化得出的手势移动信息演算出立体影像的变化(步骤S511)，手势可以得出对应点击、滑动、旋转或缩放手势，系统将演算出对应手势的连续立体影像的位置变化、速度、加速度与尺寸变化(步骤S513)，以通过立体影像显示设备显示出变化中的新的立体影像(步骤S515)。

在图14至17显示的手势传感器的实施范例，手势传感器为通过以影像传感器执行飞行时间(time of flight，TOF)演算的检测技术，或以声波检测技术、双眼视差检测技术、结构光(structured light)检测技术或其他深度感应方法(depth sensing methods)取得手势的深度信息，形成如图6显示的深度图。在图6显示的实施范例中，可知手势传感器可用以取得执行手势的手(或其他身体部位)或指示装置的影像64与深度图62，以根据影像64与深度图62演算建立手势的多个关键位置601’的立体坐标，以及根据前一时间的手势状态取得对应手势的立体坐标变化。

根据上述实施例可知，立体影像显示系统通过手势的立体坐标变化判断互动指令，互动指令可以是一点击指令、一滑动指令、一旋转指令或一缩放指令，之后根据这些指令查询数据库或可实时演算出新的立体影像数据，再通过立体影像显示设备显示以新的立体影像数据形成的新的立体影像。还可根据前后时间的立体影像的状态与前后时间的手势立体坐标变化得出的手势移动信息，以演算出立体影像在一时间内的位置变化、速度、加速度与尺寸变化，这时，所显示的影像为变化中的新的立体影像。

相关实施例可参考图13所示利用手部变化造成立体影像变化的实施例图，图中显示根据前一时间的手势状态，显示出使用者以手13操作连续变化的手势，立体影像显示系统中软件程序将根据前后时间手势状态得出手13的移动信息，因此演算出对应此移动信息的连续变化的立体影像，此例显示为球131,131’,131”在一时间内的变化。

针对以上实施例所提到，立体影像显示系统通过设于立体影像显示设备附近的手势传感器建立有效感测区域(available sensing zone)，实施例可参考图18，图中显示有一立体影像显示设备18，显示一立体影像185，设于一侧的手势传感器181根据与立体影像显示设备18的相对位置建立一有效感测区域180，以能有效感测手183的位置与动作，同时，有效感测区域180也是提供使用者可以执行手势的参考区域。

另一实施例如图19所示的有效感测区域的实施例图，图中显示在立体影像显示设备18上显示一立体影像185，显示立体影像185的区域即构成一有效感测区域190，成为设置手势传感器191,192位置的参考，用以有效感测手183在立体影像185上执行的手势。

图20接着以另一方式表示立体影像显示系统中建立有效感测区域的实施例，此例显示在立体影像显示设备20的一侧设有手势传感器208，具有一感测范围209，依照影像显示设备20显示立体影像210的范围，建立涵盖立体影像541的有效感测区域200，使用者操作手势时应执行于此有效感测区域200内。

根据实施例，立体影像显示系统还可设有一立体影像服务器，所述立体影像数据可由立体影像服务器提供，立体影像数据为提供立体影像显示设备显示立体影像的数据，因此，当系统根据前一时间立体影像的状态与对应手势的立体坐标变化产生新的立体影像时，需由立体影像服务器得出新的立体影像数据，实施例可参考图21。

图21显示在立体影像上执行互动的方法运行于手势传感器、立体影像显示设备与立体影像服务器之间的实施例流程图，此流程图描述立体影像服务器211、立体影像显示设备212与手势传感器213之间的互动感应流程。

一开始，在此实施例中，使用者于立体影像显示设备212上操作手势，由立体影像服务器211定时触发手势传感器213以感测手势(步骤S211)，并向立体影像显示设备212送出显示立体影像请求(步骤S212)。接着由手势传感器213感测到手势，除形成反映手势的立体坐标数据外，还触发产生一立体影像请求，送出至立体影像服务器211，以取得立体影像数据(步骤S213)。

当立体影像服务器211接收到反映手势的立体坐标数据时，立体影像服务器211即被触发得出前一时间的立体影像的状态，并取得前一时间的手势状态(步骤S214)，这可以是当下已经在立体影像显示设备212显示的立体影像，再根据手势传感器213传送的手势，对照前一时间的手势状态，执行估算手势的算法，以能根据手势状态估算出手势(步骤S215)。

接着于立体影像服务器211中演算手势造成的立体坐标变化量(步骤S216)，对照在之前手势状态的立体坐标数据，以能估测出互动指令(步骤S217)，例如是点击、滑动、旋转或是缩放指令，根据前一时间立体影像状态与对应手势形成的立体坐标变化量，通过查询或是实时演算产生新的立体影像数据，传送立体影像数据至立体影像显示设备212(步骤S218)，显示出立体影像。

综上所述，根据以上实施例所描述在立体影像上执行互动的方法以及立体影像显示系统，所提出的方法让使用者可以直接在一立体影像上操作手势，产生互动指令，让系统可以根据前后时间的手势状态与前一时间的立体影像状态，演算出新的立体影像，并显示出来，如此实现以手势直接操作立体影像并实时显示互动后的立体影像，并且能根据手势变化显示连续变化的立体影像，实现以手势操作立体影像的互动效果。

以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利要求内。

Claims (15)

1.一种在立体影像上执行互动的方法，其特征在于所述的方法包括：

根据一立体影像数据，以一立体影像显示设备显示一立体影像；

以一手势传感器感测一手势，得出一当下手势状态；

取得前一时间该立体影像的状态；

取得前一时间的手势状态；

根据该当下手势状态与该前一时间的手势状态，演算对应该手势的立体坐标变化；以及

根据前一时间该立体影像的状态与对应该手势的立体坐标变化得出一新的立体影像数据；以及

通过该立体影像显示设备显示以该新的立体影像数据形成的一新的立体影像。

2.如权利要求1所述的在立体影像上执行互动的方法，其特征在于所述的手势传感器用以取得执行该手势的一身体部位或一指示装置的一影像与一深度图，以根据该影像与该深度图演算建立该手势的多个关键位置的立体坐标，以及根据该前一时间的手势状态取得对应该手势的立体坐标变化。

3.如权利要求2所述的在立体影像上执行互动的方法，其特征在于所述的手势传感器为通过一飞行时间检测技术、一声波检测技术、一双眼视差检测技术、一结构光检测技术取得该手势的深度信息，形成该深度图。

4.如权利要求2所述的在立体影像上执行互动的方法，其特征在于，根据该手势的立体坐标变化判断一互动指令，该互动指令为一点击指令、一滑动指令、一旋转指令或一缩放指令。

5.如权利要求4所述的在立体影像上执行互动的方法，其特征在于，根据前一时间该立体影像的状态、该手势的立体坐标变化，以及根据该手势的立体坐标变化得出的手势移动信息，演算出该立体影像在一时间内的位置变化、一速度、一加速度与一尺寸变化，以显示出变化中的该新的立体影像。

6.如权利要求1所述的在立体影像上执行互动的方法，其特征在于所述的前一时间的手势状态为存储于一存储器中前一时间的手势的多个关键位置的立体坐标与移动信息，该前一时间该立体影像的状态为存储于该存储器中前一时间的该立体影像的立体坐标与移动信息。

7.如权利要求1至6中任一项所述的在立体影像上执行互动的方法，其特征在于，提出一立体影像服务器，当接收到反映该手势的立体坐标数据时，即触发该立体影像服务器取得前一时间该立体影像的状态、取得前一时间的手势状态、根据该当下手势状态与该前一时间的手势状态，演算对应该手势的立体坐标变化，以及根据前一时间该立体影像的状态与对应该手势的立体坐标变化得出该新的立体影像数据。

8.一种立体影像显示系统，其特征在于所述的系统包括：

一立体影像显示设备；以及

一手势传感器，连接该立体影像显示设备；

其中该立体影像显示系统执行一在立体影像上执行互动的方法，包括：

根据一立体影像数据，以该立体影像显示设备显示一立体影像；

以该手势传感器感测一手势，得出一当下手势状态；

取得前一时间该立体影像的状态；

取得前一时间的手势状态；

根据该当下手势状态与该前一时间的手势状态，演算对应该手势的立体坐标变化；以及

根据前一时间该立体影像的状态与对应该手势的立体坐标变化得出一新的立体影像数据；以及

通过该立体影像显示设备显示以该新的立体影像数据形成的一新的立体影像。

9.如权利要求8所述的立体影像显示系统，其特征在于所述的手势传感器用以取得执行该手势的一身体部位或一指示装置的一影像与一深度图，以根据该影像与该深度图演算建立该手势的多个关键位置的立体坐标，以及根据该前一时间的手势状态取得对应该手势的立体坐标变化。

10.如权利要求9所述的立体影像显示系统，其特征在于所述的手势传感器为通过一飞行时间检测技术、一声波检测技术、一双眼视差检测技术、一结构光检测技术取得该手势的深度信息，形成该深度图。

11.如权利要求9所述的立体影像显示系统，其特征在于，根据该手势的立体坐标变化判断一互动指令，该互动指令为一点击指令、一滑动指令、一旋转指令或一缩放指令。

12.如权利要求11所述的立体影像显示系统，其特征在于，根据前一时间该立体影像的状态、该手势的立体坐标变化，以及根据该手势的立体坐标变化得出的手势移动信息，演算出该立体影像在一时间内的位置变化、一速度、一加速度与一尺寸变化，以显示出变化中的该新的立体影像。

13.如权利要求8所述的立体影像显示系统，其特征在于所述的系统还包括一存储器，其中该前一时间的手势状态为存储于该存储器中前一时间的手势的多个关键位置的立体坐标与移动信息，该前一时间该立体影像的状态为存储于该存储器中前一时间的该立体影像的立体坐标与移动信息。

14.如权利要求8所述的立体影像显示系统，其特征在于所述的系统还包括一立体影像服务器，其中该立体影像数据由该立体影像服务器提供，该立体影像数据为提供该立体影像显示设备显示该立体影像的数据，于根据前一时间该立体影像的状态与对应该手势的立体坐标变化，由该立体影像服务器得出该新的立体影像数据。

15.如权利要求8至14中任一项所述的立体影像显示系统，其特征在于所述的手势传感器设于该立体影像显示设备的一侧，建立涵盖该立体影像显示设备显示的该立体影像的一有效感测区域，该手势执行于该有效感测区域内。

Images