CN110865761B - 指向判断系统以及指向判断方法 - Google Patents

Abstract

本发明涉及一种指向判断系统以及指向判断方法。指向判断系统包括显示屏幕、至少一影像提取装置以及处理装置。影像提取装置用以提取包括多位使用者的影像数据。处理装置耦接显示屏幕及影像提取装置以接收影像数据，且根据影像数据检测此些使用者的多个特征。处理装置将此些特征进行对应性配对以取得各使用者的特征群，且根据各使用者的特征群中的至少二特征，来判断各使用者朝显示屏幕的指向。

Description

指向判断系统以及指向判断方法

技术领域

本发明涉及显示技术和生物特征追踪技术，并特别涉及一种指向判断系统以及指向判断方法。

背景技术

虽然结合显示技术与生物特征追踪技术或触控技术的指向性互动显示方法已逐渐出现于各种应用上，但这些技术仍存在许多改善空间。例如，在多位使用者同时与显示系统进行互动的情况下，显示系统难以正确地判断多对眼睛中何者以及多个手指(或多个触碰)中的何者是对应于同一使用者，致使显示系统易有指向性错乱的问题发生。

发明内容

为了解决上述技术问题，本发明目的在于提供一种指向判断系统以及指向判断方法，其在与多位使用者同时进行互动的情况下，可正确地将此些使用者的眼睛与手指(或触碰)进行配对，以避免指向性错乱的问题发生。

具体地说，本发明实施例公开了一种指向判断方法，其中包括：

透过至少一影像提取装置提取包括多位使用者的影像数据；以及

透过处理装置执行以下步骤：

根据影像数据检测此些使用者的多个特征；

将此些特征进行对应性配对以取得各使用者的特征群；以及

根据各使用者的特征群中的至少二特征，来判断各使用者朝显示屏幕的指向。

本发明实施例还公开了一种指向判断系统，其中包括：

显示屏幕；

至少一影像提取装置，用以提取包括多位使用者的影像数据；以及

处理装置，耦接显示屏幕及至少一影像提取装置以接收影像数据，且根据影像数据检测此些使用者的多个特征，

其中处理装置将此些特征进行对应性配对以取得各使用者的特征群，且根据各使用者的特征群中的至少二特征，来判断各使用者朝显示屏幕的指向。

附图说明

图1是依照本发明一实施例所绘示的指向判断系统的方块图。

图2是依照本发明一实施例所绘示的指向判断方法的流程图。

图3A是依照本发明一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图。

图3B是依照本发明一实施例所绘示的图2的指向判断方法的细节步骤流程图。

图4A是依照本发明另一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图。

图4B是依照本发明另一实施例所绘示的图2的指向判断方法的细节步骤流程图。

图5A是依照本发明又一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图。

图5B是依照本发明又一实施例所绘示的图2的指向判断方法的细节步骤流程图。

图5C是依照本发明又一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图。

图5D是依照本发明又一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图。

图6是依照本发明一实施例所绘示的使用者于显示屏幕上的凝视区域的示意图。

图7A是依照本发明一实施例所绘示的使用者的有效触控区域示意图。

图7B是依照本发明另一实施例所绘示的使用者的有效触控区域示意图。

图8A是依照本发明又一实施例所绘示的多位使用者的多个特征的配对示意图。

图8B是依照本发明又一实施例所绘示的多位使用者的指向判断示意图。

图8C是依照本发明又一实施例所绘示的图2的指向判断方法的细节步骤流程图。

图9A是依照本发明又一实施例所绘示的多位使用者的指向判断示意图。

图9B是依照本发明一实施例所绘示的图8C的步骤S848的细节步骤流程图。

符号说明：

100：指向判断系统

120：显示屏幕

140：影像提取装置

160：处理装置

A1、A2、A3：有效触控区域

CHS：特征

d：半径

E1、E2、E3：眼部坐标

F1、F2：手指坐标

G1、G2：凝视坐标

GA：区域

GC：共同坐标

GZ1、GZ2：凝视区域

GZ11、GZ21：第一区域

IMD：影像数据

M：距离

S210、S220、S230、S240、S310、S320、S322、S324、S330、S332、S334、S340、S342、S344、S410、S420、S422、S424、S4242、S4244、S4246、S430、S440、S510、S520、S522、S524、S5241～S5245、S5243_1～S5243_5、S530、S540、S810、S820、S822、S824、S830、S832、S834、S840、S842、S844、S846、S848、S9482、S9484、S9486、S9488：步骤

S1、S2：凝视空间

T1、T2、T3：触控坐标

U1、U2、U3：使用者

V1、V2：矢量

θ：视线角度

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明中的指向判断系统以及指向判断方法的范例。

图1是依照本发明一实施例所绘示的指向判断系统的方块图。请参照图1，指向判断系统100可与多位使用者进行互动。更进一步来说，指向判断系统100可判断每一使用者的指向，并据以提供对应的显示效果与内容。指向判断系统100可包括显示屏幕120、影像提取装置140以及处理装置160，但本发明不限于此。显示屏幕120用以显示影像画面。影像提取装置140用以提取包括此些使用者的影像数据IMD。处理装置160可耦接显示屏幕120以及耦接影像提取装置140。处理装置160自影像提取装置140接收影像数据IMD，且根据影像数据IMD检测此些使用者的多个特征CHS。处理装置160可将此些特征CHS分别与此些使用者进行对应性配对。详细来说，处理装置160可将此些特征CHS进行对应性配对以取得各使用者的特征群，且根据各使用者的特征群中的至少二种特征，来判断各使用者朝显示屏幕120的指向。另外，处理装置160还可根据各使用者朝显示屏幕120的指向，判断各使用者所观看的目标物，并在显示屏幕120上提供关联于此目标物的内容。

在本发明的一实施例中，此些特征CHS可例如是各使用者的眼部、手部(包括手指)、凝视方向、手势、骨架、眼部于空间中的坐标、手指于空间中的坐标或是手指触碰显示屏幕120的触控坐标等等，但本发明不限于此。

在本发明的一实施例中，显示屏幕120例如是包括液晶显示器(Liquid CrystalDisplay，LCD)、发光二极管(Light-Emitting Diode，LED)显示器(其可包括无机发光二极管显示器或有机发光二极管显示器)、投影显示装置(Projection Display)或其他种类的显示屏幕。在本发明的另一实施例中，显示屏幕120可以为透明显示器。上述透明显示器是指显示屏幕本身具有一定程度的光线穿透性，能够呈现出显示屏幕后方的背景。透明显示器的显示屏幕120可适用于建筑物(如，观景台、水族馆、博物馆)中的观景窗户、展览橱窗、车辆玻璃兼显示器等多种应用。

在本发明的一实施例中，影像提取装置140的数量可为至少一个，且可依据不同的应用场所而设置在不同的位置，致使影像提取装置140具有较佳的取像范围及取像角度，以避免使用者的特征被遮蔽。影像提取装置140可包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementary metal-oxidesemiconductor，CMOS)元件或其他元件，本发明不在此设限。在另一实施例中，影像提取装置140也可包含完成辨识目标物功能的可程序化处理单元、微处理器(micro-processor)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似电路元件，本发明并不限于此。

在本发明的一实施例中，处理装置160可以是由至少一系统芯片(SOC)、场可编程闸阵列(field programmable gate array，FPGA)芯片、复杂可编程逻辑元件(complexprogrammable logic device，CPLD)、微处理器(Microprocessor)、中央处理单元(Central Processing Unit，CPU)、数位信号处理器(Digital Signal Processor，DSP)，或其他具备运算能力的硬件元件来实现。

在本发明的一实施例中，指向判断系统100还可包括储存装置。储存装置用以储存影像、程序等数据，其可以例如是任意型式的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。

图2是依照本发明一实施例所绘示的指向判断方法的流程图。图2所示的方法流程可结合图1所示的指向判断系统100来实现。请合并参照图1及图2。

首先，于步骤S210，透过影像提取装置140提取包括多位使用者的影像数据IMD。接着，于步骤S220，透过处理装置160根据影像数据IMD检测此些使用者的多个特征CHS。然后，于步骤S230，透过处理装置160将此些特征CHS进行对应性配对以取得各使用者的特征群。之后，于步骤S240，透过处理装置160根据各使用者的特征群中的至少二特征，来判断各使用者朝显示屏幕120的指向。以下列举数个实施例来说明图1的指向判断系统100的运作以及图2的方法流程的实施细节。

图3A是依照本发明一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图，图3B是依照本发明一实施例所绘示的图2的指向判断方法的细节步骤流程图，可用以判断图3A的使用者的指向。请合并参照图1、图3A及图3B。

于步骤S310，影像提取装置140提取包括使用者U1及U2的影像数据IMD。于步骤S320，处理装置160根据影像数据IMD检测此些使用者U1及U2的多个特征CHS，其中此些特征CHS可包括使用者U1、U2的眼部坐标及触控坐标。详细来说，步骤S320包括细节步骤S322及S324。于步骤S322，处理装置160可根据影像数据IMD进行眼部检测，以取得使用者U1的眼睛于空间中的坐标位置E1(下称眼部坐标E1)，以及取得使用者U2的眼睛于空间中的坐标位置E2(下称眼部坐标E2)。另外，于步骤S324，处理装置160可根据影像数据IMD进行触控检测，以取得使用者U1、U2触摸显示屏幕120的坐标位置T1、T2(下称触控坐标T1、T2)。

于步骤S330，处理装置160可将触控坐标T1、T2与使用者U1、U2的眼部坐标E1、E2进行对应性配对。详细来说，步骤S330包括细节步骤S332及S334。于步骤S332，处理装置160可分别计算眼部坐标E1、E2与触控坐标T1、T2之间的距离。于步骤S334，处理装置160可根据此些距离将触控坐标T1、T2分别与使用者U1、U2的眼部坐标E1、E2进行对应性配对，以取得使用者U1的特征群以及使用者U2的特征群。

详细来说，处理装置160可判断使用者U1的眼部坐标E1与触控坐标T1之间的距离是小于使用者U1的眼部坐标E1与触控坐标T2的距离，故处理装置160可将使用者U1的眼部坐标E1与触控坐标T1予以配对，并将眼部坐标E1与触控坐标T1做为使用者U1的特征群。类似地，处理装置160可判断使用者U2的眼部坐标E2与触控坐标T2之间的距离是小于使用者U2的眼部坐标E2与触控坐标T1的距离，故处理装置160可将使用者U2的眼部坐标E2与触控坐标T2予以配对，并将眼部坐标E2与触控坐标T2做为使用者U2的特征群。

于步骤S340，处理装置160可根据使用者U1特征群中的特征(例如:触控坐标T1及眼部坐标E1)，来判断使用者U1朝显示屏幕120的指向，以及根据使用者U2特征群中的特征(例如:触控坐标T2及眼部坐标E2)，来判断使用者U2朝显示屏幕120的指向。详细来说，步骤S340包括细节步骤S342及S344。于步骤S342，处理装置160可根据使用者U1的眼部坐标E1与触控坐标T1计算出矢量V1，以及根据使用者U2的眼部坐标E2与触控坐标T2计算出矢量V2。于步骤S344，处理装置160可将矢量V1作为使用者U1朝显示屏幕120的指向，以及将矢量V2作为使用者U2朝显示屏幕120的指向。

图4A是依照本发明另一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图，图4B是依照本发明另一实施例所绘示的图2的指向判断方法的细节步骤流程图，可用以判断图4A使用者的指向。请合并参照图1、图4A及图4B。

于步骤S410，影像提取装置140提取包括使用者U1、U2、U3的影像数据IMD。于步骤S420，处理装置160根据影像数据IMD检测此些使用者U1、U2、U3的多个特征CHS，其中此些特征CHS可例如是使用者U1、U2、U3的眼部坐标及触控坐标。详细来说，步骤S420包括细节步骤S422及S424。于步骤S422，处理装置160可根据影像数据IMD进行眼部检测，以分别取得使用者U1、U2、U3的眼睛于空间中的坐标位置E1、E2、E3(下称眼部坐标E1、E2、E3)。另外，于步骤S424，处理装置160可根据影像数据IMD进行触控检测，以取得使用者U1、U2、U3触摸显示屏幕120的坐标位置T1、T2、T3(下称触控坐标T1、T2、T3)。

详细来说，步骤S424包括细节步骤S4242、S4244以及S4246。于步骤S4242，处理装置160可于显示屏幕120上，分别设定对应于使用者U1、U2、U3的有效触控区域A1、A2、A3。接着，于步骤S4244，处理装置160可判断使用者U1是否触摸其对应的有效触控区域A1。若步骤S4244的判断结果为是，于步骤S4246中，处理装置160将根据影像数据IMD计算使用者U1触摸于有效触控区域A1的坐标位置以取得触控坐标T1。若步骤S4244的判断结果为否，则回到步骤S422。同样地，使用者U2、U3的触控坐标T2、T3的检测方式同样可根据上述步骤S4244以及S4246的说明而依此类推，故不再赘述。

于步骤S430，处理装置160可将触控坐标T1、T2、T3分别与使用者U1、U2、U3的眼部坐标E1、E2、E3进行对应性配对，以取得各使用者U1、U2、U3的特征群。详细来说，处理装置160所检测到的触控坐标T1是位于使用者U1的有效触控区域A1内，处理装置160可将触控坐标T1与使用者U1的眼部坐标E1予以配对，并以眼部坐标E1与触控坐标T1做为使用者U1的特征群。类似地，处理装置160可将触控坐标T2与使用者U2的眼部坐标E2予以配对，并以眼部坐标E2与触控坐标T2做为使用者U2的特征群，以及将触控坐标T3与使用者U3的眼部坐标E3予以配对，并以眼部坐标E3与触控坐标T3做为使用者U3的特征群。

于步骤S440，处理装置160可根据使用者U1特征群中的特征(例如:触控坐标T1及眼部坐标E1)，来判断使用者U1朝显示屏幕120的指向，根据使用者U2特征群中的特征(例如:触控坐标T2及眼部坐标E2)，来判断使用者U2朝显示屏幕120的指向，以及根据使用者U3特征群中的特征(例如:触控坐标T3及眼部坐标E3)，来判断使用者U3朝显示屏幕120的指向。关于步骤S440的实施细节，可参酌上述图3B的步骤S340的相关说明而依此类推，在此不再赘述。

在本发明的一实施例中，使用者U1所对应的有效触控区域A1可例如是：使用者U1的双臂平举与肩同宽之后，分别向左右两侧展开第一角度以及向上与向下展开第二角度的可触及的范围。类似地，使用者U2及U3所分别对应的有效触控区域A2及A3也可依据上述方式来设定。在本发明的一实施例中，上述第一角度可例如是5度，且上述第二角度可例如是45度，但本发明并不以此为限。事实上，上述第一角度及上述第二角度可依据实际应用或设计需求来决定。

图5A是依照本发明又一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图，图5B是依照本发明又一实施例所绘示的图2的指向判断方法的细节步骤流程图，可用以判断图5A使用者的指向。请合并参照图1、图5A及图5B。

于步骤S510，影像提取装置140提取包括使用者U1及U2的影像数据IMD。于步骤S520，处理装置160根据影像数据IMD检测此些使用者U1及U2的多个特征CHS，其中此些特征CHS可例如是使用者U1、U2的眼部坐标、触控坐标以及使用者U1、U2的眼睛凝视显示屏幕120上的坐标位置。详细来说，步骤S520包括细节步骤S522及S524。于步骤S522，处理装置160可根据影像数据IMD进行眼部检测，以取得使用者U1的眼睛于空间中的坐标位置E1(下称眼部坐标E1)，以及以取得使用者U2的眼睛于空间中的坐标位置E2(下称眼部坐标E2)。另外，于步骤S524，处理装置160可根据影像数据IMD进行触控检测，以取得使用者U1、U2触摸显示屏幕120的坐标位置T1、T2(下称触控坐标T1、T2)。

更进一步来说，步骤S524包括细节步骤S5241～S5245。于步骤S5241，处理装置160可检测各使用者U1、U2的眼睛凝视显示屏幕120上的位置以取得各使用者U1、U2的凝视坐标G1、G2。于步骤S5242，处理装置160可根据各使用者U1、U2的眼部坐标E1、E2、凝视坐标G1、G2以及视线角度来计算各使用者U1、U2于显示屏幕120上的凝视区域GZ1、GZ2。特别是，处理装置160可将凝视区域GZ1、GZ2分别做为使用者U1、U2的有效触控区域，稍后会再详细说明。

在本发明的一实施例中，如图6所示，使用者U1(U2)于显示屏幕120上的凝视区域GZ1(GZ2)的圆心坐标为凝视坐标G1(G2)，且使用者U1(U2)于显示屏幕120上的凝视区域GZ1(GZ2)的半径d可依据式(1)来决定，其中M为使用者U1(U2)的眼部坐标E1(E2)与凝视坐标G1(G2)的距离，而θ为视线角度。

d＝M×tan(θ)式(1)

在本发明的一实施中，视线角度θ的范围可例如是介于3度(含)至5度(含)之间，但本发明不限于此，视线角度θ可视实际应用或设计需求来决定。在本发明的一实施中，为了避免使用者U1(U2)的眼睛与显示屏幕120的距离过近而导致凝视区域GZ1(GZ2)过小(亦即有效触控区域过小)，凝视区域GZ1(GZ2)的半径d可具有最小设定值。换句话说，当透过式(1)计算所得到的凝视区域GZ1(GZ2)的半径d小于此最小设定值时，则处理装置160可将凝视区域GZ1(GZ2)的半径d设为此最小设定值，其中此最小设定值可视实际应用或设计需求来决定。

请重新参照图1、图5A及图5B，于步骤S5243，处理装置160可根据各使用者的凝视区域与至少另一使用者的凝视区域是否重叠来决定各使用者的有效触控区域。举例来说，处理装置160可根据使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2是否重叠来决定使用者U1的有效触控区域。类似地，处理装置160可根据使用者U2的凝视区域GZ2与使用者U1的凝视区域GZ1是否重叠来决定使用者U2的有效触控区域。

详细来说，步骤S5243包括细节步骤S5243_1～S5243_5。于步骤S5243_1，处理装置160可判断使用者U1的凝视区域GZ1是否与使用者U2的凝视区域GZ2至少部份重叠以得到一判断结果。于图5A所示的实施例中，由于使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2完全不重叠(即步骤S5243_1的判断结果为否)，因此处理装置160将使用者U1的凝视区域GZ1作为使用者U1于显示屏幕120上的有效触控区域(下称有效触控区域GZ1)，以及将使用者U2的凝视区域GZ2作为使用者U2于显示屏幕120上的有效触控区域(下称有效触控区域GZ2)，如步骤S5243_2所示。

接着，于步骤S5244，处理装置160可判断使用者U1是否触摸其对应的有效触控区域GZ1。若步骤S5244的判断结果为是，于步骤S5245中，处理装置160将根据影像数据IMD计算使用者U1触摸其有效触控区域GZ1的坐标位置以取得触控坐标T1。若步骤S5244的判断结果为否，则回到步骤S522。另外，取得使用者U2的触控坐标T2的方式也可依据上述步骤S5244及S5245的说明而类推。

于步骤S530，处理装置160可将触控坐标T1、T2分别与使用者U1、U2的眼部坐标E1、E2及凝视坐标G1、G2进行对应性配对。详细来说，处理装置160所检测到的触控坐标T1是位于使用者U1的有效触控区域GZ1内，处理装置160可将触控坐标T1与使用者U1的眼部坐标E1及凝视坐标G1予以配对，并以眼部坐标E1、凝视坐标G1与触控坐标T1做为使用者U1的特征群。类似地，处理装置160可将触控坐标T2与使用者U2的眼部坐标E2及凝视坐标G2予以配对，并以眼部坐标E2、凝视坐标G2与触控坐标T2做为使用者U2的特征群。

于步骤S540，处理装置160可根据使用者U1的特征群中至少二特征，来判断使用者U1朝显示屏幕120的指向。更进一步来说，由于使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2完全不重叠，因此处理装置160可根据使用者U1的眼部坐标E1与凝视坐标G1计算矢量V1，并将矢量V1作为使用者U1朝显示屏幕120的指向。类似地，处理装置160可根据使用者U2的眼部坐标E2与凝视坐标G2计算矢量V2，并将矢量V2作为使用者U2朝显示屏幕120的指向。

图5C是依照本发明又一实施例所绘示的图1的指向判断系统判断使用者的指向的示意图。图5B所示的指向判断方法的细节步骤流程同样可用来判断图5C使用者的指向。请合并参照图1、图5A～图5C，相较于图5A的使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2完全不重叠，图5C的使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2至少部份重叠，其中图5C的使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2之间的重叠区域小于或等于一临界值。此临界值可例如是重叠区域与凝视区域GZ1(或凝视区域GZ2)的比例，其可依据实际应用或设计需求来设定。图5C的使用者U1、U2的有效触控区域，可与图5A的使用者U1、U2的有效触控区域有所不同。

详细来说，于图5B的步骤S5243中，处理装置160可根据各使用者的凝视区域与至少另一使用者的凝视区域是否重叠来决定各使用者的有效触控区域。更进一步来说，于步骤S5243_1，处理装置160可判断使用者U1的凝视区域GZ1是否与使用者U2的凝视区域GZ2至少部份重叠以得到一判断结果。在图5C所示的实施例中，使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2至少部份重叠(即步骤S5243_1的判断结果为是)，因此于步骤S5243_3，处理装置160可判断使用者U1与使用者U2是否观看显示屏幕120上的同一显示物件。

若使用者U1与使用者U2是观看显示屏幕120上的同一显示物件(即步骤S5243_3的判断结果为是)，则处理装置160可将使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2，共同做为使用者U1于显示屏幕120上的有效触控区域，如步骤S5243_4所示。同样地，处理装置160可将使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2，做为使用者U2于显示屏幕120上的有效触控区域。换句话说，如图7A所示，由凝视区域GZ1与凝视区域GZ2所包含的所有区域GA将做为使用者U1与U2两者共同的有效触控区域。

相对地，若使用者U1与使用者U2并非观看显示屏幕120上的同一显示物件(即步骤S5243_3的判断结果为否)，则如图7B所示，处理装置160将使用者U1的凝视区域GZ1中的第一区域GZ11做为使用者U1于显示屏幕120上的有效触控区域，其中第一区域GZ11与使用者U2的凝视区域GZ2不重叠，如步骤S5243_5所示。同样地，处理装置160将使用者U2的凝视区域GZ2中的第一区域GZ21做为使用者U2于显示屏幕120上的有效触控区域，其中第一区域GZ21与使用者U1的凝视区域GZ1不重叠。

另外，于图5B的步骤S540中，处理装置160可根据使用者U1的特征群中至少二特征，来判断使用者U1朝显示屏幕120的指向。更进一步来说，使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2之间的重叠区域小于或等于上述临界值，处理装置160可根据使用者U1的眼部坐标E1与凝视坐标G1计算矢量V1，并将矢量V1作为使用者U1朝显示屏幕120的指向。类似地，处理装置160可根据使用者U2的眼部坐标E2与凝视坐标G2计算矢量V2，并将矢量V2作为使用者U2朝显示屏幕120的指向。至于图5B所示的指向判断方法中，用来判断图5C的使用者的指向的其他步骤的说明，则可参照上述图5A及图5B的相关说明，在此不再赘述。

图5D是依照本发明又一实施例所绘示的图1的指向判断系统判断使用者的指向示意图。图5B所示的指向判断方法的细节步骤流程同样可用来判断图5D的使用者的指向。请合并参照图1、图5B～图5D。类似于图5C，图5D的使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2至少部份重叠。因此，图5D的使用者U1、U2的有效触控区域的决定方式可参酌上述图5C的相关说明，在此不再赘述。

另外，相较于图5C的使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2之间的重叠区域小于或等于一临界值，图5D的使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2之间的重叠区域乃是大于上述临界值。图5D的使用者U1、U2的指向判断细节，可与图5C的使用者U1、U2的指向判断细节些许不同。

详言之，于图5B的步骤S540中，处理装置160可根据使用者U1的特征群中至少二特征，来判断使用者U1朝显示屏幕120的指向。更进一步来说，图5D使用者U1的凝视区域GZ1与使用者U2的凝视区域GZ2之间的重叠区域大于上述临界值，处理装置160可根据使用者U1的凝视坐标G1与使用者U2的凝视坐标G2来计算共同坐标GC，根据共同坐标GC及使用者U1的眼部坐标E1来计算矢量V1，并将矢量V1做为使用者U1朝显示屏幕120的指向。同样地，处理装置160可根据共同坐标GC及使用者U2的眼部坐标E2来计算矢量V2，并将矢量V2做为使用者U2朝显示屏幕120的指向。在本发明的一实施例中，共同坐标GC可例如是使用者U1的凝视坐标G1与使用者U2的凝视坐标G2两者的中心点坐标，但不限于此。

至于图5B所示的指向判断方法中，用来判断图5D的使用者的指向的其他步骤的说明，则可参照上述图5A及图5B的相关说明，在此不再赘述。

图8A是依照本发明又一实施例所绘示的多位使用者的多个特征的配对示意图，图8B是依照本发明又一实施例所绘示的多位使用者的指向判断示意图，图8C是依照本发明又一实施例所绘示的图2的指向判断方法的细节步骤流程图。在图8B的实施例中，使用者U1及U2可不直接触碰到显示屏幕120。请先合并参照图1、图8A及图8C。于步骤S810，影像提取装置140提取包括使用者U1及U2的影像数据IMD。于步骤S820中，处理装置160根据影像数据IMD检测此些使用者U1、U2的多个特征CHS。于本实施例中，使用者U1、U2的特征CHS可例如是眼睛、手指以及手势。更进一步来说，步骤S820包括细节步骤S822及S824。于步骤S822，处理装置160可根据影像数据IMD分别对使用者U1、U2的眼睛进行追踪。于步骤S824，处理装置160可根据影像数据IMD分别辨识使用者U1、U2手指的手势。

于步骤S830，处理装置160可将使用者U1、U2的眼睛及手指进行对应性配对。详细来说，步骤S830包括细节步骤S832及S834。于步骤S832，处理装置160可判断使用者U1的手势是否符合一特定手势，其中此特定手势可依据实际应用或设计需求来设定。若步骤S832的判断结果为是，于步骤S834，处理装置160可将使用者U1的眼睛与对应于上述手势的手指予以配对，以取得使用者U1的特征群(包括眼睛及手指)。若步骤S832的判断结果为否，则回到步骤S822。另外，使用者U2的特征群的取得方式同样可根据上述步骤S832及S834的说明而依此类推，故不再赘述。

接着请合并参照图1、图8B及图8C。于步骤S840，处理装置160可根据各使用者U1、U2特征群中的特征，来判断各使用者U1、U2朝显示屏幕120的指向。详细来说，步骤S840包括细节步骤S842、S844、S846及S848。于步骤S842，处理装置160可根据影像数据IMD计算使用者U1、U2的眼睛于空间中的眼部坐标E1、E2。于步骤S844，处理装置160可根据影像数据IMD进行骨架追踪以判断使用者U1、U2的手势是否为触控手势。若步骤S844的判断结果为是，于步骤S846，处理装置160计算使用者U1、U2的手指于空间中的手指坐标F1、F2。若步骤S844的判断结果为否，则回到步骤S842。于步骤S848，处理装置160可根据使用者U1的眼部坐标E1以及手指坐标F1计算矢量V1，以作为使用者U1朝显示屏幕120的指向。同样地，处理装置160可根据使用者U2的眼部坐标E2以及手指坐标F2计算矢量V2，以作为使用者U2朝显示屏幕120的指向。再者，通过步骤S844的判断，可避免因使用者U1、U2的手臂随机舞动而导致处理装置160产生误判，故可提高指向判断的精确度。

图9A是依照本发明又一实施例所绘示的多位使用者的指向判断示意图，图9B是依照本发明一实施例所绘示的图8C的步骤S848的细节步骤流程图。在图9A的实施例中，使用者U1及U2未直接触碰到显示屏幕120。请合并参照图1、图8C、图9A及图9B。步骤S848包括细节步骤S9482、S9484、S9486以及S9488。于步骤S9482，处理装置160可检测使用者U1的眼睛凝视显示屏幕120上的位置以得到使用者U1的凝视坐标G1。于步骤S9484，处理装置160可根据使用者U1的眼部坐标E1、凝视坐标G1以及视线角度θ形成使用者U1的凝视空间S1。于步骤S9486，处理装置160透过手指追踪来判断使用者U1的手指坐标F1是否位于使用者U1的凝视空间S1内。若步骤S9486的判断结果为是，于步骤S9488，处理装置160根据眼部坐标E1与手指坐标F1计算矢量V1以作为使用者U1朝显示屏幕120的指向。若步骤S9486的判断结果为否，则回到步骤S842。同样地，使用者U2的凝视空间S2以及使用者U2朝显示屏幕120的指向同样可根据上述步骤S9482、S9484、S9486以及S9488的说明而依此类推，故不再赘述。再者，通过步骤S9486的判断，可避免因使用者U1、U2的手臂随机舞动而导致处理装置160产生误判，故可提高指向判断的精确度。

在本发明的一实施例中，也可将使用者U1与使用者U2两者予以群组化以做为同一群组。举例来说，若使用者U1与使用者U2为同一群组，即使使用者U2的手势并非触控手势，一旦使用者U1的手指坐标F1进入使用者U2的凝视空间S2内，处理装置160可根据使用者U2的眼部坐标E2与使用者U1的手指坐标F1计算矢量V2以作为使用者U2朝显示屏幕120的指向。

在上述的各实施例中，虽然是以两位使用者或三位使用者来说明，但本发明并不以此为限。多于三位使用者的指向判断方法当可依据上述各实施例的说明而依此类推，故不再赘述。

本发明一实施例所提出的指向判断系统以及指向判断方法，在与多位使用者同时进行互动的情况下，可正确地判断出此些使用者的指向，避免指向性错乱的问题发生。

虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书为准。

Claims (16)

1.一种指向判断方法，其特征在于，包括：

透过至少一影像提取装置提取包括多位使用者的影像数据；以及

透过处理装置执行以下步骤：

根据所述影像数据检测所述使用者的多个特征；

将所述特征进行对应性配对以取得各所述使用者的特征群；以及

根据各所述使用者的所述特征群中的至少二特征，来判断各所述使用者朝显示屏幕的指向，其中

根据所述影像数据检测所述使用者的所述特征的步骤包括：根据所述影像数据进行眼部检测以分别取得所述使用者的多个眼睛于空间中的多个眼部坐标；以及根据所述影像数据进行触控检测以分别取得所述使用者触摸所述显示屏幕的多个触控坐标，其中所述特征包括所述眼部坐标以及所述触控坐标，并且

将所述特征进行对应性配对以取得各所述使用者的所述特征群的步骤包括：

分别计算所述眼部坐标与所述触控坐标之间的距离；根据所述距离将所述触控坐标分别与所述眼部坐标进行对应性配对，以取得各所述使用者的所述特征群；

或者，

根据所述影像数据检测所述使用者的所述特征的步骤包括：根据所述影像数据分别对所述使用者的多个眼睛进行追踪；以及根据所述影像数据分别辨识所述使用者的多个手指的多个手势，其中所述特征包括所述眼睛、所述手指以及所述手势，并且

将所述特征进行对应性配对以取得各所述使用者的所述特征群的步骤包括：判断各所述使用者的所述手势是否符合特定手势以得到第一判断结果；若所述第一判断结果为是，则将所述使用者的所述眼睛与对应于所述手势的所述手指予以配对，以取得各所述使用者的所述特征群。

2.如权利要求1所述的指向判断方法，其特征在于，所述根据各所述使用者的所述特征群中的所述至少二特征，来判断各所述使用者朝所述显示屏幕的所述指向的步骤包括：

根据所述使用者的所述特征群中的所述眼部坐标与所述触控坐标计算矢量；以及

将所述矢量作为所述使用者朝所述显示屏幕的所述指向。

3.如权利要求1所述的指向判断方法，其特征在于，根据所述影像数据进行触控检测以分别取得所述使用者触摸所述显示屏幕的所述触控坐标的步骤包括：

于所述显示屏幕上，设定对应于各所述使用者的有效触控区域；

判断各所述使用者是否触摸所述对应的有效触控区域以得到第一判断结果；以及

若所述第一判断结果为是，则根据所述影像数据计算各所述使用者触摸所述对应的有效触控区域的所述触控坐标。

4.如权利要求3所述的指向判断方法，其特征在于，于所述显示屏幕上，设定对应于各所述使用者的所述有效触控区域的步骤包括：

检测各所述使用者的所述眼睛凝视所述显示屏幕上的位置以取得各所述使用者的凝视坐标；

根据各所述使用者的所述眼部坐标、所述凝视坐标以及视线角度来计算各所述使用者于所述显示屏幕上的凝视区域；以及

根据各所述使用者的所述凝视区域与所述使用者中的至少另一者的所述凝视区域是否重叠来决定各所述使用者的所述有效触控区域。

5.如权利要求4所述的指向判断方法，其特征在于，根据各所述使用者的所述凝视区域与所述使用者中的所述至少另一者的所述凝视区域是否重叠来决定各所述使用者的所述有效触控区域的步骤包括：

判断各所述使用者的所述凝视区域是否与所述使用者中的所述至少另一者的所述凝视区域至少部份重叠以得到第二判断结果；

若所述第二判断结果为否，则将所述使用者于所述显示屏幕上的所述凝视区域作为所述使用者于所述显示屏幕上的所述有效触控区域；

若所述第二判断结果为是，则判断所述使用者与所述使用者中的所述至少另一者是否观看所述显示屏幕上的同一显示物件以得到第三判断结果；

若所述第三判断结果为是，则将所述使用者于所述显示屏幕上的所述凝视区域与所述使用者中的所述至少另一者于所述显示屏幕上的所述凝视区域，作为所述使用者于所述显示屏幕上的所述有效触控区域；以及

若所述第三判断结果为否，将所述使用者于所述显示屏幕上的所述凝视区域中的第一区域作为所述使用者于所述显示屏幕上的所述有效触控区域，其中所述第一区域与所述使用者中的所述至少另一者于所述显示屏幕上的所述凝视区域不重叠。

6.如权利要求5所述的指向判断方法，其特征在于，所述特征还包括各所述使用者的所述凝视坐标，

其中将所述特征进行对应性配对以取得各所述使用者的所述特征群的步骤包括：

将所述使用者触摸所述对应的有效触控区域的所述触控坐标与所述使用者的所述眼部坐标及所述凝视坐标予以配对，以取得所述使用者的所述特征群，

其中根据各所述使用者的所述特征群中的所述至少二特征，来判断各所述使用者朝所述显示屏幕的所述指向的步骤包括：

若所述第二判断结果为否，根据所述使用者的所述特征群中的所述眼部坐标与所述凝视坐标计算矢量；

若所述第二判断结果为是，判断所述使用者于所述显示屏幕上的所述凝视区域与所述使用者中的所述至少另一者于所述显示屏幕上的所述凝视区域之间的重叠区域是否大于临界值以得到第四判断结果；

若所述第四判断结果为否，根据所述使用者的所述眼部坐标与所述凝视坐标计算所述矢量；

若所述第四判断结果为是，根据所述使用者的所述凝视坐标与所述使用者中的所述至少另一者的所述凝视坐标来计算共同坐标，且根据所述共同坐标及所述使用者的所述眼部坐标来计算所述矢量；以及

将所述矢量作为所述使用者朝所述显示屏幕的所述指向。

7.如权利要求1所述的指向判断方法，其特征在于，根据各所述使用者的所述特征群中的所述至少二特征，来判断各所述使用者朝所述显示屏幕的所述指向的步骤包括：

根据所述影像数据计算所述使用者的所述眼睛于空间中的眼部坐标；

根据所述影像数据判断所述使用者的所述手势是否为触控手势以得到第二判断结果；

若所述第二判断结果为是，则计算所述使用者的所述手指于所述空间中的手指坐标；以及

根据所述使用者的所述眼部坐标以及所述手指坐标计算矢量，以作为所述使用者朝所述显示屏幕的所述指向。

8.如权利要求7所述的指向判断方法，其特征在于，根据所述使用者的所述眼部坐标以及所述手指坐标计算所述矢量的步骤包括：

检测所述使用者的所述眼睛凝视所述显示屏幕上的位置以得到所述使用者的凝视坐标；

根据所述使用者的所述眼部坐标、所述凝视坐标以及视线角度形成所述使用者的凝视空间；

判断所述使用者的所述手指坐标是否位于所述使用者的所述凝视空间内以得到第三判断结果；以及

若所述第三判断结果为是，则根据所述眼部坐标与所述手指坐标计算所述矢量。

9.一种指向判断系统，其特征在于，包括：

显示屏幕；

至少一影像提取装置，用以提取包括多位使用者的影像数据；以及

处理装置，耦接所述显示屏幕及所述至少一影像提取装置以接收所述影像数据，且根据所述影像数据检测所述使用者的多个特征，

其中所述处理装置将所述特征进行对应性配对以取得各所述使用者的特征群，且根据各所述使用者的所述特征群中的至少二特征，来判断各所述使用者朝所述显示屏幕的指向；

所述处理装置根据所述影像数据进行眼部检测以分别取得所述使用者的多个眼睛于空间中的多个眼部坐标，且根据所述影像数据进行触控检测以分别取得所述使用者触摸所述显示屏幕的多个触控坐标，所述特征包括所述眼部坐标以及所述触控坐标；所述处理装置分别计算所述眼部坐标与所述触控坐标之间的距离，且根据所述距离将所述触控坐标分别与所述眼部坐标进行对应性配对，以取得各所述使用者的所述特征群；

或者，

所述处理装置根据所述影像数据分别对所述使用者的多个眼睛进行追踪，且根据所述影像数据分别辨识所述使用者的多个手指的多个手势，所述特征包括所述眼睛、所述手指以及所述手势，若各所述使用者的所述手势符合特定手势，则所述处理装置将所述使用者的所述眼睛与对应于所述手势的所述手指予以配对，以取得各所述使用者的所述特征群。

10.如权利要求9所述的指向判断系统，其特征在于，所述处理装置根据所述使用者的所述特征群中的所述眼部坐标与所述触控坐标计算矢量，并将所述矢量作为所述使用者朝所述显示屏幕的所述指向。

11.如权利要求9所述的指向判断系统，其特征在于，所述处理装置于所述显示屏幕上，设定对应于各所述使用者的有效触控区域，

若各所述使用者触摸所述对应的有效触控区域，则所述处理装置根据所述影像数据计算各所述使用者触摸所述对应的有效触控区域的所述触控坐标。

12.如权利要求11所述的指向判断系统，其特征在于，所述处理装置检测各所述使用者的所述眼睛凝视所述显示屏幕上的位置以取得各所述使用者的凝视坐标，根据各所述使用者的所述眼部坐标、所述凝视坐标以及视线角度来计算各所述使用者于所述显示屏幕上的凝视区域，并根据各所述使用者的所述凝视区域与所述使用者中的至少另一者的所述凝视区域是否重叠来决定各所述使用者的所述有效触控区域。

13.如权利要求12所述的指向判断系统，其特征在于，若所述使用者的所述凝视区域与所述使用者中的所述至少另一者的所述凝视区域不重叠，则处理装置将所述使用者于所述显示屏幕上的所述凝视区域作为所述使用者于所述显示屏幕上的所述有效触控区域，

若所述使用者的所述凝视区域与所述使用者中的所述至少另一者的所述凝视区域至少部份重叠，且所述使用者与所述使用者中的所述至少另一者观看所述显示屏幕上的同一显示物件，则所述处理装置将所述使用者于所述显示屏幕上的所述凝视区域与所述使用者中的所述至少另一者于所述显示屏幕上的所述凝视区域，作为所述使用者于所述显示屏幕上的所述有效触控区域，

若所述使用者的所述凝视区域与所述使用者中的所述至少另一者的所述凝视区域至少部份重叠，且所述使用者与所述使用者中的所述至少另一者并非观看所述显示屏幕上的同一显示物件，则所述处理装置将所述使用者于所述显示屏幕上的所述凝视区域中的第一区域作为所述使用者于所述显示屏幕上的所述有效触控区域，其中所述第一区域与所述使用者中的所述至少另一者于所述显示屏幕上的所述凝视区域不重叠。

14.如权利要求13所述的指向判断系统，其特征在于，所述特征还包括各所述使用者的所述凝视坐标，其中：

所述处理装置将所述使用者触摸所述对应的有效触控区域的所述触控坐标与所述使用者的所述眼部坐标及所述凝视坐标予以配对，以取得所述使用者的所述特征群，

若所述使用者的所述凝视区域与所述使用者中的所述至少另一者的所述凝视区域不重叠，或所述使用者于所述显示屏幕上的所述凝视区域与所述使用者中的所述至少另一者于所述显示屏幕上的所述凝视区域之间的重叠区域小于或等于临界值，则所述处理装置根据所述使用者的所述眼部坐标与所述凝视坐标计算矢量，以作为所述使用者朝所述显示屏幕的所述指向，

若所述重叠区域大于所述临界值，则所述处理装置根据所述使用者的所述凝视坐标与所述使用者中的所述至少另一者的所述凝视坐标来计算共同坐标，且根据所述共同坐标及所述使用者的所述眼部坐标来计算所述矢量，以作为所述使用者朝所述显示屏幕的所述指向。

15.如权利要求9所述的指向判断系统，其特征在于，所述处理装置根据所述影像数据计算所述使用者的所述眼睛于空间中的眼部坐标，且根据所述影像数据判断所述使用者的所述手势是否为触控手势，

若所述使用者的所述手势为所述触控手势，则所述处理装置计算所述使用者的所述手指于所述空间中的手指坐标，并根据所述使用者的所述眼部坐标以及所述手指坐标计算矢量，以作为所述使用者朝所述显示屏幕的所述指向。

16.如权利要求15所述的指向判断系统，其特征在于，所述处理装置检测所述使用者的所述眼睛凝视所述显示屏幕上的位置以得到所述使用者的凝视坐标，根据所述使用者的所述眼部坐标、所述凝视坐标以及视线角度形成所述使用者的凝视空间，并判断所述使用者的所述手指坐标是否位于所述使用者的所述凝视空间内，

若所述使用者的所述手指坐标位于所述使用者的所述凝视空间内，则所述处理装置根据所述眼部坐标与所述手指坐标计算所述矢量。