CN107346175A - 一种手势位置校正方法和增强现实显示设备 - Google Patents

Abstract

本发明提供了一种手势位置校正方法和增强现实显示设备。其中，所述手势位置校正方法应用在增强现实显示设备中，所述增强现实显示设备包括深度摄像头，并且所述方法包括：检测手势；获取在所述增强显示设备中显示所述手势时关于所述手势的第一位置信息；基于所述深度摄像头与人眼之间的距离和夹角计算所述手势的位置偏差；通过所述位置偏差校正所述手势的第一位置信息。该方法可有效解决深度摄像头与人眼产生偏差的技术问题。

Description

一种手势位置校正方法和增强现实显示设备

技术领域

本发明实施例涉及增强现实显示设备，特别涉及一种手势位置校正方法和增强现实显示设备。

背景技术

随着技术水平的不断发展，虚拟显示设备逐渐在市场中崭露头角。在交互上，大部分采用手势对虚拟显示的物体或菜单进行操控，因此手势的精度在虚拟显示中显得尤为重要。

目前市面上的AR产品，一般通过繁琐的手势检测来执行精度校正，该过程较为麻烦，用户体验不好，且校正精度不高。

发明内容

本发明实施例提供了一种方便且校正精度高的手势位置校正方法和增强现实显示设备。

为了解决上述技术问题，本发明实施例提供了如下的技术方案：

一种手势位置校正方法，其应用在增强现实显示设备中，所述增强现实显示设备包括深度摄像头，并且所述方法包括：

通过深度摄像头获取图像并检测手势，其中包括获取所述手势的第一位置信息；

基于所述深度摄像头与人眼之间的距离和夹角计算所述手势的位置偏差；

通过所述位置偏差校正所述手势的第一位置信息。

其中，所述计算所述手势的位置偏差包括：

利用函数模型d1＝D*C1*sinA/C2来计算所述手势的位置偏差；

其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。

其中，所述方法还包括生成所述预设参数，其包括：

通过执行参数校验程序生成所述预设参数，其中，所述执行参数校验程序包括：

输出显示与人眼为不同距离的第一十字图形第二十字图形，并且，用户通过调节姿态使所述第一十字和第二十字重合的显示效果为重合；

获取所述深度摄像头与执行手势的主体对象的第一距离(C1)，以及所述第一位置信息，其中所述第一位置信息包括深度摄像头与其获取的手势位置之间的第二距离(C2)；

基于所述第一距离和第二距离生成所述预设参数。

其中，还包括获取所述深度摄像头与人眼之间的距离和夹角，其包括：

获取深度摄像头与第一十字的纵向上端点之间的第三距离，和与第一十字中心点之间的第四距离；

基于所述第三距离和第四距离计算所述深度摄像头与人眼之间的距离和夹角。

其中，在启动增强现实显示设备时执行所述通过执行参数校验程序。

其中，基于所述深度摄像头与人眼之间的距离和夹角，以及预设参数计算所述手势的位置偏差包括：

计算所述手势在所述第一十字和第二十字横向方向上的第一位置偏差，以及所述第一十字和第二十字在纵向方向上的第二位置偏差。

其中，所述检测手势包括：

利用深度摄像头摄取图像；

识别所述图像中的手势。

一种增强现实显示设备，其包括深度摄像头和处理器，

所述深度摄像头配置为获取图像并检测手势，其中包括获取所述手势的第一位置信息；

其中所述处理器配置为基于所述深度摄像头与人眼之间的距离和夹角计算所述手势的位置偏差，并通过所述位置偏差校正所述手势的第一位置信息。

其中，所述处理器进一步配置为利用函数模型d1＝D*C1*sinA/C2来计算所述手势的位置偏差；

其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。

其中，所述处理器进一步配置为通过执行参数校验程序生成所述预设参数，其中，所述执行参数校验程序包括：

输出显示与人眼为不同距离的第一十字图形第二十字图形，并且，用户通过调节姿态使所述第一十字和第二十字重合的显示效果为重合；

获取所述深度摄像头与执行手势的对象的第一距离(C1)，以及所述第一位置信息，其中所述第一位置信息包括深度摄像头与其获取的手势位置之间的第二距离(C2)；

基于所述第一距离和第二距离生成所述预设参数。

根据上述公开，本发明实施例具备的有益效果在于：

本发明实施例能够快速方便的对深度摄像头获取的手势位置信息进行校正，无需繁琐重复的校正操作，用户体验更好。

附图说明

图1为现有技术中手势在增强现实显示设备的深度摄像头和用户眼睛之间存偏差的示意图；

图2为本发明一实施例提供的一种手势位置校正方法的原理流程图；

图3为本发明一实施例提供的一种手势位置校正方法的示意图；

图4为本发明一实施例提供的一种手势位置校正方法的示意图；

图5为本发明一实施例提供的一种增强现实显示设备原理示意图。

具体实施方式

下面，结合附图对本发明的具体实施例进行详细的描述，但不作为本发明的限定。

应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

现有技术中，如图1所示，增强现实显示设备的深度摄像头和用户眼睛之间存在一定距离，该距离偏差导致深度摄像头和用户眼睛在观察手势时产生视觉偏差，该偏差既包括横向偏差也包括纵向偏差，从而导致用户在手势操控时，主观感觉手势已经移动到相应的位置，但深度摄像头认为手势没有移动到对应的位置，进而导致手势操作不准。例如在图1中，深度摄像头和用户眼睛所观察的手势在纵向上存在明显的偏差，其中投射面板上方的手势为用户眼睛定位的手势，下方的手势为深度摄像头定位的手势，可见，深度摄像头和用户眼睛所定位的手势之间存在一定距离。

本发明实施例提供一种手势位置校正方法，其应用在增强现实显示设备中，增强现实显示设备包括深度摄像头，并且该方法包括：通过深度摄像头获取图像并检测手势，其中包括获取手势的第一位置信息；基于深度摄像头与人眼之间的距离和夹角计算手势的位置偏差；通过位置偏差校正手势的第一位置信息。

本发明实施例还提供一种增强现实显示设备，其包括深度摄像头和处理器，深度摄像头配置为获取图像并检测手势；处理器配置为基于深度摄像头与人眼之间的距离和夹角计算手势的位置偏差，并通过位置偏差校正在增强显示设备中显示手势时获取的关于手势的第一位置信息。

下面，结合附图详细的说明本发明实施例。本发明实施例提供了一种手势位置校正方法，其应用在增强现实显示设备中，该增强现实显示设备包括深度摄像头，该方法可以计算所检测到深度摄像头所检测到的手势的位置信息与人眼所观察到的手势位置信息之间的偏差，具有操作方便且校正精度高的特点。

如图2所示，该手势位置校正方法包括：

S101：检测手势；

本实施例中，增强现实显示设备可以配置有深度摄像头和图像识别模块，通过该深度摄像头可以获取图像信息，图像识别模块可以对深度摄像头中获取的图像进行识别，如可以识别人脸，本发明实施例中图像识别模块可以识别图像中的手势操作。另外，上述图像识别模块可以是集成到深度摄像头中的图像识别模块，也可以是可以与深度摄像头执行通信的单独的设备模块。即深度摄像头可以直接对其获取的图像信息直接进行图像识别，从而识别获取的图像中的手势；也可以将深度摄像头所获取的图像信息发送至图像识别模块进行手势识别，以执行手势的检测。

S102：获取在增强显示设备中显示手势时关于手势的第一位置信息；

本实施例中，第一位置信息可以为增强显示设备的深度摄像头获取的手势的位置信息，由于深度摄像头的位置和人眼的位置之间存在的差异会导致深度摄像头所分析出的手势的位置信息与人眼所观察的手势位置信息之间存在一定的偏差。本发明实施例中所采用的深度摄像头还包括图像处理模块，该图像处理模块可以根据摄像头获取的图像信息分析图像中的手势的位置。具体的，图像识别模块可以在检测到图像中的手势信息时，向图像处理模块发送关于检测到手势的信息，图像处理模块即可以通过分析图像来获得该图像中的手势的第一位置信息，其中该第一位置信息可以包括执行手势的手与深度摄像头之间的距离

S103：基于深度摄像头与人眼之间的距离和夹角计算手势的位置偏差；

本实施例中，如图3所示，增强现实显示设备通过执行参数校验程序生成预设参数，该校验程序例如可以在校验程序启动执行。例如，增强现实显示设备可以触发用户输入第一十字和第二十字，该第一字和第二十字为用户在佩戴增强现实显示设备时，通过手势输入的两个十字，也可以是增强现实显示设备在显示屏中输出显示的两个十字，用户可以自行的调节该两个十字的位置，最终使该两个十字重合，另外，用户也可以通过调节姿态使第一十字和第二十字重合。其中，两个十字的高度和间隔可以根据需求设定，本实施例中，两个十字间隔例如可以为2米，其中，靠近用户的第一十字的单边长例如可以为20cm，远离用户的第二十字单边长例如可以为80cm；用户通过调整自身的姿态及与两个十字的位置关系，使得最终从用户的视角看，两个十字完全重合。当两个十字完全重合后，增强显示设备可以自动计算出深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A，之后增强现实显示设备利用D和A进行计算手势的位置偏差。

例如，在本实施例的一个示例中，深度摄像头获取的手势的位置信息与人眼观察的手势位置信息在纵向上存在偏差，如图3所示，本示例中，可以通过测量当用户调整与两个十字的位置关系，使得用户观察到两十字重合时，眼睛距离蓝色十字的距离、深度摄像头与第一十字纵向上端点的距离D1、深度摄像头与第一十字中心点的距离D2、深度摄像头与第一十字中心点的水平距离D3、深度摄像头与第一十字中心点的垂直距离D4、深度摄像头与用户眼睛的水平距离D5计算得到深度摄像头与第一十字中心连线与垂直方向的夹角A1、深度摄像头与第一十字中心连线与水平方向的夹角A2，进而计算得到深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A。其计算过程如下：

本实施例中，当用户调整与两个十字的位置关系使得用户观察到两十字重合时，眼睛距离蓝色十字的距离为0.5m，因此：

A1＝arcos((D2²+0.2²–D1²)/D2*D1)；

A2＝90-A1；

D4＝D2*sinA2；

D3＝D2*cosA2；

D5＝0.5–D3；

所以角度A的计算：

A＝arctan(D4/D5)

＝arctan(D2*sin(90-arcos((D2²+0.2²–D1²)/D2*D1))/(0.5-D2*cos(90-arcos((D2²+0.2²–D1²)/D2*D1)))；

距离D的计算：

D＝D4/sinA

＝D2*sin(90-arcos((D2²+0.2²–D1²)/D2*D1))/sinA；

从而通过计算得到深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A。

本实施例中，利用D和A进行计算手势的位置偏差可以包括：利用函数模型来计算所述手势的位置偏差；该函数模型为：

d1＝D*C1*sinA/C2

其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。本实施例中，如图4所示，C2例如可以为深度摄像头与执行手势的主体对象的距离，C1例如可以为深度摄像头获取的手势图像分析出的深度摄像头与手势主体成像位置之间的距离，本实施例中，C1和C2可以通过深度摄像头和系统获得。该函数模型中，深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A为已知变量，通过前面的计算获得，则：

D4＝D*sinA

A2＝arcsin(D4/C2)＝arcsin(D*sinA/C2)

可以推出：

d1＝C1*sinA2＝D4*C1/C2＝D*C1*sinA/C2

通过上述计算，得到了手势在用户眼睛和深度摄像头之间的偏移量d1，因此增强现实显示设备自动在具有偏差的纵向的坐标上，自动减去偏移量d1，从而获得手势在用户眼睛视角下在系统中所处的位置。

S104：通过位置偏差校正手势的第一位置信息。

本实施例中，利用上述通过计算得到的手势在用户眼睛和深度摄像头之间的偏移量d1来校正手势的位置。

在本发明的其他实施例中，偏移量d1可以为手势在第一十字和第二十字横向方向上的位置偏差，也可以是在第一十字和第二十字的纵向方向上的位置偏差。

需要说明的是，本发明实施例对调节手势在用户眼睛和深度摄像头之间的纵向偏差进行了说明，对于手势在用户眼睛和深度摄像头之间的横向偏差的调节，原理与上述相同，在此不再赘述。

基于上述实施例的说明，本发明实施例提供的手势位置校正方法可以在获得手势的纵向偏差和横向偏差之后，即可以对深度摄像头所获取的手势的第一位置信息进行校正，从而保证深度摄像头和人眼所观察到的手势为一致。

另外，本发明实施例提供一种增强现实显示设备，该增强现实显示设备可以应用上述本发明实施例提供的手势位置校正方法，如图5所示，该增强现实显示设备100包括深度摄像头101和处理器102、以及显示屏，其中，深度摄像头101可以获取图像并检测手势，在本发明实施例中深度摄像头101内可以集成图像识别的功能，即图像识别模块可以在集成到深度摄像头中，在另一实施例中，增强现实显示设备也可以包括与深度摄像头执行通信的单独的图像处理模块。即深度摄像头可以直接对其获取的图像信息直接进行图像识别，从而识别获取的图像中的手势；也可以将深度摄像头所获取的图像信息发送至图像识别模块进行手势识别，以执行手势的检测。

处理器102可以与深度摄像头101连接并基于深度摄像头101与人眼之间的距离和夹角计算手势的位置偏差，并通过位置偏差校正在增强显示设备中显示手势时获取的关于手势的第一位置信息。

本实施例中，该增强现实显示设备100的处理器102可以进一步配置为利用函数模型d1＝D*C1*sinA/C2来计算手势的位置偏差；其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。其具体计算方式同上一实施例，在此不再赘述。

本实施例中，该增强现实显示设备100的处理器102还可以进一步配置为通过执行参数校验程序生成所述预设参数，其中，所述执行参数校验程序包括：输出显示与人眼为不同距离的第一十字图形第二十字图形，并且，用户通过调节姿态使所述第一十字和第二十字重合的显示效果为重合；获取深度摄像头与执行手势的主体对象的第一距离(C1)，以及深度摄像头与其获取的手势位置之间的第二距离(C2)；并基于第一距离和第二距离生成预设参数。处理器102生成预设参数的具体过程同上述实施例。

例如，在本实施例的一个示例中，深度摄像头获取的手势的位置信息与人眼观察的手势位置信息在纵向上存在偏差。本实施例中可以通过测量当用户调整与两个十字的位置关系，使得用户观察到两十字重合时，眼睛距离蓝色十字的距离、深度摄像头与第一十字纵向上端点的距离D1、深度摄像头与第一十字中心点的距离D2、深度摄像头与第一十字中心点的水平距离D3、深度摄像头与第一十字中心点的垂直距离D4、深度摄像头与用户眼睛的水平距离D5计算得到深度摄像头与第一十字中心连线与垂直方向的夹角A1、深度摄像头与第一十字中心连线与水平方向的夹角A2，进而计算得到深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A。其计算过程如下：

本实施例中，当用户调整与两个十字的位置关系使得用户观察到两十字重合时，眼睛距离蓝色十字的距离为0.5m，因此：

A1＝arcos((D2²+0.2²–D1²)/D2*D1)；

A2＝90-A1；

D4＝D2*sinA2；

D3＝D2*cosA2；

D5＝0.5–D3；

所以角度A的计算：

A＝arctan(D4/D5)

＝arctan(D2*sin(90-arcos((D2²+0.2²–D1²)/D2*D1))/(0.5-D2*cos(90-arcos((D2²+0.2²–D1²)/D2*D1)))；

距离D的计算：

D＝D4/sinA

＝D2*sin(90-arcos((D2²+0.2²–D1²)/D2*D1))/sinA；

从而通过计算得到深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A。

本实施例中，利用D和A进行计算手势的位置偏差可以包括：利用函数模型来计算所述手势的位置偏差；该函数模型为：

d1＝D*C1*sinA/C2

其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。本实施例中，如图4所示，C2例如可以为深度摄像头与执行手势的主体对象的距离，C1例如可以为深度摄像头获取的手势图像分析出的深度摄像头与手势主体成像位置之间的距离，本实施例中，C1和C2可以通过深度摄像头和系统获得。该函数模型中，深度摄像头和用户眼睛的距离D及深度摄像头与用户眼睛的夹角A为已知变量，通过前面的计算获得，则：

D4＝D*sinA

A2＝arcsin(D4/C2)＝arcsin(D*sinA/C2)

可以推出：

d1＝C1*sinA2＝D4*C1/C2＝D*C1*sinA/C2

通过上述计算，得到了手势在用户眼睛和深度摄像头之间的偏移量d1，因此增强现实显示设备自动在具有偏差的纵向的坐标上，自动减去偏移量d1，从而获得手势在用户眼睛视角下在系统中所处的位置。

在本发明的其他实施例中，偏移量d1可以为手势在第一十字和第二十字横向方向上的位置偏差，也可以是在第一十字和第二十字的纵向方向上的位置偏差。

基于上述实施例的说明，本发明实施例提供的增强现实显示设备可以在获得手势的纵向偏差和横向偏差之后，即可以对深度摄像头所获取的手势的第一位置信息进行校正，从而保证深度摄像头和人眼所观察到的手势为一致。

本发明实施例提供的手势位置校正方法及增强现实显示设备能够快速方便的对深度摄像头获取的手势位置信息进行校正，无需繁琐重复的校正操作，使用户体验更好。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据处理方法所应用于的电子设备，可以参考前述产品实施例中的对应描述，在此不再赘述。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种手势位置校正方法，其应用在增强现实显示设备中，所述增强现实显示设备包括深度摄像头，并且所述方法包括：

检测手势；

获取在所述增强显示设备中显示所述手势时关于所述手势的第一位置信息；

基于所述深度摄像头与人眼之间的距离和夹角计算所述手势的位置偏差；

通过所述位置偏差校正所述手势的第一位置信息。

2.根据权利要求1所述的方法，其中，所述计算所述手势的位置偏差包括：

利用函数模型d1＝D*C1*sinA/C2来计算所述手势的位置偏差；

其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。

3.根据权利要求2所述的方法，其中，所述方法还包括生成所述预设参数，其包括：

通过执行参数校验程序生成所述预设参数，其中，所述执行参数校验程序包括：

输出显示第一十字图形第二十字图形，并且，用户通过调节姿态使所述第一十字和第二十字重合的显示效果为重合；

获取所述深度摄像头与执行手势的主体对象的第一距离(C1)，以及所述第一位置信息，其中所述第一位置信息包括通过所述深度摄像头获取的手势图像分析出的深度摄像头与手势主体成像位置之间的第二距离(C2)；

基于所述第一距离和第二距离生成所述预设参数。

4.根据权利要求3所述的方法，其中，还包括获取所述深度摄像头与人眼之间的距离和夹角，其包括：

获取深度摄像头与第一十字的纵向上端点之间的第三距离，和与第一十字中心点之间的第四距离；

基于所述第三距离和第四距离计算所述深度摄像头与人眼之间的距离和夹角。

5.根据权利要求3所述的方法，其中，在启动增强现实显示设备时执行所述通过执行参数校验程序。

6.根据权利要求3所述的方法，其中，基于所述深度摄像头与人眼之间的距离和夹角，以及预设参数计算所述手势的位置偏差包括：

计算所述手势在所述第一十字和第二十字横向方向上的第一位置偏差，以及所述第一十字和第二十字在纵向方向上的第二位置偏差。

7.根据权利要求1所述的方法，其中，所述检测手势包括：

利用深度摄像头摄取图像；

识别所述图像中的手势。

8.一种增强现实显示设备，其包括深度摄像头和处理器，

所述深度摄像头配置为获取图像并检测手势；

所述处理器配置为基于所述深度摄像头与人眼之间的距离和夹角计算所述手势的位置偏差，并通过所述位置偏差校正在所述增强显示设备中显示所述手势时获取的关于所述手势的第一位置信息。

9.根据权利要求8所述的增强现实显示设备，其中，所述处理器进一步配置为利用函数模型d1＝D*C1*sinA/C2来计算所述手势的位置偏差；

其中d1表示位置偏差；A表示深度摄像头与人眼之间的夹角；D表示深度摄像头与人眼之间的距离；C1、C2为预设参数。

10.根据权利要求9所述的增强现实显示设备，其中，所述处理器进一步配置为通过执行参数校验程序生成所述预设参数，其中，所述执行参数校验程序包括：

输出显示与人眼为不同距离的第一十字图形第二十字图形，并且，用户通过调节姿态使所述第一十字和第二十字重合的显示效果为重合；

获取所述深度摄像头与执行手势的主体对象的第一距离(C1)，以及所述第一位置信息，其中所述第一位置信息包括深度摄像头与其获取的手势位置之间的第二距离(C2)；

基于所述第一距离和第二距离生成所述预设参数。