CN103475893B - 三维显示中对象的拾取装置及三维显示中对象的拾取方法 - Google Patents

Abstract

本发明公开了一种三维显示中对象的拾取装置及三维显示中对象的拾取方法，其中，所述装置包括：注视点信息获取模块，用于获取当前用户眼睛的注视点相对于用户的位置信息；对象确定模块，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。本发明的装置及方法通过眼睛的注视点位置确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高，尤其适合三维显示空间中场景较大的场合中对象的拾取，在可拾取物体较稠密时依然有良好的性能。

Description

三维显示中对象的拾取装置及三维显示中对象的拾取方法

技术领域

本发明涉及三维显示互动技术领域，尤其涉及一种三维显示中对象的拾取装置及方法。

背景技术

随着三维（3Dimension）显示技术的发展，与之相应的交互方式和方法变得越来越重要。在三维显示的内容中选取物体是与三维显示技术进行交互的重要一步。

然而在三维空间中选择一个物体是比较困难的，一种方法是需要用户移动自己（或身体的一部分，如手）的位置进行选取，对于一些场景较大的场合来说，用户需要大范围的移动自己的位置，操作很不方便；另一种方法是通过选择一个方向来拾取需要的物体，然而三维显示空间中，特别是空间中可拾取物体比较稠密的场合，在一个选定的方向上往往具有多个物体，从该多个物体中进行二次选取得到自己需要拾取的对象又会使得物体选取的效率降低、用户体验不好。

此外，以基于体素（VolumetricPixel，又称动态体扫描）技术的真三维显示为例，由于显示的三维画面是由显示面旋转形成，选取物体进行交互就更为困难，需要用投影设备把图像投影到旋转显示设备之外才可以进行直接的物体选取。

因此需要找到一种更加方便、效率高的三维显示物体拾取方法，提高用户体验。

发明内容

本发明要解决的技术问题是：提供一种三维显示中对象的拾取装置及方法，以使得对三维显示中对象的拾取更加方便、效率更高。

为实现上述目的，第一方面，本发明提供了一种三维显示中对象的拾取装置，包括：

注视点信息获取模块，用于获取当前用户眼睛的注视点相对于用户的位置信息；

对象确定模块，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。

结合第一方面，在第二种可能的实现方式中，所述装置还包括：

定位单元，用于获得所述用户当前在显示空间中的位置信息。

结合第一方面或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述装置还包括：

运动姿态传感器，用于获得所述运动姿态信息。

结合第一方面、第一方面的第二种或第三种可能的实现方式，在第四种可能的实现方式中，所述装置还包括：通信模块，用于获取所述显示空间中当前物体的分布信息。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述通信模块还用于获取所述用户当前在显示空间中的位置和/或运动姿态信息。

结合第一方面、第一方面的第二种至第五种可能的实现方式中的任一个，在第六种可能的实现方式中，所述对象确定模块包括：

注视点空间位置确定单元，用于根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；

对象确定单元，用于根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。

结合第一方面、第一方面的第二至第六种可能的实现方式中的任一个，在第七种可能的实现方式中，所述装置还包括：对象信息提示模块，用于提示被拾取对象的对应信息。

结合第一方面、第一方面的第二种至第七种可能的实现方式中的任一个，在第八种可能的实现方式中，所述注视点信息获取模块包括：

图像采集设备，用于采集眼睛眼底呈现的图像；

可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；

图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。

结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述可调成像设备包括：

可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。

结合第一方面的第八种或第九种可能的实现方式，在第十种可能的实现方式中，所述可调成像设备包括：

曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。

结合第一方面的第八、第九或第十种可能的实现方式，在第十一种可能的实现方式中，所述注视点信息获取模块还包括：

投射设备，用于向眼底投射光斑图案。

结合第二方面，本发明提供了一种三维显示中对象的拾取方法，包括：

注视点信息获取步骤，用于获取当前用户眼睛的注视点相对于用户的位置信息；

对象确定步骤，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。

结合第二方面，在第二种可能的实现方式中，所述方法还包括：

获取所述用户当前在显示空间中的位置信息的步骤。

结合第二方面或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：

获取所述运动姿态信息的步骤。

结合第二方面、第二方面的第二或第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

获取所述显示空间中当前物体的分布信息的步骤。

结合第二方面、第二方面的第二至第四种可能的实现方式中的任一种，在第五种可能的实现方式中，所述对象确定步骤包括：

根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；

根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。

结合第二方面、第二方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述方法还包括：提示被拾取对象的对应信息。

结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述被拾取对象的对应信息包括被拾取对象的被选中状态信息。

结合第二方面的第六或第七种可能的实现方式，在第八种可能的实现方式中，所述被拾取对象的对应信息包括所述被拾取对象的属性信息。

结合第二方面的第六、第七或第八种可能的实现方式，在第九种可能的实现方式中，所述被拾取对象的对应信息包括所述被拾取对象的可操作信息。

结合第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所述被拾取对象的可操作信息包括：

对所述被拾取对象的加标签、查询、删除、复制、剪切、粘贴、移动、旋转以及变形操作信息中的一种或多种。

结合第二方面、第二方面的第二至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，所述注视点信息获取步骤包括：

采集眼睛眼底呈现的图像；

进行所述图像采集位置与眼睛之间光路的成像参数的调节以使得采集到最清晰的图像；

对采集到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。

结合第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述进行所述图像采集位置与眼睛之间光路的成像参数的调节包括：

调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。

结合第二方面的第十一种或第十二种可能的实现方式，在第十三种可能的实现方式中，所述注视点信息获取步骤还包括：

分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集位置。

结合第二方面的第十一、十二或十三种可能的实现方式，在第十四种可能的实现方式中，所述注视点信息获取步骤还包括：

向眼底投射光斑图案。

本发明实施例的方法及装置根据用户眼睛的注视点位置来确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高。其中，对于一些场景较大的三维显示空间来说，用户无需整体来回移动或者大幅度移动一些部位（例如手部）来拾取需要的对象，仅仅通过眼睛的注视就可以完成对象的选取，使得对象的选取更加方便；对于一些场景中物体较多的三维显示空间来说，通过用户眼睛的注视点位置来确定要拾取的对象的准确度和效率大大提高，进而提高了用户的体验。

附图说明

图1为本发明实施例的一种三维显示中对象的拾取装置的结构示意框图；

图2为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块的结构框图；

图3为本发明实施例的一种三维显示中对象的拾取装置的另一种注视点检测模块的结构框图；

图4a为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块使用的光斑图案示意图；

图4b为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块拍摄到的具有光斑图案的眼底图像示意图；

图5a为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块眼睛成像的光路示意图；

图5b为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块根据系统已知成像参数和眼睛的光学参数得到眼睛注视点相对于用户的位置的示意图；

图6为本发明实施例的一种三维显示中对象的拾取装置的注视点检测模块应用在眼镜上的示意图；

图7为本发明实施例的另一种三维显示中对象的拾取装置的注视点检测模块应用在眼镜上的示意图；

图8为本发明实施例的一种三维显示中对象的拾取装置在三维显示空间中确认拾取对象的示意图；

图9为本发明实施例的一种三维显示中对象的拾取方法流程图；

图10为本发明实施例的又一种三维显示中对象的拾取装置中对象确认模块的结构示意框图。

具体实施方式

本发明的方法及装置结合附图及实施例详细说明如下。

在三维显示空间中对象的拾取往往会遇到拾取效率低、用户操作不方便等问题，特别是在三维显示空间中可拾取物体分布比较稠密、以及三维显示空间的场景较大的场合，这些问题更加突出。因此，如图1所示，本发明实施例提供了一种三维显示中对象的拾取装置100，包括：

注视点信息获取模块110，用于获取当前用户眼睛的注视点相对于用户的位置信息；

对象确定模块120，用于根据用户当前在显示空间中的位置信息和用户当前的运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。

在本发明实施例中，所述三维显示空间主要为真三维显示空间，即显示空间中显示的物体具有物理上的深度差，用户看到的近处的物体，实际上离用户也比较近，例如通过体素技术形成的立体显示空间、由静态成像技术形成的立体显示空间或者三维全息显示空间。

在本发明实施例中，所述用户拾取的对象可以是三维显示空间中虚拟的物体，也可以是该空间中实际存在的物体，或者还可以为该三维显示空间中的一块区域（例如用户与三维显示空间进行交互时，选中一块区域并在该区域内增加新的虚拟物体）。

在本发明实施例的一种可能的实施方式中，所述注视点信息获取模块可以是注视点位置检测模块，通过实时检测的方式获取当前用户眼睛的注视点相对于用户的位置信息；或者，所述注视点信息获取模块通过一信息接收模块（例如下面所述的通信模块），通过接收外部检测装置的检测结果的方式获取所述注视点相对于用户的位置信息。

本发明实施例通过眼睛的注视点位置确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高。

在本发明实施例的一种可能的实施方式中，所述装置还包括：

定位单元，用于获得所述用户当前在显示空间中的位置信息。

其中，在一种可能的实施方式中，所述定位单元可以是室内定位装置（这种情况下，所述三维显示空间一般为室内空间），例如基于无线传感器网络的室内定位装置等，或者还可以为其它可以实现室内定位的装置，这些室内定位技术不是本发明实施例的重点，并且多为已有技术，本实施例中不再赘述。

在另一种可能的实施方式中，所述定位单元还可以是室外定位装置（这种情况下，所述三维显示空间一般为室外空间），例如全球定位系统等，当然，本领域的技术人员可以知道，其它可以实现室外定位的定位单元也可以应用在本发明实施例的实施方式中，此处不再赘述。

在本发明实施例的一种可能的实施方式中，所述装置还包括：

运动姿态传感器，用于获取用户当前的运动姿态信息。

这里所述用户的运动姿态信息主要包括用户头部运动以及朝向信息（包括左、右方向以及上、下方向的朝向）。

在本发明实施例的一种可能的实施方式中，所述装置还包括通信模块，用于获取所述显示空间中当前物体的分布信息。该显示空间中物体的分布信息可以包括在显示设备显示的元数据中，通过通信模块传递给本发明实施例的装置。当然，当所述显示空间内物体为静止不动的分布时，该显示空间中当前物体的分布信息还可以是预先存储在所述装置中的。

本发明实施例的所述通信模块可以是有线通信模块，但是优选的为无线通信模块。

在本发明实施例的一种可能的实施方式中，上面所述的定位单元和/或运动姿态传感器并非本发明装置的一部分，而是作为外部设备，分别采集用户当前在显示空间的位置和/或运动姿态信息，再通过所述通信模块传递给本发明实施例的装置。

在本发明实施例的一种可能的实施方式中，所述对象确定模块包括：

注视点空间位置确定单元，用于根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；

对象确定单元，用于根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。

在本实施方式中，装置根据所述用户在显示空间中的位置和运动姿态信息可以确定用户在显示空间中的坐标以及面部的朝向等信息，再根据注视点相对于用户的位置信息就可以计算得到注视点在显示空间中的位置信息，进而与显示空间中物体的分布信息进行匹配，找到用户拾取的对象。

在本发明实施例的一种可能的实施方式中，所述注视点信息获取模块为注视点检测模块。所述注视点检测模块可以为以下几种中的一种：

a）采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过眼睛光轴方向上三维显示空间中物体的分布信息，得到眼睛视线的注视点位置，该技术为已有技术，本实施方式中不再赘述。

b）分别检测两眼的光轴方向，再得到两眼光轴方向的交点，进而得到眼睛视线的注视点位置，该技术也为已有技术，此处不再赘述。

c）根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数，得到所述眼睛视线的注视点位置。在本实施方式中，所述注视点检测模块可以为以下图2至图7所示的注视点检测模块中的一种。

上面三种注视点检测模块中，前两种在三维显示空间中可拾取物体分布比较稠密时，对物体的拾取效率和准确率都会降低，因此本发明实施例中优选第三种注视点检测模块来获取用户眼睛的注视点相对于用户的位置信息。

当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测模块外，其它可以用于检测用户眼睛注视点的装置也可以用于本发明实施例的装置中。

如图2所示，在本发明实施例的一种可能的实施方式中，所述注视点检测模块500包括：

图像采集设备510，用于采集眼睛眼底呈现的图像；

可调成像设备520，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；

图像处理设备530，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。

本发明实施例的注视点检测模块500通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点位置，为进一步实现眼睛自适应操作提供基础。

这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。

如图3所示，本发明实施例的一种可能的实施方式中，所述图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。

在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括：可调透镜单元521，位于眼睛与所述图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜单元521，使得从眼睛到所述图像采集设备510之间的光学系统的等效焦距可调，通过可调透镜单元521的调节，使得所述图像采集设备510在可调透镜单元521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜单元521在检测过程中连续实时的调节。

优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜单元521为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。

在本发明实施例的另一种可能的实施方式中，所述可调透镜单元521包括：多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。

除了上述两种通过调节可调透镜单元521自身的特性来改变系统的光路参数以外，还可以通过调节所述可调透镜单元521在光路上的位置来改变系统的光路参数。

优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得模块可以便携应用在穿戴式设备上，所述可调成像设备520还包括：分光单元522，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小模块的体积，同时尽可能不影响用户的其它视觉体验。

优选地，在本实施方式中，所述分光单元包括：第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。

所述第一分光单元可以为分光镜、分光光波导（包括光纤）或其它适合的分光设备。

在本发明实施例的一种可能的实施方式中，所述模块的图像处理设备530包括光路校准模块，用于对系统的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。

在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括：

图像分析模块531，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；

参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时模块已知的成像参数计算眼睛的光学参数和眼睛注视点相对于用户的位置。

在本实施方式中，通过可调成像设备520使得所述图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及模块已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。

在本发明实施例的一种可能的实施方式中，优选地，所述模块还包括：投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。

这里投射的光斑可以没有特定图案仅用于照亮眼底。

在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图4a所示为一个光斑图案550的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图4b所示为在有光斑图案550投射时拍摄到的眼底的图像。

为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。

此时，为了减小其它光谱的干扰：

所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。

所述图像采集设备的入射面设置有眼睛不可见光透射滤镜。

优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：

投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射光斑亮度。

例如所述投射控制模块534可以根据图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。

这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。

此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。

优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。

所述图像分析模块531将图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。

优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括：

眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。

这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。

优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。

在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：

当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如尺度不变特征转换（ScaleInvariantFeatureTransform，SIFT）算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向；

当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准模块获得）的位置来确定眼睛光轴方向确定用户视线方向。

在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。

优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。

在本实施方式中，所述模块已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜单元的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。

在得到眼睛到图像采集装置之间光路系统已知的成像参数之后，就可以计算得到眼睛注视点到眼睛的距离，具体为：

图5a所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5a可以得到公式(1)：

$\frac{1}{d_o}+\frac{1}{d_e}=\frac{1}{f_e}---\left(1\right)$

其中d_o和d_e分别为眼睛当前观察对象5010和视网膜上的实像5020到眼睛等效透镜5030的距离，f_e为眼睛等效透镜5030的等效焦距，X为眼睛的光轴方向（即视线的光轴）。

图5b所示为根据模块已知光学参数和眼睛的光学参数得到眼睛注视点到眼睛的距离的示意图，图5b中光斑5040通过可调透镜单元521会成一个虚像（图5b中未示出），假设该虚像距离透镜距离为x（图5b中未示出），结合公式(1)可以得到如下方程组：

$\left\{\begin{array}{c}\frac{1}{d_p}-\frac{1}{x}=\frac{1}{f_p}\\ \frac{1}{d_i+x}+\frac{1}{d_e}=\frac{1}{f_e}\end{array}\right.---\left(2\right)$

其中d_p为光斑5040到可调透镜单元521的光学等效距离，d_i为可调透镜单元521到眼睛等效透镜5030的光学等效距离，f_p为可调透镜单元521的焦距值，d_i为所述眼睛等效透镜5030到可调透镜单元521的距离。

由(1)和(2)可以得出当前观察对象5010（眼睛注视点）到眼睛等效透镜5030的距离d_o如公式(3)所示：

$d_o=d_i+\frac{d_p\·f_p}{f_p-d_p}---\left(3\right)$

根据上述计算得到的观察对象5010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的注视点相对用户的位置信息，为后续与眼睛相关的进一步交互提供了基础。

如图6所示为本发明实施例的一种可能的实施方式的眼睛注视点检测模块600应用在眼镜400上的实施例，其包括图3所示实施方式的记载的内容，具体为：由图6可以看出，在本实施方式中，在眼镜400右侧（不局限于此）集成了本实施方式的模块600，其包括：

微型摄像头610，其作用与图3实施方式中记载的图像采集设备相同，为了不影响用户正常观看对象的视线，其被设置于眼睛200右外侧；

第一分光镜620，其作用与图3实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛200注视方向和摄像头610入射方向的交点处，透射观察对象进入眼睛200的光以及反射眼睛到摄像头610的光；

焦距可调透镜630，其作用与图3实施方式中记载的焦距可调透镜相同，位于所述第一分光镜620和摄像头610之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头610能够拍到眼底最清晰的图像。

在本实施方式中，所述图像处理设备在图6中未表示出，其功能与图3所示的图像处理设备相同。

由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源640来对眼底进行照明。为了不影响用户的体验，这里优选的发光源640为眼睛不可见光，优选对眼睛200影响不大并且摄像头610又比较敏感的近红外光发光源。

在本实施方式中，所述发光源640位于右侧的眼镜架外侧，因此需要通过一个第二分光镜650与所述第一分光镜620一起完成所述发光源640发出的光到眼底的传递。本实施方式中，所述第二分光镜650又位于摄像头610的入射面之前，因此其还需要透射眼底到摄像头610的光。

可以看出，在本实施方式中，为了提高用户体验和提高摄像头610的采集清晰度，所述第一分光镜620优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜620朝向眼睛200的一侧设置红外反射膜实现上述特性。

由图6可以看出，由于在本实施方式中，所述眼睛注视点检测模块600位于眼镜400的镜片远离眼睛200的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼睛200的一部分，此时不需要知道镜片的光学特性。

在本发明实施例的其它实施方式中，所述眼睛注视点检测模块600可能位于眼镜400的镜片靠近眼睛200的一侧，此时，需要预先得到镜片的光学特性参数，并在计算注视点到用户眼睛的距离时，考虑镜片的影响因素。

发光源发出的光通过第二分光镜650的反射、焦距可调透镜630的透射、以及第一分光镜620的反射后再透过眼镜400的镜片进入用户眼睛，并最终到达眼底的视网膜上；摄像头610经过所述第一分光镜620、焦距可调透镜630以及第二分光镜650构成的光路透过眼睛200的瞳孔拍摄到眼底的图像。

如图7所示为本发明实施例的另一种实施方式眼睛注视点检测模块700的结构示意图。由图7可以看出，本实施方式与图6所示的实施方式相似，包括微型摄像头710、第二分光镜720、焦距可调透镜730，不同之处在于，在本实施方式中的投射设备740为投射光斑图案的投射设备740，并且通过一个曲面分光镜750作为曲面分光单元取代了图6实施方式中的第一分光镜。

这里采用了曲面分光镜750分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图6所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛注视点检测模块适用范围更广，检测精度更高。

本发明实施例的一种可能的实施方式记载了一种三维显示中对象的拾取装置，该装置设置在一头部可穿戴设备上，例如眼镜、头盔等设备上，包括图1所述实施例记载的注视点信息获取模块和对象确定模块。

在本实施方式中，所述注视点信息获取模块为上面图2至图7所示的注视点检测模块，其设置在眼镜或头盔设备的一侧，用于检测用户眼睛的注视点相对于用户的位置信息。所述对象确定模块设置在用户侧，例如可以是与所述注视点信息获取模块分开设置在用户侧的；也可以是与所述注视点信息获取模块集成在一起设置的，设置可能与所述注视点检测模块的图像处理设备由同一物理设备完成其功能。

在本实施方式中，所述装置还包括通信模块，用于获取所述用户当前在显示空间中的位置和运动姿态信息以及显示空间中当前物体的分布信息，同时还用于将所述拾取的对象的信息向三维显示设备发送，以便用户与三维显示设备进行后续的交互。例如图8所示的本发明实施例的一种可能的实施方式中，确定了用户拾取的对象（花瓶）后，所述装置通过所述通信模块向三维显示设备发送对应对象的拾取信息。

在本实施方式中，所述装置还包括：对象信息提示模块，用于提示被拾取对象的对应信息。例如，在确认了对象的拾取后，所述对象信息提示模块提示该对象被选中，例如所述对象信息提示模块通过三维显示设备显示被拾取对象（花瓶）的选中状态（如图8所示的高亮选中状态）；此外，所述被拾取对象的对应信息还包括：对象的属性信息或可操作信息等。这里的“提示”包括：与三维显示设备进行交互，使得所述三维显示设备显示、或者发声提示；或者在用户侧（在本发明实施例的装置上、或者在其它穿戴式设备上）进行提示，包括发声提示、振动提示、或穿戴设备上的屏幕显示等等。

对象的属性信息包括对被拾取对象的颜色、形状、功能等的介绍；所述对象的可操作信息包括对被拾取对象的各种可以进行的操作信息，例如对所述被拾取对象进行加标签、查询、删除、复制、剪切、粘贴、移动、旋转以及变形（不限于此）操作信息中的一种或多种。

当然，在本发明实施例的实施方式中，可以采用本发明实施例的装置，依次对多个对象进行拾取。

本发明实施例的另一种可能的实施方式记载了一种三维显示中对象的拾取装置，包括图1所述实施例记载的注视点信息获取模块和对象确定模块，其中所述注视点信息获取模块为上面图2至图7所示的注视点检测模块，其设置在头部可穿戴设备如眼镜或头盔设备的一侧，检测用户眼睛的注视点相对于用户的位置信息。与上面的实施方式不同的是，在本实施方式中，所述对象确定模块设于三维显示设备侧，例如可以集成在三维显示设备中。所述装置还包括通信模块，该通信模块除了获取所述用户当前在显示空间中的位置和运动姿态信息之外，还用于完成所述注视点信息获取模块与所述对象确定模块之间的信息交互，包括：将所述用户眼睛的注视点相对于用户的位置信息向对象确定模块发送。

在本发明实施例的又一种可能的实施方式中，所述三维显示中对象的拾取装置的功能与上面的实施方式类似，与上面的两个实施方式不同的是，所述注视点信息获取模块自身并不对注视点位置进行检测，而是从外部设备（所述外部设备例如可以为上面所述的注视点检测模块）接收用户眼睛注视点相对于用户的位置信息。此时，所述三维显示中对象的拾取装置可以设置在用户侧，也可以设置在三维显示设备侧。

如图9所示，本发明实施例的一种实施方式提供了一种三维显示中对象的拾取方法，包括：

S110：注视点信息获取步骤，用于获取当前用户眼睛的注视点相对于用户的位置信息；

S120：对象确定步骤，用于根据用户当前在显示空间中的位置信息和用户当前的运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。

本发明实施例通过眼睛的注视点位置确定用户拾取的对象，对三维显示空间中对象的拾取自然、方便，并且拾取准确率高。

在本发明实施例的一种可能的实施方式中，所述方法还包括：

获取所述用户当前在显示空间中的位置信息的步骤。

在本发明实施例的一种可能的实施方式中，所述方法还包括：

获取用户当前的运动姿态信息的步骤。

在本发明实施例的一种可能的实施方式中，所述方法还包括：

获取所述显示空间中当前物体的分布信息的步骤。

在本发明实施例的一种可能的实施方式中，上述各信息的获取可以是通过通信传输的方式从外部获取；在其它可能的实施方式中，所述用户当前在显示空间中的位置信息和/或运动姿态信息可以是通过定位模块、运动姿态传感器等检测得到。

在本发明实施例的一种可能的实施方式中，所述对象确定步骤包括：

根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；

根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。

在本发明实施例的一种可能的实施方式中，所述方法还包括：提示被拾取对象的对应信息。

在本发明实施例的一种可能的实施方式中，所述被拾取对象的对应信息包括所述被拾取对象的属性信息。

在本发明实施例的一种可能的实施方式中，所述被拾取对象的对应信息包括所述被拾取对象的可操作信息。

在本发明实施例的一种可能的实施方式中，所述被拾取对象的可操作信息包括：

对所述被拾取对象的加标签、查询、删除、复制、剪切、粘贴、移动、旋转以及变形操作信息中的一种或多种。

在本发明实施例的一种可能的实施方式中，所述注视点信息获取步骤包括：

采集眼睛眼底呈现的图像；

进行所述图像采集位置与眼睛之间光路的成像参数的调节以使得采集到最清晰的图像；

对采集到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息。

在本发明实施例的一种可能的实施方式中，所述进行所述图像采集位置与眼睛之间光路的成像参数的调节包括：

调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。

在本发明实施例的一种可能的实施方式中，所述注视点信息获取步骤还包括：

分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集位置。

在本发明实施例的一种可能的实施方式中，所述注视点信息获取步骤还包括：

向眼底投射光斑图案。

上述各步骤的实施方式与上述装置实施例中对应模块或单元的功能的描述相同，此处不再赘述。

图10为本发明实施例提供的一种三维显示中对象的拾取装置的对象确定模块800的结构示意图，本发明具体实施例并不对对象确定模块800的具体实现做限定。如图10所示，该对象确定模块800可以包括：

处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830、以及通信总线840。其中：

处理器810、通信接口820、以及存储器830通过通信总线840完成相互间的通信。

通信接口820，用于与比如客户端等的网元通信。

处理器810，用于执行程序832，具体可以执行上述图9所示的方法实施例中的相关步骤。

具体地，程序832可以包括程序代码，所述程序代码包括计算机操作指令。

处理器810可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecificIntegratedCircuit），或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器830，用于存放程序832。存储器830可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。程序832具体用于：

根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象。

程序832中各单元的具体实现可以参见图1至图8所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (23)

1.一种三维显示中对象的拾取装置，其特征在于，包括：

注视点信息获取模块，用于获取当前用户眼睛的注视点相对于用户的位置信息；

对象确定模块，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象；

其中：所述注视点信息获取模块包括：

图像采集设备，用于采集眼睛眼底呈现的图像；

可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；

图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息，所述位置信息包括距离。

2.如权利要求1所述的装置，其特征在于，所述可调成像设备包括：

可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。

3.如权利要求1所述的装置，其特征在于，所述可调成像设备包括：

曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。

4.如权利要求1所述的装置，其特征在于，所述注视点信息获取模块还包括：

投射设备，用于向眼底投射光斑图案。

5.如权利要求1至4中任一项所述的装置，其特征在于，所述装置还包括：

定位单元，用于获得所述用户当前在显示空间中的位置信息。

6.如权利要求1至4中任一项所述的装置，其特征在于，所述装置还包括：

运动姿态传感器，用于获得所述运动姿态信息。

7.如权利要求1至4中任一项所述的装置，其特征在于，所述装置还包括：通信模块，用于获取所述显示空间中当前物体的分布信息。

8.如权利要求7所述的装置，其特征在于，所述通信模块还用于获取所述用户当前在显示空间中的位置和/或运动姿态信息。

9.如权利要求1至4中任一项所述的装置，其特征在于，所述对象确定模块包括：

注视点空间位置确定单元，用于根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；

对象确定单元，用于根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。

10.如权利要求1至4中任一项所述的装置，其特征在于，所述装置还包括：对象信息提示模块，用于提示被拾取对象的对应信息。

11.一种三维显示中对象的拾取方法，其特征在于，包括：

注视点信息获取步骤，用于获取当前用户眼睛的注视点相对于用户的位置信息；

对象确定步骤，用于根据用户当前在显示空间中的位置和运动姿态信息、所述注视点相对于用户的位置信息以及显示空间中当前物体的分布信息确定用户拾取的对象；

其中：所述注视点信息获取步骤包括：

采集眼睛眼底呈现的图像；

进行所述图像采集位置与眼睛之间光路的成像参数的调节以使得采集到最清晰的图像；

对采集到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点相对于用户的位置信息，所述位置信息包括距离。

12.如权利要求11所述的方法，其特征在于，所述进行所述图像采集位置与眼睛之间光路的成像参数的调节包括：

调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。

13.如权利要求11所述的方法，其特征在于，所述注视点信息获取步骤还包括：

分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集位置。

14.如权利要求11所述的方法，其特征在于，所述注视点信息获取步骤还包括：

向眼底投射光斑图案。

15.如权利要求11至14中任一项所述的方法，其特征在于，所述方法还包括：

获取所述用户当前在显示空间中的位置信息的步骤。

16.如权利要求11至14中任一项所述的方法，其特征在于，所述方法还包括：

获取所述运动姿态信息的步骤。

17.如权利要求11至14中任一项所述的方法，其特征在于，所述方法还包括：

获取所述显示空间中当前物体的分布信息的步骤。

18.如权利要求11至14中任一项所述的方法，其特征在于，所述对象确定步骤包括：

根据用户当前在显示空间中的位置和运动姿态信息、以及所述注视点相对于用户的位置信息确定所述注视点在显示空间中的相对位置；

根据所述注视点在显示空间中的相对位置以及所述显示空间中当前物体的分布信息确定用户拾取的对象。

19.如权利要求11至14中任一项所述的方法，其特征在于，所述方法还包括：提示被拾取对象的对应信息。

20.如权利要求19所述的方法，其特征在于，所述被拾取对象的对应信息包括被拾取对象的被选中状态信息。

21.如权利要求19所述的方法，其特征在于，所述被拾取对象的对应信息包括所述被拾取对象的属性信息。

22.如权利要求19所述的方法，其特征在于，所述被拾取对象的对应信息包括所述被拾取对象的可操作信息。

23.如权利要求22所述的方法，其特征在于，所述被拾取对象的可操作信息包括：

对所述被拾取对象的加标签、查询、删除、复制、剪切、粘贴、移动、旋转以及变形操作信息中的一种或多种。