CN114895789A - 一种人机交互方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种人机交互方法、装置、电子设备和存储介质，人机交互方法应用在终端中，终端设置有3D显示屏幕，方法包括：控制3D显示屏幕显示3D的待操作对象；获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，根据第一屏点位置确定用户观看到待操控对象所在的第一视觉平面；获取用户在第一视觉平面上的第一手部动作，根据第一手部动作匹配待操作对象上的坐标位置；根据坐标位置得到对应在待操作对象上的输入信息。本发明能够在终端进行3D显示时根据用户的手部动作进行人机交互，根据手部动作匹配得到在待操作对象上的输入信息，无需触控到终端即可实现交互，提高用户的交互体验。

Description

一种人机交互方法、装置、电子设备和存储介质

技术领域

本发明涉及人机交互技术领域，特别是涉及一种人机交互方法、装置、电子设备和存储介质。

背景技术

三维(3-dimension，3D)技术是指用户通过眼睛可以看到3D画面，而3D画面是通过左右两眼视差虚拟出的立体空间画面。目前手机、平板电脑等智能终端逐渐走入人们的生活，且3D显示技术也已经逐渐应用在终端中，用户可以在终端上观看3D画面，如何根据3D显示来进一步提升用户的交互体验成为未来人机交互的研究方向。

相关技术中，用户与手机、平板电脑等这些智能终端之间一般需要通过手指触摸屏幕来实现人机交互，但是对于具有3D视觉效果的3D显示屏幕，这种人机交互方式触控准确率低，用户体验差。

发明内容

本发明实施例提供了一种人机交互方法、装置、电子设备和存储介质，能够在终端进行3D显示时根据用户的手部动作进行人机交互，无需触控到终端，提高用户的交互体验。

第一方面，本发明实施例提供了一种人机交互方法，应用在终端中，所述终端设置有3D显示屏幕，所述方法包括：控制所述3D显示屏幕显示3D的待操作对象；获取用户眼睛到所述3D显示屏幕的第一距离，并根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，根据所述第一屏点位置确定用户观看到所述待操控对象所在的第一视觉平面；获取用户在所述第一视觉平面上的第一手部动作，根据所述第一手部动作匹配所述待操作对象上的坐标位置；根据所述坐标位置得到对应在所述待操作对象上的输入信息。

在一些实施例中，所述终端设置有前置摄像头，所述获取用户在所述第一视觉平面上的第一手部动作，包括：获取用户手部到所述3D显示屏幕的第二距离；若所述第二距离表征用户手部位于所述第一视觉平面上，获取用户的手部图像，所述手部图像是由所述前置摄像头拍摄得到的；识别所述手部图像中的画面手部形状；获取预设的目标手部形状，将所述画面手部形状与所述目标手部形状进行匹配度分析；若所述画面手部形状与所述目标手部形状相匹配，确定所述画面手部形状为第一手部动作。

在一些实施例中，所述根据所述第一手部动作匹配所述待操作对象上的坐标位置，包括：获取用户做出所述第一手部动作时对应的手部位置；根据所述手部位置的坐标与所述第一视觉平面上的坐标进行匹配，得到对应在所述待操作对象上的坐标位置。

在一些实施例中，所述待操作对象包括虚拟键盘，所述根据所述坐标位置得到对应在所述待操作对象上的输入信息，包括：获取所述虚拟键盘上各个按键键值与对应的输入位置的坐标映射关系；根据所述坐标位置与所述坐标映射关系从所述虚拟键盘中触发对应的目标按键键值。

在一些实施例中，所述终端设置有前置摄像头，所述手部位置由所述前置摄像头拍摄的手部图像解析得到；或者，所述终端设置有红外传感器或超声波传感器，所述红外传感器和所述超声波传感器用于获取所述手部位置。

在一些实施例中，所述方法还包括以下至少之一：获取用户在所述第一视觉平面上的第二手部动作，根据所述第二手部动作打开或关闭所述待操作对象；获取用户在所述第一视觉平面上的第三手部动作，根据所述第三手部动作控制所述待操作对象执行响应动作，所述响应动作包括放大、缩小、下滑滚动或翻页。

在一些实施例中，所述第一手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第二手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第三手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，且所述第一手部动作、所述第二手部动作和所述第三手部动作互不相同。

在一些实施例中，所述待操作对象包括虚拟键盘、单独控件或手势控件中的至少一种。

在一些实施例中，所述终端设置有前置摄像头，所述获取用户到所述3D显示屏幕的第一距离，包括：获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息；根据所述第一瞳孔位置信息和所述第二瞳孔位置信息，计算得到在所述脸部图像中用户的画面瞳孔间距；根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离。

在一些实施例中，所述前置摄像头为屏下摄像头，所述屏下摄像头设置在所述3D显示屏幕的中心位置。

在一些实施例中，所述对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息，包括：将所述脸部图像转换为灰度图像，并对所述灰度图像进行二值化处理，得到第一预处理图像；对所述第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像；利用圆形的结构元素提取所述第二预处理图像中表征用户瞳孔的圆形区域的位置；计算所述圆形区域的中心点，得到用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息。

在一些实施例中，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：获取预设的标准瞳孔间距；获取所述前置摄像头拍摄的所述脸部图像的焦距，并根据所述焦距得到所述脸部图像对应到成像点的初始距离；根据所述画面瞳孔间距与所述标准瞳孔间距得到第一比例，根据所述第一比例和所述初始距离得到用户眼睛到所述3D显示屏幕的第一距离。

在一些实施例中，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：获取预设的距离查询表；根据所述画面瞳孔间距从所述距离查询表中查表得到用户眼睛到所述3D显示屏幕的第一距离。

在一些实施例中，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：获取参考距离、参考物体尺寸以及所述前置摄像头拍摄的参考物体对应的画面尺寸；获取预设的标准瞳孔间距；根据所述参考距离、所述参考物体尺寸、所述画面尺寸、所述画面瞳孔间距和所述标准瞳孔间距得到用户眼睛到所述3D显示屏幕的第一距离。

在一些实施例中，所述根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，包括：获取所述终端进行3D画面显示的负视差值；根据所述第一距离和所述负视差值得到第三距离；在用户与所述3D显示屏幕之间，且距离所述3D显示屏幕第三距离的位置确定为第一屏点位置。

在一些实施例中，所述根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置之后，所述方法包括：当用户眼睛移动后，获取移动后用户眼睛到所述3D显示屏幕的第四距离；根据所述第四距离和所述负视差值得到第五距离；更新所述第一屏点位置，并在用户与所述3D显示屏幕之间，且距离所述3D显示屏幕第五距离的位置更新为所述第一屏点位置。

第二方面，本发明实施例还提供了一种人机交互装置，包括：第一模块，用于控制3D显示屏幕显示3D的待操作对象；第二模块，用于获取用户眼睛到所述3D显示屏幕的第一距离，并根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，根据所述第一屏点位置确定用户观看到所述待操控对象所在的第一视觉平面；第三模块，用于获取用户在所述第一视觉平面上的第一手部动作，根据所述第一手部动作匹配所述待操作对象上的坐标位置；第四模块，用于根据所述坐标位置得到对应在所述待操作对象上的输入信息。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面实施例所述的人机交互方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面实施例所述的人机交互方法。

本发明实施例至少包括以下有益效果：本发明实施例提供了一种人机交互方法、装置、电子设备和存储介质，其中，人机交互方法可以应用在终端中，终端上设置有3D显示屏幕，可以显示3D画面，通过执行人机交互方法，控制3D显示屏幕显示3D的待操作对象，随后获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，由于待操作对象是3D显示的，根据两眼视差虚拟出的立体空间画面，3D的待操作对象将显示在第一屏点位置所在的平面，因此根据第一屏点位置确定用户观看到待操控对象所在的第一视觉平面，随后获取用户在第一视觉平面上的第一手部动作，根据第一手部动作匹配待操作对象上的坐标位置，最终根据坐标位置可以得到对应在待操作对象上的输入信息，本发明实施例能够在终端进行3D显示时根据用户的手部动作进行人机交互，根据不同的手部动作匹配得到在待操作对象上不同的输入信息，无需触控到终端即可实现交互，提高用户的交互体验。

附图说明

图1是本发明一个实施例提供的3D成像原理的示意图；

图2是本发明一个实施例提供的终端的示意图；

图3是本发明一个实施例提供的人机交互方法的流程示意图；

图4是本发明一个实施例提供的第一屏点位置的示意图；

图5是本发明一个实施例提供的人机交互场景的示意图；

图6是本发明另一个实施例提供的人机交互方法的流程示意图；

图7是本发明另一个实施例提供的人机交互方法的流程示意图；

图8是本发明另一个实施例提供的人机交互方法的流程示意图；

图9是本发明一个实施例提供的通过3D显示的虚拟键盘实现人机交互的示意图；

图10是本发明另一个实施例提供的人机交互方法的流程示意图；

图11是本发明另一个实施例提供的人机交互方法的流程示意图；

图12a是本发明一个实施例提供的脸部图像的示意图；

图12b是本发明另一个实施例提供的脸部图像的示意图；

图13是本发明另一个实施例提供的人机交互方法的流程示意图；

图14是本发明一个实施例提供的对脸部图像进行处理得到瞳孔位置的示意图；

图15是本发明另一个实施例提供的人机交互方法的流程示意图；

图16是本发明一个实施例提供的相对镜头(成像点)成像的示意图；

图17是本发明一个实施例提供的通过三角形原理计算第一距离的示意图；

图18是本发明另一个实施例提供的人机交互方法的流程示意图；

图19是本发明另一个实施例提供的人机交互方法的流程示意图；

图20是本发明一个实施例提供的根据参考系得到第一距离的示意图；

图21是本发明另一个实施例提供的根据参考系得到第一距离的示意图；

图22是本发明另一个实施例提供的人机交互方法的流程示意图；

图23是本发明另一个实施例提供的人机交互方法的流程示意图；

图24是本发明一个实施例提供的人机交互装置的结构示意图；

图25是本发明一个实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

目前手机、平板电脑等智能终端逐渐走入人们的生活，且3D显示技术也已经逐渐应用在终端中，用户可以在终端上观看3D画面，3D画面是通过左右两眼视差虚拟出的立体空间画面，具体的，终端可以显示3D画面，对人来说，3D立体感的产生是来自于脑中接收到的两张视觉图像，大脑将两张图像的相似处结合，而细微的不同处就会引导用户感受到空间感，两张不甚相同的图像就会结合成单一一张立体图像了，从而实现终端的3D显示。

在3D显示中，眼睛汇合指的是眼睛与被观测物体产生的夹角，角度愈大，物件愈感靠近，相反的，角度愈小则物件愈觉得远离，视差图像指的是左右眼分别看见的图像，所有的3D图像或影片都包含成对的视差图像，它们分别但同时进入用户的左右眼。例如，当目标物在左眼图像中向右偏，在右眼图像中向左偏，用户眼睛焦距会被引导落到3D显示屏幕的后面，此现象称为正视差；而当每对视差图像覆叠在3D显示屏幕上，用户的眼睛焦距会被引导落在该3D显示屏幕上，此现象称为正视差；而如图1所示，而当目标物在左眼图像中向左偏，在右眼图像中向右偏，用户的眼睛焦距会被引导落到3D显示屏幕的前面，此现象称为负视差；正视差和负视差均有一定的数值，终端通过设定正视差或负视差的数值可以调节图像入屏或出屏的比例。

如何根据3D显示来进一步提升用户的交互体验成为未来人机交互的研究方向。

相关技术中，用户与手机、平板电脑等这些智能终端之间一般需要通过手指触摸屏幕来实现人机交互，但是，申请人发现，对于具有3D视觉效果的3D显示屏幕，这种人机交互方式触控准确率低，用户体验差，这是由于能够进行3D显示的终端中，通过3D显示屏幕显示的3D画面，其屏点并不在屏幕上，正如上述实施例所说的，当用户观看一个具有负视差的3D画面时，用户眼睛所观看到的画面应该在3D显示屏幕与用户眼睛之间的区域中，是一个虚拟画面，因此当用户伸手去触控屏幕时，容易造成误触。

申请人进一步发现，相关的3D技术没办法实现这个虚拟画面在空中位置的确定，是因为终端无法知道人眼离屏幕的距离到底有多远，因此无法知道3D显示的虚拟画面出屏的位置，而继续采用相关技术中的触控操作则会造成误触，严重降低用户体验。

基于此，本发明实施例提供了一种人机交互方法、装置、电子设备和存储介质，能够在终端进行3D显示时根据用户的手部动作进行人机交互，无需触控到终端，提高用户的交互体验。

本发明实施例中的终端可以为移动终端设备，也可以为非移动终端设备。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理等；非移动终端设备可以为个人计算机、电视机、柜员机或者自助机等；本发明实施方案不作具体限定。

终端可以包括处理器，外部存储器接口，内部存储器，通用串行总线(universalserial bus，USB)接口，充电管理模块，电源管理模块，电池，移动通信模块，无线通信模块，音频模块，扬声器，受话器，麦克风，耳机接口，传感器模块，按键，马达，指示器，前置摄像头，后置摄像头，显示屏幕，以及用户标识模块(subscriber identification module，SIM)卡接口等。终端可以通过前置摄像头，后置摄像头，视频编解码器，GPU，显示屏幕以及应用处理器等实现拍摄功能。

前置摄像头或后置摄像头用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP(image signal processor，图像信号处理器)转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端可以包括1个或N个前置摄像头，N为大于1的正整数。

终端通过GPU，显示屏幕，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏幕和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏幕用于显示图像，视频等。显示屏幕包括显示面板。显示面板可以采用液晶显示屏幕(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emittingdiode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。

在一实施例中，本发明实施例中的显示屏幕为3D显示屏幕，可以进行3D画面的显示，以下可简称显示屏幕，显示屏幕可以是裸眼3D显示屏，通过裸眼3D显示屏可以对多媒体数据进行处理，将其拆分成左右两部分，例如，将2D视频裁剪成两部分，并改变两部分的出光折射方向，用户眼睛在观看后，能看到一个3D的画面，所成的3D画面具有一个负视差，可以显示在用户与显示屏幕之间，实现裸眼3D观看效果，又或者，显示屏幕为2D显示屏，终端可以外置一个3D光栅贴膜，对2D显示屏的出射光进行折射，使得用户在通过3D光栅贴膜观看显示屏幕后，观看到一个3D的显示效果。

示例性的，如图2所示，本发明实施例中以终端为手机为例子，例如，手机上的前置面板10上设置有前置摄像头11，可以获取图像信息，前置面板10上还设置有显示屏幕12，可以进行画面显示，可以理解的是，当终端为3D视觉训练终端，或者为可以显示3D画面的手机时，通过显示屏幕12可以显示3D画面。

需要说明的是，本发明实施例中的前置摄像头11，可以与所设置的显示屏幕12同面设置，且前置摄像头11的位置固定，在一实施例中，前置摄像头11可以垂直显示屏幕12也可以不垂直12，前置摄像头11可以位于显示屏幕12之内也可以位于显示屏幕12的周边，如图2所示，此外，前置摄像头11还可以与显示屏幕12有垂直距离，以使得前置摄像头11与显示屏幕12不处于一个平面上，终端根据不同设置的前置摄像头11均可以进行参数上的校验，以实现本发明实施例中的人机交互方法、控制方法。

下面就本发明实施例中的人机交互方法、装置、电子设备和存储介质进行介绍，首先介绍本发明实施例中的人机交互方法。

参照图3所示，本发明实施例提供了一种人机交互方法，应用于终端中，人机交互方法可以包括但不限于步骤S101至步骤S104。

步骤S101，控制3D显示屏幕显示3D的待操作对象。

步骤S102，获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，根据第一屏点位置确定用户观看到待操控对象所在的第一视觉平面。

步骤S103，获取用户在第一视觉平面上的第一手部动作，根据第一手部动作匹配待操作对象上的坐标位置。

步骤S104，根据坐标位置得到对应在待操作对象上的输入信息。

需要说明的是，本发明实施例中的人机交互方法，先通过3D显示屏幕显示3D的待操作对象，3D显示屏幕即为上述实施例所描述的显示屏幕，以下简称显示屏幕，待操作对象是用于进行3D显示的画面，在一实施例中，待操作对象可以是虚拟键盘、单独控件或手势控件中的至少一种，例如，当待操作对象为虚拟键盘时，终端可以通过显示屏幕显示3D的虚拟键盘，本发明实施例中的终端将3D画面设置为出屏显示，因此虚拟键盘具有负视差，虚拟键盘将显示在用户眼睛与显示屏幕之间，当待操作对象为单独控件或手势控件时，也同样可以出屏显示，在此不再赘述，可以理解的是，本发明实施例中的单独空间或手势控件可以是任意内容页面，可以是一个独立的软件界面或者基于手势进行操作的软件界面，例如，可以是文章阅读界面、图像阅读界面等，是任意可以进行人机交互的界面，在此不做具体限制。

如图4所示，在进行3D的待操作对象的显示后，终端获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，第一屏点位置为用户左右眼看到的待操作对象视线的交汇点，也是3D显示的待操作对象的出屏位置，在该位置所在的平面上用户将观看到3D的虚拟界面，因此根据第一屏点位置可以确定用户观看到待操控对象所在的第一视觉平面，随后进行人机交互时，如图5所示，获取用户在第一视觉平面上的第一手部动作，第一手部动作时用户根据看到的3D的待操作对象后在对应的第一视觉平面上做出的手部动作，根据第一手部动作进行坐标匹配，匹配待操作对象上的坐标位置，从而最终根据坐标位置得到对应在待操作对象上的输入信息，输入信息是响应于用户的第一手部动作后生成的一个输入到终端中的信息，以此实现了基于用户手部动作后的信息输入。

可以理解的是，由于本发明实施例中的终端是进行3D显示的终端，用户通过观看到第一视觉平面上的待操作对象后，在对应的待操作对象的位置做出相关的手部动作，终端获取用户在第一视觉平面上的第一手部动作，实现信息的输入，由于用户是在观看的平面上做出第一手部动作，因此可以减少误触，本发明实施例通过执行人机交互方法，能够在终端进行3D显示时根据用户的手部动作进行人机交互，无需触控到终端，提高用户的交互体验。

参照图6所示，在一实施例中，终端设置有前置摄像头，上述步骤S102中还可以包括但不限于步骤S201至步骤S204。

步骤S201，获取用户手部到3D显示屏幕的第二距离。

步骤S202，若第二距离表征用户手部位于第一视觉平面上，获取用户的手部图像，手部图像是由前置摄像头拍摄得到的。

步骤S203，识别手部图像中的画面手部形状。

步骤S204，获取预设的目标手部形状，将画面手部形状与目标手部形状进行匹配度分析。

步骤S205，若画面手部形状与目标手部形状相匹配，确定画面手部形状为第一手部动作。

需要说明的是，本发明实施例中通过终端上设置的前置摄像头来获取图像，并进行手部形状的识别，具体的，本放实施例先获取用户手部到显示屏幕的距离，即为第二距离，可以理解的是，当用户的手部出现在第一视觉平面上时，才判断需要进行人机交互，当第二距离表征用户手部位于第一视觉平面上时，通过前置摄像头获取用户的手部图像，以根据手部图像来解析用户做出的手势动作，识别手部图像中用户的手部形状，得到画面手部形状，画面手部形状是终端根据前置摄像头拍摄的用户的手部图像中识别出来的用户做的手部形状，本发明实施例据此将画面手部形状与预设的目标手部形状进行匹配分析，目标手部形状用于确定用户做出正确的手部动作，当画面手部形状与目标手部形状相匹配，确定画面手部形状为第一手部动作。

例如，在一实施例中，目标手部形状为点击动作对应的形状，本发明实施例通过识别得到画面手部形状，当画面手部形状为滑动动作或击掌动作时，并不能与目标手部形状的点击动作形状相同，因此无法匹配，而当画面手部形状也为点击动作对应的形状时，二者相匹配，因此确定画面手部形状为第一手部动作，此处第一手部动作即为点击动作，以此实现根据用户做出的具体手部动作进行人机交互。

需要说明的是，本发明实施例中可以对手部图像进行图像处理，从而识别出画面手部形状，可以通过边缘轮廓提取法、质心手指等多特征结合法以及指关节式跟踪法识别得到画面手部形状，例如，通过获取到的手部图像，处理成灰度图像，再进行降噪处理，提取手部的边缘轮廓，手型因其特有的外形而与其他物体区分，结合几何矩和边缘检测的手势识别算法，通过设定特征的权重来计算图像间的距离，实现对手势的识别；多特征结合法则是根据手的物理特性分析手势的姿势或轨迹，将手势形状和手指指尖特征相结合来实现手势的识别；指关节式跟踪法主要是构建手的二维或三维模型，再根据人手关节点的位置变化来进行跟踪，其主要应用于动态轨迹跟踪，最终识别到画面手部形状。

可以理解的是，本发明实施例中也可以将手部图像输入至预设的神经网络模型中，由神经网络模型对手部图像进行处理，并识别得到对应的画面手部形状，可以理解的是，该神经网络模型可以通过样本中的大量手部形状与样本图像进行训练，不断优化损失值，最终可以得到准确度较高的神经网络模型，以实现本发明实施例中对画面手部形状的识别，对比本发明实施例不做具体限制。

参照图7所示，在一实施例中，上述步骤S103中还可以包括但不限于步骤S301至步骤S302。

步骤S301，获取用户做出第一手部动作时对应的手部位置。

步骤S302，根据手部位置的坐标与第一视觉平面上的坐标进行匹配，得到对应在待操作对象上的坐标位置。

需要说明的是，本发明实施例中在根据用户的第一手部动作匹配对应的坐标位置时，根据用户做出第一手部动作的手部位置来进行坐标的匹配，具体的，本发明实施例中在用户做出第一手部动作时，获取对应的手部位置，手部位置可以体现成一个坐标的形式，根据手部位置的坐标，与第一视觉平面上的坐标进行匹配，从而可以得到用户做出第一手部动作时对应在待操作对象上的坐标位置。

可以理解的是，由于用户是在第一视觉平面上做出的第一手部动作，因此其手部位置表征的坐标点，将位于第一视觉平面上，因此根据手部位置的坐标可以得到其在第一视觉平面上的位置，从而匹配到第一视觉平面中待操作对象上的坐标位置。

参照图8所示，在一实施例中，待操作对象包括虚拟键盘，上述步骤S104中还可以包括但不限于步骤S401至步骤S402。

步骤S401，获取虚拟键盘上各个按键键值与对应的输入位置的坐标映射关系。

步骤S402，根据坐标位置与坐标映射关系从虚拟键盘中触发对应的目标按键键值。

需要说明的是，如图9所示，当本发明实施例中的代操作对象为虚拟键盘，在根据坐标位置得到输入信息的过程中，先获取虚拟键盘上各个按键键值与对应的输入位置的坐标映射关系，可以理解的是，本发明实施例预先根据呈现的虚拟键盘的位置建立坐标映射关系，以使得在上面的某个坐标就能对应到相应的输入按键，随后根据坐标位置与坐标映射关系从虚拟键盘中触发对应的目标按键键值，例如，在坐标映射关系中，坐标(x，y)对应的位置是虚拟键盘上的“D”按键，当上述实施例中得到的坐标位置是(x，y)时，可以匹配到目标按键是“D”按键，从而输入信息即为“D”按键的输入键值，最终实现用户通过点击第一视觉平面上虚拟键盘的“D”按键完成对应目标按键键值的输入，实现人机交互操作。

需要说明的是，终端设置有前置摄像头，上述实施例中，手部位置由前置摄像头拍摄的手部图像解析得到，如根据前置摄像头拍摄用户的手部图像，解析图像中手部的坐标位置，从而得到手部位置的坐标表示，或者，终端设置有红外传感器或超声波传感器，红外传感器和超声波传感器用于获取手部位置，红外传感器或超声波传感器将获取到的手部的位置信息发送给后台处理，经过解析，转换为在第一视觉平面上的坐标表示，从而得到用户做出第一手部动作时对应的手部位置。

参照图10所示，在一实施例中，本发明实施例中的人机交互方法还可以包括但不限于步骤S501至步骤S502。

步骤S501，获取用户在第一视觉平面上的第二手部动作，根据第二手部动作打开或关闭待操作对象。

步骤S502，获取用户在第一视觉平面上的第三手部动作，根据第三手部动作控制待操作对象执行响应动作，响应动作包括放大、缩小、下滑滚动或翻页。

需要说明的是，本发明实施例中的人机交互方法，除了基于用户做出的第一手部动作得到对应在待操作对象上的输入信息后，还可以根据用户不同的手部动作执行对应的操作，例如，本发明实施例可以获取用户在第一视觉平面上的第二手部动作，根据第二手部动作打开或关闭待操作对象，同样的，第二手部动作的确定也可以跟上述实施例的第一手部动作的确定方式一样，也可以通过图像识别得到，并与预设的其他目标手部形状进行匹配，从而确定用户做出第二手部动作，通过第二手部动作进行人机交互可以包括多种方式，如用户可以做出挥手动作，从而关闭待操作对象，并通过招手动作，打开待操作对象。

不仅如此，本发明实施例中的人机交互方法，还可以获取用户在第一视觉平面上的第三手部动作，根据第三手部动作控制待操作对象执行响应动作，响应动作包括放大、缩小、下滑滚动或翻页，同样的，第三手部动作的确定也可以跟上述实施例的第一手部动作的确定方式一样，也可以通过图像识别得到，并与预设的其他目标手部形状进行匹配，从而确定用户做出第三手部动作，通过第三手部动作进行人机交互可以包括多种方式，如手指做出“捏紧”般的缩小动作，从而控制待操作界面缩小界面，或者当待操作对象为可滑动的页面，如文章阅读界面时，用户做出下滑滚动或翻页的手部动作，可以控制待操作对象下滑滚动页面或翻页，对比本发明实施例不做具体限制。

需要说明的是，第一手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，第二手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，第三手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，且第一手部动作、第二手部动作和第三手部动作互不相同。

参照图11所示，在一实施例中，终端设置有前置摄像头，上述步骤S102中还可以包括但不限于步骤S601至步骤S604。

步骤S601，获取用户的脸部图像，脸部图像是由前置摄像头拍摄得到的。

步骤S602，对脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息。

步骤S603，根据第一瞳孔位置信息和第二瞳孔位置信息，计算得到在脸部图像中用户的画面瞳孔间距。

步骤S604，根据画面瞳孔间距，计算得到用户眼睛到3D显示屏幕的第一距离。

需要说明的是，本发明实施例中的人机交互方法，可以基于摄像头进行测距，通过获取用户的脸部图像，脸部图像是由前置摄像头拍摄得到的，对脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息，根据用户双眼的第一瞳孔位置信息和第二瞳孔位置信息，计算得到在脸部图像中用户的画面瞳孔间距，可根据显示屏幕的像素数量确定，最后根据画面瞳孔间距，计算得到用户眼睛到显示屏幕的观看距离，即为第一距离，本发明实施例可以通过终端上设置的前置摄像头实现测距，通过前置摄像头获取的图像解析得到用户的瞳孔位置，并计算出所需要的画面瞳孔间距，画面瞳孔间距是表征所获取的图像中用户的瞳孔间距，并根据画面瞳孔间距可以计算得到用户眼睛到显示屏幕的观看距离，测距成本低，无需额外设置其他传感器，即可实现测距。

可以理解的是，终端通过前置摄像头获取得到脸部图像，脸部图像上用户的瞳孔间距即为画面瞳孔间距，在前置摄像头进行拍摄的过程中，以摄像头为参照物的话，用户对摄像头来讲位置是可以随时发生变化的，通过摄像头成像，用户在不同距离，所成的像大小都不一样，如图12a和图12b所示，在图12a中，用户距离摄像头较近，所成的像中用户的脸部大小就要大一些，因此瞳孔间距就大一些，而在图12b中，用户距离摄像头较远，所成的像中用户的脸部大小就要小一些，因此瞳孔间距就小一些，本发明实施例通过前置摄像头拍摄的用户图像中的瞳孔间距的大小，就可以判断用户眼睛到显示屏幕的第一距离。

示例性的，可以利用已知尺寸的参考物体在已知距离上测量，并根据预设公式计算得到观看距离。例如，在显示屏幕前方50厘米有一个10厘米的参考物体(如尺子)，根据前置摄像头的参数特性，照出的照片，10厘米的物体在前置摄像头所得的图像中会变成确定的尺寸(可根据像素数量确定)，现在已知所成的图像中是6.3厘米的目标物体(即两个瞳孔)，在照片中的尺寸大小已经确定，因此可以计算得到目标物体到显示屏幕的距离。

需要说明的是，瞳孔间距就是用户双眼瞳孔之间的距离，也可简称瞳距，指的是双眼瞳孔正中心之间的长度，一个成年人的瞳孔间距正常值范围在58-64mm之间，瞳孔间距本身是个人的遗传和发育决定的，因此不同年龄的瞳孔间距不一样，对某一用户来讲，其瞳孔间距是一定的，因此根据脸部图像中的画面瞳孔间距的大小即可判断得到用户距离终端的远近，以此进行计算得到用户眼睛到显示屏幕的第一距离。

需要说明的是，本发明实施例中通过前置摄像头识别用户的图像，无需设置额外的传感器设备，即可实现测距，设计成本低，无需额外的硬件设置，可应用到具有前置摄像头的终端中，可以理解的是，终端的处理器可以执行本发明实施例中的方法，通过前置摄像头来获取图像，并最终由处理器计算，即可实现精确的测距。

需要说明的是，本发明实施例中的脸部图像，可以由前置摄像头直接识别到用户的脸部获取得到，在一实施例中，脸部图像由前置摄像头获取的图像进行裁剪处理得到，例如，终端通过前置摄像头获取图像，图像中包含了用户的脸部，也将可能包含一些其他杂物，可能会对瞳孔识别造成干扰，因此本发明实施例通过对图像进行裁剪，裁剪去用户的脸部区域得到脸部图像，以提高瞳孔位置识别的准确率。

在一实施例中，前置摄像头为屏下摄像头，显示屏幕为OLED屏幕，因此可以将前置摄像头设置在显示屏幕的下方，具体的，屏下摄像头设置在显示屏幕的中心位置，通过设置在显示屏幕的中心位置，在此处获取用户的脸部图像，可以更加精准测量用户的瞳孔间距，实现更高精度的测距。

此外，当前置摄像头为屏下摄像头，也可以更好抓取用户的手部图像，更好识别用户手部与3D的待操作对象的交互行为。

参照图13所示，在一实施例中，上述步骤S602中还可以包括但不限于步骤S701至步骤S704。

步骤S701，将脸部图像转换为灰度图像，并对灰度图像进行二值化处理，得到第一预处理图像。

步骤S702，对第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像。

步骤S703，利用圆形的结构元素提取第二预处理图像中表征用户瞳孔的圆形区域的位置。

步骤S704，计算圆形区域的中心点，得到用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息。

需要说明的是，本发明实施例中通过对脸部图像进行图像处理，以得到用户脸部的瞳孔位置信息，具体的，如图14所示，首先将脸部图像转换为灰度图像，并对灰度图像进行二值化处理，得到第一预处理图像，对二值化处理后的第一预处理图像，要想得到其中的眼球，可以通过一个圆形的结构元素，对这张图像做个开操作，先对图像进行腐蚀和膨胀处理，经过腐蚀和膨胀后，中心的圆形区域还存在噪声，需要把这个噪声剔除，得到第二预处理图像，最终根据圆形的结构元素提取第二预处理图像中表征用户瞳孔的圆形区域的位置，圆形区域将在整个脸部图像中对应位置标识出来，因此可以计算用户左右眼圆形区域的中心点，即可得到用户双眼的第一瞳孔位置信息和第二瞳孔位置信息。

可以理解的是，本发明实施例中得到的第一瞳孔位置信息和第二瞳孔位置信息后就可以计算得到画面瞳孔间距，例如，在一实施例中，得到的第一瞳孔位置信息和第二瞳孔位置信息均为坐标信息，根据两个坐标信息进行计算即可得到画面瞳孔间距，画面瞳孔间距是前置摄像头拍摄的用户脸部图像中的瞳孔间距，并不是显示中的用户瞳孔间距，根据画面瞳孔间距的大小就可以计算得到用户眼睛到显示屏幕的第一距离。

参照图15所示，在一实施例中，上述步骤S604中还可以包括但不限于步骤S801至步骤S803。

步骤S801，获取预设的标准瞳孔间距。

步骤S802，获取前置摄像头拍摄的脸部图像的焦距，并根据焦距得到脸部图像对应到成像点的初始距离。

步骤S803，根据画面瞳孔间距与标准瞳孔间距得到第一比例，根据第一比例和初始距离得到用户眼睛到3D显示屏幕的第一距离。

需要说明的是，在根据画面瞳孔间距计算得到用户眼睛到显示屏幕的第一距离中，具体的，本发明实施例先获取预设的标准瞳孔间距，标准瞳孔间距是用户现实中的瞳孔间距，标准瞳孔间距可以是默认设置的，例如，设置为63mm，又或者，标准瞳孔间距可以是用户输入的，因此用户可以精确输入瞳孔间距，也可以通过大数据及人工智能分析，不同年龄段、不同性别的人瞳孔间距不同，把这个数据分析结论置换63mm的成年人瞳孔间距，可以获得更精准的瞳孔间距，可以获得更精准的第一距离。随后获取前置摄像头拍摄的脸部图像的焦距，并根据焦距得到脸部图像对应到成像点的初始距离，最终根据画面瞳孔间距与标准瞳孔间距得到第一比例，根据第一比例和初始距离可以得到用户眼睛到显示屏幕的第一距离。

可以理解的是，每个摄像头在拍摄的时候都应具有一定的视场角(FOV)和焦距，每一个摄像头的焦距和视场角都是一一对应的，可以通过公开方式获得也可以进行测量得到，视场角就是摄像头视锥体的两端的夹角，焦距是摄像头的镜头到内部的“传感器”的距离，但是，实际上的摄像头，传感器在镜头后面，为了简化，可以假设镜头在传感器的前面，相对镜头镜像，可以得到图16所示的画面，如，传感器所在的平面即为脸部图像所在平面，所成的脸部图像相当于在镜头所在平面的上方，镜头所在的位置可以描述为本发明实施例中的成像点，成像点所在平面在脸部图像所在平面的下方，并且平行设置，因此根据焦距即可得到脸部图像所在平面相对于成像点所在平面的位置，在一实施例中，根据焦距可以得到脸部图像所在平面和成像点所在平面之间的距离，定义为初始距离。

可以理解的是，脸部图像所在平面即对应到显示屏幕所在的平面，根据前置摄像头拍摄的广角和焦距所决定，在一实施例中，脸部图像所在平面即为显示屏幕所在平面，又或者，脸部图像所在平面加减一个小距离既可以得到显示屏幕所在的平面，这可以预先根据所采用的前置摄像头的物理参数测算得到，并应用在后续的处理中，本发明实施例以脸部图像所在平面即为显示屏幕所在平面为例子。

需要补充的是，本发明实施例中根据焦距来得到初始距离，也可以获取拍摄的视场角得到初始距离，但是由于视场角和焦距是一一对应的关系，因此以获取焦距进行处理为例子，需要说明的是，初始距离可以根据相机成像的特性计算得到，也可以预先测算得到，但是可以理解的是，每个不同的焦距都将对应一个初始距离，在此不做具体限制。

可以理解的是，如图17所示，根据摄像头成像的特性，用户的实际瞳孔间距的线段，与成像点之间形成一个三角形，且画面瞳孔间距的线段位于该三角形中，并与实际瞳孔间距的线段平行，在一实施例中，画面瞳孔间距所在的线段与成像点形成的三角形，和实际瞳孔间距所在的线段与成像点形成的三角形为相似三角形，由于初始距离已知，且画面瞳孔间距和实际瞳孔间距可以得到第一比例，因此根据初始距离和第一比例可以得到用户眼睛到显示屏幕之间的第一距离。

需要说明的是，在得到用户眼睛到显示屏幕的第一距离的过程中，根据三角形的特性进行计算，在一实施例中，定义图17中画面瞳孔间距所在线段和成像点之间的三角形为第一三角形，定义图17中实际瞳孔间距所在线段和成像点之间的三角形为第二三角形，第一三角形和第二三角形为相似三角形。

如图17中，根据第一比例和初始距离可以得到用户眼睛到成像点的距离，第一比例为画面瞳孔间距Q除以实际瞳孔间距K，随后将初始距离H0除以第一比例，得到距离H1，最终将距离H1减去初始距离H0，可以得到用户眼睛到显示屏幕的第一距离H，H的计算公式如下：

H＝H1-H0 (1)

H1＝H0/(Q/K) (2)

在一实施例中，本发明实施例可以根据用户脸部的转动角度得到更精确的第一距离，进行矫正，具体的，用户在观看显示屏幕时，可能会以一定的角度来观看，对前置摄像头来讲，所获取的图像是一个二维的平面图像，单纯根据图像分辨不出用户脸部转动的角度，若此时直接计算瞳孔间距，会造成误差，从而导致测距不准，因此可以根据前置摄像头的具体位置进行几何学计算，对参数进行修正。此外，当瞳孔不在前置摄像头正前方，也通过几何学原理进行修正，当显示屏幕与前置摄像头不在一个平面上，也可以根据距离差进行修正，对比本发明实施例不做具体限制。

参照图18所示，在一实施例中，上述步骤S604中还可以包括但不限于步骤S901至步骤S902。

步骤S901，获取预设的距离查询表。

步骤S902，根据画面瞳孔间距从距离查询表中查表得到用户眼睛到3D显示屏幕的第一距离。

需要说明的是，本发明实施例中的第一距离也可以根据预设的距离查询表查询得到，具体的，本发明实施例中可以预先建立画面瞳孔距离到第一距离的映射关系表，在计算得到第一距离的过程中，先获取预设的距离查询表，并根据测量得到的画面瞳孔间距从距离查询表中查表得到用户眼睛到显示屏幕的第一距离。

需要说明的是，上述实施例中的距离查询表可以根据样本中的数据计算得到，可以理解的是，当需要通过测量用户的脸部比例进行误差消减时，距离查询表同样可以基于转动角度建立，在此不做具体限制。

参照图19所示，在一实施例中，上述步骤S604中还可以包括但不限于步骤S1001至步骤S1003。

步骤S1001，获取参考距离、参考物体尺寸以及前置摄像头拍摄的参考物体对应的画面尺寸。

步骤S1002，获取预设的标准瞳孔间距。

步骤S1003，根据参考距离、参考物体尺寸、画面尺寸、画面瞳孔间距和标准瞳孔间距得到用户眼睛到3D显示屏幕的第一距离。

需要说明的是，本发明实施例中也可以根据建立参考系来得到第一距离，具体的，本发明实施例先在终端前放置一个参考物体，测量参考物体到显示屏幕的参考距离以及参考物体的物体尺寸，通过前置摄像头拍摄参考物体成像，在所成的像中计算参考物体在图像中的尺寸，得到画面尺寸，随后据此可以建立参考系，因此通过获取预设的标准瞳孔间距，即可以根据参考距离、参考物体尺寸、画面尺寸、画面瞳孔间距和标准瞳孔间距得到用户眼睛到显示屏幕的第一距离。

具体的，本发明先根据标准瞳孔间距除以画面瞳孔间距得到第一系数，再根据参考物体尺寸处于画面尺寸得到第二系数，用参考距离除以第二系数得到第三系数，最终根据第三系数与第一系数的乘积得到用户眼睛到显示屏幕的第一距离，此外，画面尺寸和画面瞳孔间距均可以根据显示屏幕的像素点计算得到，例如，如图20和图21中，当标准参考物体的物体尺寸为10cm，参考距离为50cm，画面尺寸为AB，并以标准瞳孔间距为6.3cm为例子，画面瞳孔间距为ab，此时第一系数为6.3÷ab，第二系数为10÷AB，最终可以建立第一距离h的公式如下：

50÷(10÷AB)＝h÷(6.3÷ab) (3)

由于画面尺寸AB和画面瞳孔间距ab已知，根据公式(3)即可以得到第一距离h。

参照图22所示，在一实施例中，上述步骤S102中还可以包括但不限于步骤S1101至步骤S1103。

步骤S1101，获取终端进行3D画面显示的负视差值。

步骤S1102，根据第一距离和负视差值得到第三距离。

步骤S1103，在用户与3D显示屏幕之间，且距离3D显示屏幕第三距离的位置确定为第一屏点位置。

需要说明的是，本发明实施例中可以根据设定的负视差值确定第一屏点位置，本发明实施例中的人机交互方法先获取终端进行3D画面显示的负视差值，正如上述图1所示，当目标物在左眼图像中向左偏，在右眼图像中向右偏，用户的双眼焦距(汇合点)会被引导落到显示屏幕的前面，此现象称为负视差，由于视差的存在才能看到立体效果，负视差越大，就会离观众越近，本发明可以设定一个所需要的负视差值，表征3D的虚拟图像出屏距离占用户眼睛到显示屏幕之间的第一距离的百分比，以确定3D画面出现的位置，随后根据第一距离和负视差值得到第三距离，其中，第一距离与负视差值表征的百分比进行乘积，最终在用户与3D显示屏幕之间，且距离3D显示屏幕第三距离的位置确定为第一屏点位置。

具体的，当本发明实施例中的负视差值表征的百分比设定为-20％，表示3D画面将出现在用户眼睛与显示屏幕之间20％的位置，当终端通过前置摄像头获取用户眼睛到显示屏幕的距离为50cm时，可以得到用户观看到的3D画面到显示屏幕的距离为10cm，因此在根据负视差值得到3D画面显示的位置后，终端可以在该位置获取用户的手部动作，进而实现虚拟交互。

又例如，当本发明实施例中的负视差值设定为-20％，且用户眼睛距离终端的距离为50cm，终端获取距离终端或3D显示屏幕10cm位置用户的手部动作，这是因为有用户根据所设定的负视差值，可以在距离3D显示屏幕10cm的位置观看到3D画面，进而终端的输入界面(如虚拟键盘)可以作为3D交互画面出现在该位置，用户在这个位置观看到输入界面后，通过手势在这个位置进行比划，终端再获取该位置上用户的手部动作，实现一套基于3D显示的虚拟交互方式。

参照图23所示，在一实施例中，上述步骤S102之后，还可以包括但不限于步骤S1201至步骤S1203。

步骤S1201，当用户眼睛移动后，获取移动后用户眼睛到3D显示屏幕的第四距离。

步骤S1202，根据第四距离和负视差值得到第五距离。

步骤S1203，更新第一屏点位置，并在用户与3D显示屏幕之间，且距离3D显示屏幕第五距离的位置更新为第一屏点位置。

需要说明的是，当终端识别到用户眼睛到终端的距离发生变化时，所判断的3D画面出现的位置也会发生变化，终端会实时根据负视差值和用户眼睛到显示屏幕的距离，更新3D画面出现的位置，从而实现在准确的位置获取用户的手部动作，完成基于3D显示的虚拟交互。具体的，当用户眼睛移动后，获取移动后用户眼睛到3D显示屏幕的第四距离，第四距离为当前用户移动后到显示屏幕的距离，根据第四距离和负视差值得到第五距离，以此来更新第一屏点位置，并在用户与3D显示屏幕之间，且距离3D显示屏幕第五距离的位置更新为第一屏点位置。

参照图24所示，本发明实施例中还提供了一种人机交互装置，装置包括：

第一模块2401，用于控制3D显示屏幕显示3D的待操作对象。

第二模块2402，用于获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，根据第一屏点位置确定用户观看到待操控对象所在的第一视觉平面。

第三模块2403，用于获取用户在第一视觉平面上的第一手部动作，根据第一手部动作匹配待操作对象上的坐标位置。

第四模块2404，用于根据坐标位置得到对应在待操作对象上的输入信息。

需要说明的是，本发明实施例中的人机交互装置可以实现上述任意一个实施例中的人机交互方法，人机交互装置可以是手机、平板电脑、3D视觉训练终端等终端设备，其中，人机交互装置通过执行人机交互方法，控制3D显示屏幕显示3D的待操作对象，随后获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，由于待操作对象是3D显示的，根据两眼视差虚拟出的立体空间画面，3D的待操作对象将显示在第一屏点位置所在的平面，因此根据第一屏点位置确定用户观看到待操控对象所在的第一视觉平面，随后获取用户在第一视觉平面上的第一手部动作，根据第一手部动作匹配待操作对象上的坐标位置，最终根据坐标位置可以得到对应在待操作对象上的输入信息，本发明实施例能够在终端进行3D显示时根据用户的手部动作进行人机交互，根据不同的手部动作匹配得到在待操作对象上不同的输入信息，无需触控到终端即可实现交互，提高用户的交互体验。

需要说明的是，上述第一模块2401、第二模块2402、第三模块2403和第四模块2404可以是终端上的各个功能模块，在一实施例中，上述模块均可以为处理器中的各个功能模块，均可以由终端上设置的处理器所执行，本发明实施例中仅以功能模块的方式体现人机交互装置的硬件结构，并不代表为对本发明实施例的限制。

图25示出了本发明实施例提供的电子设备2500。电子设备2500包括：处理器2501、存储器2502及存储在存储器2502上并可在处理器2501上运行的计算机程序，计算机程序运行时用于执行上述的人机交互方法。

处理器2501和存储器2502可以通过总线或者其他方式连接。

存储器2502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的人机交互方法。处理器2501通过运行存储在存储器2502中的非暂态软件程序以及指令，从而实现上述的人机交互方法。

存储器2502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的人机交互方法。此外，存储器2502可以包括高速随机存取存储器2502，还可以包括非暂态存储器2502，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器2502可选包括相对于处理器2501远程设置的存储器2502，这些远程存储器2502可以通过网络连接至该电子设备2500。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的人机交互方法所需的非暂态软件程序以及指令存储在存储器2502中，当被一个或者多个处理器2501执行时，执行上述的人机交互方法，例如，执行图3中的方法步骤S101至步骤S104、图6中的方法步骤S201至步骤S205、图7中的方法步骤S301至步骤S302、图8中的方法步骤S401至步骤S402、图10中的方法步骤S501至步骤S502、图11中的方法步骤S601至步骤S604、图13中的方法步骤S701至步骤S704、图15中的方法步骤S801至步骤S803、图18中的方法步骤S901至步骤S902、图19中的方法步骤S1001至步骤S1003、图22中的方法步骤S1101至步骤S1103、图23中的方法步骤S1201至步骤S1203。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

还应了解，本发明实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换。

Claims (19)

1.一种人机交互方法，应用在终端中，所述终端设置有3D显示屏幕，其特征在于，所述方法包括：

控制所述3D显示屏幕显示3D的待操作对象；

获取用户眼睛到所述3D显示屏幕的第一距离，并根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，根据所述第一屏点位置确定用户观看到所述待操控对象所在的第一视觉平面；

获取用户在所述第一视觉平面上的第一手部动作，根据所述第一手部动作匹配所述待操作对象上的坐标位置；

根据所述坐标位置得到对应在所述待操作对象上的输入信息。

2.根据权利要求1所述的人机交互方法，其特征在于，所述终端设置有前置摄像头，所述获取用户在所述第一视觉平面上的第一手部动作，包括：

获取用户手部到所述3D显示屏幕的第二距离；

若所述第二距离表征用户手部位于所述第一视觉平面上，获取用户的手部图像，所述手部图像是由所述前置摄像头拍摄得到的；

识别所述手部图像中的画面手部形状；

获取预设的目标手部形状，将所述画面手部形状与所述目标手部形状进行匹配度分析；

若所述画面手部形状与所述目标手部形状相匹配，确定所述画面手部形状为第一手部动作。

3.根据权利要求1或2所述的人机交互方法，其特征在于，所述根据所述第一手部动作匹配所述待操作对象上的坐标位置，包括：

获取用户做出所述第一手部动作时对应的手部位置；

根据所述手部位置的坐标与所述第一视觉平面上的坐标进行匹配，得到对应在所述待操作对象上的坐标位置。

4.根据权利要求3所述的人机交互方法，其特征在于，所述待操作对象包括虚拟键盘，所述根据所述坐标位置得到对应在所述待操作对象上的输入信息，包括：

获取所述虚拟键盘上各个按键键值与对应的输入位置的坐标映射关系；

根据所述坐标位置与所述坐标映射关系从所述虚拟键盘中触发对应的目标按键键值。

5.根据权利要求3所述的人机交互方法，其特征在于，所述终端设置有前置摄像头，所述手部位置由所述前置摄像头拍摄的手部图像解析得到；

或者，所述终端设置有红外传感器或超声波传感器，所述红外传感器和所述超声波传感器用于获取所述手部位置。

6.根据权利要求1所述的人机交互方法，其特征在于，所述方法还包括以下至少之一：

获取用户在所述第一视觉平面上的第二手部动作，根据所述第二手部动作打开或关闭所述待操作对象；

获取用户在所述第一视觉平面上的第三手部动作，根据所述第三手部动作控制所述待操作对象执行响应动作，所述响应动作包括放大、缩小、下滑滚动或翻页。

7.根据权利要求6所述的人机交互方法，其特征在于，所述第一手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第二手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第三手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，且所述第一手部动作、所述第二手部动作和所述第三手部动作互不相同。

8.根据权利要求1所述的人机交互方法，其特征在于，所述待操作对象包括虚拟键盘、单独控件或手势控件中的至少一种。

9.根据权利要求1所述的人机交互方法，其特征在于，所述终端设置有前置摄像头，所述获取用户到所述3D显示屏幕的第一距离，包括：

获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；

对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息；

根据所述第一瞳孔位置信息和所述第二瞳孔位置信息，计算得到在所述脸部图像中用户的画面瞳孔间距；

根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离。

10.根据权利要求2、5和9中任意一项所述的人机交互方法，其特征在于，所述前置摄像头为屏下摄像头，所述屏下摄像头设置在所述3D显示屏幕的中心位置。

11.根据权利要求9所述的人机交互方法，其特征在于，所述对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息，包括：

将所述脸部图像转换为灰度图像，并对所述灰度图像进行二值化处理，得到第一预处理图像；

对所述第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像；

利用圆形的结构元素提取所述第二预处理图像中表征用户瞳孔的圆形区域的位置；

计算所述圆形区域的中心点，得到用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息。

12.根据权利要求9所述的人机交互方法，其特征在于，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：

获取预设的标准瞳孔间距；

获取所述前置摄像头拍摄的所述脸部图像的焦距，并根据所述焦距得到所述脸部图像对应到成像点的初始距离；

根据所述画面瞳孔间距与所述标准瞳孔间距得到第一比例，根据所述第一比例和所述初始距离得到用户眼睛到所述3D显示屏幕的第一距离。

13.根据权利要求9述的人机交互方法，其特征在于，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：

获取预设的距离查询表；

根据所述画面瞳孔间距从所述距离查询表中查表得到用户眼睛到所述3D显示屏幕的第一距离。

14.根据权利要求9所述的人机交互方法，其特征在于，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：

获取参考距离、参考物体尺寸以及所述前置摄像头拍摄的参考物体对应的画面尺寸；

获取预设的标准瞳孔间距；

根据所述参考距离、所述参考物体尺寸、所述画面尺寸、所述画面瞳孔间距和所述标准瞳孔间距得到用户眼睛到所述3D显示屏幕的第一距离。

15.根据权利要求1所述的人机交互方法，其特征在于，所述根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，包括：

获取所述终端进行3D画面显示的负视差值；

根据所述第一距离和所述负视差值得到第三距离；

在用户与所述3D显示屏幕之间，且距离所述3D显示屏幕第三距离的位置确定为第一屏点位置。

16.根据权利要求15所述的人机交互方法，其特征在于，所述根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置之后，所述方法包括：

当用户眼睛移动后，获取移动后用户眼睛到所述3D显示屏幕的第四距离；

根据所述第四距离和所述负视差值得到第五距离；

更新所述第一屏点位置，并在用户与所述3D显示屏幕之间，且距离所述3D显示屏幕第五距离的位置更新为所述第一屏点位置。

17.一种人机交互装置，其特征在于，包括：

第一模块，用于控制3D显示屏幕显示3D的待操作对象；

第二模块，用于获取用户眼睛到所述3D显示屏幕的第一距离，并根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，根据所述第一屏点位置确定用户观看到所述待操控对象所在的第一视觉平面；

第三模块，用于获取用户在所述第一视觉平面上的第一手部动作，根据所述第一手部动作匹配所述待操作对象上的坐标位置；

第四模块，用于根据所述坐标位置得到对应在所述待操作对象上的输入信息。

18.一种电子设备，其特征在于，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至16中任意一项所述的人机交互方法。

19.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至16中任意一项所述的人机交互方法。

Images