CN111427445A - 一种人机交互方法、装置、存储介质及电器设备 - Google Patents

Abstract

本发明公开了一种人机交互方法、装置、存储介质及电器设备，该方法包括：通过双目摄像头识别电器设备所属环境中使用者的手势信息；根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令；根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。本发明的方案，可以解决智能设备的人机交互不够多样化的问题，达到使智能设备的人机交互更加多样化的效果。

Description

一种人机交互方法、装置、存储介质及电器设备

技术领域

本发明属于智能家居技术领域，具体涉及一种人机交互方法、装置、存储介质及电器设备，尤其涉及一种基于双目视觉手势控制的智能设备的人机交互方法、装置、存储介质及电器设备。

背景技术

智能设备的发展迅速，智能设备上单一的语音控制已经不能够满足用户的需求，人机交互不够多样化是主要原因。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的目的在于，针对上述缺陷，提供一种人机交互方法、装置、存储介质及电器设备，以解决智能设备的人机交互不够多样化的问题，达到使智能设备的人机交互更加多样化的效果。

本发明提供一种人机交互方法，包括：通过双目摄像头识别电器设备所属环境中使用者的手势信息；根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令；根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。

可选地，通过双目摄像头识别电器设备所属环境中使用者的手势信息，包括：采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息；根据电器设备所属环境中使用者的人脸信息，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息。

可选地，采用双目摄像头对电器设备所属环境中使用者进行定位，包括：获取由双目摄像头采集到的电器设备所属环境中使用者的整体图像信息；根据电器设备所属环境中使用者的整体图像信息，对电器设备所属环境中的使用者进行识别和定位，得到电器设备所属环境中使用者的位置信息；根据电器设备所属环境中使用者的位置信息，进一步获取获取由双目摄像头采集到的电器设备所属环境中使用者的人脸图像；根据电器设备所属环境中使用者的人脸图像，电器设备所属环境中使用者的位置信息处使用者的人脸信息。

可选地，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息，包括：根据电器设备所属环境中使用者的位置信息处使用者的人脸信息，确定电器设备所属环境中使用者的脸部是否面向电器设备；若电器设备所属环境中使用者的脸部面向电器设备，则获取电器设备所属环境中使用者的肢体图像；根据电器设备所属环境中使用者的肢体图像，确定电器设备所属环境中使用者的肢体信息，以将电器设备所属环境中使用者的肢体信息确定为电器设备所属环境中使用者的手势信息。

可选地，手势信息，包括：手势的种类信息、手势的方向信息、和/或手势的深度信息。

可选地，还包括：对电器设备所属环境中使用者的手势信息、电器设备的控制指令、电器设备执行控制指令的执行过程、和/或电器设备执行控制指令的执行结果进行输出；其中，该输出，包括：在电器设备的显示屏上显示，发送至设定的客户端，和/或通过电器设备的语音系统播报。

与上述方法相匹配，本发明另一方面提供一种人机交互装置，包括：识别单元，用于通过双目摄像头识别电器设备所属环境中使用者的手势信息；确定单元，用于根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令；控制单元，用于根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。

可选地，识别单元通过双目摄像头识别电器设备所属环境中使用者的手势信息，包括：采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息；根据电器设备所属环境中使用者的人脸信息，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息。

可选地，识别单元采用双目摄像头对电器设备所属环境中使用者进行定位，包括：获取由双目摄像头采集到的电器设备所属环境中使用者的整体图像信息；根据电器设备所属环境中使用者的整体图像信息，对电器设备所属环境中的使用者进行识别和定位，得到电器设备所属环境中使用者的位置信息；根据电器设备所属环境中使用者的位置信息，进一步获取获取由双目摄像头采集到的电器设备所属环境中使用者的人脸图像；根据电器设备所属环境中使用者的人脸图像，电器设备所属环境中使用者的位置信息处使用者的人脸信息。

可选地，识别单元采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息，包括：根据电器设备所属环境中使用者的位置信息处使用者的人脸信息，确定电器设备所属环境中使用者的脸部是否面向电器设备；若电器设备所属环境中使用者的脸部面向电器设备，则获取电器设备所属环境中使用者的肢体图像；根据电器设备所属环境中使用者的肢体图像，确定电器设备所属环境中使用者的肢体信息，以将电器设备所属环境中使用者的肢体信息确定为电器设备所属环境中使用者的手势信息。

可选地，手势信息，包括：手势的种类信息、手势的方向信息、和/或手势的深度信息。

可选地，还包括：控制单元，还用于对电器设备所属环境中使用者的手势信息、电器设备的控制指令、电器设备执行控制指令的执行过程、和/或电器设备执行控制指令的执行结果进行输出；其中，该输出，包括：在电器设备的显示屏上显示，发送至设定的客户端，和/或通过电器设备的语音系统播报。

与上述装置相匹配，本发明再一方面提供一种电器设备，包括：以上所述的人机交互装置。

与上述方法相匹配，本发明再一方面提供一种存储介质，包括：所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行以上所述的人机交互方法。

与上述方法相匹配，本发明再一方面提供一种电器设备，包括：处理器，用于执行多条指令；存储器，用于存储多条指令；其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行以上所述的人机交互方法。

本发明的方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，可以保证控制的精准性。

进一步，本发明的方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，辅助语音系统实现可视化的控制，可以增强用户体验。

进一步，本发明的方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，提取出用户操作时的深度信息的改变，增加手势操控，提升交互的多样性。

进一步，本发明的方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，语音系统在手势控制中会输出语音增添人机交互体验，能形象地反馈设备运行状态，提升用户的使用体验。

进一步，本发明的方案，通过采用双目摄像头对使用人位置进行定位，并在显示屏关联显示相关控制信息，可以保证控制的精准性，提升用户的使用效率和使用体验。

由此，本发明的方案，通过采用双目摄像头对使用者的位置进行定位，并对定位位置处使用者的操作手势进行识别，将得到识别信息转换为相应的控制指令实现人机交互，解决智能设备的人机交互不够多样化的问题，达到使智能设备的人机交互更加多样化的效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的人机交互方法的一实施例的流程示意图；

图2为本发明的方法中通过双目摄像头识别电器设备所属环境中使用者的手势信息的一实施例的流程示意图；

图3为本发明的方法中采用双目摄像头对电器设备所属环境中使用者进行定位的一实施例的流程示意图；

图4为本发明的方法中采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息的一实施例的流程示意图；

图5为本发明的人机交互装置的一实施例的结构示意图；

图6为本发明的电器设备的一实施例的系统结构示意图；

图7为本发明的电器设备的一实施例的人机交互控制流程示意图；

图8为本发明的电器设备的一实施例的双目摄像头的定位原理示意图。

结合附图，本发明实施例中附图标记如下：

102-识别单元；104-确定单元；106-控制单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种人机交互方法，如图1所示本发明的方法的一实施例的流程示意图。该人机交互方法可以包括：步骤S110至步骤S130。

在步骤S110处，通过双目摄像头识别电器设备所属环境中使用者的手势信息。

例如：系统启动后可以选择是否是否开启深度手势，开启后双目摄像头立即开始工作，双目摄像头采集环境中图像，双目摄像头将图像信息传入电器设备的主控进行图像处理，得到手势信息。

其中，手势信息，可以包括：手势的种类信息、手势的方向信息、和/或手势的深度信息。

例如：可以运用双目摄像头定位使用人手势进行控制的手势信息，可以包括：手势的种类、方向、深度等信息，兼容语音系统，实现用户的手势操控。其中，手势信息，可以包含深度信息手势，而非单目摄像头采集到的常规手势。使用双目摄像头，可以提取出用户操作时的深度信息的改变，增加手势操控的精准性和多样性。

例如：手势识别中可以包含有手形状识别、空间位置识别。基于深度信息识别到的用户的手势，可以实现空间上纵向的移动，如按压按键的操作，UI界面也会显示出按压的效果，增强用户操作体验。另外，基于深度信息识别到的用户的手势，还可以完成手抓取的操作，可以用于界面切换、文件转移等。

由此，通过多种形式的手势信息，可以提升手势控制的多样性和便捷性。

可选地，步骤S110中通过双目摄像头识别电器设备所属环境中使用者的手势信息的具体过程，可以参见以下示例性说明。

下面结合图2所示本发明的方法中通过双目摄像头识别电器设备所属环境中使用者的手势信息的一实施例流程示意图，进一步说明步骤S110中通过双目摄像头识别电器设备所属环境中使用者的手势信息的具体过程，可以包括：步骤S210和步骤S220。

步骤S210，采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息。

更可选地，步骤S210中采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息的具体过程，可以参见以下示例性说明。

下面结合图3所示本发明的方法中采用双目摄像头对电器设备所属环境中使用者进行定位的一实施例流程示意图，进一步说明步骤S210中采用双目摄像头对电器设备所属环境中使用者进行定位的具体过程，可以包括：步骤S310至步骤S340。

步骤S310，获取由双目摄像头采集到的电器设备所属环境中使用者的整体图像信息。

步骤S320，根据电器设备所属环境中使用者的整体图像信息，对电器设备所属环境中的使用者进行识别和定位，得到电器设备所属环境中使用者的位置信息。

步骤S330，根据电器设备所属环境中使用者的位置信息，进一步获取获取由双目摄像头采集到的电器设备所属环境中使用者的人脸图像。

步骤S340，根据电器设备所属环境中使用者的人脸图像，电器设备所属环境中使用者的位置信息处使用者的人脸信息。

例如：双目摄像头存在工作模式转换，当没有出现用户时，双目摄像头图像处理只进行人员识别，并通过判断用户的面部朝向以确认用户是否存在手势操作。当确认用户处于操控状态后，基于用户面部信息，定位图像中手势识别区域，提高识别效率。也就是说，采用双目摄像头对使用者位置进行定位，进而实现手势控制。

例如：可以采用双目摄像头对使用人位置进行定位，在定位之前需要进行人脸识别定位使用人的位置，并在显示屏关联显示相关控制信息。

其中，双目摄像头类似于人的双眼，双目摄像头主要通过两幅图像的视差计算来确定距离；也就是说，双目摄像头不需要知道障碍物是什么，只要通过计算就可以测距。如：在空间中位置的改变(三维坐标)，计算出深度信息，与预装的手势模型库比对，输出控制信息。判断的结果可以选择性的反馈到显示界面(用户可选)。

由此，通过采用双目摄像头对使用者进行人脸识别和定位，可以准确获取使用者的面部信息和位置信息，为手势识别进行精准定位，有利于提升手势识别的精准性。

步骤S220，根据电器设备所属环境中使用者的人脸信息，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息。

例如：双目摄像头采集环境中图像，双目摄像头将图像信息传入电器设备的主控进行图像处理，识别环境中的用户位置进行定位，识别人脸，定位识别手势的图像区域。

例如：在定位之前需要进行人脸识别定位使用人的位置，基于人脸位置可以偏移到人肢体在摄像头像素点的相关位置，从而增强识别手势的效率；而且，经过识别人脸进行定位，能够有效避免用户在环境中的误触发。

由此，通过采用双目摄像头对使用者的人脸信息进行定位识别，进而基于人脸的位置信息进行手势识别，可以避免手势识别不精准而误操作，提升控制的精准性。

更可选地，步骤S220中采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息的具体过程，可以参见以下示例性说明。

下面结合图4所示本发明的方法中采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息的一实施例流程示意图，进一步说明步骤S220中采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息的具体过程，可以包括：步骤S410至步骤S430。

步骤S410，根据电器设备所属环境中使用者的位置信息处使用者的人脸信息，确定电器设备所属环境中使用者的脸部是否面向电器设备。

步骤S420，若电器设备所属环境中使用者的脸部面向电器设备，则获取电器设备所属环境中使用者的肢体图像。

步骤S430，根据电器设备所属环境中使用者的肢体图像，确定电器设备所属环境中使用者的肢体信息，以将电器设备所属环境中使用者的肢体信息确定为电器设备所属环境中使用者的手势信息。

例如：双目摄像头采集环境中图像，识别环境中的用户位置进行定位，识别人脸，定位识别手势的图像区域。当图像中用户人脸朝向正对设备时，识别用户手势。具体地，双目摄像头处于人脸检测状态，等待发现用户处于操作位置(操作位置是处于摄像头前能够进行深度识别的区域，首次使用会提醒用户)。当在操作区域发现用户人脸，且发现用户人脸的朝向满足大致面向屏幕，判定用户为操控者，进入手势识别。

例如：设备使用双目摄像头进行图像识别，图像识别需要完成人员定位，判定当前用户是否存在操控，当图像识别确认存在用户正对设备操作时，图像识别并匹配用户的控制手势。

由此，通过在精准定位的人脸识别的基础上识别肢体的手势，可以在确定使用者有手势操作的情况下识别手势，使得手势控制更加可靠和精准。

在步骤S120处，根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令。例如：根据设定手势信息与设定控制指令之间的对应关系，确定该对应关系中与电器设备所属环境中使用者的手势信息相同的设定手势信息对应的设定控制指令，确定为与电器设备所属环境中使用者的手势信息对应的电器设备的控制指令。

在步骤S130处，根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。

例如：手势信息转换成相应控制指令，主控制器完成相应控制，语音系统配合完成实际交互，显示屏显示手势识别结果，增强控制反馈。如：控制指令可以包含有：home、返回、屏幕页面控制、确认、取消等基本功能手势，这些手势易于识别且能够完成设备的基本操作。使用双目摄像头可进行深度的识别增加手势识别的可靠性。

例如：可以使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性；可以配合手势操作实现更加快速直观的操控，提升用户体验。

由此，通过使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性和用户的使用体验，使得电器设备与使用者之间的人机交互更加人性化更加多样化。

在一个可选实施方式中，还可以包括：对人机交互的过程进行输出的过程，具体可以包括：对电器设备所属环境中使用者的手势信息、电器设备的控制指令、电器设备执行控制指令的执行过程、和/或电器设备执行控制指令的执行结果进行输出。其中，该输出，可以包括：在电器设备的显示屏上显示，发送至设定的客户端，和/或通过电器设备的语音系统播报。

例如：基于双目视觉的手势控制，并兼容语音控制。具体地，可以使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性。还可以通过辅助语音系统实现可视化的控制，增强用户体验，提高使用效率。

例如：发现并识别用户手势后，控制器将手势信息转换到相应的控制参数并完成控制，语音系统配合完成人机交互，显示屏完成状态显示。也就是说，在基于双目摄像头识别手势进行控制的情况下，还会配合操作语音，在使用手势操作时，在一定的反馈条件下提示用户，从而增加用户交互体验。

例如：显示屏会将识别到的控制信息在显示屏上显示，系统同时执行控制指令，完成控制后将输出的结果信息显示到屏幕上。语音系统在手势控制中会输出语音增添人机交互体验，能形象地反馈设备运行状态。

例如：手势操作中可以加入语音交互，设备通过语音向用户反馈，并提示用户进行相关操作。用户通过使用语音可实现手势操作的开启或关闭，以符合用户实际需求。手势操作结合显示屏，显示屏在显示页面的情况下亦能在使用手势操作时进行显示反馈以提示用户识别操作是否符合预期。例如：控制系统可以配合语音系统完成控制反馈，报告控制结果信息，如：为您打开音乐、为您关闭XXX、成功操作等等。

由此，通过在收拾控制的基础上进行显示、语音等输出控制，可以方便用户随时了解电器设备的工作状况，使用更加方便，人性化更好。

经大量的试验验证，采用本实施例的技术方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，可以保证控制的精准性。

根据本发明的实施例，还提供了对应于人机交互方法的一种人机交互装置。参见图5所示本发明的装置的一实施例的结构示意图。该人机交互装置可以包括：识别单元102、确定单元104和控制单元106。

在一个可选例子中，识别单元102，可以用于通过双目摄像头识别电器设备所属环境中使用者的手势信息。该识别单元102的具体功能及处理参见步骤S110。

例如：系统启动后可以选择是否是否开启深度手势，开启后双目摄像头立即开始工作，双目摄像头采集环境中图像，双目摄像头将图像信息传入电器设备的主控进行图像处理，得到手势信息。

其中，手势信息，可以包括：手势的种类信息、手势的方向信息、和/或手势的深度信息。

例如：可以运用双目摄像头定位使用人手势进行控制的手势信息，可以包括：手势的种类、方向、深度等信息，兼容语音系统，实现用户的手势操控。其中，手势信息，可以包含深度信息手势，而非单目摄像头采集到的常规手势。使用双目摄像头，可以提取出用户操作时的深度信息的改变，增加手势操控的精准性和多样性。

例如：手势识别中可以包含有手形状识别、空间位置识别。基于深度信息识别到的用户的手势，可以实现空间上纵向的移动，如按压按键的操作，UI界面也会显示出按压的效果，增强用户操作体验。另外，基于深度信息识别到的用户的手势，还可以完成手抓取的操作，可以用于界面切换、文件转移等。

由此，通过多种形式的手势信息，可以提升手势控制的多样性和便捷性。

可选地，识别单元102通过双目摄像头识别电器设备所属环境中使用者的手势信息，可以包括：

识别单元102，具体还可以用于采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息。该识别单元102的具体功能及处理还参见步骤S210。

更可选地，识别单元102采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息，可以包括：

识别单元102，具体还可以用于获取由双目摄像头采集到的电器设备所属环境中使用者的整体图像信息。该识别单元102的具体功能及处理还参见步骤S310。

识别单元102，具体还可以用于根据电器设备所属环境中使用者的整体图像信息，对电器设备所属环境中的使用者进行识别和定位，得到电器设备所属环境中使用者的位置信息。该识别单元102的具体功能及处理还参见步骤S320。

识别单元102，具体还可以用于根据电器设备所属环境中使用者的位置信息，进一步获取获取由双目摄像头采集到的电器设备所属环境中使用者的人脸图像。该识别单元102的具体功能及处理还参见步骤S330。

识别单元102，具体还可以用于根据电器设备所属环境中使用者的人脸图像，电器设备所属环境中使用者的位置信息处使用者的人脸信息。该识别单元102的具体功能及处理还参见步骤S340。

例如：双目摄像头存在工作模式转换，当没有出现用户时，双目摄像头图像处理只进行人员识别，并通过判断用户的面部朝向以确认用户是否存在手势操作。当确认用户处于操控状态后，基于用户面部信息，定位图像中手势识别区域，提高识别效率。也就是说，采用双目摄像头对使用者位置进行定位，进而实现手势控制。

例如：可以采用双目摄像头对使用人位置进行定位，在定位之前需要进行人脸识别定位使用人的位置，并在显示屏关联显示相关控制信息。

其中，双目摄像头类似于人的双眼，双目摄像头主要通过两幅图像的视差计算来确定距离；也就是说，双目摄像头不需要知道障碍物是什么，只要通过计算就可以测距。如：在空间中位置的改变(三维坐标)，计算出深度信息，与预装的手势模型库比对，输出控制信息。判断的结果可以选择性的反馈到显示界面(用户可选)。

由此，通过采用双目摄像头对使用者进行人脸识别和定位，可以准确获取使用者的面部信息和位置信息，为手势识别进行精准定位，有利于提升手势识别的精准性。

识别单元102，具体还可以用于根据电器设备所属环境中使用者的人脸信息，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息。该识别单元102的具体功能及处理还参见步骤S220。

例如：双目摄像头采集环境中图像，双目摄像头将图像信息传入电器设备的主控进行图像处理，识别环境中的用户位置进行定位，识别人脸，定位识别手势的图像区域。

例如：在定位之前需要进行人脸识别定位使用人的位置，基于人脸位置可以偏移到人肢体在摄像头像素点的相关位置，从而增强识别手势的效率；而且，经过识别人脸进行定位，能够有效避免用户在环境中的误触发。

由此，通过采用双目摄像头对使用者的人脸信息进行定位识别，进而基于人脸的位置信息进行手势识别，可以避免手势识别不精准而误操作，提升控制的精准性。

更可选地，识别单元102采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息，可以包括：

识别单元102，具体还可以用于根据电器设备所属环境中使用者的位置信息处使用者的人脸信息，确定电器设备所属环境中使用者的脸部是否面向电器设备。该识别单元102的具体功能及处理还参见步骤S410。

识别单元102，具体还可以用于若电器设备所属环境中使用者的脸部面向电器设备，则获取电器设备所属环境中使用者的肢体图像。该识别单元102的具体功能及处理还参见步骤S420。

识别单元102，具体还可以用于根据电器设备所属环境中使用者的肢体图像，确定电器设备所属环境中使用者的肢体信息，以将电器设备所属环境中使用者的肢体信息确定为电器设备所属环境中使用者的手势信息。该识别单元102的具体功能及处理还参见步骤S430。

例如：双目摄像头采集环境中图像，识别环境中的用户位置进行定位，识别人脸，定位识别手势的图像区域。当图像中用户人脸朝向正对设备时，识别用户手势。具体地，双目摄像头处于人脸检测状态，等待发现用户处于操作位置(操作位置是处于摄像头前能够进行深度识别的区域，首次使用会提醒用户)。当在操作区域发现用户人脸，且发现用户人脸的朝向满足大致面向屏幕，判定用户为操控者，进入手势识别。

例如：设备使用双目摄像头进行图像识别，图像识别需要完成人员定位，判定当前用户是否存在操控，当图像识别确认存在用户正对设备操作时，图像识别并匹配用户的控制手势。

由此，通过在精准定位的人脸识别的基础上识别肢体的手势，可以在确定使用者有手势操作的情况下识别手势，使得手势控制更加可靠和精准。

在一个可选例子中，确定单元104，可以用于根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令。例如：根据设定手势信息与设定控制指令之间的对应关系，确定该对应关系中与电器设备所属环境中使用者的手势信息相同的设定手势信息对应的设定控制指令，确定为与电器设备所属环境中使用者的手势信息对应的电器设备的控制指令。该确定单元104的具体功能及处理参见步骤S120。

在一个可选例子中，控制单元106，可以用于根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。该控制单元106的具体功能及处理参见步骤S130。

例如：手势信息转换成相应控制指令，主控制器完成相应控制，语音系统配合完成实际交互，显示屏显示手势识别结果，增强控制反馈。如：控制指令可以包含有：home、返回、屏幕页面控制、确认、取消等基本功能手势，这些手势易于识别且能够完成设备的基本操作。使用双目摄像头可进行深度的识别增加手势识别的可靠性。

例如：可以使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性；可以配合手势操作实现更加快速直观的操控，提升用户体验。

由此，通过使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性和用户的使用体验，使得电器设备与使用者之间的人机交互更加人性化更加多样化。

在一个可选实施方式中，还可以包括：对人机交互的过程进行输出的过程，具体可以包括：控制单元106，还可以用于对电器设备所属环境中使用者的手势信息、电器设备的控制指令、电器设备执行控制指令的执行过程、和/或电器设备执行控制指令的执行结果进行输出。其中，该输出，可以包括：在电器设备的显示屏上显示，发送至设定的客户端，和/或通过电器设备的语音系统播报。

例如：基于双目视觉的手势控制，并兼容语音控制。具体地，可以使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性。还可以通过辅助语音系统实现可视化的控制，增强用户体验，提高使用效率。

例如：发现并识别用户手势后，控制器将手势信息转换到相应的控制参数并完成控制，语音系统配合完成人机交互，显示屏完成状态显示。也就是说，在基于双目摄像头识别手势进行控制的情况下，还会配合操作语音，在使用手势操作时，在一定的反馈条件下提示用户，从而增加用户交互体验。

例如：显示屏会将识别到的控制信息在显示屏上显示，系统同时执行控制指令，完成控制后将输出的结果信息显示到屏幕上。语音系统在手势控制中会输出语音增添人机交互体验，能形象地反馈设备运行状态。

例如：手势操作中可以加入语音交互，设备通过语音向用户反馈，并提示用户进行相关操作。用户通过使用语音可实现手势操作的开启或关闭，以符合用户实际需求。手势操作结合显示屏，显示屏在显示页面的情况下亦能在使用手势操作时进行显示反馈以提示用户识别操作是否符合预期。例如：控制系统可以配合语音系统完成控制反馈，报告控制结果信息，如：为您打开音乐、为您关闭XXX、成功操作等等。

由此，通过在收拾控制的基础上进行显示、语音等输出控制，可以方便用户随时了解电器设备的工作状况，使用更加方便，人性化更好。

由于本实施例的装置所实现的处理及功能基本相应于前述图1至图4所示的方法的实施例、原理和实例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

经大量的试验验证，采用本发明的技术方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，辅助语音系统实现可视化的控制，可以增强用户体验。

根据本发明的实施例，还提供了对应于人机交互装置的一种电器设备。该电器设备可以包括：以上所述的人机交互装置。

智能设备增加摄像头、显示屏后极大地丰富了人机交互，但是实际应用环境中人与设备之间存在着一定的空间距离，不能够较为直接地进行操作。

在一个可选实施方式中，本发明的方案，提供了一种基于双目视觉手势控制的智能设备，可以至少针对智能设备使用语音操控较单一的问题，可以使用双目摄像头进行手势识别，能够极大地获取用户手势信息，保证控制的精准性；还可以增强用户体验，辅助语音系统实现可视化的控制，提高使用效率。从而，本发明的方案，可以配合手势操作实现更加快速直观的操控，提升用户体验。

其中，本发明的方案，可以运用双目摄像头定位使用人手势进行控制的手势信息，可以包括：手势的种类、方向、深度等信息，兼容语音系统，实现用户的手势操控。其中，手势信息，可以包含深度信息手势，而非单目摄像头采集到的常规手势。

例如：所包含的手势种类有home、返回、确认、取消等基本控制手势；所包含的手势方向深度是指当前操作带有方向控制，在空间的平移，深度变化。配合基本手势完成复杂的控制方法(如界面的拖动，UI换层等操作)。

可选地，在本发明的方案中，使用双目摄像头的目的，是为了提取出用户操作时的深度信息的改变，增加手势操控的多样性。而一些常规的手势识别，主要是使用单摄像头完成图像中手型与平面位移的检测，不能提炼出纵向的深度信息，用户体验性不高。

具体地，本发明的方案，可以采用双目摄像头对使用人位置进行定位，并在显示屏关联显示相关控制信息。

其实，在定位之前需要进行人脸识别定位使用人的位置，基于人脸位置可以偏移到人肢体在摄像头像素点的相关位置，从而增强识别手势的效率；而且，经过识别人脸进行定位，能够有效避免用户在环境中的误触发。

进一步可选地，本发明的方案，发现并识别用户手势后，控制器将手势信息转换到相应的控制参数并完成控制，语音系统配合完成人机交互，显示屏完成状态显示。也就是说，本发明的方案，在基于双目摄像头识别手势进行控制的情况下，还会配合操作语音，在使用手势操作时，在一定的反馈条件下提示用户，从而增加用户交互体验。

其中，相应的控制参数或控制指令，可以包括：home、返回、屏幕页面控制、确认、取消等操作。

特别地，基于深度信息识别到的用户的手势，可以实现空间上纵向的移动，如按压按键的操作，UI界面也会显示出按压的效果，增强用户操作体验。另外，基于深度信息识别到的用户的手势，还可以完成手抓取的操作，可以用于界面切换、文件转移等。

在一个可选具体实施方式中，可以参见图6至图8所示的例子，对本发明的方案的具体实现过程进行示例性说明。

本发明的方案，主要是在智能家居领域，尤其是智能设备人机交互领域。本发明的方案，是基于双目视觉的手势控制，并兼容语音控制。设备使用双目摄像头进行图像识别，图像识别需要完成人员定位，判定当前用户是否存在操控，当图像识别确认存在用户正对设备操作时，图像识别并匹配用户的控制手势，显示屏会将识别到的控制信息在显示屏上显示，系统同时执行控制指令，完成控制后将输出的结果信息显示到屏幕上。语音系统在手势控制中会输出语音增添人机交互体验，能形象地反馈设备运行状态。

参见图6和图7所示的例子，本发明的方案中，基于双目视觉手势控制的智能设备的人机交互过程，可以包括：

步骤1、摄像头采集环境中图像。当然，系统启动后可以选择是否是否开启深度手势，开启后摄像头立即开始工作。

具体地，本发明的方案中的手势控制基于双目摄像头，摄像头将图像信息传入主控进行图像处理。

步骤2、识别环境中的用户位置进行定位，识别人脸，定位识别手势的图像区域。

具体地，双目摄像头存在工作模式转换，当没有出现用户时，双目摄像头图像处理只进行人员识别，并通过判断用户的面部朝向以确认用户是否存在手势操作。当确认用户处于操控状态后，基于用户面部信息，定位图像中手势识别区域，提高识别效率。也就是说，本发明的方案，采用双目摄像头对使用者位置进行定位，进而实现手势控制。

其中，双目摄像头类似于人的双眼，双目摄像头主要通过两幅图像的视差计算来确定距离。也就是说，双目摄像头不需要知道障碍物是什么，只要通过计算就可以测距。

参见图8，采用双目摄像头对使用人位置进行定位的算法可以包括：

焦距f和基准线b是相机的已知参数，目的就是求物体p与摄像机中心的距离，即深度值z。根据三角形相似原理，可以得到：

由上述两个公式，可以得到：

即，求出了实物深度Z和视差d＝X₁-X₂之间的关系。只要研究出X₁和X₂之间的关系，就可以测出物体的深度值了。这是一个维度，同理需要建立一个维度的坐标，得到三个坐标的位置才能准确确定手势位置。

步骤3、当图像中用户人脸朝向正对设备时，识别用户手势。

具体地，双目摄像头处于人脸检测状态，等待发现用户处于操作位置(操作位置是处于摄像头前能够进行深度识别的区域，首次使用会提醒用户)。当在操作区域发现用户人脸，且发现用户人脸的朝向满足大致面向屏幕，判定用户为操控者，进入手势识别。

例如：手势识别中可以包含有手形状识别、空间位置识别。

步骤4、手势信息转换成相应控制指令，主控制器完成相应控制，语音系统配合完成实际交互，显示屏显示手势识别结果，增强控制反馈。

例如：在空间中位置的改变(三维坐标)，计算出深度信息，与预装的手势模型库比对，输出控制信息。判断的结果可以选择性的反馈到显示界面(用户可选)。

可选地，所述的控制指令可以包含有：home、返回、屏幕页面控制、确认、取消等基本功能手势，这些手势易于识别且能够完成设备的基本操作。使用双目摄像头可进行深度的识别增加手势识别的可靠性。

可选地，所述的手势操作中可以加入语音交互，设备通过语音向用户反馈，并提示用户进行相关操作。用户通过使用语音可实现手势操作的开启或关闭，以符合用户实际需求。

可选地，所述手势操作结合显示屏，显示屏在显示页面的情况下亦能在使用手势操作时进行显示反馈以提示用户识别操作是否符合预期。

例如：控制系统可以配合语音系统完成控制反馈，报告控制结果信息，如：为您打开音乐、为您关闭XXX、成功操作等等。

由于本实施例的电器设备所实现的处理及功能基本相应于前述图5所示的装置的实施例、原理和实例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

经大量的试验验证，采用本发明的技术方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，提取出用户操作时的深度信息的改变，增加手势操控，提升交互的多样性。

根据本发明的实施例，还提供了对应于人机交互方法的一种存储介质。该存储介质，可以包括：所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行以上所述的人机交互方法。

由于本实施例的存储介质所实现的处理及功能基本相应于前述图1至图4所示的方法的实施例、原理和实例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

经大量的试验验证，采用本发明的技术方案，通过采用双目摄像头对使用者的位置进行定位，并基于定位位置进行手势识别从而实现人机交互，语音系统在手势控制中会输出语音增添人机交互体验，能形象地反馈设备运行状态，提升用户的使用体验。

根据本发明的实施例，还提供了对应于人机交互方法的一种电器设备。该电器设备，可以包括：处理器，用于执行多条指令；存储器，用于存储多条指令；其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行以上所述的人机交互方法。

由于本实施例的电器设备所实现的处理及功能基本相应于前述图1至图4所示的方法的实施例、原理和实例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

经大量的试验验证，采用本发明的技术方案，通过采用双目摄像头对使用人位置进行定位，并在显示屏关联显示相关控制信息，可以保证控制的精准性，提升用户的使用效率和使用体验。

综上，本领域技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (14)

1.一种人机交互方法，其特征在于，包括：

通过双目摄像头识别电器设备所属环境中使用者的手势信息；

根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令；

根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。

2.根据权利要求1所述的人机交互方法，其特征在于，通过双目摄像头识别电器设备所属环境中使用者的手势信息，包括：

采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息；

根据电器设备所属环境中使用者的人脸信息，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息。

3.根据权利要求2所述的人机交互方法，其特征在于，采用双目摄像头对电器设备所属环境中使用者进行定位，包括：

获取由双目摄像头采集到的电器设备所属环境中使用者的整体图像信息；

根据电器设备所属环境中使用者的整体图像信息，对电器设备所属环境中的使用者进行识别和定位，得到电器设备所属环境中使用者的位置信息；

根据电器设备所属环境中使用者的位置信息，进一步获取获取由双目摄像头采集到的电器设备所属环境中使用者的人脸图像；

根据电器设备所属环境中使用者的人脸图像，电器设备所属环境中使用者的位置信息处使用者的人脸信息。

4.根据权利要求2或3所述的人机交互方法，其特征在于，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息，包括：

根据电器设备所属环境中使用者的位置信息处使用者的人脸信息，确定电器设备所属环境中使用者的脸部是否面向电器设备；

若电器设备所属环境中使用者的脸部面向电器设备，则获取电器设备所属环境中使用者的肢体图像；

根据电器设备所属环境中使用者的肢体图像，确定电器设备所属环境中使用者的肢体信息，以将电器设备所属环境中使用者的肢体信息确定为电器设备所属环境中使用者的手势信息。

5.根据权利要求1至3中任一项所述的人机交互方法，其特征在于，手势信息，包括：手势的种类信息、手势的方向信息、和/或手势的深度信息。

6.根据权利要求1至3中任一项所述的人机交互方法，其特征在于，还包括：

对电器设备所属环境中使用者的手势信息、电器设备的控制指令、电器设备执行控制指令的执行过程、和/或电器设备执行控制指令的执行结果进行输出；其中，该输出，包括：在电器设备的显示屏上显示，发送至设定的客户端，和/或通过电器设备的语音系统播报。

7.一种人机交互装置，其特征在于，包括：

识别单元，用于通过双目摄像头识别电器设备所属环境中使用者的手势信息；

确定单元，用于根据电器设备所属环境中使用者的手势信息，确定电器设备的控制指令；

控制单元，用于根据电器设备的控制指令，控制电器设备执行该控制指令，以实现电器设备与电器设备所属环境中使用者之间的人机交互。

8.根据权利要求7所述的人机交互装置，其特征在于，识别单元通过双目摄像头识别电器设备所属环境中使用者的手势信息，包括：

采用双目摄像头对电器设备所属环境中使用者进行定位，得到电器设备所属环境中使用者的人脸信息；

根据电器设备所属环境中使用者的人脸信息，采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息。

9.根据权利要求8所述的人机交互装置，其特征在于，识别单元采用双目摄像头对电器设备所属环境中使用者进行定位，包括：

获取由双目摄像头采集到的电器设备所属环境中使用者的整体图像信息；

根据电器设备所属环境中使用者的整体图像信息，对电器设备所属环境中的使用者进行识别和定位，得到电器设备所属环境中使用者的位置信息；

根据电器设备所属环境中使用者的位置信息，进一步获取获取由双目摄像头采集到的电器设备所属环境中使用者的人脸图像；

根据电器设备所属环境中使用者的人脸图像，电器设备所属环境中使用者的位置信息处使用者的人脸信息。

10.根据权利要求8或9所述的人机交互装置，其特征在于，识别单元采用双目摄像头识别电器设备所属环境中使用者的位置信息处使用者的手势信息，包括：

根据电器设备所属环境中使用者的位置信息处使用者的人脸信息，确定电器设备所属环境中使用者的脸部是否面向电器设备；

若电器设备所属环境中使用者的脸部面向电器设备，则获取电器设备所属环境中使用者的肢体图像；

根据电器设备所属环境中使用者的肢体图像，确定电器设备所属环境中使用者的肢体信息，以将电器设备所属环境中使用者的肢体信息确定为电器设备所属环境中使用者的手势信息。

11.根据权利要求7至9中任一项所述的人机交互装置，其特征在于，手势信息，包括：手势的种类信息、手势的方向信息、和/或手势的深度信息。

12.根据权利要求7至9中任一项所述的人机交互装置，其特征在于，还包括：

控制单元，还用于对电器设备所属环境中使用者的手势信息、电器设备的控制指令、电器设备执行控制指令的执行过程、和/或电器设备执行控制指令的执行结果进行输出；其中，该输出，包括：在电器设备的显示屏上显示，发送至设定的客户端，和/或通过电器设备的语音系统播报。

13.一种电器设备，其特征在于，包括：如权利要求7至12中任一项所述的人机交互装置；

或者，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1至8中任一项所述的人机交互方法。

14.一种存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1至8中任一项所述的人机交互方法。

Images