CN105430454B - 视听设备及其人机交互方法 - Google Patents

Abstract

本发明提供了一种视听设备的人机交互方法。该人机交互方法包括：由视听设备的第一显示装置或第二显示装置输出内容界面；响应用户操作，由第一显示装置和第二显示装置中未进行内容界面输出的一个输出虚拟交互界面。本发明的视听设备在不同使用环境下，可切换两个显示装置的显示内容，形成完整的显示效果，提高了用户与视听设备进行人机交互的沉浸感，给予用户良好的使用感受，而且利用用户的动作实现准确精细控制的目的，增强了用户与视听设备的互动性，使得视听设备更加人性化、智能化。

Description

视听设备及其人机交互方法

技术领域

本发明涉及家用多媒体设备领域，特别是涉及一种视听设备及其人机交互方法。

背景技术

家用视听设备，如智能电视等多媒体电器逐渐呈现“高清化”、“网络化”、“智能化”的趋势。其特点在逐渐从单一的电视节目播放扩展到能从网络、AV设备、PC等多种渠道获得节目内容，通过简单易用的操作将用户需要的影音节目等内容在大屏幕上清晰地展现。

现有的视听设备可以提供网络搜索、IP电视、视频点播、数字音乐、网络新闻、网络视频电话等各种应用服务。其可以作为信息访问终端，以便用户可随时访问自己需要的信息；也可以作为“娱乐中心”，实现搜索电视频道、录制电视节目、播放卫星和有线电视节目以及网络视频的功能。

然而为了完成以上功能，必然需要复杂和频繁的交互操作，然而使用传统的电视控制设备例如遥控器实现以上交互功能，操作非常复杂，花费的时间长，给用户使用视听设备带来了不便。

因此，现有技术中缺少一种符合视听设备操作要求，用户体验性好的人机交互方法。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视听设备及相应的人机交互方法，以方便用户对视听设备进行各种操作。

本发明一个进一步的目的是保证视听设备正常播放内容的情况下接收用户的操作指令。

本发明另一个进一步的目的是让用户自然地与视听设备进行人机交互，提高交互效率。

根据本发明的一个方面，提供了一种视听设备的人机交互方法。该人机交互方法包括：由视听设备的第一显示装置或第二显示装置输出内容界面；响应用户操作，由第一显示装置和第二显示装置中未进行内容界面输出的一个输出虚拟交互界面。

可选地，第一显示装置为视听设备所包括的电视显示屏，第二显示装置为设置于视听设备的机身内或机身背部的短焦投影仪，其将要输出的内容界面或虚拟交互界面投影至第一显示装置的后方。

可选地，由第一显示装置输出内容界面，由第二显示装置输出虚拟交互界面。

可选地，在由视听设备的第一显示装置或第二显示装置输出内容界面之前还包括：接收用户选择由第一显示装置或由第二显示装置输出内容界面的选择指令。

可选地，在输出虚拟交互界面之后还包括：获取用户对虚拟交互界面的指令性操作动作；由视听设备执行指令性操作动作对应的交互指令。

可选地，获取用户对虚拟交互界面的指令性操作动作包括：获取视听设备前方预定区域的图像；从前方预定区域的图像中提取用户的肢体动作图像；根据肢体动作图像在预设的操作动作库中确定出匹配的指令性操作动作。

可选地，交互指令包括以下任意一项或多项：互换第一显示装置和第二显示装置的显示内容；控制内容界面中视频图像的播放状态和/或画面参数；声道选择和/或音量调整；选择在内容界面中要播放的内容。

可选地，视听设备为智能电视。

根据本发明的另一个方面，提供了一种视听设备。该视听设备，包括第一显示装置、第二显示装置和显示控制器，其中显示控制器分别与第一显示装置和第二显示装置的图像接口连接，被配置为：通过第一显示装置或第二显示装置输出内容界面；响应用户操作，通过第一显示装置和第二显示装置中未进行内容界面输出的一个输出虚拟交互界面。

可选地，第一显示装置为电视显示屏，第二显示装置为设置于视听设备的机身内或机身背部的短焦投影仪；短焦投影仪，被配置为：将要输出的内容界面或虚拟交互界面投影至第一显示装置的后方。

可选地，由第一显示装置输出内容界面，由第二显示装置输出虚拟交互界面。

可选地，上述视听设备还包括：动作识别装置，被配置为获取用户对虚拟交互界面的指令性操作动作；显示控制器，还配置为控制视听设备执行指令性操作动作对应的交互指令。

可选地，动作识别装置的摄像头设置于视听设备的顶部或底部，朝向视听设备前方，动作识别装置还配置为：获取视听设备前方预定区域的图像；从前方预定区域的图像中提取用户的肢体动作图像；根据肢体动作图像在预设的操作动作库中确定出匹配的指令性操作动作。

可选地，视听设备为智能电视。

本发明的视听设备具备两个显示装置，分别输出内容界面和虚拟交互界面，可在不同使用环境下，切换两个显示装置的显示内容，从而可在正常播放内容的情况下向用户提供了方便地操作界面，提高了用户的使用体验。

进一步地，本发明的视听设备可分别使用电视显示屏和短焦投影仪作为显示装置，形成完整的显示效果，提高了用户与视听设备进行人机交互的沉浸感，给予用户良好的使用感受。

又进一步地，本发明的视听设备的人机交互方法，利用用户的动作实现准确精细控制的目的，增强了用户与视听设备的互动性，使得视听设备更加人性化、智能化。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的视听设备的示意图；

图2是根据本发明一个实施例的视听设备的立体示意图；

图3是根据本发明一个实施例的视听设备的侧面示意图；以及

图4是根据本发明一个实施例的视听设备的人机交互方法的示意图。

具体实施方式

针对现有技术中，视听设备操作复杂、用户使用不便的问题，本实施例提供了一种视听设备，通过增加显示装置输出交互界面，便于用户操作。本实施例的视听设备可以布置于家庭客厅中，作为提供视听服务的多媒体家用电器，例如作为智能电视向用户提供高体验的影音娱乐服务。

图1是根据本发明一个实施例的视听设备的示意图，本实施例的视听设备100一般性地可以包括：第一显示装置110、第二显示装置120、显示控制器130和动作识别装置140。以上部件可以根据本实施例的视听设备100所实现的功能灵活进行配置，在一些可选结构中，可以设置有以上部件中的部分或全部。

以上第一显示装置110和第二显示装置120可以择一地输出内容界面，例如播放电视节目、网络视频、展示图片或文字等。在进行人机交互时，第一显示装置110和第二显示装置120中未输出内容界面的一个可以输出虚拟交互界面，供用户操作。例如第一显示装置110在播放节目时，第二显示装置120输出节目的选择界面、声音图像调整界面、信息展示界面等。从而在不影响节目正常播放的情况下，为用户提供交互界面。

第一显示装置110和第二显示装置120输出的界面可由显示控制器130控制，例如显示控制器130可以分别与第一显示装置和第二显示装置的图像接口连接，通过第一显示装置110或第二显示装置120进行内容界面输出，并响应用户操作以通过第一显示装置110和第二显示装置120中未进行内容界面输出的一个输出虚拟交互界面，该虚拟交互界面可以与内容界面对应，以供用户对内容界面进行调整或获取其他内容信息。也就是说，第一显示装置110和第二显示装置120输出的界面可以由显示控制器130进行切换，具体由第一显示装置110还是第二显示装置120输出内容界面，可以由用户进行设定，以符合用户对于不同使用环境的要求。

以上第一显示装置110可以是视听设备100所包括的电视显示屏，第二显示装置120可以是投影装置，从而可以将投影图像和电视显示屏进行结合，实现内容播放和交互界面的输出。一种优选的结构为：投影装置采用短焦投影仪，电视显示屏选用大尺寸高清LED显示屏。图2和图3分别是本发明一个实施例的视听设备100的立体示意图和侧面示意图，如图所示，短焦投影仪120可以设置于视听设备100机身150背部，短焦投影仪120的投影方向设置为朝向电视显示屏110的后上方。例如短焦投影仪120可以将内容界面或对应于内容界面的虚拟交互界面投影至电视显示屏后方的预设区域内。电视显示屏110后方可以预置为投影幕板或者纯色墙壁，以作为投影载体。从而用户在面向电视显示屏110观看节目时，可以同时看到虚拟交互界面，通过虚拟交互界面与内容界面的风格统一设置，可以使用户得到更好的观看体验。

具体地，在视听设备100的电视显示屏110输出内容界面，例如播出视频节目时，短焦投影仪120可以将对应于内容界面的虚拟交互界面投影至电视显示屏110后方，以便用户对电视显示屏110的播出界面进行调节，例如调整画质、音量、更换节目等。短焦投影仪120输出内容界面，例如播出视频节目时，视听设备100的电视显示屏110可以显示虚拟交互界面。以上两种显示方式，可根据使用场景进行切换，内容界面需要更大的显示区域时，选择短焦投影仪120进行投影内容界面，在需要更高的清晰度时，选择视听设备100的电视显示屏110显示内容界面。

以上虚拟交互界面中显示的内容包括但不限于：正在播放内容的介绍、节目挑选信息、音量调节信息、画质调节信息、字幕、弹幕、即时通讯内容、评论内容、内容缩略图等。

显示控制器130也可以集成于视听设备100机身内部或者机身背部150的扁平壳体内，分别向电视显示屏110和短焦投影仪120提供显示数据。

另外，本实施例的视听设备100还可以利用动作识别装置140接收用户对以上虚拟交互界面的操作。具体地，动作识别装置140可以获取用户对虚拟交互界面的指令性操作动作。显示控制器130控制视听设备100执行指令性操作动作对应的交互指令。

动作识别装置140可以利用立体摄像机等体感传感器，捕捉用户的动作并确定出用户动作对应的指令性操作动作。动作识别装置140的摄像头可以设置于视听设备100的顶部或底部，朝向电视显示屏110的前方，以拍摄视听设备100前方预定区域的图像；从而动作识别装置140可以获取视听设备100前方预定区域的图像；从前方预定区域的图像中提取用户的肢体动作图像；根据肢体动作图像在预设的操作动作库中确定出匹配的指令性操作动作。以上肢体动作可以包括各种手势，例如挥手、拖动、拍打、上下平移、左右平移均可以对应于不同的指令性操作动作。

动作识别装置140可以利用红外线对视听设备100所在的房间进行立体定位，摄像头则可以借助红外线来识别人体的运动，例如动作识别装置140可采用类似于体感周边外设kinect，实现较高精确度的动作识别。例外动作识别装置140还可以通过摄像头识别并记录用户的手部位置，捕捉到手部位置后对用户的手势进行识别，如果用户的手势信息与虚拟交互界面中对应的操作动作库中的动作匹配，则通过显示控制器130控制视听设备100执行对应的指令性操作动作。

本实施例的视听设备100使用电视显示屏110和投影图像形成完整的交互界面，分别显示其中的内容界面和虚拟交互界面，为用户提供了良好的视觉感受，并且利用动作识别装置140接收用户的各项指令性操作动作，由视听设备100执行，实现了方便灵活交互，为视听设备100的各项功能提供了操作支持，而且各项操控部件可以集成于视听设备背部的机身壳体内，结构紧凑，占用空间小，便于调试安装。

本实施例的视听设备可以是智能电视，通过对智能电视的功能进行扩展，增加交互系统，提高智能电视的使用体验，实现其“智能化”。

本发明实施例还提供一种视听设备的人机交互方法，用于实现以上实施例的视听设备100的人机交互，方便用户对视听设备100进行各种操作。图4是根据本发明一个实施例的视听设备的人机交互方法的示意图，如图，该人机交互方法一般性地包括：

步骤S402，由视听设备的第一显示装置或第二显示装置输出内容界面；

步骤S404，响应用户操作，由第一显示装置和第二显示装置中未进行内容界面输出的一个输出虚拟交互界面。

另外在步骤S404之后还可以进一步包括：

步骤S406，获取用户对虚拟交互界面的指令性操作动作；

步骤S408，由视听设备执行指令性操作动作对应的交互指令。

以上第一显示装置可以为视听设备所包括的电视显示屏，第二显示装置可以为设置于视听设备机身内或者机身背部的短焦投影仪。短焦投影仪的投影方向设置为朝向电视显示屏的后方。从而用户在面向电视显示屏观看节目时，可以同时看到虚拟交互界面，通过虚拟交互界面与内容界面的风格统一设置，可以使用户得到更好的观看体验。

在第一显示装置输出内容界面时，将虚拟交互界面使用短焦投影仪投影至电视显示屏后方，或者在第一显示装置进行虚拟交互界面输出时，将内容界面使用短焦投影仪投影至电视显示屏后方的预设区域内。

以上两种显示方式，可根据使用场景进行切换，内容界面需要更大的显示区域时，选择短焦投影仪进行投影，在需要更高的清晰度时，选择视听设备的电视显示屏进行显示。从而在步骤S402之前还可以接收用户选择由第一显示装置或由第二显示装置输出内容界面的选择指令。

用户的各种指令可以通过各种身体动作例如手势来下达，具体地，步骤S406可以包括：获取视听设备前方预定区域的图像；从前方预定区域的图像中提取用户的肢体动作图像；根据肢体动作图像在预设的操作动作库中确定出匹配的指令性操作动作。最终由视听设备执行操作动作对应的交互指令。

虚拟交互界面中显示的内容包括但不限于：正在播放内容的介绍、节目挑选信息、音量调节信息、画质调节信息、字幕、弹幕、及时通讯内容、评论内容等。在用户对虚拟交互界面进行操作时，虚拟交互界面上对应的光标可以与用户的肢体位置相对应，在用户完成各种手势，例如挥手、拖动、拍打、平移等可以对应于对虚拟交互界面某项菜单或按钮的不同操作，以体现用户不同的交互指令。以上交互指令可以是对内容界面中播放内容的调整，例如更换节目、调整音量等，也可以使用对虚拟交互界面的操作，例如调整位置、更换内容、发送信息等，因此上交互指令可以包括但不限于：互换第一显示装置和第二显示装置的显示内容；控制内容界面中视频图像的播放状态和/或画面参数；声道选择和/或音量调整；选择在内容界面中要播放的内容。

以上视听设备可以是智能电视，通过对智能电视的人机交互功能进行优化，提高智能电视的使用体验，实现其“智能化”。

用户使用本实施例的视听设备的智能电视的一个可选实例为：

智能电视机开机后，根据用户的选择使用电视机屏幕或短焦投影装置进行内容界面输出。动作识别装置获取用户位置信息，包括用户到智能电视的位置和方向，并根据用户的位置捕捉用户的动作，例如用户向上挥手时，利用电视机屏幕和短焦投影装置未进行内容界面输出的虚拟交互界面，用户向上挥手时，隐藏以上虚拟交互界面。

在生成以上虚拟交互界面后，在虚拟交互界面上形成一个对应于用户的手势的焦点，跟随用户手的位置变化，在虚拟交互界面上进行移动，用户可以采取拖动、敲击、握拳等不同的手势，智能电视的控制装置预置有操作动作库，如果用户做出的手势与操作动作库中预设的动作匹配，就认为用户对虚拟交互界面的对应菜单或按钮进行了指令性操作动作，智能电视执行该指令性操作动作的交互指令，以完成用户需要的进行操作。

本发明实施例的视听设备可在不同使用环境下，切换两个显示装置的显示内容，形成完整的显示效果，提高了用户与视听设备进行人机交互的沉浸感，给予用户良好的使用感受，在提高用户视觉体验的情况下，向用户提供方便的操作界面。而且利用用户的动作实现准确精细控制的目的，增强了用户与视听设备的互动性，使得视听设备更加人性化、智能化。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (11)

1.一种视听设备的人机交互方法，其特征在于包括：

由所述视听设备的第一显示装置或第二显示装置输出内容界面；

响应用户操作，由所述第一显示装置和所述第二显示装置中未进行内容界面输出的一个输出虚拟交互界面，其中

所述第一显示装置为所述视听设备所包括的电视显示屏，

所述第二显示装置为设置于所述视听设备的机身内或机身背部的短焦投影仪，其将要输出的内容界面或虚拟交互界面投影至所述第一显示装置的后方；并且

在输出虚拟交互界面之后还包括：利用朝向所述视听设备前方的动作识别装置获取用户对所述虚拟交互界面的指令性操作动作，所述指令性操作动作的获取步骤包括：获取所述视听设备前方预定区域的图像；从所述前方预定区域的图像中提取用户的肢体动作图像；根据所述肢体动作图像在预设的操作动作库中确定出匹配的指令性操作动作。

2.根据权利要求1所述的人机交互方法，其特征在于

由所述第一显示装置输出内容界面，由所述第二显示装置输出虚拟交互界面。

3.根据权利要求1所述的人机交互方法，其特征在于，在由所述视听设备的第一显示装置或第二显示装置输出内容界面之前还包括：

接收用户选择由所述第一显示装置或由所述第二显示装置输出内容界面的选择指令。

4.根据权利要求1至3中任一项所述的人机交互方法，其特征在于，在获取用户对所述虚拟交互界面的指令性操作动作之后还包括：

由所述视听设备执行所述指令性操作动作对应的交互指令。

5.根据权利要求4所述的人机交互方法，其特征在于，所述交互指令包括以下任意一项或多项：

互换所述第一显示装置和所述第二显示装置的显示内容；

控制所述内容界面中视频图像的播放状态和/或画面参数；

声道选择和/或音量调整；

选择在所述内容界面中要播放的内容。

6.根据权利要求1所述的人机交互方法，其特征在于，

所述视听设备为智能电视。

7.一种视听设备，包括第一显示装置和第二显示装置，其特征在于还包括显示控制器以及动作识别装置，

所述显示控制器分别与所述第一显示装置和所述第二显示装置的图像接口连接，被配置为：

通过所述第一显示装置或所述第二显示装置输出内容界面；

响应用户操作，通过所述第一显示装置和所述第二显示装置中未进行内容界面输出的一个输出虚拟交互界面，其中

所述第一显示装置为电视显示屏，所述第二显示装置为设置于所述视听设备的机身内或机身背部的短焦投影仪；

所述短焦投影仪，被配置为：将要输出的内容界面或虚拟交互界面投影至所述第一显示装置的后方；

所述动作识别装置，朝向所述视听设备的前方，被配置为获取用户对所述虚拟交互界面的指令性操作动作，所述指令性操作动作的获取步骤包括：获取所述视听设备前方预定区域的图像；从所述前方预定区域的图像中提取用户的肢体动作图像；根据所述肢体动作图像在预设的操作动作库中确定出匹配的指令性操作动作。

8.根据权利要求7所述的视听设备，其特征在于

由所述第一显示装置输出内容界面，由所述第二显示装置输出虚拟交互界面。

9.根据权利要求7或8所述的视听设备，其特征在于还包括：

所述显示控制器，还配置为控制所述视听设备执行所述指令性操作动作对应的交互指令。

10.根据权利要求7所述的视听设备，其特征在于

所述动作识别装置的摄像头设置于所述视听设备的顶部或底部。

11.根据权利要求7所述的视听设备，其特征在于所述视听设备为智能电视。