CN107181985A - 显示设备及其操作方法 - Google Patents

Abstract

公开了一种显示设备和操作该显示设备的方法。该显示设备包括：显示器，被配置为输出用户界面；音频输出接口，包括音频输出接口电路；以及控制器，被配置为检测用于在用户界面上移动焦点的控制信号，基于与控制信号相对应的焦点的位置确定音频的属性，并且控制音频输出接口输出具有所确定的音频属性的声音反馈。

Description

显示设备及其操作方法

相关申请的交叉引用

本申请基于并要求2016年3月11日在韩国知识产权局递交的10-2016-0029669号韩国专利申请的优先权，这里通过引用将该韩国专利申请的公开内容全部并入。

技术领域

本公开概括而言涉及显示设备及其操作方法。

背景技术

在诸如电视(TV)等等之类的显示设备上显示的用户界面被发展为具有更多的功能和更容易、更直观且更简单的设计。然而，在诸如TV之类的宽屏设备中的大多数当前开发的声音反馈仅仅只是告知用户操纵是否成功，而不考虑用户选择的焦点区域的位置。

另外，内容生产计划原本打算的传统2.1/5.1声音源由于当前TV声音系统的限制和追求更逼真的图像质量/像素数的市场而正在失败，从而当在实际显示器中再现时难以产生逼真的声音。

发明内容

提供了这样的显示设备及这些显示设备的操作方法：当焦点区域在显示设备上显示的用户界面中移动时，这些显示设备能够通过提供音频用户界面，例如声音反馈，来提供使得能够对于用户操纵有清楚认识的反馈。

附加的方面一部分将在接下来的描述中阐述，一部分将从描述中清楚显现。

根据示例实施例的一个示例方面，一种显示设备包括：显示器，被配置为输出用户界面；音频输出接口，包括音频输出接口电路；以及控制器，被配置为检测用于在用户界面上移动焦点的控制信号，基于与控制信号相对应的焦点的位置确定音频的属性，并且控制音频输出接口输出具有所确定的音频属性的声音反馈。

音频属性可包括上扬声器、下扬声器、左扬声器、右扬声器、前扬声器或后扬声器的音量、变调、混响和均衡(EQ)的至少一者。

显示器可输出包括二维(2D)网格的用户界面，其中音频输出接口包括至少两个扬声器，并且其中控制器利用基于焦点的位置的该至少两个扬声器的音量和变调的至少一者来确定音频属性。

控制器可基于焦点在2D网格上的x轴位置确定左扬声器或右扬声器的音量并且基于焦点在2D网格上的y轴位置确定变调值。

显示器可输出包括三维(3D)网格的用户界面，其中音频输出接口包括至少两个扬声器，并且其中控制器利用基于焦点的位置的该至少两个扬声器的音量、变调和混响的至少一者来确定音频属性。

控制器可基于焦点在3D网格上的x轴位置确定左扬声器或右扬声器的音量，基于焦点在3D网格上的y轴位置确定变调值，并且基于焦点在3D网格上的z轴位置确定混响值。

显示器可提供实况屏幕，并且其中控制器基于在实况屏幕上再现的内容中移动的对象的位置和内容的属性的至少一者来确定音频属性。

控制器可基于对象在实况屏幕上的x轴位置确定左扬声器或右扬声器的音量，基于对象在实况屏幕上的y轴位置确定上扬声器或下扬声器的音量，并且基于对象在实况屏幕上的z轴位置确定混响值。

根据另一示例实施例的一个示例方面，一种显示设备包括：显示器，被配置为显示视听内容；音频输出接口，包括音频输出电路；以及控制器，被配置为检测指示控制设备的移动的输入信号，基于输入信号确定视听内容中包括的音频的音量，并且控制音频输出接口输出具有所确定的音量的音频。

控制设备的输入信号可包括以下各项的至少一者：指示控制设备相对于显示器在对角线方向上的移动的信号，指示控制设备向前和向后倾斜的移动的信号，以及设在控制设备中的触摸敏感屏上的挥扫信号。

根据另一示例实施例的一个示例方面，一种显示方法包括：检测用于在用户界面上移动焦点的控制信号；基于与控制信号相对应的焦点的位置确定音频的属性；并且输出具有所确定的音频属性的声音反馈。

根据另一示例实施例的一个示例方面，一种显示设备的操作方法包括：显示视听内容；检测指示控制设备的移动的输入信号；基于输入信号确定视听内容中包括的音频的音量；并且输出具有所确定的音量的音频。

附图说明

通过接下来结合附图的详细描述，本公开的这些和/或其他方面、特征和伴随的优点将变得清楚且更容易领会，附图中相似的标号指代相似的元素，其中：

图1是根据示例实施例图示出本公开的示例的图；

图2是根据本公开的示例实施例图示出示例显示设备和示例控制设备的框图；

图3是图示出图2的显示设备的框图；

图4是图示出图2的控制设备的框图；

图5是根据本公开的示例实施例图示出控制设备的示例的图；

图6是根据本公开的示例实施例图示出显示设备的示例操作过程的流程图；

图7是根据本公开的示例实施例图示出根据包括二维(2D)网格的用户界面上的焦点的移动确定音频属性的示例过程的流程图；

图8是根据本公开的示例实施例图示出具有包括2D网格的用户界面和音频环境的显示设备的示例的图；

图9是图示出根据图8的显示设备中的焦点的移动调整音频属性的示例的图；

图10是图示出根据与包括2D网格的用户界面上的焦点的移动相对应的第一路径确定的音频属性的示例的图；

图11是图示出其中实现了图10的焦点移动的第一路径的示例用户界面的图；

图12是图示出根据与包括2D网格的用户界面上的焦点的移动相对应的第二路径确定的音频属性的示例的图；

图13是图示出其中实现了图12的焦点移动的第二路径的示例用户界面的图；

图14是图示出根据与包括2D网格的用户界面上的焦点的移动相对应的第三路径确定的音频属性的示例的图；

图15是图示出其中实现了图14的焦点移动的第三路径的示例用户界面的图；

图16是根据本公开的示例实施例图示出根据包括三维(3D)网格的用户界面上的焦点的移动确定音频属性的示例过程的流程图；

图17是图示出示例3D网格的分解透视图；

图18是根据本公开的示例实施例图示出应用了包括3D网格的用户界面的显示设备的示例的图；

图19是图示出根据与包括3D网格的用户界面上的焦点的移动相对应的第一路径确定的音频属性的示例的图；

图20是图示出根据图19的显示设备中的焦点的移动调整音频属性的示例的图；

图21是图示出根据与包括3D网格的用户界面上的焦点的移动相对应的第二路径确定的音频属性的示例的图；

图22是根据本公开的示例实施例图示出根据实况屏幕上的对象的属性确定和输出音频属性的示例方法的流程图；

图23是根据本公开的示例实施例图示出具有音频环境的显示设备的示例的图；

图24是根据本公开的示例实施例图示出根据实况屏幕上的对象的属性确定和输出音频属性的示例方法的图；

图25A、25B、25C、25D和25E是图示出实况屏幕上的各种对象的示例属性的图；

图26是根据本公开的示例实施例图示出基于控制设备的移动信号控制音频音量的示例方法的流程图；

图27是根据本公开的示例实施例图示出基于指示对象线方向上的移动的控制设备的移动信号控制音频音量的示例的图；

图28是根据本公开的示例实施例图示出基于指示控制设备的向前和向后倾斜的移动信号控制音频音量的示例的图；并且

图29是根据本公开的示例实施例图示出基于指示设在控制设备中的触摸敏感屏幕上的挥扫操作的信号控制音频音量的示例的图。

具体实施方式

由于本公开允许各种改变和许多实施例，将在附图中图示并且在说明书中详细描述实施例。然而，这并非意图将本公开构思限制到特定实现模式，并且要领会，不脱离本公开的精神和技术范围的所有变化、等同和替换都包含在本公开中。在对本公开的描述中，当认为对相关技术的某些详细说明可能不必要地模糊本公开的本质时，可省略这些详细说明。

本公开中使用的术语只是用于描述实施例，而并非意图限制本公开。以单数使用的表述涵盖了复数的表述，除非其在上下文中具有明显不同的含义。在本公开中，要理解诸如“包括”、“具有”和“包含”之类的术语意图指示本公开中公开的特征、数字、步骤、动作、组件、部件或其组合的存在，而并不意图排除可存在或者可添加一个或多个其他特征、数字、步骤、动作、组件、部件或其组合的可能性。

当在本公开中使用时，术语“和/或”包括列出的项目的任何一者和这些项目的至少一个组合的全部。例如，“A或B”可包括A、B或者A和B两者。

诸如“第一”和“第二”之类的术语在本文中仅仅用于描述各种构成元素，但这些构成元素不受这些术语的限制。使用这种术语只是为了区分一个构成元素与另一构成元素。例如，在不脱离本公开的权利范围的情况下，第一构成元素可被称为第二构成元素，反之亦然。

在本公开中，当一构成元素(例如第一构成元素)与另一构成元素(例如第二构成元素)“(操作性或通信性地)耦合”/“(操作性或通信性地)耦合到”另一构成元素或者“连接到”另一构成元素时，该构成元素直接地或者通过至少一个其他构成元素(例如第三构成元素)接触该另一构成元素或者连接到该另一构成元素。相反，当一构成元素(例如第一构成元素)被描述为“直接连接”或“被直接连接”到另一构成元素(例如第二构成元素)时，该构成元素应当被解释为直接连接到该另一构成元素，而没有任何其他构成元素(例如第三构成元素)介于其间。可按相同的方式来解释描述构成元素之间的关系的其他表述，例如“在……之间”和“直接在……之间”。

本公开中使用的术语用于说明特定实施例，而不是用于限制本公开。从而，本公开中对于单数的表述包括对于多数的表述，除非在上下文中清楚地另有指明。

除非另有定义，否则本文使用的所有术语——包括技术术语或科学术语——具有与本公开所属领域的普通技术人员一般理解相同的含义。如一般使用的字典中定义的那些的术语被理解为具有与相关技术的上下文中的那些相匹配的含义，并且除非另有清楚定义，否则不被解释为理想化或过度正式的

现在将详细谈及根据各种示例实施例的设备，这些实施例的示例在附图中示出，附图中相似的标号始终指代相似的元素。

图1是根据示例实施例图示出本公开的示例的参考图。

参考图1，根据一实施例的显示设备100可在显示器的一部分上输出用户界面20。用户界面20可显示一个或多个项目a至f。项目指的是被显示来提供内容或关于内容的信息的图像。例如，与所选项目相对应的内容可通过选择用于提供该内容的项目来再现。例如，关于与所选项目相对应的内容的信息可通过选择用于提供关于该内容的信息的项目来显示。虽然项目a至f在图1中的屏幕的底部布置成一条线，但项目a至f可按各种方式布置在屏幕上。

在用户界面中被用户操纵移动和选择的区域在本文中被称为焦点或焦点区域。用户可利用控制设备200在用户界面20中包括的多个项目之间移动焦点。可利用设在控制设备200中的两个方向键或四个方向键移动焦点。也可利用实现为指点设备的控制设备200的指点信号来移动焦点。也可利用包括触摸板的控制设备200中包括的触摸板的触摸信号来移动焦点。例如，用户可利用左方向键在用户界面20中向左移动焦点并且可利用右方向键在用户界面20中向右移动焦点。

在用户界面20中关注的项目可通过向其添加表示焦点被置于该项目上的视觉效果来显示。参考图1，关注的项目a可通过在项目a周围添加高亮效果50来显示。当利用控制设备200移动焦点时，由于焦点视觉效果也被移动，所以用户可认识哪个项目被关注。

根据一实施例的显示设备100除了在移动焦点时向关注的项目添加焦点视觉效果以外还可输出与焦点的移动相对应的声音反馈。例如，如果焦点被向左移动，则左声音音量可被调高，而如果焦点被向右移动，则右声音音量可被调高。

如上所述，可提供声音反馈，从而也可根据焦点的移动提供视觉效果和听觉效果，由此提供对焦点的移动的更直观体验。

图2是根据本公开的示例实施例图示出显示设备100和控制设备200的示例的框图。

参考图2，显示设备100可包括显示器115、控制器(例如，包括处理电路)180、传感器160和音频输出接口(例如，包括音频输出接口电路)125。显示设备100可实现为模拟电视(television，TV)、数字TV、三维(three-dimensional，3D)TV、智能TV、发光二极管(light-emitting diode，LED)TV、有机发光二极管(organic light-emitting diode，OLED)TV、等离子TV、监视器、机顶盒等等，但不限于此。

显示器115可显示内容。内容可包括视频、音频、图像、游戏、应用，等等。可通过卫星广播信号、互联网协议TV(Internet protocol TV，IPTV)信号、视频点播(video-on-demand，VOD)信号或者通过给予对互联网的访问权接收的信号(例如YouTube)等等，来接收内容。

音频输出接口125可包括在控制器180的控制下输出音频和声音反馈的各种音频输出接口电路。

传感器160可感测来自控制设备200的与焦点的移动相对应的控制信号。

控制器180可包括各种处理电路并且可例如被配置为一个或多个处理器来总体控制显示设备100的组件。

根据一实施例的控制器180可接收控制信号来在显示器115上显示的用户界面中移动焦点并且可控制音频输出接口125来与焦点的移动相对应地输出声音反馈。

根据一实施例的控制器180可控制音频输出接口125来根据在显示器115中再现的内容中移动的对象的属性或者内容的属性来输出声音反馈。

根据一实施例的控制器180可接收指示控制设备200的移动的控制信号并且相应地控制音频输出接口125以调整在显示器115中再现的内容的音量。

控制设备200可包括通信接口(例如，包括通信接口电路)220、控制器(例如，包括处理电路)280、用户输入接口(例如，包括用户界面电路)230和传感器240。

通信接口220可包括各种通信电路并且将控制设备200的用户输入信号或感测信号发送给显示设备100。

传感器240可感测控制设备200的移动。

用户输入接口230可包括各种输入电路，例如但不限于方向键、按钮、触摸板等等，来接收用户输入。

控制器280可包括各种处理电路并且总体控制控制设备200的组件。

图3是图示出图2的显示设备100的示例的框图。

参考图3，显示设备100可包括视频处理器(例如，包括视频处理电路)110、显示器115、音频处理器(例如，包括音频处理电路)120、音频输出接口125、电源130、调谐器140、通信接口150、传感器160、输入/输出接口(例如，包括接口电路)170、控制器180和存储装置190。

视频处理器110可包括各种处理电路并且处理由显示设备100接收的视频数据。视频处理器110可对视频数据执行各种类型的图像处理，例如解码、缩放、噪声滤波、帧率转换以及分辨率转换。

显示器115可在控制器180的控制下在屏幕上显示通过调谐器140接收的广播信号中包括的视频。显示器115也可显示通过通信接口150或输入/输出接口170输入的内容(例如，运动图像)。显示器115可在控制器180的控制下显示存储装置190中存储的图像。

根据一实施例，显示器115可输出包括二维(2D)网格的用户界面并且可在由x和y轴构成的2D网格上移动与用户输入相对应的焦点。

根据一实施例，显示器115可输出包括3D网格的用户界面并且可在由x、y和z轴构成的3D网格上移动与用户输入相对应的焦点。

音频处理器120可包括各种处理电路并且处理音频数据。音频处理器120可对音频数据执行各种类型的处理，例如解码、放大和噪声滤波。

根据一实施例，音频处理器120可根据2D网格用户界面或3D用户界面上的焦点的移动执行变调(transposition)处理、混响(reverb)处理等等的至少一者。

音频输出接口125可在控制器180的控制下输出通过调谐器140接收的广播信号中包括的音频。音频输出接口125可输出通过通信接口150或输入/输出接口170输入的音频(例如，语音或声音)。音频输出接口125可在控制器180的控制下输出存储装置190中存储的音频。音频输出接口125可包括多扬声器126的至少一者、耳机输出端子127和索尼/飞利浦数字接口(Sony/Philips digital interface，S/PDIF)输出端子128，其中多扬声器126包括第一扬声器126a、第二扬声器126b、……、第N扬声器126c和低音炮126d。

根据一实施例，音频输出接口125可输出具有根据2D网格用户界面或3D用户界面上的焦点的移动来调整的变调、混响和均衡器的至少一者和多扬声器126的至少一者的声音反馈。

根据一实施例，音频输出接口125可输出具有根据在显示器115上输出的内容的属性或内容中包括的对象的属性而确定的属性的音频。

根据一实施例，音频输出接口125可输出与控制设备200的移动信号相对应地调整了在显示器115中再现的内容的主音量的音频。

电源130可在控制器180的控制下把从外部电源输入的电力供应到显示设备100的内部组件110至190。电源130可在控制器180的控制下把从位于显示设备100内部的一个或多个电池输入的电力供应给内部组件110至190。

调谐器140可根据用户输入(例如，从控制设备200接收的控制信号，例如频道号输入、频道上下输入和电子节目指南(electronic program guide，EPG)屏幕图像上的频道输入)接收与频道号相对应的频率带中的广播信号。

调谐器140可从诸如地面广播、有线广播、卫星广播、互联网广播等等之类的各种来源接收广播信号。调谐器140也可从诸如模拟广播或数字广播等等之类的来源接收广播信号。通过调谐器140接收的广播信号可被解码，例如音频解码、视频解码或附加信息解码，成为音频、视频和/或附加信息。分离的音频、视频和/或附加信息可在控制器180的控制下被存储在存储装置190中。

调谐器140可与显示设备100实现为多合一类型或者实现为单独的装置，该装置具有电连接到显示设备100的调谐器，例如连接到输入/输出接口170的机顶盒(未示出)或调谐器(未示出)。

通信接口150可包括被配置为在控制器180的控制下将显示设备100连接到例如音频装置之类的外部装置的各种通信电路。控制器180可发送/接收关于经由通信接口150连接的外部装置的内容、从外部装置下载应用或者使能web浏览。根据显示设备100的性能和结构，通信接口150可包括各种通信电路，例如但不限于无线局域网(wireless local areanetwork，LAN)接口151、蓝牙接口152和有线以太网接口153的一者或多者。另外，通信接口150可包括无线LAN接口151、蓝牙接口152和有线以太网接口153的组合。通信接口150可在控制器180的控制下接收控制设备200的控制信号。控制信号可实现为蓝牙信号、射频(radio frequency，RF)信号或WiFi信号。

除了蓝牙接口152以外，通信接口150还可包括其他短距离通信接口(例如，近场通信(near-field communication，NFC)接口(未示出)和低能量蓝牙(Bluetooth lowenergy，BLE)接口(未示出))。

传感器160可感测用户的语音、用户的图像或者用户的交互。

麦克风161可接收用户发出的语音。麦克风161可将接收到的语音转换成电信号并且将转换的电信号输出到控制器180。

相机162可接收与相机识别范围内的用户的运动(包括手势)相对应的图像(例如，连续帧)。用户的运动可包括例如利用用户的任何身体部分的运动，用户的身体部分例如是脸、手、脚等等，并且运动可例如是脸部表情的变化、曲指成拳、张开手指，等等。相机162可在控制器180的控制下将接收到的图像转换成电信号并且将转换的电信号输出到控制器180。

控制器180可利用接收到的运动的识别结果选择在显示设备100上显示的菜单或者执行与运动识别结果相对应的频道调整、音量调整或指示物的移动。

相机162可包括透镜和图像传感器。相机162可利用多个透镜和图像处理支持光学变焦或数字变焦。

光学接收器163可通过显示器115的边框的光学窗口(未示出)接收从控制设备200接收的光学信号(包括控制信号)。光学接收器163可从控制设备200接收与用户输入(例如，触摸、推压、触摸手势、语音或运动)相对应的光学信号。可在控制器180的控制下从接收到的光学信号提取控制信号。

根据一实施例，光学接收器163可接收与控制设备200的指点位置相对应的信号并且可将该信号发送给控制器180。例如，如果用户在用他/她的手指触摸设在控制设备200中的触摸板203的同时移动控制设备200，则光学接收器163可接收与控制设备200的移动相对应的信号并且可将该信号发送给控制器180。

根据一实施例，光学接收器163可接收指出设在控制设备200中的特定按钮被按压的信号并且可将该信号发送给控制器180。例如，如果用户用他/她的手指按压设在控制设备200中的按钮型触摸板203，则光学接收器163可接收指出按钮型触摸板203被按压的信号并且可将该信号发送给控制器180。例如，指出按钮型触摸板203被按压的信号可被用作用于选择显示的项目之一的信号。

根据一实施例，光学接收器163可接收与控制设备200的方向键输入相对应的信号并且可将该信号发送给控制器180。例如，如果用户按压设在控制设备200中的方向键按钮204，则光学接收器163可接收指出方向键按钮204被按压的信号并且可将该信号发送给控制器180。

根据一实施例，光学接收器163可接收与控制设备200的移动相对应的信号并且可将该信号发送给控制器180。

输入/输出接口170可包括各种接口电路并且在控制器180的控制下从显示设备100的外部接收视频(例如，运动图片等等)、音频(例如，语音或音乐等等)和附加信息(例如，EPG等等)。输入/输出接口170可包括各种接口电路，例如但不限于高清晰度多媒体接口(high definition multimedia interface，HDMI)端口171、组件插孔172、个人计算机(personal computer，PC)端口173和通用串行总线(universal serial bus，USB)端口174中的一者或多者。输入/输出接口170可包括HDMI端口171、组件插孔172、PC端口173和USB端口174的组合。

本领域普通技术人员将容易理解，输入/输出接口170的配置和操作可根据实施例来不同地实现。

控制器180可包括各种处理电路并且控制显示设备100的一般操作和显示设备100的内部组件110至190之间的信号流并且处理数据。如果用户输入存在，或者满足预设并存储的条件，则控制器180可执行存储装置190中存储的操作系统(operating system，OS)和各种应用。

控制器180可包括各种处理电路，例如但不限于处理器181。另外，控制器180可包括用于存储从显示设备100的外部输入的信号或数据或者用作与显示设备100执行的各种操作相对应的存储区域的随机访问存储器(random-access memory，RAM)，或者其中存储用于控制显示设备100的控制程序的只读存储器(read-only memory，ROM)。

处理器181可包括用于处理与视频相对应的图形的图形处理单元(graphicsprocessing unit，GPU)(未示出)。处理器可以由片上系统(system on a chip，SoC)实现，其中集成了核(未示出)和GPU(未示出)。处理器也可包括单核、双核、三核、四核和多核。

处理器181也可包括多个处理器。例如，处理器可实现为主处理器(未示出)和在休眠模式中操作的子处理器(未示出)。

控制器180可通过光学接收器163以及位于显示设备100的侧面和后表面之一的面板键(未示出)的至少一者接收控制设备200的指点位置信息。

根据一实施例，控制器180可检测在用户界面中移动焦点的来自控制设备200的控制信号，可根据与控制信号相对应的焦点的位置确定音频的属性，并且可控制音频输出接口125输出具有所确定的音频属性的声音反馈。在此，音频属性可包括表达上扬声器、下扬声器、左扬声器、右扬声器、前扬声器或后扬声器的音量平衡、变调、混响和均衡(EQ)的至少一者。

根据一实施例，控制器180可根据包括2D网格的用户界面中的焦点的位置利用至少两个扬声器的音量和变调的至少一者来确定音频属性。

根据一实施例，控制器180可根据2D网格中的焦点的x轴位置确定左扬声器或右扬声器的音量并且可根据2D网格中的焦点的y轴位置确定变调值。

根据一实施例，控制器180可根据包括3D网格的用户界面中的焦点的位置利用至少两个扬声器的音量、变调和混响的至少一者来确定音频属性。

根据一实施例，控制器180可根据3D网格中的焦点的x轴位置确定左扬声器或右扬声器的音量，可根据3D网格中的焦点的y轴位置确定变调值，并且可根据3D网格中的焦点的z轴位置确定混响值。

根据一实施例，控制器180可基于在实况屏幕中再现的内容中移动的对象的位置、实况屏幕中的色彩分布、对比度、亮度和帧数目的变化的至少一者来确定音频属性。

根据一实施例，控制器180可根据实况屏幕上的对象的x轴位置来确定左扬声器或右扬声器的音量，可根据实况屏幕上的对象的y轴位置来确定上扬声器或下扬声器的音量，并且可根据实况屏幕上的对象的z轴位置来确定混响值。

根据一实施例，控制器180可检测来自控制设备200的移动信号，可根据移动信号确定视觉内容中包括的音频的音量，并且可控制音频输出接口125输出具有所确定的音量的音频。在此，控制设备200的移动信号可包括以下各项的至少一者：指示控制设备200相对于显示器115在对角线方向上的移动的信号、指示控制设备200向前和向后倾斜移动的信号以及设在控制设备200中的触摸敏感屏上的挥扫信号。

本领域普通技术人员将容易理解，控制器180的配置和操作可根据实施例来不同地实现。

存储装置190可存储用于在控制器180的控制下操作和控制显示设备100的各种数据、程序或应用。存储装置190可存储与视频处理器110、显示器115、音频处理器120、音频输出接口125、电源130、调谐器140、通信接口150、传感器160和输入/输出接口170的操作相对应地输入/输出的信号或数据。存储装置190可存储用于控制显示设备100和控制器180的控制程序、最初从制造商提供或从外界下载的应用、与应用相关的图形用户界面(graphicuser interface，GUI)、用于提供GUI的对象(例如，图像、文本、图标和按钮)、用户信息、文档、数据库(database，DB)或相关数据。

存储装置190也可包括非易失性存储器、易失性存储器、硬盘驱动器(hard diskdrive，HDD)或固态驱动器(solid-state drive，SSD)。

存储装置190可包括广播接收模块、频道控制模块、音量控制模块、通信控制模块、语音识别模块、运动识别模块、光接收模块、显示控制模块、音频控制模块、外部输入控制模块、电力控制模块、以无线方式(例如蓝牙)连接的外部装置的电力控制模块、语音数据库(DB)或者运动DB，这些在图中没有图示。没有图示的模块和存储装置190的DB可以用软件方式实现以便执行广播接收控制功能、频道控制功能、音量控制功能、通信控制功能、语音识别功能、运动识别功能、光接收功能、显示控制功能、音频控制功能、外部输入控制功能、电力控制功能以及控制显示设备100中的光标或滚动项目的显示的显示控制功能。内容可利用存储装置190中存储的软件来执行每个功能。

根据一实施例，存储装置190可存储与每个项目相对应的图像。

根据一实施例，存储装置190可存储与对应于控制设备200的指点位置输出的光标相对应的图像。

根据一实施例，存储装置190可存储图形图像来提供对应于控制设备200的方向键输入而赋予项目的焦点视觉效果。

存储装置190可存储运动图像或者与视觉反馈相对应的图像。

存储装置190可存储与听觉反馈相对应的声音。

存储装置190可包括展现模块。展现模块可以是用于配置显示屏幕的模块。展现模块可包括用于再现和输出多媒体内容的多媒体模块以及用于执行UI功能和图形处理的UI渲染模块。多媒体模块可包括播放器模块、便携式摄像机模块、声音处理模块等等。从而，多媒体模块可执行再现各种多媒体内容并且生成并再现屏幕和声音的操作。UI渲染模块可包括构成图像的图像构成器模块、在要显示图像的屏幕上构成和生成坐标的坐标构成器模块、从硬件接收各种事件的X11模块、提供用于配置2D或3D UI的工具的2D/3D UI工具包，等等。

根据一实施例，存储装置190可包括存储一个或多个指令的模块，这些指令输出声音反馈，其中音频属性是根据2D或3D网格用户界面中的焦点的移动来确定的。

另外，包括显示器115的显示设备100可电连接到具有调谐器的单独外部设备(例如，机顶盒(未示出))。例如，显示设备100可实现为模拟TV、数字TV、3D TV、智能TV、LED TV、OLED TV、等离子TV、监视器、机顶盒，等等，但本公开所属领域的普通技术人员将会清楚，显示设备100不限于此。

显示设备100可包括感测其内部或外部状态的传感器(例如，亮度传感器、温度传感器等等(未示出))。

根据显示设备100的性能，可向图3的显示设备100中所示的组件(例如，110至190)添加或从中删除至少一个组件。另外，本领域普通技术人员将容易理解，可根据显示设备100的性能或结构来改变组件(例如，110至190)的位置。

图4是图示出图2的控制设备200的示例的框图。

参考图4，控制设备200可包括无线通信接口(例如，包括通信电路)220、用户输入接口(例如，包括输入接口电路)230、传感器240、输出接口(例如，包括输出接口电路)250、电源260、存储装置270和控制器(例如，包括处理电路)280。

无线通信接口220可包括被配置为根据上文描述的实施例向显示设备100发送和从显示设备100接收信号的各种通信电路。无线通信接口220可包括RF模块221，该RF模块221根据RF通信标准向显示设备100发送和从显示设备100接收信号。控制设备200可包括红外(IR)模块223，该IR模块223根据RF通信标准向显示设备100发送和从显示设备100接收信号。无线通信接口220也可包括IR模块223，该IR模块223根据IR通信标准向显示设备100发送和从显示设备100接收信号。

根据一实施例，控制设备200可通过RF模块221向显示设备100发送包括关于控制设备200的运动的信息的信号。

控制设备200可通过RF模块221接收由显示设备100发送的信号。如果必要，控制设备200可通过IR模块223向显示设备100发送关于通电/断电、频道改变、音量改变等等的命令。

用户输入接口230可包括各种输入电路，例如但不限于小键盘、按钮、触摸板或触摸屏等等。用户可操纵用户输入接口230来向控制设备200输入与显示设备100相关的命令。当用户输入接口230包括硬键按钮时，用户可通过对硬键按钮的推压操作向控制设备200输入与显示设备100相关的命令。当用户输入接口230包括触摸屏时，用户可对触摸屏的软键进行触摸以向控制设备200输入与显示设备100相关的命令。

例如，用户输入接口230可包括4方向按钮或4方向键201，像图5的控制设备200a那样。4方向按钮或4方向键可用于控制在显示器115上显示的窗口、区域、应用或项目。4方向按钮或4方向键可用于指示向上、向下、向左和向右移动。本领域普通技术人员将容易理解，取代4方向按钮或4方向键，用户输入接口230可包括2方向按钮或2方向键或者8方向按钮或8方向键。

根据一实施例，4方向按钮或4方向键201可用于在向显示器115提供的用户界面中移动项目的焦点。

另外，用户输入接口230可包括触摸板202，像图5的控制设备200b那样。根据一实施例，用户输入接口230可通过控制设备200的触摸板接收拖曳、触摸或轻弹的用户输入。可根据接收到的用户输入的类型(例如，输入拖曳命令的方向、输入触摸命令的时间点等等)来控制显示设备100。

传感器240可包括陀螺传感器241或加速度传感器243。陀螺传感器241可感测关于控制设备200的移动的信息。作为示例，陀螺传感器241可感测关于控制设备200相对于X、Y和Z轴的操作的信息。加速度传感器243可感测关于控制设备200的移动速度的信息。同时，传感器240还可包括距离测量传感器，从而可感测控制设备200和显示设备100之间的距离。

参考图5，根据一实施例的控制设备200c可实现为包括4方向键204和触摸板203的指点设备。也就是说，当控制设备200c被实现为指点设备时，可利用控制设备200的陀螺传感器241根据倾斜方向或角度等等来控制显示设备100的功能。

根据一实施例，4方向键204的选择信号可用于移动在向显示器115提供的项目区域上显示的项目的焦点。

输出接口250可包括各种输出电路并且输出与对用户输入接口230的操纵相对应或者与从显示设备100接收的信号相对应的图像或语音信号。用户可通过输出接口250认识到用户输入接口230是否被操纵或者显示设备100是否被控制。

作为示例，输出接口250可包括各种输出电路，例如但不限于在用户输入接口230被操纵或者信号被通过无线通信接口220发送到显示设备100或从显示设备100接收的情况下点亮的LED模块251、生成振动的振动模块253、输出声音的声音输出模块255或者输出图像的显示模块257。

电源260可向控制设备200供应电力。电源260可在控制设备200在一定时间段中都没有移动时停止供应电力，从而减少电力浪费。电源260可在控制设备200中包括的某个键被操纵时继续开始供应电力。

存储装置270可存储对于控制设备200的控制或操作必要的各种类型的程序、应用数据等等。

控制器280可包括各种处理电路并且控制与控制设备200的控制相关的一切。控制器280可通过无线通信接口220向显示设备100发送与对用户输入接口230的某个键的操纵相对应的信号或者与由传感器240感测到的控制设备200的移动相对应的信号。

显示设备100可包括计算与控制设备200的操作相对应的光标的坐标值的坐标值计算器(未示出)。

坐标值计算器(未示出)可从与控制设备200的操作相对应的感测信号中校正手抖或误差以计算要在显示器115上显示的光标的坐标值(x,y)。

另外，由传感器130感测到的控制设备200的发送信号可被发送到显示设备100的控制器180。控制器280可从由控制设备200发送的信号确定关于控制设备200的操作和键操纵的信息并且可与该信息相对应地控制显示设备100。

作为另一示例，控制设备200可计算与该操作相对应的光标的坐标值以将该坐标值发送到显示设备100。在此情况下，显示设备100可向控制器280发送所接收的关于指点器坐标值的信息，而无需校正手抖或误差的单独过程。

根据一实施例，用户可利用控制设备200的方向键、触摸板、指点功能等等控制在显示器的屏幕上显示的光标的位置或者焦点并且选择图像。

图6是根据本公开的示例实施例图示出显示设备的示例操作过程的流程图。

参考图6，在操作610中，显示设备可提供与至少一个视频环境相对应的用户界面。与至少一个视频环境相对应的用户界面可包括2D网格用户界面或3D网格用户界面。

在操作620中，显示设备可检测在用户界面上移动焦点的控制设备的移动信号。包括方向键的控制设备可利用选择方向键的用户输入来移动焦点。包括触摸板的控制设备可利用触摸板上的用户输入来移动焦点。包括陀螺传感器等等的指点设备可利用移动指点设备的用户输入来移动焦点。显示设备可检测控制设备的方向键选择信号、触摸板的触摸输入信号和指点设备的移动信号。

在操作630中，显示设备可基于与移动信号相对应的焦点的位置确定音频属性。

根据一实施例，显示设备可从2D网格用户界面获得被配置为x轴坐标和y轴坐标的位置作为与控制设备的移动信号相对应的焦点的位置。

根据一实施例，显示设备可从3D网格用户界面获得被配置为x轴坐标、y轴坐标和z轴坐标的位置作为与控制设备的移动信号相对应的焦点的位置。

根据一实施例，音频属性可包括表达一个或多个扬声器的属性的音量平衡、变调、混响和EQ的至少一者。一个或多个扬声器可包括上扬声器、下扬声器、左扬声器、右扬声器、前扬声器和后扬声器。

根据各种实施例，可根据焦点的位置来确定音频属性。

在操作640中，显示设备可控制音频输出接口来输出具有所确定的音频属性的声音反馈。

图7是根据本公开的示例实施例图示出根据包括2D网格的用户界面上的焦点的移动确定音频属性的示例过程的流程图。

参考图7，在操作710中，显示设备可基于包括2D网格的用户界面上的焦点的x轴位置确定左扬声器或右扬声器的音量。例如，如果焦点接近x轴上的左侧，则显示设备可使左扬声器音量增大，而如果焦点接近x轴上的右侧，则显示设备可使右扬声器音量减小。

在操作720中，显示设备可基于包括2D网格的用户界面上的焦点的y轴位置确定变调值。例如，如果焦点接近y轴上的下部分，则显示设备可减小变调值，而如果焦点接近y轴上的上部分，则显示设备可增大变调值。

变调可以指例如升高或降低音符的集合的音调的过程。

图8是根据本公开的示例实施例图示出具有包括2D网格的用户界面和音频环境的显示设备的示例的图。

参考图8，显示设备100可包括左扬声器、右扬声器和低音炮。另外，显示设备可提供包括2D网格的用户界面。2D网格指的是包括相对于目标的针对客体的x坐标和y坐标以及用户界面中包括的成分的视觉稳定性的规格。从实况屏幕中在空间上和功能上识别实况屏幕上的透明薄层，其中该层中的用户操纵包括向上/向下/向左/向右/对角线移动。

根据一实施例，如图8中所示，当焦点在包括2D网格的用户界面上移动时生成的声音反馈可被输出以允许用户感受方向性。

左扬声器和右扬声器的增益——例如音量——可根据2D网格上的x坐标被调整。左扬声器和右扬声器的变调值可根据2D网格上的y坐标被调整。

根据一实施例，与在包括2D网格的用户界面上的焦点的位置相对应的声音反馈可被定义如下：

[式1]

声音输出(左增益、右增益、变调)＝(100-x,x,y)

假定坐标值的范围是0≤x≤100并且0≤y≤100，左增益表示左扬声器的音量，右增益表示右扬声器的音量，并且变调表示像C→C#→D→D#这样的变调。

图9是图示出根据图8的显示设备100中的焦点910的移动调整音频属性的示例的图。

参考图9，显示设备100可在屏幕的一部分上输出包括多个项目a、b、c、d、e和f的用户界面900。显示设备100可接收控制设备200的移动信号并且将焦点910移动到与移动信号相对应的位置。在图9中，焦点910被从中央移动到左侧。如上所述，如果焦点在包括2D网格的用户界面上被移动到左侧，则显示设备可增大左扬声器的音量以使得用户可从视觉和听觉上感受到焦点的移动。

图10是图示出根据与包括2D网格的用户界面上的焦点的移动相对应的第一路径确定的音频属性的示例的图。

根据一实施例，与在包括2D网格的用户界面上的焦点的位置相对应的声音反馈可被定义如下：

[式1]

声音输出(左增益、右增益、变调)＝(100-x,x,y)

假定坐标值的范围是0≤x≤100和0≤y≤100。

参考图10，显示设备的屏幕的中心位置1010的坐标(x,y)是(50,0)。当焦点在坐标1010处时，声音输出根据以上的式1可以是(50,50,0)。在图10中，中心位置1010的焦点处的(50,50,0)表示该焦点在该坐标处时的声音输出。声音输出(左增益，右增益，变调)＝(50,50,0)指的是左扬声器的增益是50，右扬声器的增益是50，并且变调值是0。也就是说，当焦点在显示设备的屏幕的下部中央时，左扬声器和右扬声器两者可输出中间值作为相同音量，并且变调值可被输出为0。

如果用户将焦点从显示器中央移动到左边缘，则左边缘位置1020的坐标(x,y)可以是(0,0)，并且左边缘位置1020的声音输出可以是(100,0,0)。也就是说，如果焦点被从中央移动到左边缘，则左扬声器的音量可为最大值，并且右扬声器的音量可为最小值，使得用户可感受到从显示设备的中央到其左侧的声音输出。

如果用户将焦点从显示器左下移动到显示器左上1030，则声音输出可为(100,0,100)，从而按该移动的y坐标变调的声音可被从左扬声器输出，而左扬声器的音量相同。

图11是图示出其中实现了图10的焦点移动的路径的示例用户界面1100的图。

图11图示了用户界面1100，在其上图10的焦点可被从左下移动到左上。参考图11，控制设备200可在显示器1050的屏幕的左侧输出包括用于设置声音的多个项目的用户界面1100。用户界面1100可包括例如用于设置诸如标准(standard)、体育、音乐、喊叫(voke)和影院之类的声音模式1100a的一个或多个项目、用于设置环绕声模式1100b的项目和用于选择均衡器1100c的项目。用户可在用户界面1110中包括的多个项目上移动焦点。如上所述，随着用户在用户界面1110上将焦点从下端移动到上端，用户可体验到具有左扬声器的渐增变调值的声音反馈。

图12是图示出根据与包括2D网格的用户界面上的焦点的移动相对应的第二路径确定的音频属性的示例的图。

参考图12，显示设备的屏幕的位置1210的坐标(x,y)是(80,80)，从而位置1210的声音输出可以是(20,80,80)。当焦点被从位置1210移动到位置1220时，声音输出可被调整到(10,90,90)。当焦点再被从位置1220移动到位置1230时，声音输出可被调整到(10,90,0)。

从而，例如，当用户沿着如图12所示的路径移动焦点时，用户可体验到具有高变调的声音反馈，然后体验到具有低变调的声音反馈。

图13是图示出其中实现了图12的焦点移动的第二路径的示例用户界面的图。

参考图13，显示设备100可在屏幕的右侧显示用户界面1300，用户界面1300显示频道信息。

用户界面1300可在第一列1310根据提供频道信息的分类显示多个可选择项目并且可在第二列1320显示指示频道的多个项目。

用户可在用户界面1300中包括的多个项目上移动焦点。如上所述，当用户在用户界面1300上将焦点从第一列1310移动到第二列1320的第二位置1321时，用户可体验到如下声音反馈：右扬声器的声音输出及其变调值被进一步增大。另外，当用户在用户界面1300上将焦点从第二列1320的第二位置1321移动到第二列1320的第三位置1322时，用户可体验到如下声音反馈：右扬声器的变调值被减小。

图14是图示出根据与包括2D网格的用户界面上的焦点的移动相对应的第三路径确定的音频属性的示例的图。

参考图14，显示设备的屏幕的位置1410的坐标(x,y)是(50,100)，从而位置1410的声音输出根据以上式子的定义可以是(50,50,100)。当焦点被从位置1410移动到位置1420时，声音输出可被调整到(0,100,50)。当焦点再被从位置1420移动到位置1430时，声音输出可被调整到(50,50,0)。当焦点再被从位置1430移动到位置1440时，声音输出可被调整到(100,0,50)。当焦点再被从位置1440移动到位置1410时，声音输出可被调整到(50,50,100)。

从而，当用户例如根据图14中指示的路径移动焦点时，用户可感受到大体上感觉是在中央→右→中央→左→中央的方向上移动的声音输出。另外，用户可感受到感觉是在高→中→低→中→高的方向上移动的变调。

图15是图示出其中实现了图14的焦点移动的第三路径的示例用户界面1500的图。

参考图15，显示设备100可在屏幕的每个边缘的中央显示用户界面1500，用户界面1500显示项目。

用户界面1500可包括屏幕的上端中央的用于选择全局功能的项目1510、屏幕的右边缘中央的用于显示频道列表的项目1520、屏幕的下边缘中央的用于选择特色项目的项目1530以及屏幕的右边缘中央的用于显示扬声器列表的项目1540。

用户可在用户界面1500中包括的项目1510至1540上移动焦点1550。如上所述，当用户在用户界面1500的项目1510至1540上顺时针移动焦点时，用户可体验到感觉是顺时针移动的声音输出。

另外，声音反馈可向用户提供关于当前操纵的状态的清楚识别和获悉。例如，在图15中，用户可将左声音识别为扬声器列表并且将右声音识别为频道列表。

图16是根据一实施例图示出根据包括3D网格的用户界面上的焦点的移动确定音频属性的示例过程的流程图。

参考图16，在操作1610中，显示设备可基于包括3D网格的用户界面上的焦点的x轴位置确定左扬声器或右扬声器的音量。例如，如果焦点接近x轴上的左侧，则显示设备可使左扬声器音量增大，而如果焦点接近x轴上的右侧，则显示设备可使右扬声器音量增大。

在操作1620中，显示设备可基于包括3D网格的用户界面上的焦点的y轴位置确定变调值。例如，如果焦点接近y轴上的下部分，则显示设备可减小变调值，而如果焦点接近y轴上的上部分，则显示设备可增大变调值。

在操作1630中，显示设备可基于包括3D网格的用户界面上的焦点的z轴位置确定混响值。

混响指的是用于获得更好音响效果的回声并且是一种声音效果。来自声音源的声音除了在朝着用户的耳朵的方向上以外也在所有方向上发出声音，从而，首先听到的声音从作为最近方向的笔直方向是最强烈的。此外，沿着各种路径行进的声音，例如从墙壁反射听见的声音、从地面反射听见的声音等等，与原始声音相比是经由更远的距离被听见的，从而这些声音稍晚被听见。如果与原始声音具有时间差地听见这种略微反射的声音，则用户感觉到声音的空间感，这被称为混响。混响大体而言是在相对反射的声音和原始声音之间具有短时间差的声音。具有相对大时间差的反射声音指的是回声或延迟。如果放大器采用混响作为基本效果，则混响可给出一种空间感，就好像存在于大的空旷空间中一样。

因此，当焦点处于3D网格用户界面的z轴上的较深位置和较前位置时，可调整混响值，从而通过根据焦点的深度给出空间感，来输出声音。

图17是图示出示例3D网格的分解透视图。

参考图17，根据一实施例的3D网格可包括第一层网格1710、第二层网格1720、实况屏幕1730、第三层网格1740和第四层网格1750。

实况屏幕1730可以是其上再现视听内容的屏幕。

每一层网格可表示被配置为x轴坐标和y轴坐标的2D用户界面。通过第一至第四网格层1710、1720、1740和1750可提供z轴，从而可呈现3D网格用户界面。也就是说，在2D网格用户界面中只在x和y轴上移动焦点，而在3D网格用户界面中除了在x和y轴上还在z轴上移动焦点。例如，当焦点在z轴上处于第一层网格1710时，由于焦点在实况屏幕1730前方，所以焦点可给出向前朝着用户突出的效果。例如，当焦点在z轴上处于第四层网格1750时，由于焦点在实况屏幕1730后方，所以焦点可给出远离用户去往实况屏幕1730后方远处的效果。

图18是根据本公开的示例实施例图示出应用了包括3D网格的用户界面的显示设备100的示例的图。

参考图18，例如，显示设备100可在包括x轴和y轴的2D网格上显示第一项目1810、第二项目1820和第三项目1830，并且在包括z轴的3D网格上显示作为第一项目1810的下方项目的第一下方项目1811、第二下方项目1812和第三下方项目1813。

例如，2D网格上的第一项目1810、第二项目1820和第三项目1830可显示表示内容的代表图像，并且3D网格上的第一下方项目1811、第二下方项目1812和第三下方项目1813可提供每条内容的详细信息。

例如，2D网格上的第一项目1810、第二项目1820和第三项目1830可表示广播频道号，并且3D网格上的第一下方项目1811、第二下方项目1812和第三下方项目1813可表示各个频道号的节目信息。

例如，2D网格上的第一项目1810、第二项目1820和第三项目1830可表示内容提供者，并且3D网格上的第一下方项目1811、第二下方项目1812和第三下方项目1813可表示各个内容提供者提供的内容服务。

例如，2D网格上的第一项目1810、第二项目1820和第三项目1830可表示优选频道、观看历史、特色频道等等，并且3D网格上的第一下方项目1811、第二下方项目1812和第三下方项目1813可分别表示优选频道信息、观看历史信息、特色频道信息。

根据一实施例，当显示设备100提供3D网格用户界面时，显示设备100可通过区分焦点在z轴上的位置的空间感、也就是深度，来输出声音。例如，当焦点在屏幕前方时，显示设备100可输出感觉上听起来较近的声音，而当焦点在屏幕深处时，显示设备100可输出感觉上听起来较远的声音。如上所述，可通过根据焦点在z轴上的深度区分混响来输出声音，以使得用户可从根据焦点的深度输出的声音体验到空间感。

图19是图示出根据与包括3D网格的用户界面上的焦点的移动相对应的第一路径确定的音频属性的示例的图。

参考图19，显示设备100可包括第一左扬声器、第二左扬声器、第一右扬声器、第二右扬声器和低音炮。在图19中，第一左扬声器、第二左扬声器、第一右扬声器和第二右扬声器被布置在显示设备100外部，但这只是为了描述。第一左扬声器、第二左扬声器、第一右扬声器和第二右扬声器可嵌入在显示设备100中。

另外，显示设备100可提供包括3D网格的用户界面。3D网格指的是包括x坐标、y坐标和z坐标的网格。

根据一实施例，如图19中所示，当焦点在包括3D网格的用户界面上移动时生成的声音反馈可被输出以感受方向性和空间感。

左扬声器和右扬声器的增益——例如音量——可根据3D网格上的焦点的x坐标被调整。左扬声器和右扬声器的变调值可根据3D网格上的焦点的y坐标被调整。

也就是说，音频属性可根据3D网格上的x、y和z坐标被如下调整：

X轴→±左/右增益(音量)

Y轴→±变调(变调)

Z轴→±混响(干/湿效果)

根据一实施例，与在3D网格用户界面上的焦点的位置相对应的声音反馈可被定义如下：

[式2]

声音输出(左增益1，左增益2，右增益1，右增益2，变调，混响)＝(a,b,c,d,y,z)

假定坐标值的范围是0≤x≤100，0≤y≤100，0≤z≤100，a+b+c+d＝100，左增益1表示第一左扬声器的音量，左增益2表示第二左扬声器的音量，右增益1表示第一右扬声器的音量，右增益2表示第二右扬声器的音量，变调表示C→C#→D→D#的变调，并且混响表示声音混响或回声。

图20是图示出根据图19的显示设备中的焦点的移动调整音频属性的示例的图。

参考图20，显示设备的屏幕的位置2010的坐标(x,y,z)是(0,100,0)。当焦点在位置2010处时，声音输出根据以上式2的定义可以是(100,0,0,0,100,0)。(100,0,0,0,100,0)表示由于焦点在左上边缘，所以第一左扬声器的音量是最大值，其他扬声器的音量是最小值，由于焦点在y轴上的最上方，所以变调具有最大值，并且由于焦点在z轴上的位置为0，所以混响值是0。

当焦点在位置2020时，位置2020的坐标(x,y,z)是(0,0,0)，并且声音输出根据以上式2的定义可以是(0,100,0,0,0,0)。当焦点在位置2030时，位置2030的坐标(x,y,z)是(50,50,100)，并且声音输出根据以上式2的定义可以是(25,25,25,25,50,100)。

如果用户根据图20的焦点的移动将焦点从显示设备的左上边缘移动到左下边缘，则从第一左扬声器的声音输出可被移动到从第二左扬声器的声音输出。如果用户(在z轴方向上)将焦点朝着显示设备的中心深处移动，则声音反馈可按移动的坐标从左/右扬声器输出，并且由于焦点位于3D网格中的深处，所以可利用混响输出给出空间感的感觉的声音。从而，用户可体验到空间感，由此感觉起来好像声音从左侧移动到中央并且听起来在远离那样。

图21是图示出根据与包括3D网格的用户界面上的焦点的移动相对应的第二路径确定的音频属性的示例的图。

参考图21，当焦点在显示设备的屏幕上的位置2110处时，声音输出根据以上式2的定义可以是(10,30,40,20,70,100)。(10,30,40,20,70,100)表示由于焦点位于x轴上的大约中央的位置，y轴上的比中央位置略高的位置以及z轴上的最大深度位置，所以第一右扬声器、第二左扬声器、第一右扬声器和第二右扬声器的音量被大致混合，变调是略高的值，并且混响值被设置为100，因为z轴上的位置是最大值100。

当焦点在位置2120处时，声音输出根据以上式2的定义可以是(0,0,50,50,50,50)。当焦点在坐标2130处时，声音输出根据以上式2的定义可以是(0,60,0,40,0,0)。当焦点在坐标位置2140处时，声音输出根据以上式1的定义可以是(50,50,0,0,50,50)。

如图21中所示，如果用户顺时针移回位于显示设备的屏幕的中心2130处的焦点(例如，2130→2140→2110→2120)，则声音反馈可按移动的坐标从左/右扬声器输出，声音可具有空间感，就好像听起来远离又再接近那样，并且可被三维地表示，就好像在顺时针移动那样。以相同的方式，如果用户逆时针移动焦点(即，2130→2120→2110→2140)，则声音反馈可按移动的坐标从左/右扬声器输出，声音可给出空间感，就好像听起来远离又再接近那样，并且可被三维地表示，就好像在逆时针移动那样。

图22是根据本公开的示例实施例图示出根据实况屏幕上的对象的属性确定和输出音频属性的示例方法的流程图。

参考图22，在操作2210中，显示设备可提供实况屏幕。

在操作2220中，显示设备可基于在实况屏幕上再现的内容的属性或者在内容中移动的对象的属性来确定音频属性。

根据一实施例，内容的属性可包括根据帧数的内容的动态变化、静态变化、屏幕中的色彩分布、对比度、亮度等等。在内容中移动的对象的属性可包括对象的位置移动，等等。

根据一实施例，当被配置为多声道扬声器的显示设备再现内容时，可实时反映内容中包括的对象的属性值，可根据扬声器位置表示上/下/左/右/前/后和音量，从而可提供逼真且戏剧性的声音。

作为显示设备根据在实况屏幕上再现的内容的属性或者在内容中移动的对象的属性来确定音频属性的示例，在操作2230中，显示设备可基于实况屏幕上的对象的x轴位置来确定扬声器或右扬声器的音量。

在操作2240中，显示设备可基于实况屏幕上的对象的y轴位置来确定上扬声器或下扬声器的音量。

在操作2250中，显示设备可基于实况屏幕上的对象的z轴位置来确定混响值。

图23是根据本公开的示例实施例图示出具有音频环境的显示设备的示例的图。

参考图23，显示设备100可包括第一左扬声器、第二左扬声器、第一右扬声器、第二右扬声器、第一上扬声器、第二上扬声器、第一下扬声器、第二下扬声器和低音炮。在图23中，多个扬声器被布置在显示设备100外部，但这只是为了描述。多个扬声器可嵌入在显示设备100中。

另外，显示设备100可提供实况屏幕，其上再现视听内容。

根据一实施例，如图23中所示，根据在实况屏幕上再现的视听内容的属性或者内容中包括的对象的属性，可输出声音反馈来感觉方向性和空间感。

可根据在实况屏幕上移动的对象的x轴坐标来调整左扬声器和右扬声器的增益，例如音量。可根据在实况屏幕上移动的对象的y轴坐标来调整上扬声器和下扬声器的增益，即音量。可根据在实况屏幕上移动的对象的z轴坐标来调整指示空间深度的混响值。也就是说，可根据在实况屏幕上移动的对象的x、y和z坐标如下调整音频属性：

X轴→±左/右增益(音量)

Y轴→±上/下增益

Z轴→±混响(干/湿效果)

根据一实施例，与在实况屏幕上移动的对象的位置相对应的声音反馈可被定义如下：

[式3]

声音输出(左增益1，左增益2，右增益1，右增益2，上增益1，上增益2，下增益1，下增益2，混响)＝(a,b,c,d,e,f,g,h,z)

假定坐标值的范围是0≤x≤100，0≤y≤100，0≤z≤100，a+b+c+d+e+f+g+h＝100，左增益1表示第一左扬声器的音量，左增益2表示第二左扬声器的音量，右增益1表示第一右扬声器的音量，右增益2表示第二右扬声器的音量，上增益1表示第一上扬声器的音量，上增益2表示第二上扬声器的音量，下增益1表示第一下扬声器的音量，下增益2表示第二下扬声器的音量，变调表示C→C#→D→D#的变调，并且混响表示声音混响或回声。

图24是根据本公开的示例实施例图示出根据实况屏幕上的对象的属性确定和输出音频属性的示例方法的图。

参考图24，①表示对象2410在实况屏幕上再现的内容中从后方中央移动到左前方，并且②表示对象2420从后方中央移动到右前方。

显示设备100可检测在内容的流中移动的对象并且可检测移动对象的位置移动。

显示设备100可使用移动对象的位置变化来确定音频属性。

参考图24，显示设备100可调整所有扬声器的音量或混响值以便将对象2410表示为从后方移动到前方，可增大第二左扬声器的音量并且可减小第一左扬声器、第一右扬声器和第二右扬声器的音量以便将对象2410表示为从中央移动到左前方。

显示设备100可调整所有扬声器的音量或混响值以便将对象2420表示为从后方移动到前方，可增大第二右扬声器的音量并且可减小第一左扬声器、第二左扬声器和第一右扬声器的音量以便将对象2420表示为从中央移动到右前方。

图25A、图25B、图25C、图25D和图25E是图示出实况屏幕上的各种对象的示例属性的图。

图25A是图示出根据在实况屏幕上再现的内容2500a的动态对象2510的移动的示例音频输出的图。

参考图25A，随着动态对象2510在实况屏幕上再现的内容2500a中从后方移动到前方，扬声器可增大音量。另外，随着动态对象2510从左侧移动到右侧，可利用对象2510的坐标值平衡左扬声器和右扬声器。

图25B是图示出根据在实况屏幕上再现的内容2500b的动态对象2520和2530的移动的示例音频输出的图。

参考图25B，随着动态对象2520和2530在实况屏幕上再现的内容2500b中从后方移动到前方，扬声器可增大音量。另外，随着动态对象2520移动到左侧并且动态对象2530移动到右侧，声音可被分成左右以便反映动态对象2520和2530的坐标移动。

图25C是图示出根据在实况屏幕上再现的内容2500c的动态对象的移动的示例音频输出的图。

参考图25C，根据在实况屏幕上再现的内容2500c中的静态帧中的动态帧区域2540的声音位置值可反映音量值。

图25D是图示出根据在实况屏幕上再现的内容2500d的属性的示例音频输出的图。

参考图25D，在实况屏幕2550上再现的内容2500d整体上可具有昏暗氛围。可根据内容2500d的色彩、亮度或对比度属性来反映声音的上/下/左/右表示和音量值。

图25E是图示出根据在实况屏幕上再现的内容2500e的属性的示例音频输出的图。

参考图25E，在实况屏幕上再现的内容2500e可具有明亮且多彩的氛围。可根据内容2500e的色彩、亮度或对比度属性来反映声音的上/下/左/右表示和音量值。

图26是根据本公开的示例实施例图示出基于控制设备的移动信号控制音频音量的示例方法的流程图。

参考图26，在操作2610中，显示设备可显示视听内容。

在操作2620中，显示设备可检测指示控制视听设备的控制设备的移动的信号。

根据一实施例，对控制设备的移动的指示可包括以下各项的至少一者：在对角线方向上移动控制设备的移动信号、指示前后倾斜的控制设备的移动的移动信号和指示设在控制设备中的触摸敏感屏上的挥扫操作的信号。

控制设备的移动可利用图4的控制设备中包括的陀螺传感器241或加速度传感器243来检测。

在操作2630中，显示设备可基于感测到的移动信号来确定视听内容中包括的音频的音量。

在操作2640中，显示设备可输出具有所确定的音量的音频。

图27是根据本公开的示例实施例图示出基于指示对象线方向上的移动的控制设备200c的移动信号来控制音频音量的示例的图。

参考图27，显示设备100可再现视听内容。在此状态中，如果用户在屏幕上的对角线方向上下移动控制设备200c，则显示设备100可接收指示对角线方向上的移动的控制设备200c的移动信号。显示设备100可基于从控制设备200c接收的对角线方向的移动信号按移动的坐标值增大22或减小10由显示设备100再现的视听内容的音量值。在此，对角线方向只是一个示例，而不同的方向是可能的。

如上所述，由显示设备100再现的视听内容的主音量值可通过在对角线方向上移动控制设备200c来控制，从而用户在通过显示设备100观看内容时可通过将遥控器握在他/她的手中并且只是在对角线方向上移动遥控器来调整内容(例如用户正在观看的电影)的音量，而不必按压遥控器的按钮，从而很容易调整内容的音量，而不必从视觉上检查电影。

图28是根据一实施例图示出基于指示前后倾斜的控制设备200c的移动信号来控制音频音量的示例的图。

参考图28，显示设备100可再现视听内容。在此状态中，如果用户前后倾斜控制设备200c，则显示设备100可接收指示控制设备200c的倾斜移动的信号。显示设备100可基于从控制设备200c接收的倾斜的移动信号按移动的坐标值增大22或减小10由显示设备100再现的视听内容的音量值。

如上所述，由显示设备100再现的视听内容的主音量值可通过前后倾斜控制设备200c来控制，从而用户在通过显示设备100观看内容时可通过将遥控器握在他/她的手中并且只是前后倾斜遥控器来调整内容(例如用户正在观看的电影)的音量，而不必按压遥控器的按钮，从而很容易调整内容的音量，而不必从视觉上检查电影。

图29是根据一实施例图示出基于指示设在控制设备200b中的触摸敏感屏幕上的挥扫操作的信号控制音频音量的示例的图。

参考图29，显示设备100可再现视听内容。在此状态中，如果用户在控制设备200b中包括的触摸板202上执行挥扫操作，则显示设备100可接收控制设备200b的挥扫操作信号。显示设备100可基于从控制设备200b接收的挥扫操作信号按移动的坐标值增大22或减小10由显示设备100再现的视听内容的音量值。

如上所述，由显示设备100再现的视听内容的主音量值可通过在控制设备200b的触摸板202上执行挥扫操作来控制，从而用户在通过显示设备100观看内容时可通过将遥控器握在他/她的手中并且只是用他/她的手指滑动触摸板202b来调整内容(例如用户正在观看的电影)的音量，而不必按压遥控器的按钮，从而很容易调整内容的音量，而不必从视觉上检查电影。

如上所述，根据实施例，当在显示环境中发生用户操纵时，可向用户提供给出布置在上/下/左/右或前/后的用户界面中的内容上的焦点的位置的感觉的声音反馈，而无需用户完全专注于焦点。

根据实施例，可提供关于诸如移动、选择等等之类的用户操纵的方向性和空间感，从而除了提供用户界面运动以外，还更三维地提供用户体验。

根据上述实施例，可根据内容中包括的对象的位置和情形来控制作为消费内容的用户的声音体验的一个重要方面的音量平衡，从而提供逼真且戏剧性的声音体验。

根据实施例，可通过简单的操纵利用遥控器来调整当前再现的内容的声音源的主音量。

本公开的各种实施例中使用的术语“模块”例如可以指包括例如硬件、软件或固件中的一者或两者或更多组合的单元。模块可与例如单元、逻辑、逻辑块、组件或电路之类的术语互换使用。模块可以是一体形成的部件或其一部分的最小单元。模块可以是执行一个或多个功能或其一部分的最小单元。可以机械地或电子地实现模块。例如，根据本公开的各种实施例的模块可包括已知的或者将来将会开发的执行特定操作的专用处理器、CPU、专用集成电路(application-specific integrated circuit，ASIC)芯片、现场可编程门阵列(field-programmable gate array，FPGA)或可编程逻辑器件中的至少一者。

根据各种实施例，根据本公开的各种实施例的设备(例如，模块或其功能)或方法(例如，操作)的至少一部分可由例如以编程模块的形式存储在计算机可读存储介质中的命令或者由存储在计算机程序产品中的计算机程序实现。当由一个或多个处理器来执行命令时，该一个或多个处理器可执行与该命令相对应的功能。计算机可读介质可例如是存储器。编程模块的至少一部分可例如由处理器实现。编程模块的至少一部分可包括例如模块、程序、例程、指令集或进程，以执行一个或多个功能。

计算机可读记录介质的示例包括：磁介质，例如硬盘、软盘和磁带；光介质，例如致密盘只读存储器(compact disc read only memory，CD-ROM)和数字多功能盘(digitalversatile disk，DVD)，磁光介质，例如软光盘；以及被配置为存储和执行程序指令(例如，编程模块)的硬件设备，例如只读存储器(read only memory，ROM)、随机访问存储器(random access memory，RAM)、闪速存储器。另外，程序命令不仅可包括由编译器创建的机器代码，还可包括计算机利用解释器可执行的高级别语言代码。上述的硬件设备可被配置为作为一个或多个软件模块来操作以根据本公开的各种实施例执行操作，反之亦然。

根据本公开的各种实施例的模块或编程模块可包括上述元素的至少一者，或者上述元素的至少的一者可被省略，或者可进一步包括额外的其他元素。根据本公开的各种实施例，操作可由模块、编程模块或其他元素以顺序的、并行的、迭代的或试探的方法执行。另外，一些操作可按不同顺序执行、被省略，或者可向其添加其他操作。

为了清楚理解，参考不同的功能单元和过程描述了本公开的实施例。然而，将会明白，功能可适当地分布在不同的功能单元或处理器之间。例如，被描述为由独立的处理器或控制器执行的功能可由相同的处理器或控制器执行，并且在一些情况下这些功能可以是可互换的。结果，对特定功能单元的提及可解释为对就是执行该功能的适当手段的提及，而不是严格地指示逻辑或物理结构或组织。

虽然通过各种实施例描述了本公开，但本公开不限于本文描述的特定格式。本公开的范围由所附权利要求限定。另外，即使当本公开的特征看起来是联系某个实施例描述的时，本公开所属领域的普通技术人员也将清楚，上述实施例可被组合。在所附权利要求中，术语“包括”不排除其他元素，或者操作可进一步存在。

另外，虽然列出了许多设备、元素或操作，但它们可由单个单元或显示设备实现。另外，即使当个体特征被包括在不同权利要求中时，它们也可被彼此组合，并且即使当特征被包括在不同权利要求中时，也不意味着它们不能被组合或者其组合是不利的。另外，一种类型的权利要求中包括的特征不仅限于该类型，而是可按适当方法同样应用到其他类型的权利要求。

应当理解，应当仅在描述意义上来考虑这里描述的各种示例实施例，这些实施例不是用于限制的。对每个示例实施例内的特征或方面的描述通常应当被认为可用于其他实施例中的其他类似特征或方面。

虽然已参考附图描述了一个或多个示例实施例，但本领域普通技术人员将会理解，在不脱离如所附权利要求限定的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (15)

1.一种显示设备，包括：

显示器，被配置为输出用户界面；

音频输出接口，包括音频输出接口电路；以及

控制器，被配置为检测用于在所述用户界面上移动焦点的控制信号，基于与所述控制信号相对应的焦点的位置确定音频的属性，并且控制所述音频输出接口输出包括所确定的音频属性的声音反馈。

2.如权利要求1所述的显示设备，其中，所述音频属性包括以下各项的至少一者：上扬声器的音量、下扬声器的音量、左扬声器的音量、右扬声器的音量、前扬声器的音量或者后扬声器的音量、变调、混响和均衡。

3.如权利要求1所述的显示设备，

其中，所述用户界面包括二维(2D)网格，

其中，所述音频输出接口包括至少两个扬声器，并且

其中，所述控制器被配置为利用以下各项的至少一者确定所述音频属性：基于所述焦点的位置的所述至少两个扬声器的音量和变调。

4.如权利要求3所述的显示设备，其中，所述控制器被配置为基于所述焦点在所述2D网格上的x轴位置确定左扬声器或右扬声器的音量并且基于所述焦点在所述2D网格上的y轴位置确定变调值。

5.如权利要求1所述的显示设备，

其中，所述用户界面包括三维(3D)网格，

其中，所述音频输出接口包括至少两个扬声器，并且

其中，所述控制器被配置为利用以下各项的至少一者确定所述音频属性：基于所述焦点的位置的所述至少两个扬声器的音量、变调和混响。

6.如权利要求5所述的显示设备，其中，所述控制器被配置为基于所述焦点在所述3D网格上的x轴位置确定左扬声器或右扬声器的音量，基于所述焦点在所述3D网格上的y轴位置确定变调值，并且基于所述焦点在所述3D网格上的z轴位置确定混响值。

7.如权利要求1所述的显示设备，

其中，所述显示器被配置为提供实况屏幕，并且

其中，所述控制器被配置为基于以下各项的至少一者确定所述音频属性：在所述实况屏幕上再现的内容中移动的对象的位置，以及所述内容的属性。

8.如权利要求7所述的显示设备，其中，所述控制器被配置为基于所述对象在所述实况屏幕上的x轴位置确定左扬声器或右扬声器的音量，基于所述对象在所述实况屏幕上的y轴位置确定上扬声器或下扬声器的音量，并且基于所述对象在所述实况屏幕上的z轴位置确定混响值。

9.一种显示方法，包括：

检测用于在用户界面上移动焦点的控制信号；

基于与所述控制信号相对应的焦点的位置确定音频的属性；并且

输出具有所确定的音频属性的声音反馈。

10.如权利要求9所述的方法，其中，所述音频属性包括以下各项的至少一者：上扬声器的音量、下扬声器的音量、左扬声器的音量、右扬声器的音量、前扬声器的音量或者后扬声器的音量、变调、混响和均衡。

11.如权利要求9所述的方法，其中，所述用户界面包括2D网格，并且所述方法还包括：

利用基于所述焦点在包括所述2D网格的所述用户界面上的位置的至少两个扬声器的音量和变调的至少一者来确定所述音频属性。

12.如权利要求11所述的方法，还包括：

基于所述焦点在所述2D网格上的x轴位置确定左扬声器或右扬声器的音量；并且

基于所述焦点在所述2D网格上的y轴位置确定变调值。

13.如权利要求9所述的方法，其中，所述用户界面包括3D网格，并且所述方法还包括：

利用以下各项的至少一者确定所述音频属性：基于所述焦点在包括所述3D网格的所述用户界面上的位置的至少两个扬声器的音量、变调和混响。

14.如权利要求13所述的方法，还包括：

基于所述焦点在所述3D网格上的x轴位置确定左扬声器或右扬声器的音量；

基于所述焦点在所述3D网格上的y轴位置确定变调值；并且

基于所述焦点在所述3D网格上的z轴位置确定混响值。

15.如权利要求9所述的方法，还包括：

提供实况屏幕；并且

基于以下各项的至少一者确定所述音频属性：在所述实况屏幕上再现的内容中移动的对象的位置，以及所述内容的属性。