CN109766065B - 显示设备及其控制方法 - Google Patents

Abstract

公开了一种显示设备，该显示设备包括显示器、用户输入接收器和处理器，其中：用户输入接收器包括配置成接收用户发出的语音输入的接收电路；处理器配置成在显示器上显示至少一个第一图像以及与未在显示器上显示的第二图像有关的文本信息，以及基于用户发出的与文本信息对应的语音输入在显示器上显示第二图像。

Description

显示设备及其控制方法

相关申请的交叉引用

本申请基于在2017年11月10日在韩国知识产权局提交的第10-2017-0149905号韩国专利申请，并要求该韩国专利申请的优先权，该韩国专利申请的公开内容通过引用以其整体并入本申请。

技术领域

本公开总体涉及显示设备及其控制方法，并且例如涉及使用语音输入来提供图像查看功能的显示设备及其控制方法。

背景技术

查看照片等图像内容是显示设备的主要用途之一。

作为在图像查看服务中主要使用的用户接口的示例，存在用于便携式显示设备的触摸输入类型，以及用于大屏幕显示设备的远程控制输入类型。随着语音识别技术的最新发展，无论显示设备的屏幕尺寸如何，都增加了语音输入接口的使用。

然而，当语音输入接口被用于图像查看服务中时，语音输入实际上仅能够用于相对简单且受限的操作，诸如“下一视图”等。即便如此，当可能的语音输入具有不受限制的范围或显著扩大的范围时，用户难以知晓要进行何种语音输入。

发明内容

一个或多个示例实施方式的一方面提供了显示设备，该显示设备通过语音输入向使用图像查看服务的用户提供更多变且更方便的接口。

根据本公开的示例实施方式的显示设备包括显示器、用户输入接收器和处理器，其中：用户输入接收器包括配置成接收用户发出的语音输入的接收电路；处理器配置成在显示器上显示至少一个第一图像以及与未在显示器上显示的第二图像有关的文本信息，以及基于用户发出的与文本信息对应的语音输入在显示器上显示第二图像。

处理器可配置成在显示器上显示与多个第一图像中的至少一个第一图像有关的文本信息，并基于用户发出的对应于与第一图像有关的文本信息的语音输入，在显示器上显示对应于与第一图像有关的文本信息的新图像。

处理器可配置成基于用户发出的语音输入对应于与第一图像有关的文本信息还是对应于与第二图像有关的文本信息，以不同方式在显示器上显示与用户的语音输入对应的新图像。

显示设备还可包括传感器，其中，处理器配置成经由传感器感测显示设备的用户和/或显示设备的周围环境，并基于所感测的显示设备的用户和/或所感测的显示设备的周围环境的信息来识别文本信息。

处理器可配置成基于接收器在预定时间段内没有接收输入的用户输入或者基于对应于与第二图像有关的文本信息的语音输入被输入，将与第二图像有关的文本信息识别为属于不同于与第一图像有关的文本信息的类别，或者属于不同于用户先前发出的语音输入的类别。

显示设备还可包括具有通信电路的通信器，其中，文本信息与存储在外部设备中的第二图像有关，并且处理器配置成经由通信器从外部设备接收第二图像，并基于用户发出的、与文本信息对应的语音输入在显示器上显示第二图像。

处理器可配置成基于社交网络服务(SNS)应用的使用历史和/或语音输入的历史来设置与预定图像对应的文本信息。

处理器可配置成以能够彼此区分开的方式显示与第一图像有关的文本信息以及与第二图像有关的文本信息。

处理器可配置成基于用户发出的语音输入是否与所显示的文本信息对应，对文本信息应用图形效果。

处理器可配置成显示所显示的图像与对应的文本信息之间的相关性。

语音输入可包括多个字词，并且处理器配置成在显示器上顺序地显示与多个字词中的每个字词对应的第二图像。

根据本公开的示例实施方式的控制显示设备的方法包括：在显示器上显示至少一个第一图像和文本信息，该文本信息与未在显示器上显示的第二图像有关；并基于用户发出的与文本信息对应的语音输入在显示器上显示第二图像。

该方法还可包括：在显示器上显示与多个第一图像中的至少一个第一图像有关的文本信息；以及基于用户发出的对应于与第一信息有关的文本信息的语音输入，在显示器上显示对应于与第一图像有关的文本信息的新图像。

该方法还可包括基于用户发出的语音输入对应于与第一图像有关的文本信息还是对应于与第二图像有关的文本信息，以不同方式在显示器上显示与用户的语音输入对应的新图像。

该方法还可包括感测显示设备的用户或显示设备的周围环境，并基于所感测的显示设备的用户和/或所感测的显示设备的周围环境的信息来识别文本信息。

该方法还可包括基于接收器在预定时间段内没有接收输入的用户输入或者基于对应于与第二图像有关的文本信息的语音输入被输入，将与第二图像有关的文本信息识别为属于不同于与第一图像有关的文本信息的类别，或者属于不同于用户先前发出的语音输入的类别。

文本信息可与存储在外部设备中的第二图像有关，并且该方法还包括从外部设备接收第二图像，并基于用户发出的、与文本信息对应的语音输入在显示器上显示第二图像。

该方法还可包括基于社交网络服务(SNS)应用的使用历史和/或语音输入的历史来设置与预定图像对应的文本信息。

该方法还可包括以能够彼此区分开的方式显示与第一图像有关的文本信息以及与第二图像有关的文本信息。

该方法还可包括基于用户发出的语音输入是否与所显示的文本信息对应，对文本信息应用图形效果。

该方法还可包括显示所显示的图像与对应的文本信息之间的相关性。

语音输入可包括多个字词，并且该方法还包括在显示器上顺序地显示与多个字词中的每个字词对应的第二图像。

根据本公开的示例实施方式的计算机程序包括与显示设备结合并被存储在非暂时性计算机可读记录介质中以实现上述方法的计算机程序。

计算机程序可被存储在服务器中的介质中，并通过网络下载到显示设备中。

附图说明

通过以下结合附图的详细描述，本公开的上述和/或其它方面、特征和附带的有益效果将变得显而易见并且更容易理解，附图中相同的附图标记表示相同的元件，并且在附图中：

图1是示出了根据本公开的示例实施方式的显示设备的图；

图2是示出了根据本公开的示例实施方式的显示设备的配置的框图；

图3是示出了根据本公开的示例实施方式的显示设备的控制方法的流程图；

图4和图5是示出了根据本公开的示例实施方式的在显示设备中显示的屏幕的示例的图；

图6是示出了根据本公开的示例实施方式的显示设备的控制方法的流程图；

图7是示出了根据本公开的示例实施方式的在显示设备中的操作示例的图；

图8是示出了根据本公开的示例实施方式的在显示设备中的文本信息显示部分的示例的图；

图9是示出了根据本公开的示例实施方式的当在显示设备中确定文本信息时的参考信息的示例的图；

图10是示出了根据本公开的示例实施方式的显示设备的操作的示例的流程图；

图11是示出了根据本公开的示例实施方式的经由显示设备查看社交网络服务(SNS)图像的示例的图；

图12是示出了根据本公开的示例实施方式的在显示设备中自动生成文本信息的示例的示意图；

图13是示出了根据本公开的示例实施方式的在显示设备中自动生成文本信息的另一示例的图；

图14是示出了根据本公开的示例实施方式的表示在显示设备中能够进行语音输入的图形的示例的图；

图15是示出了根据本公开的示例实施方式的表示在显示设备中的语音识别失败的图形的示例的图；

图16是示出了根据本公开的示例实施方式的在显示设备中显示可根据分类区分的文本信息的示例的图；

图17、图18和图19是示出了根据本公开的示例实施方式的表示在显示设备中的文本信息与所显示的图像之间的相关性的各种示例的图；以及

图20是示出了根据本公开的示例实施方式的表示在显示设备中响应于包括多个字词的语音输入顺序地显示第二图像的示例的图。

具体实施方式

下文中，将参照附图详细描述示例实施方式。在附图中，相同的数字或符号表示具有大致相同功能的相同元件，并且为了描述的清楚和便利，每个元件的尺寸可能被夸大。然而，在以下示例实施方式中所示的结构和功能不限制本公开以及关键结构和关键功能。在以下描述中，如果与公知功能或特征有关的细节被确定为使本公开的主旨不明确，则这些细节将被省略。

在以下示例实施方式中，措辞“第一”，“第二”等仅用于将一个元件与另一元件区分开，并且除非在上下文中另有提及，否则单数形式旨在包括复数形式。在以下示例实施方式中，将理解措辞“包括(comprise)”、“包括(include)”、“具有(have)”等不排除一个或多个其它特征、数字、步骤、操作、元件、部件或其组合的存在或添加。另外，“模块”或“部分”可执行至少一个功能或操作，可通过硬件、软件或者硬件与软件的任何组合来实现并且可被模块化成至少一个处理器。

图1是示出了根据本公开的示例实施方式的显示设备的图。根据本公开的示例实施方式的显示设备100可以例如但不限于由电视(TV)实现。根据本公开的替代实施方式，显示设备100可以例如但不限于通过能够输出图像内容的电子框架、数字广告牌、大型显示器(LFD)、数字标牌、智能电话、平板计算机、移动电话、智能手表、诸如头戴式显示器的可穿戴设备、计算机、多媒体播放器、机顶盒、冰箱等来实现。然而，根据本公开的示例实施方式的显示设备100可包括能够不受限制地显示图像或内容的任何设备。

根据本公开的示例实施方式的显示设备100可从用户101接收语音输入并可显示相应的图像。这里，图像可包括例如照片和/或图片文件等。对图像文件的压缩方法或格式没有限制。此外，本公开的图像可包括多个图像或运动图像中的一些帧。在这种情况下，根据本公开的示例实施方式的显示设备100不仅可显示静止图像，还可显示运动图像或运动内容。在下文中，图像旨在包括运动图像。

根据本公开的示例实施方式，可存在针对可在显示设备100中显示的图像的各种源。例如，根据本公开的示例实施方式的显示设备100可读取并显示存储在内部储存器和/或外部储存器中的图像，可通过从社交网络服务(SNS)应用110接收图像或直接访问SNS服务器来获得并显示图像，并可从云服务器120或移动电话130接收图像并显示该图像。然而，对显示设备100接收图像的方法和来源没有限制。

图2是示出了根据本公开的示例实施方式的显示设备的示例配置的图。根据本公开的示例实施方式的显示设备100包括用户输入接收器(例如，包括用户输入接收电路)201、处理器(例如，包括处理电路)102和显示器103。然而，示出在图2中的显示设备100的配置仅为示例，并且根据本公开的示例实施方式的显示设备可通过各种替代元件来实现。换言之，根据本公开的示例实施方式的显示设备可包括除了示出在图2中的配置之外的其它元件，或者从示出在图2中的配置中排除一些元件。

用户输入接收器201可包括各种接收电路并接收由用户发出的语音输入，并且将相应的语音信号发送至处理器102。用户输入接收器201可以例如但不限于通过麦克风实现。用户输入接收器201可对所接收的语音信号自动执行信号处理。

用户输入接收器201可接收触摸输入和/或用户使用遥控器进行的用户的远程输入，并将用户输入发送至处理器102。在以下实施方式中，为了便于描述，将描述以语音输入的形式进行用户输入。然而，用户输入不排除诸如触摸输入、远程输入等其它输入类型，并且用户输入可以在能够进行触摸输入、远程输入等时以与语音输入不同的形式进行。

处理器102可包括各种处理电路并处理在用户输入接收器201中接收的语音信号。例如，处理器102可对语音信号执行诸如音量控制、放大等处理。处理器102可以例如但不限于通过一个或多个硬件(例如，包括电路)和/或软件模块(例如，包括程序元件)或其任何组合来实现，以执行前述处理。

处理器102可处理从储存器读取的图像或从应用110、云服务器120或移动电话130接收的图像。对图像处理的种类或处理器102执行的图像处理过程没有限制。由处理器102执行的图像处理可以例如但不限于包括用于将输入流划分成视频、音频和附加数据的子流的多路分解；根据图像流的图像格式进行解码；用于将图像流的隔行扫描类型转换成逐行扫描类型的去隔行扫描；用于调整图像流以具有预设分辨率的缩放；用于提高图像质量的降噪；细节增强；帧刷新率转换等。

处理器102可执行用于操作显示设备100的普通元件的控制。处理器102可包括用于执行这种控制操作的控制程序(或指令)、在其中安装该控制程序的非易失性存储器、在其中加载所安装的控制程序中的至少一部分的易失性存储器以及用于运行所加载的控制程序的至少一个处理器或中央处理单元(CPU)。此外，控制程序可存储在除显示设备100之外的电子设备中。

控制程序可包括以基本输入/输出系统(BIOS)、装置驱动器、操作系统、固件、平台和应用程序中的至少一项的形式实现的程序。根据示例实施方式，应用程序可在制造显示设备100时预先安装或存储在显示设备100中，或者可以基于在将来使用时从外部接收的应用程序数据安装在显示设备100中。应用数据可以例如从应用市场等外部服务器下载到显示设备100，但不限于此。同时，处理器102可以例如但不限于以装置、S/W模块、电路、芯片和/或其任何组合的形式实现。

处理器102可以例如控制用户输入接收器201接收用户输入。在处理图像之后，处理器102还可控制显示器103显示经处理的图像。在图2中所示的显示设备100中，处理和控制在一个处理器102中执行。然而，这仅仅是一个示例，并且根据本公开的替代实施方式的显示设备可包括除了该处理器之外的单独的控制器。

显示器103可显示由处理器102处理的图像。显示器103可例如但不限于通过诸如液晶、等离子体、发光二极管(LED)、有机发光二极管(OLED)、表面导电电子发射器、碳纳米管、纳米晶体等各种显示类型实现。当显示器103的类型是液晶时，显示器103可包括液晶显示(LCD)面板、用于向LCD面板发射光的背光单元、用于驱动LCD面板的面板驱动器等。显示器103可以例如但不限于通过不具有背光单元的自发光OLED面板实现。

根据本公开的示例实施方式的显示设备100还可包括储存器或通信器(例如，包括通信电路)。

储存器可配置成根据处理器102的处理和控制来存储多项数据。储存器可被处理器102访问并执行与这些数据有关的读取、记录、修改、更新等。储存器可包括，例如但不限于，闪速存储器、硬盘驱动器(HDD)、固态驱动器(SSD)等非易失性存储器，在非易失性存储器中无论是否向显示设备100供应系统电力都保留数据。此外，储存器可包括缓冲器、随机存取存储器(RAM)等易失性存储器，在易失性存储器中暂时性地加载待由处理器102处理的数据。

通信器可包括各种通信电路并与外部模块或外部设备(例如，SNS应用110、云服务器120、移动电话130等)通信。通信器可执行有线通信或无线通信。因此，通信器可以例如但不限于通过各种通信装置以及通过包括用于有线连接的连接器或端子的访问部来实现。例如，通信器可配置成执行Wi-Fi、蓝牙、Zigbee、红外通信、无线电控制、超宽带(UWB)、无线通用串行总线(USB)、近场通信(NFC)等之中的一种或多种通信。通信器可包括用于蓝牙低功耗(BLE)、串行端口配置文件(SPP)、Wi-Fi直连、红外通信、Zigbee、NFC等通信模块。通信器可以例如但不限于以装置、S/W模块、电路、芯片等方式实现。

图3是示出了根据本公开的示例实施方式的显示设备的示例控制方法的流程图。根据本公开的示例实施方式的显示设备100的处理器102在显示器103上显示至少一个第一图像和文本信息(S301)，其中，文本信息与未在显示器103上显示的第二图像有关。这里，“与图像有关的文本信息”表示在与图像有关的多项信息中可表示为文本的任何类型的信息。例如，当图像是照片时，与该照片有关的文本信息可包括拍摄日期、拍摄位置、拍摄装置、拍摄镜头、曝光、灵敏度信息、视角等。此外，与图像有关的文本信息可包括与图像本身有关的信息，例如标签信息。此外，文本信息还可包括描述图像的各种属性信息和元数据。例如，与图像有关的文本信息可包括与图像中所包括的人或物体和背景有关的信息；相应内容的类型、种类、环境和类别(例如，文件、自然、运动、旅行、会面、会议、团体图片等)等。

处理器102接收用户的语音输入(S302)，确定所接收的语音输入是否与文本信息对应(S303)。当语音输入与文本信息对应时，显示器103显示与输入文本信息对应的第二图像(S304)。例如，当用户的语音输入不与在显示器103上显示的第一图像对应，而是对应于与未在显示器103上显示的第二图像有关的文本信息时，处理器102在显示器103上显示第二图像，以使得用户可以通过参考显示在屏幕上的文本信息输入语音命令，从而在显示器103的屏幕上查看尚未显示的新图像。

因此，根据本公开的示例实施方式的显示设备100当在屏幕上显示第一图像时将与未在屏幕上显示的第二图像有关的文本信息显示到屏幕，从而引导用户发出语音。相应地，用户可立即输入用于在屏幕上重新配置图像的语音命令，并且通过参考显示在屏幕上的文本信息来容易地发出语音命令。

图4和图5是示出了根据本公开的示例实施方式的在显示设备中显示的屏幕的示例的图。如图4中所示，根据本公开的示例实施方式的显示设备100的处理器102在显示器103的屏幕400上显示图像和文本信息二者。换言之，如图5中所示，显示器103的屏幕500可被划分成图像显示区域504、505、506、507和文本信息显示区域501、502、503。然而，示出在图4和图5中的图像和文本信息仅为示例，并且对于图像与文本信息之间的配置和布置、每个具体区域的尺寸和形状以及区域的数量没有限制。

因此，当在第一图像以及与不同于第一图像的第二图像有关的文本信息均在显示器103的屏幕上显示的情况下接收到与文本信息对应的用户的语音输入时，处理器102在显示器103上显示与由用户发出的文本信息对应的第二图像。这里，可存在各种方法以在显示器103上显示第二图像。例如，处理器102可通过利用第二图像代替已被显示在显示器103上的第一图像的至少一部分，从而在显示器103上显示第二图像。当显示器103在屏幕上具有空白空间时，处理器102可在显示器103的空白空间上显示第二图像。处理器102可通过对已被显示的第一图像的至少一部分减小尺寸、重新排列和/或进行其它操作来确保显示器103的屏幕上的空白空间，并随后在所确保的空间上显示第二图像，从而即使在显示第一图像而不具有任何空白空间时，也能够在将已显示的第一图像完全保持在屏幕上的同时在显示器103上新显示第二图像。例如，处理器102减小已显示的第一图像的尺寸，并随后将调整尺寸后的第一图像的位置移动到显示器103的边缘部分，从而确保显示器103的中心部分中的空间并且新显示第二图像。

图6是示出了根据本公开的另一示例实施方式的显示设备的示例控制方法的流程图。根据另一示例实施方式的显示设备100的处理器102使得显示器103的屏幕不仅显示与不同于在屏幕上所显示的第一图像的第二图像有关的文本信息(下文中，称为“第二文本信息”)，还显示与已在屏幕上显示的第一图像有关的文本信息(下文中，称为“第一文本信息”)(S601)。当显示器上所显示的第一图像包括多个图像时，第一文本信息可与第一图像的一部分或整个第一图像对应。另外，当显示器所显示的第一图像包括多个图像(下文中，也称为“1-1图像”和“1-2图像”)时，第一文本信息也可包括多个文本信息(下文中，也称为“1-1文本信息”和“1-2文本信息”)。在这种情况下，第一文本信息中的每个均可与在显示器上显示的第一图像的至少一部分对应。例如，1-1文本信息可与1-1图像对应，而1-2文本信息可与1-2图像对应。

然后，处理器102接收用户的语音输入(S602)，确定用户的语音输入是否与第一文本信息(以及第二文本信息)对应(S603)，并在用户的语音输入与第一文本信息对应时显示与第一文本信息对应的新图像(S604)。

返回参照图4，将对该示例实施方式进行更详细的描述。在图4中所示的显示器103的屏幕400上，与Tokyo(东京)有关的照片401和402以及与Spring(春天)有关的照片403和404被显示为第一图像，并显示与不同于第一图像的第二图像(例如，与Paris(巴黎)有关的图像)有关的文本信息420。另外，也显示了与第一图像有关的文本信息410和411。当在该状态下发出的用户的语音输入对应于第一图像的文本信息410和411中的一项文本信息时，例如，当在与Tokyo有关的照片401和402已如图4中所示地被显示在屏幕上时输入与关于Tokyo的文本信息410对应的用户的语音时，处理器102在显示器103的屏幕400上显示与Tokyo有关的新照片。当输入与显示器上所显示的第一图像的另一文本信息(例如，与Spring有关的文本信息411)对应的用户的语音时，处理器102在显示器103的屏幕400上显示与Spring有关的新照片。当输入与显示器上未显示的第二图像的文本信息(例如，与Paris有关的文本信息420)对应的用户的语音时，处理器102在显示器103的屏幕400上显示与Paris有关的新照片。

因此，用户便于通过语音输入对显示在显示器的屏幕上的图像进行不同的改变。例如，通过在查看屏幕上所显示的第一图像的同时参考屏幕上所显示的文本信息，用户在用户意图查看与当前在屏幕上显示的第一图像相关的更多图像时输入与关于第一图像的文本信息有关的语音命令，并在用户意图查看与当前在屏幕上显示的第一图像不同的图像时输入与关于第二图像的文本信息有关的语音命令，从而通过语音输入容易地且以多种方式改变在显示器的屏幕上所显示的图像。

此外，根据本公开的另一示例实施方式的显示设备100的处理器102可根据用户的语音输入对应于与第一图像有关的文本信息还是对应于与第二图像有关的文本信息，而以不同方式在显示器103上显示与用户所发出的语音输入对应的新图像。

如上所述，当第一文本信息和第二文本信息二者均被显示在显示器103的屏幕上时，显示设备100根据与文本信息对应的输入所提供的功能之间存在差异。即，当输入对应于第一文本信息的语音命令时，显示设备100的处理器102最新显示与当前在屏幕上显示的第一图像有关的图像。另一方面，当输入对应于第二文本信息的语音命令时，处理器102显示与当前在屏幕上显示的第一图像不同的图像。因此，根据情况以不同的方式显示最新显示的图像可能是有效的。

例如，当发出对应于第一文本信息的语音命令时，处理器102减小已被显示的第一图像的尺寸，并通过将调整尺寸的第一图像的位置移动到显示器103的边缘部分来确保显示器103的中心部分中的空间，从而在屏幕上所确保的空间上另外显示与第一文本信息有关的新图像。另一方面，当发出对应于第二文本信息的语音命令时，处理器102通过利用与第二文本信息有关的第二图像代替已显示的第一图像的至少一部分来在显示器103上显示第二图像。即，当发出对应于第一文本信息的语音命令时，处理器102还显示除了已显示的图像之外的新图像，并且当发出对应于第二文本信息的语音命令时，利用新图像代替已显示的图像。相应地，能够直观地感知到：当输入与第一文本信息有关的语音命令时新显示与已显示的图像有关的图像，并且当输入与第二文本信息有关的语音命令时新显示新的图像以代替已显示的图像。

因此，响应于与第一文本信息或第二文本信息对应的用户的语音输入，向用户直观地提供图形效果。

当用户进行语音输入时，可发出同时对应于第一文本信息和第二文本信息的语音。这将在下文参照图7进行更详细的描述。

图7的“710”示出了在用户进行语音输入时显示器103显示的屏幕的示例。在屏幕上，显示出多个第一图像711、712、713、与多个第一图像711、712、713有关的第一文本信息714、715、716、以及与在屏幕上未显示的图像有关的第二文本信息717和718。例如，在屏幕上，“夏天”、“假期”和“纽约”被显示为第一文本信息714、715、716；与“纽约”有关的多张照片被显示为第一图像711、712、713；并且“东京”、“巴黎”等被显示为第二文本信息717和718。然而，对第一图像、第一文本信息和第二文本信息的布置位置和图案没有限制。

当正在显示这样的屏幕时，当用户说出“给我看从去年夏天起的图片”的语音720时，根据本公开的示例实施方式的显示设备100的处理器102接收并分析用户所发出的声音，并确定发出的语音同时与第一文本信息和第二文本信息对应。该确定基于语音中的“夏天”与第一文本信息(例如，“夏天”)对应，并且语音中的“去年”可被视为与屏幕上未显示的图像有关的文本信息，因此即使“去年”不与屏幕上显示的第二文本信息对应也被当作第二文本信息对待。

如上，当确定用户发出的语音同时与第一文本信息和第二文本信息有关时，处理器102在屏幕730上显示与输入的第一文本信息和第二文本信息对应的图像。作为在屏幕上显示与输入的第一文本信息和第二文本信息对应的图像的方法，可存在如上所述的各种方法。然而，当输入与第一文本信息和第二文本信息对应的语音时，只要第一文本信息被输入，则可被确定为用于请求与已显示的图像有关的更多图像的输入，因此，适合处理器102采用与显示与第一文本信息对应的图像的方法相同的方法。

此外，处理器102可根据新显示的图像使第一文本信息改变或更新。例如，由于在屏幕上最新显示了不仅与“夏天”对应而且还与“去年”对应的图像，因此文本信息“去年”在用户的语音输入之前不与第一文本信息对应，但在用户的语音输入之后与第一文本信息对应，从而将与文本信息“去年”对应的文本信息更新为第一文本信息(731)。在新图像被显示之后，已被显示在屏幕上的第一文本信息可在改变的位置(732)处被显示。此外，处理器102还可在将与用户的语音输入对应的图像显示在屏幕上之后改变或更新第二文本信息。将参照图9对第二文本信息的改变或更新进行更详细的描述。

待在屏幕上显示的文本信息的内容、配置及布置、形状等可依据于本公开的各种示例实施方式而变化。下文将参照图8对这些实施方式的一个示例进行更详细的描述。

图8是示出了当在显示器103的屏幕上的三个区域中显示文本信息时文本信息显示部分的示例的图。然而，对用于显示文本信息的区域的数量没有限制。当然，不需要在如图8中所示的某些区域上聚集并显示文本信息。

图8示出了根据诸如日期、位置和标签的三种类型对待显示的文本信息进行概括地分类的示例。然而，对文本信息的内容和分类类型没有限制。

参照图8，三个区域中的第一区域810是对应于与当前在显示器103的屏幕上显示的第一图像有关的文本信息的区域，并且第二区域820和第三区域830是与尚未在显示器103的屏幕上显示的第二图像有关的区域。在这种情况下，当用户意图查看与当前显示的第一图像有关的更多图像时，用户可使用第一区域810上的文本信息。另一方面，当用户意图查看与当前在屏幕上显示的第一图像不同的图像时，可通过参考第二区域820和第三区域830(在下文中，称为“过滤”)来显示不同的图像。

第一区域810是与当前显示的第一图像有关的文本信息显示区域，并且第一区域810中的“日期1”811表示当前日期。“标签1”812和“标签2”813表示与当前显示的图像有关的标签信息。“位置1”814显示了与当前显示的图像有关的位置信息。可存在选择或确定与当前显示的图像有关的标签或位置信息的多种方法。例如，可显示与当前显示的图像中的大多数图像有关的标签或位置信息，或者可显示与最近显示的图像有关的标签或位置信息。

第二区域820和第三区域830是与未在屏幕上显示的第二图像有关的文本信息显示区域，其中，“日期2”821表示推荐用于过滤的日期信息，“位置2”822和“位置3”823表示推荐用于过滤的位置信息，并且“标签3”824和“标签4”825表示推荐用于过滤的标签信息。

将参照图9描述确定待被推荐用于过滤的文本信息的方法。根据本公开的示例实施方式的显示设备100的处理器102可通过参考与感测到的用户910有关的信息、与显示设备100的周围环境920有关的信息、已被显示的第一文本信息930、与用户先前发出的语音输入940有关的信息等来确定待推荐用于过滤的文本信息。然而，对于在处理器102确定待被推荐用于过滤的文本信息时所参考的信息没有限制。

首先，根据本公开的示例实施方式的显示设备100还包括传感器，用于感测使用显示设备100的用户或感测显示设备100的周围环境。处理器102可基于传感器所感测的用户或显示设备100的周围环境来确定待被推荐用于过滤的文本信息。例如，当传感器感测到当前正在使用显示设备100的用户时，处理器102识别用户是谁，并随后通过参考用户的话语历史或其它方法确定适合于所识别的用户的文本信息。当传感器感测到显示设备100的当前周围环境时，处理器102可将适合于该周围环境的文本信息确定为待被推荐用于过滤的文本信息。例如，当从感测显示设备100的周围环境的结果中确定当前时间是傍晚时间或夜晚时间时，处理器102可将夜景等确定为文本信息。然而，对可感测的周围环境和相应的文本信息没有限制。例如，还可感测显示设备100周围的照明、温度、季节、普通颜色、周围物体等来确定文本信息。

因此，能够提供更适合用户情况的文本信息。

此外，根据本公开的示例实施方式的显示设备100可通过参考已被显示的第一文本信息930和用户先前发出的语音输入940来确定待被推荐用于过滤的文本信息。例如，显示设备100的处理器102可确定与第二图像有关的文本信息属于不同于与第一图像有关的文本信息的类别或由用户先前发出的语音输入的类别。例如，处理器102可提供与属于不同于已被显示的图像的类别的类别的图像有关的文本信息，或者提供与属于不同于用户已做出的语音输入所请求的类别的类别的图像有关的文本信息。因此，用户可通过接收并参考与已被显示或搜索的图像不同的图像有关的文本信息来使用图像查看服务，因此以更少的输入容易地查看各种照片。

如上所述，用于确定和显示待被推荐用于过滤的文本信息的时间点可包括各种时间点。例如，处理器102可在响应于用户的语音输入显示新图像之后确定待被推荐用于过滤的文本信息并在更新第二文本信息时使用所确定的文本信息来更新第二文本信息。处理器102甚至可在用户在预定时间段内没有进行语音输入时确定待被推荐用于过滤的文本信息并基于所确定的文本信息更新第二文本信息。

下文将参考图10对根据组合了前述示例的示例实施方式的显示设备的细节进行更详细的描述。

根据本公开的示例实施方式的显示设备100的处理器102可从显示设备100的储存器中任意选择和显示预定数量的图像(例如，十五张图像)作为待在显示器103上显示的初始屏幕，并显示与被显示的图像有关的第一文本信息以及与未被显示的图像有关的第二文本信息(S1001)。为了确定第二文本信息，如上所述的各种方法全部可被使用，并且可在与未显示的图像有关的多项文本信息中随机选择文本信息。

在显示初始屏幕之后，处理器102感测用户的语音输入(S1002)，并分析感测到的语音输入(S1003)。当用户在预定时间段内没有进行输入时，处理器102更新第二文本信息以显示与第一文本信息具有不同类别的信息(S1004)，从而引导用户做出与更新的第二文本信息对应的语音输入。此外，当用户在预定时间段内没有进行输入时，处理器102可改变屏幕上所显示的图像，并且也改变与所改变的图像对应的第一文本信息。

当感测到语音输入时，处理器102分析所感测的语音输入并利用具有与用户做出的语音输入对应的文本信息的图像代替所显示的图像中的至少一些图像(S1005)。然而，如上所述，对显示具有与用户的语音输入对应的文本信息的图像的方法没有限制。例如，可在保持所有已被显示的图像的同时另外显示新图像。

在显示新图像之后，处理器102可更新第一文本信息并且还根据最新显示的图像更新第二文本信息(S1006)。作为更新第一文本信息的方法的示例，与最新显示的图像有关的第一文本可被添加到现有的第一文本，或者代替现有的第一文本的一部分。更新第二文本信息的方法可等同于参照图9描述的方法。

此外，当用户发出用于在被显示在显示器103的屏幕上的图像中选择一个图像的语音命令时，处理器102可显示分别给予在屏幕上显示的图像的数字，并且用户可通过输入与相应数字有关的语音来选择一个图像。换言之，处理器102可显示用于引导用户使用语音指定许多照片中的一个照片的信息。然而，对显示引导以选择诸多照片中的一个图片的方法没有限制。

在前述示例实施方式中，处理器102在显示器103上显示存储在显示设备100的储存器中的图像，但是对处理器102可访问的图像的源没有限制。如上所述，处理器102可从SNS应用程序110接收图像或通过直接访问SNS服务器来获取和显示图像，或者可从云服务器120或移动电话130接收和显示图像。

例如，当处理器102能够直接访问SNS服务器以获取并显示图像时，对通过根据本公开的显示设备100使用户直接使用SNS具有一定影响。下文将参照图11对该示例实施方式进行更详细的描述。

根据本公开的示例实施方式的显示设备100还可包括通信器(例如，包括通信电路)，并且处理器102可经由通信器从外部设备接收第二图像，并且当用户发出的语音输入与关于外部设备(例如，存储在SNS服务器中的第二图像)的文本信息匹配时在显示器103上显示第二图像。

参照图11，根据本公开的示例实施方式的显示设备100的处理器102可在屏幕1110上显示与图像源有关的信息作为一项第二文本信息。例如，处理器102可显示“SNS_A”1111以表示被称为A的SNS，显示“云”1112以表示云服务器，以及显示“移动”1113以表示移动电话，这些信息作为与图像源有关的信息。

当用户在发出其中的“SNS_A”时，处理器102可响应于该话语在屏幕1120上显示从SNS_A提供的图像以及与该服务有关的信息作为第二文本信息。例如，处理器102可在屏幕上显示“#流行直播”1121，“#实时骤增”1122和“#花”1123作为与SNS_A有关的第二文本信息。

当用户通过参考屏幕和第二文本信息发出“实时骤增”的语音时，处理器102响应于所发出的语音从SNS服务器接收与用户所发出的文本信息(例如，“实时骤增”)对应的图像，并在显示器103的屏幕1130上显示所接收的图像。例如，当与对应于“#实时骤增”的图像有关的文本信息增加了“#圣诞节”1131、“#音乐”1132和“#水原市的著名餐厅”1133时，处理器102可在显示器103的屏幕1130上显示文本信息以及与该文本信息有关的图像。

因此，除了由用户拍摄和存储的图像之外，用户还可查看存储在外部设备中的各种图像。例如，当能够直接访问存储图像的SNS服务器时，输入到显示设备的语音足以使用户直接使用SNS。

根据本公开的示例实施方式的显示设备100可生成与预定图像对应的文本信息。下文将参照图12和图13对该示例实施方式进行更详细的描述。

图12是示出根据本公开的示例实施方式的在显示设备中自动生成文本信息的示例的图。在显示预定图像时不存在与该图像有关的文本信息的情况下，根据本公开的示例实施方式的显示设备100的处理器102可通过图像分析生成与图像有关的相应文本信息。

例如，当移动电话1200的用户选择存储在移动电话1200中的一个照片1201以发送至显示设备100并在显示设备100上显示时，显示设备100的处理器102接收与移动电话用户的选择对应的照片并将该照片显示在显示器上。在这种情况下，显示设备100的处理器102确定没有文本信息与照片匹配，并通过对照片的图像分析生成文本信息。例如，当接收到图12的照片1201时，处理器102通过图像分析生成“山”、“雪”和“风景”作为与照片有关的文本信息，并在显示器的屏幕上显示照片1202和生成的文本信息1203作为与该照片有关的第一文本信息。

作为分析图像以生成文本信息的方法，例如但不限于，使用支持向量机(SVM)算法进行深度学习或机器学习。其中，该方法可以通过使用基于卷积神经网络(CNN)的深度学习技术的图像识别技术来实现。然而，该方法可使用各种图像识别技术来实现而没有限制。

显示设备100的处理器102可使服务器1204执行图像分析而不直接执行图像分析。即，当在没有文本信息的情况下接收到照片时，处理器102确定在没有文本信息的情况下接收到照片，并且使外部服务器1204对照片执行图像分析并生成与照片有关的文本信息，从而接收照片和在服务器中生成的文本信息。

在前述示例实施方式中，在没有与预定图像有关的文本信息时，自动生成文本信息。即使存在与预定图像有关的文本信息时，也可另外生成文本信息。

根据本公开的示例实施方式的显示设备100的处理器102可基于SNS应用的使用历史或用户发出语音输入的历史来设置与预定图像对应的文本信息。将参照图13对该实施方式进行描述。

图13是示出了表示诸如“给我看两年前在济州岛钓鱼的照片”1311、“给我看在汉江钓鱼的照片”1312、“给我看在船上钓鱼的照片”1313等输入作为用户语音输入的历史给出且语音输入中的“2017”、“汉江”和“船”作为与文本信息对应的关键字被存储或登记在标签数据库(DB)1314中的情况的示例的图。在这种情况下，根据本公开的示例实施方式的显示设备100的处理器102分析用户的语音输入历史(S1310)，并确定未在标签DB中登记作为与文本信息对应的关键字但非常频繁地输入的目标关键字(S1320)。参照图13中所示的示例，处理器102分析用户的语音输入历史1311、1312、1313并将“钓鱼”1321确定为目标关键字。

在确定目标关键字之后，处理器102将所确定的目标关键字添加到标签DB作为与文本信息对应的关键字(S1330)。然后，处理器102分析预定图像并确定添加到标签DB的目标关键字是否适合于与该图像有关的文本信息。当目标关键字合适时，处理器102可将目标关键字指定为与对应图像有关的文本信息(S1340)，并使目标关键字将来被显示在显示器103的屏幕上。即，处理器102确定用户频繁使用的关键字，并使用所确定的关键字自动生成文本信息。

通过参考用户使用SNS应用的历史来自动生成与预定图像对应的文本信息的方法类似于如上所述的方法。

因此，本公开的显示设备基于用户频繁使用的关键字自动生成与预定图像有关的文本信息，从而提高自动生成的文本信息对用户的适合性。

图14是示出了根据本公开的示例实施方式的表示能够在显示设备中进行语音输入的图形的示例的图。

虽然根据本公开的示例实施方式的显示设备100的显示器103不仅显示图像还显示文本信息，但用户可能无法识别出文本信息的目的和功能，而是将其视为装饰或设计。为了使用户获知文本信息是可被激活以接收用户输入的信息，根据本公开的示例实施方式的显示设备100的处理器102可对每个文本信息赋予图形效果。例如，如图14中所示，处理器102可将图形效果赋予特定文本信息1401，如同文本信息1401上下弹跳那样。然而，对图形效果的种类或内容没有限制。例如，处理器102可使引导消息以图形用户接口(GUI)的形式被显示在文本信息上方，和/或使引导消息作为单独的语音引导而输出，该引导消息能够实现针对文本信息进行语音输入。

因此，用户可识别出显示在屏幕上的文本信息是可被激活以接收他/她的输入的信息。

图15是示出了根据本公开的示例实施方式的表示在显示设备中语音识别失败的图形的示例的图。

用户在识别出显示在根据本公开的示例实施方式的显示设备100的显示器103上的文本信息是可被激活以接收他/她的输入的信息之后发出与所显示的文本信息对应的语音，显示设备100的处理器102需要通知用户他/她发出的语音是否被识别。为此，根据本公开的示例实施方式的显示设备100的处理器102可根据用户发出的语音输入是否与文本信息匹配来向所显示的文本信息赋予图形效果。例如，如图15中所示，处理器102可将图形效果赋予特定文本信息1501，如同文本信息1501左右弹跳那样。然而，对图形效果的种类或内容没有限制。

因此，用户可检查显示设备是否识别他/她发出的语音命令，并随后继续进行后续操作。

图16是示出了根据本公开的示例实施方式的在显示设备中显示可根据分类区分的文本信息的示例的图。

根据本公开的示例实施方式的显示设备100的显示器103可与图像一起显示文本信息，其中，文本信息包括两种类型，例如，与所显示图像有关的第一文本信息以及与未显示的图像有关的第二文本信息。此外，如上所述，根据用户发出的语音所对应的文本信息的类型，显示设备提供的功能之间存在差异。例如，当用户说出与第一文本信息对应的语音时，显示设备100的处理器102显示与当前在屏幕上显示的第一图像有关的其它图像。因此，用户可连续地查看与当前显示的图像相关的图像。另一方面，当用户发出与第二文本信息对应的语音时，显示设备100的处理器102显示与当前在屏幕上显示的第一图像不同的图像。因此，用户可从当前显示的图像中搜索和查看内容不同的图像。

如此，由于根据第一文本信息或第二文本信息的输入提供了不同的功能，因此根据本公开的示例实施方式的显示设备100的处理器102必须显示可彼此区别开的第一文本信息和第二文本信息。

作为显示可彼此区分开的第一文本信息和第二文本信息的方法的示例，处理器102可如图8中所示地在可区分的区域上显示文本信息。如图16中所示，处理器102可根据文本信息的类型用不同的框来显示文本信息。然而，对于显示第一文本信息和第二文本信息以使其可彼此区分开的方法没有限制。

因此，用户能够可视地区分功能上彼此不同的第一文本信息和第二文本信息，因此更直观地使用图像查看服务。

图17、图18和图19示出了根据本公开的示例实施方式的表示在显示设备中的文本信息与所显示的图像之间的相关性的各种示例。

根据本公开的示例实施方式的显示设备100的处理器102可区别地示出所显示的图像与相应的文本信息之间的相关性。由于根据本公开的示例实施方式的显示设备100的显示器103除了显示图像之外还显示文本信息，并且文本信息包括与在屏幕上显示的图像有关的第一文本信息，因此，可视化地给出关于哪项文本信息与屏幕上显示的图像匹配的信息对用户可能是有用的。

可存在各种方法来示出在显示器103的屏幕上显示的图像和与该图像对应的文本信息之间的相关性。例如，如图17中所示，每个文本信息及其匹配图像可使用相同的颜色来框选，从而用颜色表示出文本信息与其匹配图像之间的相关性。在图17中，不同样式的线条表示不同的颜色。如图18中所示，每个文本信息及其匹配图像通过线连接，从而表示出文本信息与其匹配图像之间的相关性。如图19中所示，每个文本信息及其匹配图像被布置成彼此相邻，从而基于结构示出文本信息与其匹配图像之间的相关性。此外，任何可视的方法都可以，只要该方法能够表示出相关性。

因此，用户能够可视地获知在屏幕上显示的文本信息与匹配图像之间的相关性，因此更直观地使用图像查看服务。

图20是示出了根据本公开的示例实施方式的表示在显示设备中响应于包括多个字词的语音输入顺序地显示第二图像的示例的图。

对根据本公开的示例实施方式的显示设备100，用户可以以包括多个字词的语句为单位发出语音。在这种情况下，显示设备100的处理器102可根据字词在显示器103上顺序地显示与用户发出的语音中所包括的字词对应的第二图像。

参照图20，例如，当用户在发出语音“SHOW ME PHOTOGRAPHS WITH LOCALS FROM ATRIP TO THE UNITED STATES LAST YEAR(给我看去年到美国的旅行中与当地人的照片)”2001时，显示设备100的处理器102接收语音并在显示器103的屏幕上显示与该语音对应的图像。在这种情况下，该实施方式的处理器102并非在完成一个语句的发音之后显示与一个语句对应的图像，而是根据用户的话语中所包括的字词顺序地显示与这些字词对应的图像。例如，处理器102在接收到话语“SHOW ME PHOTOGRAPHS(给我看…的照片)”2010时立即在屏幕上显示与“SHOW ME PHOTOGRAPHS”2010对应的图像2011，当接收到话语“WITHLOCALS(与当地人)”2020时立即在屏幕上显示与“WITH LOCALS”2020对应的图像2021，当接收到话语“FROM A TRIP TO THE UNITED STATES(到美国的旅行中)”2030时立即在屏幕上显示与“FROM A TRIP TO THE UNITED STATES”2030的对应的图像2031，并且当接收到话语“LAST YEAR(去年)”2040时立即在屏幕上显示与“LAST YEAR”2040对应的图像2041。

因此，响应于用户的语音输入而立即提供图像查看服务。

如上所述，根据示例实施方式，用户能够通过语音输入容易且方便地改变显示设备的屏幕上所显示的图像。

尽管已经示出和描述了各种示例实施方式，但是本领域技术人员将理解，在不背离本公开的原理和精神的情况下，可对这些示例实施方式做出改变，其中，本公开的范围在所附权利要求及其等同范围中进行限定。

Claims (23)

1.显示设备，包括：

显示器；

用户输入接收器，所述用户输入接收器包括配置成接收用户发出的语音输入的接收电路；以及

处理器，所述处理器配置成：

控制所述显示器显示至少一个第一图像和第一文本信息，

所述第一文本信息与所述至少一个第一图像以及未在所述显示器上显示的至少一个第二图像有关；以及

基于所述用户发出的与所述第一文本信息对应的语音输入，控制所述显示器显示所述至少一个第二图像和第二文本信息，所述第二文本信息与所述至少一个第二图像以及未在所述显示器上显示的至少一个第三图像有关。

2.根据权利要求1所述的显示设备，其中，所述处理器配置成：

在所述显示器上进一步显示与多个第一图像中的至少一个第一图像有关的所述第一文本信息；以及

基于所述用户发出的对应于与所述第一图像有关的所述第一文本信息的语音输入，在所述显示器上显示对应于与所述第一图像有关的所述第一文本信息的新图像。

3.根据权利要求2所述的显示设备，其中，所述处理器配置成：基于所述用户发出的语音输入对应于与所述第一图像有关的所述第一文本信息还是对应于与所述第二图像有关的所述第一文本信息，以不同方式在所述显示器上显示与所述用户的语音输入对应的新图像。

4.根据权利要求1所述的显示设备，还包括传感器，

其中，所述处理器配置成：

经由所述传感器感测所述显示设备的用户和/或所述显示设备的周围环境；以及

基于所感测的所述显示设备的用户和/或所感测的所述显示设备的周围环境的信息来识别所述第一文本信息和所述第二文本信息。

5.根据权利要求2所述的显示设备，其中，所述处理器配置成：基于所述用户输入接收器在预定时间段内没有接收到输入或者基于对应于与所述第二图像有关的所述第一文本信息的语音输入被输入，将与所述第二图像有关的所述第二文本信息识别为属于不同于与所述第一图像有关的所述第一文本信息的类别，或者属于不同于所述用户先前发出的语音输入的类别。

6.根据权利要求1所述的显示设备，还包括通信器，所述通信器包括通信电路，

其中，所述第二文本信息与存储在外部设备中的第二图像有关，以及

所述处理器配置成：经由所述通信器从所述外部设备接收所述第二图像，并基于所述用户发出的、与所述第一文本信息对应的语音输入在所述显示器上显示所述第二图像和所述第二文本信息。

7.根据权利要求1所述的显示设备，其中，所述处理器配置成：基于社交网络服务应用的使用历史和/或语音输入的历史来设置与预定图像对应的所述第一文本信息。

8.根据权利要求1所述的显示设备，其中，所述处理器配置成：

以能够彼此区分开的方式显示与所述第一图像有关的所述第一文本信息以及与所述第二图像有关的所述第一文本信息和所述第二文本信息。

9.根据权利要求1所述的显示设备，其中，所述处理器配置成：基于所述用户发出的语音输入是否与所显示的所述第一文本信息对应，对所述第一文本信息应用图形效果。

10.根据权利要求1所述的显示设备，其中，所述处理器配置成：显示所显示的图像与对应的文本信息之间的相关性。

11.根据权利要求1所述的显示设备，其中，所述语音输入包括多个字词，以及

所述处理器配置成：在所述显示器上顺序地显示与所述多个字词中的每个字词对应的第二图像。

12.控制显示设备的方法，所述方法包括：

控制显示器显示至少一个第一图像和第一文本信息，所述第一文本信息与所述至少一个第一图像以及未在所述显示器上显示的至少一个第二图像有关；以及

基于用户发出的与所述第一文本信息对应的语音输入控制所述显示器显示所述至少一个第二图像和第二文本信息，所述第二文本信息与所述至少一个第二图像以及未在所述显示器上显示的至少一个第三图像有关。

13.根据权利要求12所述的方法，还包括：

在所述显示器上进一步显示与多个第一图像中的至少一个第一图像有关的所述第一文本信息；以及

基于所述用户发出的对应于与所述第一图像有关的所述第一文本信息的语音输入，在所述显示器上显示对应于与所述第一图像有关的所述第一文本信息的新图像。

14.根据权利要求13所述的方法，还包括：

基于所述用户发出的语音输入对应于与所述第一图像有关的所述第一文本信息还是对应于与所述第二图像有关的所述第一文本信息，以不同方式在所述显示器上显示与所述用户的语音输入对应的新图像。

15.根据权利要求12所述的方法，还包括：

感测所述显示设备的用户和/或所述显示设备的周围环境；以及

基于所感测的所述显示设备的用户和/或所感测的所述显示设备的周围环境的信息来识别所述第一文本信息和所述第二文本信息。

16.根据权利要求13所述的方法，还包括：

基于用户输入接收器在预定时间段内没有接收到输入或者基于对应于与所述第二图像有关的所述第一文本信息的语音输入被输入，将与所述第二图像有关的所述第二文本信息识别为属于不同于与所述第一图像有关的所述第一文本信息的类别，或者属于不同于所述用户先前发出的语音输入的类别。

17.根据权利要求12所述的方法，其中，所述第二文本信息与存储在外部设备中的第二图像有关，以及

所述方法还包括：从所述外部设备接收所述第二图像，并基于所述用户发出的、与所述第一文本信息对应的语音输入在所述显示器上显示所述第二图像和所述第二文本信息。

18.根据权利要求12所述的方法，还包括：基于社交网络服务应用的使用历史和/或语音输入的历史来设置与预定图像对应的所述第一文本信息。

19.根据权利要求12所述的方法，还包括：

以能够彼此区分开的方式显示与所述第一图像有关的文本信息以及与所述第二图像有关的所述第一文本信息和所述第二文本信息。

20.根据权利要求12所述的方法，还包括：

基于所述用户发出的语音输入是否与所显示的所述第一文本信息对应，对所述第一文本信息应用图形效果。

21.根据权利要求12所述的方法，还包括：

显示所显示的图像与对应的文本信息之间的相关性。

22.根据权利要求12所述的方法，其中，所述语音输入包括多个字词，以及

所述方法还包括：在所述显示器上顺序地显示与所述多个字词中的每个字词对应的第二图像。

23.非暂时性计算机可读存储介质，存储有计算机程序，所述计算机程序在被装置的处理器运行时使得所述装置运行根据权利要求12所述的方法。

Images