CN112771580A - 显示装置控制方法和使用该方法的显示装置 - Google Patents

Abstract

显示装置包括显示器、存储器和控制器，存储器配置为存储至少一个指令，控制器包括被配置为执行至少一个指令以控制显示装置的至少一个处理器。根据该显示装置，由于用户可以观看具有独特风格的图像，例如，基于AI的风格迁移的第三图像，并且当图像被风格迁移和生成时不会感到无聊，因此可以满足用户的需求，并且可以增加用户的便利性。

Description

显示装置控制方法和使用该方法的显示装置

技术领域

本公开涉及一种控制显示装置的方法和使用该方法的显示装置。

例如，本公开涉及一种控制用于显示风格迁移图像的显示装置的方法以及使用该方法的显示装置。

背景技术

随着显示器的普及和技术的发展，已经开发了具有各种形状和功能的显示装置。

因此，可以使用显示装置来实现满足消费者的各种需求或意图的功能。

例如，已经发布了利用显示装置作为用于显示图像的画框的产品，图像例如是画像或代表画作(masterpiece painting)。详细地，当用户不通过显示装置观看特定内容时，显示装置可以输出特定的屏幕，例如，包括画像或代表画作的屏幕。在这种情况下，用户可以使用显示装置作为代表画作画框或大相框。

此外，考虑到显示装置所处位置的自己的艺术品味或氛围，用户可能希望在显示装置上显示风格迁移的图像。在这种情况下，显示装置可能需要快速生成满足用户的艺术品味或需求的图像。

如上所述，需要提供一种满足各种用户需求和意图的显示装置。

发明内容

技术问题

需要提供一种满足各种用户需求和意图的显示装置。

技术方案

一种控制显示装置的方法，通过该方法提供满足用户的艺术品味和需求的图像。

有益效果

本公开的实施例提供了一种控制显示装置的方法和使用该方法的显示装置，通过该方法可以快速地生成满足用户的艺术品味和需求的图像。

本公开的实施例提供了一种控制显示装置的方法和使用该方法的显示装置，通过该显示装置可以生成和显示图像，使得用户在图像生成时间期间不会因经由例如神经网络执行操作感觉到无聊。

附图说明

从以下结合附图的详细描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：

图1是示出根据本公开的实施例的示例性通用显示装置的图；

图2是示出根据本公开的实施例的通过风格迁移进行的示例性图像过渡的图；

图3是示出根据本公开的实施例的示例性显示装置的框图；

图4是示出根据本公开的实施例的控制显示装置的示例性方法的流程图；

图5是示出根据本公开的实施例的示例性风格迁移操作的图；

图6是示出根据本公开的实施例的控制显示装置的示例性方法的流程图；

图7是示出根据本公开的实施例的通过神经网络的示例性风格迁移操作的图；

图8是示出根据本公开的实施例的用于风格迁移的示例性神经网络的图；

图9是示出根据本公开的实施例的用于风格迁移的示例性神经网络的另一个图；

图10是示出根据本公开的实施例的示例性基于模拟的风格迁移操作的图；

图11是示出从根据本公开的实施例的显示装置输出的示例性图像的图；

图12是示出根据本公开的另一个实施例的控制显示装置的示例性方法的流程图；

图13是示出根据本公开的另一个实施例的示例性显示装置的框图；

图14是示出根据本公开的另一个实施例的示例性显示装置的另一个框图；以及

图15是示出根据本公开的另一个实施例的示例性显示装置的另一个框图。

具体实施方式

本申请以2018年9月28日在韩国知识产权局提交的第10-2018-0116581号韩国专利申请为基础并且要求该韩国专利申请的优先权，该韩国专利申请的公开内容通过引用整体并入本文。

本公开的实施例提供了一种控制显示装置的方法以及使用该方法的显示装置，通过该方法可以快速地生成满足用户的艺术品味和需求的图像。

本公开的实施例提供了一种控制显示装置的方法和使用该方法的显示装置，通过该显示装置可以生成和显示图像，使得用户在图像生成时间期间不会通过例如神经网络执行操作而感觉到无聊。

另外的方面将部分地在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过对本公开的所呈现的实施例的实践来获知。

根据本公开的示例性实施例，显示装置包括显示器、被配置为存储至少一个指令的存储器、以及包括被配置为执行至少一个指令的至少一个处理器的控制器。控制器被配置为控制显示装置以：基于分析具有与特定纹理相对应的第一风格的第一图像的结果执行图像处理，控制生成风格迁移的至少一个第二图像；通过使用神经网络对第一图像执行针对风格迁移的操作来控制生成第三图像；以及控制在显示器上输出至少一个第二图像并且后续输出第三图像。

控制器还可以被配置为控制显示装置以：在可以执行图像处理以允许第一图像具有第一风格的过程中，生成可以逐渐改变的至少一个第二图像；以及执行图像过渡，以在可以顺序地输出可以逐渐改变的至少一个第二图像之后在显示器上输出第三图像。

控制器还可以被配置成控制显示装置以：通过基于第一图像的边缘信息执行基于模拟的风格迁移以允许第一图像具有特定纹理来生成至少一个第二图像。

控制器还可以被配置成控制显示装置以：基于至少一个第二图像的生成顺序来控制在显示器上顺序输出至少一个第二图像。

控制器还可以被配置为控制显示装置以：通过经由神经网络执行针对第一图像的风格迁移的操作来控制生成对应于第一风格的第三图像。

控制器还可以被配置为控制显示装置以：通过经由神经网络执行操作，获得第一图像的内容图像和风格，并且通过在保持内容图像的同时将第一图像的风格迁移为对应于第一风格来生成第三图像。

控制器可以包括对应于第一风格的第一照片滤镜，第一照片滤镜配置为执行基于模拟的风格迁移，并且控制器可以被进一步配置为控制显示装置以控制使用第一照片滤镜生成至少一个第二图像。

控制器还可以配置为控制显示装置以：基于接收到选择第一风格的输入，通过使用第一照片滤镜执行图像处理以允许第一图像具有第一风格来控制生成至少一个第二图像，第一风格可以是多种不同风格中的一种。

显示装置还可以包括通信器，该通信器包括通信电路，该通信电路被配置为执行与外部装置的通信。控制器还可以被配置为控制显示装置以通过通信器从外部装置接收选择多种风格中的第一风格的输入。

显示装置还可以包括通信器，该通信器包括通信电路，该通信电路被配置为执行与外部装置的通信，该外部装置被配置为通过神经网络执行针对风格迁移的操作。控制器还可以被配置为控制显示装置以控制接收在外部装置通过神经网络执行操作时可以获得的第三图像。

神经网络可以包括，例如，但不限于，卷积神经网络(CNN)，其重复地执行卷积操作以允许第一图像对应于第一风格。

控制器还可以被配置为控制显示装置以在执行环境服务期间控制显示器上输出至少一个第二图像和第三图像。

根据本公开的另一示例性实施例，控制显示装置的方法包括：基于分析具有与特定纹理相对应的第一风格的第一图像的结果，通过执行图像处理生成风格迁移的至少一个第二图像；通过使用神经网络对第一图像执行针对风格迁移的操作来生成第三图像；以及在显示器上输出至少一个第二图像并且随后输出第三图像。

发明模式

现在将参考附图更详细地描述本公开，在附图中示出了本公开的各种示例性实施例。在以下公开中，当确定关于相关公知的功能或结构的详细描述会使得本公开的要点不清楚时，本文可能省略详细描述。在所有附图中，相同的附图标记表示相同的元件。

在本公开中，当元件“连接”或“被连接”到另一个元件时，该元件不仅直接接触或连接到另一个元件，而且通过插入在它们之间的至少一个其他元件电连接。此外，当一个部件可以“包括”某个元件时，除非另有说明，否则它可以不被解释为排除另一个元件，而是可以被解释为进一步包括其他元件。

在整个公开内容中，表述“在一些实施例中”或“在一个实施例中”可以不必表示本公开内容的同一个实施例。

可以根据功能块组件和各种处理步骤来描述本公开。这种功能块可以由配置成执行指定功能的任意数量的硬件和/或软件组件来实现。例如，本公开的功能块可以由一个或多个处理器或微处理器或由用于各种功能的各种集成电路组件来实现。此外，本公开的功能块可以用任何编程或脚本语言来实现。功能块可以用在一个或多个处理器上执行的各种算法来实现。此外，本公开可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的常规技术。词语“模块”和“配置”可以广泛地使用，而不限于本公开的机械或物理实施例。

此外，各个附图中所示的元件之间的连接线或连接器旨在表示各个元件之间的功能关系和/或物理或逻辑联接。应当注意，在实际设备中可以存在许多替代或附加的功能连接、物理连接或逻辑连接。

此外，在整个公开内容中，表述“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、所有的a、b和c、或其变体。

下面将参考附图更详细地描述本公开。

根据本公开的示例性实施例的显示装置可以包括视觉上输出特定内容的所有电子装置。例如，根据本公开的示例性实施例的显示装置可以包括能够选择性地显示至少一条内容的所有电子装置，并且可以以各种形式存在，例如但不限于电视(TV)、数字广播终端、平板PC、移动电话、计算机、膝上型计算机等。此外，显示装置不仅可以是固定类型，而且可以是用户携带的移动类型或便携式类型。

在本公开的示例性实施例中，显示装置可以通过无线网络与外部装置收发数据。外部装置可以是，例如，但不限于，能够通过无线通信网络与显示装置通信的服务器或电子装置。例如，外部装置可以是可以与显示装置收发某些数据的服务器或电子装置，可以与显示装置配对，可以远程控制显示装置，或者可以由显示装置远程控制。例如，外部装置可以包括，例如，但不限于，诸如智能电话、平板PC、PC、个人数字助理(PDA)、膝上型计算机、媒体播放器、服务器、微服务器等的计算设备。

图1是示出根据本公开的示例性实施例的作为通用显示装置的示例性显示装置110的图。

参照图1，显示装置110可以设置在某个空间100中。显示装置110可以是通过屏幕112输出图像的电子装置。例如，显示装置110作为用于向用户可视地输出广告和指导信息、用户界面屏幕等的设备，可以以诸如TV或数字广播终端的各种形式存在。此外，显示装置110不仅可以是固定类型，而且可以是用户携带的移动类型或便携式类型。

如在图1所示的示例中，显示装置110作为可以在墙壁表面上拆卸的墙壁安装型显示装置，可以通过附着在特定的墙壁表面120上来提供。用户可能想要使用显示装置110作为画框。例如，当用户不能通过显示装置110观看某些内容，例如电视频道时，用户可能希望具有与用户的口味相匹配的图像或与所显示的空间100很好地匹配的图像。此外，用户可能希望不具有一般的画像或绘画，而是具有根据自己的艺术品味通过显示装置110输出的独特艺术质量的图像。

当显示装置110不再现特定内容时显示特定图像的操作可以例如被称为环境服务。例如，当关闭电视时，例如，当电视处于不再现某些内容的关闭状态时，环境服务(其是诸如电视的显示装置的新型应用或服务)可以在屏幕上输出有意义的图像，诸如画像或代表画作，而不是黑屏。

当使用上述环境服务时，为了输出图像，可以操作显示装置110以生成与用户的意图、品味和/或设置相对应的图像。

为了生成与用户的意图和/或品味相对应的唯一图像，在本公开的实施例中，可以使用风格迁移技术。例如，在本公开的实施例中，可以使用艺术风格迁移技术来生成图像。

艺术风格迁移可以指例如将图像的风格转换为特定的形式，同时保持图像的内容。在这点上，经受转换的图像可以是由普通数字相机或扫描仪数字化的图像，或通过使用绘图程序新创建的图像。风格可以是诸如但不限于水彩、油画、墨画、点画、3D画等的画风格，或者可以指特定画家的画风格，诸如VanGogh风格、Monet风格、Mane风格、Picasso风格等。此外，可以根据例如但不限于颜色、气氛、特定亮度、图像的特定饱和度等将风格分类为不同的风格。例如，梵高(VanGogh)的特定作品的星月夜(Starry Night)风格或向日葵风格可以被称为风格。此外，除了上述示例之外，在本公开的实施例中使用的“风格”还可以包括可以表示风格的绘画风格中的任何和所有事物。

图2是示出根据本公开的示例性实施例的通过风格迁移的示例性图像过渡的图。在图2中，示出了一个示例，其中通过改变原始图像210的颜色、亮度和饱和度来执行风格迁移。因此，可以通过转换原始图像210的风格来生成输出图像220。

上述艺术风格迁移已经从由人使用诸如Photoshop的图像编辑工具直接编辑图像方法发展成自动分析图像然后使用预定风格执行图像处理的方法。

还提供了一种使用通过神经网络执行操作的人工智能(AI)技术来执行图像的风格迁移的方法。

在下面的描述中，分析图像然后使用预定风格执行图像处理的风格迁移可以例如被称为“基于模拟的风格迁移”。此外，使用AI技术执行图像处理的风格迁移可以例如被称为“基于AI的风格迁移”。

例如，图2中所示的示例是通过执行基于模拟的风格迁移来生成输出图像220的示例。在基于模拟的风格迁移中，用于生成输出图像的风格是预定风格。例如，需要为应用于风格迁移的每个风格开发技术，并且为了表达适当的风格，对应于风格的纹理图像或图像资源被单独地开发和制造。因此，由于基于模拟的风格迁移需要为新风格的每次开发投资时间、人力和成本，因此在风格的扩展和风格类型的多样化方面存在限制。

当通过AI执行风格迁移时，与基于模拟的风格迁移相比，可以生成更多的唯一图像。此外，通过提高创造力，可以提高图像的艺术质量，并且可以生成进一步与不想要一般图像的用户的需求相匹配的图像。此外，对于基于AI的风格迁移，不需要像在基于模拟的风格迁移中那样单独开发对应于每个风格的纹理图像或图像资源。换句话说，在基于AI的风格迁移中，当原始图像和具有要复制的风格的图像被输入到神经网络的输入端时，输出通过神经网络中的操作被迁移到特定风格的图像。

然而，用于执行基于AI的风格迁移操作的时间可能大于用于执行基于模拟的风格迁移的时间。例如，基于模拟的风格迁移可以实时地输出风格迁移图像。另一方面，对于使用AI的风格迁移，可能花费几十秒到几分钟来对输入图像执行风格迁移并输出风格迁移的图像。在生成作为最后结果的基于AI的风格迁移图像的同时，通用显示装置可以输出预设的待机屏幕或指示正在执行处理的屏幕，例如指示消息“处理”的UI屏幕。因此，对于使用AI的风格迁移，用户可能不具有关于所生成的图像的即时反馈，因为可能花费数十秒到数分钟来执行AI风格迁移。因此，用户可能在直到输出基于AI的风格迁移图像为止的时间期间感觉到无聊。

用户通常希望快速地输出期望的图像，并且当用于输出风格迁移图像的时间花费长时，用户可能感到更加的无聊。此外，当风格迁移图像的输出被延迟时，用户可能错误地相信在风格迁移操作的执行中已经发生了错误。

因此，根据本公开的实施例，提供了一种显示装置和该显示装置的控制方法，该显示装置可以在输出与用户需求更匹配的基于AI的风格迁移图像所花费的时间期间利用通过基于模拟的风格迁移生成的图像来防止和/或缓解用户感到无聊。此外，在本公开的实施例中，当基于AI的风格迁移图像的生成完成时，通过执行从已经输出的图像开始的图像迁移，例如，从通过基于模拟的风格迁移生成的图像迁移到基于AI的风格迁移图像，用户至少可以看到基于AI的风格迁移图像。因此，用户可以最终观看被迁移到具有高艺术质量的独特风格的基于AI的风格迁移图像。此外，用户可以在直到基于AI的风格迁移图像的生成完成为止的时间期间，通过观看快速地输出的基于模拟的风格迁移图像而不会感到无聊。

在以下描述中，将在下面参考图3至图15更详细地描述根据本公开的实施例的显示装置和控制显示装置的方法。

图3是示出根据本公开的示例性实施例的示例性显示装置300的框图。

参照图3，显示装置300可以包括存储器310、控制器(例如，包括处理电路)320和显示器330。

存储器310可存储至少一个指令。

存储在存储器310中的至少一个指令可以由包括在控制器320中的处理器执行。

此外，存储器310可以包括具有至少一种类型的存储介质，例如但不限于闪存、硬盘、多媒体卡微型、卡类型(例如SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。

控制器320可以包括各种处理电路，该处理电路包括执行该至少一个指令的至少一个处理器。

在这点上，至少一个处理器中的每一个都可以通过执行存储在存储器310中的至少一个指令来执行特定的操作。

此外，至少一个处理器中的每一个可通过执行存储在控制器320中的至少一个指令来执行特定操作。

此外，包括在控制器320中的至少一个处理器可以控制在显示装置300中执行的操作，并且可以控制包括在显示装置300中的其他元件以执行特定的操作。因此，当例如将控制器320描述为控制某些操作时，显然，包括在控制器320中的至少一个处理器控制某些操作。

此外，控制器320可以包括内部存储器和执行所存储的至少一个程序的至少一个处理器。例如，控制器320的内部存储器可以存储至少一个指令。包括在控制器320中的至少一个处理器可以通过执行存储在控制器320的内部存储器中的至少一个指令来执行特定的操作，以例如控制显示装置300的操作。

例如，控制器320可以包括RAM(未示出)、ROM(未示出)和至少一个处理器，RAM存储从显示装置300的外部输入的信号或数据，或者用作与在显示装置300中执行的各种工作相对应的存储区域，ROM存储用于控制显示装置300的控制程序和/或多个指令。处理器可以包括用于处理对应于视频的图形的图形处理单元(GPU)(未示出)。处理器可以通过集成核心(未示出)和GPU(未示出)的片上系统(SoC)来实现。处理器可以包括单核、双核、三核、四核和其多核。

在下面的描述中，为了方便和易于解释，描述了这样一种情况，其中，当控制器320执行或控制某个操作时，控制器320的处理器通过执行存储在存储器310中的至少一个指令来执行某个操作，但是本公开不限于此。

显示器330输出图像。例如，显示器330可以通过内部包括的显示面板(未示出)输出对应于视频数据的图像，使得用户可以在视觉上识别视频数据。

在本公开的实施例中，显示器330在控制器320的控制下显示至少一个第二图像，并根据图像过渡顺序地显示第三图像。

在下面的描述中，将在下面参考图4更详细地描述由包括在显示装置300中的各个元件执行的操作。

图4是示出根据本公开的实施例的控制显示装置的示例性方法400的流程图。此外，图4是说明在根据本公开的实施例的显示装置300中执行的示例性操作的流程图。

参照图4，显示装置(例如，图3的显示装置300)的方法400可以包括操作S410、操作S420和操作S430。

参照图3和图4，在本公开的实施例中，控制器320控制：通过基于分析第一图像的结果对第一图像进行图像处理使得第一图像具有与特定纹理相对应的第一风格，来生成风格迁移的至少一个第二图像(S410)。第一图像可以表示经受风格迁移的原始图像。例如，第一图像可以包括，例如但不限于，由显示装置300接收的图像、显示装置300已经存储的图像、用户输入的用于风格迁移的图像、外部装置(未示出)发送的用于风格迁移的图像等。

此外，控制器320控制：通过使用神经网络执行第一图像的风格迁移的操作来生成第三图像(S420)。

尽管在图4的流程图中，在执行操作S410之后，执行操作S420，但是可以同时执行操作S410和S420。操作S410和S420可以同时并行地执行或在相邻时间点执行。

例如，当接收到对应于风格迁移请求的用户输入时，控制器320可以并行地执行操作S410和S420。在另一示例中，当接收到作为经受风格迁移的原始图像的第一图像时，控制器320可以并行地执行操作S410和S420。

控制器320控制：在显示器330上输出至少一个第二图像并且顺序地输出第三图像(S430)。例如，控制器320可以控制显示至少一个第二图像，并最终通过从至少一个第二图像的最后输出图像到第三图像的图像迁移来显示第三图像。

第一图像可以是经受风格迁移的原始图像。此外，上述基于模拟的风格迁移通过分析输入图像并使用先前制作的纹理图像或图像资源对分析的图像执行图像处理来生成结果，例如风格迁移图像。因此，“通过分析图像并基于分析结果执行图像处理来执行风格迁移”可以指例如上述的“基于模拟的风格迁移”。换句话说，当迁移作为原始图像的第一图像的风格时，控制器320可以通过执行基于模拟的风格迁移来控制至少一个第二图像的生成，并且通过执行基于AI的风格迁移来控制第三图像的生成。

此外，控制器320可同时且并行地执行基于模拟的风格迁移和基于AI的风格迁移操作，基于模拟的风格迁移是生成至少一个第二图像的操作，基于AI的风格迁移操作是生成第三图像的操作。在这个示例中，执行基于AI的风格迁移可能花费几十秒到几分钟。因此，在完成第三图像的生成之前，可以显示至少一个第二图像。因为基于模拟的风格迁移操作能够实时反馈，所以可以实时地输出在执行风格迁移的过程中生成的至少一个图像，例如至少一个第二图像。

在本公开的实施例中，用户可以最终观看具有高艺术质量并且被迁移到独特的风格的、作为基于AI的风格迁移图像的第三图像，并且可以在直到基于AI的风格迁移图像(例如，第三图像)的生成完成的时间期间通过观看快速输出的基于模拟的风格迁移图像而不会感到无聊。因此，根据本公开的实施例，由于用户可以观看具有独特风格的图像，即，基于AI的风格迁移图像，例如，第三图像，并且在直到图像被风格迁移和生成为止的时间期间不会感到无聊，因此，可以满足用户的需求并且可以增加用户的便利性。

根据图3和图4所示的本公开的实施例，由于用户可以观看具有独特风格的图像，例如，基于AI的风格迁移的第三图像，而不会在通过风格迁移生成图像之前的时间里感到无聊，因此可以提高用户满意度和用户方便性。

图5是示出根据本公开的示例性实施例的示例性风格迁移操作的图。例如，控制器320可以执行图5所示的风格迁移操作。

控制器320可以获得第一图像511，并且可以设置作为要迁移的风格的第一风格513。可以根据用户的选择来设置第一风格513。下面参考图13更详细地描述设置或确定对应于用户选择的第一风格的操作。

图13是示出根据本公开的另一示例性实施例的示例性显示装置1300的框图。图13所示的显示装置1300可以对应于图3所示的显示装置300。此外，在图13中，使用相同的附图标记示出了与图3中相同的元件。因此，在显示装置1300的描述中，与显示装置300的描述冗余的描述在这里可能不重复。

参照图13，与显示装置300相比，显示装置1300还可以包括通信器(例如，包括通信电路)1310和/或用户接口(例如，包括用户接口电路)1320中的至少一个。

在控制器320的控制下，通信器1310可以包括各种通信电路，并且可以经由通信网络收发关于至少一个外部装置的数据。外部装置可以包括服务器1350、移动设备1370或用于执行图像处理的电子装置(未示出)，但是本公开不限于此。

服务器1350可以根据神经网络执行操作。例如，服务器1350可以对经受风格迁移的第一图像执行基于AI的风格迁移，以生成第三图像。例如，服务器1350可以通过显示装置1300的通信器1310接收第一图像，根据神经网络执行操作，并迁移第一图像的风格，从而生成第三图像。此外，服务器1350可以将所生成的第三图像发送到显示装置1300的通信器1310。

移动设备1370可以包括移动计算设备，例如但不限于可穿戴设备、智能电话、平板PC、PDA、膝上型计算机、媒体播放器、微服务器、全球定位系统(GPS)设备等。

例如，移动设备1370和显示装置1300可以通过家庭物联网(Home IoT)平台等彼此连接。此外，移动设备1370可以是经由无线网络与显示装置1300配对的电子装置。

例如，移动设备1370可以远程控制显示装置1300。此外，移动设备1370可以相对于显示装置1300收发数据，使得显示装置1300可以执行特定的服务或特定的操作。

显示装置1300可以在移动设备1370的控制下操作。例如，显示装置1300可以识别移动设备1370的位置并且自动执行特定服务(例如，环境服务)或特定操作。在另一示例中，显示装置1300可以在请求时或者在移动设备1370的控制下执行风格迁移操作。

用户接口1320可以接收用于控制显示装置1300的用户输入。用户接口1320可以包括各种用户接口电路，该用户接口电路包括用户输入设备，该用户输入设备例如包括但不限于用于感测用户触摸的触摸面板、用于接收用户按压操作的按钮、用于接收用户旋转操作的轮、键盘、圆顶开关，但本公开不限于此。

此外，用户接口1320可以包括用于语音识别的语音识别装置(未示出)。例如，语音识别装置可以是麦克风，并且语音识别装置可以接收用户的语音命令或语音请求。因此，控制器320可以控制对应于要执行的语音命令或语音请求的操作。

此外，用户接口1320可以包括运动检测传感器(未示出)。例如，运动检测传感器可以检测显示装置1300的运动，并且可以接收检测到的运动作为用户的输入。此外，上述语音识别装置和运动检测传感器可以不包括在用户接口1320中，而是作为独立于用户接口1320的模块包括在显示装置1300中。

参照图5，示出了其中第一风格是与特定画家的绘画作品相对应的风格的示例。例如，在图5中，第一风格513可以指梵高的“星月夜”本身或梵高的风格。

在以下描述中，参考图5、图6和图13更详细地描述根据本公开的示例性实施例的风格迁移操作。

图6是示出根据本公开的示例性实施例的控制显示装置的示例性方法的流程图。此外，图6是示出根据本公开的示例性实施例在显示装置300或1300中执行的示例性操作的流程图。在图6中，使用相同的附图标记示出了与图4中相同的元件。因此，在图6所示的本公开的示例性实施例的描述中，可能不针对图6重复与图4中的描述冗余的描述。

例如，为了执行风格迁移，输入作为原始图像的第一图像(S601)，并且确定要应用于第一图像的第一风格(S605)。

第一风格可以被设置或选择为一个或多个风格中的任何一个(S605)。

例如，第一风格513可以由控制器320或显示装置1300的默认设置来确定。换句话说，第一风格513可以是预置风格。例如，在显示装置1300的初始设置中，用户可以考虑用户的品味、绘画风格和/或喜欢的画家或作品来设置第一风格。在用户改变第一风格之前，控制器320可以根据用户的初始设置将第一风格设置为特定风格。此外，当没有用户的初始设置时，控制器320可以根据默认设置将第一风格设置为特定风格。

此外，可以基于用户通过显示装置1300的用户接口1320的输入来确定第一风格513。例如，显示装置1300的控制器320可以控制显示装置1300输出用于选择多个可用风格中的任何一个的用户界面屏幕(未示出)。用户可以通过用户界面屏幕选择任何一种风格作为第一风格。控制器320可以基于用于选择第一风格的用户输入，根据第一风格对第一图像511执行风格迁移。

在另一个示例中，控制器320可以基于用户对通过通信网络连接到显示装置1300的外部装置的输入来确定第一风格。例如，控制器320可以基于用户通过移动设备1370的输入来确定第一风格，移动设备1370通过与显示装置1300配对来操作。在该示例中，移动设备1370可以输出用户界面屏幕1375，以选择可由显示装置1300使用的多个风格中的任一种。用户可以通过移动设备1370输出的用户界面屏幕1375来选择第一风格，例如“风格1”。移动设备1370可以向显示装置1300的通信器1310发送指示基于用户输入选择的第一风格的信息。通信器1310可以向控制器320发送所接收的指示选择了第一风格的信息。因此，控制器320可以根据第一风格对第一图像511执行风格迁移。

参照图5和图13，控制器320可以基于作为第一风格的梵高的“星月夜”对第一图像511执行风格迁移。

为了对输入的第一图像执行到第一风格的风格迁移，控制器320可以执行基于AI的风格迁移540和基于模拟的风格迁移550(S607)。

下面参考图7、图8和图9更详细地描述基于AI的风格迁移540的操作。

例如，控制器320可以执行用于通过神经网络(例如，基于AI)对第一图像511进行风格迁移的操作(S621)，并且控制生成对应于第一风格513的第三图像541(S623)。

此外，控制器320可以执行基于模拟的风格迁移550(S611)以控制生成至少一个第二图像(S613和S615)。这里，由基于模拟的风格迁移生成的至少一个图像(556、557、558、559和570)被称为“第二图像”。例如，控制器320可以控制生成和输出至少一个第二图像，该至少一个第二图像在执行图像处理的过程中逐渐改变使得第一图像511具有第一风格513(S613)。上述至少一个第二图像511可以包括图5所示的第二图像556、557、558和559和图像570。

例如，当控制器320执行基于模拟的风格迁移550时，可以在其中第一图像被风格迁移的过程期间实时地生成和输出中间结果555。在这种状态下，中间结果555可以包括第二图像556、557、558和559，它们显示风格迁移的进展程度(尽管风格迁移未完成)。

例如，控制器320可以基于第一图像511的边缘信息对第一图像511执行基于模拟的风格迁移，使得第一图像511可以具有特定纹理，并且生成第二图像556、557、558、559和570中的至少一个。

例如，基于模拟的风格迁移550可以通过对作为原始图像的第一图像511的图像处理来对图像的形状进行分析。

例如，可以通过以下过程来执行基于模拟的风格迁移550。例如，图像分析方法可以包括通过获得图像的梯度来提取图像中的特征的边缘的方法。可以基于所提取的边缘来定义将利用相对大的纹理来绘制的部分和将利用相对小的纹理来重复地绘制的部分，因为边缘被精细地布置在图像中。通过重复绘制根据所定义的部分或区域准备的纹理，可以将第一图像迁移到作为所需风格的第一风格。

换句话说，控制器320可以通过分析第一图像511来提取图像的特征的边缘，并且基于所提取的边缘重复地绘制特定的纹理，从而执行风格迁移。随着基于模拟的风格迁移操作的进行，图像的纹理可以被进一步精细地表示。例如，第二图像556、第二图像557、第二图像558、第二图像559和图像570可以在执行基于模拟的风格迁移550的过程中顺序地生成。控制器320可以生成图像570作为基于模拟的风格迁移550的最后结果(S615)。

下面参考图10更详细地描述基于模拟的风格迁移550的操作。

此外，控制器320控制第二图像556、557、558、559或570中的至少一个，以根据第二图像556、557、558、559和570中的至少一个的生成顺序在显示器330上顺序地输出。下面将参照图7更详细地描述在显示器330上输出的屏幕。

如上所述，用于执行基于AI的风格迁移540的操作的时间大于用于执行基于模拟的风格迁移550的操作的时间。此外，基于AI的风格迁移540的操作可能不能如基于模拟的风格迁移550的操作那样输出中间结果555，而是可以仅输出作为最后结果的第三图像541。因此，假设基于AI的风格迁移540和基于模拟的风格迁移550同时且并行地执行，则用于完成第三图像541的生成的时间可以大于用于完成第二图像556、557、558、559和570中的至少一个的生成的时间。因此，根据本公开的实施例的显示装置300或1300可以在显示器330上输出第二图像556、557、558、559和570中的至少一个之后输出第三图像541。

例如，控制器320可以执行图像过渡，使得可以在逐渐改变的第二图像556、557、558、559和570中的至少一个被顺序地输出到显示器330上之后输出第三图像541(S631和S633)。

下面参考图11更详细地描述根据图像过渡操作(S631)在显示器330上输出的屏幕。

根据本公开的执行图5和图6中所示的操作的实施例，可以并行地执行基于模拟的风格迁移操作和基于AI的风格迁移操作，从而顺序地输出通过基于模拟的风格迁移逐渐改变的第二图像中的至少一个，并且可以输出基于AI的风格迁移的第三图像。因此，在生成基于AI的风格迁移图像所花费的时间期间，用户可以通过观看基于模拟的风格迁移图像而不会感到无聊。

此外，通过最终观看基于AI的风格迁移图像，用户可以观看高度创作性和艺术性的图像。

图7是示出根据本公开的示例性实施例的通过神经网络的示例性风格迁移操作的图。换句话说，图7是示出示例性基于AI的风格迁移操作的图。

参照图7，原始图像710、风格720和迁移图像730分别对应于图5中描述的第一图像511、第一风格513和第三图像541。

当原始图像710和风格720被输入到神经网络时，神经网络执行内部操作以根据风格720迁移原始图像710并生成迁移图像730。

在本公开的实施例中，神经网络用于生成第三图像。例如，图5的基于AI的风格迁移540是这样一种方法：将原始图像710分类为内容图像和风格图像并将风格图像的风格迁移到风格720，同时保持内容图像的内容。例如，存在一种使用名为“艺术风格神经算法(Neural Algorithm of Artistic Style)”的卷积神经网络(CNN)的方法。例如，在神经网络的层中，通过使用所提取的特征映射风格重建特征映射中的风格和内容来生成迁移图像730。

在本公开的实施例中，神经网络根据AI技术执行图像生成操作。例如，神经网络可以是通过多个层执行操作的深度神经网络(DNN)。可以根据执行操作的内层的数量将神经网络分类为DNN，当层的数量是多个时，即，执行操作的神经网络的深度增加。此外，DNN操作可以包括CNN操作。

用于生成第三图像的神经网络可以是经过训练的神经网络，以获得预期的结果。

例如，神经网络可以实现识别模型以对原始图像710中的内容图像进行分类或识别，并且可以使用训练数据来训练所实现的识别模型。通过重复执行上述训练来训练神经网络，并且可以设置应用于形成神经网络的多个节点中的每一个的多个权重。权重可以表示形成神经网络的各个节点之间的连接强度。权重值可以通过重复训练来优化，并且可以重复校正，直到结果的准确性满足一定程度的可靠性。在本公开的实施例中使用的神经网络可以是由最后通过上述训练过程设置的权重值形成的神经网络。

可以通过使用形成神经网络的经过训练的识别模型对作为输入数据的原始图像710进行分析或分类来对包括在原始图像710中的内容进行分类或提取。可以通过将风格720应用到与所提取的内容相对应的内容图像来生成迁移图像730。迁移图像730可以包括所提取的内容，并且可以是具有风格720的图像。参照图7，原始图像710表示遵循中世纪欧洲建筑风格的建筑物和与其相邻的河流。神经网络可以通过执行一个操作来生成迁移图像730，该操作允许该图像用对应于所设置的风格720的梵高的“星月夜”的绘画风格来表示，同时保持“中世纪欧洲建筑风格和与其相邻的河流”，该“中世纪欧洲建筑风格和与其相邻的河流”是原始图像710中包括的内容。

在本公开的实施例中，通过神经网络生成第三图像的操作可以在通过通信网络与显示装置300收发数据的外部装置中执行。

例如，通信器1310可以与外部装置(例如，服务器1350)通信，该外部装置执行通过神经网络进行风格迁移的操作。控制器320可以控制外部装置，例如服务器1350，以接收通过神经网络执行操作而获得的第三图像。如上所述，为了通过神经网络执行风格迁移，需要通过重复执行训练过程来训练的经训练神经网络。执行许多操作过程，直到生成经过训练的神经网络。因此，为了建立高度完美的神经网络，需要具有大数据处理能力和快速数据处理速度的处理器。因此，在本公开的本示例性实施例中，可以通过快速和准确地执行基于AI的风格迁移的服务器1350来获得第三图像。

例如，控制器320可以通过通信器1310将原始图像710和风格720发送到服务器1350，并且请求从服务器1350迁移原始图像710的风格。因此，服务器1350可以迁移原始图像710的风格以生成迁移图像730，并将生成的迁移图像730发送到显示装置1300的通信器1310。

此外，控制器320可以建立用于在控制器320或存储器310中执行风格迁移的神经网络，并且执行基于AI的风格迁移操作以通过所建立的神经网络生成第三图像。此外，根据本公开的示例性实施例，用于执行风格迁移的神经网络可以被建立为单独的处理器。

图8是示出根据本公开的示例性实施例的用于风格迁移的示例性神经网络的图。参考图8，作为示例示出了在本公开的示例性实施例中使用的神经网络。

在本公开的实施例中，控制器320可以使用例如但不限于CNN、深度卷积神经网络(DCNN)、Capsnet神经网络(未示出)等来控制第三图像的生成。可以开发Capsnet神经网络来补偿CNN的弱点。此外，所有的CNN、DCNN和Capsnet都可以是基于CNN的神经网络。

当包括在图像中的信息片段之间的相关性是局部的时，基于CNN的神经网络可以引入对应于包括在图像中的特定局部区域的过滤器的概念，并且通过在过滤器中对信息片段进行卷积来生成新的特征或表示。

图8示出了基于CNN的神经网络800。例如，在图8中，包括多个层并因此具有多个深度的DCNN被示为基于CNN的神经网络800。

参照图8，控制器320可以通过基于CNN的神经网络800控制迁移图像730(其是第三图像)的生成。

参照图8，在基于CNN的神经网络800中，卷积层和池化层交替排列，并且每个层过滤器的深度从左到右增加。此外，基于CNN的神经网络800的最后一层可以由完全连接的层形成。卷积层例如可以是指根据卷积操作生成的一层数据，而池化层例如可以是指用于通过子采样或池化操作来减少数据的数量或大小的层。当输入图像810通过卷积层和池化层时，生成指示输入图像的特征的数据片段，例如特征映射。通过穿过卷积层和池化层生成的数据片段通过隐藏层被处理以形成为完全连接的层，然后可以生成作为具有新特征或表示的数据的“第三图像”。

例如，基于CNN的神经网络800可以包括输入层810、第一卷积层820、第一池化层830、第二卷积层840、第二池化层850、隐藏层860和输出层870。卷积层和池化层的深度可以是可变的，并且隐藏层的深度可以是可变的。此外，随着卷积层和池化层的深度增加，可以生成更多不同的数据片段。例如，随着卷积层和池化层的深度增加，指示输入图像的特征的信息片段可以表示输入图像的更详细的特征。此外，基于CNN的神经网络800的深度和形状可以被设计为非常不同地考虑结果的准确性、结果的可靠性、或处理器的操作处理速度和容量。

图9是示出用于风格迁移的示例性神经网络的另一个图。图9是说明其中隐藏层具有三个深度的DNN的示例的图。在图9中，框910和930可对应于形成为完全连接层的图8的隐藏层860，且框950可对应于图8的输出层870。

图9所示的神经网络可以包括输入层910、隐藏层930和输出层950。输入层910例如可以指接收从图8的第二池化层850输出的数据片段的输入的层，隐藏层930例如可以指处理输入数据片段的层，并且输出层950例如可以指输出通过隐藏层930处理的数据片段的层。

此外，形成图9所示的神经网络的多个层中的每一个可以包括一个或多个节点。例如，输入层910可以包括接收数据的一个或多个节点，例如节点901。此外，示出了输入层910包括多个节点的情况。可以通过池化操作将二次抽样图像输入到形成输入层910的每个节点。

如图所示，两个相邻层连接到多个边缘920，例如边缘921。每个节点可以具有与其对应的权重值，因此，图9所示的神经网络可以基于通过操作输入信号获得的值和权重值，例如经由卷积操作获得输出数据。

当图9所示的神经网络被训练以通过迁移图像的风格来生成风格迁移图像时，图9所示的神经网络可以将迁移图像730输出为具有被设置的风格720。

执行参考图7、图8和图9描述的基于AI的风格迁移的操作的神经网络可以被称为基于AI的图像生成模型，并且基于AI的图像生成模型可以通过软件和/或硬件来实现。作为基于AI的图像生成模型的神经网络可以在如上所述的显示装置1300中形成，并且可以在外部装置(例如，服务器1350)中形成，该外部装置通过通信网络连接到显示装置1300。

图10是示出根据本公开的示例性实施例的示例性基于模拟的风格迁移操作的图。

根据本公开的实施例的显示装置1300可以执行基于模拟的风格迁移操作。例如，执行基于模拟的风格迁移的配置可以被称为例如“照片滤镜(photo filter)”。例如，控制器320可以执行基于模拟的风格迁移，并且可以包括与第一风格相对应的第一照片滤镜。控制器320可以使用存储在存储器310中的第一照片滤镜来控制基于模拟的风格迁移的执行。显示装置1300可以包括第一照片滤镜作为单独的配置，并且在控制器320的控制下使用第一照片滤镜来控制基于模拟的风格迁移的执行。

此外，显示装置1300可以包括对应于多个风格中的每一个的多个照片滤镜。多个照片滤镜中的对应于第一风格的照片滤镜可以例如被称为第一照片滤镜。此外，当要应用于风格迁移的风格被添加或开发时，控制器320可以附加地安装与所添加或开发的风格相对应的照片滤镜。

控制器320可以例如使用第一照片滤镜控制第二图像556、557、558、559和570中的至少一个的生成。

此外，当接收到用户选择作为多个不同风格中的任何一个的第一风格的输入时，控制器320可以通过使用第一照片滤镜执行图像处理使得第一图像具有第一风格来控制至少一个第二图像的生成，至少一个第二图像。如图13所示，可以通过用户接口1320或移动设备1370接收用户的输入。

图10是示出根据本公开的示例性实施例的由照片滤镜执行的示例性风格迁移操作的图。参照图10，控制器320可以调整作为输入图像的原始图像1001的尺寸，并将其颜色改变为黑白，从而生成尺寸和颜色经调整的图像1003，并且可以通过分析尺寸和颜色经调整的图像1003来计算梯度和/或边缘密度，从而获得边缘图像1005。控制器320可以通过改变原始图像1001的颜色以对应于设置的风格来生成图像1020。通过图像处理1030，通过在颜色改变的图像1020上重复绘制先前准备的纹理，可以生成风格迁移图像1050。例如，风格迁移图像1050可以通过基于边缘图像1005执行图像处理以改变例如但不限于图像1020的颜色、大小、方向、纹理、亮度、饱和度等中的至少一个来生成。

照片滤镜可以实时地执行上述风格迁移操作，并且在几秒钟内生成风格迁移图像，并且可以在执行风格迁移操作的过程中立即输出中间结果。因此，显示装置1300可以实时地显示通过基于模拟的风格迁移操作生成的中间结果和作为最后结果的至少一个第二图像。因此，用户可以通过实时观看被顺序地风格迁移的图像来观看感兴趣的图像，而不会感到无聊。

图11是示出从根据本公开的示例性实施例的显示装置输出的示例性图像的图。在图11中，作为要通过基于模拟的风格迁移生成的图像之一的至少一个第二图像可以包括图像1110、图像1120、图像1130、图像1140和图像1150。图11的图像1110、图像1120、图像1130、图像1140和图像1150可以分别对应于图5的第二图像556、第二图像557、第二图像558、第二图像559和图像570。图11的图像1160可对应于图5的第三图像541。

控制器320可以执行图像过渡，从而在显示器330上顺序地输出逐渐改变的第二图像，然后输出第三图像。

换句话说，在顺序地输出图像1110、图像1120、图像1130、图像1140和图像1150之后，显示器330可以通过图像过渡输出图像1160。

对于从图像1150到图像1160的图像过渡，使用以下来执行：例如但不限于，3D中的操作的图像过渡方法、使用溶解方法的图像过渡方法、作为使用特定2D纹理/蒙版的扩大或缩小方法的图像过渡方法等。

如图11所示，当用户通过图像过渡屏幕观看至少一个实时迁移和输出的基于模拟的风格的第二图像时，直到显示作为基于AI的风格迁移图像的第三图像，用户最终可以观看高质量的图像且不会感到无聊。因此，可以提高用户满意度。

此外，在本公开的实施例中，控制器320可以在执行环境服务期间控制在显示器上输出至少一个第二图像和第三图像。例如，当设置环境服务屏幕时，控制器320可以执行上述基于AI的风格迁移540和基于模拟的风格迁移550，并控制所生成的至少一个第二图像和第三图像的输出。

此外，控制器320可以通过图像过渡方法控制在显示器330上重复显示至少一个第二图像和第三图像。此外，控制器320可以通过图像过渡方法控制在显示器330上反复显示从至少一个第二图像和第三图像中选择的至少一个图像。

如图11所示，通过图像过渡屏幕，用户可以在直到显示作为基于AI的风格迁移图像的第三图像为止的时间期间，观看实时进行基于模拟的风格迁移和输出的第二图像中的至少一个。因此，用户可以最后观看高质量的图像且不会感到无聊。因此，根据本公开的实施例的显示装置可以提高用户满意度。

图12是示出根据本公开的另一示例性实施例的控制显示装置的示例性方法1200的流程图。此外，根据本公开的示例性实施例，可以在显示装置300或1300中执行控制图12所示的显示装置的方法1200。因此，图12示出了例如在显示装置300或1300中执行的操作。

此外，在图12中，使用相同的附图标记示出了与图6中相同的元件。因此，在控制显示装置的方法1200的描述中，可以不重复与图6的那些重复的描述。

在本公开的实施例中，控制器320可以确定在从最后的第二图像(例如，图像1150)到第三图像(例如，图像1160)的图像过渡之前，第三图像的质量是否满足某个参考(S1250)，并且根据确定的结果执行图像过渡。

例如，控制器320可以确定第三图像(例如图像1160)的质量是否等于或大于或超过某个参考值(S1250)，并且当第三图像(例如图像1160)的质量等于或大于某个参考值时，可以执行图像过渡(S631)。当第三图像(例如，图像1160)的质量小于或等于或小于某个参考值时，控制器320可以不执行图像过渡，并且连续地输出最后的第二图像(例如，图像1150)(S1260)。

第三图像的质量可以对应于第三图像的图像质量，并且控制器320可以执行对第三图像的图像质量的评估(S1250)。例如，图像质量评估方法可以包括，例如，但不限于，非参考图像质量评估(NRIQA)方法。NRIQA方法可以在没有关于参考图像(例如，原始图像)的信息的情况下评估图像质量。

例如，根据NRIQA方法，可以通过检测模糊或波现象来评估图像的质量。为此，使用用于检测视觉伪影以寻找特定失真的NRIQA算法，从图像中提取轮廓信息，然后寻找轮廓扩散或轮廓分布。当在预定数据库(例如，指示存在失真的轮廓分布的数据库)中找到特定分布时，所生成的图像(例如，基于AI的风格迁移的第三图像)可以被确定为图像不能被使用的情况，因为该图像包含严重的失真。因此，控制器320可以防止显示第三图像，并且可以连续地输出最后的第二图像，例如图像1150(S1260)。

根据基于AI的风格迁移，用户既不能检查中间结果，也不能预期作为最后结果的第三图像的形状。因此，可能输出用户识别为具有失真的图像。对于用户识别为具有失真的图像，用户可以确定输出的第三图像没有或具有低的艺术质量、作品质量和/或创造力，而在该示例中，可以通过防止显示第三图像来提高用户满意度。

在本公开的示例性实施例中，在输出第三图像之后(S633)，当用户通过用户接口1320输入防止输出第三图像的请求时，控制器320可以控制再次输出最后的第二图像，例如图像1150。

图14是示出根据本公开的另一示例性实施例的示例性显示装置1400的另一个框图。图14所示的显示装置1400可以对应于图13所示的显示装置1300。此外，在图14中，使用相同的附图标记示出了与图13中相同的元件。因此，在显示装置1400的描述中，可以不重复与显示装置1300的描述冗余的描述。

参照图14，与图13所示的显示装置1300相比，显示装置1400还可以包括神经网络处理器1410。

显示装置1400可以通过控制器320或外部装置(例如，服务器1350)处的神经网络来执行操作。此外，显示装置1400还可以包括神经网络处理器1410，其可以是通过神经网络执行操作的单独处理器。

神经网络处理器1410可以通过神经网络执行操作。例如，在本公开的实施例中，神经网络处理器1410可以通过执行一个或多个指令来执行用于通过神经网络进行风格迁移的操作。例如，神经网络处理器1410可以通过执行基于AI的风格迁移操作来生成第三图像。

根据图13和图14所示的本公开的实施例，当由诸如服务器的外部装置执行神经网络的操作时，可以进一步提高基于AI的风格迁移的速度、时间和质量。

图15是示出根据本公开的另一示例性实施例的示例性显示装置1500的另一个框图。根据本公开的另一示例性实施例的显示装置1500可以对应于根据参照图1至图14描述的本公开的示例性实施例的显示装置300、1300或1400。因此，在显示装置1500的描述中，可以不重复与图1至图14中的描述冗余的描述。

参照图15，显示装置1500可以包括视频处理器(例如，包括视频处理电路)1510、显示器1515、音频处理器(例如、包括音频处理电路)1520、音频输出器(例如，包括音频输出电路)1525、电源1530、调谐器1540、通信器(例如，包括通信电路)1550、检测器(例如，包括检测或感测电路)1560、输入/输出器(例如，包括输入/输出电路)1570、控制器(例如，包括处理电路)1580和存储器1590。

控制器1580可对应于图3、图13和图14所示的控制器320。显示装置1500的通信器1550、显示器1515和存储器1590可以分别对应于图13和图14所示的通信器1310、显示器330和存储器310。因此，在图15的显示装置1500的描述中，可以不重复与根据本公开的示例性实施例的显示装置300、1300或1400的描述冗余的描述。

视频处理器1510可以包括各种视频处理电路，并且对显示装置1500接收到的视频数据执行处理。在视频处理器1510中，可针对视频数据执行各种图像处理，例如(但不限于)解码、缩放、噪声滤波、帧速率转换、分辨率转换等。

控制器1580可以包括各种处理电路，并且可以控制接收在视频处理器1510中处理的视频数据的写入请求以及对要被写入包括在控制器1580或存储器1590中的存储器设备(未示出)(例如RAM(未示出))的视频数据的加密。

显示器1515可以在控制器1580的控制下在屏幕上显示包括在通过调谐器1540接收的广播信号中的视频。此外，显示器1515可以显示通过通信器1550或输入/输出器1570输入的内容，例如运动图像。

此外，显示器1515可以在控制器1580的控制下输出存储在存储器1590中的图像。此外，显示器1515可以显示包括例如语音指令指南的语音用户界面(UI)，以执行与语音识别相对应的语音识别任务，或者包括例如用户的用于运动识别的运动指南的运动UI，以执行与运动识别相对应的运动识别任务。

音频处理器1520可以包括各种音频处理电路并执行音频数据处理。在音频处理器1520中，可以执行关于音频数据的各种处理，例如但不限于解码、放大、噪声滤波等。音频处理器1520可以包括多个音频处理模块，以处理与多个内容相对应的音频。

音频输出器1525可以包括各种音频输出电路，并且在控制器1580的控制下输出包括在通过调谐器1540接收的广播信号中的音频。此外，音频输出器1525可以在控制器1580的控制下输出存储在存储器1590中的音频。音频输出器1525可以输出通过通信器1550或输入/输出器1570输入的音频，例如语音或声音。音频输出器1525可以包括，例如，但不限于，扬声器1526、耳机输出端子1527、S/PDIF(索尼/飞利浦数字接口)输出端子1528等中的至少一个。音频输出器1525可以包括扬声器1526、耳机输出端子1527和S/PDIF输出端子1528的组合。

在本公开的实施例中，扬声器1526可以输出声波信号。例如，扬声器1526可以输出超声信号。

电源1530在控制器1580的控制下向显示装置1500中的组成元件1510至1590提供从外部电源输入的功率。此外，电源1530可以在控制器1580的控制下将来自位于显示装置1500内的一个或多个电池(未示出)的功率输出提供给组成元件1510至1590。

调谐器1540可以利用放大、混合或谐振通过从许多无线电波分量中仅调谐要由显示装置1500接收的频道的频率来选择有线或无线接收的广播信号。广播信号可以包括，例如，但不限于，音频、视频、附加信息(例如，电子节目指南(EPG))等。

调谐器1540可以根据用户的输入，例如由外部控制装置(未示出)(例如在EPG屏幕上的远程控制器)接收的控制信号，例如频道号输入、频道上-下输入和频道输入，接收对应于频道号的频率范围内的广播信号，例如第506号有线广播。

调谐器1540可以从诸如地面广播、有线广播、卫星广播和因特网广播之类的各种源接收广播信号。调谐器1540可以从诸如模拟广播或数字广播的源接收广播信号。通过调谐器1540接收的广播信号可以被解码，例如音频解码、视频解码或附加信息解码，以便被分类为音频、视频和/或附加信息。可以在控制器1580的控制下将分类的音频、视频和/或附加信息存储在存储器1590中。

显示装置1500的调谐器1540可以是单个或多个。根据本公开的一个实施例，当调谐器1540包括多个调谐器时，可以将多个广播信号输出到形成提供给显示器1515的多窗口屏幕的多个窗口。

调谐器1540可以被实现为具有显示装置1500的一体化类型，或者被实现为具有电连接到显示装置1500的调谐器的单独设备，例如，连接到输入/输出器1570的机顶盒(未示出)或调谐器(未示出)。

通信器1550可以包括各种通信电路，并且在控制器1580的控制下将显示装置1500连接到外部装置，例如音频装置。控制器1580可以向/从通过通信器1550连接的外部装置发送/接收内容，或者从外部装置下载应用或执行网络浏览。详细地，通信器1550可以连接到网络以从外部装置(未示出)接收内容。

如上所述，通信器1550可以包括各种模块，包括各种通信电路，包括例如但不限于短距离通信模块(未示出)、有线通信模块(未示出)、移动通信模块(未示出)等中的至少一个。

在图15中，示出了通信器1550包括无线LAN 1551、蓝牙通信器1552和有线以太网1553中的一个的示例。

此外，通信器1550可以包括模块组合，该模块组合包括无线LAN1551、蓝牙通信器1552和有线以太网1553中的一个或多个。此外，通信器1550可以在控制器1580的控制下接收控制装置(未示出)的控制信号。控制信号可以以蓝牙类型、RF信号类型或WIFI类型来实现。

除了蓝牙之外，通信器1550还可以包括其他短距离通信，例如近场通信(NFC；未示出)或单独的蓝牙低能量(BLE)模块(未示出)。

检测器1560可以包括各种检测或感测电路并检测用户的语音、用户的图像或用户的交互。

麦克风1561可以接收用户发出的语音。麦克风1561可以将接收到的语音转换为电信号，并将该电信号输出到控制器1580。用户的语音可以包括例如对应于显示装置1500的菜单或功能的语音。例如，麦克风1561的推荐识别范围在从麦克风1561到用户位置的4m内，并且麦克风1561的识别范围可以对应于用户语音和环境(例如扬声器声音或环境噪声)的音量而变化。

麦克风1561可以被实现为相对于显示装置1500的整体类型和单独类型。可以通过通信器1550或输入/输出器1570将单独类型的麦克风1561电连接到显示装置1500。

本领域技术人员容易理解，可以根据显示装置1500的性能和结构去除麦克风1561。

相机1562接收相机识别范围内与包括手势的用户运动相对应的图像，例如连续帧。例如，相机1562的识别范围可以在从相机1562到用户的0.1m到5m内。用户的运动可以包括，例如，用户身体的一部分或身体的一部分或者用户身体的该部分的运动，例如用户的面部、面部表情、手、拳头或者手指。相机1562可以在控制器1580的控制下将接收到的图像转换为电信号并将该电信号输出到控制器1580。

控制器1580可以通过使用接收到的运动的识别结果来选择显示在显示装置1500上的菜单，或者执行与运动识别结果相对应的控制。例如，根据接收到的运动的识别结果的控制可以包括频道改变、音量控制或光标移动。

相机1562可以包括镜头(未示出)和图像传感器(未示出)。相机1562可以通过使用多个镜头和图像处理来支持光学变焦或数字变焦。相机1562的识别范围可以根据角度或相机和环境条件而不同地设置。当相机1562包括多个相机时，可以通过使用多个相机接收3D静止图像或3D运动。

相机1562可以被实现为相对于显示装置1500的整体类型或单独类型。包括单独类型的相机1562的单独设备(未示出)可以通过通信器1550或输入/输出器1570电连接到显示装置1500。

本领域技术人员容易理解，可以根据显示装置1500的性能和结构去除相机1562。

光学接收器1563可以接收包括通过显示器1515的边框中的光学窗口(未示出)从外部控制装置(未示出)接收的控制信号的光信号。光学接收器1563可以从控制装置(未示出)接收与例如触摸、按压、触摸姿势、语音或运动的用户输入对应的光信号。在控制器1580的控制下，可以从接收到的光信号中提取控制信号。

例如，光学接收器1563可以接收对应于控制装置(未示出)的指向位置的信号，并将该信号发送到控制器1580。例如，通过显示器1515输出用于接收用户输入的数据或命令的用户界面屏幕，并且当用户通过控制装置向显示装置1500输入数据或命令时，当用户在以手指接触设置在控制装置(未示出)中的触摸板(未示出)的同时移动控制装置时，光学接收器1563可以接收对应于控制装置的移动的信号，并且可以将该信号发送到控制器1580。此外，光学接收器1563可以接收指示在控制装置中提供的特定按钮被按下的信号，并且可以将该信号发送到控制器1580。例如，当用户用手指按压设置在控制装置中的按钮型触摸板(未示出)时，光学接收器1563可以接收指示按钮型触摸板被按压的信号，并且可以将该信号发送到控制器1580。例如，指示按钮型触摸板被按下的信号可以用作选择一个项目的信号。

输入/输出器1570可以包括各种输入/输出电路，并在控制器1580的控制下从显示装置1500的外部接收视频(例如运动图像)、音频(例如语音或音乐)以及附加信息(例如EPG)。输入/输出器1570例如可以包括但不限于高清晰度多媒体接口(HDMI)端口1571、组件插口1572、PC端口1573和USB端口1574中的一个或多个。输入/输出器1570可以包括HDMI端口1571、组件插口1572、PC端口1573和USB端口1574的组合。

本领域技术人员将容易理解，输入/输出器1570的配置和操作可以根据本公开的示例性实施例不同地实现。

控制器1580可以包括各种处理电路并控制显示装置1500的整体操作和显示装置1500的内部元件(未示出)之间的信号流，并且可以执行处理数据的功能。当存在用户输入或满足预设的存储条件时，控制器1580可以执行操作系统(OS)和存储在存储器1590中的各种应用。

控制器1580可以包括RAM(未示出)、ROM(未示出)和处理器(未示出)，RAM用于存储从显示装置1500的外部输入的信号或数据，或者用作对应于在显示装置1500中执行的各种工作的存储区域，ROM存储用于控制显示装置1500的控制程序。

处理器可以包括图形处理单元(GPU；未示出)，其用于进行对应于视频的图形处理。处理器可以由结合了内核(未示出)和GPU(未示出)的片上系统(SoC)来实现。处理器可以包括单核、双核、三核、四核和其更多核。

此外，处理器可以包括多个处理器。例如，处理器可以由主处理器(未示出)和在睡眠模式下操作的子处理器(未示出)来实现。

图形处理器(未示出)可以通过使用操作器(未示出)和渲染器(未示出)来生成包括诸如图标、图像和文本的各种对象的屏幕。操作器可以通过使用通过检测器(未示出)检测到的用户交互来计算用于根据屏幕的布局显示每个对象的属性值，诸如坐标值、形状、大小或颜色。呈现器可以基于由操作器计算的属性值生成包括对象的各种布局的屏幕。在显示器1515的显示器中显示由渲染器生成的屏幕。

如上所述，根据本公开的实施例，用户可以观看具有独特风格的图像，例如基于AI的风格迁移的第三图像，并且在直到图像被风格迁移和生成为止的时间期间不会感到无聊。因此，根据本公开的示例性实施例，可以提高用户满意度和用户便利性。

本公开的示例性实施例可以以可通过各种计算设备执行的程序命令的形式来体现，并且可以被记录在计算机可读介质上。此外，本公开的示例性实施例可以通过其上记录有程序的计算机可读记录介质来实现，程序包括执行上述显示装置的控制方法的指令。

计算机可读记录介质可以单独地或组合地包括程序命令、数据文件、数据结构等。记录在介质上的程序命令可以是为本公开专门设计和配置的，或者可以是对于本公开所属领域的普通技术人员来说是公知的可用程序命令，例如计算机软件。计算机可读记录介质可以包括诸如硬盘、软盘和磁带之类的磁介质，诸如CD-ROM或DVD之类的光学介质，诸如光学磁盘之类的磁光介质，以及诸如ROM、RAM闪存之类的硬件设备，它们被配置成存储和执行程序命令。程序命令的示例不仅可以包括由编译器生成的机器代码，而且可以包括由解释器执行的代码。

此外，根据本公开的各种示例性实施例的上述显示装置的控制方法可以被实现为计算机程序产品，该计算机程序产品包括记录介质，该记录介质存储有程序，该程序执行以下操作：获得由多语言配置的句子的操作；以及获取多语言配置的句子中包含的各个单词对应的矢量值，并将获取的矢量值转换为目标语言对应的矢量值，基于转换后的矢量值获取目标语言配置的句子的操作。

参考附图描述了本公开的各种示例性实施例，但是本公开不限于此，并且应当理解，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种显示装置，包括：

显示器；

存储器，配置为存储至少一个指令；以及

控制器，包括配置为执行所述至少一个指令的至少一个处理器，

其中，所述控制器配置为控制所述显示装置以：

通过基于分析第一图像的结果执行图像处理以具有与特定纹理相对应的第一风格，控制生成风格迁移的至少一个第二图像；

通过使用神经网络对所述第一图像执行针对风格迁移的操作来控制生成第三图像；以及

控制在所述显示器上输出所述至少一个第二图像并且随后输出所述第三图像。

2.如权利要求1所述的显示装置，其中，所述控制器配置为进一步控制所述显示装置以：

在执行图像处理以允许所述第一图像具有所述第一风格的过程中，生成逐渐改变的所述至少一个第二图像；以及

执行图像过渡，以在所述至少一个第二图像逐渐变化并顺序输出之后在所述显示器上输出所述第三图像。

3.如权利要求1所述的显示装置，其中，所述控制器配置为进一步控制所述显示装置以：

通过基于所述第一图像的边缘信息执行基于模拟的风格迁移以允许所述第一图像具有所述特定纹理，来生成所述至少一个第二图像。

4.如权利要求1所述的显示装置，其中，所述控制器被配置为进一步控制所述显示装置以：

基于所述至少一个第二图像的生成顺序，控制在所述显示器上顺序输出所述至少一个第二图像。

5.如权利要求1所述的显示装置，其中，所述控制器配置为进一步控制所述显示装置以：

通过经由所述神经网络对所述第一图像执行针对风格迁移的操作，控制生成对应于所述第一风格的所述第三图像。

6.如权利要求1所述的显示装置，其中，所述控制器配置为进一步控制所述显示装置以：

通过经由所述神经网络进行操作，获取所述第一图像的内容图像和风格，并且通过在保持所述内容图像的同时将所述第一图像的风格迁移为与所述第一风格对应来生成所述第三图像。

7.如权利要求1所述的显示装置，其中，

所述控制器包括第一照片滤镜，所述第一照片滤镜通过执行基于模拟的风格迁移而与所述第一风格相对应，以及

所述控制器还配置为控制所述显示装置以控制使用所述第一照片滤镜生成所述至少一个第二图像。

8.如权利要求7所述的显示装置，其中，所述控制器配置为进一步控制所述显示装置以：

基于接收到选择所述第一风格的输入，通过使用所述第一照片滤镜执行图像处理以允许所述第一图像具有所述第一风格来控制生成所述至少一个第二图像，所述第一风格是多种不同风格中的一种。

9.如权利要求8所述的显示装置，还包括：

通信器，包括通信电路，所述通信电路配置为执行与外部装置的通信，

其中，所述控制器配置为进一步控制所述显示装置以：

通过所述通信器从所述外部装置接收从所述多种风格中选择所述第一风格的输入。

10.如权利要求1所述的显示装置，还包括：

通信器，包括通信电路，所述通信电路配置为执行与外部装置的通信，所述外部装置配置为通过所述神经网络执行针对所述风格迁移的操作，

其中，所述控制器配置为进一步控制所述显示装置以：

控制接收在所述外部装置通过所述神经网络执行操作时获得的所述第三图像。

11.如权利要求1所述的显示装置，其中，所述神经网络包括配置为重复地执行卷积操作以允许所述第一图像对应于所述第一风格的卷积神经网络(CNN)。

12.如权利要求1所述的显示装置，其中，所述控制器配置为进一步控制所述显示装置以：

在执行环境服务期间控制在所述显示器上输出所述至少一个第二图像和所述第三图像。

13.控制显示装置的方法，所述方法包括：

通过基于分析第一图像的结果执行图像处理以允许所述第一图像具有与特定纹理相对应的第一风格，生成风格迁移的至少一个第二图像，

通过使用神经网络对所述第一图像执行针对风格迁移的操作来生成第三图像，以及

在显示器上输出所述至少一个第二图像，并随后输出所述第三图像。

14.如权利要求13所述的方法，其中，

生成所述至少一个第二图像包括：

在执行图像处理以允许所述第一图像具有所述第一风格的过程中，生成逐渐变化的所述至少一个第二图像，以及

输出所述第三图像包括：

执行图像过渡以在顺序输出逐渐变化的所述至少一个第二图像之后在所述显示器上输出所述第三图像。

15.如权利要求13所述的方法，其中，生成所述第三图像还包括：

由通过通信网络连接到所述显示装置的外部装置通过所述神经网络生成所述第三图像；以及

将所述第三图像从所述外部装置传输到所述显示装置。

Images