CN115668273A - 电子装置、其控制方法和电子系统 - Google Patents

Abstract

公开了一种电子装置。该电子装置可以包括：存储器，存储第一人工智能模型的缩小网络；通信接口，包括电路；以及处理器，连接到存储器和通信接口并且控制电子装置，其中，处理器执行以下操作：将输入图像输入到缩小网络来获得通过缩小输入图像而生成的输出图像，控制通信接口将输出图像发送到其他电子装置，并且其中，第一人工智能模型基于以下项来训练：样本图像、通过将样本图像输入到缩小网络获得的第一中间图像、通过将第一中间图像输入到第一人工智能模型的放大网络获得的第一最终图像、通过传统缩放器缩小样本图像而生成的第二中间图像、以及通过传统缩放器放大第一中间图像而生成的第二最终图像。

Description

电子装置、其控制方法和电子系统

相关申请的交叉引用

本申请要求于基于2020年9月15日在韩国知识产权局递交的韩国专利申请No.10-2020-0118199的优先权，并且本申请的所有内容通过引用整体并入本文。

技术领域

本公开涉及电子装置、其控制方法和电子系统。例如，本公开涉及一种用于发送图像的电子装置、其控制方法以及电子系统。

背景技术

近来，随着图像处理技术和显示设备的发展，已经发布了超过分辨率为3840×2160的超高清(UHD)图像的分辨率为7680×4320的8K图像和能够对它们进行再现的显示设备。

然而，当发送高分辨率图像时，可能会出现诸如带宽、时间延迟等问题。为了解决这个问题，如图1a所示，发送图像的设备通过人工智能模型缩小高分辨率图像并发送缩小的图像，并且接收图像的设备通过人工智能模型执行放大操作。在这个过程中，如果添加编码和解码操作，可以更有效地发送高分辨率图像。

这里，可以将执行缩小操作的人工智能模型和执行放大操作的人工智能模型作为如图1b中所示的一个人工智能模型来学习。具体地，由执行缩小操作的人工智能模型缩小左侧的原始图像以获得第一中间图像，并且可以由执行放大操作的人工智能模型放大第一中间图像，然后可以获得右侧的最终图像。此外，可以通过传统缩放器来缩小原始图像以获得第二中间图像。可以基于原始图像与最终图像之间的差异、以及第一中间图像与第二中间图像之间的差异来学习执行缩小操作的人工智能模型和执行放大操作的人工智能模型。这里，传统缩放器是基于规则的缩放器，而不是基于人工智能模型的缩放器。

然而，在没有存储执行放大操作的人工智能模型的设备中，针对接收到的图像的放大性能可能会劣化。例如，当接收图像的设备仅包括传统缩放器时，接收到的图像的放大性能可能会低于存储了执行放大操作的人工智能模型的设备的放大性能。

此外，尽管在某些情况下可以在不缩小图像的情况下发送图像，但存在可能无法使用现有的人工智能模型的问题，因为现有的人工智能模型是基于缩小的。

因此，需要开发一种技术来解决上述问题。

发明内容

技术方案

本公开的实施例提供了一种即使当在图像发送过程中执行了缩小操作时也能还原成接近原图像的电子装置、其控制方法和电子系统。

根据本公开的示例实施例，一种电子装置包括：存储器，被配置为存储第一人工智能模型的缩小网络；通信接口，包括通信电路；以及处理器，连接到存储器和通信接口，并被配置为控制电子装置，其中，处理器被配置为：通过将输入图像输入到缩小网络，获得输入图像被缩小后的输出图像，控制通信接口将输出图像发送到其他电子装置，并且其中，第一人工智能模型被配置为基于以下项来进行学习：样本图像、通过将样本图像输入到缩小网络而获得的第一中间图像、通过将第一中间图像输入到第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。

处理器被配置为：对输出图像进行编码，并控制通信接口将编码后的输出图像发送到其他电子装置。

第一人工智能模型被配置为基于以下项来进行学习：样本图像与第一最终图像之间的第一差异、样本图像与第二最终图像之间的第二差异、以及第一中间图像与第二中间图像之间的第三差异的加权和。

第一人工智能模型被配置为基于以下项来进行学习：针对第一差异和第二差异中的每一个应用比第三差异大的权重而得到的加权和。

第一中间图像和第二中间图像具有第一分辨率，并且样本图像、第一最终图像和第二最终图像具有大于第一分辨率的第二分辨率。

存储器被配置为进一步存储第二人工智能模型，其中，处理器被配置为：通过将输入图像输入到第二人工智能模型，获得与输入图像具有相同分辨率的输出图像，以及控制通信接口将输出图像发送到其他电子装置，其中，第二人工智能模型被配置为基于以下项来进行学习：通过将样本图像、第一中间图像和第二中间图像输入到第二人工智能模型而获得的第三中间图像、以及通过将第三中间图像输入到放大网络而获得的第三最终图像。

第二人工智能模型被配置为基于以下项来进行学习：样本图像与第三最终图像之间的第四差异、以及第一中间图像与第三中间图像之间的第五差异的加权值。

根据本公开的示例实施例，一种电子装置包括：通信接口，包括通信电路；存储器，被配置为存储第一人工智能模型的放大网络；显示器；以及处理器，连接到存储器和通信接口并被配置为控制电子装置以进行以下操作：通过通信接口从其他电子装置接收图像，通过将接收到的图像输入到放大网络，获得接收到的图像被放大后的输出图像，以及控制显示器显示输出图像，其中，第一人工智能模型被配置为基于以下项来进行学习：样本图像、通过将样本图像输入到第一人工智能模型的缩小网络而获得的第一中间图像、通过将第一中间图像输入到第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。

处理器被配置为：对接收到的图像进行解码，通过将解码的图像输入到放大网络，获得解码的图像被放大后的输出图像。

第一人工智能模型被配置为基于以下项来进行学习：样本图像与第一最终图像之间的第一差异、样本图像与第二最终图像之间的第二差异、以及第一中间图像与第二中间图像之间的第三差异的加权和。

根据本公开的示例实施例，一种电子系统包括：第一电子装置，被配置为：通过将输入图像输入到人工智能模型的缩小网络，获得输入图像被缩小后的图像，以及第二电子装置，被配置为：从第一电子装置接收缩小后的图像，通过将接收到的图像输入到人工智能模型的放大网络，获得图像被放大后的图像并显示该放大后的图像，其中，人工智能模型被配置为基于以下项来进行学习：样本图像、通过将样本图像输入到缩小网络而获得的第一中间图像、通过将第一中间图像输入到放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。

根据本公开的示例实施例，一种控制电子装置的方法包括：通过将输入图像输入到第一人工智能模型的缩小网络，获得输入图像被缩小后的输出图像，并将该输出图像发送到其他电子装置，其中，第一人工智能模型被配置为基于以下项来进行学习：样本图像、通过将样本图像输入到缩小网络而获得的第一中间图像、通过将第一中间图像输入到第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。

该方法还包括：对输出图像进行编码，其中，发送包括：将编码后的输出图像发送到其他电子装置。

第一人工智能模型被配置为基于以下项来进行学习：样本图像与第一最终图像之间的第一差异、样本图像与第二最终图像之间的第二差异、以及第一中间图像与第二中间图像之间的第三差异的加权和。

第一人工智能模型被配置为基于以下项来进行学习：针对第一差异和第二差异中的每一个应用比第三差异大的权重而得到的加权和。

第一中间图像和第二中间图像具有第一分辨率，并且样本图像、第一最终图像和第二最终图像具有大于第一分辨率的第二分辨率。

根据如上所述的本公开的各种示例实施例，由于电子装置使用基于接收图像的设备使用传统缩放器的情况而学习的人工智能模型来处理图像并发送处理后的图像，因此即使接收图像的设备使用传统缩放器，仍然可以保持图像的恢复性能。

此外，由于电子装置使用提高图像质量的人工智能模型来处理图像，因此电子装置可以在不缩小图像的情况下发送图像，并且可以向用户提供是否缩小图像的选择。

此外，用于提高图像质量的人工智能模型也可以是基于接收图像的设备使用传统缩放器的情况而学习的人工智能模型，并且即使接收图像的设备使用传统缩放器，也可以保持图像恢复性能。

附图说明

从下面结合附图的详细描述中，本公开的某些实施例的以上和其他方面、特征和优点将更加清楚，在附图中：

图1a和图1b是示出了相关技术的图；

图2是示出了根据各种实施例的电子系统的示例配置的框图；

图3是示出了根据各种实施例的第一电子装置的示例配置的框图；

图4是示出了根据各种实施例的第二电子装置的示例配置的框图；

图5是示出了根据各种实施例的第一电子装置和第二电子装置的示例操作的图；

图6是示出了根据各种实施例的学习第一人工智能模型的示例方法的图；

图7是示出了根据各种实施例的第二人工智能模型的示例学习方法的图；

图8a、图8b和图8c是示出了根据各种实施例的各种类型的人工智能模型的图；

图9a和图9b是示出了根据各种实施例的示例编码操作的图；

图10是示出了根据各种实施例的示例解码操作的图；

图11是示出了根据各种实施例的控制第一电子装置的示例方法的流程图；以及

图12是示出了根据各种实施例的控制第二电子装置的示例方法的流程图。

最佳实施方式

具体实施方式

在下文中，将参考附图更加详细地描述本公开。

本公开的各种示例实施例可以被不同地修改。因此，各种示例实施例在附图中被示出并在具体实施方式中被详细描述。然而，应当理解的是，本公开不限于具体示例实施例，而是在不脱离本公开的范围和精神的前提下包括所有修改、等同物和替代。另外，在公知的功能或结构会以不必要的细节模糊本公开的情况下，可以不详细描述该公知的功能或结构。

考虑到本公开的配置和功能，选择本公开中使用的术语作为当前广泛使用的通用术语，但是这些术语可以根据本领域技术人员的意图、先例、新技术的出现等而不同。此外，在各种情况下，可以任意地选择术语。在这种情况下，术语的含义将在相应实施例的描述中进行描述。因此，本说明书中使用的术语不一定被解释为术语的简单名称，而是基于本公开的术语和整体内容的含义来定义。

在本公开的实施例中使用的术语“具有”、“可以具有”、“包括”和“可以包括”指示存在相应特征(例如，诸如数值、功能、操作或部分之类的元素)，而不排除存在其他特征。

在说明书中，术语“A或B”、“A或/和B中的至少一个”、或“A或/和B中的一个或多个”可以包括一起列举的项目的所有可能组合。

如本文所用的表述“1”、“2”、“第一”或“第二”可以修饰不同元素，不管其顺序和/或重要性，而是仅用于将一个元素与另一元素区分开。因此，不限制相应的元素。

除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。说明书的术语“包括”、“包含”、“被配置为”等用于指示存在特征、编号、步骤、操作、元素、部分及其组合，并且它们不应当排除一个或多个特征、编号、步骤、操作、元素、部分及其组合的组合或添加的可能性。

同样，术语“用户”可以指使用电子装置的人，或使用电子装置的装置(例如，人工智能电子装置)。

在下文中，将参考附图更详细地描述各种示例实施例。

图2是示出了根据各种实施例的电子系统1000的示例配置的框图。电子系统1000可以包括第一电子装置100和第二电子装置200。

第一电子装置100可以包括通过人工智能模型处理图像并将处理后的图像发送到第二电子装置200的设备，并且可以包括例如(且不限于)服务器、TV、机顶盒(STB)、电脑机身、台式PC、膝上型计算机、视频墙、大型显示器(LFD)、数字标牌、数字信息显示器(DID)、投影仪显示器、数字视频盘(DVD)播放器、智能手机、平板PC、监视器、智能眼镜、智能手表等。图像处理可以包括缩小或图像质量校正中的至少一种。

然而，本公开不限于此，只要能够通过人工智能模型处理图像并提供处理后的图像，任何设备都可以用作第一电子装置100。

第一电子装置100可以对处理后的图像进行编码，并将编码后的图像发送到第二电子装置200。

第一电子装置100不仅可以通过人工智能模型处理图像，还可以处理视频，并将处理后的视频发送到第二电子装置200。

第二电子装置200可以从第一电子装置100接收图像，通过人工智能模型放大接收到的图像，并显示该放大的图像，并且第二电子装置200可以包括显示器，例如(且不限于)TV、台式PC、膝上型计算机、视频墙、大型显示器(LFD)、数字标牌、数字信息显示器(DID)、投影仪显示器、数字视频盘(DVD)播放器、智能手机、平板PC、监视器、智能眼镜、智能手表等，并且可以是直接显示放大的图像的设备。

第二电子装置200可以包括从第一电子装置100接收图像，通过人工智能模型放大接收到的图像，并将该放大的图像提供给配备有显示器的设备的设备。因此，它可以包括诸如(且不限于)机顶盒(STB)、计算机主体等的设备。

然而，本公开不限于此，并且只要其能够从第一电子装置100接收图像，并通过人工智能模型放大接收到的图像，任何设备都可以用作第二电子装置200。

第二电子装置200可以对接收到的图像进行解码，并通过人工智能模型放大解码后的图像。

第二电子装置200可以从第一电子装置100接收视频，并通过人工智能模型放大接收到的视频。

图3是示出了根据各种实施例的第一电子装置的示例配置的框图。

参考图3，第一电子装置100包括存储器110、通信接口(例如，包括通信电路)120和处理器(例如，包括处理电路)130。然而，这不应被认为是限制性的，并且第一电子装置100可以实现为不包括一些组件和/或添加其他组件的形式。

可以将第一人工智能模型的缩小网络或第二人工智能模型中的至少一种存储在存储器110中。

第一人工智能模型可以包括缩小网络和放大网络。可以基于以下项来学习第一人工智能模型的缩小网络和放大网络：例如(且不限于)样本图像、通过将样本图像输入到缩小网络而获得的第一中间图像、通过将第一中间图像输入到第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。第一中间图像和第二中间图像可以具有第一分辨率，并且样本图像、第一最终图像和第二最终图像可以具有大于第一分辨率的第二分辨率。

例如，可以基于例如(且不限于)以下项来学习第一人工智能模型：样本图像与第一最终图像之间的第一差异、样本图像与第二最终图像之间的第二差异、以及第一中间图像与第二中间图像之间的第三差异的加权和。可以基于例如(且不限于)以下项来学习第一人工智能模型：针对第一差异和第二差异中的每一个应用比第三差异大的权重而得到的加权和。

第二人工智能模型可以包括校正图像质量的人工智能模型，并且其可以基于例如(且不限于)以下项来进行学习：通过将样本图像、第一中间图像和第二中间图像输入到第二人工智能模型而获得的第三中间图像，以及通过将第三中间图像输入到第一人工智能模型的放大网络而获得的第三最终图像。第三中间图像可以具有第一分辨率，并且第三最终图像可以具有第二分辨率。

例如，可以基于例如(且不限于)以下项来学习第二人工智能模型：样本图像与第三最终图像之间的第四差异、以及第一中间图像与第三中间图像之间的第五差异的加权和。

可以在诸如服务器之类的外部设备中学习第一人工智能模型和第二人工智能模型。然而，本公开不限于此，并且第一电子装置100可以学习第一人工智能模型和第二人工智能模型，将在下文描述学习方法。

通信接口120可以包括用于执行与各种设备的通信的各种电路(例如，通信电路)。例如，通信接口120可以支持各种有线通信方法，例如HDMI、MHL、USB、RGB、D-SUB、DVI等。此外，通信接口120可以支持各种无线通信方法，例如蓝牙(BT)、蓝牙低功耗(BLE)、无线保真(WI-FI)、ZigBee等。然而，本公开不限于此，并且可以使用能够与外部设备通信的任何通信标准。

通信接口120可以在处理器130的控制下将由人工智能模型处理的图像发送到第二电子装置200。

处理器130可以包括各种处理电路，并控制第一电子装置100的总体操作。例如，处理器130可以连接到第一电子装置100的每个组件以控制第一电子装置100的整体操作。例如，处理器130可以连接到存储器110和通信接口120以控制第一电子装置100的操作。

根据实施例，处理器130可以例如且不限于被实现为数字信号处理器(DSP)、微处理器、时间控制器(TCON)、专用处理器等。然而，本公开不限于此，并且处理器130可以包括例如(且不限于)中央处理单元(CPU)、微控制器单元(MPU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器等中的至少一种，或可以被定义为相应的术语。此外，处理器130可以实现为片上系统(SoC)、嵌入处理算法的大规模集成(LSI)或现场可编程门阵列(FPGA)。

处理器130可以控制通信接口120将输入图像输入到缩小网络，获得输入图像被缩小后的输出图像，并将该输出图像发送到第二电子装置200。换言之，处理器130可以通过缩小网络降低输入图像的分辨率，并将其与附加信息一起发送到第二电子装置200，从而减少数据发送量。

处理器130可以控制通信接口120对输出图像进行编码，并将编码后的输出图像发送到第二电子装置200。通过该操作，与不执行编码的情况相比，可以进一步减少数据发送量。

处理器130可以控制通信接口120将输入图像输入到第二人工智能模型，以获得与输入图像具有相同分辨率的输出图像，并将该输出图像发送到第二电子装置200。换言之，处理器130可以校正输入图像的质量，并将校正后的图像发送到第二电子装置200。在这种情况下，数据发送量没有减少，但是下面要描述的第二电子装置200可以提供更适当地校正或转换的图像以执行放大操作。

此外，处理器130可以控制通信接口120将输入图像输入到第二人工智能模型，以获得与输入图像具有相同分辨率的输出图像，对该输出图像进行编码，并将编码后的输出图像发送到第二电子装置200。

处理器130可以根据用户输入使用第一人工智能模型的缩小网络和第二人工智能模型之一来处理输入图像。

处理器130可以基于输入图像或发送带宽中的至少一个，使用第一人工智能模型的缩小网络和第二人工智能模型之一来处理输入图像。

例如，如果输入图像的分辨率大于或等于阈值分辨率，则处理器130可以使用第一人工智能模型的缩小网络来处理输入图像，并且如果输入图像的分辨率小于阈值分辨率，则处理器130可以使用第二人工智能模型处理输入图像。处理器130可以通过比较输入图像的大小和发送带宽，使用第一人工智能模型的缩小网络和第二人工智能模型之一来处理输入图像。

图4是示出了根据各种实施例的第二电子装置200的示例配置的框图。

根据图4，第二电子装置200包括通信接口(例如，包括通信电路)210、存储器220、显示器230和处理器(例如，包括处理电路)240。然而，本公开不限于此，并且第二电子装置200可以被实现为不包括一些组件和/或包括附加组件的形式。

通信接口210可以包括用于执行与各种设备的通信的各种电路(例如，通信电路)。例如，通信接口210可以支持各种有线通信方法，例如HDMI、MHL、USB、RGB、D-SUB、DVI等。此外，通信接口210可以支持各种无线通信方法，例如蓝牙(BT)、蓝牙低功耗(BLE)、无线保真(WI-FI)、ZigBee等。然而，本公开不限于此，并且可以使用能够与外部设备通信的任何通信标准。

通信接口210可以在处理器240的控制下从第一电子装置100接收图像。接收到的图像可以包括由人工智能模型处理后的图像、由人工智能模型处理之后被编码的图像等。

第一人工智能模型的放大网络可以存储在存储器220中，并且由于上面已经对此进行了描述，这里可以不再重复冗余的描述。

显示器230可以被实现为各种类型的显示器，例如且不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示面板(PDP)等。显示器230可以包括驱动电路、背光单元等，其可以被实现为诸如非晶硅TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等形式。显示器230可以实现为柔性显示器、三维(3D)显示器等。

显示器230可以在处理器240的控制下显示图像。

处理器240可以包括各种处理电路，并控制电子装置200的总体操作。处理器240可以连接到第二电子装置200的每个组件以控制第二电子装置200的整体操作。例如，处理器240可以连接到通信接口210、存储器220和显示器230以控制第二电子装置200的操作。

根据实施例，处理器240可以例如且不限于被实现为数字信号处理器(DSP)、微处理器、时间控制器(TCON)、专用处理器等。然而，本公开不限于此，并且处理器130可以包括例如(且不限于)中央处理单元(CPU)、微控制器单元(MPU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器等中的至少一种，或可以被定义为相应的术语。此外，处理器130可以实现为片上系统(SoC)、嵌入处理算法的大规模集成(LSI)或现场可编程门阵列(FPGA)。

处理器240可以通过通信接口210从第一电子装置100接收图像，将接收到的图像输入到放大网络以获得接收到的图像被放大后的输出图像，并控制显示器230显示输出图像。

处理器240可以对接收到的图像进行解码，并将经解码的图像输入到放大网络以获得经解码的图像被放大后的输出图像。

如上所述，由于第一电子装置100和第二电子装置200可以使用额外学习了由传统缩放器放大的图像的第一人工智能模型，因此可以向用户提供图像质量改进的图像。尽管仅具有传统缩放器的设备可以接收图像并通过传统缩放器放大接收到的图像，但它可以提供图像质量改进的图像。

在下文中，将参考图5、图6、图7、图8a、图8b、图8c、图9a、图9b和图10(下文中可将其称为图5至图10)更详细地描述电子系统1000的操作。图5至图10描述了各种示例实施例，并且将为了描述方便而进行描述。然而，图5至图10的各种实施例可以以任何组合来实施。

图5是示出了根据各种实施例的第一电子装置100和第二电子装置200的示例操作的图。

第一电子装置100的处理器130可以使用第一人工智能模型的缩小网络(缩放网-缩小(n∶1))或第二人工智能模型(缩放网-缩小(1∶1))来缩小输入图像以提高输入图像的质量。当使用第一人工智能模型的缩小网络(缩放网-缩小(n∶1))时，存在减少数据发送量的优点，而当使用第二人工智能模型(缩放网-缩小(1∶1))时，存在提供更高质量的图像的优点。图像质量提高可以指例如在通过在图像质量提高之前放大图像而获得的图像、和通过在图像质量提高之后放大图像而获得的图像之中，后者具有更少的噪声。

第二电子装置200的处理器240可以使用第一人工智能模型的放大网络(缩放网-放大(1∶n))来放大从第一电子装置100接收到的图像。换言之，处理器240可以执行放大操作，而不管第一电子装置100使用的所引用的智能模型。

同时学习第一人工智能模型的缩小网络和放大网络，下面将参考图6对此进行更详细的描述。

图6是示出了根据各种实施例的学习第一人工智能模型的示例方法的图。

服务器可以学习第一人工智能模型。例如，服务器可以将左侧的样本图像输入到第一人工智能模型的缩小网络(例如，缩小网络)中以获得第一中间图像，并将第一中间图像输入到第一人工智能模型的放大网络(例如，放大网络)中以获得第一最终图像。

另外，服务器可以通过传统缩放器(如传统-缩小)来缩小样本图像以获得第二中间图像，并通过传统缩放器(例如，传统-放大)放大第一中间图像来获得第二最终图像。传统缩放器可以是传统的基于规则的缩放器。基于规则的缩放器可以是根据预定方法放大或缩小图像的缩放器。然而，本公开不限于此，基于规则的缩放器可以通过预先经由机器学习或深度学习而学习的神经网络来放大或缩小图像。

服务器可以基于样本图像、第一中间图像、第二中间图像、第一最终图像和第二最终图像来学习第一人工智能模型。例如，服务器可以基于以下项来学习第一人工智能模型：样本图像与第一最终图像之间的第一差异、样本图像与第二最终图像之间的第二差异、以及第一中间图像与第二中间图像之间的第三差异的加权和。例如，服务器可以基于以下项来学习第一人工智能模型：针对第一差异和第二差异中的每一个应用比第三差异大的权重而得到的加权和。

换言之，与相关技术相比，服务器可以更多地使用第二差异来学习第一人工智能模型。因此，在通过第一人工智能模型的缩小模型来缩小输入图像之后，即使通过传统缩放器来放大该缩小后的输入图像，也可以获得与输入图像质量相似的结果。

参考图6，服务器执行学习操作并且第一电子装置100和第二电子装置200使用该操作，但本公开不限于此。例如，可以通过第一电子装置100或第二电子装置200中的至少一个来执行图6的学习操作。

图7是示出了根据各种实施例的第二人工智能模型的示例学习方法的图。

服务器可以学习第二人工智能模型。在这种情况下，服务器可以使用已经完成学习的第一人工智能模型来学习第二人工智能模型。图7的左上角(缩放网-缩小(2∶1))可以包括第一人工智能模型的缩小网络，图7的右侧(缩放网-放大(1∶2))是第一人工智能模型的放大网络，并且图7的左下角(缩放网-缩小(1∶1))可以是第二人工智能模型。

服务器将左上角的样本图像4k输入到第一人工智能模型的缩小网络以获得第一中间图像，并通过传统缩放器缩小样本图像以获得第二中间图像2k。

服务器可以将第二中间图像输入到第二人工智能模型以获得第三中间图像2k，并将第三中间图像输入到第一人工智能模型的放大网络以获得第三最终图像。

服务器可以基于以下项来学习第二人工智能模型：样本图像、第一中间图像、第三中间图像和第三最终图像。例如，基于以下项来学习第二人工智能模型：样本图像与第三最终图像之间的第四差异、以及第一中间图像与第三中间图像之间的第五差异的加权和。

在学习过程中，可以使用相对较高质量的样本图像4k来执行学习，但在完成学习之后，可以仅使用第二人工智能模型来执行图像质量提高。换言之，当使用第二人工智能模型时，可以在保持分辨率的同时提高图像质量。

这使得通过将相对低质量的第二中间图像输入到第二人工智能模型而获得的第三中间图像2k变得与通过缩小相对高质量的样本图像4k而获得的第一中间图像类似。

参考图7，已经描述了服务器执行学习操作并且第一电子装置100和第二电子装置200使用该操作，但是本公开不限于此。例如，可以由第一电子装置100或第二电子装置200中的至少一个来执行图7的学习操作。

图8a、图8b和图8c是示出了根据各种实施例的各种类型的人工智能模型的图。

图8a示出了第一人工智能模型的缩小网络(例如，2∶1缩放网-缩小网络)，图8b示出了第二人工智能模型(例如，1∶1缩放网-缩小网络)，以及图8c示出了第一人工智能模型的放大网络(例如，缩放网-放大网络)。

这种网络的形式不限于图8a、图8b和图8c，并且可以以各种形式实现。

图9a和9b是示出了根据各种实施例的示例编码操作的图。

如图9a所示，第一电子装置100的处理器130可以缩小输入图像或提高图像质量。例如，处理器130可以使用第一人工智能模型的缩小网络(缩放网-缩小(n∶1)或n∶1缩放网-缩小网络)来缩小输入图像，或使用第二人工智能模型(缩放网-缩小(1∶1)或1∶1缩放网-缩小网络)来提高输入图像的质量。

处理器130可以基于网络状态来缩小输入图像或提高图像质量。

处理器130可以对处理后的图像进行编码。通过该操作，可以减少要发送的数据。例如，当对缩小之后的输入图像进行编码时，可以显著减少要发送的数据。

如图9b所示，当缩小输入图像时，处理器130可以将与缩小相关的元数据(例如，SEI消息)发送到第二电子装置200。

例如，处理器130可以基于由AI元环境设置器设置的值来缩小输入图像，并使用该设置值对缩小的图像进行编码。由AI元环境设置器设置的值可以包括例如(且不限于)缩放比率。另外，当存在多种类型的缩小网络时，由AI元环境设置器设置的值可以包括关于缩小网络的信息。

处理器130可以通过AI元生成器来获取与设置值相对应的AI元信息，并通过流生成器将编码的图像和AI元信息发送到第二电子装置200。

图10是示出了根据各种实施例的示例解码操作的图。

如图10所示，第二电子装置200的处理器240可以从第一电子装置100接收图像和元数据(SEI消息)。

处理器240可以对图像进行解码，并放大该解码的图像。这里，处理器240可以基于接收到的元数据来放大解码的图像。

然而，本公开不限于此，并且处理器240可以基于第二电子装置200的资源状态和第一电子装置100的网络状态中的至少一个来改变放大方法。例如，处理器240可以基于第二电子装置200的资源状态和第一电子装置100的网络状态中的至少一个，通过传统缩放器来放大解码的图像。

图11是示出了根据各种实施例的控制第一电子装置的示例方法的流程图。

可以将输入图像输入到第一人工智能模型的缩小网络，以获得输入图像被缩小后的输出图像(S1110)。可以将输出图像发送到其他电子装置(S1120)。

第一人工智能模型可以是基于以下项而学习的人工智能模型：样本图像、通过将样本图像输入到缩小网络而获得的第一中间图像、通过将第一中间图像输入到第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。

该方法还可以包括对输出图像进行编码，并且发送操作(S1120)可以将编码的输出图像发送到其他电子装置。

可以基于以下项来学习第一人工智能模型：样本图像与第一最终图像之间的第一差异、样本图像与第二最终图像之间的第二差异、以及第一中间图像与第二中间图像之间的第三差异的加权和。

此外，可以基于以下项来学习第一人工智能模型：针对第一差异和第二差异中的每一个应用比第三差异大的权重而得到的加权和。

第一中间图像和第二中间图像可以具有第一分辨率，并且样本图像、第一最终图像和第二最终图像可以具有大于第一分辨率的第二分辨率。

该方法还可以包括：将输入图像输入到第二人工智能模型以获得与输入图像具有相同分辨率的输出图像，并且发送操作(S1120)可以将输出图像发送到其他电子装置。

第二人工智能模型可以是基于以下项的人工智能模型：通过将样本图像、第一中间图像和第二中间图像输入到第二人工智能模型而获得的第三中间图像，以及通过将第三中间图像输入到放大网络而获得的第三最终图像。

此外，可以基于以下项来学习第二人工智能模型：样本图像与第三最终图像之间的第四差异、以及第一中间图像与第三中间图像之间的第五差异的加权和。

图12是示出了根据各种实施例的控制第二电子装置的示例方法的流程图。

从其他电子装置接收图像(S1210)。将接收到的图像输入到第一人工智能模型的放大网络以获得接收到的图像被放大后的输出图像(S1220)。显示输出图像(S1230)。

第一人工智能模型可以是基于以下项而学习的人工智能模型：样本图像、通过将样本图像输入到第一人工智能模型的缩小网络而获得的第一中间图像、通过将第一中间图像输入到放大网络而获得的第一最终图像、由传统缩放器缩小样本图像而获得的第二中间图像、以及由传统缩放器放大第一中间图像而获得的第二最终图像。

该方法还可以包括对接收到的图像进行解码，并且获得操作(S1220)可以通过将解码的图像输入到放大网络来获得解码的图像被放大后的输出图像。

根据如上所述的本公开的各种示例实施例，由于电子装置可以使用基于接收图像的设备使用传统缩放器的情况而学习的人工智能模型来处理图像并发送处理后的图像，因此即使接收图像的设备使用传统缩放器，仍然可以保持图像的恢复性能。

此外，由于电子装置使用提高图像质量的人工智能模型来处理图像，因此电子装置可以在不缩小图像的情况下发送图像，并且可以向用户提供是否缩小图像的选择。

此外，用于提高图像质量的人工智能模型也可以是考虑接收图像的设备使用传统缩放器的情况而学习的人工智能模型，并且即使接收图像的设备使用传统缩放器，也可以保持图像恢复性能。

根据示例实施例，上述各种实施例可以被实现为包括存储在机器(例如，计算机)可读的机器可读存储介质中的指令的软件。设备可以包括根据所公开的实施例的电子设备，该设备可以从存储介质调用所存储的指令并且可以根据所调用的指令进行操作。当由处理器执行指令时，处理器可以使用其他组件来执行与指令相对应的功能，或者这些功能可以在处理器的控制下执行。指令可以包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。“非暂时性”存储介质不包括信号并且是有形的，但不区分数据是半永久存储还是暂时存储在存储介质中。

此外，根据实施例，根据上述各种实施例的方法可以提供为计算机程序产品的一部分。计算机程序产品可以在卖方与买方之间的进行交易。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStore^TM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少暂时存储或临时生成在诸如制造商的服务器、应用商店的服务器或中继服务器中的存储器之类的存储介质上。

此外，根据上述各种实施例的每个组件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述子组件中的的一些子组件，或者在各种实施例中可以进一步包括其他子组件。通常或附加地，一些组件(例如，模块或程序)可以被集成到单个实体中，以在集成之前执行由每个相应组件执行的相同或相似的功能。根据各种示例实施例，由模块、程序模块或其他组件执行的操作可以是顺序的、并行的、或这两者、或者迭代地或启发式地执行的、或至少一些操作可以以不同的顺序执行、被省略，或可以添加其他操作。

尽管已经参考各种示例实施例示出和描述了本公开，但是将理解，各种示例实施例旨在是说明性的，而不是限制性的。本领域技术人员将进一步理解，在不背离包括所附权利要求及其等同物的本公开的真实精神和完整范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，包括：

存储器，被配置为存储第一人工智能模型的缩小网络；

通信接口，包括电路；以及

处理器，连接到所述存储器和所述通信接口，并被配置为控制所述电子装置，

其中，所述处理器被配置为：

通过将输入图像输入到所述缩小网络，获得所述输入图像被缩小后的输出图像，

控制所述通信接口将所述输出图像发送到其他电子装置，并且

其中，所述第一人工智能模型被配置为基于以下项来进行学习：样本图像、通过将所述样本图像输入到所述缩小网络而获得的第一中间图像、通过将所述第一中间图像输入到所述第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小所述样本图像而获得的第二中间图像、以及由所述传统缩放器放大所述第一中间图像而获得的第二最终图像。

2.根据权利要求1所述的电子装置，

其中，所述处理器被配置为：

对所述输出图像进行编码，以及

控制所述通信接口将编码后的输出图像发送到所述其他电子装置。

3.根据权利要求1所述的电子装置，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：所述样本图像与所述第一最终图像之间的第一差异、所述样本图像与所述第二最终图像之间的第二差异、以及所述第一中间图像与所述第二中间图像之间的第三差异的加权和。

4.根据权利要求3所述的电子装置，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：针对所述第一差异和所述第二差异中的每一个应用比所述第三差异大的权重而得到的加权和。

5.根据权利要求1所述的电子装置，

其中，所述第一中间图像和所述第二中间图像具有第一分辨率，并且

其中，所述样本图像、所述第一最终图像和所述第二最终图像具有大于所述第一分辨率的第二分辨率。

6.根据权利要求1所述的电子装置，

其中，所述存储器被配置为进一步存储第二人工智能模型，

其中，所述处理器被配置为：

通过将所述输入图像输入到所述第二人工智能模型，获得与所述输入图像具有相同分辨率的输出图像，以及

控制所述通信接口将所述输出图像发送到其他电子装置，

其中，所述第二人工智能模型被配置为基于以下项来进行学习：通过将所述样本图像、所述第一中间图像和所述第二中间图像输入到所述第二人工智能模型而获得的第三中间图像、以及通过将所述第三中间图像输入到所述放大网络而获得的第三最终图像。

7.根据权利要求6所述的电子装置，

其中，所述第二人工智能模型被配置为基于以下项来进行学习：所述样本图像与所述第三最终图像之间的第四差异、以及所述第一中间图像与所述第三中间图像之间的第五差异的加权值。

8.一种电子装置，包括：

通信接口，包括电路；

存储器，被配置为存储第一人工智能模型的放大网络；

显示器；以及

处理器，连接到所述存储器和所述通信接口，并被配置为控制所述电子装置，

其中，所述处理器被配置为：

通过所述通信接口从其他电子装置接收图像，

通过将接收到的图像输入到所述放大网络，获得所述接收到的图像被放大后的输出图像，以及

控制所述显示器显示所述输出图像，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：样本图像、通过将所述样本图像输入到所述第一人工智能模型的缩小网络而获得的第一中间图像、通过将所述第一中间图像输入到所述第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小所述样本图像而获得的第二中间图像、以及由所述传统缩放器放大所述第一中间图像而获得的第二最终图像。

9.根据权利要求8所述的电子装置，

其中，所述处理器被配置为：

对所述接收到的图像进行解码，

通过将解码的图像输入到所述放大网络，获得所述解码的图像被放大后的输出图像。

10.根据权利要求8所述的电子装置，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：所述样本图像与所述第一最终图像之间的第一差异、所述样本图像与所述第二最终图像之间的第二差异、以及所述第一中间图像与所述第二中间图像之间的第三差异的加权和。

11.一种控制电子装置的方法，包括：

通过将输入图像输入到第一人工智能模型的缩小网络，获得所述输入图像被缩小后的输出图像；以及

将所述输出图像发送到其他电子装置，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：样本图像、通过将所述样本图像输入到所述缩小网络而获得的第一中间图像、通过将所述第一中间图像输入到所述第一人工智能模型的放大网络而获得的第一最终图像、由传统缩放器缩小所述样本图像而获得的第二中间图像、以及由所述传统缩放器放大所述第一中间图像而获得的第二最终图像。

12.根据权利要求11所述的方法，还包括：

对所述输出图像进行编码，

其中，所述发送包括：将编码后的输出图像发送到所述其他电子装置。

13.根据权利要求11所述的方法，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：所述样本图像与所述第一最终图像之间的第一差异、所述样本图像与所述第二最终图像之间的第二差异、以及所述第一中间图像与所述第二中间图像之间的第三差异的加权和。

14.根据权利要求13所述的方法，

其中，所述第一人工智能模型被配置为基于以下项来进行学习：针对所述第一差异和所述第二差异中的每一个应用比所述第三差异大的权重而得到的加权和。

15.根据权利要求11所述的方法，

其中，所述第一中间图像和所述第二中间图像具有第一分辨率，并且

其中，所述样本图像、所述第一最终图像和所述第二最终图像具有大于所述第一分辨率的第二分辨率。

Images