CN110012242B - 电子设备及其控制方法 - Google Patents

Abstract

本申请提供了一种电子设备及其控制方法。电子设备包括通信器、图像拍摄器和处理器，其中，图像拍摄器配置成获取包含屏幕的显示设备的拍摄图像，处理器配置成在拍摄图像中识别屏幕的屏幕区域。处理器还配置成：从拍摄图像中的屏幕区域的外部的背景区域采样多个补丁图像，其中，多个补丁图像中的每个补丁图像均具有预定单元尺寸；基于多个补丁图像，生成待在屏幕上显示的屏幕图像；以及控制通信器将屏幕图像发送至显示设备。

Description

电子设备及其控制方法

技术领域

根据实施方式的设备和方法涉及电子设备及其控制方法，并且更具体地，涉及用于显示与周围背景类似的图像的电子设备及其控制方法。

背景技术

随着显示技术的最新发展，已在显示图像方面提供了超大屏幕和高分辨率的图像质量。

另外，已经尝试在不显示图像的同时提供与周围背景协调的屏幕而非提供单色屏幕。

通常，通过在将屏幕安装到墙壁之前拍摄墙壁的图像，或者拍摄或复制与电视(TV)尺寸的一半对应的墙壁的图像来获取待在屏幕上显示的图像。

然而，传统方法需要用户做很多的工作，诸如在安装屏幕之前测量屏幕在墙壁上的位置，拍摄与大于屏幕尺寸的一半对应的墙壁等。

此外，用户实际上难以通过移动设备获取与大于屏幕尺寸的一半对应的墙壁的图像。

此外，当将通过拍摄墙壁获得的图像直接应用于屏幕时，用户还对移动设备进行其它控制以用于补偿屏幕与墙壁之间的亮度和饱和度上的差异。

发明内容

根据实施方式，电子设备包括通信器、图像拍摄器和处理器，其中，图像拍摄器配置成获取包含屏幕的显示设备的拍摄图像，处理器配置成在拍摄图像中识别屏幕的屏幕区域。处理器还配置成：从拍摄图像中的屏幕区域的外部的背景区域采样多个补丁图像，其中，多个补丁图像中的每个补丁图像均具有预定单元尺寸；基于多个补丁图像，生成待在屏幕上显示的屏幕图像；以及控制通信器将屏幕图像发送至显示设备。

处理器还可配置成补偿屏幕图像，以使得屏幕图像的属性与背景区域的图像的属性匹配。

处理器还可配置成基于背景区域与采样的多个补丁图像之间在图案上的相似度，利用从多个补丁图像中选出的补丁图像生成屏幕图像。

处理器还可配置成识别在背景区域中重复的多个相同图案之间的间隔，并基于多个相同图案和间隔生成屏幕图像。

处理器还可配置成识别背景区域中包含的第一边界线，并生成屏幕图像，以使得包含在屏幕图像中的第二边界线与第一边界线对准。

处理器还可配置成基于屏幕区域与背景区域之间在RGB值上的差异来校准屏幕图像的颜色。

电子设备还可包括显示器，并且处理器还可配置在生成屏幕图像的同时，控制显示器显示用于引导屏幕图像的生成过程的用户接口(UI)。

电子设备还可包括显示器，并且处理器还可配置成控制显示器显示用于引导将屏幕与所述显示器对准的拍摄引导用户接口(UI)。

处理器还可配置成控制显示器基于显示屏幕的位置偏离拍摄引导UI来显示警告消息。

根据示例实施方式，电子设备包括存储器和处理器，其中，存储器配置成存储指令；处理器配置成运行指令以控制以执行以下操作：获取包含屏幕的显示设备的拍摄图像；在拍摄图像中识别屏幕的屏幕区域；以及从拍摄图像中的屏幕区域外部的背景区域采样多个补丁图像，其中多个补丁图像中的每个补丁图像均具有预定单元尺寸。处理器还配置成运行指令以基于多个补丁图像生成待在屏幕上显示的屏幕图像，并控制将屏幕图像发送至显示设备。

处理器还可配置成运行指令以补偿屏幕图像，以使得屏幕图像的属性与背景区域的图像的属性匹配。

根据实施方式，控制电子设备的方法包括：控制获取包含屏幕的显示设备的拍摄图像；在拍摄图像中识别屏幕的屏幕区域；以及从拍摄图像中的屏幕区域的外部的背景区域采样多个补丁图像，其中多个补丁图像中的每个补丁图像均具有预定单元尺寸。该方法还包括基于多个补丁图像生成待在屏幕上显示的屏幕图像，并控制将屏幕图像发送至显示设备。

该方法还可包括补偿屏幕图像，以使得屏幕图像的属性与背景区域的图像的属性匹配。

生成屏幕图像可包括：基于背景区域与采样的多个补丁图像之间在图案上的相似度，利用从多个补丁图像中选出的补丁图像生成屏幕图像。

生成屏幕图像可包括：识别在背景区域中重复的多个相同图案之间的间隔，并基于多个相同图案和间隔生成屏幕图像。

根据实施方式，电子设备包括通信器、显示器和处理器，其中，显示器包含屏幕，处理器配置成经由通信器从能够获取显示器的拍摄图像的外部设备接收该拍摄图像。处理器还配置成：在拍摄图像中识别屏幕的屏幕区域；从拍摄图像中的屏幕区域的外部的背景区域采样多个补丁图像，其中多个补丁图像中的每个补丁图像均具有预定单元尺寸；基于采样的多个补丁图像生成待在屏幕上显示的屏幕图像；以及控制显示器在屏幕上显示屏幕图像。

处理器还可配置成补偿屏幕图像，以使得屏幕图像的属性与背景区域的图像的属性匹配。

处理器还可配置成基于背景区域与采样的多个补丁图像之间在图案上的相似度，利用从多个补丁图像中选出的补丁图像生成屏幕图像。

处理器还可配置成控制显示器显示用于区分在显示器上显示的屏幕区域的引导用户接口(UI)。

根据实施方式，控制电子设备的方法包括：从能够获取电子设备的显示器的拍摄图像的外部设备接收该拍摄图像；在拍摄图像中识别显示器的屏幕的屏幕区域；以及从拍摄图像中的屏幕区域的外部的背景区域采样多个补丁图像，其中多个补丁图像中的每个补丁图像均具有预定单元尺寸。该方法还包括基于采样的多个补丁图像生成待在屏幕上显示的屏幕图像，并控制在屏幕上显示屏幕图像。

根据实施方式，电子设备包括通信器、图像拍摄器和处理器，其中，图像拍摄器配置成获取包含屏幕的显示设备的拍摄图像，处理器配置成在拍摄图像中识别屏幕的屏幕区域和屏幕区域外部的背景区域。处理器还配置成：确定背景区域是颜色类型还是图案类型；响应于背景区域被确定为颜色类型，生成待在屏幕上显示的屏幕图像，该屏幕图像被校准成了具有背景区域的颜色；响应于背景区域被确定为图案类型，生成具有背景区域的图案的屏幕图像；以及控制通信器将屏幕图像发送至显示设备。

处理器还可配置成：响应于背景区域被确定为图案类型，生成具有背景区域的图案的屏幕图像，并且校准屏幕图像以具有背景区域的颜色；以及控制通信器将校准后的屏幕图像发送至显示设备。

附图说明

通过下文结合附图对实施方式进行描述，以上和/或其它方面将变得显而易见并且更容易理解，在附图中：

图1示出了根据实施方式的通过移动设备提供与TV屏幕的周围背景类似的屏幕图像的基本构思；

图2是根据实施方式的电子设备的框图；

图3是示出了根据实施方式的电子设备的控制方法的流程图；

图4示出了根据实施方式的显示拍摄图像中的屏幕区域和背景图像的示例；

图5是根据实施方式的根据墙壁的类型生成屏幕图像的流程图；

图6示出了根据实施方式的用于从拍摄图像中识别墙壁类型的算法的示例；

图7示出了根据实施方式的在生成与墙壁类似的屏幕图像时应用颜色校准的示例；

图8示出了根据实施方式的在生成与墙壁类似的屏幕图像时应用图案生成的示例；

图9示出了根据实施方式的基于从背景区域采样的补丁与背景区域的图案之间的相似度来生成屏幕图像的示例；

图10示出了根据实施方式的用于引导生成屏幕图像的过程的UI；

图11示出了根据实施方式的通过从背景图像中识别重复图案和间隔来生成屏幕图像的示例；

图12示出了根据实施方式的生成待与背景图像中所包括的边界线对准的屏幕图像的示例；

图13是根据另一实施方式的电子设备的框图；

图14是示出了根据实施方式的电子设备的控制方法的流程图；

图15示出了根据实施方式的移动设备生成屏幕图像并将屏幕图像提供至TV的示例；

图16示出了根据实施方式的云服务器生成屏幕图像并将屏幕图像提供至TV的示例；

图17示出了根据实施方式的利用壁纸/瓷砖数据库(DB)生成屏幕图像的示例；

图18示出了根据实施方式的识别TV屏幕的方法的示例；

图19示出了根据实施方式的识别TV屏幕的方法的示例；

图20示出了根据实施方式识别重复图案的最小单元并根据背景区域生成屏幕图像的示例；以及

图21和图22示出了根据实施方式的使用累积直方图匹配来进行屏幕图像的颜色校准的示例。

具体实施方式

在下文中，将参照附图对实施方式进行详细描述，以易于被本领域普通技术人员实现。本公开可以以各种不同的形式实施，并且不受限于本文中所描述的实施方式。

图1示出了根据实施方式的通过移动设备提供与TV屏幕的周围背景类似的屏幕图像的基本构思。如图1中所示，移动设备10在前方拍摄TV 100的屏幕的图像和屏幕附近的墙壁的图像，并从拍摄图像中识别TV 100的屏幕附近的墙壁，从而生成与墙壁类似的图像。

在该过程中，当所识别的墙壁仅具有颜色时，移动设备10使用颜色校准来生成具有与墙壁相同颜色的图像21，并将所生成的图像输出至TV 100的屏幕。

此外，当所识别的墙壁具有预定图案(例如，砖、树等)时，移动设备10使用图案生成来生成具有与墙壁相同图案的图像22，并将所生成的图像输出至TV 100的屏幕。

图2是根据实施方式的电子设备的框图。如图2中所示，电子设备10(即，移动设备10)包括图像拍摄器11(例如，相机)、图像处理器12、显示器13、通信器14(即，通信接口)、处理器15和用户输入16(即，用户输入接口)，并且还可包括储存器。电子设备10例如由能够拍摄图像的诸如智能电话、平板电脑、笔记本电脑等移动设备实现。电子设备10可经由通信器14与显示设备100(即，TV 100)通信。显示设备100例如由TV、大型显示器(LFD)、显示屏等实现，并且包含屏幕101。电子设备10中所包括的元件不受根据实施方式描述的元件的限制，而是可以排除一些元件或另外包括其它元件。

图像拍摄器11拍摄其前方的图像以获取拍摄图像。图像拍摄器11例如由具有互补金属氧化物半导体(CMOS)、电荷耦合装置(CCD)等图像传感器的相机实现。

图像处理器12对通过图像拍摄器11获得的拍摄图像或从外部设备接收的图像信号执行预设的图像处理过程。在图像处理器12中执行的图像处理过程的示例包括多路复用、解码、去交错、缩放、降噪、细节增强，并且对图像处理过程的种类没有限制。图像处理器12可通过在其中集成有这种处理功能的片上系统(SoC)或通过其上安装有用于独立执行该处理的个别部件的图像处理板来实现。

显示器13显示由图像处理器12处理的拍摄图像，或显示基于图像信号的图像。显示器13可通过等离子体显示面板(PDP)、液晶显示器(LCD)、有机发光二极管(OLED)、柔性显示器等不同方式来实现而不受限制。

通信器14通过有线通信方法或无线通信方法与显示设备100通信。通信器14可以例如使用Wi-Fi直接、蓝牙、Zigbee等近场通信方法来与显示设备100通信。当通信器14使用蓝牙与显示设备100通信时，可通过与显示设备100配对来实现连接。

用户输入16接收用于控制电子设备10的至少一个功能的用户输入。例如，用户输入16可接收用于选择显示在显示器13上的用户接口(UI)的一部分的用户输入。用户输入16可以被提供为设置在电子设备10的外侧上的输入面板或者提供为设置在电子设备10中的触摸屏。此外，用户输入16可被实现为连接至电子设备10的键盘、鼠标等，并且可由使用红外与电子设备10通信的遥控器实现。

根据一个实施方式，用户输入16可从经由Wi-Fi、蓝牙或红外通信方法与电子设备10通信的移动设备接收用户输入。在这种情况下，移动设备可由智能电话等实现。例如，在智能电话中安装并运行遥控器应用，并触摸用于控制电子设备10的操作的按钮，从而将用户输入发送至电子设备10。

储存器包括第一存储器和第二存储器，其中，第一存储器由无论电子设备10是通电还是断电都可保留数据的诸如闪速存储器的非易失性存储器实现。

第一存储器配置成存储用于运行至少一个应用的多个指令。存储在第一存储器中的多个指令均可进行读取、写入、编辑、删除、更新等。

第二存储器表示设置在第一存储器与处理器15之间的高速缓冲存储器，并被称为缓冲存储器或本地存储器。第二存储器具有比闪速存储器的速度更高的速度，并可由处理器15直接访问。第二存储器表示用于存储将被处理器15频繁访问的数据或程序指令的区域以在不重复搜索的情况下立即可用，并可例如由随机存取存储器(RAM)实现。根据一个实施方式，第二存储器可以例如整体地设置在处理器15中。

处理器15执行用于控制待在电子设备10中实现的多个功能的控制过程。处理器15可由中央处理单元(CPU)实现，并且包括三个区域：控制区域、操作区域和寄存器区域。控制区域分析程序指令，并指示电子设备10的元件根据所分析的指令的含义进行操作。操作区域实施算术运算和逻辑运算，并且响应于控制区域的指令执行用于操作电子设备10的元件的操作。寄存器区域是用于存储在CPU运行指令时使用的多条信息的存储位置，并存储用于电子设备10的每个元件的指令和数据以及操作的结果。

处理器15运行至少一个程序，并可例如运行电子设备10。

图3是示出了根据实施方式的电子设备的控制方法的流程图，以及图4示出了根据实施方式的显示拍摄图像中的屏幕区域和背景图像的示例。根据实施方式，处理器15的操作如图3的流程图中所示。首先，在操作S31，处理器15获取前方拍摄图像(参见图4中的“133”)。在这种情况下，处理器15可显示拍摄引导UI(参见图4中的“131”)，该拍摄引导UI用于在获取拍摄图像133时引导显示设备100的屏幕101与显示器13对准的位置。因此，用户可直接移动电子设备10，以使得屏幕101定位于拍摄引导UI 131内。

此外，拍摄引导UI 131引导用户拍摄包含屏幕101以及屏幕101附近的最小背景的图像。

根据一个实施方式，当显示屏幕101的位置偏离拍摄引导UI 131时，处理器15可生成在显示器13上显示的警告消息。

然后，在操作S32，处理器15在拍摄图像133中识别屏幕的区域(参见图4中的“102”)。在这种情况下，显示设备100例如可以显示诸如在屏幕101的边界部分上具有各种形状和颜色的标记的引导UI(参见图18中的“171”和图19中的“181”)以使得处理器15可识别屏幕的区域102。

在操作S33，处理器15从在拍摄图像133中识别的屏幕的区域102周围的背景区域(参见图4中的“132”)中采样具有预定单元尺寸的多个补丁图像(参见图9中的“91”和“92”)。然后，在操作S34，处理器15基于采样的多个补丁图像91、92......生成待在屏幕101上显示的屏幕图像。

根据一个实施方式，操作S34可包括以下操作：基于背景区域132与在操作S33中采样的多个补丁图像91、92......之间的相似度生成具有在多个补丁图像91、92......中选择的补丁图像91、92......的屏幕图像。

根据一个实施方式，操作S34可包括以下操作：识别在背景区域132中重复的多个相同图案之间的间隔；以及基于这些图案和间隔生成屏幕图像。

根据一个实施方式，操作S34可包括以下操作：识别背景区域132中所包含的第一边界线(参见图12中的“121”和“122”)；以及生成这样的屏幕图像，其中，包含在屏幕图像中的第二边界线(参见图12中的“123”)可以与第一边界线121和122对准。

根据一个实施方式，操作S34还可包括以下操作：基于背景区域132与屏幕的区域102之间在RGB值上的差异来校准屏幕图像的颜色。

根据一个实施方式，在操作S34，还可包括以下操作：显示用于在生成屏幕图像时引导生成屏幕图像的过程的UI(参见图10中的“105”)。

最后，在操作S35，将所生成的屏幕图像发送至显示设备100。

如上所述，仅使用屏幕附近的最小背景图像来提供与周围背景类似的屏幕，因而屏幕预计将具有隐身效果。此外，在提供类似于周围背景的屏幕的方面，用户的控制被最小化。

电子设备10可通过下载并运行存储在单独的计算机程序产品中的指令来执行基于背景区域的图像生成屏幕图像的操作。例如，电子设备10从外部服务器下载并安装预定的应用程序，其中，该应用程序提供生成与屏幕101的周围背景类似的屏幕图像的功能；电子设备10运行所安装的应用程序，从而生成待在显示设备100的屏幕101上显示的屏幕图像。

根据一个实施方式，计算机程序产品包括其中存储有多个指令的存储器和处理器。当被处理器运行时，指令可用于：在由图像拍摄器获取的拍摄图像中识别屏幕的区域；从与在拍摄图像中识别的屏幕的区域的外部对应的背景区域中采样具有预定单元尺寸的多个补丁图像；基于采样的多个补丁图像生成待在屏幕101上显示的屏幕图像；以及将所生成的屏幕图像发送至显示设备100。

根据一个实施方式，指令可用于补偿屏幕图像以使得屏幕图像的属性可以与背景区域上的图像的属性对应。

图5是根据实施方式的根据墙壁的类型生成屏幕图像的流程图。该流程图示出了当处理器15执行基于背景区域132的图像生成待在屏幕101上显示的屏幕图像的操作时基于与背景区域132对应的墙壁的类型在图3的操作S34中的具体操作。

如图5中所示，首先，在操作S51，处理器15从背景区域132的图像中识别屏幕附近的墙壁的类型。当识别到墙壁具有颜色类型时，处理器15在操作S521处执行颜色校准，并且在操作S522处输出屏幕图像(即，显示出与屏幕附近的墙壁颜色相同的最终输出屏幕)。这里，颜色校准可以例如包括对颜色、亮度、饱和度、白平衡等的补偿。

作为操作S51的结果，当墙壁具有图案类型时，处理器15在操作S52处执行图案生成，并在操作S53处输出显示出与屏幕附近的墙壁图案相同的输出屏幕。

然后，在操作S54，处理器15另外针对操作S53中输出的输出屏幕执行颜色校准。最后，在操作S55，处理器15输出屏幕图像(即，显示出与屏幕附近的墙壁的图案和颜色相同的最终输出屏幕)。

图6示出了根据实施方式的用于从拍摄图像中识别墙壁类型的算法的示例。所示示例示出了在图5的操作S51中从背景区域132的图像中识别屏幕附近的墙壁的类型的具体方法。

如图6中所示，首先，在操作S61，处理器15获取包含屏幕101及屏幕101附近的墙壁的拍摄图像61或62。然后，在操作S62，处理器15从拍摄图像61或62识别与屏幕区域63周围的外部区域对应的背景区域611或621。

然后，在操作S63，处理器15从所识别的背景区域611或621中随机采样具有预定尺寸的补丁612或622。

最后，在操作S64，处理器15使用采样的补丁612或622对整个背景区域611或621执行模板匹配。这里，作为模板匹配的结果，当匹配的补丁定位成留有间隔613时，识别出墙壁具有图案类型。另一方面，当匹配的补丁定位成未留有间隔时，识别出墙壁具有颜色类型。

图7示出了根据实施方式的在生成与墙壁类似的屏幕图像时应用颜色校准的示例。所示示例示出了当在操作S51中识别出墙壁具有颜色类型时在图5的操作S521中执行颜色校准的具体操作。

如图7中所示，在移动设备10中，当响应于用户输入而选择“屏幕隐身模式”时，处理器15首先获取拍摄图像133，拍摄图像133包含在移动设备10的前方的TV的屏幕101以及屏幕101附近的墙壁71或72。

在这种情况下，处理器15可引导用户通过显示在显示器13的中心区域处的拍摄引导UI 131来布置TV的屏幕101。根据一个实施方式，除了拍摄引导UI 131之外，处理器15可还经由音频输出等向用户提供附加引导。

此外，例如，当用户在布置屏幕101之后通过按钮输入等来选择“屏幕图像生成”功能时，处理器15通过预设的颜色校准算法生成具有与屏幕附近的墙壁的颜色、亮度、饱和度、白平衡等类似的颜色、亮度、饱和度、白平衡等的屏幕图像73或74，并将屏幕图像73或74提供给显示设备100。

处理器15基于如下的颜色校准算法进行操作。

1)从与屏幕101对应的屏幕的区域102和与墙壁71或72对应的背景区域132的每项中采样n个像素。

2)以预定的时间间隔获取屏幕的区域102的采样像素和背景区域132的像素的RGB值，并获得它们各自的RGB平均值。

AvgS＝Average(ScreenPick[n])

AvgW＝Average(WallPick[n])

3)获取背景区域132与屏幕的区域102之间的RGB值的差值。

Diff＝AvgW–AvgS

4)将RGB值的差值加到屏幕的区域102中的像素的RGB值。

ScreenPick[n]+Diff＝Edited Screen

5)在4)中相加后的RGB值(Edited Screen)归一化到“0”至“1”之间，从而获得校准层。

6)将4)中相加后的RGB值(Edited Screen)乘以5)中获得的校准层，以生成最终的校准结果。

Edited Screen*Correction Layer＝Final Result

通过上述颜色校准算法，具有与屏幕附近的墙壁类似颜色的图像被输出至屏幕，因此，预期因不能通过颜色识别出墙壁和屏幕而使屏幕具有美学效果。

图8示出了根据实施方式的在生成与墙壁类似的屏幕图像时应用图案生成的示例。所示示例示出了当在操作S51中识别出墙壁具有图案类型时在图5的操作S52中生成图案的具体操作。

如图8中所示，在移动设备10中，当响应于用户输入而选择“屏幕隐身模式”时，处理器15获取拍摄图像133，拍摄图像133包含在移动设备10的前方的TV的屏幕101及屏幕101附近的墙壁81。

在这种情况下，处理器15可引导用户通过显示在显示器13的中心区域处的拍摄引导UI 131来布置TV的屏幕101。

此外，例如，当用户在布置屏幕101之后通过按钮输入等来选择“屏幕图像生成”功能时，处理器15通过预设的图案生成算法生成具有与屏幕101附近的墙壁的图案类似的图案的屏幕图像82。

将参照9至图12对处理器15的基于图案生成算法的操作进行描述。

图9示出了根据实施方式的基于从背景区域采样的补丁与背景区域的图案之间的相似度来生成屏幕图像的示例。所示示例示出了在图5的操作S52中生成图案的方法的一个实施方式。

如图9中所示，为了生成与屏幕101附近的墙壁类似的图案，可以使用利用图案之间的相似度的纹理合成方法。

根据一个实施方式，处理器15从背景区域132中随机采样多个补丁图像91、92.....，其中，在拍摄图像133中显示屏幕101附近的墙壁。例如，处理器15可以从背景区域132中采样约1000个与预定尺寸对应的补丁图像91、92......。在这种情况下，只要考虑了待被处理器15处理的数据的大小、数据处理时间等，则对于采样的补丁图像91、92.....的数量没有限制。

然后，处理器15通过从屏幕的区域102的左上方布置多个采样的补丁图像91、92.....来生成图案。在这种情况下，多个图像91、92......被布置成包括屏幕的区域102和背景区域132的一部分。

在该过程中，在多个图像91、92……之中选择与待布置在屏幕的区域102中的位置相邻且与背景区域132的图案具有高相似度的图案图像，并将该图案图像布置于屏幕的区域102中。在这种情况下，选择待布置的补丁图像不仅考虑相邻的背景区域132而且考虑与先前布置于屏幕的区域102中的补丁图像的图案的相似度。

例如，补丁图像A 91被布置于屏幕的区域102中的左上方处，并随后选择与补丁图像A 91的图案具有高相似度的补丁图像B 92，并与补丁图像A 91重叠布置。

通过上述图案生成方法，生成屏幕图像以具有与屏幕101附近的墙壁类似的图案。

图10示出了根据实施方式的用于引导生成屏幕图像的过程的UI。所示示例示出了当通过图9的图案生成方法生成屏幕图像时的附加操作的示例。

如图10中所示，例如，在由移动设备实现的电子设备10中，处理器15可在通过参照图9描述的图案生成方法生成屏幕图像的同时，在显示器13上显示用于引导屏幕图像的生成过程的UI。

根据一个实施方式，处理器15可通过将从背景区域132随机采样的多个补丁图像1051、1052、1053......从屏幕的区域102中的左上方开始布置来生成屏幕图像。

在这种情况下，生成屏幕图像耗费了比预定的时间周期长的时间周期，并且用户必须等待直到屏幕图像被显示在显示器13上。

当用户等待直到显示屏幕图像时，处理器15可处理待显示的UI 105，以使得用户可以直接观看屏幕图像的生成。

根据一个实施方式，处理器15可处理待显示的UI 105，其显示出多个补丁图像1051、1052、1053......从屏幕的区域102中的左上方开始顺序地布置。

根据一个实施方式，处理器15可处理引导屏幕图像的生成的UI 105，从而以画中画(PIP)的形式显示成比屏幕的区域102小。

图11示出了根据实施方式的通过从背景图像中识别重复图案和间隔来生成屏幕图像的示例。所示示例示出了在图5的操作S52中的图案生成方法的一个实施方式。

如图11中所示，为了生成与屏幕101附近的墙壁类似的图案，处理器15可从拍摄图像133中的背景区域132识别多个相同的重复图案112之间的间隔，并基于图案112和间隔生成屏幕图像。

根据一个实施方式，处理器15从背景区域132识别具有预定尺寸的多个相同的重复图案112，并获取在水平方向和竖直方向上所识别的多个图案112之间的间隔。在这种情况下，处理器15可使用在水平方向和竖直方向上所识别的多个图案112之间的间隔来将多个图案112以规则的间距布置在屏幕的区域102内部。

此外，处理器15在将多个图案112布置在屏幕的区域102内部之后，针对空白区域通过图9中描述的纹理合成方法生成图案。

图12示出了根据实施方式的生成待与背景图像中所包括的边界线对准的屏幕图像的示例。所示示例示出了图5的操作S52中的图案生成方法的一个实施方式。

如图12中所示，例如，在由移动设备实现的电子设备10中，处理器15识别背景区域132中所包括的第一边界线121和122，并且在生成屏幕图像时使屏幕图像包括与第一边界线121和122对齐的第二边界线123。

根据一个实施方式，当在显示墙壁的背景区域132中存在第一边界线121和122时，处理器15在屏幕的区域102内部生成延伸至第一边界线121和122的第二边界线123，并通过图9中描述的纹理合成方法针对其它区域生成图案。

图13是根据另一实施方式的电子设备的框图。如图13中所示，该实施方式的电子设备1300包括图像处理器1302、显示设备1303、通信器1304、处理器1305和用户输入1306，并且显示设备1303包含屏幕1301。电子设备1300还可包括储存器。电子设备1300例如由TV、大型显示器(LFD)、显示屏等实现。电子设备1300可通过通信器1304与外部设备1310通信。外部设备1310例如由能够拍摄图像的智能电话、平板电脑、笔记本电脑等移动设备实现。

在示出的元件中，电子设备1300和外部设备1310分别与图2的显示设备100和电子设备10对应。图2的电子设备10(例如，移动设备)生成具有与显示设备100的屏幕101附近的墙壁类似的图案的屏幕图像，并将所生成的屏幕图像提供给显示设备100。另一方面，在图13的电子设备1300(例如，TV)中直接生成具有与屏幕1301附近的墙壁类似的图案的屏幕图像，并在屏幕1301上显示所生成的屏幕图像。

电子设备1300的元件中的图像处理器1302、显示设备1303、通信器1304和用户输入1306的功能分别类似于图2的电子设备10的元件中的图像处理器12、显示器13、通信器14和用户输入16的功能，因而将避免重复的描述。下文，将仅描述有所不同的处理器1305的操作。

图14是示出了根据实施方式的电子设备的控制方法的流程图。根据该实施方式，处理器1305的操作可被示出为图14中所示的流程图。首先，在操作S141，处理器1305从能够拍摄图像的外部设备1310接收拍摄图像133。

然后，在操作S142，处理器1305在拍摄图像133中识别屏幕的区域102。

根据一个实施方式，处理器1305可在屏幕1301的边界部分中显示引导UI(参见图18的“171”和图19的“181”)，以使得屏幕的区域102可被识别。引导UI 171可以例如由具有各种形状和颜色的标记实现。

因此，屏幕的区域102可经由引导UI 171从移动设备等外部设备1310拍摄的拍摄图像133中识别出。

在操作S143，处理器1305从在拍摄图像133中识别的屏幕的区域102周围的背景区域132中采样具有预定单元尺寸的多个补丁图像。

然后，在操作S144，处理器1305基于采样的多个补丁图像生成待在屏幕1301上显示的屏幕图像。这里，操作S144可包括以下操作：基于在操作S143中采样的多个补丁图像与背景区域132之间在图案上的相似度，使用在多个补丁图像中选择的补丁图像来生成屏幕图像。

根据一个实施方式，操作S144可包括以下操作：识别在背景区域132中多个相同的重复图案之间的间隔；以及基于这些图案和间隔生成屏幕图像。

根据一个实施方式，操作S144可包括以下操作：识别背景区域132中所包含的第一边界线121和122；以及生成这样的屏幕图像，其中，包含在屏幕图像中的第二边界线123可以与第一边界线121和122对准。

根据一个实施方式，操作S144还可包括以下操作：基于背景区域132与屏幕的区域102之间在RGB值上的差异来校准屏幕图像的颜色。

根据一个实施方式，操作S144还可包括以下操作：显示UI 105，UI 105用于在生成屏幕图像的同时引导生成屏幕图像的过程。

最后，在操作S145，处理器1305处理所生成的屏幕图像以显示在屏幕1301上。

图15示出了根据实施方式的移动设备生成屏幕图像并将屏幕图像提供至TV的示例。如图15中所示，移动设备10首先获取对TV 100的屏幕101和屏幕101附近的墙壁拍摄的拍摄图像133。

移动设备10从所拍摄的拍摄图像133识别屏幕的区域102，并且从所识别的屏幕的区域102周围的背景区域132采样多个补丁图像91、92.....。

移动设备10基于采样的多个补丁图像91、92.....生成屏幕图像140。在这种情况下，移动设备10显示用于引导生成过程的UI 141，以使得用户可以在生成屏幕图像140的同时，直接检查或可视地检查生成屏幕图像140的过程。

根据一个实施方式，可以经由UI 141通过将多个补丁图像从移动设备10的屏幕中的左上方顺序布置并顺序附加来显示屏幕图像140的生成过程。在这种情况下，UI 141可显示成具有与屏幕的整个区域或部分区域对应的尺寸。

移动设备10将通过上述方法生成的屏幕图像140发送至TV 100，以使得屏幕图像140可输出至TV 100的屏幕101。

图16示出了根据实施方式的云服务器生成屏幕图像并将屏幕图像提供至TV的示例。如图16中所示，移动设备10首先获取对TV 100的屏幕101和屏幕101附近的墙壁拍摄的拍摄图像133。

移动设备10将所拍摄的拍摄图像133发送至云服务器300，并且云服务器300使用从移动设备10接收的拍摄图像133来生成屏幕图像150。在这种情况下，云服务器300通过与图15的移动设备10生成屏幕图像140相同的方法，从拍摄图像133生成屏幕图像150，因而将避免对其重复描述。

云服务器300将通过上述方法生成的屏幕图像150发送至TV 100，以使得屏幕图像150可被输出至TV 100的屏幕101。

图17示出了根据实施方式的利用壁纸/瓷砖数据库(DB)生成屏幕图像的示例。如图17中所示，移动设备10获取对TV 100的屏幕101和屏幕101附近的墙壁拍摄的拍摄图像133。

移动设备10将所拍摄的拍摄图像133发送至壁纸/瓷砖DB服务器160。在这种情况下，壁纸/瓷砖DB服务器160可以与壁纸、瓷砖等的制造商合作来实现，或者可以通过其自身的收藏来实现。

移动设备10确定与被发送至壁纸/瓷砖DB服务器160的拍摄图像133中的背景区域132对应的图像是否与从存储于壁纸/瓷砖DB中的图案图像之中搜索出的图像匹配，并且在存在匹配的图案图像161时，从壁纸/瓷砖DB服务器160直接接收匹配的图案图像161，或将匹配的图案图像161发送至TV 100。

根据一个实施方式，当移动设备10从壁纸/瓷砖DB服务器160直接接收图案图像161时，使用所接收的图案图像161生成屏幕图像并将该屏幕图像发送至TV 100以使得屏幕图像可被输出至屏幕101。

根据一个实施方式，当通过壁纸/瓷砖DB服务器160搜索的图案图像161被发送至TV 100时，TV 100可基于所接收的图案图像161生成屏幕图像并将该屏幕图像输出至屏幕101。

根据另一实施方式，图案图像可以不经由壁纸/瓷砖DB服务器160来获取而是使用互联网经由搜索服务来获取。

移动设备10将与拍摄图像133中的背景区域132对应的图像发送至提供图像搜索服务的服务器，并在存在与服务器的搜索结果匹配的壁纸/瓷砖图像时从服务器接收相应的图案图像。

移动设备10可基于从搜索服务服务器提供的图案图像直接生成屏幕图像，并随后将生成的屏幕图像发送至TV 100。在TV 100接收图案图像的情况下，TV 100可生成屏幕图像并在屏幕101上显示屏幕图像。

图18示出了根据实施方式的识别TV屏幕的方法的示例。如图18中所示，可以给出各种实施方式，以使得可以在使用移动设备10拍摄的拍摄图像133中区分屏幕的区域102。

根据一个实施方式，TV 100可以在屏幕101的边界部分中显示引导UI 171。引导UI171可通过具有各种形状和颜色的标记来实现，并且显示引导UI 171的部分可以通过图像处理从移动设备10拍摄的拍摄图像133中识别为屏幕101的边缘。因此，经由引导UI 171被识别为边缘的部分的内部可以被定义为屏幕的区域102。

这里，引导UI 171可以在TV 100中自动生成并显示，或者可以从移动设备10发送并显示在TV 100上。

根据一个实施方式，TV 100中的屏幕101的边框区域172可通过图像处理从移动设备10拍摄的拍摄图像133中被识别出。在这种情况下，所识别的边框区域172可被确定为屏幕101的边缘，并且边缘的内部可以被定义为屏幕的区域102。

根据一个实施方式，可对安装有TV 100的屏幕101的墙壁附加物理标记173，以识别屏幕的区域102。例如，物理标记173被附加至墙壁上与屏幕101的四个角对应的位置，并且标记173可通过图像处理从使用移动设备10拍摄的拍摄图像133中被识别出。在这种情况下，基于与所识别的标记173的相对位置来识别屏幕101的边缘，并且边缘的内部可被识别为屏幕的区域102。

图19示出了根据实施方式的识别TV屏幕的方法的示例。如图19中所示，可在TV100的屏幕101上以各种形状和颜色来显示引导UI，以使得可将屏幕的区域102从使用移动设备10拍摄的拍摄图像133中区分开。

根据一个实施方式，屏幕101的边缘标记有具有类似白线形状的标记181，并且标记181的内部以灰色进行着色。因此，标记181从移动设备10拍摄的拍摄图像133中被识别出，并且被标记181包围的灰色区域被识别为屏幕的区域102。

作为上述将引导UI显示在屏幕101的边缘处的实施方式的替代方案，可以用颜色填充屏幕101的区域。

例如，标记182可设置成由屏幕101中的对角线和两条边形成的蓝色直角三角形的形式。可替代地，标记183可设置成通过在屏幕101中连接顶边的中心点和底边的相对顶点而形成的蓝色三角形的形式。

如上所述，当以用颜色填充屏幕101的区域的形式来设置引导UI 182或183时，可将包括引导UI 182或183的四边形区域识别为屏幕的区域102。

图20示出了根据实施方式识别重复图案的最小单元并根据背景区域生成屏幕图像的示例。所示示例示出了图5的操作S52中的图案生成方法的一个实施方式。

如图20中所示，为了生成与屏幕101附近的墙壁类似的图案，处理器15从拍摄图像133的背景区域132识别重复图案最小单元202的尺寸，并将具有识别的尺寸的图案最小单元202一起放置在屏幕图像205中。

根据一个实施方式，处理器15从背景区域132内部的屏幕的区域102上方或下方的水平图案扫描区域203采样水平图案图像201。处理器15复制所采样的水平图案图像201以生成两个相同的水平图案图像201，并且在沿水平方向以像素为单位移动两个重叠的水平图案图像201的同时执行相似度扫描。

由此，当两个水平图案图像201在水平方向上充分地扫描所有像素时，重复出现高相似度部分，并且处理器15计算重复部分中的像素偏移，从而获取重复的水平图案最小单元2011。在所示的示例中，水平图案最小单元2011具有与“50”的像素偏移对应的尺寸。

与水平方向类似，处理器15可从背景区域132内部的屏幕的区域102的左侧或右侧中的竖直图案扫描区域204相对于竖直方向获取重复的竖直图案最小单元。

处理器15可基于如上所述获取的水平图案最小单元2011和竖直图案最小单元的各个尺寸(即，像素偏移)来获取用于生成屏幕图像205的图案最小单元202。

例如，当水平图案最小单元2011具有“50”的像素偏移并且竖直图案最小单元具有“70”的像素偏移时，从背景区域132的左上方采样具有“50*70”的尺寸的重复图案最小单元202。

处理器15可通过将如以上所采样的图案最小单元202在水平方向和竖直方向上一起放置来生成具有与屏幕101附近的墙壁类似的图案的屏幕图像205。

图21和图22示出了根据实施方式的使用累积直方图匹配来进行屏幕图像的颜色校准的示例。所示示例示出了用于在操作S521或操作S54中执行颜色校准的操作的一个实施方式。

如图21中所示，为进行颜色校准，处理器15从背景区域132采样多个参考像素图像211，并从屏幕的区域102采样多个源像素图像212。

处理器15针对所采样的多个参考像素图像211和源像素图像212的各条R、G和B数据生成累积直方图213、214和215。在这种情况下，各条R、G和B数据的累积直方图213、214和215利用与参考像素图像211对应的参考线2110和与源像素图像212对应的源线2120表示。

如图22中所示，处理器15可例如采用线性回归模型估计方法针对每个累积直方图213、214和215估计用于将源线2120拟合到参考线2110的拟合线220。

用于估计拟合线220的线性回归方程223如下。

Xref＝m*Xsrc+b

其中，Xsrc是源像素图像212的像素值，Xref是参考像素图像211的像素值，并且m和b分别是线性回归方程223的梯度和截距。

根据一个实施方式，作为线性回归方程223的估计方法，梯度下降方法可例如用于估计接近于参考线2110的拟合线220。梯度下降方法表示搜索参数(m，b)以获取实际数据的值与由线性回归方程223估计的数据之间的最小差异的方法。

例如，可使用图22的微分方程224来估计线性回归方程223的梯度(m)和截距(b)。

通过对源像素图像212应用如上估计的线性回归方程223，显示在屏幕的区域102上的源像素图像212的颜色被校准成具有与背景区域132的参考像素图像211相似的颜色。

就屏幕图像的颜色校准而言，以下实施方式是可行的。

根据一个实施方式，处理器15比较颜色上的差异，即，比较最初拍摄的拍摄图像133与生成为具有与屏幕101附近的墙壁类似的图案的屏幕图像之间在RGB值上的差异，并在颜色上的差异大于预定范围时，对所生成的屏幕图像应用附加的颜色校准。

根据一个实施方式，处理器15可以根据安装环境或设备通过考虑例如照明、显示面板的特性、背光单元的特性等差异而对所生成的屏幕图像应用附加的颜色校准。

例如，处理器15可以重新拍摄在生成为具有与周围墙壁的图案和颜色类似的图案和颜色之后被显示在TV 100的屏幕101上的屏幕图像，并且对重新拍摄的屏幕图像应用颜色校准。即，与在生成屏幕图像之前拍摄的拍摄图像130的照明、显示面板的特性、背光单元的特性等相比，重新拍摄的屏幕图像可例如在照明、显示面板的特性、背光单元的特性等方面发生变化，因而执行颜色校准以反映出这种变化。

通过上述方法，当生成屏幕图像以具有与周围墙壁的图案和颜色类似的图案和颜色时，考虑根据安装环境和设备而发生的改变，从而执行更精确的颜色校准。

根据一个实施方式，处理器15可在生成屏幕图像之后通过考虑周围环境的变化而执行附加的颜色校准。

例如，电子设备10可包括内置照度计或可使用设置在设备外部的照度计，从而测量周围环境的亮度。

在这种情况下，处理器15经由照度计测量在生成屏幕图像时的亮度和从生成屏幕图像经过预定时间段之后的亮度，并在亮度增加或减少超过预定范围时考虑生成屏幕图像之后测量的亮度，对屏幕图像应用颜色校准。

例如，当屏幕图像在明亮的白天生成但在黑暗的晚上被显示在TV100上时，在白天生成的屏幕图像可能比墙壁更亮而并非具有与墙壁类似的亮度。在这种情况下，通过反映比生成屏幕图像时的亮度条件更暗的亮度条件，将所生成的屏幕图像校准成变得更暗，从而消除与周围墙壁的不协调。

当在屏幕图像生成之后周围环境发生亮度等方面的变化时，考虑到这种变化而通过上述方法生成与周围墙壁类似的屏幕图像。

如上所述，移动设备仅使用TV屏幕附近的最小背景图像来提供与周围背景类似的TV图像。

此外，在提供与周围背景类似的TV图像的方面，通过移动设备使得用户的控制最小化。

此外，使用移动设备提供与周围背景类似的TV图像，因而预期TV屏幕将具有隐身的效果。

虽然已经示出和描述了一些实施方式，但是本领域技术人员将理解，在不背离本发明构思的原理和精神的情况下，可对这些实施方式作出改变，本发明构思的范围在所附权利要求及其等同方案中进行限定。

附图标记

10、1300：电子设备

11：图像拍摄器

12、1302：图像处理器

13、1303：显示器

102：屏幕的区域

131：拍摄引导UI

132：背景区域

133：拍摄图像

14、1304：通信器

15、1305：处理器

16、1306：用户输入

100：显示设备

101、1301：屏幕

1310：外部设备

171、181、182、183：引导UI

Claims (15)

1.用于图像处理的电子设备，包括：

通信器；

图像拍摄器，所述图像拍摄器配置成获取显示设备的拍摄图像，所述显示设备包含屏幕；以及

处理器，所述处理器配置成：

在所述拍摄图像中识别所述屏幕的屏幕区域；

从所述拍摄图像中的所述屏幕区域的外部的背景区域采样多个补丁图像，所述多个补丁图像中的每个补丁图像均具有预定单元尺寸；

基于所述多个补丁图像，生成待在所述屏幕上显示的屏幕图像；以及

控制所述通信器将所述屏幕图像发送至所述显示设备，

其中，生成所述屏幕图像包括通过从所述多个补丁图像中逐个选择并布置所选择的补丁图像来生成所述屏幕图像。

2.根据权利要求1所述的电子设备，其中，所述处理器还配置成补偿所述屏幕图像，以使得所述屏幕图像的属性与所述背景区域的图像的属性匹配。

3.根据权利要求1所述的电子设备，其中，所述处理器还配置成：

基于所述背景区域与所采样的多个补丁图像之间在图案上的相似度，利用从所述多个补丁图像中选出的补丁图像生成所述屏幕图像。

4.根据权利要求1所述的电子设备，其中，所述处理器还配置成：

识别在所述背景区域中重复的多个相同图案之间的间隔；以及

基于所述多个相同图案和所述间隔生成所述屏幕图像。

5.根据权利要求1所述的电子设备，其中，所述处理器还配置成：

识别所述背景区域中包含的第一边界线；以及

生成所述屏幕图像，以使得包含在所述屏幕图像中的第二边界线与所述第一边界线对准。

6.根据权利要求1所述的电子设备，其中，所述处理器还配置成：

基于所述屏幕区域与所述背景区域之间在RGB值上的差异来校准所述屏幕图像的颜色。

7.根据权利要求1所述的电子设备，还包括显示器，

其中，所述处理器还配置成：在生成所述屏幕图像的同时，控制所述显示器显示用于引导所述屏幕图像的生成过程的用户接口。

8.根据权利要求1至7中任一项所述的电子设备，还包括显示器，

其中，所述处理器还配置成控制所述显示器显示拍摄引导用户接口，所述拍摄引导用户接口用于引导将所述屏幕与所述显示器对准。

9.控制电子设备的方法，所述方法包括：

控制获取显示设备的拍摄图像，所述显示设备包含屏幕；

在所述拍摄图像中识别所述屏幕的屏幕区域；

从所述拍摄图像中的所述屏幕区域的外部的背景区域采样多个补丁图像，所述多个补丁图像中的每个补丁图像均具有预定单元尺寸；

基于所述多个补丁图像，生成待在所述屏幕上显示的屏幕图像；以及

控制将所述屏幕图像发送至所述显示设备，

其中，生成所述屏幕图像包括通过从所述多个补丁图像中逐个选择并布置所选择的补丁 图像来生成所述屏幕图像。

10.根据权利要求9所述的方法，还包括：补偿所述屏幕图像，以使得所述屏幕图像的属性与所述背景区域的图像的属性匹配。

11.根据权利要求9所述的方法，其中，生成所述屏幕图像包括：

基于所述背景区域与所采样的多个补丁图像之间在图案上的相似度，利用从所述多个补丁图像中选出的补丁图像生成所述屏幕图像。

12.根据权利要求9至11中任一项所述的方法，其中，生成所述屏幕图像包括：

识别在所述背景区域中重复的多个相同图案之间的间隔；以及

基于所述多个相同图案和所述间隔生成所述屏幕图像。

13.用于图像处理的电子设备，包括：

通信器；

显示器，所述显示器包含屏幕；以及

处理器，所述处理器配置成：

经由所述通信器从能够获取所述显示器的拍摄图像的外部设备接收所述拍摄图像；

在所述拍摄图像中识别所述屏幕的屏幕区域；

从所述拍摄图像中的所述屏幕区域的外部的背景区域采样多个补丁图像，所述多个补丁图像中的每个补丁图像均具有预定单元尺寸；

基于所采样的多个补丁图像，生成待在所述屏幕上显示的屏幕图像；以及

控制所述显示器在所述屏幕上显示所述屏幕图像，

其中，生成所述屏幕图像包括通过从所述多个补丁图像中逐个选择并布置所选择的补丁 图像来生成所述屏幕图像。

14.根据权利要求13所述的电子设备，其中，所述处理器还配置成补偿所述屏幕图像，以使得所述屏幕图像的属性与所述背景区域的图像的属性匹配。

15.控制电子设备的方法，所述方法包括：

从能够获取所述电子设备的显示器的拍摄图像的外部设备接收所述拍摄图像；

在所述拍摄图像中识别所述显示器的屏幕的屏幕区域；

从所述拍摄图像中的所述屏幕区域的外部的背景区域采样多个补丁图像，所述多个补丁图像中的每个补丁图像均具有预定单元尺寸；

基于所采样的多个补丁图像，生成待在所述屏幕上显示的屏幕图像；以及

控制在所述屏幕上显示所述屏幕图像，

其中，生成所述屏幕图像包括通过从所述多个补丁图像中逐个选择并布置所选择的补丁 图像来生成所述屏幕图像。

Images