CN114298119A - 显示设备和图像识别方法 - Google Patents

Abstract

本申请提供了一种显示设备和图像识别方法，显示设备包括显示器和控制器。其中，控制器被配置为：获取显示器中的所有图层；检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态；当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。显示设备可以直接识别图像内容，不需要用户对图像进行截取后再识别。智能化程度较高，提高了图像识别的效率。

Description

显示设备和图像识别方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备和图像识别方法。

背景技术

随着智能显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。随着用户对显示设备所能提供功能或服务的要求也越来越高，图像识别也逐渐成为用户经常使用的一个功能，可以对图像中的内容进行识别并提供给用户。

对于一些显示设备，在进行图像识别时，需要用户对显示设备当前播放的图像进行截取，显示设备再对用户截取的图像进行图像识别。当截取到的图像为静态图像时，可以利用静态识别模型识别出图像中的内容；当截取到的图像为动态图像时，可以利用动态识别模型识别图像中的目标对象。

由于现有的显示设备进行图像识别时，针对不同类型的图像需要使用不同的识别模型。因此要完成图像识别，就需要由用户自主截取图像，并选择相应的识别模式，导致用户的体验性较差。

发明内容

本发明提供了一种显示设备和图像识别方法。以解决现有的显示设备中，进行图像识别时效率较低的问题。

第一方面，本申请提供一种显示设备，显示设备包括显示器和控制器。其中，控制器被配置为执行以下步骤：

获取显示器中的所有图层，所述所有图层中包括视频图层和图片图层中的至少一种；检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态；当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。

在一些实现方式中，所述控制器进一步被配置为：在执行检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同的步骤中，

对第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容进行图像相减处理；若图像相减处理结果为0，则第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容相同；若图像相减处理结果不为0，则第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容不相同。

在一些实现方式中，所述控制器进一步被配置为：在执行当图层为静态状态时，对图层中待显示的内容进行静态识别的步骤中，对图层中待显示的内容进行文字识别处理，以获取文字信息，所述文字信息包括图层中待显示的文字内容以及所述文字内容在图层中的位置信息。

在一些实现方式中，所述控制器进一步被配置为：在执行当图层为动态变化状态时，对图层中待显示的内容进行动态识别的步骤中，

获取图像相减处理结果，所述图像相减处理结果包括图层差异区域和所述图层差异区域在图层中的位置信息；所述图层差异区域为图层中的目标对象的变化区域；将第一时刻下图层中待显示的内容、第二时刻下图层中待显示的内容以及所述图像相减处理结果输入至动态识别模型中，得到动态识别结果；所述动态识别结果中包括目标对象的识别结果。

第二方面，本申请还提供一种显示设备，显示设备包括显示器和控制器。其中，控制器被配置为执行以下步骤：

获取显示器中的所有图层，所述所有图层中包括第一图层和第二图层，所述第一图层和所述第二图层用于生成目标图像；检测第一图层和第二图层其中的任意一个，在第一时刻下待显示的内容和第二时刻下待显示的内容是否不同；若是，则目标图像为动态变化状态，若不是，则目标图像为静态状态；当目标图像为静态状态时，对目标图像进行静态识别；当目标图像为动态变化状态时，对目标图像进行动态识别。

在一些实现方式中，所述控制器还被配置为：在执行检测第一图层和第二图层其中的任意一个，在第一时刻下待显示的内容和第二时刻下待显示的内容是否不同的步骤前，

获取图像数据，所述图像数据为所有图层中待显示的内容。

在一些实现方式中，显示设备还包括图像采集器，被配置为采集第一图像数据。

在一些实现方式中，所述控制器进一步被配置为：在执行获取图像数据的步骤中，接收图像采集器发送的第一图像数据，和/或，从网络信号源中获取第二图像数据。

在一些实现方式中，所述控制器进一步被配置为：在执行获取图像数据的步骤中，

当获取到第一时刻的图像数据时，将第一时刻的图像数据存储至预设的图层缓存队列中；所述第一时刻的图像数据中包括第一时刻下所有图层中待显示的内容；当获取到第二时刻的图像数据时，将第二时刻的图像数据存储至预设的图层缓存队列中，并按时间顺序对图像数据进行排列；所述第二时刻的图像数据中包括第二时刻下所有图层中待显示的内容；所述第一时刻和所述第二时刻之间相差预设周期。

在一些实现方式中，所述控制器还被配置为：从预设的图层缓存队列中获取第一时刻的图像数据，包括第一时刻下所有图层中待显示的内容；对第一时刻下所有图层中待显示的内容进行叠加处理，得到第一时刻下的目标图像；并控制显示器显示第一时刻下的目标图像。

第三方面，本申请提供一种图像识别方法，应用于显示设备，该方法包括：

获取显示器中的所有图层，所述所有图层中包括视频图层和图片图层中的至少一种；检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态；当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。

由以上技术方案可以看出，本申请提供了一种显示设备和图像识别方法，可以获取显示器中的所有图层。再检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态。当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。显示设备可以直接识别图像内容，不需要用户对图像进行截取后再识别。智能化程度较高，提高了图像识别的效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了一可行性实施例中显示器显示一帧图像的示意图；

图6示出了一可行性实施例中显示器显示的画面的示意图；

图7示出了一可行性实施例中显示器中显示的画面的示意图；

图8a示出了一可行性实施例中第一时刻下第一图层的图像内容的示意图；

图8b示出了一可行性实施例中第二时刻下第一图层的图像内容的示意图；

图8c示出了一可行性实施例中图层差异区域的示意图；

图9示出了一些实施例中显示设备各部件的交互流程图；

图10示出了图像识别方法的一个实施例的流程示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。

在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。

在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

对于一些显示设备，在进行图像识别时，需要用户对显示设备当前播放的图像进行截取，显示设备再对用户截取的图像进行图像识别。当图像为静态状态时，可以利用静态识别模型，例如OCR文字模型，识别图像中的文字内容，例如字幕或者提示语。当图像为动态变化状态时，可以利用动态识别模型识别图像中的目标对象，例如图像中的各个人物等。由于现有的显示设备进行图像识别时，需要由用户自主截取图像，智能化较低，导致用户的体验性较差。同时用户截取图像的过程需要花费一定的时间，导致图像识别的时间较长，效率较低。

本申请提供一种显示设备，包括显示器和控制器。

在一些实施例中，显示器可以播放网络中的媒资资源，例如影视视频等。在播放媒资时，控制器可以从网络信号源中获取图像数据，并对图像数据进行处理，从而得到一系列图像并在显示器中显示。

对于显示器来说，在显示画面时，显示器中可以包括若干个图层surface，每一个图层可以对应一种类型，例如：显示器中可以包括视频图层和图片图层等。从网络信号源中获取的图像数据即是显示器中的所有图层待显示的内容。显示器中每一时刻都可以显示一帧图像，显示设备获取到的时刻t时的图像数据即为时刻t时所有图层待显示的内容。

图像数据中可以包括多个图像内容，每一个图像内容即为某个时刻下某个图层中待显示的内容。

需要说明的是，显示器中的每个图层会有各自的图层属性，例如图层坐标和图层尺寸。显示设备获取到的图像数据中会包括多个图像内容，每个图像内容都会具有各自的属性信息，可以根据属性信息确定每个图像内容对应哪个图层。例如，显示器中的第一图层为矩形，长度为A，宽度为B。第一图层的坐标为点X1、X2、X3和X4之间的区域。对于获取的所有图像内容，可以根据每个图像内容的尺寸和坐标进行匹配。当图像内容的尺寸和坐标均与第一图层相同时，则该图像内容为第一图层中待显示的内容。

因此，可以根据图层属性判断出图像内容属于哪个图层。

在一些实施例中，显示器中可以包括多种图层，例如：视频图层、文字图层以及图片图层。其中，视频图层中为视频内容，例如电影或电视剧等。文字图层中为文字内容，例如电子书或媒资信息等。图片图层中为图片内容，例如显示设备的菜单UI或各种图片等。

每种图层中还可以包括多个图层，例如：显示器中可以可以显示第一窗口和第二窗口，且两个窗口中可以播放两种媒资资源，此时显示器中包括两个视频图层。

在一些实施例中，显示器可以全屏播放媒资，此时控制器获取的图像数据可以仅为媒资对应的视频内容，同时显示器中可以全屏显示视频图层。

在一些实施例中，显示器也可以窗口化形式播放媒资，此时控制器获取的图像数据可以包括视频图层的图像内容，即媒资对应的视频内容。也可以包括文字图层的图像内容，例如媒资的作品信息，包括主演、导演、编剧、地区、影视类型和上映时间等信息。图像数据还可以包括图片图层的图像内容，例如媒资的图标等。

图5示出了一可行性实施例中显示器显示一帧图像的示意图。其中，显示器中包括三个图层，正在播放中的媒资资源为视频图层的图像内容，媒资资源的作品信息为文字图层的图像内容，媒资资源的图标为图片图层的图像内容。三个图层的同一时刻的图像内容可以通过叠加处理得到一帧图像。

在一些实施例中，控制器可以不断地获取到图像数据。在获取到图像数据的同时，可以将图像数据存储到预设的图层缓存队列中，从而使图层缓存队列中可以包含控制器接收到的所有的图像数据，即所有图层的图像内容。当显示设备需要使用图像内容时，例如使用图像内容生成一帧图像时，或者其他需要使用图像内容的功能时，可以直接在图层缓存队列中获取，不需要再到网络信号源中获取，提高了效率。

在一些实施例中，在获取到新的图像数据K1时，控制器可以将该图像数据K1存储至预设的图层缓存队列中，并记录当前时刻t1。当获取到下一时刻的图像数据K2时，控制器可以将图像数据K2存储至预设的图层缓存队列中，并记录图像数据K2对应的时刻t2。同时按照时间顺序对图层缓存队列中所有的图像数据进行排列。表1示出了一可行性实施例中的图层缓存队列。

表1图层缓存队列

图像数据	图层A	图层B	图层C
				时刻t1	A1	B1	C1
时刻t2	A2	B2	C2

显示器中共包括三种类型的图层，分别为A，B和C。控制器获取的第一帧图像数据中包括三个图像内容，分别为A1，B1和C1，此时的时刻为t1。控制器获取的第二帧图像数据中包括三个图像内容，分别为A2，B2和C2，此时的时刻为t2。当获取到下一帧图像数据时，则按照时间顺序继续添加新的图像数据到图层缓存队列中，并记录时间。

在一些实施例中，控制器可以利用图像内容生成图像。具体的，控制器可以利用内部的图像生成模块生成图像。其中，图像生成模块中存储有图像生成算法的执行单元，可以利用图像内容生成图像，例如对图像内容进行叠加处理得到图像。

具体的，控制器可以从预设的图层缓存队列中获取某一时刻的图像数据，并对该时刻的图像数据中的所有图像内容进行叠加处理，得到一帧图像，即该时刻的目标图像，并在显示器中显示目标图像。

控制器可以按照图层缓存队列的顺序依次对每一时刻的图像数据分别进行叠加处理，从而得到显示器中待播放的每一帧目标图像。同时可以在显示器中按照时间顺序播放每一帧目标图像，从而实现播放相应的媒资或视频等。

在一些实施例中，显示设备还包括图像采集器，例如摄像头。其中，摄像头可以作为一种检测器内置于显示设备中，也可以作为一种外部装置外接在显示设备上。对于外接在显示设备的摄像头，可以将摄像头连接至显示设备的外部装置接口，接入显示设备。用户可以利用摄像头在显示设备上完成拍照或拍摄功能，从而将摄像头采集到的数据展示到显示器中，以供用户观看。

摄像头可以进一步包括镜头组件，镜头组件中设有感光元件和透镜。透镜可以通过多个镜片对光线的折射作用，使景物的图像的光能够照射在感光元件上。感光元件可以根据摄像头的规格选用基于CCD(Charge-coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的检测原理，通过光感材料将光信号转化为电信号，并将转化后的电信号输出成图像数据。摄像头还可以按照设定的采样频率逐帧获取图像数据，以根据图像数据形成视频流数据。

在一些实施例中，用户可以向显示设备发送启动摄像头的控制指令，以开启摄像头。

用户可以通过操作遥控器的指定按键，向显示设备发送摄像头开启指令。在实际应用的过程中预先绑定摄像头开启指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个摄像头开启按键，当用户触控该按键时，遥控器发送摄像头开启指令至控制器，此时控制器控制摄像头开启。当用户再次触控该按键时，控制器可以控制摄像头关闭。

还可以在显示设备的UI界面中设置摄像头开启选项，当用户点击该选项时，可以控制显示设备开启摄像头。

在一些实施例中，当摄像头处于开启状态时，可以通过镜头组件实时获取图像数据，并将获取的图像数据发送给显示设备。控制器可以接收摄像头发送的图像数据。并根据摄像头的图像数据生成目标图像，从而在显示器中显示，以供用户观看。

摄像头的图像数据中包括一种图像内容，即摄像头拍摄到的画面，用于在摄像头对应的图层中显示。控制器可以控制显示器直接显示摄像头拍摄到的画面，以供用户观看。

在一些实施例中，显示设备可以同时在显示器中显示摄像头采集到的相应画面和在网络信号源中获取到的相应画面。此时，显示设备需要同时获取到摄像头发送的第一图像数据以及网络信号源中的第二图像数据。对于t1时刻来说，第一图像数据中包括摄像头采集到的画面，用于在摄像头对应的图层中显示。第二图像数据中包括网络信号源中的若干个图像内容。再将t1时刻的第一图像数据和第二图像数据进行叠加处理，得到该时刻对应的一帧图像，进而得到显示器中待播放的每一帧图像。

控制器可以控制显示器显示第一窗口和第二窗口，其中，第一窗口中显示摄像头对应的画面，第二窗口显示媒资资源。图6示出了一可行性实施例中显示器显示的画面的示意图。其中，第一窗口中包括一个图层，用于显示摄像头画面。摄像头发送的第一图像数据中包括一种图像内容，为摄像头图层中待显示的内容。第二窗口中包括三个图层，用于显示媒资画面。其中，媒资资源为视频图层的图像内容，媒资资源的作品信息为文字图层的图像内容，媒资资源的图标为图片图层的图像内容。因此网络信号源中的第二图像数据包括三种图像内容。控制器通过对同一时刻四种图像内容进行叠加处理，得到显示器当前显示的一帧图像。

在一些实施例中，用户可以利用显示设备进行视频聊天，此时控制器可以控制显示器显示第一窗口和第二窗口。其中，利用摄像头拍摄用户的情况，并在第一窗口中展示。通过网络信号源获取聊天对象的情况，并在第二窗口中展示。图7示出了一可行性实施例中显示器中显示的画面的示意图。其中，第一窗口中为摄像头画面，展示用户情况。摄像头画面为一个图层，此时摄像头发送的第一图像数据中包括一种图像内容。第二窗口为聊天对象画面，可以从网络信号源获取聊天对象的摄像头画面，此时网络信号源中的第二图像数据中也包括一种图像内容。控制器通过对两种图像内容进行叠加处理，得到显示器当前显示的一帧图像。

显示设备在根据图像内容生成目标图像的同时，还可以直接对图像内容进行识别。

在一些实施例中，显示设备具有图像识别功能，可以对显示器中所有图层的图像内容，即所有图层中待显示的内容进行识别。用户可以向显示设备输入图像识别指令，控制器接收到图像识别指令时，可以控制显示设备进入图像识别模式，此时控制器可以对所有图层的图像内容进行识别。

在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送图像识别指令。在实际应用的过程中预先绑定图像识别指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个图像识别按键，当用户触控该按键时，遥控器发送图像识别指令至控制器，此时控制器控制显示设备进入图像识别模式，并对显示器中所有图层的图像内容进行识别。当用户再次触控该按键时，控制器可以控制显示设备退出图像识别模式。

在一些实施例中，也可以预先绑定图像识别指令与多个遥控器按键之间的对应关系，当用户触控与图像识别指令绑定的多个按键时，遥控器发出图像识别指令。在一可行性实施例中，图像识别指令绑定的按键依次为方向键(左、下、左、下)，即当用户在预设时间内连续触控按键(左、下、左、下)的情况下，遥控器才发送图像识别指令至控制器。采用上述绑定方法，可以避免图像识别指令由于用户的误操作而发出。

本申请实施例仅是示例性的提供几种图像识别指令与按键之间的绑定关系，在实际应用的过程中可以根据用户的习惯设定图像识别指令与按键之间的绑定关系，在此不做过多的限定。

在一些实施例中，当用户使用智能设备控制显示设备时，例如使用手机时，也可以向显示设备发送图像识别指令。在实际应用的过程中可以在手机中设置一个控件，可以通过该控件选择是否进入图像识别模式，从而发送图像识别指令至控制器，此时控制器控制显示设备进入图像识别模式。

在一些实施例中，当用户使用手机控制显示设备时，可以对手机发出连续点击指令。连续点击指令指的是：在预设的周期内，用户对手机触摸屏的同一区域进行点击的次数超过预设阈值。例如：当用户在1s内对手机触摸屏的某个区域连续点击3次，则视为一次连续点击指令。手机接收到连续点击指令后，可以向显示设备发送图像识别指令，以使控制器控制显示设备进入图像识别模式。

在一些实施例中，当用户使用手机控制显示设备时，也可以设置为：当检测到用户对手机触摸屏的某一区域的触控压力值超过预设的压力阈值时，手机可以向显示设备发送图像识别指令。

还可以在显示设备的UI界面中设置图像识别选项，当用户点击该选项时，可以控制显示设备进入或退出图像识别模式。

在一些实施例中，当显示设备处于图像识别模式，控制器可以对图像内容进行识别。假设显示器中包括两个图层，第一图层和第二图层。则图像数据包括两种类型的图像内容，每一个图层对应一种图像内容，此时可以分别对两个图层的图像内容进行识别。

在对第一图层的图像内容，即第一图层中待显示的内容进行识别时，控制器可以检测第一图层的变化状态。在规定时间内，如果第一图层发生了变化，则可以认为第一图层处于动态变化状态，例如显示视频或者动态变化的图片等。在规定时间内，如果第一图层没有发生变化，则可以认为第一图层处于静态状态，例如显示静止不动的图片或文字等。

在一些实施例中，控制器可以从图层缓存队列中获取第一时刻下第一图层的图像内容以及第二时刻下第一图层的图像内容，并检测两个图像内容是否相同。其中，第一时刻和第二时刻之间相差预设周期。第一时刻可以为显示设备进入图像识别模式的时刻。

预设周期可以是接收一帧图像数据对应的时间。例如，控制器获取到的图像数据为60帧，则控制器接收一份图像数据的时间是1/60秒，则设定预设周期为1/60秒。因此第一时刻下第一图层的图像内容与第二时刻下第一图层的图像内容，为控制器接收到的连续两张图像内容。此时，控制器可以检测连续的两张图像内容是否相同。如果两张图像内容相同，则第一图层处于静态状态，如果两张图像内容不相同，则第一图层处于动态变化状态。

在一些实施例中，控制器每接收到第一图层对应的图像内容，就可以将新的图像内容和上一张图像内容进行比较，从而实时检测第一图层的变化状态。

在一些实施例中，考虑到一帧时间的变化程度不是很明显，预设周期也可以设定为接收多帧图像数据对应的时间。例如，一帧图像数据对应的时间为T1，则预设周期可以为3T1。即控制器可以检测第一帧和第四帧的图像内容，并判断两张图像内容是否相同。

在一些实施例中，控制器在检测第一时刻下第一图层的图像内容与第二时刻下第一图层的图像内容是否相同时，可以对两张图像内容进行图像相减(diff)处理，例如将两张图像内容输入至DiffImg工具中进行处理。

如果图像相减处理结果为0，表示两张图像内容没有差异，是相同的。此时第一图层处于静态状态。

如果图像相减处理结果不为0，表示两张图像内容之间存在差异，是不同的。此时第一图层处于动态变化状态。

需要说明的是，图像内容中可以包含若干个目标对象，当两张图像内容不同时，目标对象以及位置信息也会发生变化。两张图像内容的图像相减处理结果中可以包括目标对象的变化区域，即图层差异区域。也可以包括图层差异区域的位置信息。

图8a示出了一可行性实施例中第一时刻下第一图层的图像内容的示意图，其中包括两个目标对象P1和P2。图8b示出了一可行性实施例中第二时刻下第一图层的图像内容的示意图，其中，目标对象P1和P2的位置发生了变化。对两张图像内容进行图像相减处理后，可以得到图像相减处理结果。图8c示出了一可行性实施例中图层差异区域的示意图，其中，Q1为目标对象P1的变化区域，Q2为目标对象P2的变化区域。

在一些实施例中，当检测到第一图层为静态状态时。控制器可以对第一图层的图像内容进行静态识别，可以是进行文字识别处理，以获取文字信息。例如，将第一图层输入至OCR文字识别模型中，可以得到第一图层的图像内容中的文字内容以及文字内容在第一图层中的位置信息。

在一些实施例中，当检测到第一图层为动态变化状态时，控制器可以对第一图层的图像内容进行动态识别处理。例如，将第一时刻下第一图层的图像内容、第二时刻下第一图层的图像内容以及图像相减处理结果输入至动态识别模型中，得到动态识别结果。其中，动态识别结果中可以包括每个目标对象的识别结果，动态识别模型可以是目标检测模型或目标追踪模型。

在一些实施例中，控制器可以实时检测每一种图层的变化状态，再根据检测结果对每一种图层的图像内容进行识别，从而识别出所有图层中的内容。图9示出了一些实施例中显示设备各部件的交互流程图。

本申请实施例可以直接利用图层缓存队列识别图像内容，因此可以在图像内容生成图像的同时进行图像内容识别，不需要等到生成图像后再进行识别，因此提高了效率，同时所有的工作都是有显示设备完成的，不需要用户再去截取图像，智能化程度高。

在一些实施例中，控制器中可以设置智能识别模块，智能识别模块内部存储有上述识别图层内容的方法对应的算法。因此智能识别模块可以直接从图层缓存队列中获取图像内容，并判断图层的变化状态，再进一步对图像内容进行识别。

在一些实施例中，控制器中可以设置监控模块，监控模块可以实时检测图层缓存队列中的图像数据，其他模块可以在监控模块中注册身份。当其他模块需要使用图层缓存队列中的图像数据时，可以和监控模块进行通信连接。监控模块检测该模块是否已经注册了身份，若是，则监控模块将图层缓存队列中的图像数据发送至该模块。例如，当显示设备进入图像识别模式时，智能识别模块可以和监控模块进行通信连接。当监控模块确认身份后，可以将图层缓存队列中的图像数据发送至智能识别模块。同时每当图层缓存队列中加入新的图像数据时，监控模块都可以将新的图像数据发送至智能识别模块。

在一些实施例中，控制器从图层缓存队列中获取到图像数据时，可以检测是否存在图层处于动态变化状态，已确认显示器中待显示的目标图像的变化状态。

例如，显示器中包括两个图层，第一图层和第二图层，第一图层的图像数据和第二图层的图像数据可以生成显示器中待显示的目标图像。控制器可以检测第一图层和第二图层其中的任意一个，在第一时刻下待显示的内容和第二时刻下待显示的内容是否不同。若是，则认为显示器中待显示的目标图像为动态变化状态，若不是，则认为显示器中待显示的目标图像为静态状态。

具体为，当检测第一图层或者第二图层或者两个图层都处于动态变化状态时，则认为图像数据对应的目标图像为动态变化状态。当检测到两个图层都处于静态状态时，则认为图像数据对应的目标图像为静态状态。

控制器可以根据所有的图层获取到目标图像，再对目标图像进行内容识别。当目标图像为动态变化状态时，对目标图像进行动态识别处理，以识别目标图像中的目标对象。当目标图像为静态状态时，对目标图像进行OCR文字识别处理，以获取文字信息。

可见，本实施例与上述实施例的区别在于，当获取到图像数据时，根据图层的变化状态判定图像的变化状态，并进一步对图像进行内容识别。

本申请实施例还提供一种图像识别方法，应用于显示设备，如图10所示，包括：

S101、获取显示器中的所有图层，所述所有图层中包括视频图层和图片图层中的至少一种；

S102、检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态；

S103、当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器；

控制器，被配置为：

获取显示器中的所有图层，所述所有图层中包括视频图层和图片图层中的至少一种；

检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态；

当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同的步骤中，

对第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容进行图像相减处理；

若图像相减处理结果为0，则第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容相同；若图像相减处理结果不为0，则第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容不相同。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行当图层为静态状态时，对图层中待显示的内容进行静态识别的步骤中，

对图层中待显示的内容进行文字识别处理，以获取文字信息，所述文字信息包括图层中待显示的文字内容以及所述文字内容在图层中的位置信息。

4.根据权利要求2所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行当图层为动态变化状态时，对图层中待显示的内容进行动态识别的步骤中，

获取图像相减处理结果，所述图像相减处理结果包括图层差异区域和所述图层差异区域在图层中的位置信息；所述图层差异区域为图层中的目标对象的变化区域；

将第一时刻下图层中待显示的内容、第二时刻下图层中待显示的内容以及所述图像相减处理结果输入至动态识别模型中，得到动态识别结果；所述动态识别结果中包括目标对象的识别结果。

5.一种显示设备，其特征在于，包括：

显示器；

控制器，被配置为：

获取显示器中的所有图层，所述所有图层中包括第一图层和第二图层，所述第一图层和所述第二图层用于生成目标图像；

检测第一图层和第二图层其中的任意一个，在第一时刻下待显示的内容和第二时刻下待显示的内容是否不同；若是，则目标图像为动态变化状态，若不是，则目标图像为静态状态；

当目标图像为静态状态时，对目标图像进行静态识别；当目标图像为动态变化状态时，对目标图像进行动态识别。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器还被配置为：

在执行检测第一图层和第二图层其中的任意一个，在第一时刻下待显示的内容和第二时刻下待显示的内容是否不同的步骤前，

获取图像数据，所述图像数据为所有图层中待显示的内容。

7.根据权利要求6所述的显示设备，其特征在于，显示设备还包括：

图像采集器，被配置为采集第一图像数据；

所述控制器进一步被配置为：

在执行获取图像数据的步骤中，接收图像采集器发送的第一图像数据，和/或，从网络信号源中获取第二图像数据。

8.根据权利要求6所述的显示设备，其特征在于，所述控制器进一步被配置为：

在执行获取图像数据的步骤中，

当获取到第一时刻的图像数据时，将第一时刻的图像数据存储至预设的图层缓存队列中；所述第一时刻的图像数据中包括第一时刻下所有图层中待显示的内容；

当获取到第二时刻的图像数据时，将第二时刻的图像数据存储至预设的图层缓存队列中，并按时间顺序对图像数据进行排列；所述第二时刻的图像数据中包括第二时刻下所有图层中待显示的内容；

所述第一时刻和所述第二时刻之间相差预设周期。

9.根据权利要求8所述的显示设备，其特征在于，所述控制器还被配置为：

从预设的图层缓存队列中获取第一时刻的图像数据，包括第一时刻下所有图层中待显示的内容；

对第一时刻下所有图层中待显示的内容进行叠加处理，得到第一时刻下的目标图像；并控制显示器显示第一时刻下的目标图像。

10.一种图像识别方法，应用于显示设备，其特征在于，所述方法包括：

获取显示器中的所有图层，所述所有图层中包括视频图层和图片图层中的至少一种；

检测第一时刻下图层中待显示的内容与第二时刻下图层中待显示的内容是否相同；若相同，则图层为静态状态，若不相同，则图层为动态变化状态；

当图层为静态状态时，对图层中待显示的内容进行静态识别；当图层为动态变化状态时，对图层中待显示的内容进行动态识别。

Images