CN117643061A - 显示设备及媒资内容推荐方法 - Google Patents

Abstract

提供了一种显示设备(200)、服务器(400)以及媒资内容推荐方法，该显示设备包括：显示器(260)，被配置为显示用户界面；控制器(250)，被配置为：获取用户输入的识图指令；响应于所述识图指令，向服务器发送图像识别请求，请求中包括待识别图像；以及接收所述服务器反馈的与图像关联的数据，关联的数据至少包括热搜文本，热搜文本为与通过对待识别图像执行图像识别所获得的识别结果关联的文本；根据关联的数据在用户界面中显示推荐画面，推荐画面包括至少基于热搜文本生成的选项以请求与图像相关的搜索。

Description

显示设备及媒资内容推荐方法

相关申请的交叉引用

本申请要求于2021年7月23日提交的申请号为202110836063.0、于2021年9月24日提交的申请号为202111120100.4的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及媒资内容推荐方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

实际使用中，显示设备可以为用户提供多种用户界面，用户可以基于各种类型的界面控制显示设备执行不同的操作，以满足用户的需求。在显示设备提供的用户界面中，可以包括用于显示多媒资资源链接的用户界面，例如媒资推荐界面、媒资列表界面等。当用户点击用户界面中的任一媒资链接时，显示设备可以跳转至选中媒资的详情界面或播放界面，以便对用户选中的媒资进行播放。

用户界面中显示具体包含的媒资链接通常由显示设备连接的服务器统一下发，并可以根据用户的实际操作规律，进行个性化调整。例如，显示设备可以根据用户的观看历史记录，调整媒资推荐界面中的媒资链接排列顺序，使符合用户观看类型的媒资排列在靠前的区域。但是这种媒资推荐方式，过度依赖于用户的观看习惯，不利于用户接触新的媒资类型，使媒资推荐页面中的内容过于单一，降低用户体验。

此外，显示设备还可以支持识图功能，即用户可以控制显示设备对目标图像(在下文中也称为“待识别图像”)进行图像处理，以识别出目标图像中的人物、特征物、文字等信息。然后根据图像识别结果，在媒资数据库中匹配相关联的媒资内容，并通过特定的内容显示窗口对媒资项目进行展示，以供用户选择可能感兴趣的媒资项目进行播放。

由于相关联的媒资内容是根据图像识别结果在媒资数据库中进行匹配获得，因此当媒资数据库的资源量较大，且图像识别结果偏向于与热门资源相关联时，可以在媒资数据库中匹配到数量较多的媒资项目。而当媒资项目数量较多时，需要较大的内容显示窗口进行展示，不仅会遮挡用户界面，而且不利于用户选中自己感兴趣的媒资项目，降低用户体验。

发明内容

本申请提供了一种显示设备及媒资内容推荐方法，以解决传统显示设备的用户界面中媒资内容单一以及传统识图功能匹配结果过多的问题。

一方面，本申请的实施例提供了一种显示设备，包括：

显示器，被配置为显示图像；

用户输入接口，配置为接收用户的指令；

遥控器，

控制器，与所述显示器、用户输入接口连接并且被配置为：

在所述显示器显示图像期间，获取用户输入的识图指令；

响应于所述识图指令，向服务器发送图像识别请求，所述请求中包括待识别图像；以及

接收所述服务器反馈的与所述图像关联的数据，所述关联的数据至少包括热搜文本，所述热搜文本为与通过对所述待识别图像执行图像识别所获得的识别结果关联的文本；

根据所述关联的数据在所述显示器上显示推荐画面，所述推荐画面包括至少基于所述热搜文本生成的选项以请求与所述图像相关的搜索。

另一方面，本申请的实施例提供了一种用于显示设备的媒资内容推荐方法，包括：

通过显示设备获取用户输入的识图指令，

以及响应于所述识图指令，向服务器发送图像识别请求，所述请求中包括待识别图像；

接收通过服务器执行图像识别而获得的与所述图像关联的数据，所述关联的数据至少包括热搜文本，所述热搜文本为与通过对所述待识别图像执行图像识别所获得的识别结果关联的文本；

根据所述关联的数据在用户界面中显示推荐画面，所述推荐画面包括至少基于所述热搜文本生成的选项以请求与所述图像相关的搜索。

附图说明

图1为本申请实施例中显示设备的使用场景；

图2为本申请实施例中控制装置的硬件配置框图；

图3为本申请实施例中显示设备的硬件配置图；

图4为本申请实施例中显示设备的软件配置图；

图5A为本申请实施例中首页示意图；

图5B为本申请实施例中媒资推荐示意图；

图6为本申请实施例中推荐画面示意图；

图7为本申请实施例中显示设备结构示意图；

图8为本申请实施例中媒资内容推荐方法时序关系图；

图9A为本申请实施例中热搜文本选项示意图；

图9B为本申请实施例中基于当前媒资平台的搜索结果示意图；

图9C为本申请实施例中全网搜索结果示意图；

图9D为本申请实施例中搜索输入界面示意图；

图10为本申请实施例中识图选项卡示意图；

图11A为本申请实施例中一种搜索选项卡示意图；

图11B为本申请实施例中另一种搜索选项卡示意图；

图12为本申请实施例中搜索操作流程示意图；

图13为本申请实施例中选中操作流程示意图；

图14为本申请实施例中裁切截屏图片流程示意图；

图15为本申请实施例中识图应用操作流程时序图；

图16为本申请实施例中推荐窗口显示方法流程示意图；

图17为本申请实施例中模式切换窗口示意图；

图18为本申请实施例中少儿模式界面示意图；

图19为本申请实施例中服务器生成关联数据的流程示意图；

图20A为本申请实施例中影视模式下推荐窗口示意图；

图20B为本申请实施例中少儿模式下推荐窗口示意图；

图20C为本申请实施例中游戏模式下推荐窗口示意图；

图21为本申请实施例中搜索结果界面示意图；

图22为本申请实施例中生成目标图像流程示意图；

图23为本申请实施例中服务器结构示意图；

图24为本申请实施例中服务器提取关联数据流程示意图；以及

图25为本申请实施例中推荐窗口显示流程时序图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

图1为根据实施例的显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。

图2为根据一些实施例的控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3为根据一些实施例的显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒资接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(Notification Manager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

基于上述显示设备200，用户可以在使用显示设备200的过程中，控制显示设备200显示各种用户界面。在显示设备200显示的用户界面中，可以根据用户的观看习惯，显示推荐资源。

在一些实施例中，如图5A所示，显示设备可以显示不同频道的首页。可以通过运营配置，配置首页栏目位上显示不同的媒资以进行媒资的推荐。用户可以选中栏目位进行下一级页面的展开或观看。用户也可以通过显示页面上设置的搜索页面进入搜索页来进行媒资的搜索。用户还可以通过语音搜索来直接获得反馈结果。

在一些实施例中，例如，如图5B所示，用户在观看影片A的媒资详情页面中，可以根据影片A的类型、内容、作者等信息，在“猜你喜欢”区域显示与影片A同类型的影片B、与影片A内容相似的影片C以及与影片A同一个作者的影片D，以供用户选择。

为了实现上述内容推荐过程，显示设备200中可以内置有用于记录用户观看习惯的控制程序。随着用户观看过程，显示设备200可以通过启动该控制程序对用户观看的内容进行记录，形成历史记录信息。当需要显示推荐内容时，显示设备200则可以通过历史记录信息在资源库中进行匹配，以获得符合用户观看内容的推荐内容。

但是，基于历史记录确定推荐内容的方式，只能够获得部分与历史记录的媒资有关联的内容，不利于用户了解新内容。例如，用户在看到某些影片的海报或截图时，可能对该影片或演员产生兴趣，或者想要了解该影片对应的详细信息。为此，在一些实施例中，显示设备200可以通过图像识别技术，对图像进行识别处理，以便从图像中识别出影片名称、演员名字等相关信息，从而为用户的搜索提供更便捷的体验。

例如，如图6所示，用户可以控制显示设备200执行识图的操作，在该操作中，可以执行截图操作，以获得截屏图像。可以对截屏图像执行图像识别算法，以根据截屏图像中的像素点分布规律，识别出截屏图像中的人物目标。再根据人物目标所归属的人物类型，确定与该人物类型相适应的推荐媒资内容。如对于影视明星类型的人物，可以确定同一人物的不同影视作品；对于体育明星类型的任务，可以确定该体育相关的视频资源等。在确定推荐内容后，显示设备200可以在用户界面的特定位置展示对应的推荐媒资项目，以供用户选择。

在一些实施例中，在截图识别页面显示时可以利用图6中影片B和/或影片C的位置进行人物识别结果的展示。

在一些实施例中，在人物识别结果中识别出的人物数量小于展示位个数时，可以用剩余的展示位进行推荐媒资项目的展示。

在一些实施例中，显示内容显示在视频层，截图识别结果展示在视频层上方的OSD图层中，人物识别结果，推荐媒资项目均通过OSD图层中的展示位控件进行展示。

在一些实施例中，在展示截图识别结果时，焦点被设置在OSD图层上的任一控件位置，此时视频层的控件不可获取焦点，即焦点不会在OSD图层展示时移动到视频层上的控件位置，用户选择取消OSD图层的显示后，视频层的控件开始正常的焦点获取。

在一些实施例中，通过对图像识别确定的推荐内容可以使用户在未观看具体媒资内容的前提下，获得与图像内容相关的推荐内容。但是，仅仅根据图像识别结果推荐媒资项目的推荐方式，远不能满足对用户对于更丰富内容的需求。例如，部分用户使用图像识别方法并不是想获得图像中人物的其他作品，而是想要了解图像中的人物。

为了满足更多用户对推荐内容的需求，在本申请的部分实施例中，提供一种显示设备200。所述显示设备200包括：显示器260、通信器220以及控制器250。其中，显示器260可用于显示图像。通信器220可以通过网络连接等远程通信方式连接服务器400，实现与服务器400之间的数据交互。用户输入接口，配置为接收用户的指令。控制器250可以被配置为执行一种基于图像识别的内容推荐方法，用于在全部或部分图像中显示多种类型的推荐内容，其可以被配置为：在所述显示器显示图像期间，获取用户输入的识图指令；响应于所述识图指令，向服务器发送图像识别请求，所述请求中包括待识别图像；以及接收所述服务器反馈的与所述图像关联的数据，所述关联的数据至少包括热搜文本，所述热搜文本为与通过对所述待识别图像执行图像识别所获得的识别结果关联的文本；根据所述关联的数据在所述显示器上显示推荐画面，所述推荐画面包括至少基于所述热搜文本生成的选项以请求与所述图像相关的搜索。

如图7所示，具体包括以下步骤：

获取用户输入的识图指令。显示设备200在运行过程中，可以实时监听用户的交互动作。不同的交互动作可以用于控制显示设备200实现不同的功能。其中，当用户输入用于控制显示设备200执行图像识别的交互动作时，表示用户输入识图指令。根据显示设备200的具体交互方式的不同，用户可以通过不同的交互方式输入识图指令。

对于部分显示设备200，用户可以通过显示设备200配套的控制装置100执行交互动作，以输入识图指令。例如，控制装置100上可以设有截图键，当用户按下所述截图键时，可以触发显示设备200执行截图操作，以获得截屏图像。

显示设备200还可以设置截图规则，即在不同的用户界面下，截图获得图像自动运行图像处理相关的操作。例如，用户在显示设备200显示播放界面时按下截图键，则在截图获得具体的图像后，对截屏获得的图像进行保存。而用户在显示设备200显示媒资列表界面时按下截图键，则可以在截图获得具体的图像后自动对图像执行对图像进行识别。即识图指令可以由用户在显示设备200显示媒资列表界面时通过按下控制装置100上的按键完成输入。

显示设备200还可以在用户界面中显示用于识图操作的控件，以供用户选中。例如，用户可以通过控制装置100呼出用户界面的状态栏，在状态栏中可以包括“截图/识图”选项。用户再通过控制装置100上的方向键和确定键，控制焦点光标移动并选中“截图/识图”选项，触发显示设备200执行截屏和识图操作。即识图指令可以基于用户界面中的选项控件完成输入。

对于部分显示设备200，其中可以内置智能语音系统，用户可以使用智能语音系统输入语音输入识图指令。例如，用户可以输入“识别图中内容”、“识别当前画面中的人物”等语音内容，则智能语音系统可以对语音内容进行识别，并转化为具体的控制命令，以驱动显示设备200执行识图操作。

需要说明的是，用户不仅可以针对用户界面中的具体画面输入识图指令，而且可以针对某一具体的图片文件输入识图指令。例如，用户可以在显示设备200打开某个图片文件时，通过长按控制装置100上的截图按键，控制显示设备200对所打开的图片文件执行识图操作。

在接收到用户输入的识图指令后，显示设备200可以响应于所述识图指令，向所述服务器发送待识别图像。其中，待识别图像可以根据识图操作的目标不同，具有不同的图像形式。例如，当显示设备200接收到识图指令是由截屏操作触发，则待识别图像为截屏操作所获得的截屏图像。当显示设备200接收到的识图指令是针对显示设备200已打开的图片文件，则待识别图像为该图片文件。

显示设备200可以在接收到识图指令后，对识图指令指示的待识别图像进行提取，并将提取的图像文件转码、压缩等处理，以形成数据包。再按照显示设备200与服务器400之间的网络连接关系，以特定的传输协议将数据包发送给服务器400以进行图像识别请求。

如图8所示，服务器400在收到该图像识别请求后，获取该数据包，可以对数据包进行解压缩、解码等处理，从而在数据包中解析出待识别图像。然后服务器400根据图像识别算法，对待识别图像进行图像识别处理，以从待识别图像中识别具体目标。例如，服务器400中可以内置有用于识别图像中人物目标的识别模型，当显示设备200将待识别图像发送给服务器400后，服务器400可以将显示设备200发送的待识别图像输入识别模型。则经过识别模型的计算，可以输出待识别图像中是否包含人物目标，以及符合人物目标特征的人物信息。其中，识别模型输出的内容具体可以为人物目标归属于某个人物的分类概率，则最终确定人物目标特征的人物信息为分类概率最高的标签类型。

可以通过在服务器400中预置多种类型的识别模型，实现对待识别图像中不同目标进行识别。例如，除人物目标识别模型外，服务器400中还可以预置用于识别图像中所包含的具体文字内容的文字识别模型、用于识别图像中所包含景物内容的景物识别模型、用于识别图像中商品内容的商品识别模型等。可以通过显示设备200设置待识别图像所具体输入的识别模型。即需要在图像中识别出的信息类型越多，则服务器400将待识别图像输入的识别模型种类就越多。显然，在服务器400将待识别图像输入的识别模型种类越多时，获取识别结果所需要的时间也就越长，因此为了兼顾识别结果种类和识别时间，在一些实施例中可以在服务器400中可以分别设置一个特征目标识别模型和一个文字识别模型，分别用于在图片中识别获得图文信息。

在服务器400对待识别图像执行识别处理后，可以向显示设备200反馈基于识别结果提取的关联的数据。即显示设备200可以接收服务器400反馈的关联的数据。所述关联数据包括热搜文本和/或推荐链接。其中，所述热搜文本可以为与通过对待识别图像执行图像识别所获得的识别结果关联的文本；推荐链接可以为与识别结果关联的媒资地址和/或网页地址。

在一些实施例中，服务器400在对从显示设备200接收到的图像进行人物的匹配和识别时，还进行文字的识别。

在一些实施例中，服务器400在识图过程中，会获得识别对象的在图像中的相对位置，继而在获取到人物识别结果和文字识别结果后，可以将位置关系满足预设条件的人物识别结果和文字识别结果进行关联。示例性的，位置关系可以是距离小于预设阈值，也可以是文字识别结果对应的对象在人物识别结果对应的图像下方，还可以是两者的组合。

在一些实施例中，在服务器400中可以维护一个媒资项目数据库，在媒资项目数据库中可以存储有基于网络或本地搜索引擎统计的热搜词库，即用户搜索频率较高的词语集合。在媒资项目数据库中还可以存储有当前平台中的全部媒资项目。当通过图像识别操作在图像中识别出文字“综艺”后，服务器400可以在热搜词库中匹配与“综艺”相关的热搜文本。同理，通过图像识别操作在图像中识别出人物“张三”后，服务器400可以在媒资项目数据库中匹配与“张三”有关的影视内容，并提取对应的媒资地址。因此，服务器400可以将“综艺”相关的热搜文本和“张三”相关的媒资地址组合为关联数据，并反馈给显示设备200。

在一些实施例中，服务器400可以仅根据识别出的文字结果进行热搜文本的推荐，同时仅根据人物识别结果进行媒资的推荐。在一些实施例中，还可以同时根据识别出的文字结果和人物识别结果进行热搜文本的推荐和/或媒资的推荐。

在一些实施例中，截图中包含的文字结果可能会很多，此时服务器400可以仅根据和人物识别结果满足预设位置关系的文字识别结果进行热搜文本的推荐，忽略不满足位置关系的文字识别结果。

在一些实施例中，在未识别到文字结果时，服务器400还可以根据当前搜索功能的热搜索进行热搜文本的推荐。

显示设备200在接收到服务器400反馈的关联的数据后，可以根据关联的数据在用户界面中显示推荐画面。在本申请的实施例中，可以对推荐画面进行渲染以进行显示。所述推荐画面包括基于热搜文本和/或推荐链接生成的选项。推荐画面可以是显示设备200跳转的新界面，也可以是在原界面的特定区域内显示的悬浮窗口。

例如，如图9A所示，推荐画面可以位于当前用户界面的底部区域。在推荐画面的长条形窗口中，可以包括位于中部搜索区和位于两侧的推荐项目区。显示设备200可以在搜索区中显示搜素框和位于搜索框下方的热搜文本选项，以供用户选中。当用户选中任一热搜文本选项时，显示设备200可以自动执行对该热搜文本的搜索操作。

在执行搜索操作后，显示设备200可以在当前用户界面的OSD层上显示搜索结果界面。如图9B所示，显示设备200在执行搜索时，可以在当前媒资平台内进行搜索，以从当前媒资平台中搜索出与选中热搜文本相关联的媒资项目。例如，用户在选中热搜文本“张三”后，显示设备200可以向服务器400发送包含文本“张三”是搜索词，使服务器400可以在当前媒资平台匹配与“张三”相关的媒资项目，再反馈给显示设备200，以在显示设备200的OSD层渲染或呈现一个媒资展示窗口，以展示匹配获得的关联项目。

同理，显示设备200在执行搜索时，也可以通过网络搜索引擎执行全网搜索。例如，在用户选中任一热搜文本后，显示设备200可以通过访问指定的搜索类网站，并以选中的热搜文本为关键词，通过该搜索类网站进行全网搜索，并在显示设备200的OSD层显示搜索结果网页，如图9C所示。

在一些实施例中，显示设备200在执行搜索过程中，可以先后按照上述两种方式显示搜索结果。即在用户选中任一热搜文本后，可以在OSD层渲染或呈现两个窗口，分别用于展示当前媒资平台内的搜索结果和全网搜索结果。

在一些实施例中，显示设备200在执行搜索过程中，也可以先在当前媒资平台内进行搜索，并将搜索结果进行展示。当展示当前媒资平台内的搜索结果一定时间，或者用户输入全网搜索的指令后，再以选中的热搜文本为搜索词进行全网搜索，并呈现全网搜索结果。

显然，如果用户未选中热搜文本而选中搜索框时，显示设备200可以启动常规搜索功能。即如图9D所示，在用户选中搜索框后，可以在OSD层中显示输入控件，如键盘、手写板、语音助手等。用户可以基于显示是输入控件，输入想要进行搜索的文本内容。

显示设备200还可以在推荐项目区中显示推荐链接，当用户选中任一推荐链接时，可以控制显示设备200跳转至指定媒资详情界面或者特定网页界面，以实现播放或访问操作，满足用户的特定需求。

需要说明的是，由于显示设备200在与服务器400之间进行数据交互过程中，受网络传输延迟、数据加解密等过程的影响，会消耗一部分时间用于数据传输。即显示设备200向服务器400发送待识别图像时会消耗一部分时间，服务器400向显示设备200反馈关联数据时，也会消耗一部分时间，再结合图像识别过程所消耗的时间，将会导致整个推荐过程的时间过长。因此，为了提高内容推荐效率，在一些实施例中，还可以在显示设备200中预置使用频率较高的识别模型，从而在用户输入识图指令时，可以先由显示设备200内置的识别模型先进行图像识别，从而获得一部分类型的识图结果，以便于使显示设备200可以先渲染或呈现出一个推荐画面，供用户选择。当用户基于先渲染或呈现的推荐画面进一步输入用于指示需要获取其他类型的推荐内容时，显示设备200再向服务器400发送待识别图像并接收服务器400反馈的关联的数据。

可见，在上述实施例中，通过将识别模型分别预置在显示设备200和服务器400中，可以提高内容推荐的效率，并且能够兼顾内容推荐类型的多样性。此外，由于识图操作可以分别由显示设备200和服务器400完成，因此还可以减少显示设备200或服务器400的数据处理量，避免识图过程对运算资源的过度占用。

在一些实施例中，显示设备200渲染的推荐画面可以包括两个选项卡(标签页)，其中一个选项卡用于展示识图结果；另一个选项卡用于展示通过搜索及推荐结果。例如，如图10、图11A、图11B所示，推 荐画面可以包括“××识图”选项卡和“搜索”选项卡，在“××识图”选项卡内，可以在中部区域显示待识别图像的缩略图，在两侧区域显示从图中识别出的结果，如人物、文字、商品等。因此，当用户输入识图指令后，显示设备200可以先将待识别图像分别输入商品识别模型和人物识别模型，以获得商品推荐内容和人物推荐内容，并在“××识图”选项卡内渲染或呈现为识图结果选项，供用户查看和选择。

如图11A、图11B所示，用户还可以通过选中“搜索”选项控制显示设备200切换至该选项卡。在“搜索”选项卡内，可以在中部区域显示搜索框，搜索框的下方显示多个热搜文本。在两侧区域显示根据识图结果推荐的媒资链接和/或网页链接。为此，在用户点击“搜索”选项卡时，显示设备200可以将待识别图像发送至服务器400，并通过服务器400中的识别模型进一步对待识别图像进行识图操作，从而获得包括热搜文本、媒资链接和/或网页链接的关联的数据。

推荐画面可以拥有特定的布局方式。例如，如图10所示，可以在推荐画面的左侧区域显示商品识别结果，在右侧区域显示识别出的人物图像及名称。不同的选项卡可以保持相同的布局方式，如图11A所示，也可以在切换选项卡后，改变布局方式，如图11B所示，可以在左侧展示区域重新布局，展示新的内容。在上述实施例中，显示设备200所呈现的推荐画面可以通过位于视频层上层的OSD层进行显示。即在一些实施例中，在用户输入识图指令后，显示设备200可以响应于识图指令，调用OSD层进行界面显示或渲染。在该过程中，显示设备200可以调用推荐画面的显示模板，并获取识图模型输出的识图结果以及服务器400反馈的关联数据。最后根据显示模板和识图结果渲染或呈现出具体的推荐画面，以显示在OSD层。

并且，对于推荐画面中不同的选项卡，也可以通过不同的OSD层进行显示。例如，当推荐画面中包括“××识图”和“搜索”两个选项卡时，可以在渲染或呈现推荐画面时，调用两个OSD层，分别用于渲染或呈现“××识图”选项卡中的识图结果画面和“搜索”选项卡中的推荐项目。相应地，用户在切换选项卡时，可以通过控制对应OSD层的显示/隐藏状态，完成各选项卡内容的展示。

对于多个选项卡中显示的内容，显示设备200可以通过服务器400提前下发，即在用户输入识图指令时，服务器400直接完成识图操作和内容推荐，并将识图结果和推荐项目一并发送给显示设备200，以用于在不同的OSD层执行渲染或呈现操作。每个选项卡中显示的内容也可以在用户选择该选项卡标签控件后触发的获得，即显示设备200在检测到用户点击“搜索”选项后，再从服务器400获取推荐项目，以用于渲染或呈现“搜索”选项卡。

通过OSD层对推荐画面进行显示，可以使推荐画面的显示过程不会影响到显示设备200原本用户界面的显示过程，从而保持视频层画面的正常显示，提升用户体验。并且，通过OSD层显示推荐画面还便于用户通过简单的交互操作还原至初始的用户界面。如在不需要执行搜索操作时，可以通过按下控制装置100上的“退出”按键，控制显示设备200取消显示推荐画面，继续显示原用户界面。

在显示设备200显示推荐画面后，用户还可以基于显示的推荐画面执行进一步交互操作，即如图12所示，在一些实施例中，用户可以基于推荐画面中的热搜文本执行搜索操作，以获得热搜文本对应的网络资源内容。为了实现快速的搜索交互操作，显示设备200可以先获取用户基于所述推荐画面中热搜文本选项输入的搜索指令。例如，用户可以使用控制装置100上的方向键，控制焦点光标移动至感兴趣的热搜文本。当用户通过按下确定键控制焦点光标选中任一热搜文本时，则可以控制显示设备200以选中的热搜文本为检索词进行搜索，即显示设备200获取用户输入的搜索指令。

在用户输入搜索指令后，显示设备200可以响应于所述搜索指令，向所述服务器400发送搜索请求。其中，所述搜索请求包括所述搜索指令中选中的热搜文本。服务器400可以在启动网络资源搜索引擎或者本地搜索引擎执行搜索操作，即服务器400可以在资源项目数据中搜索选中与热搜文本相关联的媒资资源，并将搜索结果反馈给显示设备200。

显示设备200在接收到服务器400针对所述搜索请求反馈的关联媒资链接后，可以根据关联媒资链接更新推荐画面中的选项。例如，通过识图操作可以在待识别图片中识别出多个人物时，服务器400提取多个人物中被搜索次数较多的人物名字作为热搜文本，并将搜索次数较多的人物名字反馈给显示设备200，同时反馈每个人物的代表作品资源链接。显示设备200再根据接收的人物名字和代表作品渲染或呈现推荐画面。即在推荐画面的中部区域显示多个人物名字，在推荐画面的两侧区域显示每个人物的代表作品。

当用户在推荐画面的中部区域选中人物名字“李四”时，显示设备200可以向服务器400发送带有热搜文本“李四”的搜索请求，使服务器400进一步搜索“李四”相关的媒资链接和/或网页链接。经过搜索后服务器400再将搜索结果反馈给显示设备200，显示设备200则根据接收到的搜索结果，对两侧区域内的各代表作品进行替换，替换为“李四”相关的媒资链接或网页链接。

显然，由于推荐画面可以通过OSD层进行显示，因此在更新推荐画面的过程中，显示设备200也可以仅针对OSD层的内容进行更新，并保持OSD层的单独渲染过程。因此，视频层界面，如播放界面、控制主页等，可以正常播放或显示，以满足用户的观影需要。

在一些实施例中，显示设备200在接收到服务器400针对所述搜索请求反馈的关联媒资链接后，还可以显示特定的推荐界面。推荐界面可以显示在推荐画面所在OSD层的上层OSD层内。相对于传统显示设备200在执行搜索功能时直接跳转至搜索界面，本实施例中可以通过OSD层显示关联媒资链接，即在保证视频层界面正常播放或显示的同时，通过OSD单独显示关联媒资链接的推荐界面，减少搜索过程对用户观影过程的干扰。

在一些实施例中，显示设备200显示推荐画面后，如果用户选中推荐链接，则显示设备200可以执行页面跳转操作，对选中的推荐内容进行访问或播放。即如图13所示，显示设备200可以获取用户基于所述推荐画面中推荐链接选项输入的选中指令。显然，与搜索指令和识图指令相类似的，选中指令也可以通 过控制装置100按键、触摸屏、智能语音助手等方式完成输入。

在用户输入选中指令后，显示设备200可以响应于所述选中指令，检测所述选中指令指定的所述推荐链接的链接类型。其中，所述链接类型包括媒资地址和网页地址。如果所述链接类型为媒资地址，即确定用户控制播放推荐媒资时，显示设备200可以向服务器400发送数据获取请求，以及跳转至播放界面播放选中的媒资。如果所述链接类型为网页地址，即确定用户控制访问推荐网页时，显示设备200可以向服务器400发送网页访问请求，以跳转至网页浏览界面显示访问的网页。

例如，在获取服务器400反馈的关联数据后，显示设备200可以在推荐画面中添加从图像中识别出的“张三”人物简介网页链接和人物相关媒资作品链接。因此可以在推荐画面的两侧显示“张三”简介选项和张三出演的影片A、影片B和影片C选项。当用户选中“张三”简介选项时，显示设备200可以检测到链接类型为网页地址，因此可以向服务器400发送访问请求，从而获取关于“张三”简介网页对应的网页内容，并跳转至浏览器显示“张三”人物简介网页。当用于选中影片A选项时，显示设备200可以检测出选中的链接类型为媒资地址，因此可以向服务器400发送数据获取请求，以获取影片A的播放文件，同时跳转至播放界面，对影片A进行播放。

在一些实施例中，当用户基于推荐界面执行操作跳转至网页界面、播放界面等新的界面后，还可以通过交互操作，控制显示设备200退出新的界面。例如，用户可以在显示设备200显示影片A的播放播放界面时，按下控制装置100上的返回键，控制显示设备200退出播放界面。

响应于用户输入的退出操作，显示设备200可以根据记录的操作路径，原路返回至显示推荐画面的用户界面中，并且返回推荐画面后，焦点光标也可以设置在推荐画面所在的OSD层，以便于用户继续基于推荐画面执行其他交互动作，如点击影片B选项，以跳转至影片B的播放界面。

在一些实施例中，响应于用户输入的退出操作，显示设备200还可以返回至不包含推荐画面的原用户界面。例如，用户在控制主页触发显示推荐画面，并在推荐画面中选择播放影片A时，当用户输入退出操作，则显示设备200可以返回至显示控制主页，即返回不包含OSD层的视频层界面，以便用户可以在退出新界面时，直接取消OSD层相关操作，维持原本的观影体验。

在一些实施例中，显示设备200还可以针对各种用户界面设置显示层级关系，例如，用户界面的显示层级关系可以为：控制主页-媒资详情界面-播放界面。对此，响应于用户输入的退出操作，显示设备200还可以跳转至当前界面的上一级界面。例如，无论用户在推荐画面中选择播放影片A还是在媒资详情页面中显示播放影片A，在用户按下控制装置100上的退出键时，都跳转至媒资详情界面，以便于用户继续观看或了解详情信息等操作，满足部分用户的需求。

在上述实施例中，显示设备200向服务器400发送的待识别图像可以用户界面的截图也可以是某个具体的图片文件。对于待识别图像是用户界面的截图时，显示设备200还可以根据用户的不同需要，对整个用户界面或者对用户界面的局部进行识图操作。例如，对于支持触控交互操作的显示设备200，用户可以在显示设备200进入截屏操作状态后，通过多指滑动调整截屏区域大小，以实现对用户界面的局部进行截图操作。

为了便于用户操作，显示设备200还可以在截图后对截屏图像进行裁切，以获得用户界面局部区域的图像内容，即如图14所示，在一些实施例中，显示设备200还可以在获取用户输入的识图指令的步骤中，检测用户截屏交互动作，并根据所述截屏交互动作对所述用户界面执行截屏操作，以生成截屏图片；再裁切所述截屏图片，以获得所述待识别图像。

例如，在用户长按控制装置100上的截图按键后，显示设备200可以在界面中对截图结果进行展示，展示图像期间，显示设备200可以实时接收控制装置100上的按键动作，并响应于方向键上的操作，移动裁切范围，从而在用户按下确定键后，完成对用户界面截屏图像的裁切。

经过裁切处理后的图像，可以将图像中的主要图像区域发送给服务器400进行识图操作，从而减轻待识别图像中包括内容要素过多时，对识图结果造成影响，提高识图操作的准确率。

在一些实施例中，为了实施对图像的识别，显示设备200还可以在根据所述截屏交互动作对所述用户界面执行截屏操作的步骤中，启动识图应用，以通过所述识图应用感知所述截屏交互动作中的截图事件。识图应用可以是安装在显示设备200操作系统中的系统应用或第三方应用程序。

如图15所示，识图应用启动后，可以在显示设备200的业务操作系统中广播截图命令，以使业务操作系统可以响应截图命令执行截屏操作，以生成截屏图片。业务操作系统再将截屏图片发送给识图应用，以使识图应用可以对截屏图片继续执行识图等操作。通过识图应用，可以扩展显示设备200的处理能力，从而可以通过对识图应用的不断更新维护，实现更多的识图功能，满足不同的用户需求。

为了便于用户基于推荐画面执行交互操作，在一些实施例中，显示设备200可以在根据所述关联的数据在所述用户界面中渲染或呈现推荐画面的步骤中，从所述关联的数据中解析识别目标信息。其中，所述识别目标信息包括目标介绍文本和目标详情链接，用于指示图像中的识别对象和识别结果。在解析获得识别目标信息后，显示设备200可以向推荐画面中添加目标介绍文本和目标详情链接，以便于用户能够及时了解自己感兴趣的推荐内容，进而选中特定内容。

在一些实施例中，通过对图像识别确定的推荐内容可以使用户在未观看具体媒资内容的前提下，获得与图像内容相关的推荐内容。推荐内容可以包括推荐媒资项目和其他推荐资源项目，如游戏、应用、网页、文字等。推荐内容可以通过在资源数据库中匹配获得。例如，推荐媒资项目是根据图像识别结果在媒资数据库中进行匹配获得，因此当媒资数据库的资源量较大，且图像识别结果偏向于与热门资源相关联时，可以在媒资数据库中匹配到数量较多的媒资项目。而当媒资项目数量较多时，需要较大的内容显示窗口进行展示，不仅会遮挡用户界面，而且不利于用户选中自己感兴趣的媒资项目，降低用户体验。

为了满足用户对推荐资源的需求，并减少无关推荐项目的数量，在本申请的部分实施例中，还提供了一种显示设备200。显示设备的控制器250还可以被配置为执行一种基于业务场景的推荐窗口显示方法，如图16所示，具体包括以下步骤：

获取用户输入的识图指令。该过程与上述的获取用户输入的识图指令相同，在此不再赘述。

在获取识图指令后，显示设备200可以响应于识图指令，检测当前用户界面归属的业务场景。

在一些实施例中，所述业务场景可以是根据资源类型在控制系统或应用中设定的不同模式。根据不同的操作系统形式，显示设备200可以提供不同种类和数量的业务场景。例如，所述业务场景可以包括：少儿模式、教育模式、影视模式、娱乐模式等。在不同的模式下，显示设备200可以为用户推荐不同的资源。例如，在少儿模式下，显示设备200可以在媒资推荐界面中只显示子供向的媒资项目，如动画片、儿童片等；在教育模式下，显示设备200可以在媒资推荐界面中显示科教类媒资项目，如课程视频、在线直播课程、科普纪录片等。

在一些实施例中，通过在用户界面进行模式切换后，显示设备200会更新当前记录的业务标识。在后续使用中，则可以通过检测业务标识来确定当前的业务场景。显示设备200还可以将业务标识发送给服务器400，以便于服务器400通过检测业务标识来确定当前的业务场景。

在一些实施例中，业务场景的获取不是在模式切换时进行标记的，而是识别截图中的文字和/或人物的名称，然后根据识别出的文字和/或人物的名称，以及预设的映射关系确定表征当前业务场景的业务标识。映射关系是根据媒资资源的名称，海报文字，人物等和媒资所对应的业务场景之间的映射关系，是预先建立并存储的。人物可以是真实人物也可以是虚拟人物。在一些实施例中，如果在截图中识别出了“一年级”、“二年级”、“数学基本功”、“高中冲刺”等文字或图形内容，会根据预设映射关系，确定当前是教育场景；同理，如果识别出了“汪汪队立大功”、“萌鸡小队”等文字和或动画形象，确定当前是少儿场景；如果识别出了“电影名称1”、“电影名称2”、“电影名称3”、“电影名称4”等，则确定当前是电影模式。识别图像中的文字和/或人物的名称来确定业务场景的过程可以是显示设备200确定好之后，将表征业务场景的业务标识来上传给服务器400，也可以不在显示设备200中进行业务场景的区分，而是由服务器400根据上传的截图进行人物的识别和业务场景的判断。

在一些实施例中，所述业务场景可以是当面页面展示的资源类型对应的频道主题。示例性的，服务器400会根据对媒资资源的类型进行分类，将其归为不同的频道主题，用户可以选择不同的频道主题类进行不同类型的媒资资源的展示。频道主题可以如图5A或图6所示“少儿”、“教育”、“购物”等等，展示频道主题的控件又可以被称为TAB栏。用户通过操控焦点在TAB栏中的不同的频道主题移动，来控制内容区域显示对应该频道主题的内容，并且，展示后，可以向下移动焦点，以进行内容区域中控件的操作。在频道主题控件切换后，显示设备200会更新当前记录的业务标识。

在每种业务场景下，显示设备200可以通过呈现媒资的页面中仅向用户提供与该业务场景相适应的资源项目。例如，根据显示设备200的面向用户，显示设备200可以提供的业务场景可以包括常规模式和教育模式。其中常规模式下，显示设备200可以在媒资推荐界面中显示播放热度较高的电影、电视剧、综艺节目等综合性媒资项目，也可以根据用户的观看历史，显示推荐项目。而在教育模式下，显示设备200可以根据用户订阅的课程资源，在媒资推荐界面中显示关联课程项目。

除上述根据媒资项目类型划分业务场景的方式外，在一些实施例中，显示设备200还可以根据用户使用功能划分业务场景。例如，部分显示设备200可以提供游戏模式，在游戏模式下，显示设备200可以在应用列表显示推荐的游戏应用，以供用户选择安装和运行。

需要说明的是，显示设备200所能够提供的业务场景不局限于上述少儿模式、教育模式、影视模式、娱乐模式、常规模式以及游戏模式等，根据显示设备200所支持的功能、面向的用户群体以及显示设备200支持的资源库状况，显示设备200还可以提供其他类型的业务场景，并在该业务场景下，显示与当前业务场景相符的资源项目。

基于上述业务场景，显示设备200可以通过多种方式对当前用户界面归属的业务场景进行检测。在一些实施例中，显示设备200可以实时监控用户的进入或退出某个各种业务场景的操作，即获取用户输入的用于进入或退出业务场景的控制指令，并响应于控制指令，将当前业务场景写入系统属性数据库中。

例如，如图17所示，用户通过控制装置100控制焦点光标移动至控制主页上的“模式切换”控件，并在弹出的模式选择窗口中选中“教育模式”选项，则可以控制显示设备200进入教育模式。此时，显示设备200可以通过修改系统属性数据库中的记录参数，自动将系统属性数据库中的当前业务场景记录为“教育模式”。

显示设备200可以通过识别字符串，对各种业务场景进行标记，并保存在系统属性数据库中。例如，在系统属性数据库中可以设有专门用于记录业务场景的数据表，数据表中包括类型表项“Mode name”，当用户控制显示设备200进入教育模式时，显示设备200可以对类型表项进行赋值，使其对应值从用于表示常规模式的“standard”修改为用于表示教育模式的“education”。

因此，在检测当前用户界面归属的业务场景时，从系统属性数据库中查询当前用户界面归属的业务场景。即显示设备200在获取到用户输入的识图指令后，响应于识图指令在系统属性数据库中读取类型表项当前的状态值，从而在读取到当前类型表项状态值为“education”时，确定当前用户界面归属的业务场景为“教育模式”。

由于显示设备200还可以通过运行多媒资应用，播放多媒资应用中提供的媒资项目。而不同的多媒资应用可以提供来自不同平台、具有不同特点的媒资项目。因此，所述业务场景还可以根据运行的多媒资应用确定。例如，当显示设备200运行“AA-少儿早教”应用时，显示设备200可以根据该应用名称“AA- 少儿早教”在本地数据库或者云端服务器400查询该应用归属的类型，即儿童教育类应用。再根据查询获得的应用类型，匹配符合显示设备200场景划分方式的具体业务场景。即“AA-少儿早教”应用所提供的媒资与少儿模式类型相同，因此可以确定显示设备200的当前业务场景为少儿模式。

由于部分应用支持向显示设备200反馈其归属的业务场景，如系统应用、运营商开发的应用以及得到运营商认证的第三方应用等，因此还可以通过业务应用上报的结果，检测当前业务场景。即在一些实施例中，在检测当前用户界面归属的业务场景的步骤中，调用当前用户界面的业务应用，并向业务应用发送场景上报通知，再接收业务应用针对场景上报通知返回的业务场景。

在一些实施例中，当通过系统属性数据库和应用检测均无法确定当前业务场景时，显示设备200还可以通过当前用户界面中所包含的内容，识别其归属的业务场景。即在检测当前用户界面归属的业务场景的步骤中，显示设备200可以先获取用户界面中的焦点光标位置，再根据焦点光标位置提取当前焦点频道名称，以确定当前业务场景。

为了标记每个业务场景，在显示设备200的操作系统中，可以为每个业务场景设置场景标签，显示设备200可以根据场景标签识别各种业务场景。例如，如图18所示，在显示设备200的控制主页中可以包括多个选项卡，每个选项卡上设有用于标记该频道的名称，包括电视剧、电影、纪录片、少儿、教育等。显示设备200通过检测焦点标记所在位置，确定当前焦点频道名称，即焦点标记所在的选项卡对应名称“少儿”，从而确定当前业务场景为“少儿模式”。

由于为了满足UI界面的显示多样性，显示设备200在显示部分选项卡时，会修改选项卡名称。例如，显示设备200会在部分暑假期间，将选项卡名称从“少儿”修改为“快乐暑假”。因此，为了准确的确定业务场景，显示设备200可以在提取焦点频道名称后，调用标准业务库，以通过标准业务库匹配频道名称对应的业务场景。例如，可以在标准业务库中匹配“快乐暑假”对应的业务场景为“少儿模式”。其中，标准业务库中可以记录有每个业务场景的标准识别代码，以及用于表示该业务场景的频道名称。标准业务库可以跟随操作系统的UI更新策略实时更新记录。

在检测当前业务场景后，显示设备200可以根据检测的当前业务场景以及识图指令对应要识别的目标图像生成图像识别请求，并向服务器400发送图像识别请求，以使服务器400可以针对图像识别请求反馈的关联的数据。在一些实施例中，所述关联的数据包括热搜文本和推荐项目。所述推荐项目为根据热搜文本，在资源数据库中查询获得的符合业务场景的项目。

在一些实施例中，生成图像识别请求包括待识别图像(也称为目标图像，例如，截图)和表征业务场景的场景标识。截图可以用于进行截图结果的反馈，场景标识用于进行热搜文本的获取。在一些实施例中，生成图像识别请求包括截图和不包括表征业务场景的场景标识，其中截图用于进行截图结果的反馈，以及根据视图的结果确定当前的业务场景。

如图19所示，服务器400在接收到显示设备200发送的图像识别请求后，可以先对目标图像执行图像识别，以获得热搜文本。服务器400可以根据图像识别算法，对目标图像进行图像识别处理，以从目标图像中识别具体目标。该图像识别过程与上述相同，在此不再赘述。

为了获取热搜文本，在一些实施例中，服务器400可以将目标图像输入图像识别模型，以获取图像识别结果。其中，所述图像识别结果包括关键词。再通过提取业务场景下的热搜词库，并在热搜词库中匹配与关键词关联的热搜文本。

在一些实施例中，不同的业务场景分别对应不同的热搜词库。

在一些实施例中，也可以是在一个热搜词库中，对热搜词进行不同业务属性的分类，在热搜词库中筛选对应业务场景的热搜词。

服务器400中可以维护一个资源项目数据库，在资源项目数据库中可以存储有基于网络或本地搜索引擎统计的热搜词库，即用户搜索频率较高的词语集合。在资源项目数据库中还可以存储有当前平台中的全部媒资项目。当通过图像识别操作在图像中识别出文字“综艺”后，服务器400可以在热搜词库中匹配与“综艺”相关的热搜文本，如《加油××》、《奔跑××》等。

在服务器400对目标图像执行识别处理以获得热搜文本后，服务器400可以向显示设备200反馈该热搜文本。显示设备200再根据反馈的热搜文本渲染或呈现推荐窗口。在推荐窗口中，热搜文本可以作为快捷搜索项目，用于在用户选中后，以选中的热搜文本为关键词进行相关资源项目的搜索。

在一些实施例中，服务器400还会反馈识图的结果以及识图推荐。

在一些实施例中，显示设备200接收服务器400反馈的识图结果和识图推荐，以及热搜词结果和热搜推荐。

在一些实施例中，视频层中的显示继续进行，即，如果原来有视频播放则继续播放，如果有轮播图片继续轮播，图片的展示一切均按照被截图界面原有逻辑进行，不进行打断。在视频层上方的浮层中，显示服务器400反馈的结果。

在一些实施例中，根据识图结果和识图推荐生成识图标题控件，根据热搜词结果和热搜推荐生成热搜词标题控件，这两个控件可以获取焦点，在焦点位于识图标题控件时，浮层中展示识图结果和识图推荐，在焦点位于热搜词标题控件时，展示热搜词结果和热搜推荐。识图标题控件和热搜词标题控件在浮层中作为标题栏长存，浮层中的标题栏和浮层中可切换显示的内容显示区之间的逻辑关系和主页中的标题栏即主页内容区之间的逻辑关系。

在一些实施例中，在焦点位于识图标题控件时，浮层中内容区的中间位置展示截图，在截图的一侧展示识图识别出的人物，另一侧显示推荐(和图6类似)。在焦点位于热搜词标题控件，在中间位置展示搜索框和热搜词控件，在中间位置两侧，展示热搜推荐。

在一些实施例中，只中间位置进行切换，中间位置的一侧展示识图反馈的人物，另一侧展示推荐，在焦点位于识图标题控件时，浮层中内容区的中间位置展示截图。在焦点位于热搜词标题控件，在中间位置展示搜索框和热搜词控件。

在基于推荐窗口的搜索过程中，显示设备200可以根据用户选中的热搜文本，向服务器400发送搜索请求。服务器400则可以在接收到搜索请求后，在搜索请求中解析热搜文本，并根据热搜文本在资源数据库中查询符合业务场景的项目，以获得推荐项目。

例如，如图20A所示，当显示设备200接收到的识图指令是针对一张带有汽车的目标图像进行识图操作。则过检测当前用户界面归属的业务场景为视频业务场景后，向服务器400发送图像识别请求。服务器400在接收到图像识别请求后，可以解析目标图像，并识别出图像内的“汽车”目标，并通过热搜词库匹配到热搜文本“速度与××”、“××飞车”，并反馈给显示设备200。

显示设备200再根据热搜文本“速度与××”、“××飞车”渲染或呈现推荐窗口，该推荐窗口中包括“速度与××”、“××飞车”选项。当用户控制选中“速度与××”选项后，显示设备200再向服务器400发送包含选中热搜文本的搜索请求。服务器400再根据搜索请求，在当前视频业务场景对应的资源子集中搜索与“速度与××”相关联的推荐项目，即《速度与××8》、《速度与××10》等电影资源。

可见，在不同的业务场景下，服务器400根据热搜文本查询到的推荐项目是不同的。例如，对于同一张包含汽车的图片，在视频业务场景下，获得的热搜文本和推荐项目是与汽车有关的影片信息，即热搜文本是“速度与××”、“××飞车”等影片名称，推荐项目是《速度与××》、《××飞车》等电影资源。而在教育场景下，获得的热搜文本和推荐项目是跟汽车相关的动画片或者教学类视频。即如图20B所示，热搜词是“汽车小镇”、“汽车总动员”等动画片名称，推荐项目是《汽车小镇》、《汽车总动员》等动画片资源。而在应用游戏场景下，推荐的热搜文本和推荐项目是与汽车相关的游戏资源，即如图20C所示，热搜文本为“××卡丁车”、“××飞车”等游戏名称，推荐的游戏内容也是与汽车相关的游戏。

在上述实施例中，推荐窗口可以是悬浮显示在用户界面上层的独立窗口，也可以是显示设备200跳转后的新界面。在推荐窗口中可以包括基于热搜文本和推荐项目链接生成的选项。用户可以通过推荐窗口执行交互操作，控制显示设备200基于推荐项目执行选中、预览等操作，控制显示设备200基于推荐窗口中的推荐项目进行播放、浏览、跳转等操作。

在一些实施例中，推荐窗口可以包括多个用于显示不同内容的区域。对推荐窗口以及推荐窗口的操作与上述类似，在此不再赘述。

在一些实施例中，为了呈现推荐窗口，显示设备200可以在用户界面所在图层的上层创建显示图层，并获取热搜文本和推荐项目。再调用推荐窗口的显示模板，以向显示模板中添加热搜文本和推荐项目，形成推荐画面。最后，在显示图层中显示推荐画面。例如，在执行搜索操作后，显示设备200可以在当前用户界面的OSD层上显示搜索结果界面。

如图20A所示，显示设备200在执行搜索时，可以在当前业务场景内进行搜索，以从当前业务场景对应的资源子集中搜索出与选中热搜文本相关联的资源项目。例如，用户在选中热搜文本“速度与××”后，显示设备200可以向服务器400发送包含文本“速度与××”是搜索词，使服务器400可以在当前媒资平台匹配与“速度与××”相关的媒资项目，再反馈给显示设备200，以在显示设备200的OSD层渲染一个展示窗口，展示匹配获得的推荐项目，如图21所示。

在一些实施例中，显示设备200在执行搜索过程中，可以先在当前业务场景内进行搜索，并将搜索结果进行展示。当展示当前业务场景内的搜索结果一定时间，或者用户输入全网搜索的指令后，再以选中的热搜文本为搜索词进行全网搜索，并呈现全网搜索结果。

显示设备200可以在推荐项目区中显示推荐项目。所显示的推荐项目可以根据用户的交互操作进行实时变化，例如，在用户点击“速度与××”的热搜文本选项后，显示设备200可以根据在当前业务场景内的搜索结果，获取与“速度与××”相关联的推荐项目，即《速度与××1》、《速度与××8》等媒资项目，并显示在推荐项目区内。

显示设备200也可以在渲染或呈现推荐窗口时，在推荐项目区内显示初始推荐内容。其中，初始推荐内容可以是服务器400在进行图像识别时，根据匹配的热搜文本查询的推荐项目。即在一些实施例中，服务器400在进行图像识别获取热搜文本后，根据热搜文本，在资源数据库中查询获得的符合业务场景的推荐项目，并将推荐项目与热搜文本共同组成关联数据，以反馈给显示设备200。显示设备200再根据关联数据在用户界面中渲染推荐窗口。

例如，服务器400通过图像识别操作在图像中识别出汽车目标后，匹配在少儿模式下汽车目标对应的热搜文本为“汽车小镇”、“汽车总动员”。服务器400再根据该热搜文本在少儿模式对应的资源项目数据库中匹配与“汽车小镇”、“汽车总动员”有关的影视内容，即《汽车小镇》、《汽车总动员》，并提取对应的媒资地址。因此，服务器400可以将“汽车小镇”、“汽车总动员”等热搜文本和《汽车小镇》、《汽车总动员》的媒资地址组合为关联数据，并反馈给显示设备200。从而在显示推荐窗口时，可以在推荐项目区域显示《汽车小镇》、《汽车总动员》的媒资项目。

可见，通过上述实施例提供的推荐窗口显示方法，显示设备200可以在使用识图功能时，利用检测的当前业务场景对热搜文本和推荐项目进行筛选，从而在推荐窗口中显示更加符合用户当前需求的热搜项目和推荐资源，简化推荐窗口中的资源项目，便于用户操作。

上述实施例中，识图功能的目标图像可以是一个特定的图片文件，也可以是当前用户界面中的特定画面。当识图操作针对的目标图像不同时，显示设备200可以采用不同的程序步骤。即如图22所示，在一些实施例中，显示设备200可以在获取用户输入的识图指令的步骤后，检测识图指令中指定的目标图像。 如果识图指令中指定了目标图像所指示的具体图片文件，即确定用户针对特定的图片文件进行识图操作，因此可以直接提取该图片，以生成图像识别请求发送给服务器400进行图像识别处理。

如果识图指令中未指定目标图像，即确定用户未针对特定的图片文件使用识图功能。此时，显示设备200可以默认对当前显示内容使用识图功能，因此可以生成截图命令，并向业务操作系统广播截图命令。业务操作系统在接收到截图命令后，可以响应于截图命令，对当前用户界面执行截图操作，以生成目标图像。

例如，用户在看到当前用户界面上某些影片的海报或封面时，可能对该影片或演员产生兴趣，或者想要了解该影片对应的详细信息。为此，用户可以按下控制装置100上的识图按键，则由于没有针对特定的图片文件，显示设备200可以生成截图命令，并根据截图命令对当前用户界面进行截图，以生成目标图像。再通过图像识别请求发送给服务器400，以通过图像识别技术，对图像进行识别处理，以便从图像中识别出影片名称、演员名字等相关信息。

在一些实施例中，当服务器400向显示设备200反馈的热搜文本数量较多时，显示设备200还可以在接收到关联数据后，对其中的热搜文本进行筛选。即显示设备200可以在根据关联的数据在用户界面中渲染或呈现推荐窗口时，遍历关联的数据中的热搜文本，以筛选出符合业务场景的文本集合，再根据文本集合生成热搜选项。在一些实施例中，每个热搜选项中包括至少一个符合业务场景的热搜文本，以在推荐窗口中添加热搜选项。

在一些实施例中，推荐项目在推荐窗口还可以按照使用热度进行排序，以便用户可以选择热门项目内容。即在根据关联的数据在用户界面中渲染推荐窗口时，显示设备200可以遍历关联的数据中的推荐项目，再根据推荐项目名称查询各项目的使用热度，从而按照使用热度由高至低的顺序，将推荐项目添加至推荐窗口中。

在本申请的部分实施例中，还提供一种服务器400，服务器400包括：存储单元、通信单元以及处理单元。其中，存储单元被配置为保存媒资项目数据；通信单元被配置为连接显示设备200；如图23所示，处理单元被配置为执行以下程序步骤：

响应于来自显示设备的图像识别请求，获取显示设备发送的待识别图像；

对所述待识别图像执行图像识别，以根据所述图像识别的识别结果在所述媒资项目数据中提取关联的数据；

向所述显示设备反馈所述关联的数据，以使所述显示设备根据所述关联的数据渲染或呈现推荐画面，所述推荐画面包括至少基于所述热搜文本和/或推荐链接生成的选项。

在本申请的实施例中，所述关联的数据包括热搜文本和/或推荐链接；所述热搜文本为与所述识别结果关联的文本；所述推荐链接为所述识别结果关联的媒资地址和/或网页地址。可见，本实施例中提供的服务器400可以在获取显示设备200发送的待识别图像后，对待识别图像执行图像识别处理，从待识别图像中识别出具体的目标或文字，从而提取出与待识别图像内容相符的热搜文本和推荐链接并反馈给显示设备200，以在显示设备200的用户界面中渲染或呈现出推荐画面，供用户执行操作。

可见，在上述实施例中，可以通过服务器400对待识别图像进行的识别处理，因此能够减少显示设备200的数据处理量。并且，利用服务器400维护各种类型的图像识别模型，还能够满足不同的识别需要，以获得更多类型的关联数据。

为了能够向显示设备200反馈关联数据，如图24所示，在一些实施例中，服务器400可以在对所述待识别图像执行图像识别的步骤中，将所述待识别图像输入识别模型，并获取所述识别模型输出的目标信息。其中，所述目标信息包括特征目标识别模型输出的类型代码和文字识别模型输出的关键词。

服务器400中内置的识别模型可以包括基于机器学习算法训练获得的识别模型，即经过大量训练样本图像训练获得的人工智能模型可以在待识别图像输入后，输出图像中包含特定目标，如人物、景物等，的分类概率。识别模块还可以包括基于光学字符识别(Optical Character Recognition，OCR)技术的文字识别模型，该识别模型可以在待识别图像输入后，通过检测图像中的暗、亮的模式，确定其形状，进而识别图像中所包含的文字信息。

服务器400在接收到显示设备200发送的待识别图像后，可以根据内置的识别模型数量将待识别图像进行复制，以获得多个图像分别输入识别模型中。不同的识别模型可以根据相同的图像内容输出特定目标的分类概率，以及识别图像中的文字，以获得目标信息。获取识别模型输出的目标信息后，服务器400还可以按照类型代码在媒资项目数据中提取同类型的媒资地址和/或网页地址，以获得推荐链接；以及，按照关键词在媒资项目数据中匹配同义词，以获得关联文本。

例如，在识图应用在获得待识别图像信息后，可以将该待识别图像传递到服务器400，以触发服务器400对图像进行人物(人或者物)识别，经过识别模型的计算，服务器400在识别出目标信息后，可以按照与显示设备200约定的规则，对识别出的人物信息进行数字化处理，即按照约定形成类型数据，如“TYPE:1”代表体育明星等，然后将数字化处理后的信息返回给识图应用，同时并且根据在当前图片中识别出的内容，进行热搜词匹配，确定识别出的人物对应的热搜词，以下发给显示设备200。

在一些实施例中，服务器400在向所述显示设备400反馈所述关联的数据的步骤中，还可以获取显示设备200上当前用户界面的布局信息。例如，服务器400可以向显示设备200发送检测请求，触发显示设备200向服务器400上传当前布局信息。

布局信息中可以包括当前推荐画面的形状、尺寸、分辨率等。服务器400可以根据显示设备200上传的布局信息，计算推荐画面中的选项数量。最后，根据计算的选项数量向显示设备200反馈与选项数量相适应的关联数据。例如，在获取当前推荐画面为用户界面底部的长条形区域时，服务器400可以根据长条形区域的两侧部分宽度和高度确定当前推荐画面中可以显示6个推荐媒资选项，即左侧3个、右侧3个媒资显示位。因此，服务器400可以根据计算的选项数量向显示设备200反馈的关联数据中可以包括6个推荐媒资链接。

在本申请的部分实施例中，还提供一种服务器400。如图25所示，所述处理单元被配置为执行以下程序步骤：

获取显示设备发送的图像识别请求，所述图像识别请求包括目标图像和显示设备当前用户界面归属的业务场景；

对目标图像执行图像识别，以获得热搜文本；

根据热搜文本在资源数据库中查询符合业务场景的项目，以获得推荐项目；

生成关联数据，所述关联数据包括热搜文本和推荐项目；

向显示设备反馈关联数据，以使显示设备根据关联数据在用户界面中渲染推荐窗口。

由以上技术方案可知，上述实施例提供的服务器400可以在获取显示设备200发送的图像识别请求后，对目标图像执行图像识别以获得热搜文本，再根据热搜文本在资源数据库中查询符合业务场景的项目，以获得推荐项目；从而生成关联数据并向显示设备200反馈关联的数据，以使显示设备200根据关联的数据在用户界面中渲染或呈现推荐窗口。所述服务器400可以在进行图像识别的基础上，根据不同的业务场景，获得相应的热搜文本和推荐项目，从而使显示设备200渲染或呈现的推荐窗口中的项目能够与当前业务场景相适应，减少冗余信息，提升该业务场景下的用户体验。

本申请的部分实施例中，还提供一种媒资内容推荐方法，包括以下步骤：

显示设备200获取用户输入的识图指令，以及响应于所述识图指令，向服务器400发送图像识别请求，所述请求中包括待识别图像；

所述服务器400对所述待识别图像执行图像识别，以根据所述图像识别的识别结果在所述媒资项目数据中提取关联的数据，所述关联的数据包括热搜文本和/或推荐链接；所述热搜文本为与所述识别结果关联的文本；所述推荐链接为所述识别结果关联的媒资地址和/或网页地址；

所述显示设备200根据所述服务器400反馈的关联的数据在用户界面中渲染或呈现推荐画面，所述推荐画面包括基于所述热搜文本和/或推荐链接生成的选项。

例如，用户在观看显示设备200的过程中，通过按下控制装置100上的截图键(或者语音唤醒)，触发显示设备200中识图应用的识图场景。触发场景后，识图应用会先感知截图事件，然后给显示设备200的业务操作系统广播截图命令。显示设备200的业务操作系统接收到截图命令后，会执行截图操作获得截屏图片。显示设备200在截图操作执行完成后会将截屏图片传递给识图应用。识图应用接收到截屏图片后，再将该截屏图片传递到服务器400，进行人物识别。服务器400根据识别的结果提取关联的数据，然后将关联的数据返回给识图应用，并且根据当前的图片识别出内容，进行热搜词的下发。

识图应用接收到服务器400返回的数据后，根据返回的类型，通过不同的UI界面呈现给终端用户。同时，在接收到云端识别的当前的关键词后去媒资库中请求相关的热搜数据及热门媒资。然后媒资库根据显示设备200的参数进行数据的查询，并返回给显示设备200结果。显示设备200在收到返回的结果后，进行数据渲染和展示。

由以上实施例可知，本申请提供的媒资内容推荐方法可以在用户输入识图指令后，将待识别图像发送给服务器400，使服务器400可以对待识别图像执行图像识别，并根据识别结果生成关联的数据。显示设备200再根据关联的数据渲染或呈现推荐画面，从而在用户界面中显示包含热搜文本和/或推荐链接选项的推荐界面。所述方法可以基于待识别图像的识别结果，反馈关联文本和/或推荐链接，增加推荐画面中的选项类型，使用户可以按照需求选择不同的关联项目，提升用户体验。

Claims (14)

1. 一种显示设备，包括：

   显示器，被配置为显示图像；

   用户输入接口，配置为接收用户的指令；

   控制器，与所述显示器、用户输入接口连接并且被配置为：

   在所述显示器显示图像期间，获取用户输入的识图指令；

   响应于所述识图指令，向服务器发送图像识别请求，所述请求中包括待识别图像；以及

   接收所述服务器反馈的与所述图像关联的数据，所述关联的数据至少包括热搜文本，所述热搜文本为与通过对所述待识别图像执行图像识别所获得的识别结果关联的文本；

   根据所述关联的数据在所述显示器上显示推荐画面，所述推荐画面包括至少基于所述热搜文本生成的选项以请求与所述图像相关的搜索。
2. 根据权利要求1所述的显示设备，其中，所述控制器被进一步配置为：

   获取用户基于所述推荐画面中的热搜文本选项而输入的搜索指令；以及

   响应于所述搜索指令，向所述服务器发送搜索请求，所述搜索请求包括所述搜索指令中选中的热搜文本。
3. 根据权利要求1所述的显示设备，其中，所述关联的数据还包括推荐链接，所述控制器被进一步配置为：

   获取用户基于所述推荐画面中的推荐链接选项输入的选中指令；

   响应于所述选中指令，检测所述选中指令指定的所述推荐链接的链接类型，所述链接类型包括媒资地址和/或网页地址；

   如果所述链接类型为媒资地址，向所述服务器发送数据获取请求，以跳转至播放界面播放选中的媒资；

   如果所述链接类型为网页地址，向所述服务器发送网页访问请求，以跳转至网页浏览界面显示访问的网页。
4. 根据权利要求1所述的显示设备，其中，所述控制器被进一步配置为：

   提取通过图像识别所获得的识别结果和所述关联的数据，所述推荐画面包括第一选项卡和第二选项卡；

   根据所述识别结果和所述关联的数据创建图形选项；

   在所述第一选项卡中添加基于所述识别结果创建的图形选项；以及

   在所述第二选项卡中添加基于所述关联数据创建的图形选项。
5. 根据权利要求1所述的显示设备，其中，所述控制器被进一步配置为：

   在所述用户界面所在图层的上层创建显示图层；

   获取通过所述图像识别所获得的识别结果和/或所述关联的数据，以调用所述推荐画面的显示模板；

   向所述显示模板中添加所述识别结果和/或所述关联的数据，以生成推荐画面；以及

   在所述显示图层中显示所述推荐画面。
6. 根据权利要求1所述的显示设备，其中，所述控制器被进一步配置为：

   从所述关联的数据中解析识别目标信息，所述识别目标信息包括目标介绍文本和/或目标详情链接；以及

   在所述推荐画面中添加所述目标介绍文本和/或目标详情链接。
7. 根据权利要求1所述的显示设备，其中，所述控制器还被配置为：

   响应于所述识图指令，检测当前用户界面归属的业务场景；

   其中，发送的所述图像识别请求还包括所述业务场景，以及

   其中，从所述服务器接收的所述关联的数据还包括推荐项目，所述推荐项目为根据所述热搜文本通过在资源数据库中查询获得的符合所述业务场景的项目。
8. 根据权利要求7所述的显示设备，其中，所述控制器进一步被配置为：

   在检测当前用户界面归属的业务场景的情况下，调用当前用户界面的业务应用；

   向所述业务应用发送场景上报通知；以及

   从所述业务应用接收针对所述场景上报通知返回的业务场景。
9. 根据权利要求7所述的显示设备，其中，所述控制器进一步被配置为：

   在检测当前用户界面归属的业务场景的情况下，获取所述用户界面中的焦点光标位置；

   根据所述焦点光标位置提取当前焦点频道名称；

   调用标准业务库；以及

   在所述标准业务库中查询与所述焦点频道名称相匹配的业务场景。
10. 根据权利要求7所述的显示设备，其中，所述控制器进一步被配置为：

    获取用户输入的用于进入或退出业务场景的控制指令；

    响应于所述控制指令，将当前业务场景写入系统属性数据库中；

    在检测当前用户界面归属的业务场景时，从所述系统属性数据库中查询当前用户界面归属的业 务场景。
11. 根据权利要求7所述的显示设备，其中，所述控制器进一步被配置为：

    检测所述识图指令中是否指定待识别图像；

    如果所述识图指令中未指定待识别图像，生成截图命令；

    向业务操作系统广播所述截图命令；

    控制所述业务操作系统响应于所述截图命令，对当前用户界面执行截图操作，以生成所述待识别图像。
12. 根据权利要求7所述的显示设备，其中，所述控制器进一步被配置为：

    遍历所述关联的数据中的所述热搜文本，以筛选出符合所述业务场景的文本集合；

    根据所述文本集合生成热搜选项，每个所述热搜选项中包括至少一个符合所述业务场景的热搜文本；

    向所述推荐窗口中添加所述热搜选项。
13. 根据权利要求7所述的显示设备，其中，所述控制器进一步被配置为：

    遍历所述关联的数据中的推荐项目；

    根据所述推荐项目名称查询各项目的使用热度；

    按照所述使用热度由高至低的顺序，将所述推荐项目添加至所述推荐画面中。
14. 一种用于显示设备的媒资内容推荐方法，包括：

    通过显示设备获取用户输入的识图指令，

    以及响应于所述识图指令，向服务器发送图像识别请求，所述请求中包括待识别图像；

    接收通过服务器执行图像识别而获得的与所述图像关联的数据，所述关联的数据至少包括热搜文本，所述热搜文本为与通过对所述待识别图像执行图像识别所获得的识别结果关联的文本；

    根据所述关联的数据在用户界面中显示推荐画面，所述推荐画面包括至少基于所述热搜文本生成的选项以请求与所述图像相关的搜索。