CN114390329B - 显示设备及图像识别方法 - Google Patents

Abstract

本申请公开了显示设备和图像识别方法，该显示设备的控制器被配置为：接收输入的截图指令；响应于所述截图指令，截取用户界面中的目标图像以识别所述目标图像中的商品对象；显示与所述商品对象匹配的商品信息。这样，用户可以通过输入截图指令触发对显示画面中商品对象的识别，快速浏览到相应的商品信息，方便用户下一步操作。

Description

显示设备及图像识别方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及图像识别方法。

背景技术

显示设备，如智能电视，可以为用户提供诸如音频、视频、图片等播放画面。相比于通过数据广播为用户提供直播电视节目的传统电视，智能电视一般侧重于在线互动媒体、互联网电视和点播式流媒体，其能为用户更加丰富的内容和服务，如网络视频、网络游戏等各种应用和服务内容。

因此，为了提升用户对智能电视产品的使用体验，如何通过用户界面为用户提供更加精确、丰富的信息内容，显得尤为重要。

发明内容

本申请提供一种显示设备及图像识别方法，可以用户可以通过输入截图指令触发对显示画面中商品对象的识别，快速浏览到相应的商品信息，方便用户下一步操作。

第一方面，本申请提供一种显示设备，包括：

显示器，用于在用户界面显示播放内容的画面；

控制器，被配置为：

接收输入的截图指令；

响应于所述截图指令，截取用户界面中的目标图像以识别所述目标图像中的商品对象；

显示与所述商品对象匹配的商品信息。

第二方面，本申请还提供一种图像识别方法，所述方法包括：

接收输入的截图指令；

响应于所述截图指令，截取用户界面中的目标图像以识别所述目标图像中的商品对象；

显示与所述商品对象匹配的商品信息。

第三方面，本申请还提供一种图像识别方法，所述方法包括：

获取显示设备通过截取播放内容的当前画面得到的目标图像，所述目标图像包括待识别的商品对象；

识别所述目标图像中是否存在人物对象；

在所述目标图像中存在人物对象的情况下，获取与所述人物对象的名称和商品对象同时匹配的商品信息。

由以上技术方案可知，本申请提供一种显示设备和图像识别方法，该显示设备的控制器被配置为：接收输入的截图指令；响应于所述截图指令，截取用户界面中的目标图像以识别所述目标图像中的商品对象；显示与所述商品对象匹配的商品信息。这样，用户可以通过输入截图指令触发对显示画面中商品对象的识别，快速浏览到相应的商品信息，方便用户下一步操作。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；

图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图；

图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图；

图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图；

图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图；

图6为本申请在一些实施例中示出的一种用户界面；

图7a至图7c为本申请在一些实施例中示出的一种用户界面；

图8a至图8f为本申请在一些实施例中示出的一种用户界面；

图9a至图9j为本申请在一些实施例中示出的一种用户界面；

图10为本申请在一些实施例中示出的一种图像识别方法流程图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和 /或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

本申请中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。

图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。其中，无线方式可以是直连和非直连，可以是经过路由的，也可以是不经过路由的。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。

在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(UI)中为用户提供各种控制。

在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以实现用移动终端300与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上用户界面，实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能。

如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

显示设备200，可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。

显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器 230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。

在一些实施例中，显示视频内容，可以来自广播电视内容，也可以是说，可通过有线或无线通信协议接收的各种广播信号。或者，可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。

在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。

在一些实施例中，根据显示器275类型不同，还包括用于驱动显示的驱动组件。

在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。

在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。

在一些实施例中，检测器230包括光接收器，用于采集环境光线强度的传感器，可以通过采集环境光可以自适应性显示参数变化等。

在一些实施例中，检测器230还可以包括图像采集器，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。

在一些实施例中，检测器230还可以包括温度传感器等，如通过感测环境温度。

在一些实施例中，显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调，或当温度偏低的环境时，可以调整显示设备200 显示图像偏暖色调。

在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应适应环境噪声。

在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI 接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中，广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号，模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/ 输出接口接收音视频信号。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。

如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。

在一些实施例中，ROM 252用于存储各种系统启动的指令。

在一些实施例中，ROM 252用于存储一个基本输入输出系统，称为基本输入输出系统(Basic Input Output System，BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在一些实施例中，在收到开机信号时，显示设备200电源开始启动，CPU运行ROM252 中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至 RAM 251中,然后，以便于启动或运行各种应用程序。

在一些实施例中，处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。

显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。

在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。

在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。

在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

在一些实施例中，用户通过控制装置100或移动终端300输入用户命令，用户输入接口则根据用户的输入，显示设备200则通过控制器250响应用户的输入。

在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget 等可视的界面元素。

存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

例如，语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，用于与外部设备之间进行控制和数据通信的模块。浏览器模块，用于执行浏览服务器之间数据通信的模块。服务模块，用于提供各种服务以及各类应用程序在内的模块。同时，存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。

图3示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示，控制设备100 包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。

控制设备100被配置为控制显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。如：用户通过操作控制设备100上频道加减键，显示设备200响应频道加减的操作。

在一些实施例中，控制设备100可是一种智能设备。如：控制设备100可根据用户需求安装控制显示设备200的各种应用。

在一些实施例中，如图1所示，移动终端300或其他智能电子设备，可在安装操控显示设备200的应用之后，可以起到控制设备100类似功能。如：用户可以通过安装应用，在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制设备100实体按键的功能。

控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用于控制控制设备100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。

通信接口130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。

用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键 144等其他输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。

输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。

在一些实施例中，控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130，如：WiFi、蓝牙、NFC等模块，可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码，发送至显示设备200。

存储器190，用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。

供电电源180，用于在控制器的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。

在一些实施例中，系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层 (简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时 (Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序，比如嗨见程序、K歌程序、魔镜程序等。在具体实施时，应用程序层中的应用程序包不限于以上举例，实际还可以包括其它应用程序包，本申请实施例对此不做限制。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。

在一些实施例中，窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI 驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。

在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。

在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。

在一些实施例中，以魔镜应用(拍照应用)为例，当遥控接收装置接收到遥控器输入操作，相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值，输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作，该确认操作所对应的控件为魔镜应用图标的控件，魔镜应用调用应用框架层的接口，启动魔镜应用，进而通过调用内核层启动摄像头驱动，实现通过摄像头捕获静态图像或视频。

在一些实施例中，对于具备触控功能的显示设备，以分屏操作为例，显示设备接收用户作用于显示屏上的输入操作(如分屏操作)，内核层可以根据输入操作产生相应的输入事件，并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口，然后将绘制的窗口数据发送给内核层的显示驱动，由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。

在一些实施例中，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。

在一些实施例中，直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。

在一些实施例中，视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。

在一些实施例中，媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。

在一些实施例中，应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。

图6为本申请在一些实施例中示出的一种用户界面。如图6所示，用户界面包括多个视图显示区601-603，分别用于显示不同的内容，如播放视频内容的窗口、与当前显示内容相关的面板导航栏、信息展示区和/或功能选项栏等，其中，信息展示区是指主要用于展示各类信息，功能选项栏用于在展示信息的同时，指示用户据此打开对应服务、应用程序等。

在如图6所示的用户界面中，不同的视图显示区可以是同一图层中不同的区域，也可以是不同图层中的区域。在一些实施例中，不同的视图显示区，尤其是分别属于不同图层中的视图显示区，可以部分重叠或者完全重叠。应当理解，这里提及的图层可以是OSD层(用户界面层)，也可以是Video层(视频层)。

在一些实施例中，视图显示区601是指播放窗口，视图显示区602和/或视图显示区603位于设置在视频播放窗口上方的OSD层中。

在一些实施例中，视频播放窗口上方的OSD层中还可以包括用于其他显示区以展示设定的内容。

在一些实施例中，视频播放窗口上方的OSD层中可以不区分视图显示区602、视图显示区 603，而作为识别内容展示区直接进行控件、选项栏等项目的展示。

在一些实施例中，在显示任何内容的情况下，用户可以输入触发图像识别的指令，以控制显示设备对当前显示的部分或者全部内容进行图像识别。例如，用户在观看视频节目时，通过输入触发图像识别的指令，控制显示设备对当前显示的视频画面进行图像识别；再如，用户在观看不包含视频画面的系统主页时，通过输入触发图像识别的指令，控制显示设备对当前显示的用户界面进行图像识别。又如，用户在浏览本地图片时，通过输入触发图像识别的指令，控制显示设备对当前播放的本地图片文件进行图像识别。

截图是指对显示器当前显示的部分或者全部内容的画面进行截取，获得截图图像。用于触发截图的用户输入可以是按键形式的用户输入、语音形式的用户输入或者用户手势输入。

在一些实施例中，用于触发截图的用户输入，同时也是上述用户触发图像识别的用户输入。当接收到用户在不同场景下指示截图的用户输入时，根据场景的不同，执行相同或者不同的截图流程。比如，当在显示任何内容的情况下接收到截图指令时，获取与当前显示内容完全一致的截图内容，也可以是当显示图片或者视频的情况下接收到截图指令时，获取与当前显示图片或者视频画面一致的截图内容。不同的是，前者截图操作在视频层与OSD层合成后执行，或者是分别截取视频层与OSD层的画面后再整合得到的内容，后者截图操作在视频层与与OSD层合成前执行，或者仅对视频层画面进行截图。

在一些实施例中，对当前播放内容进行截图的时间点可以是接收到截图输入时的时间，也可以是提前或延迟预设时长后的时间。

图7a为本申请在一些实施例中示出的用户界面示意图，如图7a所示，视频在显示器上全屏播放。当显示设备播放视频节目时，可以通过遥控器按键、触摸屏软键、语音指令、手势等多种方式，触发截图及截图图像的识别。

在一些实施例中，对截图图像的识别可以是对图像中商品的识别，如图7b所示，图7b中的a和b为待识别的商品对象，当显示设备接收到触发截图的用户输入后，显示通过识别截图图像中的商品对象所得到的识别结果。

在一些实施例中，对截图图像的识别也可是对图像中人物对象等的识别，如人脸识别，如图7c所示，A和B为待识别的人物对象，当显示设备接收到触发截图的用户输入后，显示通过识别截图图像中的人物对象所得到的识别结果。

在一些实施例中，当显示如图7a的视频播放画面时，若接收到触发截图的用户输入，则响应于该用户输入，通过截图获取前视频播放画面的截图图像，并显示通过对截图图像中商品对象进行图像识别而得到的商品信息，即显示与截图图像中的商品对象匹配的商品信息。

在一些实施例中，在显示与截图图像中的商品对象匹配的商品信息的同时，还可以显示通过对截图图像中人物对象进行图像识别而得到的人物信息。

在一些实施例中，为了在显示商品信息的同时，不影响用户继续观看播放内容，在继续播放当前播放内容的同时，在用于显示播放内容画面的图层的上一层的局部区域中显示商品信息。

在一些实施例中，将与截图图像中商品对象匹配的商品信息以选项栏的形式，显示在当前播放内容画面的上层。用户可以通过操作选项栏，触发显示更加详细的商品信息和/或购买页面等。

例如，若接收到触发截图的用户输入，显示包含当前播放内容显示区和识别内容显示区的用户界面，其中，在当前播放内容显示区中继续显示当前播放内容的画面，其可以是继续进行当前视频内容的播放，也可以暂停当前视频内容的播放后而显示的暂停画面；在识别内容显示区中显示多个选项栏，多个选项栏中，至少一个选项栏用于显示对截图中商品对象(如物品、服饰等等)的识别结果，即与商品对象匹配的商品信息，如展示商品外观、细节的图片、介绍商品的文字、售卖商品的价格、和/或用于跳转到购买页面的购买链接等等，其他选项栏则可以用于显示截图图像的缩略图、对截图中人物对象的人物识别结果或表征人物识别结果的文字/图像，与人物或商品识别结果(对象)相关的推荐内容、和/或与截图关联功能的操作控件。

在对图像中的商品对象进行识别的实施场景中，首先提取图像特征，然后通过将图片特征与商品特征数库进行匹配，确定与图像中商品对象匹配的商品，对图像中商品对象的识别结果即为匹配到商品对应的商品信息。

在一些实施例中，若识别出截图图像中包含多个商品对象，则可以根据商品对象与对应商品的特征相似程度，显示部分商品识别结果，或者显示全部商品识别结果。比如，若识别出的商品与图像中商品对象的相似程度大于预设值，则展示该商品对应的商品信息，否则不展示该商品对应的商品信息。

在一些实施例中，若识别出截图图像中包含多个商品对象，则优先显示第一商品的商品信息，该第一商品是指与截图图像中第一商品对象对应的商品，该第一商品对象是截图中多个商品对象中的一个，值得注意的是，第一商品与第一商品对象的相似度高于其他相对应的商品与商品对象的相似度。例如，当识别出截图图像中存在“包”和“外套”两个商品对象时，若商品对象“包”与识别出的商品“包”的相似度大于商品对象“外套”与识别出的商品“外套”时，则显示商品“包”的商品信息。

为便于区分和说明，将识别内容显示区中用于显示商品识别结果的选项栏称为商品信息选项栏，将用于显示人物识别结果的选项栏称为人物信息选项栏。

图8a为本申请在一些实施例中示出的用户界面示意图，具体为在显示图7a所示画面时接收用户输入的截图指令时显示的一种用户界面。如图8a所示，该用户界面包括当前内容显示区810和识别内容显示区820。当前内容显示区810中继续显示当前播放视频的画面，识别内容显示区820中显示有多个选项栏，其中，商品信息选项栏821中显示与截图图像中商品对象a 匹配的商品信息，具体为商品图片、商品价格“129元”以及商品信息标题“夏装女款连衣裙中长款显瘦”；选项栏822中显示截图图像的缩略图；人物信息选项栏823中显示与截图图像中人物对象A匹配的人物信息，具体为人物对象A对应的截图区域(面部区域图像)、人物名称“关某某”；选项栏824中显示截图图像中人物对象A的相关人物信息“李某某”及其图像。

在一些实施例中，以内容选择焦点框指示出用户选择或者预选择的项目，如商品信息选项栏或功能控件。内容选择焦点框的显示位置可以响应于移动焦点的用户输入而移动。

在另一些实施例中，在显示的截图图像缩略图上还显示对象识别焦点框，在不同场景中，对象识别焦点框显示在不同的对象上，以突出或标识出对象。例如，当在识别内容显示区显示且仅显示一个对象识别结果时，对象识别焦点框显示在该对象识别结果对应的对象上。

在一些实施例中，对象识别焦点框在缩略图上的显示位置，与内容选择焦点框的显示位置相关联，或者说，对象识别焦点框的显示位置随内容选择焦点框的移动而移动，从而保证对象识别焦点框所框出的人物对象或者商品对象，与用户选择或者预选择的识别结果选项栏相对应。例如，若在识别内容显示区显示一个或多个显示对象识别结果的选项栏，则当内容选择焦点框落在显示对象识别结果的选项栏上时，对象识别焦点框显示在内容选择焦点框所在选项栏对应的对象上。

在一些实施例中，对象识别焦点框不可获取焦点，内容选择焦点框可以获取焦点。

图8b为本申请在一些实施例中示出的用户界面示意图，具体为在显示图7a所示画面时接收用户输入的截图指令时显示的一种用户界面。与图8a所示用户界面不同的是，在识别内容显示区820中，还显示有与截图图像中商品对象b匹配的商品信息，具体是在商品信息选项栏 825中显示商品图片、商品价格“119元”以及商品信息标题“秋装男款条纹衬衫”；另外，如图8b所示，在显示的截图图像缩略图上，还显示有对象识别焦点框8221，且由于内容选择焦点框落在与商品对象a对应的商品信息选项栏上，因此对象识别焦点框8221显示在缩略图中商品对象a的四周，以框出商品对象a，提示用户其当前选择的商品信息选项栏与截图图像中的商品对象a相对应。如图8c所示，当内容选择焦点框移动到商品信息选项栏825上时，对象识别焦点框移动到商品对象b所在区域的四周。

需要说明的是，如图8b和8c所示，对象识别焦点框可以是显示在商品对象所在区域四周的方框，内容选择焦点框可以是显示在选项栏周围的方框。应当理解，虽然本申请说明书中以方框的形式示例性示出了对象识别焦点框和内容选择焦点框，但对象识别焦点框和内容选择焦点框也可以是其他形式的、可以标识出对象和用户选择的内容的图标。例如，除方框外，内容选择焦点框还可以基于各式的图标、文本、背景，因而具有不同的颜色、阴影或色彩。

在一些实施例中，商品信息选项栏中可以不显示商品信息标题，例如图8d所示，商品信息选项栏821和825中只显示出商品图片和价格，以简化用户界面。

在一些实施例中，用户可以通过操作商品信息选项栏(如选中选项栏并按下确定按键)，触发打开商品信息中的购买链接。显示设备响应于用户对商品信息选项栏的操作，在当前播放画面的上层，显示商品信息详情页面，商品信息详情页面中可以包含更为详细的商品信息和用于购买商品的控件。

图8e为本申请在一些实施例中示出的用户界面示意图，具体为在显示图8d所示画面时接收到用户对商品信息选项栏821的操作后而显示的用户界面。如图8e所示，在当前播放画面的上层显示有商品详情信息页830，商品详情信息页830中显示有商品图片、商品信息标题“夏装女款连衣裙中长款显瘦”、商品价格“129元”以及颜色选择控件、尺码选择控件、加入购物车控件和立即购买控件。

在一些实施例中，当显示设备接收到输入的截图指令时，响应于截图指令，显示商品展示控件，用户可以通过操作该商品展示控件，触发显示设备显示与截图图像中商品对象匹配的商品信息。

在一些实施例中，商品展示控件中可以加载目标商品图片。

在一些实施例中，目标商品图片可以是待显示的商品信息中的一张图片，或者多张图片的拼图。

在另一些实施例中，目标商品图像可以是待显示的商品信息对应的截图图像中上商品对象的局部图像。

图8f为本申请在一些实施例中示出的用户界面示意图，如图8f所示，与图8a至8e不同的是，在识别内容显示区中，不直接显示识别的商品信息，而是显示商品展示控件825，用户可以通过操作商品展示控件，触发显示商品信息。具体的，显示设备接收用户输入的对商品展示栏的确认操作时，显示与截图图像中商品对象匹配的商品信息。

需要说明的是，响应于对商品展示栏的确认操作，可以显示如图8e所示的商品信息详情页面，也可以显示仍在如图8a-8d所示识别内容显示区中显示加载有商品信息的选项栏，如图 8a-8d中示出的选项栏821。

在一些实施例中，若截图图像中同时包含商品对象和人物对象，则在接收到用户输入的截图指令后，显示与商品对象和人物对象同时匹配的商品信息，具体可以是与商品对象的图像特征和人物对象的名称同时匹配的商品的商品信息，其中，人物对象的名称通过识别截图图像中人物对象的人脸区域得到。

在一些实施例中，人物对象的名称包括通过识别人物对象的人脸区域得到的人物真实姓名，如演员姓名，以及，该演员在播放内容中所饰演角色的姓名。当然，也可以是该演员在其他影视作品中所饰演角色的姓名。

在一些实施例中，商品信息包括商品信息标题，与商品对象和人物对象的名称同时匹配的商品信息，其商品信息标题中包含人物对象的名称。

例如，当显示设备当前播放的视频内容为综艺节目或者影视节目，则显示与截图中出现的商品及演员或角色同时匹配的商品信息，即该演员或角色在该节目中的同款商品信息。图 9a为本申请在一些实施例中示出的用户界面示意图，具体为在显示图7a所示画面时接收到截图指令后显示的用户界面。如图9a所示，该用户界面包括当前内容显示区910和识别内容显示区920，当前内容显示区910显示当前播放内容电视剧《二十不惑》的画面，识别内容显示区 920中显示商品展示控件和多个选项栏，其中，商品展示控件921中显示有目标商品图片和商品价格标识，其中，该目标商品图片可以是与截图中人物对象A和商品对象a同时匹配的商品信息所包含的商品图片，商品价格标识“139元”显示在目标商品图片的上层。选项栏922中显示截图图像的缩略图；人物信息选项栏923中显示截图中人物对象A的截图区域、与人物对象A匹配的人物名称“关某某”以及“关某某”在当前播放电视剧“二十不惑”中饰演的角色名称“梁爽”，以及相关人物信息“金某某”。

当用户显示如图9a所示用户界面时，用户可以通过操作商品展示控件921查看具体的商品信息。在一些实施例中，响应于接收到对商品展示栏的确认操作，显示与人物对象的名称和商品对象同时匹配的商品信息。

在一些实施例中，可以将加载有商品信息的选项栏显示在识别内容显示区中。其中，识别内容显示区中可以仍然如图9a中的截图图像的缩略图和/或人物识别结果，也可以不显示如图9a中的截图图像的缩略图和/或人物识别结果。

图9b为本申请在一些实施例中示出的用户界面，具体为在如图9a所示用户界面时接收到对商品展示控件921的确认操作后显示的用户界面。如图9b所示，在识别内容显示区中，显示有加载有截图图像缩略图的选项栏922和加载有商品信息的选项栏925，其加载的商品信息包括：商品图片，商品信息标题和商品价格，商品信息标题“二十不惑关某梁爽同款连衣裙夏装女款中长显瘦”中包含人物对象A对应的演员名称“关某某”和角色名称“梁爽”。

在一些实施例中，用户可以通过操作截图图像的缩略图所在选项栏，查看截图图像的原图文件，以及输入用于分享、下载截图图像的操作等。

需要说明的是，用于显示商品识别结果的选项栏、用于显示截图缩略图的选项栏和用于显示人物识别结果的选项栏，在用户界面中的布局可以不仅限于本申请说明书所提供示例已示出的布局方式，也可以是其他布局方式，本申请对此不予限定。

在一些实施例中，可以仅显示与人物对象的名称和商品对象同时匹配的商品信息，如图 9b所示。在这些实施例中，若显示设备从服务器侧获取到与人物对象的名称和商品对象同时匹配的商品信息，则显示获取的商品信息，若显示设备从服务器侧未获取到与人物对象的名称和商品对象同时匹配的商品信息，则不显示商品信息，或者，显示指示无识别结果的用户提示。

在另一些实施例中，显示设备优先显示与人物对象的名称和商品对象同时匹配的商品信息。在这些实施例中，若显示设备可以从服务器侧获取到与人物对象的名称和商品对象同时匹配的商品信息，则显示与人物对象的名称和商品对象同时匹配的商品信息，若显示设备从服务器侧未获取到与人物对象的名称和商品对象同时匹配的商品信息，则显示仅与商品对象匹配的商品信息。

图9c为本申请在一些实施例中示出的用户界面示意图，具体为在显示图9a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，图9c中，显示的截图缩略图上，还显示对象识别焦点框，用于标识出内容选择焦点框所在选项栏对应的人物对象和/或商品对象，或者标识出当前显示的商品信息对应的商品对象。

图9d为本申请在一些实施例中示出的用户界面示意图，具体为在显示图9a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。与图9b所示用户界面不同的是，图9d 中，在识别内容显示区同时显示多个不同来源且同时与截图中人物对象和商品对象匹配的商品信息，其中，在商品信息选项栏925中显示第一来源的商品信息，包括商品图片、价格“139 元”、商品标题“二十不惑关某梁爽同款连衣裙夏装女款中长显瘦”、发货地“杭州”和销量“199人付款”；在商品信息选项栏926中显示第二来源的商品信息，包括商品图片、价格“129元”、商品标题“二十不惑梁爽同款连衣裙白色蕾丝显瘦”、发货地“广州”和销量“157 人付款”。需要说明的是，不同来源的商品信息可以是由不同店铺/卖家发布的商品信息，也可以是发布在不同网络平台上的商品信息，或者是包含不同的价格、质量、发货地的商品信息等等。

在一些实施例中，上述多个不同来源的商品信息对应的选项栏可以按照销量、运输距离、价格或者与对应商品对象的相似度顺序显示。

在一些实施例中，不同来源的商品信息对应的商品与截图图像中商品对象的相似程度需要满足预定相似条件。在一些实施例中，在一些实施例中，若截图图像中存在多组相关联的商品对象和人物对象，则可以显示多项分别与多组不同的商品对象和人物对象同时匹配的商品信息。其中，相关联的人物对象和商品对象可以是某人物对象和该人物对象所穿戴的商品对象，比如，与图7a中人物对象A和人物对象A身着的商品对象a是相关联的，人物对象B和人物对象B身着的商品对象b是相关联的。

图9e为本申请在一些实施例中示出的用户界面示意图，具体为在显示图9a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，图9e中，还显示商品信息选项栏927，商品信息选项栏927中显示与人物对象B和商品对象b同时匹配的商品信息，具体为商品图片、价格“129元”、商品信息标题“二十不惑周寻同款衬衫条纹男款”、发货地“广州”和销量“157人付款”。

在一些实施例中，当内容选择焦点款落在商品信息选项栏上时，在截图缩略图上显示对象识别焦点框，且对象识别焦点框显示在内容选择焦点框所在选项栏对应的商品对象区域四周。例如，在图9e所示用户界面中，内容选择焦点框落在商品信息选项栏927上，对象识别焦点框显示在商品对象b上。应当理解，当内容选择焦点框移动到商品信息选项栏925上时，对象识别焦点框移动对商品对象a上。

在一些实施例中，在截图图像中存在多个人物对象时，优先显示第二商品的商品信息，其中，第二商品的商品信息与截图图像中第二人物对象的名称及第二商品对象同时匹配，数据库中与第二人物对象的人脸信息匹配的参照人物为第二参照人物，值得注意的是，第二人物对象与第二参照人物的相似度高于其他相对应的人物对象与参照人物的相似度。例如，以图7所示截图图像作为示例，在该截图图像中存在两个人物对象，分别为A和B，还存在两个商品对象，分别为人物对象A身穿的“连衣裙”，即商品对象a，和人物对象B身穿的“衬衫”，即商品对象b，假设人物对象A的人脸信息与数据库中“关某某”的人脸信息最为匹配，且相似度为90％，人物对象B与数据库中“金某某”的人脸信息最为匹配，且相似度为85％，则优先显示与人物对象A的名称和商品对象a同时匹配的商品信息。

图9f为本申请在一些实施例中示出的用户界面示意图，具体为在显示图9a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，在图9f所示用户界面中，在识别内容显示区不仅显示商品信息选项栏和用于显示截图缩略图的选项栏，还显示人物信息选项栏。

在一些实施例中，在识别内容显示区中设置用于触发显示指定分类下商品信息的控件，用户通过选择对应的控件，浏览所选择控件对应分类下的商品信息。比如，在识别内容显示区显示第一控件和第二控件，当用户选择第一控件时，在识别内容显示区显示与截图中人物对象A和商品对象a同时匹配的一条或者多条商品信息，即人物对象A的同款商品信息，当用户选择第二控件时，在识别内容显示区显示与截图中人物对象B和商品对象b同时匹配的一条或者多条商品信息，即人物对象B的同款商品信息。

图9g为本申请在一些实施例中示出的用户界面示意图，具体为在显示图9a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。在图9g所示用户界面中，内容识别显示区920中显示第一控件“梁爽同款”和第二控件“周寻同款”，其中，第一控件“梁爽同款”用于触发显示与人物对象A匹配的商品信息，第二控件“周寻同款”用于触发显示与人物对象B匹配的商品信息。这样，用户便可以通过操作不同的控件查看不同人物对象的同款商品信息。例如，在图9g中，用户选择第一控件“梁爽同款”，则在识别内容显示区中显示与人物对象A和商品对象a同时匹配的一条或多条商品信息，此时，对象识别焦点框显示在商品对象a的对应区域；在图9h中，用户选择第二控件“周寻同款”，在识别内容显示区中显示与商品对象b同时匹配的一条或多条商品信息，此时，对象识别焦点框显示在人物对象B和商品对象b的对应区域。

图9i为本申请在一些实施例中示出的用户界面示意图，具体为在显示图9a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，在图9i所示用户界面中，商品信息选项栏中仅显示商品图片和价格，而不显示商品信息标题，也不显示商品来源等信息。

图9j为本申请在一些实施例中示出的用户界面示意图，具体为接收用户对商品信息选项栏925的操作后而显示的用户界面。如图9j所示，在当前播放画面的上层显示有商品详情信息页930，商品详情信息页930中显示有商品图片、商品信息标题“二十不惑关某梁爽同款连衣裙夏装女款中长显瘦”、商品价格“139元”以及颜色选择控件、尺码选择控件、加入购物车控件和立即购买控件。

在一些实施例中，本申请还提供一种图像识别方法，应用于显示设备，该方法的执行主体可以是显示设备的控制器250，该方法包括本申请实施例中提及的显示设备行为的部分或者全部步骤。

在对图像中的商品对象进行识别的实施场景中，首先提取图像特征，然后将提取的图像特征与全局特征库进行匹配，从而得到与图像中商品对象特征匹配的商品信息。其中，全局特征库中包括所有商品的特征，这里的所有商品可以是指某一个购物网站上的所有商品信息所描述的商品，如淘宝网，也可以是所有购物网站上的商品信息的集合。应当理解，将提取的图片特征与全局特征库进行匹配，相当于将提取的图片特征与每个商品的特征进行匹配，进而得到与图像特征最为匹配的商品的商品信息。

实际应用中，受限于图片尺寸、分辨率等因素的影响，在对图片特征提取不足时，商品识别的准确率将较低，或者，识别出的商品与图像中商品对象的相似度较低，或者无识别结果；另外，由于每次图像识别都是基于全局特征库进行识别，即将提取的图片特征与每个商品的特征进行匹配，因此特征匹配出错的概率较高，且计算量大，处理时间长。从而，导致在用户界面中展示的商品识别结果，即根据截图图像识别出的商品信息，与截图图像中的商品对象差异较大，进而影响用户体验。

为解决上述问题，本申请提供一种图像识别方法，图10为本申请根据示例性实施例示出的一种图像识别方法流程图，如图10所示，该方法可以包括：

步骤110，获取显示设备通过截取播放内容的当前画面得到的目标图像，所述目标图像包括待识别的商品对象。

在一些实施例中，目标图像可以是显示设备响应于截图指令而截取的显示画面，即截图图像。

示例性的，当视频在显示器上全屏播放时，用户可以通过遥控器按键、触摸屏软键、语音指令、手势等多种方式，触发截图及对截图图像中的商品对象进行识别。显示设备响应于用户输入，对当前显示的播放内容画面进行截图，得到截图图像。

在一些实施例中，显示设备通过截图得到截图图片后，将截图图片发送给服务器，由服务器完成对截图图片中商品对象的识别，并将识别出的商品信息返回给显示设备。

在另一些实施例中，显示设备通过截图得到截图图片后，将截图图片和和播放内容的信息发送给服务器，由服务器根据播放内容的信息完成对截图图片中商品对象的识别，并将识别出的商品信息返回给显示设备。其中，播放内容的信息包括播放内容的类型、媒资名称等等，播放内容的类型包括：电影、电视剧、综艺、新闻等等。

步骤120，识别所述目标图像中是否存在人物对象。

在一些实施例中，识别所述目标图像中是否存在人物对象之前，所述方法还包括：判断所述播放内容是否为预定类型的内容；若所述播放内容是预定类型的内容，则执行所述识别所述目标图像中是否存在人物对象的步骤。

在一些实施例中，由显示设备判断当前播放内容的类型是否为预设类型；在判定当前播放内容是预设类型是，将截图图片和播放内容的媒体资源名称发送给服务器，以由服务器根据截图图片和播放内容的媒体资源名称识别截图图片中的商品对象。其中，预定类型的播放内容包括可以查到出演人员信息的播放内容，如电视剧、电影和一些综艺节目。

在另一些实施例中，显示设备不对当前播放内容的类型进行判断，而是将截图图片和播放内容的信息发送给服务器，由服务器根据显示设备发送的播放内容的信息判断播放内容是否为预定类型的内容。

步骤130，在所述目标图像中存在人物对象的情况下，获取与所述人物对象的名称和商品对象同时匹配的商品信息。

在一些实施例中，通过识别截图图像中的人物对象，获取人物对象的名称，将人物对象的名称用于缩小识别截图中商品对象的特征匹配范围，进而可以减少特征匹配的出错概率，提高识别结果的准确性，同时提高识别效率。

在一些实施例中，人物对象的名称包括演员名称和/或播放内容相应的角色名称。演员名称一般是演员的真实姓名，播放内容相应的角色名称则可以是该名演员在该播放内容中所饰演的角色姓名。对于电影或者电视剧类型的播放内容，若截图图像中存在人物对象，通过图像识别，可以识别出人物对象的演员名称，即该演员的真实姓名。再根据播放内容的媒资名称，如电视剧名或者电影名，可以查找到该播放内容的演员表，进而获取到该播放内容形影的角色名称，即该演员在该播放内容中所饰演角色的姓名。可以理解的是，人物对象的名称包括但不限于与人物对象匹配的演员名称和/或播放内容相应的角色名称，例如，还可以包括与演员相关的内容简述、内容来源等，还可以包括与角色相关的内容简述、来源等，还可以包括与演员和/或角色相关的推荐信息，如该演员所饰演的其他角色名称、饰演该角色的其他演员名称等等。

相关技术方案中，首先提取图像特征，然后将提取的图像特征与全局特征库进行匹配，从而得到与图像中的商品对象特征匹配的商品信息。将提取的图片特征与全局特征库进行匹配，相当于将提取的图片特征与每个商品的特征进行匹配，匹配计算量大，出错率高，因此不利于对商品对象的准确识别。

而在本申请实施例中，若播放内容是预设类型的内容，且截图图像中存在人物对象，则首先识别人物对象以获取人物对象的名称，然后以人物对象的名称作为检索关键词，从所有商品信息中检索出与人物对象相匹配的商品信息，如包含人物对象的名称的商品信息。由于全局特征库包括所有商品的特征信息，即其包括与人物对象相匹配的商品信息对应的特征信息，因此，可以从全局特征库中获取到与人物对象相匹配的商品信息的特征信息，这些与人物对象相匹配的商品信息的特征信息，构成局部特征库。最后，将截图的图片特征与局部特征库进行匹配，即从与人物对象相匹配的商品中获取与商品对象最为匹配的商品，从而得到同时与人物对象和商品对象相匹配的商品信息。

在上述实施例中，在播放内容为预设类型的内容且截图中存在人物对象时，通过图像识别，为用户展示既与人物对象匹配，又与商品对象匹配的商品信息，可以满足用户搜索剧中人物同款商品和/或相似商品的需求，提高用户体验。并且，由于是基于局部特征库对截图中的商品对象进行识别，而局部特征库中的特征信息量远小于全局特征库中的特征信息量，因此大大降低了特征匹配计算量，降低了匹配出错的概率，提高了识别结果的准确性。此外，由于在特征匹配前，已经剔除了其他与人物对象无关的商品的特征信息，进一步提高了为用户提供人物同款商品的精准度。

示例性的，若在播放如图7a所示的画面时接收到触发截图及图像识别的用户输入，响应于该用户输入，显示设备执行截图操作，获得与图7a一致的截图图片，同时获取播放内容的信息，如指示播放类型为“电视剧”、媒资名称为“二十不惑”的字段信息，将截图图片和播放内容的信息发送给服务器。

服务器接收截图图片和播放内容的信息，首先根据播放内容的信息判定截图图片属于“电视剧”“二十不惑”的一帧画面，由于“电视剧”符合预定类型，因此执行判断截图图片中是否存在人物对象的步骤，例如，服务器可以通过预置的人脸识别模型对截图图片进行处理，判定出截图图片是否存在人物对象，且识别出与该人物对象相匹配的演员关键词是“关某某”，还可以根据“二十不惑”的演员表确定“关某某”饰演的角色是“梁爽”；接着，以“二十不惑”、“关某某”和/或“梁爽”为检索关键词，对包含所有商品信息的数据库进行检索，得到与“梁爽”和/或“关某某”匹配的商品信息，即商品标题中包含“梁爽”和/或“关某某”的商品信息。然后，根据检索出的商品信息，从包含所有商品的特征信息的全局特征库中抽取与检索出的商品信息对应的特征信息，得到局部特征库；最后，提取截图的图片特征，并将提取出的图片特征与局部特征库进行匹配，得到与截图中商品对象匹配的商品信息，如图 9a中标题为“二十不惑关某某梁爽同款连衣服……”的商品购买链接。

在一些实施例中，若播放内容不是预定类型的内容，或者截图图片中不存在人物对象，或者无法识别出截图图片中的人物对象，或者根据人物对象的名称无法检索到与人物对象匹配的商品信息，则基于全局特征库识别截图图像中的商品对象，以获取仅与商品对象匹配的商品信息。

由以上实施例可知，本申请提供的图像识别方法，在播放内容为预设类型的内容且截图中存在人物对象时，通过图像识别，为用户展示既与人物对象匹配，又与商品对象匹配的商品信息，可以满足用户搜索剧中人物同款商品和/或相似商品的需求，提高用户体验。并且，由于是基于局部特征库对截图中的商品对象进行识别，而局部特征库中的特征信息量远小于全局特征库中的特征信息量，因此大大降低了特征匹配计算量，降低了匹配出错的概率，提高了识别结果的准确性。此外，由于在特征匹配前，已经剔除了其他与人物对象无关的商品的特征信息，进一步提高了为用户提供人物同款商品的精准度。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的图像识别方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于方法实施例而言，由于其基本相似于显示设备实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (16)

1.一种图像识别方法，其特征在于，所述方法包括：

获取显示设备通过截取播放内容的当前画面得到的目标图像，所述目标图像包括待识别的商品对象；

识别所述目标图像中是否存在人物对象；

在所述目标图像中存在人物对象的情况下，通过识别所述目标图像中的人物对象，获取所述人物对象的名称；

根据所述人物对象的名称在全局特征库中确定出与所述人物对象相匹配的商品信息对应的特征信息，将与所述人物对象相匹配的商品信息对应的特征信息构成局部特征库；其中，所述全局特征库包括所有商品的特征信息，所述与所述人物对象相匹配的商品信息是指商品信息标题中包含所述人物对象的名称的商品信息，所述商品信息标题包含于所述商品信息；

将所述商品对象的特征信息与所述局部特征库进行匹配，以获取与所述人物对象的名称和所述商品对象同时匹配的商品信息；

在用户界面中显示所述目标图像的缩略图和至少一个选项栏，将所述与所述人物对象的名称和所述商品对象同时匹配的商品信息显示在所述至少一个选项栏中。

2.根据权利要求1所述的方法，其特征在于，所述识别所述目标图像中是否存在人物对象之前，所述方法还包括：

判断所述播放内容是否为预定类型的内容；

若所述播放内容是预定类型的内容，则执行所述识别所述目标图像中是否存在人物对象的步骤。

3.根据权利要求1所述的方法，其特征在于，所述目标图像是所述显示设备响应于截图指令而截取的显示画面。

4.根据权利要求1所述的方法，其特征在于，所述根据所述人物对象的名称在全局特征库中确定出与所述人物对象相匹配的商品信息对应的特征信息，包括：

以所述人物对象的名称为检索关键词，从所有商品信息中检索出商品信息标题中包含所述人物对象的名称的商品信息；

从所述全局特征库中获取所述商品信息标题中包含所述人物对象的名称的商品信息对应的特征信息，得到所述局部特征库。

5.根据权利要求1所述的方法，其特征在于，所述人物对象的名称包括与所述人物对象匹配的演员名称和/或所述播放内容相应的角色名称。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述播放内容不是预定类型的内容，或者所述目标图像中不存在人物对象，基于所述全局特征库识别所述目标图像中的商品对象，以获取与所述商品对象匹配的商品信息。

7.一种图像识别方法，其特征在于，所述方法包括：

接收输入的截图指令；

响应于所述截图指令，截取播放内容的当前画面以得到目标图像，所述目标图像包括待识别的商品对象；

识别所述目标图像中是否存在人物对象；

在所述目标图像中存在人物对象的情况下，通过识别所述目标图像中的人物对象，获取所述人物对象的名称；

根据所述人物对象的名称在全局特征库中确定出与所述人物对象相匹配的商品信息对应的特征信息，将与所述人物对象相匹配的商品信息对应的特征信息构成局部特征库；其中，所述全局特征库包括所有商品的特征信息，所述与所述人物对象相匹配的商品信息是指商品信息标题中包含所述人物对象的名称的商品信息，所述商品信息标题包含于所述商品信息；

将所述商品对象的特征信息与所述局部特征库进行匹配，以获取与所述人物对象的名称和所述商品对象同时匹配的商品信息；

在用户界面中显示所述目标图像的缩略图和至少一个选项栏，将所述与所述人物对象的名称和所述商品对象同时匹配的商品信息显示在所述至少一个选项栏中。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

所述与所述人物对象的名称和所述商品对象同时匹配的商品信息和所述选项栏的数量相同；

在所述至少一个选项栏中的第一选项栏被用户选中时，利用内容选择焦点框覆盖在所述第一选项栏上，并在所述缩略图上利用对象识别焦点框标注出第一商品对象，所述第一商品对象与所述第一选项栏内的第一商品信息相对应，所述内容选择焦点框用于突出显示被用户选中的选项栏，所述对象识别焦点框用于在所述缩略图上标注出被用户选中的选项栏中的商品信息相对应的商品对象。

9.根据权利要求8所述的方法，其特征在于，若所述播放内容不是预定类型的内容，或者所述目标图像中不存在人物对象，基于所述全局特征库识别所述目标图像中的商品对象，以获取与所述商品对象匹配的商品信息。

10.根据权利要求9所述的方法，其特征在于，所述显示与所述人物对象的名称和所述商品对象同时匹配的商品信息，包括：

仅显示与所述人物对象的名称和所述商品对象同时匹配的商品信息；或者，

优先显示与所述人物对象的名称和所述商品对象同时匹配的商品信息；

其中，与所述人物对象的名称和所述商品对象同时匹配的商品信息包括，商品信息标题中包含所述人物对象的名称的商品信息，所述商品信息标题包含于所述商品信息。

11.根据权利要求8-10任一项所述的方法，其特征在于，在所述目标图像中存在多个人物对象时，将所述与所述人物对象的名称和所述商品对象同时匹配的商品信息显示在所述至少一个选项栏中，包括：

优先显示第二商品的商品信息，所述第二商品的商品信息与所述目标图像中的第二人物对象的名称匹配，所述第二人物对象与数据库中的第二参照人物对应，所述第二人物对象与所述第二参照人物的相似度高于其他相对应的人物对象与参照人物的相似度。

12.根据权利要求8-10任一项所述的方法，其特征在于，所述至少一个选项栏中显示的每个商品信息与对应的所述商品对象的相似度大于预设值。

13.根据权利要求8-10任一项所述的方法，其特征在于，所述内容选择焦点框的显示位置响应于移动焦点的用户输入而移动。

14.根据权利要求7-10任一项所述的方法，所述识别所述目标图像中是否存在人物对象之前，所述方法还包括：

判断所述播放内容是否为预定类型的内容；

若所述播放内容是预定类型的内容，则执行所述识别所述目标图像中是否存在人物对象的步骤。

15.根据权利要求8-10任一项所述的方法，其特征在于，所述人物对象的名称包括与所述人物对象匹配的演员名称和/或所述播放内容相应的角色名称。

16.一种显示设备，其特征在于，包括：

显示器，用于在用户界面显示播放内容的画面；

控制器，被配置为：

接收输入的截图指令；

响应于所述截图指令，截取播放内容的当前画面以得到目标图像，所述目标图像包括待识别的商品对象；

识别所述目标图像中是否存在人物对象；

在所述目标图像中存在人物对象的情况下，通过识别所述目标图像中的人物对象，获取所述人物对象的名称；

根据所述人物对象的名称在全局特征库中确定出与所述人物对象相匹配的商品信息对应的特征信息，将与所述人物对象相匹配的商品信息对应的特征信息构成局部特征库；其中，所述全局特征库包括所有商品的特征信息，所述与所述人物对象相匹配的商品信息是指商品信息标题中包含所述人物对象的名称的商品信息，所述商品信息标题包含于所述商品信息；

将所述商品对象的特征信息与所述局部特征库进行匹配，以获取与所述人物对象的名称和所述商品对象同时匹配的商品信息；

在用户界面中显示所述目标图像的缩略图和至少一个选项栏，将所述与所述人物对象的名称和所述商品对象同时匹配的商品信息显示在所述至少一个选项栏中。