CN112601117B - 显示设备和内容展示方法 - Google Patents

显示设备和内容展示方法 Download PDF

Info

Publication number
CN112601117B
CN112601117B CN202011461720.XA CN202011461720A CN112601117B CN 112601117 B CN112601117 B CN 112601117B CN 202011461720 A CN202011461720 A CN 202011461720A CN 112601117 B CN112601117 B CN 112601117B
Authority
CN
China
Prior art keywords
display
server
content
information
screenshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011461720.XA
Other languages
English (en)
Other versions
CN112601117A (zh
Inventor
付延松
穆聪聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202011461720.XA priority Critical patent/CN112601117B/zh
Priority to CN202211519109.7A priority patent/CN115776585A/zh
Publication of CN112601117A publication Critical patent/CN112601117A/zh
Priority to PCT/CN2021/102287 priority patent/WO2022012299A1/zh
Priority to PCT/CN2021/119692 priority patent/WO2022078172A1/zh
Priority to US17/950,747 priority patent/US20230018502A1/en
Application granted granted Critical
Publication of CN112601117B publication Critical patent/CN112601117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Abstract

本发明公开了显示设备和内容展示方法，显示设备包括：所述显示设备包括：显示器；控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：接收截图指令；响应于所述截图指令，对所述显示器所显示当前显示画面进行截图操作，获得截图图像；当所述截图图像中包含播放视频所产生的画面时，向服务器发送信息获取请求，所述信息获取请求中包含与所述截图图像对应的场景信息；接收所述服务器响应于所述信息获取请求发送的响应信息，所述响应信息中包含与所述场景信息对应的推荐内容；控制所述显示器显示所述响应信息所包含的推荐内容。采用本申请所提供的显示设备和内容展示方法，可以而使显示设备所显示的推荐内容更加丰富。

Description

显示设备和内容展示方法
技术领域
本申请实施例涉及显示技术。更具体地讲，涉及显示设备和内容展示方法。
背景技术
电视作为日常生活中常见的家电，可以将影音、娱乐和游戏等功能集于一体。例如，电视可以播放视频，还可以获取所播放的视频中的一帧静态图片进行内容识别。
相关技术中，电视对所播放的视频中的一帧静态图片进行内容识别时，仅仅对静态图片中所包含的一个对象或者多个对象进行内容识别，进而展示与识别结果相应的推荐内容。例如，可以对静态图片中所包含的人物、动物或者植物等对象进行内容识别，并展示识别得到的人物姓名、动物名称或植物名称等，以及基于人物姓名、动物名称或植物名称等确定的推荐内容。
但是对静态图片的识别的准确率、成功率受很多因素限制。如果静态图片中所包含的某个对象不够清晰或者尺寸较小，都可能导致无法识别出该对象或仅能识别出部分对象，导致可展示的推荐内容较少。
发明内容
本申请示例性的实施方式提供一种显示设备及相应的内容展示方法，以解决相关技术中，利用电视对所播放的视频中的一帧静态图片进行内容识别时，识别的内容比较单一，可展示的内容较少的问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
本申请一些实施例中，公开了一种显示设备，所述显示设备包括：显示器与控制器，其中，所述控制器与所述显示器通信连接，所述控制器被配置为：接收截图指令；响应于所述截图指令，对所述显示器所显示当前显示画面进行截图操作，获得截图图像；当所述截图图像中包含播放视频所产生的画面时，向服务器发送信息获取请求，所述信息获取请求中包含与所述截图图像对应的场景信息；接收所述服务器响应于所述信息获取请求发送的响应信息，所述响应信息中包含与所述场景信息对应的推荐内容；控制所述显示器显示所述响应信息所包含的推荐内容。
在一些实施例中，所述信息获取请求中还包含所述截图图像；或者，所述响应信息中还包括从所述截图图像中识别得到目标对象的识别结果。
在一些实施例中，所述信息获取请求中还包含用于辅助服务器对所述截图图像进行内容识别的辅助信息。
在一些实施例中，在向服务器发送信息获取请求步骤中，所述控制器被进一步配置为：向内容识别服务器发送所述截图图像及用于辅助服务器对所述截图图像进行内容识别的辅助信息；向内容推荐服务器发送所述场景信息。
在一些实施例中，在接收所述服务器响应于所述信息获取请求发送的响应信息步骤中，所述控制器被进一步配置为：接收内容识别服务器发送的识别结果，所述识别结果为基于所述辅助信息对所述截图图像识别得到；接收内容推荐服务器基于所述场景信息发送的所述推荐内容。
在一些实施例中，在控制所述显示器显示所述响应信息所包含的推荐内容步骤中，所述控制器被进一步配置为：控制所述显示器在第一显示区域显示所述识别结果，并控制所述显示器在第二显示区域显示所述推荐内容。
在一些实施例中，在控制所述显示器显示所述响应信息所包含的推荐内容步骤中，所述控制器被进一步配置为：控制所述显示器显示所述识别结果；在接收到切换指令后，控制所述显示器切换为显示所述推荐内容。
与前述显示设备的实施例相对应，本申请一些实施例中，公开了一种内容展示方法，所述方法包括：接收截图指令；响应于所述截图指令，对所述显示器所显示当前显示画面进行截图操作，获得截图图像；当所述截图图像中包含播放视频所产生的画面时，向服务器发送信息获取请求，所述信息获取请求中包含与所述截图图像对应的场景信息；接收所述服务器响应于所述信息获取请求发送的响应信息，所述响应信息中包含与所述场景信息对应的推荐内容；显示所述响应信息所包含的推荐内容。
在一些实施例中，所述信息获取请求中还包含所述截图图像；所述响应信息中还包括从所述截图图像中识别得到目标对象的识别结果。
在一些实施例中，所述信息获取请求中还包含用于辅助服务器对所述截图图像进行内容识别的辅助信息。
在一些实施例中，向服务器发送信息获取请求步骤，包括：向内容识别服务器发送所述截图图像及用于辅助服务器对所述截图图像进行内容识别的辅助信息；向内容推荐服务器发送所述场景信息。
在一些实施例中，接收所述服务器响应于所述信息获取请求发送的响应信息步骤，包括：接收内容识别服务器发送的识别结果，所述识别结果为基于所述辅助信息对所述截图图像识别得到；接收内容推荐服务器基于所述场景信息发送的所述推荐内容。
在一些实施例中，控制所述显示器显示所述响应信息所包含的推荐内容步骤，包括：控制所述显示器在第一显示区域显示所述识别结果，并控制所述显示器在第二显示区域显示所述推荐内容。
在一些实施例中，控制所述显示器显示所述响应信息所包含的推荐内容步骤，包括：控制所述显示器显示所述识别结果；在接收到切换指令后，控制所述显示器切换为显示所述推荐内容。
本申请提供了一种显示设备及内容展示方法，可以控制显示器显示基于场景信息确定推荐内容，而不止显示具有识别结果确定的推荐内容，从而使显示设备所显示的推荐内容更加丰富。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景；
图2示出了根据一些实施例的控制装置100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的显示设备200中软件配置图；
图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；
图6示出了一些实施例的网络架构图；
图7示出了一些实施例的截图图像显示效果示意图；
图8A至8F示出了一些实施例的推荐内容显示效果示意图；
图9示出了另一些实施例的推荐内容显示效果示意图；
图10示出了一些实施例中内容展示方法的流程示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。
在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。
在一些实施例中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是HDMI接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。
为清楚说明本申请的实施例，下面结合图6对本申请实施例提供的一种网络架构进行描述。
参见图6，图6为本申请实施例提供的一种网络架构示意图。图6中，智能设备用于接收输入的信息以及输出对该信息的处理结果；语音识别服务设备为部署有语音识别服务的电子设备，语义服务设备为部署有语义服务的电子设备，业务服务设备为部署有业务服务的电子设备。这里的电子设备可包括服务器、计算机等，这里的语音识别服务、语义服务(也可称为语义引擎)和业务服务为可部署在电子设备上的web服务，其中，语音识别服务用于将音频识别为文本，语义服务用于对文本进行语义解析，业务服务用于提供具体的服务如墨迹天气的天气查询服务、QQ音乐的音乐查询服务等。在一个实施例中，图6所示架构中可存在部署有不同业务服务的多个业务服务设备。如无特殊说明，业务服务设备即为本申请实施例中的各类服务器。
下面对基于图6所示架构处理输入智能设备的信息的过程进行举例描述，以输入智能设备的信息为通过语音输入的查询语句为例，上述过程可包括如下三个阶段：
1、语音识别阶段
智能设备可在接收到通过语音输入的查询语句后，将该查询语句的音频上传至语音识别服务设备，以由语音识别服务设备通过语音识别服务将该音频识别为文本后返回至智能设备。
在一个实施例中，将查询语句的音频上传至语音识别服务设备前，智能设备可对查询语句的音频进行去噪处理，这里的去噪处理可包括去除回声和环境噪声等步骤。
2、语义理解阶段
智能设备将语音识别服务识别出的查询语句的文本上传至语义服务设备，以由语义服务设备通过语义服务对该文本进行语义解析，得到文本的业务领域、意图等。
3、响应阶段
语义服务设备根据对查询语句的文本的语义解析结果，向相应的业务服务设备下发查询指令以获取业务服务给出的查询结果。智能设备可从语义服务设备获取该查询结果并输出，例如无线、红外等形式将查询结果输出至显示设备。作为一个实施例，语义服务设备还可将对查询语句的语义解析结果发送至智能设备，以由智能设备输出该语义解析结果中的反馈语句。语义服务设备也可将对查询语句的语义解析结果发送至显示设备，以由智能设备输出该语义解析结果中的反馈语句。
需要说明的是，图6所示架构只是一种示例，并非对本申请保护范围的限定。本申请实施例中，也可采用其他架构来实现类似功能，在此不做赘述。
显示设备200中的控制器250与显示器275通信连接，如果无特殊说明，以下实施例中显示设备所执行的步骤均可以理解为由所述控制器250执行或者由所述控制器250或所述控制器250与所述显示设备200的其他组成部分配合执行。
在本申请的一些实施例中，显示设备200可以响应于所述截图指令，对所述显示器275所显示当前显示画面进行截图操作，获得截图图像；然后向服务器400发送信息获取请求，并接收所述服务器400响应于所述信息获取请求发送的响应信息，继而再控制所述显示器275显示所述响应信息所包含的推荐内容。其中，所述信息获取请求中包含与所述截图图像对应的场景信息，所述响应信息中则包含与所述场景信息对应的推荐内容。
下面结合附图来介绍本申请实施例所提供的技术方案。
本申请中的显示设备200的控制器可以接收各种形式的截图指令。在接收到所述截图指令后，响应于接收到的截图指令，对显示器275当前显示界面进行截图操作，获得截图图像。在获取到所述截图图像之后，所述显示设备可以显示所述截图图像或所述截图图像的缩略图，例如如图7所示，以层叠显示方式在显示屏275的左上角显示截图图像的缩略图，或者也可以不显示，对此本申请不做限定。
其中，所述截图指令可以由用户直接向显示设备200发送，例如通过语音的方式向显示设备200直接发出“这个人是谁”“这件衣服从哪里买”“画面中有什么”等语音形式的截图指令，也可以由用户通过操作手机、遥控器等设备的指定按键或功能按钮，向显示设备200发送截图指令。本申请不对截图指令的形式或显示设备200获取截图指令的方式进行限定。
根据应用场景不同，所述截图图像可以包含当前显示界面所显示的全部内容，也可以仅包含当前显示界面所显示的部分内容。为减少数据传输量，并降低图像识别过程中的数据处理量，所述截图图像可以仅包含当前显示界面中部分区域所显示的内容，例如，可以仅包含当前显示界面中视频播放窗口所显示的内容，而不包含视频播放窗口之外的内容。
由于受到用户操作时延或显示设备200数据处理时延的影响，截图图像中可能并不包含目标对象，其中，目标对象是指用户可能感兴趣的对象。例如，从用户观看到显示器275所显示的画面，到用户发出截图指令，再到显示设备200实际进行截图操作，可能会存在一个较长的时延。该处时延的存在也可能会导致最终得到的截图图像与用户想要截取的显示画面并不一致，也可能会导致截图图像中目标对象的图像不清楚甚至不包含目标对象的情况。服务器400对这样的截图图像进行内容识别，可能无法从中目标对象，进而导致无法为用户提供用户可能感兴趣的信息。
为避免此类情况发生，在显示设备200在获取截图图像时，还可以获取与所述截图图像对应的场景信息，然后将所述场景信息发送给服务器400。所述服务器400则可以基于所述场景信息生成推荐内容或完成图像识别，进而生成相应的响应信息，通过响应信息为用户提供用户可能感兴趣的信息。这样无论截图图像的内容或质量如何，也无论服务器400是否能从截图图像中识别出目标对象，服务器400都可以反馈可能感兴趣的推荐内容或识别结果给显示设备200，以供显示设备200进行显示。
下面就结合一些实施例，对本申请的技术方案进行进一步的说明。
在本申请一些实施例中，所述场景信息是服务器400提供推荐内容的依据，服务器400在获取到所述场景信息后，可以提供与所述场景信息对应的推荐内容或识别结果等。即，服务器400在获取到所述场景信息后，可以根据场景信息的内容不同，向显示设备200提供不同的推荐内容或识别结果。所述场景信息可以是指除所述截图图像之外的任何信息，通常情况下，所述场景信息可以包括与所述视频相关联的信息、与所述截图图像相关联的信息、或者所述显示设备200的运行状态信息等。
例如，所述场景信息可以包括显示设备200正在播放视频的视频ID、所述视频名称、所述视频播放进度、或者所述视频是否为本地视频等一个或多个与所述视频相关联的信息；也可以包括显示设备200接收到所述截图指令的时间、截图图像的分辨率、用于实现所述视频播放的APP名称等一个或多个与截图图像相关联的信息；或者也可以包括显示设备200正在运行的APP的信息、显示设备200的已持续运行的时间等一个或多个与运行状态相关的信息。
除通过信息获取请求将所述场景信息发送给服务器400之外，所述显示设备200还可以通过信息获取请求将截图图像等其他信息发送至服务器400，以便于所述服务器400对所述截图图像进行内容识别，进而向显示设备200反馈识别结果或反馈基于识别结果所确定的推荐内容。为提升截图图像的识别效果，除将截图图像发送至服务器400之外，还可以将用于辅助服务器400对所述截图图像进行内容识别的辅助信息发送至服务器400。所述辅助信息也可以有多种类型，例如，可以包括与所述截图图像相关的图像(例如所述视频中与所述截图图像最近的关键帧、所述截图图像临近的图像帧、包含所述截图图像的视频片段等)，或者也可以包括所述视频的视频ID、名称、来源等与所述视频相关的信息。
显示设备200发送信息获取请求方式可以有多种，通常情况下，显示设备200可以在获取到所述截图图像之后，向服务器400发送包含有所述场景信息的信息获取请求，从而通过信息获取请求将场景信息发送给所述服务器400。除包含有所述场景信息之外，所述信息获取请求中还可以同时包含有所述截图图像或辅助信息等其他信息。所述信息获取请求中也可以只包含截图图像及辅助信息而不包含场景信息，对此本申请不做限定。
在一些实施例中，显示设备200可以仅在符合预定条件时，才向服务器400发送信息获取请求。例如，显示设备200可以仅在所述截图图像包括播放视频所产生的画面时，向服务器400发送信息获取请求，如果所述截图图像中不包含播放视频所产生的画面，则可以按照通常方式，将截图图像发送给内容识别服务器进行内容识别。
在另一些实施例中，显示设备200也可以仅在接收到用户发送的确认指令后，才向服务器400发送信息获取请求；如果未接收到用户的确认指令，则可以在获取到截图图像后按照通常方式，仅将截图图像以信息获取请求之外的形式发送给内容识别服务器进行内容识别，而不发送信息获取请求；或者也可以既不发送信息获取请求，也不发送截图图像给服务器400。对此本申请不做限定。
在本申请各个实施例中，所述视频可以是预先已经保存在所述显示设备200中的视频，也可以是显示设备200即时生成(例如游戏画面)或即时采集的视频(例如通过摄像头拍摄到的图像)，或者可以是流媒体、直播信号或电视信号对应的视频，本申请不对所述视频的类型进行限定。述显示设备200本地所保存的视频、也可以是所述显示设备200所播放流媒体视频、所述显示设备200所显示电视直播画面、所述显示设备200的本地摄像头所采集到的视频图像等各类视频。
确定所述截图图像中是否包括播放视频所产生的画面的确定的方式可以有多种，所述显示设备200可以根据显示设备200的工作状态、正在运行的程序或已经接收到的指令等确定确定所述截图图像中是否包括播放视频所产生的画面。例如，当所述显示设备200处于视频播放状态(即正在播放某个视频时)，即可确定所述截图图像中包含播放视频所产生的画面；或者，当所述当前显示画面包含视频播放窗口，即可确定所述截图图像中包含播放视频所产生的画面；或者，还可以由显示设备200通过图像识别来确定所述截图图像中是否包含播放视频所产生的画面。各种，确定方式的具体实现过程在此就不再赘述。
本申请不对服务器400的类型和数量进行限定，在不同的应用场景下，所述服务器400的数量和类型也可以各不相同。所述服务器400可以独立与所述显示设备200之外，也可以是所述显示设备200的一部分。所述服务器400可以是一个也可以是多个，多个服务器400可以分别用于实现不同的功能或提供不同的信息，同一个服务器400也可以用于实现多个功能或提供个多种不同的信息。显示设备200可以将所述信息获取请求发送给全部服务器400，也可以仅发送给部分服务器400。
根据所述信息获取请求中所包含的内容不同，或者所述服务器400的具体类型不同，所述服务器400对信息获取请求的处理方式也各不相同。本申请不对服务器400所能实现的功能及功能的实现过程进行限定。相应的，所述信息获取请求中所包含的内容，及所述响应信息中所包含的内容也可以也可以有所不同。
下面结合一些具体的实施例，对本申请的技术方案进行进一步说明。
在一些实施例中，所述信息获取请求中包含截图图像，所述响应信息中可以包含从所述截图图像中识别得到目标对象的识别结果；相应的所述服务器400则可以包括内容识别服务器。
在该实施例中，所述内容识别服务器用于对截图图像进行内容识别，并生成响应信息。所述内容识别服务器可以为多个，每一个所述内容识别服务器可以仅用于对一个特定类型的目标对象进行识别，例如可以仅对文字、人物、物品等一类目标对象进行识别。显示设备200可以根据截图指令的内容、确认指令的内容等信息，选择一个或多个内容识别服务器作为选定服务器，然后将信息获取请求发送给选定服务器。例如，将截图指令是“这个演员是谁”的语音指令时，可以从多个服务器400中选定用于人物识别的人物识别服务器400，将所述信息获取请求发送至人物识别服务器400。进一步，所述响应信息中还可以包括内容推荐服务器则根据所述识别结果确定推荐内容，然后由内容识别服务器或内容推荐服务器将所述响应信息发送给显示设备200，所述响应信息中则可以包含所述识别结果和/或所述推荐内容。
采用该实施例中的技术方案，可以选择使用符合用户信息获取意图的服务器400对截图图像进行识别，从而可以使得识别得到的结果更符合用户的预期。
在另一些实施例中，所述信息获取请求中包含视频ID及视频的播放进度等场景信息，所述响应信息中可以包含目标对象的识别结果，所述服务器400则可以包括内容识别服务器。
用户在进行在线视频播放时，受制于流量或带宽等限制性条件，可能会选择清晰度较低(即分辨率较低或码率较低)的版本进行播放，而不选择清晰度最高(即分辨率最高或码率最高)的版本进行播放。在此情况下，截图图像清晰度相应也会比较差，导致图像识别难度增加或图像识别的准确率下降。在此情况下，所述内容识别服务器在接收到信息获取请求后，可以根据所述视频的视频ID的找到所述视频的最高清晰度版本，然后根据所述视频的播放进度，从所述视频的最高清晰度版本中获取所述截图图像的最高清晰度版本，进而对所述截图图像的最高清晰度版本进行内容识别，得到相应的识别结果。进一步，所述响应信息中也可以包括内容推荐服务器则根据所述识别结果确定推荐内容。
采用该实施例中的技术方案，所述服务器400可以无需直接从显示设备200获取截图图像，显示设备200可以仅发送视频的视频ID及所述视频的播放进度，就可以实现截图图像的内容识别，从而可以减少数据传输量，节省所述显示设备200在无线网络场景下流量消耗。
在另一些实施例中，所述信息获取请求中包含视频的视频ID及视频描述信息等场景信息，所述响应信息中可以包含从所述截图图像中识别得到目标对象的识别结果，所述服务器400则可以包括内容识别服务器。
由于同一个目标对象在不同的场景中可能有不同的含义，如果仅仅通过对截图图像进行内容识别，所得的识别结果可能非常简单或有限。例如，同一个演员在不同的剧集中会扮演不同的角色，如果仅仅通过对截图图像进行内容识别，那么通常只能识别出该演员是谁，但是并不能确定截图图像来自哪部剧集，以及该演员在该剧集中扮演的角色是谁。在此情况下，显示设备200可以将所述视频的视频ID、名称、来源等描述信息作为辅助信息。当信息获取请求中包含所述描述信息时，服务器400就可以先对截图图像进行识别，生成初步结果，然后再基于所述辅助信息对所述初步结果进行扩充或处理，得到识别结果。例如，服务器400就可以先对截图图像进行识别，得到截图图像中演员是“张三”的初步识别结果，然后通过所述描述信息确定所述截图图像所对应的剧集，进而根据所述剧集，确定该演员在剧集中所扮演的角色为“李四”，这样，最终得到的识别结果可以为“截图图像中演员是张三，他在该剧中扮演的角色是李四”。进一步，所述响应信息中还可以包括内容推荐服务器则根据所述识别结果确定推荐内容，例如将具有与“李四”相同或同类角色的剧集作为推荐内容，然后由内容识别服务器或内容推荐服务器将所述响应信息发送给显示设备200，所述响应信息中则可以包含所述识别结果和/或所述推荐内容，从而丰富识别结果所包含的内容。
在另一些实施例中，所述信息获取请求中包含截图图像及至少一个关键帧等辅助信息，所述响应信息中可以包含目标对象的识别结果，所述服务器400则可以包括内容识别服务器。
根据编码方式的不同，所述视频中可能会包含关键帧和过渡帧，如截图图像是过渡帧对应的图像，那么可能会出现截图图像中目标对象的不清晰的情况，从而导致目标对象的识别成功率较低。在此情况下，在接收到所述信息获取请求后，所述内容识别服务器可以不对截图图像进行识别，而直接对关键帧逐一进行内容识别；或者也可以在未从截图图像中识别出目标对象时，再对所述关键帧进行内容识别。如果从所述关键帧中识别到目标对象，则可以生成包含关键帧中目标对象的识别结果的响应信息。
进一步，所述服务器400还可以包括内容识别服务器，所述响应信息中则还可以包含基于所述识别结果确定的推荐内容。所述内容推荐服务器则可以根据所述识别结果确定推荐内容，然后由内容识别服务器或内容推荐服务器将所述响应信息发送给显示设备200。需要说明的是，在该实施例中，所述关键帧也可以被替换为所述截图图像所对应帧的相邻帧，具体过程在此就不再赘述。在该实施例中，当截图图像是过渡帧对应的图像时，可以将所述过渡帧最近的关键帧或相邻帧作为辅助信息，从而使得服务器400在对截图图像进行内容识别之外，还可以对关键帧进行内容识别，从而提升目标对象的识别成功率，避免因为用户截图操作时机不佳等原因导致无法得到识别结果。
在另一些实施例中，所述信息获取请求中包含所述视频的播放进度等场景信息，所述响应信息中则可以包含基于所述视频的播放进度确定的推荐内容，所述服务器400则可以包括内容推荐服务器。
在该实施例中，所述内容推荐服务器可以预先保存有与所述视频不同的播放进度区间相关联的预设内容。所述播放进度区间可以是一个时间段可以是一个时间点，不同的播放进度区间之间可以不连续也可以相互重合，不同播放进度区间关联的预设内容类型可以相同也可以不同，各个播放进度区间关联的预设内容可以随着用户操作和时间变化而变化。
例如，所述视频的第一进度区间(例如视频的第0分钟～第15分钟)可以关联一些推荐视频作为推荐内容、第二进度区间(例如视频的第5分钟～第20分钟)则可以关联一些商品推荐信息或购买连链接作为推荐内容，第三进度区间(例如视频的第25分钟～第30分钟)则可以关联一些关键词，该关键词可以用来确定推荐内容。所述视频的播放进度可以以视频ID加播放时长的形式表示。在获取到所述信息获取请求后，所述内容推荐服务器首先根据视频ID和播放时长确定所述视频的播放进度落入哪个播放进度区间，然后将其所落入的播放进度区间相关联的预设内容作为推荐内容。例如，如果所述播放进度落入第一进度区间，则可以将所述推荐视频作为推荐内容；如果所述播放进度落入第二进度区间，则可以将所述商品推荐信息或购买连链接作为推荐内容；如果所述播放进度落入第三进度区间，则可以使用所述关键词进行内容搜索，然后将搜索结果作为所述推荐内容。
又如，可以为视频中的特定视频段关联一组预设内容，所述预设内容可以包括该视频段中出现的的演员及相应角色信息，还可以包括基于该视频段中界面内容确定的媒资推荐信息、商品购买链接等。如果所述播放进度对应的视频段是所述特定视频段，则可以将所述预设内容作为推荐内容。
采用该实施例的技术方案，可以将截图图像识别与内容推荐功能相分离，使得即便是不对截图图像进行识别，或者采用本申请实施例之外的其他方式对截图图像进行识别，也可以实现与截图图像进行识别相同或类似的效果。
需要说明的是，以上实施例仅仅是本申请部分实施例，并不代表本申请的全部技术方案，不同实施例中的方案或步骤可以相互结合，从而形成新的技术方案，对此本申请不做限定，也不再一一赘述。
显示设备200在接收到所述响应信息后，还可以通过显示器275显示所述响应信息所包含的推荐内容等内容。除显示所述响应信息中包含的所述推荐内容等内容之外，所述显示设备200还可以显示所述截图图像或所述截图图像的缩略图，或者显示设备200已经生成或获取的其他信息。
根据应用场景或内容推荐服务器不同，所述推荐内容的类型也可以有多种，所述响应信息中可以包含多个类型不同的推荐内容。例如，所述推荐内容可以包含媒资推荐信息、商品购买链接、旅游推介信息等。根据推荐内容的类型不同，所述推荐内容的展示方式也可以有所不同。
在一些实施例中，所述显示设备200可以通过内容推荐界面用于显示所述推荐内容。所述内容推荐界面中可以有至少一个显示区域用于显示所述推荐内容，当所述推荐内容较多或有多种不同类型时，可以分别使用不同的显示区域显示不同类型的推荐内容，例如如图8A所示，或者也可以使用同一显示区域循环显示不同的推荐内容，例如如图8B至图8C所示；除显示所述推荐内容的显示区域之外，所述内容推荐界面还可以有至少一个显示区域，用于显示所述截图图像的缩略图等其他信息，例如图8D所示。所述内容推荐界面中还包含一个用于显示截图图像的缩略图的显示区域，以及一个用于显示操作按钮及提示信息的显示区域，例如图8E所示。
所述内容推荐界面的显示方式也可以有多种，以下仅以一些示例进行说明。
在一些实施例中，所述内容推荐界面可以以图层的形式叠加显示在其他界面上。所述图层可以是半透明、不透明或部分区域透明的图层，例如图8F所示。当所述内容推荐界面叠加显示在其他界面上时，其他界面所显示的内容或内容显示方式可以保持不变，或者也可以暂停发生变化直至不再显示所述内容推荐界面。例如，如果内容推荐界面叠加在视频播放界面上，所述视频播放界面可以仍然保持视频的播放状态(即不暂停或退出视频播放)，或者也可以不暂停或退出视频播放；如果内容推荐界面叠加在菜单界面上，所述菜单界面仍可以保持窗口内容或控件内容的周期性切换，或者也可以冻结菜单界面的内容，使菜单界面不再发生变化。
在另一些实施例中，所述内容推荐界面可以以弹出窗口的形式显示，即，或者所述内容推荐界面可以只占据所述显示屏的部分区域，例如如9所示。当内容推荐界面以弹出窗口的形式显示时，所述弹出窗口也可以叠加显示在其他界面上。同样的，在显示所述弹出窗口时，其他界面所显示的内容或内容显示方式可以保持不变。
在另一些实施例中，所述内容推荐界面可以是一个特定的显示界面，显示设备200可以从当前所显示的界面跳转至内容推荐界面，在界面跳转过程中，显示设备200还可以显示相应的过渡效果或过渡动画。在此就不再详细说明。
与前述实施例中的显示设备相对应，本申请还提供了一种内容展示方法。如图10所示，内容展示方法包括以下步骤：
步骤1001、接收截图指令。
显示设备接收截图指令的方式可以参见前述，在此就不再赘述。
步骤1002、响应于所述截图指令，对所述显示器所显示当前显示画面进行截图操作。
在接收到截图指令之后，显示设备可以对显示器所显示当前显示画面进行截图操作，获得截图图像。截图操作的具体实现方式和截图图像的获取方式，本申请不做限定，在此也不做赘述。
步骤1003，向服务器发送信息获取请求。
显示设备可以在符合预定条件时，向服务器发送信息获取请求。所述预定条件可以包括所述截图图像中包含视频播放所产生的图形、接收到了用户的确认操作等。所述信息获取请求中可以包含与所述截图图像对应的场景信息，还可以包括所述截图图像及辅助信息等信息。
步骤1004、接收所述服务器响应于所述信息获取请求发送的响应信息。
所述响应信息可以仅为一个也可以为多个，当所述相应信息为多个时，不同的响应信息可以由不同的服务器发送。所述服务器的数量可以为多个，类型可以为多种。所述响应信息中可以包含与所述场景信息对应的推荐内容，也可以包含所述截图图像的识别结果，或者可以包含其他信息。相关之处参见前述实施例即可，在此就不再赘述。
步骤1005、显示所述响应信息所包含的内容。
显示设备在接收到所述响应信息后，可以显示所述响应信息所包含的全部或部分内容。例如，可以显示所述响应信息所包含的推荐内容或识别结果等内容。
显示所述响应信息所包含的内容，可以是指显示所述响应信息所包含的内容本身，也可以是显示对所述响应信息所包含的内容进一步进行处理后得到的处理结果，或者也可以是显示基于所述响应信息所包含的内容进行进一步检索所得的内容，对此本申请不做限定。
采用申请所提供的内容展示方法，可以避免基于截图图像的识别结果进行内容显示所带来的可显示内容过于单一的问题，使识别的内容更加丰富。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (9)

1.一种显示设备，其特征在于，所述显示设备包括：
显示器；
通信器，被配置为与服务器进行通信；
控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：
获取用户发出的截图指令；
响应于所述截图指令，对所述显示器所显示当前显示画面进行截图操作，生成截图图像；
将包含所述截图图像以及当前显示画面中的播放视频的ID的信息获取请求发送到服务器，以使得所述服务器检测获取到的所述截图图像的清晰度是否小于图像分析的清晰度阈值，且在清晰度小于清晰度阈值的情况下，在最高清晰度的播放视频中查找所述截图图像的对应位置的关键帧，并根据所述关键帧进行图像分析，其中，所述最高清晰度的播放视频为所述服务器根据所述ID所查找最高清晰度的播放视频；
接收所述服务器响应于所述信息获取请求发送的响应信息，所述响应信息中包含与场景信息截图图像中目标图像或场景信息对应的推荐内容；
控制所述显示器显示所述响应信息所包含的推荐内容。
2.如权利要求1所述的显示设备，其特征在于，
所述信息获取请求中还包含用于辅助服务器对所述截图图像进行内容识别的辅助信息。
3.如权利要求2所述的显示设备，其特征在于，在向服务器发送信息获取请求步骤中，所述控制器被进一步配置为：
向内容识别服务器发送所述截图图像及用于辅助服务器对所述截图图像进行内容识别的辅助信息；
向内容推荐服务器发送所述场景信息。
4.如权利要求3所述的显示设备，其特征在于，在接收所述服务器响应于所述信息获取请求发送的响应信息步骤中，所述控制器被进一步配置为：
接收内容识别服务器发送的识别结果，所述识别结果为基于所述辅助信息对所述截图图像识别得到；
接收内容推荐服务器基于所述场景信息发送的所述推荐内容。
5.如权利要求1所述的显示设备，其特征在于，在控制所述显示器显示所述响应信息所包含的推荐内容步骤中，所述控制器被进一步配置为：
控制所述显示器在第一显示区域显示识别结果，并控制所述显示器在第二显示区域显示所述推荐内容。
6.如权利要求4所述的显示设备，其特征在于，在控制所述显示器显示所述响应信息所包含的推荐内容步骤中，所述控制器被进一步配置为：
控制所述显示器显示所述识别结果；
在接收到切换指令后，控制所述显示器切换为显示所述推荐内容。
7.一种内容展示方法，其特征在于，应用于显示设备，所述显示设备包括显示器、通信器和控制器，所述通信器被配置为与服务器进行通信；所述控制器与所述显示器通信连接，包括：
获取用户发出的截图指令；
响应于所述截图指令，对显示器所显示当前显示画面进行截图操作，获得截图图像；
将包含所述截图图像以及当前显示画面中的播放视频的ID的信息获取请求发送到服务器，以使得所述服务器检测获取到的所述截图图像的清晰度是否小于图像分析的清晰度阈值，且在清晰度小于清晰度阈值的情况下，在最高清晰度的播放视频中查找所述截图图像的对应位置的关键帧，并根据所述关键帧进行图像分析，其中，所述最高清晰度的播放视频为所述服务器根据所述ID所查找最高清晰度的播放视频；
接收所述服务器响应于所述信息获取请求发送的响应信息，所述响应信息中包含与场景信息截图图像中目标图像或场景信息对应的推荐内容；
显示所述响应信息所包含的推荐内容。
8.如权利要求7所述的内容展示方法，其特征在于，所述向服务器发送信息获取请求，包括：
向内容识别服务器发送所述截图图像及用于辅助服务器对所述截图图像进行内容识别的辅助信息；
向内容推荐服务器发送所述场景信息。
9.如权利要求7所述的内容展示方法，其特征在于，所述接收所述服务器响应于所述信息获取请求发送的响应信息，包括：
接收内容识别服务器发送的识别结果，所述识别结果为基于辅助信息对所述截图图像识别得到；
接收内容推荐服务器基于所述场景信息发送的所述推荐内容。
CN202011461720.XA 2020-07-14 2020-12-11 显示设备和内容展示方法 Active CN112601117B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011461720.XA CN112601117B (zh) 2020-12-11 2020-12-11 显示设备和内容展示方法
CN202211519109.7A CN115776585A (zh) 2020-12-11 2020-12-11 显示设备和内容展示方法
PCT/CN2021/102287 WO2022012299A1 (zh) 2020-07-14 2021-06-25 显示设备及人物识别展示的方法
PCT/CN2021/119692 WO2022078172A1 (zh) 2020-10-16 2021-09-22 一种显示设备和内容展示方法
US17/950,747 US20230018502A1 (en) 2020-07-14 2022-09-22 Display apparatus and method for person recognition and presentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011461720.XA CN112601117B (zh) 2020-12-11 2020-12-11 显示设备和内容展示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211519109.7A Division CN115776585A (zh) 2020-12-11 2020-12-11 显示设备和内容展示方法

Publications (2)

Publication Number Publication Date
CN112601117A CN112601117A (zh) 2021-04-02
CN112601117B true CN112601117B (zh) 2022-10-28

Family

ID=75192972

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011461720.XA Active CN112601117B (zh) 2020-07-14 2020-12-11 显示设备和内容展示方法
CN202211519109.7A Pending CN115776585A (zh) 2020-12-11 2020-12-11 显示设备和内容展示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211519109.7A Pending CN115776585A (zh) 2020-12-11 2020-12-11 显示设备和内容展示方法

Country Status (1)

Country Link
CN (2) CN112601117B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012299A1 (zh) * 2020-07-14 2022-01-20 海信视像科技股份有限公司 显示设备及人物识别展示的方法
CN117271872A (zh) * 2022-06-15 2023-12-22 北京有竹居网络技术有限公司 推荐方法、装置、设备、存储介质及计算机程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015097922A1 (ja) * 2013-12-26 2015-07-02 パナソニックＩｐマネジメント株式会社 映像編集装置
CN111010610A (zh) * 2019-12-18 2020-04-14 维沃移动通信有限公司 一种视频截图方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8667054B2 (en) * 2010-07-12 2014-03-04 Opus Medicus, Inc. Systems and methods for networked, in-context, composed, high resolution image viewing
KR102120771B1 (ko) * 2013-02-13 2020-06-09 삼성전자주식회사 디스플레이장치, 서버 및 그 제어방법
US10452706B2 (en) * 2013-06-04 2019-10-22 Oath Inc. Method and system for handling images on a multi-touch device
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
KR102088443B1 (ko) * 2015-04-01 2020-03-12 삼성전자주식회사 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
CN108322806B (zh) * 2017-12-20 2020-04-07 海信视像科技股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
CN108040125A (zh) * 2017-12-28 2018-05-15 北京陌上花科技有限公司 内容识别及推送方法及电视伴随式ai助理装置
WO2020113020A1 (en) * 2018-11-29 2020-06-04 Google Llc Providing content related to objects detected in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015097922A1 (ja) * 2013-12-26 2015-07-02 パナソニックＩｐマネジメント株式会社 映像編集装置
CN111010610A (zh) * 2019-12-18 2020-04-14 维沃移动通信有限公司 一种视频截图方法及电子设备

Also Published As

Publication number Publication date
CN112601117A (zh) 2021-04-02
CN115776585A (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN114302190B (zh) 一种显示设备及画质调整方法
CN111836109A (zh) 显示设备、服务器及自动更新栏目框的方法
CN112667184A (zh) 一种显示设备
CN112153406A (zh) 一种直播数据生成方法、显示设备及服务器
CN112601117B (zh) 显示设备和内容展示方法
CN113014939A (zh) 显示设备及播放方法
CN113301420A (zh) 一种内容显示方法和显示设备
CN112653906A (zh) 显示设备上视频热点播放方法及显示设备
CN113490042A (zh) 一种显示设备以及搜台方法
CN112272331B (zh) 一种节目频道列表快速展示的方法及显示设备
CN113490032A (zh) 显示设备及媒资显示方法
CN112580625A (zh) 一种显示设备和图像内容识别方法
CN113111214A (zh) 一种播放记录的显示方法及显示设备
CN112584213A (zh) 一种显示设备和图像识别结果的展示方法
CN112733050A (zh) 显示设备上搜索结果的展示方法及显示设备
CN113453069B (zh) 一种显示设备及缩略图生成方法
CN112911381B (zh) 一种显示设备、模式调整方法、设备及介质
CN114390332A (zh) 显示设备及快速切换分屏应用的方法
CN112601116A (zh) 一种显示设备及内容显示方法
CN113542901A (zh) 一种显示设备、及网络频道的快速切换显示方法
CN112668546A (zh) 视频缩略图显示方法及显示设备
CN112199560A (zh) 一种设置项的搜索方法及显示设备
CN111914565A (zh) 电子设备及用户语句的处理方法
CN112929724B (zh) 显示设备、机顶盒及远场拾音唤醒控制方法
CN114095769B (zh) 一种应用级播放器的直播低延迟处理方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant