CN116774954A - 显示设备和服务器 - Google Patents

显示设备和服务器 Download PDF

Info

Publication number
CN116774954A
CN116774954A CN202210226614.6A CN202210226614A CN116774954A CN 116774954 A CN116774954 A CN 116774954A CN 202210226614 A CN202210226614 A CN 202210226614A CN 116774954 A CN116774954 A CN 116774954A
Authority
CN
China
Prior art keywords
person
character
image
user interface
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210226614.6A
Other languages
English (en)
Inventor
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202210226614.6A priority Critical patent/CN116774954A/zh
Priority to PCT/CN2022/141492 priority patent/WO2023169049A1/zh
Publication of CN116774954A publication Critical patent/CN116774954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

本申请提供了一种显示设备和服务器。当用户输入了指示识别用户界面中的人物的指令，显示设备可以对用户界面进行截图处理，得到用户界面图像，并可以将用户界面图像发送至服务器。服务器可以确定出用户界面图像中包含的所有人物，实现对用户界面中的所有人物的识别。服务器再获取每个人物的人物信息，并确定每个人物的人物优先级，通过人物优先级可以确定出用户对人物的关注程度。服务器将所有人物的人物信息以及人物优先级发送至显示设备，显示设备可以根据人物优先级，向用户推荐人物的人物信息。因此，显示设备可以根据用户对人物的关注程度，向用户准确地推荐用户想要识别的人物及人物信息，提高了用户的体验性。

Description

显示设备和服务器
技术领域
本申请涉及显示设备技术领域，尤其涉及一种显示设备和服务器。
背景技术
显示设备是指能够输出具体显示画面的终端设备，如智能电视、移动终端、智能广告屏、投影仪等。随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越 来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满 足用户多样化和个性化需求。
随着用户对显示设备所能提供功能或服务的要求也越来越高，图像识别也逐渐成为 用户经常使用的一个功能，可以对显示器中显示的画面内容进行识别，例如对画面中出现的人物进行识别，从而将人物的人物信息提供给用户。用户可以将显示器中的焦点移 动至想要识别的人物面孔处，确定焦点无误后，显示设备可以将该人物面孔对应的图像 发送至服务器。服务器对人物面孔进行识别后，可以该人物面孔对应的人物信息，例如 人物姓名、人物简介、参演影视作品等内容，反馈给显示设备。显示设备可以显示出人 物信息。
然而，在对人物识别时，如果显示器中的焦点处并不是用户想要关注的目标人物，则需要用户手动控制焦点移动至选中用户想要关注的目标人物，可能会使用户进行多次移动查找。显示设备无法根据用户对人物的关注程度，向用户准确地推荐相关的人物信息，给用户的体验性较差。
发明内容
本发明提供了一种显示设备和服务器。以解决相关技术中，无法根据用户对人物的 关注程度，向用户准确地推荐相关的人物信息，给用户的体验性较差。
第一方面，本申请提供一种显示设备，包括显示器和控制器。其中，显示器被配置为显示用户界面；控制器被配置为执行以下步骤：
响应于用户输入的指示识别所述用户界面中的人物的指令，对所述用户界面进行截 图处理，得到用户界面图像；
将所述用户界面图像发送至服务器；
接收所述服务器反馈的所述用户界面图像中包含的所有人物的人物信息和人物优先 级，所述人物优先级用于表征用户对人物的关注程度；
基于所述人物优先级，控制所述显示器显示所有人物的所述人物信息。
第二方面，本申请提供一种服务器，被配置为执行以下步骤：
接收显示设备发送的用户界面图像，所述用户界面图像为所述显示设备显示的用户 界面对应的截图图像；
确定所述用户界面图像中包含的所有人物；
获取每个人物的人物信息，并确定每个人物的人物优先级，所述人物优先级用于表 征用户对人物的关注程度；
将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备，以使所述显 示设备根据所述人物优先级显示所有人物的所述人物信息。
由以上技术方案可以看出，本申请提供了一种显示设备和服务器。当用户输入了指 示识别用户界面中的人物的指令，显示设备可以对用户界面进行截图处理，得到用户界面图像，并可以将用户界面图像发送至服务器。服务器可以确定出用户界面图像中包含 的所有人物，实现对用户界面中的所有人物的识别。服务器再获取每个人物的人物信息， 并确定每个人物的人物优先级，通过人物优先级可以确定出用户对人物的关注程度。服 务器将所有人物的人物信息以及人物优先级发送至显示设备，显示设备可以根据人物优 先级，向用户推荐人物的人物信息。因此，显示设备可以根据用户对人物的关注程度， 向用户准确地推荐用户想要识别的人物及人物信息，提高了用户的体验性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单 地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景；
图2示出了根据一些实施例的控制装置100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的显示设备200中软件配置图；
图5示出了一些实施例中用户界面的示意图；
图6示出了一些实施例中用户界面的示意图；
图7示出了一些实施例中显示器中显示人物识别模式确认信息的示意图；
图8示出了一些实施例中显示设备和服务器的交互流程图；
图9示出了一些实施例中用户界面的显示参数的示意图；
图10示出了一些实施例中服务器识别出的人脸图像的示意图；
图11示出了人脸图像和焦点位置的距离的示意图；
图12示出了一些实施例中图像控件和人脸图像的示意图；
图13示出了一些实施例中显示器显示人物信息的流程图；
图14示出了一些实施例中的人物识别界面的示意图；
图15示出了一些实施例中显示器显示人物简介的示意图；
图16一些实施例中人物推荐方法的流程图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图， 对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实 施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于 区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外 注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
在智能控制设备为显示设备时，基于显示设备的结构进行介绍。
图1示出了根据一些实施例的智能控制设备的使用场景。如图1所示，智能控制设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作智 能控制设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和智能控制设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线 方式来控制智能控制设备200。用户可以通过遥控器上按键、语音输入、控制面板输入 等至少一种输入用户指令，来控制智能控制设备200。
在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用智能设备300以控制智能控制设备200。例如，使用在智能设备上运行的应用程序控制智能控制设备200。在一些实施例中，也可以使用智 能设备300和智能控制设备进行数据的通信。
在一些实施例中，智能控制设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过智能控制设备200设备内部配置的获取语音指令 的模块直接接收用户的语音指令控制，也可以通过智能控制设备200设备外部设置的语 音控制装置来接收用户的语音指令控制。
在一些实施例中，智能控制设备200还与服务器400进行数据通信。可允许智能控制设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400 可以向智能控制设备200提供各种内容和互动。服务器400可以是一个集群，也可以是 多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数 据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的智能控制设备上执行，反之亦然。
图2示出了根据一些实施例的控制装置100的硬件配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控 制装置100可接收用户的输入操作指令，且将操作指令转换为智能控制设备200可识别 和响应的指令，起用用户与智能控制设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC 或可替代模块中的至少一种。在一些实施例中，用户输入/输出接口140包含麦克风，触 摸板，传感器，按键或可替代模块中的至少一种。
图3示出了根据一些实施例的智能控制设备200的硬件配置框图。参见图3，在一些实施例中，智能控制设备200包括调谐解调器210、通信器220、检测器230、外部装 置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接 口中的至少一种。在一些实施例中，控制器包括中央处理器，视频处理器，音频处理器， 图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及 菜单操控界面的组件以及用户操控UI界面等。在一些实施例中，显示器260可为液晶 显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影 屏幕。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。在一 些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制智能控制 设备的工作和响应用户的操作。控制器250控制智能控制设备200的整体操作。例如：响 应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与 由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等 操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理 器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第 n接口，通信总线(Bus)等中的至少一种。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过 输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手 势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息 交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与 计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状 态栏、导航栏、Widget等可视的界面元素中的至少一种。在一些实施例中，用户接口280， 为可用于接收控制输入的接口(如：智能控制设备本体上的实体按键，或其他等)。
图4示出了根据一些实施例的智能控制设备200中软件配置图。参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Androidruntime)和 系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操 作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(application programming interface，API)和编 程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中 心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行 中访问系统中的资源和取得系统的服务。
随着用户对显示设备所能提供功能或服务的要求也越来越高，图像识别也逐渐成为 用户经常使用的一个功能，可以对显示器中显示的画面内容进行识别，例如对画面中出现的人物进行识别，从而将人物的人物信息提供给用户。
然而，在对人物识别时，如果显示器中的焦点处并不是用户想要关注的目标人物，则需要用户手动控制焦点移动至选中用户想要关注的目标人物，可能会使用户进行多次移动查找。显示设备无法根据用户对人物的关注程度，向用户准确地推荐相关的人物信息，给用户的体验性较差。
本申请提供一种显示设备，包括显示器和控制器。显示器用于显示用户界面。用户界面可以是显示设备开机后显示的主界面，可以是媒资推荐页，也可以是显示设备的一 些UI界面等。
在一些实施例中，当用户控制显示设备开机后，控制器可以控制显示器显示用户界 面。图5示出了一些实施例中用户界面的示意图。用户界面包括第一导航栏500、第二 导航栏510、功能栏520和内容显示区530，功能栏520包括多个功能控件如“观看记录”、 “我的收藏”和“我的应用”等。其中，内容显示区530中显示的内容会随第一导航栏 500和第二导航栏510中被选中控件的变化而变化。在应用面板页面时，用户可以通过 点击“我的应用”控件，以输入针对应用面板页面的显示指令，来触发进入对应的应用 面板。需要说明的是，用户也可以通过其他方式来输入对功能控件的选中操作，以触发 进入应用面板。例如，利用语音控制功能或者搜索功能等，控制进入到应用面板页面。
在一些实施例中，用户界面中可以包括多个功能控件。其中，一些功能控件可以是文字控件，如图5中的第一导航栏500中的“推荐”和“频道”、第二导航栏510中的 “精选”等功能控件，文字控件对应的内容为文字内容，这些文字内容用于表征该功能 控件的功能。
一些功能控件可以是图像控件，图像控件中的内容可以是一副图像，图像中可以包 括文字，可以包括人脸面孔，也可以不包括文字和人脸面孔。图6示出了一些实施例中用户界面的示意图。其中，包括两个图像控件。图像控件601中的图像不包括文字内容， 但包括多个人脸面孔。图像控件602中的图像既不包括文字内容，也不包括人脸面孔。
在一些实施例中，显示设备具有人物识别功能。对于如图6中的图像控件601，可以根据其中包含的人脸面孔识别出相应的人物，并展示这些人物的人物识别信息。
具体的，显示设备可以设置有人物识别模式。在人物识别模式下，显示设备可以自动对用户界面中包含的人脸面孔进行识别，从而获取到用户界面中包含的人物。
在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送人物识别 模式指令。在实际应用的过程中预先绑定人物识别模式指令与遥控器按键之间的对应关 系。例如，在遥控器上设置一个人物识别模式按键，当用户触控该按键时，遥控器发送人物识别模式指令至控制器，此时控制器控制显示设备进入人物识别模式。当用户再次 触控该按键时，控制器可以控制显示设备退出人物识别模式。
在一些实施例中，也可以预先绑定人物识别模式指令与多个遥控器按键之间的对应 关系，当用户触控与人物识别模式指令绑定的多个按键时，遥控器发出人物识别模式指令。在一可行性实施例中，人物识别模式指令绑定的按键依次为方向键(左、下、左、 下)，即当用户在预设时间内连续触控按键(左、下、左、下)的情况下，遥控器才发 送人物识别模式指令至控制器。采用上述绑定方法，可以避免人物识别模式指令由于用 户的误操作而发出。本申请实施例仅是示例性的提供几种人物识别模式指令与按键之间 的绑定关系，在实际应用的过程中可以根据用户的习惯设定人物识别模式指令与按键之 间的绑定关系，在此不做过多的限定。
在一些实施例中，用户可以使用显示设备的声音采集器，例如麦克风，通过语音输入的方式，向显示设备发送人物识别模式指令，以控制显示设备进入人物识别模式。显 示设备中可以设置有智能语音系统，智能语音系统可以对用户的语音进行识别，以提取 用户输入的指令内容。用户可以通过麦克风输入预设的唤醒词，从而启动智能语音系统， 从而控制器可以对用户输入的指令做出响应。并在一定时间内输入人物识别模式指令， 使得显示设备进入人物识别模式。例如，用户可以输入“某某同学”，以启动智能语音系 统。再输入“进入人物识别模式”，实现向显示设备发送人物识别模式指令。
在一些实施例中，用户还可以通过预设的手势向显示设备发送人物识别模式指令。 显示设备可以通过图像采集器，例如摄像头，检测用户的行为。当用户做出预设的手势时，可以认为用户向显示设备发送了人物识别模式指令。例如，可以设置为：当检测到 用户划出V字时，判定为用户向显示设备输入了人物识别模式指令。用户还可以通过预 设的动作向显示设备发送人物识别模式指令。例如，可以设置为：当检测到用户同时抬 起左脚和右手时，判定为用户向显示设备输入了人物识别模式指令。
在一些实施例中，当用户使用智能设备控制显示设备时，例如使用手机时，也可以向显示设备发送人物识别模式指令。在实际应用的过程中可以在手机中设置一个控件， 可以通过该控件选择是否进入人物识别模式，从而发送人物识别模式指令至控制器，此 时控制器可以控制显示设备进入人物识别模式。
在一些实施例中，当用户使用手机控制显示设备时，可以对手机发出连续点击指令。 连续点击指令指的是：在预设的周期内，用户对手机触摸屏的同一区域进行点击的次数 超过预设阈值。例如：当用户在1s内对手机触摸屏的某个区域连续点击3次，则视为一次连续点击指令。手机接收到连续点击指令后，可以向显示设备发送人物识别模式指令，以使控制器控制显示设备进入人物识别模式。
在一些实施例中，当用户使用手机控制显示设备时，也可以设置为：当检测到用户对手机触摸屏的某一区域的触控压力值超过预设的压力阈值时，手机可以向显示设备发送人物识别模式指令。
还可以在显示设备的UI界面中设置人物识别模式选项，当用户点击该选项时，可以 控制显示设备进入或退出人物识别模式。
在一些实施例中，为防止用户误触发人物识别模式，当控制器接收到人物识别模式 指令时，可以控制显示器显示人物识别模式确认信息，从而使得用户进行二次确认，是否要控制显示设备进入人物识别模式。图7示出了一些实施例中显示器中显示人物识别 模式确认信息的示意图。
当显示设备进入人物识别模式时，可以自动对用户界面中包含的人物进行识别，从 而展示这些人物的相关信息。
在一些实施例中，考虑到用户可能对当前用户界面中的人物的关注程度有所差异， 因此显示设备在进入人物识别模式后，可以对用户界面中包含的所有人物进行识别，同 时可以根据用户的关注程度，向用户推荐展示识别出的人物，以便用户能够便捷的查看其关注人物的人物信息。
在一些实施例中，当接收到用户输入的人物识别模式指令时，控制器可以确定为用 户输入了指示识别用户界面中的人物的指令。此时，显示设备可以对用户界面在包含的所有人物进行识别。
具体的，显示设备可以通过服务器进行人物识别。
图8示出了一些实施例中显示设备和服务器的交互流程图。
在一些实施例中，为了使服务器能够识别出用户界面中包含的人物，显示设备需要 将用户界面对应的图像发送至服务器。
具体的，控制器可以对当前的用户界面进行截图操作，从而得到当前的用户界面对 应的用户界面图像。
进一步的，控制器可以将该用户界面图像发送至服务器，以使服务器对该用户界面 图像进行人物识别。
在一些实施例中，为了能够根据用户对用户界面中的人物的关注程度，向用户推荐 展示识别出的人物，控制器还可以获取用户界面显示参数。用户界面显示参数指的是当前用户界面的一些显示参数，是用户对用户界面的若干操作后所体现出的显示参数，因 此可以表征用户对当前用户界面的一些偏好程度，包括对用户界面中包含的人物的关注 程度。
具体的，用户界面显示参数可以包括图像控件的显示参数。控制器可以先获取用户 界面中的图像控件信息。对于一个图像控件来说，其显示参数可以包括图像控件位置信息和图像控件曝光时间。其中，图像控件位置信息用于表示图像控件相对于用户界面的 位置。图像控件曝光时间指的是图像控件在用户界面中已经显示的时间。
在获取图像控件位置信息时，控制器可以先获取用户界面的界面信息，可以是获取 当前用户界面的XML(可扩展标记语言)信息。进一步的，可以根据用户界面的界面信 息获取图像控件位置信息。
其中，XML信息中可以包括用户界面中每个区域以及每个控件的相关信息。例如，对于图像控件，XML信息中可以包括该图像控件的位置信息；对于文字控件，XML信 息中可以包括该文字控件对应的文字内容和位置信息。
图像控件位置信息可以是图像控件的四个顶点的坐标信息。例如，对于图像控件L来说，其包括四个顶点：左上角顶点A、左下角顶点B、右上角顶点C以及右下角顶点 D。在本申请实施例中，以显示器的左上角顶点为原点，水平向右方向为x轴正方向，竖 直向下方向为y轴正方向，建立坐标系。图像控件L的位置信息为：A坐标(x1，y1)、 B坐标(x4，y4)、坐标C(x2，y2)以及坐标D(x3，y3)。
对于呈矩形的图像控件来说，其图像控件位置信息也可以是以(x，y，W，h)的形 式进行表示。其中，(x，y)表示图像控件的某个顶点或者中心点的坐标，W表示图像 控件的长度，h表示图像控件的高度。
在获取图像控件曝光时间时，可以直接统计图像控件在显示器中已经持续显示的时 间。例如，一个图像控件自显示设备开机后即一直显示在显示器中，则该图像控件的图像控件曝光时间为该图像控件已经显示的时间，即为显示设备开机后持续的时间。如果 图像控件自t1时刻起显示在显示器中，控制器对用户界面进行截图的时刻为t2，则该图 像控件的图像控件曝光时间为t2-t1。
在显示设备中，有些图像控件可能时轮播的显示方式，即在同一个位置处可以显示 出多个图像控件，每个图像控件显示一定的时间。例如，在一个位置处，有三个图像控件处于轮播状态，当时间t内，只显示图像控件1，当时间t-2t内，只显示图像控件2， 当时间2t-3t内，只显示图像控件3。当3个图像控件均显示完毕后，从图像控件1重新 开始轮播，即在时间3t-4t，只显示图像控件1。
控制器对用户界面进行截图时如果包含这种轮播的图像控件，这种图像控件的图像 控件曝光时间可以设置为：确定该图像控件本次轮播中已经持续显示的时间，即从图像控件本次出现的时刻开始计算到截图的时刻为止。
也可以设置为该图像控件从显示设备开机的时刻到截图的时刻之间，该图像控件总 共显示的时间。具体的设置方式可以由相关技术人员自行设定。
需要说明的是，控制器无法直接确定出某个图像控件对应的图像中是否包含人脸面 孔。因此，在对用户界面进行人物识别时，为了避免遗漏一些人物，控制器可以获取用户界面中所有图像控件的显示参数。即控制器获取的图像控件信息包括用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间。
在一些实施例中，用户界面显示参数还可以包括用户界面的焦点信息。具体的，焦点信息指的是用户界面中用户控制的焦点的位置信息。
用户在操控显示设备时，可以不断移动焦点以选中想要查看的控件。因此，焦点信息可以大致表现出用户的一个关注方向。
考虑到用户控制的焦点处可能是图像控件或者文字控件。在本申请实施例中，设定 焦点的位置信息为交点处的控件的中心点的位置信息，用(xcenter，ycenter)表示。
图9示出了一些实施例中用户界面的显示参数的示意图。其中，图像控件601的图像控件位置信息为：A1坐标(x11，y11)、B1坐标(x21，y21)、坐标C1(x31，y31) 以及坐标D1(x41，y41)。图像控件602的图像控件位置信息为：A2坐标(x12，y12)、 B2坐标(x22，y22)、坐标C2(x32，y32)以及坐标D2(x42，y42)。焦点的位置信 息为C(xcenter，ycenter)。
在一些实施例中，控制器在获取到用户界面中的一些显示参数后，即获取到焦点信 息和图像控件信息后，可以将这些信息和用户界面图像进行打包处理，并一起发送至服务器。以使服务器对用户界面图像进行人物识别。
显示设备可以将所有的显示参数都发给服务器，也可以发送部分显示参数，具体发 哦是哪个的数据可以由服务器确定人物优先级时需要的数据为准。
在一些实施例中，在接收到显示设备发送的用户界面对应的截图图像，即用户界面 图像后，服务器可以对该用户界面图像进行人物识别，从而识别出用户界面图像中包含的所有人物。再进一步确定出每个人物的优先级。
服务器可以先提取用户界面图像中包含的人脸图像。
具体的，服务器可以先对用户界面图像进行人脸检测，从而识别出用户界面图像中 的人脸区域，得到用户界面图像中包含的若干个人脸图像。同时还可以得到每个人脸图像的位置信息。其中，每个人脸图像都对应一个人物。
需要说明的是，人脸图像一般为矩形区域，其位置信息可以是由其四个顶点的坐标 组成，也可以人脸图像的中心点的坐标信息。具体可以由技术人员自行设定。
在对用户界面图像进行人脸检测时，可以是基于图像内容识别技术提取出用户界面 图像中的人脸特征信息，其中，人脸特征信息包括额头、眉毛、眼睛、鼻子、嘴巴及下 巴等人脸特征的提取。本申请在提取待人脸特征信息时，还能够标记出各个人脸特征的 位置信息。通过识别出人脸特征信息，可以得到人脸图像。即每个人脸图像都会对应一 套人脸特征信息。图10示出了一些实施例中服务器识别出的人脸图像的示意图。其中， 共识别出5张人脸图像，包括P1、P2、P3、P4、P5。
在一些实施例中，在获取到用户界面图像中包含的若干个人脸图像后，服务器可以 对这些人脸图像进一步进行识别，从而确定出每个人脸图像所对应的具体人物。
具体的，服务器中可以预先设置有人物数据库。人物数据库中可以包括人脸特征集 合，人脸特征集合存储有若干预存人脸特征信息。其中，若干预存人脸特征信息是指预先存储的若干个名人的人脸特征信息，顾名思义，名人泛指各行各业中能力崇高而备受 景仰的人物，如演员、歌手、艺术家等，名人能够被大多数人所熟知，易于出现在显示 设备的各个媒资节目中，用户一般会想要识别出这些名人的一些相关信息进行查看。
服务器可以将识别出的人脸图像，即识别出的人脸特征，与人脸特征集合中多个预 存人脸特征信息进行逐一比对处理，从而匹配到每个人脸特征对应的人物，即确定出每个人脸图像对应的人物。
需要说明的是，考虑到一些人物可能会出现名字相同的情况，例如有三个人都叫张 三。因此可以对所有的人物都赋予一个单独的ID，即每个人物都具有其唯一ID，从而对每个人物进行区分。在人脸特征集合中，每个预存人脸特征信息会与其对应的人物的ID 进行匹配，当确定出人脸图像对应某个预存人脸特征信息时，可以通过该预存人脸特征 信息对应的ID确定出人脸图像对应的人物。例如，当从用户界面图像中获取到人脸特征 数据后，该人脸特征数据与人脸特征集合中提取自张三的预存人脸特征信息相吻合，则 可认定截屏图像中的该人物是张三。
服务器可以根据人脸特征集合生成人脸特征查询模型，通过该模型可以对人脸图像 进行查询，得到人脸图像对应的人物，例如人物ID。具体的，在识别出人脸图像后，服 务器可以将人脸图像输入到人脸特征查询模型中，从而获取到人脸图像对应的人物的ID。 对于服务器来说，根据人脸图像即可确定出该人物图像对应的人物ID，从而进一步确定 出该人物识别图像对应哪一个名人人物。通过对用户界面图像中所有的人脸图像。
服务器通过对用户界面图像中的所有人脸图像进行识别，可以确定出用户界面图像 中包含的所有人物。
在一些实施例中，在确定出用户界面图像中包含的所有人物后，服务器可以进一步 获取每个人物的人物信息。
服务器可以根据预先设定的人物数据库，获取每个人物的人物信息。具体的，人物数据库中可以包括人物信息集合。人物信息集合存储有若干预存人物信息。其中，若干 预存人物信息是指预先存储的若干个名人的人物信息。
每个人物的人物信息可以和该人物识别的ID相匹配，在确定出用户界面图像中所有 的人脸图像对应的人物ID后，可以在人物信息集合中直接搜索人物ID对应的人物信息。服务器可以根据人物信息集合生成人物信息查询模型，通过该模型可以对人物信息进行查询，例如，通过向人物信息查询模型中输入某个人物ID，即可得到该人物ID对应的 人物信息。
人物信息可以包括人物的人物名称和人物简介。例如，对于某个人物ID，其人物名称为张三，简介信息如下：××××年×月××日出生于××，中国内地流行乐男歌手、影视演 员、音乐制作人，毕业于××。××××年，因参加选秀节目X而正式出道。××××年，发行首 张专辑，随后凭借歌曲G获得广泛关注等等。同时获取张三所参演的相关媒资，如媒资 A、媒资B等等。另外，人物信息还可以张三的新闻八卦等等。
通过对用户界面图像进行识别，可以得到其中包含的所有人物以及每个人物的人物 信息。
在一些实施例中，为了能够根据用户对用户界面中的人物的关注程度，向用户推荐 展示识别出的人物，服务器还可以进一步确定出用户对用户界面图像中所包含的每个人 物的关注程度，从而更好地向用户推荐展示人物信息。
服务器可以确定出用户界面图像中的每个人物的人物优先级，人物优先级即用于表 征用户对人物的关注程度。
具体的，可以从人脸对应的人脸图像的位置信息和曝光时间信息来确定用户对该人 物的关注程序，即人物优先级。
对于人脸图像来说，其位置信息即为该人脸图像相对于用户界面的位置，其曝光时 间信息指的是该人脸图像在用户界面中已经显示的时间，即人物曝光时间。
需要说明的是，在曝光时间信息对人物优先级进行分析。从用户的角度来说，如果在用户界面中存在一个人脸图像，用户长时间没有去识别这个人脸图像对应的人物，即 用户长时间没有对这个人脸图像进行任何操作，也即该人脸图像的曝光时间信息较长时， 可以说明用户对该人脸图像对应的人物的关注程度较低，即较为缺少识别的兴趣。因此， 可以认为该人脸图像对应的人物的人物优先级会较低。
在位置信息对人物优先级进行分析。从用户的角度来说，当用户想要去识别某个人 脸图像对应的人物时，会操控显示器中的焦点不断靠近该人脸图像。因此，可以认为当焦点越靠近某个人脸图像时，用户对该人脸图像对应的人物越感兴趣，关注程度越高， 即人物优先级较高。当焦点越远离某个人脸图像时，用户对该人脸图像对应的人物的关 注程度较低，即较为缺少识别的兴趣，人物优先级会较低。
因此，本申请实施例中设定：对于用户界面中包含的人物来说，曝光时间越长的人脸图像对应的人物，其人物优先级越低，用户的关注程度越小；距离操作焦点越远的人 脸图像对应的人物，其人物优先级越低，用户的关注程度越小。人物优先级即为用户对 人物的关注程度，人物优先级越大，则用户的关注程度越大，识别的兴趣越高。
本申请实施例中采用位置优先级表征用户界面中的焦点和每个人物的距离程度，位 置优先级越大，说明用户的关注程度越大，此时焦点和该人物的距离程度越近。时间优先级用于表征人物在用户界面中已经出现的时间程度，时间优先级越大，说明用户的关 注程度越大，此时该任务在用户界面中已经出现的时间越短。
在一些实施例中，服务器可以确定用户界面中包含的每个人物的人物优先级。
具体的，人物优先级可以由位置优先级、时间优先级或者二者结合来确定。
对于位置优先级，服务器可以根据人脸图像的位置信息获取每个人物的位置优先级。
具体的，服务器可以确定出人脸图像和焦点位置的距离。若距离越大，则位置优先级越低，距离越小，则位置优先级越高。
在显示设备发送给服务器的数据包中，包括用户界面图像、焦点信息以及图像控件 信息。
服务器可以根据焦点信息以及人脸图像的位置信息，确定出人脸图像和焦点位置的 距离。人脸图像的位置信息在服务器对用户界面图像进行识别处理时即可预先得到。
在本申请实施例中，设定人脸图像和焦点位置的距离为：人脸图像的中心点到焦点 之间的距离。
在获取该距离时，服务器可以先确定人脸图像的位置信息。如果人脸图像的位置信 息为人脸图像四个顶点的坐标，则服务器可以先根据人脸图像的位置信息确定出人脸图 像的中心点的位置信息。如果人脸图像的位置信息即为人脸图像的中心点的位置信息，则不需要多余操作，直接计算人脸图像的中心点到焦点之间的距离即可。其中，焦点信 息为焦点所选中控件的中心点的坐标信息，即(xcenter，ycenter)，人脸图像的中心点的位置 信息设定为(xname，yname)。因此，通过计算两个坐标之间的欧式距离，即可确定出人脸 图像和焦点位置的距离。图11示出了人脸图像和焦点位置的距离的示意图。其中，人脸 图像A1和焦点位置C之间的距离为dname。
具体的计算公式如下：
在确定出人脸图像的中心点到焦点之间的距离后，可以进一步确定获取每个人物的 位置优先级。
位置优先级可以是该距离的倒数，计算式为：
其中，DistanceScorename表示人物的位置优先级。
在确定了所有人物的位置优先级，可以直接根据位置优先级确定出人物优先级。位 置优先级越大，则人物优先级越大，根据所有人物的位置优先级由大到小的顺序对所有人物进行排序，并依次确定出人物优先级。
在一些实施例中，对于时间优先级，服务器可以获取每隔人脸图像对应的人物的人 物曝光时间，并根据人物曝光时间获取每个人物的时间优先级。
由于人脸图像本身时存在于图像控件中的，因此人脸图像对应的人物的人物曝光时 间即为人脸图像所属的图像控件的图像控件曝光时间。
服务器在获取人物曝光时间时，需要先确定人物所属的图像控件，即人物对应的人 脸图像所属的图像控件，并可以将该图像控件的图像控件曝光时间作为该人物的人物曝 光时间。
服务器可以根据显示设备发送的图像控件信息确定出每个人脸图像所属的图像控件。
具体的，图像控件信息包括用户界面中所有图像控件的图像控件位置信息和图像控 件曝光时间。
服务器可以将人脸图像的位置信息和所有的图像控件位置信息逐一进行比对，从而 确定出人脸图像所属的图像控件，即每个人物对应的图像控件。
如图12所示，其中，用户界面图像中包括三个图像控件，两个图像控件中包含人脸图像，位置信息分别为：图像控件601：A1、B1、C1、D1；以及图像控件603：A3、B3、 C3、D3。通过对人脸图像P1、P2、P3、P4、P5以及Q1和Q2，逐次和图像控件位置信 息进行对比，可以确定出人脸图像P1、P2、P3、P4、P属于图像控件601，人脸图像Q1 和Q2属于图像控件602。
进一步的，服务器可以将每个人物对应的图像控件的图像控件曝光时间确定为每个 人物在用户界面中的人物曝光时间。同时可以根据人物曝光时间获取每个人物的时间优 先级。时间优先级可以是人物曝光时间的倒数，计算式如下：
其中，tname表示一个人物的人物曝光时间，TimeScorename表示人物的时间优先级。
在确定了所有人物的时间优先级，可以直接根据时间优先级确定出人物优先级。时 间优先级越大，则人物优先级越大，根据所有人物的时间优先级由大到小的顺序对所有人物进行排序，并依次确定出人物优先级。
在一些实施例中，还可以利用位置优先级和时间优先级相结合，来确定人物优先级。
具体的，可以先确定出人物的时间优先级和位置优先级，再进一步确定该人物在用 户界面中的人物优先级。计算公式如下：
Scorename＝DistanceScorename+α×TimeScorename
其中，Scorename表示人物优先级，α为预设的权重系数。
需要说明的是，权重系数α用来调节时间优先级和位置优先级的权重，以平衡两种优 先级对人物优先级的影响，该权重系数可以由技术人员在服务器中按需要进行调整。
在一些实施例中，权重系数α可以设定为1，即认为时间和位置对人物优先级的影响 是相同的。
在实际应用过程中，可以将权重系数α设定为1进行运营，同时可以对用户的使用情 况进行统计，通过判断用户对两种优先级的偏好程度动态调整该权重系数，以更加符合用户的偏好程度，以更加准确的向用户推荐人物信息，增加用户的体验性。
在一些实施例中，如果仅仅根据位置优先级或者时间优先级确定出人物优先级后， 由于不同的人物的位置优先级或者时间优先级有可能是相同的，会导致这些人物的人物 优先级也是相同的。此时，对于这些人物优先级会相同的人物可以再次计算优先级。
具体的，当多个人物的位置优先级相同时，可以根据时间优先级对这些人物再次排 序，也可以用位置优先级和时间优先级相结合的方式对这些人物再次排序，从而确定出这些人物的人物优先级。
同理，对于多个人物的时间优先级相同时，可以根据位置优先级对这些人物再次排 序，也可以用位置优先级和时间优先级相结合的方式对这些人物再次排序，从而确定出这些人物的人物优先级。
需要说明的是，当多个人物的人物优先级会存在相同的情况时，只需要对这些人物 重新排序，重新计算这些人物的人物优先级即可，而不需要对其他的人物再次计算。
在一些实施例中，在确定出每个人物的人物优先级后，如果多个人物的人物优先级 会相同时，还可以利用下述方法重新计算这些人物的人物优先级。
具体的，对于显示设备中显示的用户界面来说，其每个位置上显示出哪个具体的图 像控件是由显示设备的运营服务器决定的。每个图像控件显示的总时间以及何时开始显 示在该位置上都是由运营服务器设定。
对于多个人物的人物优先级的情况，服务器可以确定这些人物对应的图像控件的初 始显示时间。初始显示时间指的是运营服务器设定的图像控件在其位置上显示的初始时 刻，也即图像控件能在显示设备上开始显示的控件更新时刻。对于初始显示时间越靠前的图像控件，该图像控件中的人物的人物优先级越低；初始显示时间越靠后的图像控件，该图像控件中的人物的人物优先级越低。根据初始显示时间，可以重新确定出这些人物 的人物优先级。
在一些实施例中，在确定出每个人物的人物优先级后，如果多个人物的人物优先级 会相同时，还可以利用下述方法重新计算这些人物的人物优先级。
由于用户可能会利用显示设备搜索过一些人物或者已经检测识别过一些人物，对于 这些人物，显示设备可以存储有用户的搜索或者识别记录。本申请实施例中设定，用户搜索或者识别获得人物，用户对该任务的偏好程度较大。
对于一个人物，可以记录用户搜索和/或识别该人物的记录次数。记录次数越大，则 用户的关注程度越大。服务器可以从显示设备中获取人物优先级会相同的多个人物的记 录次数。记录次数越大，则人物优先级越高。
如果基于记录次数确定优先级的方式中，依然有多个人物的人物优先级相同，例如 多个人物的记录次数相同或者都为0的情况，服务器还可以根据用户对人物的人物职业类型的偏好程度确定人物优先级。
具体的，根据用户对显示设备的使用情况可以确定出用户对于不同类型媒资的偏好 程度，例如偏好程度由大到小依次为：动作>喜剧>歌曲，则用户对人物的人物职业类型的偏好程度由大到小依次为：动作演员>喜剧演员>歌手。
根据用户对人物的人物职业类型的偏好程度可以确定出人物优先级，偏好程度越高 的，人物优先级越大。
在一些实施例中，在确定出每个人物的人物优先级后，如果多个人物的人物优先级 会相同时，还可以对这些人物随机排列，从而确定出每个人物的人物优先级。
在一些实施例中，在获取到用户界面中的所有人物的人物优先级后，服务器可以将 所有人物的人物信息以及人物优先级发送至显示设备，以使显示设备向用户推荐显示人 物信息。
具体的，服务器可以对每个人物的人脸图像、人物信息和人物优先级进行统计，从而每个人物对应的人物识别数据。在统计出所有人物的人物识别数据后，可以将这些人 物识别数据打包一起发送至显示设备。
服务器也可以不发送每个人物的人脸图像，而是将人脸图像的位置信息发送给显示 设备。当显示设备需要用到人脸图像时，可以利用人脸图像的位置信息自行获取到该人脸图像。
在一些实施例中，显示设备在接收到所有人物的人物识别数据后，可以控制显示器 显示出所有人物的人物信息。图13示出了一些实施例中显示器显示人物信息的流程图。
具体的，控制器可以对所有人物的人物识别数据进行统计。对于一个人物的人物识 别数据来说，其包括人脸图像、人物信息和人物优先级，人物信息则包括人物名称和人物简介。
此时，控制器可以先根据人物识别数据生成一个人物识别界面。该人物识别界面中 可以包括识别出的所有人物的人物识别控件。对于一个人物识别控件来说，其中可以显示出每个人物的人物名称以及每个人物对应的人脸图像。同时，在人物识别界面，所有 的人物识别控件可以是按照人物优先级进行排列的，例如按照人物优先级从大到小的顺 序，在人物识别界面中由上到下依次排列，还可以对每个人物识别界面进行编号。图14 示出了一些实施例中的人物识别界面的示意图。其中，基于图10所示的用户界面，共识 别出5个人脸图像，即用户界面中包括5个人物：P1张三、P2李四、P3王五、P4张六 和P5赵七。设定人物优先级为：张三>李四>王五>张六>赵七。因此，可以将5个人物 的名称和人脸头像按照人物优先级的大小顺序，在人物识别界面中由上到下依次显示。
在一些实施例中，人物识别控件可以时只显示出每个人物的人物名称，可以是只显 示出每个人物的人脸图像，也可以是同时显示出人物名称和人脸图像。具体的显示方式本申请实施例不做限定。
进一步的，控制器可以控制显示器显示该人物识别界面。
当检测到用户选中了某个目标人物识别控件时，例如通过遥控器选中该人物识别控 件，或者对该人物识别控件进行触控操作等，控制器可以控制显示器显示出该人物识别控件对应的人物的人物简介。如图15所示，当用户选择张三后，显示器中可以显示张三 的人物简介。
在一些实施例中，人物简介可以是服务器直接发送给显示设备的。具体的，服务器在向显示设备发送人物信息时，人物信息中即可包含每个人物的人物简介。
服务器也可以先不发送人物简介。显示设备中显示出人物识别界面后，当用户选择 目标人物识别控件时，显示设备可以向服务器发送获取该目标人物识别控件对应的目标 人物的人物简介的请求。进一步的，服务器可以获取目标人物的人物简介并发送给显示设备。显示设备可以显示目标人物的人物简介。
本申请实施例还提供了一种人物推荐方法，如图16所示，该方法包括：
响应于用户输入的指示识别用户界面中的人物的指令，显示设备对用户界面进行截 图处理，得到用户界面图像。
显示设备将用户界面图像发送至服务器。
服务器确定用户界面图像中包含的所有人物。
服务器获取每个人物的人物信息，并确定每个人物的人物优先级。
服务器将所有人物的人物信息以及人物优先级发送至显示设备。
基于人物优先级，显示设备显示所有人物的人物信息。
本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通 用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说 对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存 储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设 备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例 的某些部分的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特 征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施 例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得 到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用， 从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形 的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面；
控制器，被配置为：
响应于用户输入的指示识别所述用户界面中的人物的指令，对所述用户界面进行截图处理，得到用户界面图像；
将所述用户界面图像发送至服务器；
接收所述服务器反馈的所述用户界面图像中包含的所有人物的人物信息和人物优先级，所述人物优先级用于表征用户对人物的关注程度；
基于所述人物优先级，控制所述显示器显示所有人物的所述人物信息。
2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：
根据所述用户界面获取焦点信息和/或图像控件信息；所述焦点信息指的是所述用户界面中用户控制的焦点的位置信息；所述图像控件信息包括所述用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间，所述图像控件曝光时间指的是图像控件在所述用户界面中显示的时间；
将所述焦点信息和/或所述图像控件信息发送至所述服务器；所述焦点信息用于使所述服务器获取所述用户界面图像中包含的所有人物的位置优先级，所述图像控件信息用于使所述服务器获取所有人物的时间优先级，所述人物优先级是由所述位置优先级和/或所述时间优先级确定的。
3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行基于所述人物优先级，控制所述显示器显示所有人物的所述人物信息的步骤中，
统计所有人物的人物优先级，并按照所述人物优先级的大小顺序对所有人物进行排序；
基于所有人物的排序结果，控制所述显示器显示所有人物的所述人物信息，其中，所述人物优先级越大的人物的所述人物信息，在所述显示器中的优先显示程度越高。
4.根据权利要求3所述的显示设备，其特征在于，所述人物信息中包括人物名称，以及，人脸图像或人脸图像的位置信息，所述人脸图像为所述用户界面图像中的人物的脸部图像，所述人脸图像的位置信息用于获取人脸图像；所述控制器进一步被配置为：
在执行控制所述显示器显示所有人物的所述人物信息的步骤中，
控制显示器显示人物识别界面；所述人物识别界面中包括所有人物的人物识别控件，所述人物识别控件用于显示所述人物名称和/或人脸图像；所述所有人物的人物识别控件是按照所述人物优先级进行排列的；
基于检测到用户选择的目标人物识别控件，控制显示器显示所述目标人物识别控件对应的人物的人物简介。
5.一种服务器，其特征在于，所述服务器被配置为：
接收显示设备发送的用户界面图像，所述用户界面图像为所述显示设备显示的用户界面对应的截图图像；
确定所述用户界面图像中包含的所有人物；
获取每个人物的人物信息，并确定每个人物的人物优先级，所述人物优先级用于表征用户对人物的关注程度；
将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备，以使所述显示设备根据所述人物优先级显示所有人物的所述人物信息。
6.根据权利要求5所述的服务器，其特征在于，所述服务器还被配置为：
接收所述显示设备发送的用户界面显示参数；
所述服务器进一步被执行为：在执行确定每个人物的人物优先级时，
根据所述用户界面显示参数获取每个人物的位置优先级；和/或，根据所述用户界面显示参数获取每个人物的时间优先级；
根据所述位置优先级和/或所述时间优先级确定每个人物的人物优先级。
7.根据权利要求6所述的服务器，其特征在于，所述用户界面显示参数包括焦点信息，所述焦点信息指的是所述用户界面中用户控制的焦点的位置信息；
所述服务器进一步被配置为：在执行根据所述用户界面显示参数获取每个人物的位置优先级的步骤中，
根据每个人脸图像的位置信息和所述焦点信息获取每个所述人脸图像和所述焦点之间的距离；所述人脸图像指的是所述用户界面图像中的人物的脸部图像；
根据每个所述人脸图像和所述焦点之间的距离，获取每个人物的位置优先级；所述位置优先级为所述距离的倒数。
8.根据权利要求6所述的服务器，其特征在于，所述用户界面显示参数包括图像控件信息，所述图像控件信息包括所述用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间，所述图像控件曝光时间指的是图像控件在所述用户界面中显示的时间；
所述服务器进一步被配置为：在执行根据所述用户界面显示参数获取每个人物的时间优先级的步骤中，
根据每个人脸图像的位置信息和所述图像控件位置信息，确定每个人物对应的图像控件；所述人脸图像指的是所述用户界面图像中的人物的脸部图像；
将每个人物对应的图像控件的图像控件曝光时间作为每个人物在所述用户界面中的人物曝光时间；
根据所述人物曝光时间获取每个人物的时间优先级；所述时间优先级为所述人物曝光时间的倒数。
9.根据权利要求7或8所述的服务器，其特征在于，所述服务器进一步被配置为：
在执行确定所述用户界面图像中包含的所有人物的步骤中，
对所述用户界面图像进行人脸检测，得到所述用户界面图像中的若干个人脸图像以及每个人脸图像的位置信息，每个人脸图像对应一个人物；
将每个所述人脸图像在预设的人物数据库中进行比对处理，确定每个所述人脸图像对应的人物。
10.根据权利要求9所述的服务器，其特征在于，所述服务器进一步被配置为：
在执行获取每个人物的人物信息的步骤中，
基于所述预设的人物数据库，获取每个人物的人物信息；所述人物信息包括人物名称和人物简介；
在执行将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备的步骤中，
统计每个人物的人物信息和人物优先级，以及统计每个人物的人脸图像或人脸图像的位置信息，得到每个人物的人物识别数据；
将所有人物的人物识别数据发送至所述显示设备。
CN202210226614.6A 2022-03-09 2022-03-09 显示设备和服务器 Pending CN116774954A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210226614.6A CN116774954A (zh) 2022-03-09 2022-03-09 显示设备和服务器
PCT/CN2022/141492 WO2023169049A1 (zh) 2022-03-09 2022-12-23 显示设备和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210226614.6A CN116774954A (zh) 2022-03-09 2022-03-09 显示设备和服务器

Publications (1)

Publication Number Publication Date
CN116774954A true CN116774954A (zh) 2023-09-19

Family

ID=87937174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210226614.6A Pending CN116774954A (zh) 2022-03-09 2022-03-09 显示设备和服务器

Country Status (2)

Country Link
CN (1) CN116774954A (zh)
WO (1) WO2023169049A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898040A (zh) * 2018-06-01 2018-11-27 维沃移动通信有限公司 一种识别方法及移动终端
CN109034115B (zh) * 2018-08-22 2021-10-22 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN109471678A (zh) * 2018-11-07 2019-03-15 苏州思必驰信息科技有限公司 基于图像识别的语音中控方法及装置
CN112073766B (zh) * 2019-06-10 2023-05-30 海信视像科技股份有限公司 一种显示设备
CN113727162A (zh) * 2020-05-25 2021-11-30 聚好看科技股份有限公司 显示设备、服务器及人物介绍展示方法
CN112580625A (zh) * 2020-12-11 2021-03-30 海信视像科技股份有限公司 一种显示设备和图像内容识别方法
CN111931692A (zh) * 2020-08-31 2020-11-13 青岛聚看云科技有限公司 显示设备及图像识别方法
CN113110782B (zh) * 2021-03-22 2022-09-30 百度在线网络技术（北京）有限公司 图像的识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2023169049A1 (zh) 2023-09-14

Similar Documents

Publication Publication Date Title
EP2980694B1 (en) Device and method for performing functions
US11706485B2 (en) Display device and content recommendation method
CN114302185B (zh) 显示设备及信息关联方法
EP1466238A2 (en) Method and apparatus for a gesture-based user interface
CN106020448A (zh) 基于智能终端的人机交互方法和系统
KR102625254B1 (ko) 입력기를 통해 이미지와 관련된 정보를 어플리케이션에 제공하는 전자 장치 및 방법
US11216160B2 (en) Customizing a GUI based on user biometrics
CN109614021A (zh) 交互方法、装置及设备
CN113051435B (zh) 服务器及媒资打点方法
WO2022078172A1 (zh) 一种显示设备和内容展示方法
WO2022100283A1 (zh) 显示设备、控件触发方法及滚动文本检测方法
WO2022012299A1 (zh) 显示设备及人物识别展示的方法
CN116774954A (zh) 显示设备和服务器
KR20170097890A (ko) 전자 장치 및 이의 서비스 제공 방법
WO2022083554A1 (zh) 用户界面的布局、交互方法及三维显示设备
WO2021238733A1 (zh) 显示设备及图像识别结果显示方法
CN115278341A (zh) 显示设备及视频处理方法
CN115270808A (zh) 显示设备和语义理解方法
CN115695844A (zh) 一种显示设备、服务器及媒资内容推荐方法
CN112817557A (zh) 一种基于多人手势识别的音量调节方法及显示设备
CN112424731B (zh) 信息处理设备，信息处理方法和记录介质
TWI595406B (zh) 顯示裝置及其傳遞訊息的方法
CN113391746A (zh) 一种显示设备及多窗口焦点控制方法
WO2024055661A1 (zh) 一种显示设备及显示方法
CN115174997B (zh) 显示设备和媒资推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination