CN114945102A - 显示设备及人物识别展示的方法 - Google Patents
显示设备及人物识别展示的方法 Download PDFInfo
- Publication number
- CN114945102A CN114945102A CN202210510868.0A CN202210510868A CN114945102A CN 114945102 A CN114945102 A CN 114945102A CN 202210510868 A CN202210510868 A CN 202210510868A CN 114945102 A CN114945102 A CN 114945102A
- Authority
- CN
- China
- Prior art keywords
- face feature
- feature information
- display
- information
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000001815 facial effect Effects 0.000 claims description 20
- 238000007667 floating Methods 0.000 claims description 14
- 238000003825 pressing Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 49
- 238000004891 communication Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 208000035126 Facies Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种显示设备及人物识别展示的方法,显示设备包括:显示器,控制器,控制器与显示器通信连接,控制器被配置为:接收用于生成截屏图像的识别指令;获取截屏图像中的待识别人脸特征信息;在数据库中的预存人脸特征信息与待识别人脸特征信息的匹配置信度不超过预设置信度时,获取相似人脸特征信息;获取素人识别数据,素人识别数据包含分别与待识别人脸特征信息及相似人脸特征信息对应的展示数据;生成与待识别人脸特征信息唯一匹配的分享控件;控制显示器在显示界面上展示出素人识别数据和分享控件。本申请极大的丰富了截屏图像中人物的识别范围,并且,通过增加识别数据的分享功能,为用户增添了趣味性。
Description
本申请为2020年7月14日递交到国家知识产权局的,申请号为“202010673447.0”的分案申请。
技术领域
本申请涉及显示技术领域,尤其涉及一种显示设备及人物识别展示的方法。
背景技术
智能电视是一种可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体的电视产品。为满足用户多样化的需求,运营商致力于开发便于用户使用的各种便捷功能,以提升对智能电视的使用体验感受。
目前,用户通过智能电视浏览影片时,可通过遥控器对当前显示界面进行截图。智能电视能够将截图上传至服务器,以使服务器对截图中的人物进行识别。若服务器能够基于截图中的人物获取到相关演职人员信息,则智能设备即可获取到相关演职人员信息,并进行展示。若是服务器不能基于截图中的人物获取到相关演职人员信息,则智能电视也没有相关数据进行展示,从而降低了用户使用智能电视的趣味性,降低了用户的体验感受。
发明内容
本申请提供了一种显示设备及人物识别展示的方法,以解决现有技术中由于智能电视基于截图所展示数据有限而降低用户体验感受的技术问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
本申请一些实施例中,公开了一种显示设备,所述显示设备包括:
显示器,
控制器,所述控制器与所述显示器通信连接,所述控制器被配置为:
接收识别指令,所述识别指令用于对显示器显示的显示界面截图并生成截屏图像;
获取所述截屏图像中的待识别人脸特征信息;
在数据库中的预存人脸特征信息与所述待识别人脸特征信息的匹配置信度不超过预设置信度时,获取相似人脸特征信息,其中,所述相似人脸特征信息是指与所述待识别人脸特征信息的匹配置信度满足条件的预存人脸特征信息,所述数据库是指服务器中若干预存人脸特征信息的集合;
获取素人识别数据,其中,所述素人识别数据是指与所述截屏图像中识别出的人物所对应的展示数据,所述素人识别数据包含与所述待识别人脸特征信息对应的展示数据,及与所述相似人脸特征信息对应的展示数据;
生成与所述待识别人脸特征信息唯一匹配的分享控件,所述分享控件用于将所述素人识别数据进行分享;
控制所述显示器在显示界面上展示出所述素人识别数据和所述分享控件。。
本申请一些实施例中,公开了一种人物识别展示的方法,所述方法包括:
接收识别指令,所述识别指令用于对显示器显示的显示界面截图并生成截屏图像;
获取所述截屏图像中的待识别人脸特征信息;
在数据库中的预存人脸特征信息与所述待识别人脸特征信息的匹配置信度不超过预设置信度时,获取相似人脸特征信息,其中,所述相似人脸特征信息是指与所述待识别人脸特征信息的匹配置信度满足条件的预存人脸特征信息,所述数据库是指服务器中若干预存人脸特征信息的集合;
获取素人识别数据,其中,所述素人识别数据是指与所述截屏图像中识别出的人物所对应的展示数据,所述素人识别数据包含与所述待识别人脸特征信息对应的展示数据,及与所述相似人脸特征信息对应的展示数据;
生成与所述待识别人脸特征信息唯一匹配的分享控件,所述分享控件用于将所述素人识别数据进行分享;
控制所述显示器在显示界面上展示出所述素人识别数据和所述分享控件。
与现有技术相比,本申请的有益效果为:
本申请提供了一种显示设备及人物识别展示的方法,用户若是对显示器当前显示界面中的人物感兴趣,可先显示设备发送识别指令,显示设备中的控制器在接收到识别指令之后,对当前显示界面进行截图并生成截屏图像,基于截屏图像获取其中人物的待识别人脸特征信息。将待识别人脸特征信息与数据库中若干预存人脸特征信息逐一进行比对,获得各个匹配置信度,当匹配置信度均没有超过预设置信度时,获取匹配置信度满足条件的预存人脸特征信息作为相似人脸特征信息,并基于截屏图像中的人脸特征信息和比对出的相似人脸特征信息进一步获取素人识别数据中的相关数据。在显示界面的浮层上展示出素人识别数据,以便提高用户的体验感受。另外,控制器还能够生成与所述待识别人脸特征信息唯一匹配的分享控件,分享控件也显示于显示界面的浮层上,通过分享控件,用户可以利用移动终端将素人识别数据进行分享。本申请极大的丰富了截屏图像中人物的识别范围,并且,通过增加识别数据的分享功能,为用户增添了趣味性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或相关技术中的实施方式,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图;
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图;
图6中示例性示出了根据一些实施例的人物识别展示的方法的流程示意图;
图7中示例性示出了根据一些实施例的获取素人识别数据的方法的流程示意图;
图8中示例性示出了根据一些实施例的素人识别数据的展示界面图;
图9中示例性示出了根据一些实施例的素人识别数据的展示界面图;
图10中示例性示出了根据一些实施例的移动终端的素人识别数据的展示界面图;
图11中示例性示出了根据一些实施例的相似明星详情页的展示界面图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出,用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端300与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端300上,通过控制移动终端300上用户界面,实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275,音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中,显示器275,用于接收源自第一处理器输出的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中,显示器275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。
在一些实施例中,显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中,显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中,根据显示器275类型不同,还包括用于驱动显示的驱动组件。
在一些实施例中,显示器275为一种投影显示器,还可以包括一种投影装置和投影屏幕。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。
在一些实施例中,显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中,用户接口265,可用于接收控制装置100(如:红外遥控器等)红外控制信号。
在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中,检测器230包括光接收器,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
在一些实施例中,检测器230还可以包括图像采集器,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在一些实施例中,检测器230还可以包括温度传感器等,如通过感测环境温度。
在一些实施例中,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
在一些实施例中,检测器230还可声音采集器等,如麦克风,可以用于接收用户的声音。示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,使得显示设备200可以自适应适应环境噪声。
在一些实施例中,如图2所示,输入/输出接口255被配置为,可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
在一些实施例中,调谐解调器210解调的频点受到控制器250的控制,控制器250可根据用户选择发出控制信号,以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中,广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号,模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory ,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit, GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一种。其中,通信总线连接各个部件。
在一些实施例中,RAM 251用于存储操作系统或其他正在运行中的程序的临时数据
在一些实施例中,ROM 252用于存储各种系统启动的指令。
在一些实施例中,ROM 252用于存储一个基本输入输出系统,称为基本输入输出系统(Basic Input Output System,BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中,在收到开机信号时,显示设备200电源开始启动,CPU运行ROM252中系统启动指令,将存储在存储器的操作系统的临时数据拷贝至RAM 251中,以便于启动或运行操作系统。当操作系统启动完成后,CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后,以便于启动或运行各种应用程序。
在一些实施例中,CPU处理器254,用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器254,可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。一个或多个子处理器,用于在待机模式等状态下一种操作。
在一些实施例中,图形处理器253,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器270被配置为将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器270,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集成设置的时候可以执行输出给显示器的图形信号的处理,分离设置的时候可以分别执行不同的功能,例如GPU +FRC(Frame Rate Conversion))架构。
在一些实施例中,音频处理器280,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
在一些实施例中,视频处理器270可以包括一颗或多颗芯片组成。音频处理器,也可以包括一颗或多颗芯片组成。
在一些实施例中,视频处理器270和音频处理器280,可以单独的芯片,也可以于控制器一起集成在一颗或多颗芯片中。
在一些实施例中,音频输出,在控制器250的控制下接收音频处理器280输出的声音信号,如:扬声器286,以及除了显示设备200自身携带的扬声器之外,可以输出至外接设备的发生装置的外接音响输出端子,如:外接音响接口或耳机接口等,还可以包括通信接口中的近距离通信模块,例如:用于进行蓝牙扬声器声音输出的蓝牙模块。
供电电源290,在控制器250控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
在一些实施例中,用户通过控制装置100或移动终端300输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器250响应用户的输入。
在一些实施例中,用户可在显示器275上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
存储器260,包括存储用于驱动显示设备200的各种软件模块。如:第一存储器中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如,语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。同时,存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
图3示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示,控制设备100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100实体按键的功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中,系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等;也可以是第三方开发者所开发的应用程序,比如嗨见程序、K歌程序、魔镜程序等。在具体实施时,应用程序层中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器( Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于:管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
在一些实施例中,窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,触摸传感器、压力传感器等)等。
在一些实施例中,内核层还包括用于进行电源管理的电源驱动模块。
在一些实施例中,图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中,以魔镜应用(拍照应用)为例,当遥控接收装置接收到遥控器输入操作,相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值,输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作,该确认操作所对应的控件为魔镜应用图标的控件,魔镜应用调用应用框架层的接口,启动魔镜应用,进而通过调用内核层启动摄像头驱动,实现通过摄像头捕获静态图像或视频。
在一些实施例中,对于具备触控功能的显示设备,以分屏操作为例,显示设备接收用户作用于显示屏上的输入操作(如分屏操作),内核层可以根据输入操作产生相应的输入事件,并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口,然后将绘制的窗口数据发送给内核层的显示驱动,由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
在一些实施例中,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
在一些实施例中,直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
在一些实施例中,视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
在一些实施例中,媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
在一些实施例中,应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
为了提升用户对智能电视的使用体验感受,智能电视通常具有截图并识别截图中人物的功能。目前的智能电视只能获取到截图中人物的相关演职人员信息,也就是说,只有截图中的人物是演员时,才能够获取到相关信息进行展示。随着社交电视的引入和推广,特别是摄像头在智能电视中的增加,用户既可以通过摄像头直接观看自己当前的画面,同时在社交场景中(如视频通话中)与亲友聊天时看到除演员之外的更多面孔,即更多的素人面孔。对于截图中的素人,智能电视也没有相关数据进行展示。为了丰富智能电视的内容识别范围,本申请实施例提供一种显示设备及人物识别展示方法。需要说明的是,本申请中的显示设备不仅指的是智能电视,还可以指的是计算机、平板电脑等。
本申请实施例中的显示设备200能够增加内容识别,通过截图获取更多可展示的数据,显示设备200中的控制器250与显示器275通信连接,并被配置为执行人物识别展示的过程。下面结合附图来介绍本申请实施例提供的人物识别展示的过程。
图6中示例性示出了根据一些实施例的人物识别展示的方法的流程示意图。结合图6,所述方法包括以下步骤:
S610:接收识别指令,所述识别指令用于对显示器显示的显示界面截图并生成截屏图像。
本申请实施例中,用户在观看显示设备200所展示的媒资时,若想要进一步了解当前显示界面中的人物信息,便可对显示设备200发送识别指令。也就是说,显示设备200中的控制器250在接收到识别指令后,即可根据识别指令得知用户想要了解显示器中当前显示界面中人物的信息。
在一种实现方式中,用户可以利用遥控器上设置的“截图”按键,或者,遥控器中绑定截图功能的某一特定按键发送识别指令,例如,绑定截图功能的喜爱键或者直播键绑定截图功能。用户在观看媒资时,若是想要进行截图,则通过遥控器上的“截图”按键,或者绑定截图功能的特定按键发出识别指令。
在另一种实现方式中,用户可通过语音输入发出识别指令。例如,用户长按遥控器上的语音输入键,并说出“这个人是谁”。控制器250在接收到用户的语音输入之后,首先将用户的语音输入信息上传至服务器400。服务器400对语音输入信息进行解析,在语音输入信息解析为用户想要了解当前显示界面中人物的信息时,就向显示设备200发送截图指令,显示设备200根据操截图指令对显示器275当前显示界面进行截图。
本申请实施例中,控制器接收用户通过遥控器截图按键或者语音输入发出的识别指令,并根据识别指令对显示器显示的显示界面截图并生成截屏图像,进而通过后续步骤获取截屏图像中的识别数据以使显示器275进行展示。需要说明的是,本申请中的截屏图像可以截取于影视节目、综艺节目、新闻节目等,还可以截取于视频通话、用户自制录像等等。
S620:获取所述截屏图像中的待识别人脸特征信息。
本申请实施例中,显示设备200在获取到截屏图像后,将截屏图像发送给服务器400,服务器400接收该截屏图像,并基于图像内容识别技术提取出截屏图像中的待识别人脸特征信息,其中,待识别人脸特征信息包括额头、眉毛、眼睛、鼻子、嘴巴及下巴等人脸特征的提取。本申请在提取待识别人脸特征信息时,还能够标记出各个人脸特征的位置信息。
需要说明的是,本申请中的显示设备200与服务器400也可以同一个设备,即显示设备200与服务器400所能实现的功能均可以由同一个设备实现,具体过程在此就不再赘述。
S630:在数据库中的预存人脸特征信息与所述待识别人脸特征信息的匹配置信度不超过预设置信度时,获取相似人脸特征信息。
本申请实施例中,服务器400中设置有数据库,该数据库中存储有若干预存人脸特征信息,该数据库可视为服务器中若干预存人脸特征信息的集合。其中,若干预存人脸特征信息是指名人的人脸特征信息,顾名思义,名人泛指各行各业中能力崇高而备受景仰的人物,如演员、歌手、艺术家等,名人能够被大多数人所熟知。服务器400在提取到截屏图像中的待识别人脸特征信息后,会将待识别人脸特征信息与数据库中多个预存人脸特征信息进行逐一比对,分别得出多个匹配置信度。
在一些实施例中,服务器400中设置有预设置信度,当获取的多个匹配置信度均不超过预设置信度时,则可认定待识别人脸特征信息与数据库中各个名人的预存人脸特征信息匹配置信度较小,故该待识别人脸特征信息可认为是素人相对应的人脸特征信息,其中,素人即为生活中的普通人,素人可理解为除了亲戚朋友之外,不被其他人所了解的人。例如,将预设置信度设置为98%,若是待识别人脸特征信息与预存人脸特征信息中不存在匹配置信度为98%以上的预存人脸特征信息,则可认定待识别人脸特征信息提取自素人面孔。此时,服务器400从数据库中获取与所述待识别人脸特征信息的匹配置信度满足条件的预存人脸特征信息作为相似人脸特征信息。例如,服务器400可将多个匹配置信度进行降序排序,并选取相似人脸特征信息,服务器400可将相似人脸特征信息反馈至显示设备200,控制器250获取到相似人脸特征信息,其中,相似人脸特征信息是指与所述待识别人脸特征信息的匹配置信度排列前N的预存人脸特征信息,N大于等于1,也就是说,在获取相似人脸特征信息时,从排列好的匹配置信度中选取至少前1个,将该匹配置信度所对应的预存人脸特征信息作为相似人脸特征信息。
在一些实施例中,在数据库中的任一预存人脸特征信息与所述待识别人脸特征信息的匹配置信度超过预设置信度时,获取标准人脸特征信息,其中,所述标准人脸特征信息是指与所述待识别人脸特征信息的匹配置信度最高的预存人脸特征信息。也就是说,当获取的多个匹配置信度中任意一个超过预设置信度时,则可认定待识别人脸特征信息与数据库中某个名人的预存人脸特征信息匹配置信度较高,故该待识别人脸特征信息可认为是名人相对应的人脸特征信息,此时,服务器400可选取具有最高匹配置信度的预存人脸特征信息作为标准人脸特征信息,服务器400可将标准人脸特征信息反馈至显示设备200,控制器250获取到标准人脸特征信息。例如,将预设置信度设置为98%,若是待识别人脸特征信息与预存人脸特征信息中存在匹配置信度为98%以上的预存人脸特征信息,则可认定待识别人脸特征信息提取自名人面孔,其中具有98%以上的匹配置信度的预存人脸特征信息所对应的名人,即为截屏图像中所识别出的名人。
需要说明的是,预设置信度可根据算法的准确性进行设置,只有当待识别人脸特征信息和预存人脸信息是来自同一人物时,两者的匹配置信度才能够达到预设置信度以上,最高可达100%。若是素人的待识别人脸特征信息与数据库中预存人脸特征信息相匹配的话,匹配置信度可能低于50%。
在一些实施例中,在选取到标准人脸特征信息之后,服务器400能够根据标准人脸特征信息得知该标准人脸特征信息是提取自哪个名人人物,并根据该名人人物搜寻与所述标准人脸特征信息相对应的简介信息及相关媒资。服务器400在搜寻到相应的简介信息及相关媒资之后,将数据反馈至显示设备200,由控制器250进行获取。例如,从截屏图像中获取到待识别人脸特征数据后,该待识别人脸特征数据与数据库中提取自张三的预存人脸特征信息相吻合,则可认定截屏图像中的该人物是张三,随后获取张三的简介信息,如张三,出生于上海,中国内地流行乐男歌手、影视演员、音乐制作人,毕业于格里昂酒店管理学院。同时获取张三所参演的相关媒资。另外,还可以张三的新闻八卦等等。
以上说明了当截屏图像中仅包含一个人物时的识别过程,当然,在截屏图像中包含多个人物时,本申请实施例所提供的显示设备中,控制器被配置为:
分别获取多个人物的待识别人脸特征信息,并分别获取每一人物的匹配置信度结果,其中,匹配置信度结果包含数据库中的每一个预存人脸特征信息与所述待识别人脸特征信息的匹配置信度。对于截屏图像中的每一个人物来说,对比其匹配置信度结果与预设置信度的大小。在匹配置信度结果为存在超过预设置信度的预存人脸特征信息时,获取相应的标准人脸特征信息;或者,在匹配置信度结果为不存在超过预设置信度的预存人脸特征信息时,获取相应的所述相似人脸特征信息。需要说明的是,对于截屏图像中的多个人物来说,有可能全部属于素人面孔,有可能全部属于名人面孔,还有可能一部分属于素人面孔,另一部分数据名人面孔,无论是名人面孔还是素人面孔,只要对应获取相似人脸特征信息或者标准人脸特征信息即可,基于相似人脸特征信息和/或标准人脸特征信息进一步获取相应的展示数据。
S640:获取素人识别数据。
本申请实施例中,控制器250在获取到相似人脸特征信息后,进一步获取素人识别数据。其中,所述素人识别数据是指与所述截屏图像中识别出的人物所对应的展示数据,所述素人识别数据包含与所述待识别人脸特征信息对应的展示数据,及与所述相似人脸特征信息对应的展示数据。
下面结合附图说明一下获取素人识别数据的方法流程图。
图7中示例性示出了根据一些实施例的获取素人识别数据的方法的流程示意图。结合图7,步骤S710至步骤S740对该过程进行了说明:
S710:根据人脸特征的位置信息,获取从所述截屏图像中截取的人物头像缩略图。
本申请实施例中,在提取待识别人脸特征信息时,同时标记了额头、眉毛、眼睛、鼻子、嘴巴及下巴等人脸特征的位置信息,通过人脸特征的位置信息能够在整个截屏图像中得知人物的位置信息,控制器250能够从截屏图像中截取出人物头像缩略图,即基于人物的位置信息进行抠图,得到人物头像缩略图。
S720:获取所述待识别人脸特征信息与人脸特征模板比对后所生成的颜值数据。
本申请实施例中,基于待识别人脸特征信息能够获取相对应人物的颜值数据。基于大众审美来说,能够获得大众所认可的标准人脸特征,例如,对于鼻子来说,通常会认为高鼻梁比矮鼻梁漂亮,对于眼睛来说,通常会认为双眼皮比单眼皮漂亮。服务器400能够基于提取的待识别人脸特征信息与预设的人脸特征模板进行比对,得到相应的颜值打分、颜值排名及年龄估计等等。对于不同的服务器来说,所得到的颜值数据可能不同。服务器400将获得的颜值数据反馈至显示设备200中。
在一些实施例中,基于待识别人脸特征信息能够获取相对应人物的面相数据,例如,面部五官小众,气质独特、美好,仪表堂堂等等。
S730:根据所述颜值数据,为所述人物头像缩略图添加相应的人物标识。
本申请实施例中,基于待识别人脸特征信息能够获取相对应人物的颜值数据,如颜值打分、颜值排名及年龄估计等等。服务器400根据颜值数据为相应的人物头像缩略图添加相应的人物标识。例如,对于一个年龄45岁左右男性来说,可以将其人物标识名为“帅哥”,对于一个年龄70岁左右的女性来说,可以将其人物标识名为“老奶奶”等等。服务器400在获取到相应的人物标识后,可跟随颜值数据一同反馈至显示设备200。
S740:通过所述相似人脸特征信息确定出相似明星,获取与所述相似明星相对应的简介信息及相关媒资。
本申请实施例中,基于相似人脸特征信息能够确定出相似明星,由于相似人脸特征信息是从预存人脸特征信息中提取的,故每一相似人脸特征信息均能够有对应的名人人物,该名人人物即为相似明星。服务器400根据相似明星搜寻到相应的简介信息及相关媒资,将数据反馈至显示设备200,由控制器250进行获取。
以上,素人识别数据包括人物头像缩略图、颜值数据、人物标识、相似明星以及相应的简介信息和相关媒资等等,上述数据中,有些数据是显示设备200中控制器250直接获取的,有些数据是控制器250通过服务器400间接获取的。
S650:生成与所述待识别人脸特征信息唯一匹配的分享控件。
本申请实施例中,控制器250根据所述人物标识,并结合生成所述截屏图像的时间戳、服务器域名以及显示设备标识生成字符串,其中,服务器是指提取所述截屏图像中人脸特征信息的服务器,根据所述字符串生成二维码。该二维码作为分享控件,用于将所述素人识别数据进行分享。用户想要从显示设备200中获取到素人识别数据时,可通过手机、iPad及笔记本等带有摄像头的移动终端扫描二维码,服务器400基于移动终端的请求,获取到相应的素人识别数据并反馈至移动终端,实现素人识别数据的分享。移动终端若想获取到素人识别数据,则需要通过生成截屏图像的时间戳获取截图的时间点,通过服务器域名获取要去哪台服务器访问,通过显示设备标识明确具体是哪台显示设备所生成的截屏图像,当移动终端想要获取素人识别数据时,通过扫描二维码向服务器请求即可。
S660:控制所述显示器在显示界面上展示出所述素人识别数据和所述分享控件。
本申请实施例中,控制器250在获取到素人识别数据之后,控制所述显示器275在当前显示界面上弹出信息浮层,所述信息浮层包括人物区域、相似区域、颜值区域及分享区域,其中,所述人物区域包含一个或多个人物控件,所述人物控件包含所述人物头像缩略图。图8中示例性示出了根据一些实施例的素人识别数据的展示界面图,图9中示例性示出了根据一些实施例的素人识别数据的展示界面图。结合图8和图9,在显示器275的当前显示界面的右侧,弹出了“内容识别”信息浮层,在“内容识别”信息浮层中依次设置有人物区域、相似区域、颜值区域、面相区域及分享区域。在人物区域中,显示有人物头像缩略图,该人物头像缩略图即为人物控件,在人物头像缩略图下方对应有该人物头像缩略图的人物标识,如图8中的“帅哥”。在人物区域中,通过遥控器中左/右的方向按键将焦点移动至不同的人物控件上时,控制器250控制下方相似区域、颜值区域、面相区域及分享区域展示截屏图像中识别出的不同人物的素人识别数据和分享控件。用户通过遥控器中上/下的方向按键将焦点移动至相似区域、颜值区域、面相区域及分享区域。在所述相似区域中展示有所述相似明星,如图8中的张三、李四及王二,并且在相似明星的下方展示有截屏图像中素人与各个相似明星的相似度。所述颜值区域用于展示所述颜值数据,如图8中,该截屏图像中素人的颜值打分为87,颜值排名为83%,年龄估计为46。面相区域中展示有面相评价。在所述分享区域中,展示有分享控件,并设置有“手机扫码获取识别结果”的文字提示。
图10中示例性示出了根据一些实施例的移动终端的素人识别数据的展示界面图。在图10中,当用户通过移动终端扫描了分享区域中的分享控件后,移动终端的显示屏上相应的展示出图10所示的展示界面。
本申请实施例中,图8中信息浮层中的相似区域包含多个明星控件,多个所述明星控件分别对应多个相似明星。在所述相似区域获取焦点并接受选中后,控制器250控制所述信息浮层跳转至相似明星详情页,其中,所述相似明星详情页包括所述相似区域、简介区域以及媒资区域,所述简介区域用于展示简介信息,所述媒资区域用于展示相关媒资。参见图11,图11中示例性示出了根据一些实施例的相似明星详情页的展示界面图,如图11中所示,通过“相似明星”的浮层展示出相似明星详情页,在相似明星详情页中,依次设置有相似区域、简介区域以及媒资区域。在相似区域中,在焦点移动至不同的所述明星控件上时,控制器250控制在简介区域以及媒资区域展示不同相似明星的简介信息及相关媒资。也就是将焦点移动至不同的明星头像时,下方简介区域和媒资区域中展示相应明星的简介信息和相关媒资。图11中仅展示出了3个相似明星,根据选取的相似人脸特征的数量,此处可以设置多个相似明星,在相似区域中,通过遥控器上的左/右的方向按键将焦点移动至不同的明星控件上。另外,还可以在相似明星详情页设置有娱乐区域,在娱乐区域中展示有相对应明星的八卦新闻。
本申请中,显示设备能够基于截屏图像获取到素人识别数据,在显示界面的浮层上展示出素人识别数据,以便提高用户的体验感受。另外,控制器250还能够生成与所述待识别人脸特征信息唯一匹配的分享控件,分享控件也显示于显示界面的浮层上,通过分享控件,用户可以利用移动终端将素人识别数据进行分享。本申请极大的丰富了截屏图像中人物的识别范围,并且,通过增加识别数据的分享功能,为用户增添了趣味性。
基于与上述显示设备同样的发明构思,本申请实施例还提供了一种人物识别展示的方法,所述方法包括:控制器2550接收识别指令,所述识别指令用于对显示器275显示的显示界面截图并生成截屏图像。控制器250获取所述截屏图像中的待识别人脸特征信息,并将待识别人脸特征信息与数据库中预存人脸信息进行逐一对比。在数据库中的预存人脸特征信息与所述待识别人脸特征信息的匹配置信度不超过预设置信度时,控制器250获取相似人脸特征信息,其中,所述相似人脸特征信息是指与所述待识别人脸特征信息的匹配置信度满足条件的预存人脸特征信息,所述数据库是指服务器中若干预存人脸特征信息的集合。控制器250获取素人识别数据,其中,所述素人识别数据是指与所述截屏图像中识别出的人物所对应的展示数据,所述素人识别数据包含与所述待识别人脸特征信息对应的展示数据,及与所述相似人脸特征信息对应的展示数据。控制器250生成与所述待识别人脸特征信息唯一匹配的分享控件,所述分享控件用于将所述素人识别数据进行分享,并控制所述显示器275在显示界面上展示出所述素人识别数据和所述分享控件。
在一些实施例中,控制器250将待识别人脸特征信息与数据库中预存人脸信息进行逐一对比时,在数据库中的任一预存人脸特征信息与所述待识别人脸特征信息的匹配置信度超过预设置信度时,获取标准人脸特征信息,其中,所述标准人脸特征信息是指与所述待识别人脸特征信息的匹配置信度最高的预存人脸特征信息。控制器250获取与所述标准人脸特征信息相对应的简介信息及相关媒资。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是,在本说明书中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (10)
1.一种显示设备,其特征在于,所述显示设备包括:
显示器,
控制器,所述控制器与所述显示器通信连接,所述控制器被配置为:
响应于对所述显示画面中至少一个对象的识别指令,对显示器显示的显示界面截图并生成截屏图像;
如果所述对象被确定为名人,则获取关于所述名人的简介数据;其中对象和名人需在服务器中进行人脸特征数据比对,所述名人相关的信息已预存在所述服务器的数据库中;
如果所述对象被确定素人,则获取所述显示界面中素人对应的截图信息以及相似名人信息;其中,所述素人为所述服务器的数据库中未预存的人脸特征信息,所述素人识别数据是指与所述截屏图像中识别出的人物所对应的展示数据,
控制所述显示器在显示界面上展示出所述素人识别数据,和/或,名人简介数据。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
获取所述截屏图像中的待识别人脸特征信息并发送至服务器,以使得所述服务器在数据库中的预存人脸特征信息与所述待识别人脸特征信息的匹配置信度不超过预设置信度时,获取相似人脸特征信息,其中,所述相似人脸特征信息是指与所述待识别人脸特征信息的匹配置信度满足条件的预存人脸特征信息,所述相似人脸特征信息用于获取对应的展示数据,所述数据库是指服务器中若干预存人脸特征信息的集合,所述预存人脸特征信息是指名人的人脸特征信息。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
在数据库中的任一预存人脸特征信息与所述待识别人脸特征信息的匹配置信度超过预设置信度时,获取标准人脸特征信息,其中,所述标准人脸特征信息是指与所述待识别人脸特征信息的匹配置信度最高的预存人脸特征信息;
获取与所述标准人脸特征信息相对应的简介信息及相关媒资。
4.根据权利要求1所述的显示设备,其特征在于,所述待识别人脸特征信息包含人脸特征的位置信息,所述获取素人识别数据,包括:
根据人脸特征的位置信息,获取从所述截屏图像中截取的人物头像缩略图;
获取所述待识别人脸特征信息与人脸特征模板比对后所生成的颜值数据;
根据所述颜值数据,为所述人物头像缩略图添加相应的人物标识;
通过所述相似人脸特征信息确定出相似名人,获取与所述相似明星相对应的简介信息及相关媒资。
5.根据权利要求1所述的显示设备,其特征在于,所述控制所述显示器在显示界面上展示出所述素人识别数据和/或,名人简介数据,包括:
控制所述显示器在当前显示界面上弹出信息浮层,所述信息浮层包括人物区域、相似区域、颜值区域及分享区域,其中,所述人物区域包含一个或多个人物控件,所述人物控件包含所述人物头像缩略图;
在焦点移动至不同的所述人物控件上时,控制展示截屏图像中识别出的不同人物的素人识别数据;
所述相似区域用户展示所述相似名人;
所述颜值区域用于展示所述颜值数据。
6.根据权利要求5所述的显示设备,其特征在于,所述相似区域包含多个名人控件,多个所述明星控件分别对应多个相似名人,所述控制器还被配置为:
在所述相似区域获取焦点并接受选中后,控制所述信息浮层跳转至相似名人详情页,其中,所述相似明星详情页包括所述相似区域、简介区域以及媒资区域,所述简介区域用于展示简介信息,所述媒资区域用于展示相关媒资;
在焦点移动至不同的所述名人控件上时,控制展示不同相似名人的简介信息及相关媒资。
7.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
在所述截屏图像包含多个人物的待识别人脸特征信息时,分别获取每一人物的匹配置信度结果,其中,匹配置信度结果包含数据库中的每一个预存人脸特征信息与所述待识别人脸特征信息的匹配置信度;
在匹配置信度结果为存在超过预设置信度的预存人脸特征信息时,获取标准人脸特征信息;或者,在匹配置信度结果为不存在超过预设置信度的预存人脸特征信息时,获取所述相似人脸特征信息。
8.根据权利要求1所述的显示设备,其特征在于,所述接收识别指令,包括:
接收用户通过按压遥控器上的截图按键发出的识别指令;
或,
接收用户通过语音输入所发出的识别指令。
9.一种人物识别展示的方法,其特征在于,所述方法包括:
响应于对所述显示画面中至少一个对象的识别指令,对显示器显示的显示界面截图并生成截屏图像;
如果所述对象被确定为名人,则获取关于所述名人的简介数据;其中对象和名人需在服务器中进行人脸特征数据比对,所述名人相关的信息已预存在所述服务器的数据库中;
如果所述对象被确定素人,则获取所述显示界面中素人对应的截图信息以及相似名人信息;其中,所述素人为所述服务器的数据库中未预存的人脸特征信息,所述素人识别数据是指与所述截屏图像中识别出的人物所对应的展示数据,
控制所述显示器在显示界面上展示出所述素人识别数据,和/或,名人简介数据。
10.根据权利要求9所述的人物识别展示的方法,其特征在于,所述方法还包括:
在数据库中的任一预存人脸特征信息与所述待识别人脸特征信息的匹配置信度超过预设置信度时,获取标准人脸特征信息,其中,所述标准人脸特征信息是指与所述待识别人脸特征信息的匹配置信度最高的预存人脸特征信息;
获取与所述标准人脸特征信息相对应的简介信息及相关媒资。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210510868.0A CN114945102A (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210510868.0A CN114945102A (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
CN202010673447.0A CN111818378B (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010673447.0A Division CN111818378B (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114945102A true CN114945102A (zh) | 2022-08-26 |
Family
ID=72842460
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210510868.0A Pending CN114945102A (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
CN202010673447.0A Active CN111818378B (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010673447.0A Active CN111818378B (zh) | 2020-07-14 | 2020-07-14 | 显示设备及人物识别展示的方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN114945102A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024046360A1 (zh) * | 2022-08-30 | 2024-03-07 | 北京字跳网络技术有限公司 | 媒体内容处理方法、装置、设备、可读存储介质及产品 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022012299A1 (zh) | 2020-07-14 | 2022-01-20 | 海信视像科技股份有限公司 | 显示设备及人物识别展示的方法 |
CN112418001A (zh) * | 2020-11-05 | 2021-02-26 | 联想(北京)有限公司 | 一种基于人脸特征的图像显示方法及装置 |
CN112613360A (zh) * | 2020-12-09 | 2021-04-06 | 珠海格力电器股份有限公司 | 一种图片分享方法、装置、智能终端及存储介质 |
CN114640863B (zh) * | 2022-03-04 | 2024-09-24 | 广州方硅信息技术有限公司 | 直播间内的人物信息显示方法、系统、装置及计算机设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2808805A1 (en) * | 2013-05-30 | 2014-12-03 | Thomson Licensing | Method and apparatus for displaying metadata on a display and for providing metadata for display |
CN105095919A (zh) * | 2015-09-08 | 2015-11-25 | 北京百度网讯科技有限公司 | 图像识别方法和装置 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN107454305A (zh) * | 2016-05-31 | 2017-12-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种自动拍照方法和电子设备 |
CN108573268A (zh) * | 2017-03-10 | 2018-09-25 | 北京旷视科技有限公司 | 图像识别方法和装置、图像处理方法和装置及存储介质 |
CN109168069A (zh) * | 2018-09-03 | 2019-01-08 | 聚好看科技股份有限公司 | 一种识别结果分区域显示方法、装置及智能电视 |
CN109858371A (zh) * | 2018-12-29 | 2019-06-07 | 深圳云天励飞技术有限公司 | 人脸识别的方法及装置 |
CN111343512A (zh) * | 2020-02-04 | 2020-06-26 | 聚好看科技股份有限公司 | 信息获取方法、显示设备及服务器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5173858B2 (ja) * | 2009-01-14 | 2013-04-03 | キヤノン株式会社 | 動画像処理装置、動画像処理方法、プログラム及び記憶媒体 |
CN102542299B (zh) * | 2011-12-07 | 2015-03-25 | 惠州Tcl移动通信有限公司 | 人脸识别方法、装置及能识别人脸的移动终端 |
CN104463177A (zh) * | 2014-12-23 | 2015-03-25 | 北京奇虎科技有限公司 | 相似人脸图片获取方法和装置 |
WO2017088340A1 (zh) * | 2015-11-25 | 2017-06-01 | 腾讯科技(深圳)有限公司 | 图像信息处理方法、装置和计算机存储介质 |
-
2020
- 2020-07-14 CN CN202210510868.0A patent/CN114945102A/zh active Pending
- 2020-07-14 CN CN202010673447.0A patent/CN111818378B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2808805A1 (en) * | 2013-05-30 | 2014-12-03 | Thomson Licensing | Method and apparatus for displaying metadata on a display and for providing metadata for display |
CN105095919A (zh) * | 2015-09-08 | 2015-11-25 | 北京百度网讯科技有限公司 | 图像识别方法和装置 |
CN107454305A (zh) * | 2016-05-31 | 2017-12-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种自动拍照方法和电子设备 |
CN108573268A (zh) * | 2017-03-10 | 2018-09-25 | 北京旷视科技有限公司 | 图像识别方法和装置、图像处理方法和装置及存储介质 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN109168069A (zh) * | 2018-09-03 | 2019-01-08 | 聚好看科技股份有限公司 | 一种识别结果分区域显示方法、装置及智能电视 |
CN109858371A (zh) * | 2018-12-29 | 2019-06-07 | 深圳云天励飞技术有限公司 | 人脸识别的方法及装置 |
CN111343512A (zh) * | 2020-02-04 | 2020-06-26 | 聚好看科技股份有限公司 | 信息获取方法、显示设备及服务器 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024046360A1 (zh) * | 2022-08-30 | 2024-03-07 | 北京字跳网络技术有限公司 | 媒体内容处理方法、装置、设备、可读存储介质及产品 |
Also Published As
Publication number | Publication date |
---|---|
CN111818378A (zh) | 2020-10-23 |
CN111818378B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111818378B (zh) | 显示设备及人物识别展示的方法 | |
CN111836109A (zh) | 显示设备、服务器及自动更新栏目框的方法 | |
CN112055240B (zh) | 一种显示设备及其与遥控器配对的操作提示展示方法 | |
CN112004157B (zh) | 一种多轮语音交互方法及显示设备 | |
CN112333509A (zh) | 一种媒资推荐方法、推荐媒资的播放方法及显示设备 | |
CN111770370A (zh) | 显示设备、服务器及媒资推荐的方法 | |
CN113938724A (zh) | 显示设备及录屏分享方法 | |
CN111836083B (zh) | 显示设备及屏幕发声方法 | |
CN114079819A (zh) | 一种内容显示方法及显示设备 | |
CN111669662A (zh) | 显示设备、视频通话方法及服务器 | |
CN112203154A (zh) | 一种显示设备 | |
CN111954059A (zh) | 屏保的展示方法及显示设备 | |
CN112272331B (zh) | 一种节目频道列表快速展示的方法及显示设备 | |
CN112055245B (zh) | 一种彩色字幕实现方法及显示设备 | |
CN111984167A (zh) | 一种快捷命名的方法及显示设备 | |
CN111939561A (zh) | 显示设备及交互方法 | |
CN113438553A (zh) | 一种显示设备被唤醒方法及显示设备 | |
CN111931692A (zh) | 显示设备及图像识别方法 | |
CN112199560A (zh) | 一种设置项的搜索方法及显示设备 | |
CN114390190A (zh) | 显示设备及监测应用启动摄像头的方法 | |
CN111914565A (zh) | 电子设备及用户语句的处理方法 | |
CN114554266B (zh) | 显示设备及显示方法 | |
CN111970554B (zh) | 一种图片显示方法和显示设备 | |
CN113825001B (zh) | 全景图片浏览方法及显示设备 | |
CN113436564B (zh) | 一种epos的展示方法及显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |