CN112073767B - 一种显示设备 - Google Patents

一种显示设备 Download PDF

Info

Publication number
CN112073767B
CN112073767B CN201910927563.8A CN201910927563A CN112073767B CN 112073767 B CN112073767 B CN 112073767B CN 201910927563 A CN201910927563 A CN 201910927563A CN 112073767 B CN112073767 B CN 112073767B
Authority
CN
China
Prior art keywords
image
face
display
area
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910927563.8A
Other languages
English (en)
Other versions
CN112073767A (zh
Inventor
付延松
于文钦
李志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201910927563.8A priority Critical patent/CN112073767B/zh
Publication of CN112073767A publication Critical patent/CN112073767A/zh
Application granted granted Critical
Publication of CN112073767B publication Critical patent/CN112073767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本申请公开了一种显示设备,包括:摄像头,该摄像头被配置为采集环境图像数据;显示器,该显示器被配置为显示用户界面,其中,所述用户界面用于呈现摄像头相关应用内容或点播媒体播放内容;与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:接收用户输入的基于当前显示画面获取内容推荐指令,判断当前显示画面对应的应用是否为摄像头相关应用,若是,则显示第一用户界面,其中所述第一用户界面为包括所述摄像头获取到的第一图像。

Description

一种显示设备
本申请为申请日在2019年08月19日,申请号为201910766057.5,发明名称为一种显示设备的分案申请。
技术领域
本申请涉及显示技术,尤其涉及一种显示方法及配置有摄像头的显示设备。
背景技术
当前,由于显示设备可以为用户提供诸如音频、视频、图片等的播放画面,受到用户的广泛关注。随着大数据与人工智能的发展,用户对显示设备的功能需求与日俱增。例如,通过人脸识别确定用户的年龄比较大,可推送健康科普类节目以及具有年代感的音乐、视频等资源;或者,通过人脸识别确定用户的情绪低落,可推送喜剧类视频以及节奏欢快的音乐等。然而,目前的显示设备,尤其是家用设备,如智能电视,本身未内置的摄像头,故无法实现上述场景。
因此,迫切需要一种能在呈现传统电视画面的同时,还能推送与人脸特征信息相关联的内容推荐信息的显示设备,为用户提供智能化服务,提高用户体验。
发明内容
本申请实施例提供一种显示方法及配置有摄像头的显示设备,用以显示与人脸相关联的内容推荐信息。
第一方面,提供一种显示方法,应用于显示设备,所述显示设备配置有至少一个摄像头,该方法包括:应用于显示设备,所述显示设备配置有至少一个摄像头,该方法包括:响应于信息推送指令,显示第一用户界面,所述第一用户界面包括图像显示区域和信息显示区域,所述图像显示区域显示所述至少一个摄像头获取到的第一图像,所述信息显示区域显示与所述第一图像中识别出的第一人脸相关联的内容推荐信息。
可选地,所述响应于信息推送指令,显示第一用户界面,包括:响应于信息推送指令,执行:获取所述至少一个摄像头实时拍摄的图像序列中的第一图像;调用人脸识别模块对所述第一图像进行人脸识别,将识别到的至少第一人脸的特征信息发送给服务器;对所述第一图像中的第一人脸进行标识;接收服务器发送的至少与所述第一人脸相关联的内容推荐信息;将所述第一人脸被标识的所述第一图像显示于所述图像显示区域,以及将与所述第一人脸相关联的内容推荐信息显示于所述信息显示区域;其中,与所述第一人脸相关联的内容推荐信息是所述服务器根据所述第一人脸的特征信息从信息库中选择出来的。
可选地,所述信息显示区域包括人脸缩略图显示子区域、内容推荐信息显示子区域;所述人脸缩略图显示子区域显示所述图像显示区域显示的图像中被识别出的人脸的缩略图序列,所述缩略图序列中至少包括所述第一人脸的缩略图,所述第一人脸的缩略图落入焦点框;所述内容推荐信息显示子区域显示与落入焦点框的所述第一人脸相关联的内容推荐信息。
可选地,所述图像显示区域显示的图像中识别出的人脸还包括至少第二人脸,则所述图像中至少所述第一人脸被标识,所述缩略图序列中还包括所述第二人脸的缩略图。
可选地,所述方法还包括:响应于方向键指令,所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框,所述内容推荐信息显示子区域的信息更新为与所述第二人脸相关联的内容推荐信息,所述图像显示区域显示的所述第一图像中所述第二人脸被标识。
可选地,所述响应于方向键指令,所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框,所述内容推荐信息显示子区域显示的信息更新为与所述第二人脸相关联的内容推荐信息,所述图像显示区域显示的所述第一图像中所述第二人脸被标识,包括:响应于方向键指令,执行:将所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框;获取与所述第二人脸相关联的内容推荐信息,并更新所述内容推荐信息显示子区域显示的信息为与所述第二人脸相关联的信息;在所述图像显示区域显示的所述第一图像中标识所述第二人脸。
可选地,所述获取与所述第二人脸相关联的内容推荐信息,包括:获取本地存储的与所述第二人脸相关联的内容推荐信息,其中,与所述第二人脸相关联的内容推荐信息是在识别出所述第二人脸后从服务器获取到并保存在本地的;或者将所述第二人脸的特征信息发送给服务器,并接收所述服务器基于所述第二人脸的特征信息返回的与所述第二人脸相关联的内容推荐信息。
可选地,响应于所述方向键指令,还执行:对所述图像显示区域中的所述第一图像进行移动和/或缩放,使得被标识的第二人脸所在区域位于所述图像显示区域中的可视区域。
可选地,所述第一用户界面中,所述图像显示区域和所述信息显示区域位于不同的层,所述图像显示区域所在的层被所述信息显示区域所在的层部分覆盖。
可选地,所述响应于信息推送指令,显示第一用户界面之前,还包括:响应于与所述至少一个摄像头相关的触发指令,显示第二用户界面,所述第二用户界面用于显示所述至少一个摄像头实时拍摄的图像序列。
第二方面,提供一种显示设备,包括:摄像头,该摄像头被配置为采集环境图像数据;显示器,该显示器被配置为显示用户界面,其中,所述用户界面用于呈现摄像头相关应用内容或点播媒体播放内容;与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:接收用户输入的基于当前显示画面获取内容推荐指令,判断当前显示画面对应的应用是否为摄像头相关应用,若是,则显示第一用户界面,其中所述第一用户界面为包括所述摄像头获取到的第一图像。
可选的,控制器还被配置为接收用户输入的基于当前显示画面获取内容推荐指令,判断当前显示画面对应的应用是否为摄像头相关应用,若否,显示第二用户界面,其中所述第二用户界面为包括对当前显示画面的截图图像。
可选的,所述摄像头相关应用为可通过图片存储地址获取当前第一图像的应用。
可选的,所述控制器被配置为在所述接收用户输入的基于当前显示画面获取内容推荐指令,判断当前显示画面对应的应用是否为摄像头相关应用,若是,则显示第一用户界面,其中所述第一用户界面为包括所述摄像头获取到的第一图像之后, 调用人脸识别模块对所述第一图像进行人脸识别,将识别到的至少第一人脸的特征信息发送给服务器;接收服务器发送的至少与所述第一人脸相关联的内容推荐信息;将至少与所述第一人脸相关联的内容推荐信息传输至所述显示器的信息显示区域进行呈现。
可选地,所述控制器,具体用于:获取所述至少一个摄像头实时拍摄的图像序列中的第一图像;调用人脸识别模块对所述第一图像进行人脸识别,通过所述通信器将识别到的至少第一人脸的特征信息发送给服务器;对所述第一图像中的第一人脸进行标识;通过所述通信器接收服务器发送的至少与所述第一人脸相关联的内容推荐信息;将所述第一人脸被标识的所述第一图像显示于所述图像显示区域,以及将与所述第一人脸相关联的内容推荐信息显示于所述信息显示区域;其中,与所述第一人脸相关联的内容推荐信息是所述服务器根据所述第一人脸的特征信息从信息库中选择出来的。
可选地,所述信息显示区域包括人脸缩略图显示子区域、内容推荐信息显示子区域;所述人脸缩略图显示子区域显示所述图像显示区域显示的图像中被识别出的人脸的缩略图序列,所述缩略图序列中至少包括所述第一人脸的缩略图,所述第一人脸的缩略图落入焦点框;所述内容推荐信息显示子区域显示与落入焦点框的所述第一人脸相关联的内容推荐信息。
可选地,所述图像显示区域显示的图像中识别出的人脸还包括至少第二人脸,则所述图像中至少所述第一人脸被标识,所述缩略图序列中还包括所述第二人脸的缩略图。
可选地,所述控制器,进一步用于运行所述存储器存储的计算机指令,执行:响应于方向键指令,指示所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框,所述内容推荐信息显示子区域的信息更新为与所述第二人脸相关联的内容推荐信息,所述图像显示区域显示的所述第一图像中所述第二人脸被标识。
可选地,所述控制器,具体用于:将所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框;获取与所述第二人脸相关联的内容推荐信息,并更新所述内容推荐信息显示子区域显示的信息为与所述第二人脸相关联的信息;在所述图像显示区域显示的所述第一图像中标识所述第二人脸。
可选地,所述控制器,进一步用于运行所述存储器存储的计算机指令,执行:获取所述存储器存储的与所述第二人脸相关联的内容推荐信息,其中,与所述第二人脸相关联的内容推荐信息是在识别出所述第二人脸后从服务器获取到并保存在本地的;或者通过所述通信器将所述第二人脸的特征信息发送给服务器,并通过所述通信器接收所述服务器基于所述第二人脸的特征信息返回的与所述第二人脸相关联的内容推荐信息。
可选地,所述控制器,进一步用于运行所述存储器存储的计算机指令,执行:对所述图像显示区域中的所述第一图像进行移动和/或缩放,使得被标识的第二人脸所在区域位于所述图像显示区域中的可视区域。
可选地,所述第一用户界面中,所述图像显示区域和所述信息显示区域位于不同的层,所述图像显示区域所在的层被所述信息显示区域所在的层部分覆盖。
可选地,所述控制器,进一步用于运行所述存储器存储的计算机指令,执行:在响应于信息推送指令,显示第一用户界面之前,响应于与所述至少一个摄像头相关的触发指令,使得所述显示器显示第二用户界面,所述第二用户界面用于显示所述至少一个摄像头实时拍摄的图像序列。
本申请的上述实施例中,显示设备包括:摄像头,该摄像头被配置为采集环境图像数据;显示器,该显示器被配置为显示用户界面,其中,所述用户界面用于呈现摄像头相关应用内容或点播媒体播放内容;与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:接收用户输入的基于当前显示画面获取内容推荐指令,判断当前显示画面对应的应用是否为摄像头相关应用,若是,则显示第一用户界面,其中所述第一用户界面为包括所述摄像头获取到的第一图像。这样,显示设备实现了利用配置的摄像头拍摄图像,识别出该图像中用户的面部信息,从而根据用户的面部信息向用户推荐与人脸相关联的内容推荐信息,为用户提供智能化服务,提高用户体验。
附图说明
图1为本申请实施例中显示设备与控制装置之间操作场景的示意图;
图2a为本申请实施例中显示设备中软件系统的配置框图;
图2b为本申请实施例中显示设备可执行的各种应用程序的示意图;
图3为本申请实施中显示设备的用户界面的示意图;
图4为本申请实施中显示设备的用户界面的示意图;
图5a为本申请实施例中的一种用于显示摄像头拍摄区域画面的用户界面的示意图;
图5b为本申请实施例中的另一种用于显示摄像头拍摄区域画面的用户界面的示意图;
图6为本申请实施例提供的一种显示方法的流程示意图;
图7a为本申请实施例提供的一种用于显示推送资源的用户界面;
图7b为本申请实施例提供的一种用于显示推送资源的用户界面;
图7c为本申请实施例提供的一种用于显示推送资源的用户界面;
图7d为本申请实施例提供的一种用于显示推送资源的用户界面;
图7e为本申请实施例提供的一种用于显示推送资源的用户界面;
图7f为本申请实施例提供的一种用于显示推送资源的用户界面;
图8a为本申请实施例提供的一种用于显示推送资源的用户界面;
图8b为本申请实施例提供的一种用于显示推送资源的用户界面;
图9为本申请实施例提供的一种显示方法的流程示意图;
图10为本申请实施例提供的一种显示方法的流程示意图;
图11为本申请实施例提供的一种显示方法的流程示意图;
图12为本申请实施例提供的一种显示装置的结构示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施例中的技术方案进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是,以下对各个概念的说明,仅为了使本申请的内容更加容易理解,并不表示对本申请保护范围的限定。
本申请各实施例中使用的术语“模块”,可以是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请各实施例中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,该组件通常可在较短的距离范围内无线控制电子设备。该组件一般可以使用红外线、射频(radio frequency,RF)信号、蓝牙等通信方式中的至少一种与电子设备连接,也可以包括WiFi、无线通用串行总线(universal serial bus,USB)、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请各实施例中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的或结果的用户行为。
本申请各实施例中使用的术语“硬件系统”,可以是指由集成电路(integratedcircuit,IC)、印刷电路板(printed circuit board,PCB)等机械、光、电、磁器件构成的具有计算、控制、存储、输入和输出功能的实体部件。在本申请各个实施例中,硬件系统通常也会被称为主板(motherboard)或芯片。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过控制装置(100A,100B)来操作显示设备200。
其中,控制装置100可以是遥控器100A,其可与显示设备200之间通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距离通信方式进行通信,以通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键的方式、语音输入的方式、控制面板输入的方式等输入用户指令,来控制显示设备200。比如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置也可以是智能设备,也可以是移动终端100B、平板电脑、计算机、笔记本电脑等,其可以通过本地网(Local Area Network,LAN)、广域网(WideArea Network,WAN)、无线局域网(Wireless Local Area Network,WLAN)或其他网络与显示设备200之间通信,并通过与显示设备200相应的应用程序实现对显示设备200的控制。例如,使用在智能设备上运行的应用程序控制显示设备200,该应用程序可以在与显示设备200关联的屏幕上通过直观的用户界面(userinterface,UI)为用户提供各种控制。
示例的,移动终端100B与显示设备200均可安装软件应用,从而可通过网络通信协议实现二者之间的连接通信,进而实现一对一控制操作的和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端100B上,通过控制移动终端100B上的用户界面,实现控制显示设备200的功能;也可以将移动终端100B上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图1所示,显示设备200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中,可允许显示设备200通过局域网、无线局域网或其他网络与服务器300进行通信连接。服务器300可以向显示设备200提供各种内容和互动。
示例的,显示设备200通过发送和接收信息,以及电子节目指南(electronicprogram guide,EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器300可以是一组,也可以是多组,可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以是液晶显示器、激发光(Organic Light Emitting Diode,OLED)显示器、投影显示设备、智能电视。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。示例的包括,网络电视、智能电视、互联网协议电视(InternetProtocol Television,IPTV)等。
如图1所述,显示设备200上可以连接或设置有摄像头,用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上,以实现用户之间的交互聊天、人脸识别等。具体的,摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。
作为一种可选地连接方式,摄像头通过连接板与显示器后壳连接,固定安装在显示器后壳的上侧中部,作为可安装的方式,可以固定安装在显示器后壳的任意位置,能保证其图像采集区域不被后壳遮挡即可,例如,图像采集区域与显示设备的显示朝向相同。
作为另一种可选地连接方式,摄像头通过连接板或者其他可想到的连接器可升降的与显示后壳连接,连接器上安装有升降马达,当用户要使用摄像头或者有应用程序要使用摄像头时,再升出显示器之上,当不需要使用摄像头时,其可内嵌到后壳之后,以达到保护摄像头免受损坏。
作为一种实施例,本申请所采用的摄像头可以为1600万像素,以达到超高清显示目的。在实际使用中,也可采用比1600万像素更高或更低的摄像头。
示例性的,用户可在本地打开摄像头,作为响应,显示设备实时显示拍摄的图像序列,形象的,可以称该功能或者应用为为“照镜子”,用户通过拍照操作获取摄像头实时拍摄的图像序列中的一个图像,通过录制操作可获取设定时长内摄像头实时拍摄的图像序列。进一步地,该照镜子应用还可以为用户提供信息推送功能,即,利用摄像头获取用户的面部信息,并以此为依据为用户推送视频、图片、音乐以及书籍等资源。
图2a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
如图2a中所示,操作系统2911,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成数据处理的媒介。
一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示器、摄像头、Flash、WiFi和音频驱动器。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序访问,可实现用户可操作性。
控制应用程序2911-4,用于控制进程管理,包括运行时间应用程序等。
事件传输系统2914,可在操作系统2911内或应用程序2912中实现。一些实施例中,一方面在在操作系统2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
事件识别模块2914-1,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
其中,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制装置100等)的输入。如:语音输入各种子事件,手势识别的手势输入子事件,以及控制装置的遥控按键指令输入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作,如移动、按住、释放等操作。
界面布局管理模块2913,直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
如图2b中所示,显示设备的应用程序层包含可在显示设备200执行的各种应用程序。
应用程序层2912可包含但不限于一个或多个应用程序,比如,视频点播应用程序、应用程序中心、游戏应用、直播电视应用程序、媒体中心应用程序等。需要说明的是,应用程序层2912包含什么应用程序是根据操作系统和其他设计确定的,本申请无需对应用程序层2912所包含的应用程序做具体的限定和划分。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
可选地,为便于用户使用,减少CPU的负载提高数据处理能力,显示设备200可采用双硬件系统架构。将双硬件系统架构中的一个硬件系统称为第一硬件系统,将另一个硬件系统架构称为第二硬件系统。第一硬件系统和第二硬件系统可以各自安装有独立的操作系统,从而显示设备200中就存在两个独立但又相关联的子系统。这样,就可以将一部分功能分给第一硬件系统实现,将另一部分功能分给第二硬件系统实现,两个硬件系统分别负责处理不同的数据,同时相互间又可以进行通信以实现某一功能。例如,第一硬件系统用于实现传统的电视功能,第二硬件系统用于实现前述的照镜子功能,当接收到与照镜子功能相关的指令时,第一硬件系统对该指令进行解码等处理,得到该指令与第二硬件系统负责的照镜子功能相关,则将处理后的指令发送给第二硬件系统,以使得第二硬件系统响应与该指令。
需要说明得是,本申请实施例可基于单硬件系统实现,也可以基于双硬件系统实现,本申请对此不作限定。
图3中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图3所示,用户界面包括多个视图显示区域,示例的,第一视图显示区域201和第二视图显示区域202,其中,播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器,可通过用户输入而移动选择器的位置,以改变选择不同的项目。
需要说明的是,多个视图显示区域可以呈现不同层级的显示画面。比如,第一视图显示区域可呈现视频聊天项目内容,可呈现应用层项目内容(比如,网页视频、VOD展示、应用程序画面等)。
可选地,不同视图显示区域的呈现存在优先级区别,优先级不同的视图显示区域之间,视图显示区域的显示优先级不同。比如,系统层的优先级高于应用层的优先级,当用户在应用层使用获取选择器和画面切换时,不遮挡系统层的视图显示区域的画面展示;以及,根据用户的选择使应用层的视图显示区域的大小和位置发生变化时,系统层的视图显示区域的大小和位置不受影响。
也可以呈现相同层级的显示画面,此时,选择器可以在第一视图显示区域和第二视图显示区域之间做切换,以及当第一视图显示区域的大小和位置发生变化时,第二视图显示区域的大小和位置可随及发生改变。
显示设备一般在遥控器上设置有快捷内容推送的选项,或者可通过语音指令进行内容推荐。例如当视频正在显示屏上播放时,通过点击遥控器、触摸屏幕或者手势等方式触发,显示屏上显示用户界面,包括当前显示的内容,以及内容推荐区。该内容推荐区包括多个选项栏集合,该多个选项栏几何包括显示当前画面的截图图片或者摄像头获取的图片,与该图片的图像识别内容相关的推荐内容、以及与该图片关联功能操作的用户控制指令输入的接口的用户控制指令显示栏。
在一些实施时,可在控制装置中设置与该先后设备对应的功能键。
以遥控器为例,内容推荐相关的快捷键用于获取当前显示界面上画面,以显示在显示器上以及发给内容推荐服务器,并接收内容推荐服务器下发的推荐内容,显示在显示屏的内容推荐区。
在进行内容推荐时,显示设备需要将一张图片发送至内容推荐服务器,内容推荐服务器在根据该图片进行人物识别或者商品识别,在根据识别出的人物或者商品进行相应的内容推荐。
在一些实例中,显示设备在主页或者视频播放中,要进行内容识别时,一般通过截取当前显示设备的显示画面作为发送至内容推荐服务器的图片。并且,将该截图图片与内容推荐服务器发送的推荐内容显示在显示器上作为第二用户界面。或者,该第二用户界面包括推荐内容,还可以包括该截图图片或者该截图图片的缩略图作为第二图像。
具体的,当显示器上播放内容时,用户触发遥控器上内容推荐的按键或触发内容推荐相关的语音指令时,执行截图操作,截取当前屏幕画面,得到截图文件。可选的,显示设备可以将该截图文件的原件传输给内容推荐服务器,显示设备也可以将该截图文件进行压缩(如WebP格式压缩),得到压缩文件,再将该压缩文件发送至内容推荐服务器。
内容推荐服务器接收到有显示设备发送的截图文件或者截图压缩文件后,进行人物或者物品识别,并将识别结果反馈至显示设备。
显示设备接收内容推荐服务器发送的推荐内容,在内容推荐区显示,并且可以接收到用户在该内容推荐区的选择,进入推荐内容供用户体验。
在另一些实例中,显示设备在照镜子应用下运行,用户要根据摄像头获取的内容要进行内容识别时,由于在摄像头使用状态下,可直接获取摄像头获取的画面作为要发送至内容推荐服务器的图片,而且,克服了截图动作需要耗费的资源较大的缺点。
因此,在照镜子应用下,接收用户在遥控器上输入的内容推荐的按键,或者内容推荐相关的语音指令,获取当前显示的摄像头采集的图像文件,并且,将该摄像头采集的图像与内容推荐服务器发送的推荐内容显示在显示器上作为第二用户界面。该第二用户界面包括推荐内容,还可以包括该摄像头获取的图片或者该摄像头获取的图片的缩略图作为第一图像。
具体的,当显示器上显示照镜子应用下摄像头获取的预览画面时,用户触发遥控器上内容推荐的按键或触发内容推荐相关的语音指令,执行拍照操作,获取当前显示的摄像头采集的图像文件。可选的,显示设备可以将该图像文件的原件传输给内容推荐服务器,显示设备也可以将该图像文件进行压缩(如WebP格式压缩),得到压缩文件,再将该压缩文件发送至内容推荐服务器。
内容推荐服务器接收到有显示设备发送的图像文件或者图像压缩文件后,进行人物或者物品识别,并将识别结果反馈至显示设备。
显示设备接收内容推荐服务器发送的推荐内容,在内容推荐区显示,并且可以接收到用户在该内容推荐区的选择,进入推荐内容供用户体验。
如图4在第三种实例中,显示设备既可以播放视频内容,又可以在照镜子应用下显示预览画面和进行拍照。用户触发遥控器上内容推荐的按键或触发内容推荐相关的语音指令,显示设备通过判断当前显示的应用确定以何种方式获取要发送至内容推荐服务器的图片。
S1101,接收用户输入的基于当前显示画面获取内容推荐指令。
S1102,判断当前显示画面对应的应用是否为摄像头相关应用。
具体的,通过ActivityManager(Android系统的提供的一个应用管理的基础类,是一种通用的方式、技术方法)判断当前展示的应用包名,通过应用包名中查找其数据包标志位所对应的文件存储位置。
S1103,若是,则获取当前应用展示的图片文件。
若对应存储位置中有摄像头获取的图片文件存储时,说明当前显示的应用为照镜子应用。获取对应存储位置处当前时间的图片文件,作为第一图像。在显示器上显示第一用户界面,该第一用户界面为包括所述摄像头获取到的第一图像。可选的,也可以将该获取对应存储位置处当前时间的图片文件进行压缩处理,将该压缩后的图片文件作为第一图像。
S1104,若否,则执行截图操作获取当前屏幕画面的到截图图片。
若对应存储位置中有摄像头获取的图片文件存储时,说明当前显示的应用不是照镜子应用。截取当前显示器的显示画面作为截图图像。在显示器上显示第二用户界面,该第二用户界面为包括所述截图图像。可选的,也可以将该截图图像进行压缩处理,将该压缩后的截图图像作为发送至内容推荐服务器的图像。
S1105,显示设备将第一图像或者截图图像发送至内容推荐服务器。
S1106,接收内容推荐服务器发送的推荐内容,并显示在内容推荐区。
基于图1所示的显示设备200与控制装置100之间的操作场景示意图,显示设备200可提供各类应用,其中一些应用要求能够在用户界面上展示一些与该应用相关联的信息。比如,在用户界面展示摄像头拍摄区域的画面,当用户操作控制装置选择照镜子应用,显示设备200打开摄像头,并在用户界面上展示该摄像头拍摄区域内的画面。
以显示摄像头拍摄区域画面的用户界面为例,图5a实例性地示出了该用户界面的内容。该用户界面可包含显示区域401。
显示区域401用于显示摄像头实时拍摄的图像序列。具体地,当用户通过控制装置开启照镜子应用后,显示设备打开显示设备配置的至少一个摄像头,并在用户界面的显示区域401内显示该摄像头拍摄区域内的画面,可实时地展示该摄像头拍摄区域内的内容。
其中,显示设备配置的至少一个摄像头指显示设备配置有多个不同拍摄区域的摄像头;比如显示设备配置有前置摄像头,该前置摄像头用于拍摄显示设备的显示屏正对着区域内的画面,其中,显示区域401所显示的画面的清晰度与显示设备的分辨率有关,也与摄像头的像素有关,本申请对此不作限定。
指示显示设备根据当前摄像头拍摄区域内的人脸获取与该人脸相关联的内容推荐信息,并显示当前摄像头拍摄区域内的画面和该内容推荐信息,相应地,可在用户界面显示对应的提示信息用于提示用户执行相应操作以完成信息推送功能。示例地,可在显示区域401的上方显示提示信息“按确认键识别你的小情绪哟”。再比如,方向键用于调整摄像头的方向以使得显示区域401所显示的该摄像头实时拍摄得到的图像序列符合用户的要求,返回键用于指示返回系统主页界面或者返回上一次用户界面。
其中,与人脸相关联的关系信息是指根据人脸的特征信息获取得到的资源,该特征信息包括但不限于以下信息:情绪、年龄、性别、是否佩戴眼镜、魅力值以及该人脸在图像中的位置信息;其中,情绪包括高兴、忧伤、烦躁、平静等,魅力值指根据人脸的五官、皮肤状态等计算得到的数值,魅力值越高则其对应的人脸就越好看。
图5b示例性地示出了另一种用于显示摄像头拍摄区域画面的用户界面。如图所示,该用户界面包括显示区域401、以及位于显示区域401下方的功能选项区域402。
功能选项区域402用于显示与显示区域401相关的一些功能选项。该功能选项区域402可包括设置功能选项402a、信息推送功能选项402b以及返回功能选项402c。
其中,设置功能选项402a用于对显示区域401所显示的内容提供设置,用户通过控制装置点击该设置功能选项402a可获取多个设置功能,比如,显示区域401画面分辨率的设置,摄像头方向的设置,焦距的设置,显示区域401尺寸的设置等。
信息推送功能选项402b用于显示摄像头实时拍摄的图像序列中的一个图像以及与该图像中的一个人脸相关联的内容推荐信息。在一种情况下,显示设备响应于该信息推送功能选项,若识别到从摄像头实时拍摄的图像序列中获取的图像中没有人脸时,将在显示区域401内显示提示信息,该提示信息用于告知用户无法获取与人脸相关联的内容推荐信息,以使得用户通过设置功能选项402a所提供的设置或其它方式使得显示设备响应与该信息推送功能选项402b时,显示区域401所显示的图像至少包括一个人脸。
返回功能选项402c返回系统主页界面或者返回上一次用户界面。
可选地,该功能选项区域402还可以包括录制功能选项(图中未画出),该录制功能选项用于录制设定时长内摄像头所实时拍摄得到的画面。
可选地,该功能选项区域402还可以包括美颜功能选项(图中未画出),该美颜功能选项用于对显示区域401所显示的图像进行美颜处理。该美颜功能选项可提供一键式美颜,也可以提供多个美颜功能选项,比如滤镜、廋脸、美白等,本申请对此不作限定。
可选地,该功能选项区域402还可以包括拍照功能选项(图中未画出),该拍照功能选项仅用于从摄像头实时拍摄的图像序列中获取一个图像,在此情况下,显示设备无需对该图像进行人脸识别,即该图像中可以不包括人脸。在一种情况下,拍照功能选项可实现上述信息推送功能选项所实现的功能,即功能选项区域402仅提供拍摄功能选项无需提供信息推送功能选项;在具体实施时,用户可通过控制装置点击拍照功能选项,作为响应,显示区域401显示摄像头拍摄的图像序列中的一个图像以及该图像中一个人脸相关联的内容推荐信息,在此情况下,显示设备需要对拍摄得到的图像进行人脸识别。
需要说明的是,功能选项区域可位于显示区域的下方,也可以位于显示区域的左侧等,本申请对此不作限定。
需要说明的是,功能选项区域中的多个选项可以一维的方式进行排列显示,也可以二维的方式进行排列显示,本申请对此不作限定。
需要说明的是,上述功能选项区域所提供的多个选项仅为示例,本申请不限制于此。
基于上述的用户界面,图6示出了本申请实施例提供的一种显示方法的流程示意图。
如图所示,该流程包括:
S501:响应于与至少一个摄像头相关的触发指令,显示摄像头预览画面,该摄像头预览画面用于显示至少一个摄像头实时拍摄的图像序列。
用户通过控制装置向显示设备发送与显示设备配置的至少一个摄像头相关的触发指令,比如发送用于打开照镜子应用的指令。显示设备接收到该触发指令后,作为响应,打开该至少一个摄像头并显示如图5a所示的用户界面或如图5b所示的用户界面。
S502:响应于信息推送指令,显示第一用户界面,该第一用户界面包括图像显示区域和信息显示区域。
用户点击控制装置上的确认键或通过控制装置点击第二用户界面功能选项区域中的信息推送,作为响应,显示第一用户界面,该第一用户界面用于显示推送资源。其中,该第一用户界面包括图像显示区域和信息显示区域,图像显示区域显示至少一个摄像头获取到的图像,信息显示区域显示与图像中识别出的第一人脸相关联的内容推荐信息。
参见图7a,为本申请实施例提供的一种用于显示推送资源的第一用户界面的示意图。
如图所示,该第一用户界面包括图像显示区域601,信息显示区域602。其中,信息显示区域602包括内容推荐信息显示子区域602a,图像显示区域601所在的层被信息显示区域602所在的层部分覆盖。
图像显示区域601用于显示至少一个摄像头实时拍摄的图像序列中的一个图像,该图像包括第一人脸。可选地,该图像显示区域601该可以设置有窗口处理选项(图中未画出)以实现对图像显示区域601所显示的图像进行移动、缩放以及旋转等处理;或者,也可以在控制装置设置相应的功能按键,以遥控器为例,左方向键用于对该图像进行水平左移处理,右方向键用于对该图像进行水平右移处理,音量加键用于对该图像进行放大处理,音量减键用于对该图像进行缩小处理等。
信息显示区域602包括内容推荐信息显示子区域602a,该内容推荐信息显示子区域602a用于显示与图像显示区域所显示的图像中的第一人脸相关联的内容推荐信息,即显示根据第一人脸的特征信息获得的推送资源。用户通过控制装置点击该推送资源,作为响应,显示设备显示该推送资源所对应的显示画面。
参见图7b,为本申请实施例提供的另一种用于显示推送资源的第一用户界面的示意图。
如图所示,该第一用户界面包括图像显示区域601,信息显示区域602。其中,信息显示区域602包括人脸缩略图显示子区域602b和内容推荐信息显示子区域602a,图像显示区域601所在的层被信息显示区域602所在的层部分覆盖。
人脸缩略图显示子区域602b用于显示图像显示区域中的第一人脸,其中,缩略图中的第一人脸与图像显示区域601所显示的图像中被识别出的第一人脸一致。
参见图7c,为本申请实施例提供的另一种用于显示推送资源的第一用户界面的示意图。
如图所示,该第一用户界面包括图像显示区域601,信息显示区域602。信息显示区域602包括内容推荐信息显示子区域602a,图像显示区域601所在的层被信息显示区域602所在的层部分覆盖。
图像显示区域601中被识别出的人脸包括第一人脸和第二人脸,其中,第一人脸被虚线方框标识,内容推荐信息显示子区域602a所显示的推送资源为图像显示区域601中被标记的人脸所相关联的内容推荐信息,即第一人脸所相关联的内容推荐信息。在此情况下,用户可通过控制装置切换图像显示区域601中的虚线方框,使得第二人脸落入该虚线方框中,内容推荐信息显示子区域602a将更新显示被标识的第二人脸所相关联的内容推荐信息。
需要说明的是,标识的方式可以采用虚线框图的方式进行标识,也可以采用箭头的方式进行标识,还可以采用对目标人脸进行放大处理的方式进行标识,本申请对此不作限定。
图7d示例性地示出了另一种用于显示推送资源的第一用户界面的示意图。
如图所示,该第一用户界面包括图像显示区域601,信息显示区域602。其中,信息显示区域602包括人脸缩略图显示子区域602b和内容推荐信息显示子区域602a,图像显示区域601所在的层被信息显示区域602所在的层部分覆盖,图像显示区域601中被识别出的人脸包括第一人脸和第二人脸。
人脸缩略图显示子区域602b用于显示图像显示区域601中显示的图像中被识别出的人脸的缩略图序列,即第一人脸的缩略图和第二人脸的缩略图。内容推荐信息显示子区域602a所显示的推送资源为人脸缩略图显示子区域602b中落入焦点框(图中用实线方框表示焦点框)的人脸所相关联的内容推荐信息,即第一人脸所相关联的内容推荐信息。用户可通过控制装置移动人脸缩略图显示子区域602b中的焦点框,使得第二人脸的缩略图落入该焦点框,内容推荐信息显示子区域602a将更新显示该第二人脸所相关联的内容推荐信息,图像显示区域601将用虚线方框标识第二人脸。
在一种情况下,可对图像显示区域601中所有被识别出来的人脸进行标识,采用另一种标识方法来标识信息显示区域602中显示的推送资源所对应的人脸。这样的话,当用户发现图像中并不是所有人脸都被标识,则用户可以通过控制装置调节图像的清晰度等让显示设备重新对图像中的人脸进行识别。比如,以虚线方框的方式来标识图像中所有被识别出来的人脸,在图像显示区域601中可以进一步地以颜色的方式来标识方框,以使得人脸缩略图显示子区域602b中的焦点框的颜色与该虚线方框的颜色一样。再比如,以虚线方框的方式来标识图像中所有被识别出来的人脸,在图像显示区域601中可以进一步地以放大倍数的虚线方框来标识,以使得放大后虚线方框所标识的人脸与内容推荐信息显示子区域601a所显示的推送资源所对应的人脸(该方式可适用于图像显示区域所显示的图像被识别到的人脸不止一个,且信息显示区域中未设置有人脸缩略图显示子区域的情况)。
基于图7a、图7b、图7c和图7d所示的第一用户界面,在信息显示区域602中还可以配置有人脸特征信息显示区域,该人脸特征信息显示区域用于显示与内容推荐信息显示子区域602a中的推送资源所对应的人脸的特征信息。
可选地,信息显示区域中可以设置有窗口处理选项,也可以在控制装置设置相应的功能按键,其设置方法与图像显示区域所述的设置方法类似,再次不再赘述。
需要说明的是,在第一用户界面中,图像显示区域可以被信息显示区域部分覆盖显示,图像显示区域也可以与信息显示区域左右并列显示,图像显示区域还可以与信息显示区域上下并列显示,本申请对此不作限定。
需要说明的是,在信息显示区域中,人脸缩略图显示子区域、内容推荐信息显示子区域以及人脸特征信息显示区域的排列顺序申请对此不作限定。
可选地,在S502中,响应于信息推送指令,执行:获取至少一个摄像头实时拍摄的图像序列中的第一图像;调用人脸识别模块对第一图像进行人脸识别,将识别到的至少第一人脸的特征信息发送给服务器;对第一图像中的第一人脸进行标识;接收服务器发送的至少与第一人脸相关联的内容推荐信息;将第一人脸被标识的第一图像显示于图像显示区域,以及将与第一人脸相关联的内容推荐信息显示于信息显示区域;其中,与第一人脸相关联的内容推荐信息是服务器根据第一人脸的特征信息从信息库中选择出来的。
可选地,信息显示区域包括人脸缩略图显示子区域、内容推荐信息显示子区域;人脸缩略图显示子区域显示图像显示区域显示的图像中被识别出的人脸的缩略图序列,缩略图序列中至少包括第一人脸的缩略图,第一人脸的缩略图落入焦点框;内容推荐信息显示子区域显示与落入焦点框的第一人脸相关联的内容推荐信息。
可选地,图像显示区域显示的图像中识别出的人脸还包括至少第二人脸,则图像中至少第一人脸被标识,缩略图序列中还包括第二人脸的缩略图。
可选地,响应于方向键指令,人脸缩略图显示子区域中缩略图序列中的第二人脸的缩略图落入焦点框,内容推荐信息显示子区域的信息更新为与第二人脸相关联的内容推荐信息,图像显示区域显示的第一图像中第二人脸被标识。
可选地,响应于方向键指令,执行:将人脸缩略图显示子区域中缩略图序列中的第二人脸的缩略图落入焦点框;获取与第二人脸相关联的内容推荐信息,并更新内容推荐信息显示子区域显示的信息为与第二人脸相关联的信息;在图像显示区域显示的第一图像中标识第二人脸。
可选地,获取与第二人脸相关联的内容推荐信息,包括:获取本地存储的与第二人脸相关联的内容推荐信息,其中,与第二人脸相关联的内容推荐信息是在识别出第二人脸后从服务器获取到并保存在本地的;或者将第二人脸的特征信息发送给服务器,并接收服务器基于第二人脸的特征信息返回的与第二人脸相关联的内容推荐信息。
可选地,响应于方向键指令,还执行:对图像显示区域中的第一图像进行移动和/或缩放,使得被标识的第二人脸所在区域位于图像显示区域中的可视区域。
下面以显示设备为智能电视、操作系统为安卓系统且该智能电视配置有一个摄像头为例,对图6中所涉及的步骤进行详细的描述。
首先对涉及到的操作系统中的名词术语进行说明:
ImageView,一种控件,图像显示模块,用于对图像中的人脸进行标识,以及对显示的图像进行移动、缩小、放大和旋转等。
Activity,一种应用程序,用于将获取到的图像通过ImageView显示于智能电视的显示屏。
Layout,布局显示模块,用于显示和管理显示窗口所显示的内容。
参见图9,为本申请实施例提供的一种显示方法的流程示意图。
如图所示,该流程包括:
S701~S702:接收与摄像头相关的触发指令,作为响应,启动摄像头。
以控制装置为遥控器为例,处于工作模式状态下的智能电视的用户界面中至少显示有与推送人脸特征信息相关联的资源的应用程序(照镜子应用),用户通过遥控器的确认按键点击该照镜子应用,即向智能电视发送用于开启照镜子应用的触发指令,作为响应,智能电视启动摄像头,显示如图5a或图5b所示的用户界面。
在一种可能实现的场景中,对于处于待机模式状态下的智能电视,可将用于开启照镜子应用的触发指令作为一种开机唤醒指令,并设置在遥控器上,使得处于待机模式状态下的智能电视能够响应该触发指令;具体地,智能电视响应于该触发指令主板上电,从待机模式状态进入工作模式状态,并在进入工作模式状态时不显示系统主页而是直接启动摄像头,显示如图5a或图5b所示的用户界面。
举例而言,可在遥控器上设置有照镜子应用按键,用户点击照镜子应用按键,对于处于工作模式状态下的智能电视,无论智能电视当前的用户界面是否显示有照镜子应用,作为响应,智能电视启动摄像头并显示如图5a或图5b所示的用户界面;对于待机模式状态下的智能电视,作为响应,智能电视的主板上电,从待机模式状态进入工作模式状态,并在进入工作模式状态(比如,开机视频播放完毕后)启动摄像头并显示该摄像头实时拍摄的图像序列,如图5a或图5b所示的用户界面。
S703:接收信息推送指令,作为响应,执行S704~S709所示的步骤。
在S702中,智能电视显示如图5a或图5b所示的用户界面;以智能电视显示如图5a所示的用户界面为例,用户点击遥控器上对应于显示区域的功能键,比如确认按键,向智能电视发送信息推送指令,作为响应,智能电视执行S704~S709所示的步骤;以智能电视显示如图5b所示的用户界面为例,用户通过遥控器点击功能选项区域内的信息推送,向智能电视发送信息推送指令,作为响应,智能电视S704~S709所示的步骤;当然,在智能电视显示如图5b所示的用户界面的情况下,也可以通过点击遥控器上对应于显示区域的功能键来向智能电视发送信息推送指令,其具体响应过程与图5a的响应过程类似,在此不再赘述。
S704:响应于信息推送指令,获取摄像头实时拍摄的图像序列中的第一图像。
在S704中,摄像头实时拍摄拍摄区域内的画面,从拍摄的图像序列中获取第一图像。
S705:调用人脸识别模块获取识别出的人脸的特征信息。
调用人脸识别模块对第一图像进行人脸识别,当人脸识别模块识别出第一图像中至少一个人脸时,人脸识别模块获取识别出的人脸的特征信息,该特征信息包括但不限于以下信息:情绪、年龄、性别、是否佩戴眼镜、魅力值以及该人脸在图像中的位置信息;其中,情绪包括高兴、忧伤、烦躁、平静等,魅力值指根据人脸的五官、皮肤状态等计算得到的数值,魅力值越高则其对应的人脸就越好看。
在执行S705之后,根据该识别出的人脸的特征信息,同时执行S706和S707。
S706:调用图像显示模块(ImageView)对目标人脸进行标识。
具体地,在获取识别出的人脸的特征信息后,可直接调用图像显示模块,也可以通过启动一个新的应用程序(Activity)来调用图像显示模块。图像显示模块被调用后,根据人脸在图像中的位置信息对显示区域所显示的图像中被识别出来的人脸进行标识,这里有两种标识方式:一种是对图像中被识别出来的所有人脸都进行标识,其中,目标人脸的标识方式与其它人脸的标识方式不一样,比如,图像中所有识别出的人脸都采用人脸识别框进行标识,但用于标识目标人脸的人脸识别框与用于标识其它人脸的人脸识别框的颜色不同;另一种仅对被识别出的目标人脸进行标识。
其中,识别出来的人脸不止一个时,目标人脸为预定义位置的人脸,比如,显示区域中从左到右,第一个被识别出的人脸为目标人脸,再比如,从多个被识别出的人脸中选择在图像中的位置最靠近显示区域的中心位置的一个人脸为目标人脸。
S707~S708:将识别出的人脸的特征信息发送给服务器,接收服务器发送的推送资源。
在S707中,将人脸识别模块识别出的人脸的特征信息发送给服务器,具体地,在图像中被识别出的人脸不止一个时,可仅将目标人脸的特征信息发送给服务器,也可将所有被识别出的人脸的特征信息发送给服务器。
服务器在接收到人脸的特征信息后,通过算法对某一人脸的特征信息计算得到针对该特征信息的可推荐的资源类型,根据确定的资源类型从信息库中选择推送资源,并将选择出的推送资源发送给智能电视。
比如,用于推荐与情绪相关的资源,在计算可推荐的资源类型时,各特征信息中情绪的比重要大于其它特征信息的比重;比如情绪为悲伤时,可推荐喜剧类的视频、欢快的音乐以及搞笑的图片等,比如情绪为平静时,可推荐需要注意力集中的视频、书籍、游戏等;这样,根据不同情绪推荐不同资源,可对悲观类情绪进行安抚作用,提供贴心的智能化服务,提高用户体验。
再比如,用于推荐与情绪年龄的资源,在计算可推荐的资源类型时,各特征信息中年龄的比重要大于其它特征信息的比重;比如年龄较大时,可推荐健康类节目、具有年代感的视频、音乐、小说等,还可以推荐益智类的小游戏;比如年轻女性,可推荐美容购物类节目、热门的视频、音乐、小说等;这样,根据年龄的不同推荐不同的资源,可满足不同年龄段的娱乐需求,提供贴心的智能化服务,提高用户体验。
再比如,对于佩戴眼镜的青少年,可推荐与视力保健相关的视频、图片等;对于魅力值较高的年轻女性或年轻男性,可推荐与时尚相关的视频以及真人选秀类节目等。
S709:调用布局显示模块(Layout)显示包括图像显示区域和信息显示区域的用户界面。
当第一图像中被识别出的目标人脸被标记,以及接收到服务发送的与目标人脸相关联的推送资源后,调用布局显示模块,该布局显示模块用于将被标记的图像显示于图像显示区域,将目标人脸相关联的推送资源显示于信息显示区域的内容推荐信息显示子区域。
具体地,若第一图像中被识别出的人脸只有一个时,调用布局显示模块,显示如图7a所示的用户界面;若第一图像中被识别出的人脸不止一个时,调用布局显示模块,显示与图7b类似的用户界面。
可选地,在具体实施时,可在获取摄像头实时拍摄的图像序列中的第一图像(S704)之后,调用人脸识别模块对第一图像进行人脸识别,并判断是否能从该第一图像中识别出人脸,在是的情况下执行S705;在否的情况下可执行以下步骤:显示提示信息,接收与显示区域相关的指令,根据该指令调整显示区域内所显示的画面,再执行S703~S704所示的内容。
其中,提示信息用于告知用户在该图像中未识别到人脸,用户根据该提示信息,可通过移动位置或者调整摄像头方向的方式使得显示区域所显示的画面中至少包括一个人脸;若显示区域所显示的画面中包括至少一个人脸,则可通过遥控器上的显示区域设置按键或者如图5b中所示的功能选项区域内的设置功能选项对显示区域所显示的画面的像素进行设置调整,以使得人脸识别模块能识别出人脸。
参见图10,为本申请实施例提供的一种显示方法的流程示意图。
如图所示,该流程包括:
S801~S802:接收与摄像头相关的触发指令,作为响应,启动摄像头。
S803:接收信息推送指令,作为响应,执行S804~S810所示的步骤。
S804:响应于信息推送指令,获取摄像头实时拍摄的图像序列中的第一图像。
S805:调用人脸识别模块获取识别出的人脸的特征信息。
在执行S805之后,根据该识别出的人脸的特征信息,同时执行S806和S807和S809。
S806:调用图像显示模块(ImageView)对目标人脸进行标识。
S807~S808:将识别出的人脸的特征信息发送给服务器,接收服务器发送的推送资源。
上述S801~S808所具体执行的内容与图9中S701~S708所具体执行的内容一致,在此不再赘述。
S809:根据人脸在图像中的位置信息,生成人脸缩略图。
具体地,根据人脸在图像中的位置信息,对识别出的人脸进行抠图处理,并将抠图得到的人脸图像压缩为缩略图,从而生成人脸缩略图。若图像中识别出的人脸为多个,则生成对应数量的人脸缩略图。
S810:调用布局显示模块(Layout)显示包括图像显示区域的信息显示区域的用户界面。
当第一图像中被识别出的目标人脸被标记,生成该图像中被识别出的人脸所对应的人脸缩略图以及接收到服务发送的与目标人脸相关联的推送资源后,调用布局显示模块,该布局显示模块用于将被标记的图像显示于图像显示区域,将生成的人脸缩略图显示于信息显示区域的人脸缩略图显示子区域,将目标人脸相关联的推送资源显示于信息显示区域的内容推荐信息显示子区域。
具体地,若第一图像中被识别出的人脸只有一个时,调用布局显示模块,显示如图7c所示的用户界面;若第一图像中被识别出的人脸不止一个时,调用布局显示模块,显示于图7d类似的用户界面。
可选地,在具体实施时,可在获取摄像头实时拍摄的图像序列中的第一图像(S804)之后,调用人脸识别模块对第一图像进行人脸识别,并判断是否能从该第一图像中识别出人脸,在是的情况下执行S805;在否的情况下可执行以下步骤:显示提示信息,接收与显示区域相关的指令,根据该指令调整显示区域内所显示的画面,再执行S803~S804所示的内容。
其中,提示信息用于告知用户在该图像中未识别到人脸,用户根据该提示信息,可通过移动位置或者调整摄像头方向的方式使得显示区域所显示的画面中至少包括一个人脸;若显示区域所显示的画面中包括至少一个人脸,则可通过遥控器上的显示区域设置按键或者如图5b中所示的功能选项区域内的设置功能选项对显示区域所显示的画面的像素进行设置调整,以使得人脸识别模块能识别出人脸。
本申请的上述实施例中,显示设备配置有至少一个摄像头,响应于接收到的信息推送指令,显示设备显示第一用户界面,其中,第一用户界面包括图像显示区域和信息显示区域,该图像显示区域显示至少一个摄像头获取到的第一图像,该信息显示区域显示与第一图像中识别出的第一人脸相关联的内容推荐信息。这样,显示设备实现了利用配置的摄像头拍摄图像,识别出该图像中用户的面部信息,从而根据用户的面部信息向用户推荐与人脸相关联的内容推荐信息,为用户提供智能化服务,提高用户体验。
另外,在“照镜子”应用场景为例,在用户启用电视摄像头进行拍照或拍照预览过程中,利用人脸面部特征识别算法,获取当前显示在屏幕中人物的情绪、年龄、性别等特征属性。然后将以上获取的人脸特征属性传输至后台服务器,并基于以上特征信息,推荐相关视频等内容,返回至终端设备,由终端展示上述全部内容。此时可能识别有多个人物,且允许用户通过遥控器按键操作,选择不同的人物进行选定人物头像预览(通过区别样式的焦点框显示在不同人物面部区域,以突出提示当前被选定的人物)并更新显示当前用户识别及推荐信息。而在人物选择时,当前选定人物头像区域可能被信息显示区域602遮盖(如图7e中,右侧第二人脸被信息显示区域602遮挡,用户无法在屏幕中直接查看其具体面貌的情况)或头像区域较小不容易观察以及不在屏幕中间区域(如图7f中,有人物头像面积较小,用户在正常观看距离内不易查看的情况)不易引起用户注意,给用户不好的用户体验。
针对上述情况,需要提供一种人物头像缩放平移的处理,以使得被遮挡或者边缘较小人物进行居中和放大处理。
S1501,判断获取焦点的头像P区域长宽尺寸最小值Min[x,y]与自定义阈值DM的大小。
具体判断方法:Min[x,y] / DM<1 (Min[x,y]与DM比值小于1)。其中,屏幕坐标系统如图11屏幕坐标系统及物体识别框位置信息标注示例所示。自定义阈值DM,是人为可控参数,用于标定识别人物头像向用户展示的做小尺寸;如为了能让用户能够更清晰地查看被选中的人脸图像,我们期望其显示的头像区域的最小边长不小于DM=300像素;P区域长宽尺寸最小值Min[x,y],即前选中头像区域图像沿X轴方向及Y方向中尺寸最小的边尺寸,如沿X轴方向长300像素,沿Y轴方向为200像素,则Min[x,y]=200像素。
S1502,若P区域长宽尺寸最小值Min[x,y]小于自定义阈值DM,将展示的图片放大。
具体的,将展示的图片放大DM / Min[x,y]倍。该展示的图像即为第一图像。
如果Min[x,y] / DM>= 1,则认为当前被选定区域用户可以清楚的观察到,则不需要进行缩放处理。
S1503, 计算P焦点区域(如放大则为放大后的P焦点区域)中心点与屏幕中心点坐标X轴及Y轴距离。
具体的,计算P焦点区域(如放大则为放大后的P焦点区域)中心点与屏幕中心点坐标X轴及Y轴距离HX、VY。
S1504,将图像沿X轴及Y轴方向分别平移HX、VY距离,使P焦点区域位于屏幕中心区域(如图8a)。
可选的,如图(8a)当被移动区域所在图片中位置过于靠近变换,以致如果该被选区域区中时,可能将该图片边缘漏出,而使图片边缘距离内容推荐信息显示子区域602a还有一定距离时,不做居中处理,而是获取该屏幕放大后图片边缘的横坐标以及屏幕横坐标,移动二者的差值即可。例如,图片右上顶点原始的右边缘坐标和屏幕坐标一致为(X1,Y1),而图片放大以后,图片边缘坐标变为(X1,Y1),则向左下平移(|X2-X1|,|Y2- Y1|)即可。
基于相同的构思,本申请实施例提供一种显示设备,该显示设备配置有至少一个摄像头,用于实现如图7-10所示的显示方法。
如图12所示,为本申请实施例提供的一种显示设备的结构示意图。
如图所示,该显示设备900包括控制器901,存储器902,显示器903以及通信器904;
所述存储器902,用于存储计算机指令;
所述控制器901,用于运行所述存储器存储的计算机指令,执行:响应于信息推送指令,使得所述显示器显示第一用户界面,所述第一用户界面包括图像显示区域和信息显示区域,所述图像显示区域显示所述至少一个摄像头获取到的图像,所述信息显示区域显示与所述图像中识别出的第一人脸相关联的内容推荐信息。
可选地,所述控制器901,具体用于:获取所述至少一个摄像头实时拍摄的图像序列中的第一图像;调用人脸识别模块对所述第一图像进行人脸识别,通过所述通信器904将识别到的至少第一人脸的特征信息发送给服务器;对所述第一图像中的第一人脸进行标识;通过所述通信器904接收服务器发送的至少与所述第一人脸相关联的内容推荐信息;将所述第一人脸被标识的所述第一图像显示于所述图像显示区域,以及将与所述第一人脸相关联的内容推荐信息显示于所述信息显示区域;其中,与所述第一人脸相关联的内容推荐信息是所述服务器根据所述第一人脸的特征信息从信息库中选择出来的。
可选地,所述信息显示区域包括人脸缩略图显示子区域、内容推荐信息显示子区域;所述人脸缩略图显示子区域显示所述图像显示区域显示的图像中被识别出的人脸的缩略图序列,所述缩略图序列中至少包括所述第一人脸的缩略图,所述第一人脸的缩略图落入焦点框;所述内容推荐信息显示子区域显示与落入焦点框的所述第一人脸相关联的内容推荐信息。
可选地,所述图像显示区域显示的图像中识别出的人脸还包括至少第二人脸,则所述图像中至少所述第一人脸被标识,所述缩略图序列中还包括所述第二人脸的缩略图。
可选地,所述控制器901,进一步用于运行所述存储器902存储的计算机指令,执行:响应于方向键指令,指示所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框,所述内容推荐信息显示子区域的信息更新为与所述第二人脸相关联的内容推荐信息,所述图像显示区域显示的所述第一图像中所述第二人脸被标识。
可选地,所述控制器901,具体用于:将所述人脸缩略图显示子区域中所述缩略图序列中的所述第二人脸的缩略图落入焦点框;获取与所述第二人脸相关联的内容推荐信息,并更新所述内容推荐信息显示子区域显示的信息为与所述第二人脸相关联的信息;在所述图像显示区域显示的所述第一图像中标识所述第二人脸。
可选地,所述控制器901,进一步用于运行所述存储器存储的计算机指令,执行:获取所述存储器902存储的与所述第二人脸相关联的内容推荐信息,其中,与所述第二人脸相关联的内容推荐信息是在识别出所述第二人脸后从服务器获取到并保存在本地的;或者通过所述通信器904将所述第二人脸的特征信息发送给服务器,并通过所述通信器接收所述服务器基于所述第二人脸的特征信息返回的与所述第二人脸相关联的内容推荐信息。
可选地于,所述控制器901,进一步用于运行所述存储器存储的计算机指令,执行:对所述图像显示区域中的所述第一图像进行移动和/或缩放,使得被标识的第二人脸所在区域位于所述图像显示区域中的可视区域。
可选地,所述第一用户界面中,所述图像显示区域和所述信息显示区域位于不同的层,所述图像显示区域所在的层被所述信息显示区域所在的层部分覆盖。
可选地,所述控制器901,进一步用于运行所述存储器存储的计算机指令,执行:在响应于信息推送指令,显示第一用户界面之前,响应于与所述至少一个摄像头相关的触发指令,使得所述显示器显示第二用户界面,所述第二用户界面用于显示所述至少一个摄像头实时拍摄的图像序列。
基于本申请中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (8)

1.一种显示设备,其特征在于,包括:
显示器;
摄像头,该摄像头被配置为采集环境图像数据;
与所述显示器通信的控制器,所述控制器至少包含人脸识别模块、图像显示模块和布局显示模块,所述控制器被配置为执行呈现用户界面:
在所述显示器上呈现所述摄像头采集的环境图像数据时,响应用户输入的基于当前显示画面获取内容推荐的指令,获取摄像头实时拍摄的图像序列中的第一图像;
调用人脸识别模块识别出人脸的特征信息,其中,所述特征信息包含所述人脸在图像中的位置信息;
根据人脸在图像中的位置信息,生成人脸缩略图;
并调用图像显示模块对至少第一人脸中的目标人脸进行标识;
将识别出的所述人脸特征中的目标人脸的特征信息发送至服务器;在接收到服务器发送的推送资源后,调用布局显示模块显示包括图像显示区域和信息显示区域的用户界面,其中所述图像显示区域继续呈现所述第一图像;
控制所述显示器呈现第一用户界面,其中,所述第一用户界面包括所述摄像头采集的环境图像数据中至少第一人脸的第一人脸缩略图;
响应于选择所述第一人脸缩略图的用户输入,在所述信息显示区域呈现与所述第一人脸缩略图相关联的内容推荐信息;
当所述第一图像中人脸未被全部标识,则调节所述第一图像的清晰度,并重新对所述第一图像中的人脸进行识别。
2.根据权利要求1所述的显示设备,其特征在于,所述所述控制器还被配置为:
当所述第一图像中还包括第二人脸,响应于用户操作方向键触发的人物选择指令,若所述第一图像当前选定人物头像区域被信息显示区域遮盖,则计算所述当前选定人物头像区域的焦点区域与屏幕中心坐标的距离,并将所述焦点区域移动到所述屏幕中心区域。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器执行当所述第一图像中还包括第二人脸,响应于用户操作方向键触发的人物选择指令,若所述第一图像当前选定人物头像区域被信息显示区域遮盖,则计算所述当前选定人物头像区域的焦点区域与屏幕中心坐标的距离,并将所述焦点区域移动到所述屏幕中心区域,具体被配置为:
计算当前选择的人脸缩略图的位置区域长宽尺寸最小值Min[x ,y]与自定义阈值DM的大小;
若人脸缩略图的位置区域长宽尺寸最小值Min[x,y]小于自定义阈值DM,将所述第一图像放大;
计算所述焦点区域中心点与屏幕中心点坐标X轴及Y轴距离;
将图像沿X轴及Y轴方向分别平移HX、VY距离,使所述焦点区域位于屏幕中心区域。
4.根据权利要求1所述的显示设备,其特征在于,所述第一用户界面还包括图像显示区,其中,所述图像显示区显示所述摄像头实时获取的图像序列。
5.一种根据当前显示画面进行内容推荐的方法,应用于显示设备,所述显示设备配置有至少一个摄像头、显示器、存储器和控制器,所述控制器至少包含人脸识别模块、图像显示模块和布局显示模块,其特征在于:
在所述显示器上呈现所述摄像头采集的环境图像数据时,响应用户输入的基于当前显示画面获取内容推荐的指令,获取摄像头实时拍摄的图像序列中的第一图像;
调用人脸识别模块识别出人脸的特征信息,其中,所述特征信息包含所述人脸在图像中的位置信息;
根据人脸在图像中的位置信息,生成人脸缩略图;
并调用图像显示模块对至少第一人脸中的目标人脸进行标识;
将识别出的所述人脸特征中的目标人脸的特征信息发送至服务器;在接收到服务器发送的推送资源后,调用布局显示模块显示包括图像显示区域和信息显示区域的用户界面,其中所述图像显示区域继续呈现所述第一图像;
控制所述显示器呈现第一用户界面,其中,所述第一用户界面包括所述摄像头采集的环境图像数据中至少第一人脸的第一人脸缩略图;
响应于选择所述第一人脸缩略图的用户输入,在所述信息显示区域呈现与所述第一人脸缩略图相关联的内容推荐信息;
当所述第一图像中人脸未被全部标识,则调节所述第一图像的清晰度,并重新对所述第一图像中的人脸进行识别。
6.根据权利要求5所述的方法,其特征在于,当所述第一图像中还包括第二人脸,响应于用户操作方向键触发的人物选择指令,若所述第一图像当前选定人物头像区域被信息显示区域遮盖,则计算所述当前选定人物头像区域的焦点区域与屏幕中心坐标的距离,并将所述焦点区域移动到所述屏幕中心区域。
7.根据权利要求6所述的方法,其特征在于,当所述第一图像中还包括第二人脸,响应于用户操作方向键触发的人物选择指令,若所述第一图像当前选定人物头像区域被信息显示区域遮盖,则计算所述当前选定人物头像区域的焦点区域与屏幕中心坐标的距离,并将所述焦点区域移动到所述屏幕中心区域,具体包括:
所述控制器执行 ,具体被配置为:
计算当前选择的人脸缩略图的位置区域长宽尺寸最小值Min[x ,y]与自定义阈值DM的大小;
若人脸缩略图的位置区域长宽尺寸最小值Min[x,y]小于自定义阈值DM,将所述第一图像放大;
计算所述焦点区域中心点与屏幕中心点坐标X轴及Y轴距离;
将图像沿X轴及Y轴方向分别平移HX、VY距离,使所述焦点区域位于屏幕中心区域。
8.根据权利要求5所述的方法,其特征在于,所述第一用户界面还包括图像显示区,其中,所述图像显示区显示所述摄像头实时获取的图像序列。
CN201910927563.8A 2019-06-10 2019-08-19 一种显示设备 Active CN112073767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927563.8A CN112073767B (zh) 2019-06-10 2019-08-19 一种显示设备

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201910498161 2019-06-10
CN2019104981610 2019-06-10
CN201910927563.8A CN112073767B (zh) 2019-06-10 2019-08-19 一种显示设备
CN201910766057.5A CN112073764B (zh) 2019-06-10 2019-08-19 一种显示设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910766057.5A Division CN112073764B (zh) 2019-06-10 2019-08-19 一种显示设备

Publications (2)

Publication Number Publication Date
CN112073767A CN112073767A (zh) 2020-12-11
CN112073767B true CN112073767B (zh) 2023-05-30

Family

ID=73658539

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201910927563.8A Active CN112073767B (zh) 2019-06-10 2019-08-19 一种显示设备
CN201910927567.6A Pending CN112073678A (zh) 2019-06-10 2019-08-19 一种显示设备
CN201910926133.4A Active CN112073766B (zh) 2019-06-10 2019-08-19 一种显示设备
CN201910766057.5A Active CN112073764B (zh) 2019-06-10 2019-08-19 一种显示设备

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201910927567.6A Pending CN112073678A (zh) 2019-06-10 2019-08-19 一种显示设备
CN201910926133.4A Active CN112073766B (zh) 2019-06-10 2019-08-19 一种显示设备
CN201910766057.5A Active CN112073764B (zh) 2019-06-10 2019-08-19 一种显示设备

Country Status (3)

Country Link
US (1) US11706485B2 (zh)
CN (4) CN112073767B (zh)
WO (1) WO2020248711A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797249A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 一种内容推送方法、装置与设备
JP7442091B2 (ja) * 2020-04-30 2024-03-04 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム
WO2021238733A1 (zh) * 2020-05-25 2021-12-02 聚好看科技股份有限公司 显示设备及图像识别结果显示方法
CN113747219A (zh) * 2021-08-23 2021-12-03 贵州广电新媒体产业发展有限公司 一种网络电视焦点移动控制方法
CN114237479A (zh) * 2021-12-08 2022-03-25 阿波罗智联(北京)科技有限公司 一种应用程序的控制方法、装置及电子设备
CN116774954A (zh) * 2022-03-09 2023-09-19 聚好看科技股份有限公司 显示设备和服务器
CN115177252B (zh) * 2022-07-13 2024-01-12 承德石油高等专科学校 一种可便捷操作的智能养老服务心理疏导装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377422A (zh) * 2018-02-24 2018-08-07 腾讯科技(深圳)有限公司 一种多媒体内容的播放控制方法、装置及存储介质
WO2019056965A1 (zh) * 2017-09-21 2019-03-28 深圳市商汤科技有限公司 基于身份验证装置的内容数据推荐方法、装置和存储介质
JP2019054317A (ja) * 2017-09-12 2019-04-04 シャープ株式会社 表示装置、テレビジョン受像機、表示方法、制御プログラム及び記録媒体

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395852B (en) * 2002-11-29 2006-04-19 Sony Uk Ltd Media handling system
WO2009067670A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
WO2009067676A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Device access control
US8839297B2 (en) * 2009-03-27 2014-09-16 At&T Intellectual Property I, L.P. Navigation of multimedia content
US20110007141A1 (en) * 2009-07-09 2011-01-13 Sony Corporation System and method for displaying content on a television in standby mode
CN102740060A (zh) * 2012-07-20 2012-10-17 冠捷显示科技(厦门)有限公司 在电视机上实现电子镜的方法
US9407751B2 (en) * 2012-09-13 2016-08-02 Intel Corporation Methods and apparatus for improving user experience
US20140359647A1 (en) * 2012-12-14 2014-12-04 Biscotti Inc. Monitoring, Trend Estimation, and User Recommendations
CN103324729B (zh) * 2013-06-27 2017-03-08 小米科技有限责任公司 一种推荐多媒体资源的方法和装置
US20150082330A1 (en) * 2013-09-18 2015-03-19 Qualcomm Incorporated Real-time channel program recommendation on a display device
CN104754413B (zh) * 2013-12-30 2020-04-21 北京三星通信技术研究有限公司 基于图像搜索识别电视信号并推荐信息的方法和设备
CN104598869A (zh) * 2014-07-25 2015-05-06 北京智膜科技有限公司 基于人脸识别装置的智能广告推送方法
CN104320708A (zh) * 2014-10-14 2015-01-28 小米科技有限责任公司 智能电视的用户权限处理方法及装置
US9967618B2 (en) * 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
KR20170029978A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105761120A (zh) * 2016-03-31 2016-07-13 南京云创大数据科技股份有限公司 一种自动匹配试衣场景的虚拟试衣系统及其应用方法
CN105872402A (zh) * 2016-06-15 2016-08-17 深圳Tcl新技术有限公司 智能电视的拍照方法及系统
CN107818110A (zh) * 2016-09-13 2018-03-20 青岛海尔多媒体有限公司 一种信息推荐方法、装置
CN106303628B (zh) * 2016-09-23 2020-06-23 西安数拓网络科技有限公司 基于多媒体显示屏的信息推送方法及装置
CN106407418A (zh) * 2016-09-23 2017-02-15 Tcl集团股份有限公司 一种基于人脸识别的个性化视频推荐方法及推荐系统
JP2018097631A (ja) * 2016-12-14 2018-06-21 パナソニックIpマネジメント株式会社 表示装置及び表示装置の表示方法
CN106973327A (zh) * 2017-04-28 2017-07-21 张青 能够智能推送内容的智能电视机及其控制系统和控制方法
CN107172453A (zh) * 2017-06-28 2017-09-15 深圳市九洲电器有限公司 多观众电视节目推荐方法及系统
CN107948743A (zh) * 2017-11-29 2018-04-20 腾讯科技(深圳)有限公司 视频推送方法及其装置、存储介质
CN111031271B (zh) * 2017-12-20 2022-07-29 海信视像科技股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
CN108055590B (zh) * 2017-12-20 2021-06-04 聚好看科技股份有限公司 电视画面截图的图形用户界面的显示方法
CN108055589B (zh) * 2017-12-20 2021-04-06 聚好看科技股份有限公司 智能电视
CN108156522A (zh) * 2018-02-06 2018-06-12 南京创维信息技术研究院有限公司 主页内容推送方法、装置及计算机可读存储介质
CN208938000U (zh) * 2018-09-07 2019-06-04 阿里巴巴集团控股有限公司 智能镜面设备
CN109121007B (zh) * 2018-09-18 2020-11-03 深圳市酷开网络科技有限公司 基于多人脸识别的影视内容推荐方法、智能电视及系统
CN109271983B (zh) * 2018-09-27 2022-04-12 海信视像科技股份有限公司 屏幕画面截图中识别物体的显示方法及显示终端
CN109462765B (zh) * 2018-10-24 2021-07-23 聚好看科技股份有限公司 一种推荐页面下发和显示的方法及装置
CN109327737B (zh) * 2018-11-14 2021-04-16 深圳创维-Rgb电子有限公司 电视节目推荐方法、终端、系统及存储介质
CN109257640A (zh) * 2018-11-20 2019-01-22 深圳创维-Rgb电子有限公司 一种电器设备控制方法、装置、电器设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019054317A (ja) * 2017-09-12 2019-04-04 シャープ株式会社 表示装置、テレビジョン受像機、表示方法、制御プログラム及び記録媒体
WO2019056965A1 (zh) * 2017-09-21 2019-03-28 深圳市商汤科技有限公司 基于身份验证装置的内容数据推荐方法、装置和存储介质
CN108377422A (zh) * 2018-02-24 2018-08-07 腾讯科技(深圳)有限公司 一种多媒体内容的播放控制方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
国内汽车电气电子标准化工作最新状态;许秀香;;汽车电器(第07期);全文 *

Also Published As

Publication number Publication date
CN112073678A (zh) 2020-12-11
CN112073766A (zh) 2020-12-11
CN112073766B (zh) 2023-05-30
US20210314668A1 (en) 2021-10-07
US11706485B2 (en) 2023-07-18
CN112073767A (zh) 2020-12-11
CN112073764B (zh) 2023-05-30
CN112073764A (zh) 2020-12-11
WO2020248711A1 (zh) 2020-12-17

Similar Documents

Publication Publication Date Title
CN112073767B (zh) 一种显示设备
CN110636353B (zh) 一种显示设备
WO2022022196A1 (zh) 弹幕发布及展示方法及电子设备
CN112073798B (zh) 一种数据传输方法及设备
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN108024073B (zh) 视频编辑方法、装置及智能移动终端
US11917329B2 (en) Display device and video communication data processing method
CN112399212A (zh) 显示设备、分享文件的方法和服务器
CN113064684A (zh) 一种虚拟现实设备及vr场景截屏方法
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
CN111383175A (zh) 图片获取方法及电子设备
CN113596555B (zh) 视频播放方法、装置及电子设备
US10613622B2 (en) Method and device for controlling virtual reality helmets
CN112073777B (zh) 一种语音交互方法及显示设备
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
CN112463267B (zh) 在显示设备屏幕上呈现屏保信息的方法及显示设备
CN113419660A (zh) 视频资源处理方法、装置、电子设备及存储介质
CN112367550A (zh) 一种媒资列表多标题动态展示的实现方法及显示设备
CN112073776A (zh) 语音控制方法及显示设备
CN116126181A (zh) 信息显示方法、装置、电子设备及存储介质
CN116797302A (zh) 推荐商品的显示方法、装置、设备、介质及程序产品
CN117592098A (zh) 图像存储方法及装置
CN117648144A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN116489465A (zh) 针对视频生成视频笔记的方法、装置以及电子设备
CN116540905A (zh) 一种虚拟现实设备及焦点操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant