CN112312215B - 基于用户识别的开机内容推荐方法、智能电视及存储介质 - Google Patents

基于用户识别的开机内容推荐方法、智能电视及存储介质 Download PDF

Info

Publication number
CN112312215B
CN112312215B CN201910704161.1A CN201910704161A CN112312215B CN 112312215 B CN112312215 B CN 112312215B CN 201910704161 A CN201910704161 A CN 201910704161A CN 112312215 B CN112312215 B CN 112312215B
Authority
CN
China
Prior art keywords
user
television
image
identification
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910704161.1A
Other languages
English (en)
Other versions
CN112312215A (zh
Inventor
张文静
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN201910704161.1A priority Critical patent/CN112312215B/zh
Publication of CN112312215A publication Critical patent/CN112312215A/zh
Application granted granted Critical
Publication of CN112312215B publication Critical patent/CN112312215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Abstract

本发明公开了基于用户识别的开机内容推荐方法、智能电视及存储介质，所述方法包括：采集用户的语音或视频信号，判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视；电视开机后，收集用户声音信息和图像信息，分别利用声音信息和图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果得到用户身份识别结果；根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表。本发明通过识别观看电视用户的身份，并根据用户身份或用户群组的不同特征向其推荐不同的内容列表作为开机内容，使得智能电视的开机内容更具个性化和普适性。

Description

基于用户识别的开机内容推荐方法、智能电视及存储介质
技术领域
本发明涉及节目资源推荐应用技术领域，尤其涉及一种基于用户识别的开机内容推荐方法、智能电视及存储介质。
背景技术
互联网电视的内容具有多样性和跨年龄段的属性，影视娱乐类内容很多，在不了解用户的兴趣点与基本需求之前，无法做到针对用户的精准推荐。
在每一个家庭中，家庭成员喜欢的电视节目，看电视剧并不完全一样，并且有很明显的个人特征，儿童喜欢看动画片，父母喜欢看电视剧或者新闻，长辈喜欢看戏曲，每个人打开电视的目标内容并不一样，即使一个用户打开电视机没有目标内容，但根据该用户个人特征，其目标内容也会有明显倾向。现在市面上电视机的开机内容有的为上次关机时保存的内容或频道，有的是单纯的开机界面，有的是推荐当下热门的电视节目等等，没有考虑到使用者的不同而推荐不同的电视节目，或者没有根据不同使用群组推荐不同的电视节目。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于用户识别的开机内容推荐方法、智能电视及存储介质，旨在解决现有技术中没有考虑到观看者的不同而推荐不同的电视节目问题。
为实现上述目的，本发明提供一种基于用户识别的开机内容推荐方法，包括如下步骤：
A.采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视；
B.电视开机后，收集用户的声音信息和图像信息，分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户身份识别结果；
C.根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视，之前还包括：
S.检测预定范围内是否有人体存在，当检测到有人体存在时，启动信号采集设备。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述检测预定范围内是否有人体存在的设备为人体红外探测装置；所述信号采集设备包括收音装置和摄像装置，所述收音装置用于采集所述语音信号，所述摄像装置用于采集所述视频信号。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户的身份识别结果的步骤具体包括：
将所述声音信息经过声纹识别模型处理，得到所述声音识别结果；
将所述图像信息经过图像识别模型处理，得到所述图像识别结果；
判断所述声音识别结果和所述图像识别结果是否一致；
若一致，则直接输出单一身份识别结果，若不一致，则同时输出多个身份识别结果。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述声纹识别模型具体包括：
将所述声音信息与预先建立的家庭成员声音特征模板库进行匹配，若匹配成功，则将匹配的结果作为所述声音识别结果；若匹配失败，则将所述声音信息输入分类模型中进行分类，将处理后的分类结果作为所述声音识别结果；
所述图像识别模型具体包括：
将所述图像信息与预先建立的家庭成员图像特征模板库进行匹配，若匹配成功，则将匹配的结果作为所述图像识别结果；若匹配失败，则将所述图像信息输入分类模型中进行分类，将处理后的分类结果作为所述图像识别结果。
可选地，所述的基于用户识别的开机内容推荐方法，其中，将所述声音信息与预先建立的家庭成员声音特征模板库进行匹配的步骤具体包括：
通过声音特征提取模型，计算所述声音信息的特征向量，将所述特征向量与家庭成员的声音特征模板库进行匹配。
可选地，所述的基于用户识别的开机内容推荐方法，其中，将所述图像信息与预先建立的家庭成员图像特征模板库进行匹配的步骤具体包括：
通过图像特征提取模型，计算所述图像信息的特征向量，将所述特征向量与家庭成员的图像特征模板库进行匹配。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述分类模块具体包括：
预先设定声音或图像的类别；
将所述声音信息或所述图像信息进行处理，提取所述声音信息或所述图像信息的特征参数输入到编码器中；
将编码器的输出作为解码器的输入，得到解码器的输出；
将所述解码器的输出在时间方向上做平均，再通过全连接层得到综合向量，将所述综合向量经过均值为1和方差为1的正则化，并利用损失函数使输出结果最大可能的与所述预先设定的声音或图像的类别一致，得到所述分类结果。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表的步骤具体包括：
当输出单一身份识别结果时，根据用户的观看记录从电视节目库中筛选出与用户兴趣点匹配的节目组合，电视节目库中包括电视节目信息和观看的历史记录；
挑选出用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成电视节目清单；
对所述节目清单中的每个的电视节目进行打分，将打分最高的预设个数的电视节目形成节目列表，将所述节目列表显示到开机画面上。
可选地，所述的基于用户识别的开机内容推荐方法，其中，所述根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表的步骤具体包括：
当输出多个身份识别结果时，根据多个用户的观看记录从电视节目库中筛选出与每个用户兴趣点匹配的节目组合；
挑选出每个用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成N组电视节目清单集合；
计算所述N组电视节目清单集合的相似度，将在不同组出现的次数最多的节目或同一类型的节目打分最高，将只在每一组或者出现次数最少的节目或类型打分最低，将打分最高的预设个数的电视节目形成节目列表，将所述节目列表显示到开机画面上。
此外，为实现上述目的，本发明还提供一种智能电视，其中，所述智能电视包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于用户识别的开机内容推荐程序，所述基于用户识别的开机内容推荐程序被所述处理器执行时实现如上所述的基于用户识别的开机内容推荐方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所述存储介质存储有基于用户识别的开机内容推荐程序，所述基于用户识别的开机内容推荐程序被处理器执行时实现如上所述的基于用户识别的开机内容推荐方法的步骤。
本发明通过识别观看电视用户的身份，并根据用户身份或用户群组的不同特征向其推荐不同的内容列表作为开机内容，使得智能电视的开机内容更具个性化和普适性，推荐的节目不仅适合个人观看，也适合与家人一起观看，满足了个人和家庭场景下多人观影的需求，基于用户已经感兴趣的节目资源中继续过滤出更满足用户需求的节目资源推荐给用户，更加智能化和人性化。
附图说明
图1是本发明基于用户识别的开机内容推荐方法的较佳实施例的流程图；
图2是本发明基于用户识别的开机内容推荐方法的较佳实施例中通过唤醒模块唤醒智能电视的流程示意图；
图3是本发明基于用户识别的开机内容推荐方法的较佳实施例中基于音频的声纹识别模型、基于图像的身份识别模型和身份综合的工作流程示意图；
图4是本发明基于用户识别的开机内容推荐方法的较佳实施例中基于神经网络的分类模型识别音频的身份信息的流程示意图；
图5是本发明基于用户识别的开机内容推荐方法的较佳实施例中基于用户个人的内容推荐的流程示意图；
图6是本发明基于用户识别的开机内容推荐方法的较佳实施例中基于用户群组的内容推荐的流程示意图；
图7为本发明智能电视的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于用户识别的开机内容推荐方法，如图1所示，所述基于用户识别的开机内容推荐方法包括以下步骤：
步骤S10、采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视。
在所述步骤S10之前还包括：检测预定范围内是否有人体存在，当检测到有人体存在时，启动信号采集设备。
其中，所述检测预定范围内是否有人体存在的设备为人体红外探测装置(优选为人体红外探头)；所述信号采集设备包括收音装置(优选为音频接收设备)和摄像装置(优选为摄像头)，所述收音装置用于采集所述语音信号，所述摄像装置用于采集所述视频信号。
当电视(即智能电视)开机后，人体红外探头检测所述智能电视的预定范围(例如3米内)内是否存在人体；当检测到预定范围内有人体存在时，启动信号采集设备，所述信号采集设备包括音频接收设备和摄像头，所述音频接收设备接收用户发出的声音信息，所述摄像头采集用户的图像信息；当根据所述声音信息或者所述图像信息判定用户发出的是唤醒指令后，则唤醒所述智能电视进入唤醒状态。
其中，所述智能电视预先与人体红外探头(例如红外传感器)、音频接收设备以及摄像头连接通信，并可以接收和发送指令到人体红外探头、音频接收设备以及摄像头。
具体地，可以通过所述智能电视中的唤醒模块来唤醒所述智能电视，如图2所示，唤醒模块使用了一个人体红外探头来探测智能电视的预设范围(例如直径3米的范围内)内是否有人存在，当探测到有人存在时，就会同时启动音频接收设备与摄像头来接收用户发出的声音或图像信息，如果检测到用户发出的是唤醒指令(任意一方为唤醒指令即可)，则唤醒电视机，例如用户可以用声音或者手势来唤醒电视机，唤醒智能电视后，所述智能电视的身份识别模块开始工作。
步骤S20、电视开机后，收集用户的声音信息和图像信息，分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户身份识别结果。
具体地，所述分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户的身份识别结果的步骤具体包括：将所述声音信息经过声纹识别模型处理，得到所述声音识别结果；将所述图像信息经过图像识别模型处理，得到所述图像识别结果；判断所述声音识别结果和所述图像识别结果是否一致；若一致，则直接输出单一身份识别结果，若不一致，则同时输出多个身份识别结果。
也就是说，通过所述音频接收设备接收用户的声音信息后，将所述声音信息与家庭成员音频库进行匹配；当匹配成功时则直接输出用户的身份信息；当匹配失败时，则将所述声音信息输入到基于神经网络的分类模块中进行分类处理后，输出用户的身份信息。通过所述摄像头接收用户的图像信息后，将所述图像信息与家庭成员图片库进行匹配；当匹配成功时则直接输出用户的身份信息；当匹配失败时，则将所述图像信息输入到基于神经网络的分类模块中进行分类处理后，输出用户的身份信息。
具体地，可以通过所述智能电视中的身份识别模块对观看电视的用户进行身份识别，身份识别模块包括两部分，一部分是基于音频的声纹识别模型，另一部分是基于图像的身份识别模型。
其中，所述声纹识别模型和身份识别模型都是由两部分组成，第一部分是匹配模块，匹配模块中存储了该家庭每个家庭成员的音频、图像和身份信息，其作用是将输入的音频(声音)/图像信息与存储的音频/图像信息进行匹配，如果匹配成功则输出身份信息，第二部分是基于神经网络的分类模块，所述基于神经网络的分类模块由编码器-解码器为基本结构，当输入的音频/图像没有在匹配模块存储的信息中匹配到时，则进入基于神经网络的分类模块进行分类，提前训练好的分类模块可以将音频/图像信息分成六类，分别是儿童-男、儿童-女、成人-男、成人-女、老人-男、老人-女。
经过上述两个模型可以得到两个身份信息，一个是基于音频的身份信息，一个是基图像的身份信息，这两个身份信息进行综合，就得到了唤醒者的身份信息。
如图3所示，具体介绍基于音频的声纹识别模型、基于图像的身份识别模型和身份综合的工作流程。
基于音频的声纹识别模型包括匹配(例如通过匹配模块来完成)和分类(例如通过基于神经网络的分类模型来完成)两个过程。
将收集到的音频(声音信息)首先进入匹配模块，匹配模块已经建立好每个家庭成员的声音特征模版库(即家庭成员音频库)，声音特征和具体身份信息一一匹配(例如：爸爸的声音特征-爸爸)，对收集到的音频计算特征向量，计算音频的特征向量，使用MFCC梅尔倒频系数或者PLP感知线性预测提取音频的特征，然后与家庭成员的声音特征模板库进行匹配，如果匹配成功则输出该音频的身份信息，如果匹配不成功则将该音频信息输入到基于神经网络的分类模块中进行分类。
基于神经网络的分类模型，如图4所示，训练过程：所述基于神经网络的分类模型可以将音频分成六类(儿童-男、儿童-女、成人-男、成人-女、老人-男、老人-女)，它是基于基本的编码器和解码器结构，训练数据是音频-类别对，首先将音频进行处理将音频提取64维的fbank系数作为声学特征，输入到编码器中，然后将编码器的输出作为解码器的输入，得到解码器的输出，接着对解码器的输出在时间方向上做平均，再接一个全连接层得到512维的向量，做均值为1，方差为1的正则化之后，用该向量来表示该说话者。
训练时使用损失函数使得神经网络的输出最大可能的与数据对的类别一致，这样就可以训练好一个六分类的音频分类模型。这里的编码器和解码器可以使用CNN或者基于ResNet的CNN，也可以使用循环神经网络RNN，LSTM或者GRU。训练时的损失函数，可以使用Triplet loss作为损失函数，通过随机梯度下降，使得来自同一个人的向量相似度尽可能大，不是同一个说话者的向量相似度尽可能小，这样训练完成之后就可以将得到的音频输入到该分类模型中，所述基于神经网络的分类模型的输出就是该音频的身份信息。
如图3所示，基于图像的身份识别模型同样包括匹配和分类两部分。
将收集到的视频进行处理，例如提取出5张图片，作为输入。匹配模块已经建立好每个家庭成员的图像特征模版库(即家庭成员图片库)，图像特征和具体身份信息一一匹配(例如：爸爸的图像特征-爸爸)，对收集到的图像计算特征向量，提取图像特征可以使用HAAR特征(它包括三类特征：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板)、HOG(方向梯度直方分布图)等等，然后与家庭成员的图像特征模板库进行匹配，如果匹配成功则输出该图像的身份信息，如果匹配不成功则将该图像信息输入到基于神经网络的分类模块中进行分类。
基于神经网络的分类模型，其训练过程与基于音频的声纹识别模型中的分类模型训练过程一致，同样可以将图像分成六类，作为该分类模型的输出，在此不再赘述。
综合身份信息是对基于音频的声纹识别模型和基于图像的身份识别模型得到的两个身份信息进行综合，首先判断得到的两个身份信息是否一致，如果一致就可以直接输出作为下一模块的输入，如果不一致，则将这两个身份同时输出，一同作为下一模块的输入。
步骤S30、根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表。
当输出单一身份识别结果时，即当输出的身份信息是个人用户时，根据用户的观看记录从电视节目库中筛选出与用户兴趣点匹配的节目组合，电视节目库中包括电视节目信息和观看的历史记录；挑选出用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成电视节目清单；对所述节目清单中的每个的电视节目进行打分，将打分最高的预设个数的电视节目形成电视节目列表，将所述电视节目列表推荐到开机画面上。
当输出多个身份识别结果时，即当输出的身份信息是用户群组时，根据多个用户的观看记录从电视节目库中筛选出与每个用户兴趣点匹配的节目组合；挑选出每个用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成N组电视节目清单集合；计算所述N组电视节目清单集合的相似度，将在不同组出现的次数最多的节目或同一类型的节目打分最高，将只在每一组或者出现次数最少的节目或类型打分最低，将打分最高的预设个数的电视节目形成电视节目列表在开机画面上向用户群组推荐。
具体地，本发明的基于用户识别的开机内容推荐方法既可以实现基于用户个人的内容推荐，还可以基于用户群组的内容推荐。
(1)以下是基于用户个人的内容推荐：
开机内容推荐模块包括两部分，第一部分是召回模型，第二部分是基于神经网络的过滤模型，其中，召回模型可以在根据用户身份在电视节目库中挑选出大量用户可能感兴趣的电视节目，不需要再从海量的电视节目中筛选某，缩小了筛选范围，对于用户个人内容推荐和用户群组内容推荐的效率有大的提升。基于神经网络的过滤模型在召回模型中挑出的电视节目中抽取出一小部分的电视节目形成一个列表作为向用户推荐的电视节目，具体流程图如图5所示。
召回模型，根据用户的观看记录，从海量的电视节目库中筛选出用户可能感兴趣的节目组合。电视节目库中包括电视节目信息和观看的历史记录，例如：
Figure BDA0002151622090000131
首先，召回模型首先挑选出用户观看过时长大于25min的记录，然后根据节目类型扩充相同类型的电视节目，得到大量的电视节目的清单，之后再将召回模型得到的电视节目清单输入到神经网络过滤模型。
神经网络过滤模型的训练过程为：训练数据是包括一组节目清单和对节目清单中每个节目进行的打分(0表示完全不感兴趣，10表示非常感兴趣)，将节目清单输入到神经网络中，输出是对节目清单中每个节目的打分，使用损失函数，通过随机梯度下降调整神经网络，使得神经网络输出的打分接近数据标记的打分。
最后选择打分最高的一定个数的电视节目列表，作为开机内容的一部分。
(2)以下是基于用户群组的内容推荐：
如上述内容，基于用户群组的内容推荐也是经过两个部分，第一部分是召回模型，第二部分是基于神经网络的过滤模型。具体流程图如图6所示。
第一部分召回模型与基于用户个人的内容推荐一致，将在身份识别模块收集到的N用户个人信息一次进入召回模型中，得到了N组这N个用户可能感兴趣的节目的集合。
第二部分基于神经网络的过滤模型与之前的给用户个人推荐有所不同，这一部分是用有监督的方式训练神经网络去计算这N组直接电视节目的相似度，将在不同组出现的次数最多的节目或同一类型的节目打分最高，将只在每一组或者出现次数很少的节目或类型打分最低，就可以根据打分向用户群组推荐得分最高的几个节目，不仅满足用户个人的需求，也满足了该用户群组的需求；训练方式与上述训练方式一致。
本发明针对不同类别用户或者用户群组打开电视时推荐不同开机内容，解决了电视开机内容单一的缺点，本发明不仅针对用户个人进行推荐，还考虑了群组推荐的情况，能对多用户的群组进行推荐，不仅给每个用户都带来个性化的节目推荐，而且能给同时使用的用户群组带来舒适的观看体验。
进一步地，如图7所示，基于上述基于用户识别的开机内容推荐方法，本发明还相应提供了一种智能电视，所述智能电视包括处理器10、存储器20及显示器30。图7仅示出了智能电视的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能电视的内部存储单元，例如智能电视的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能电视的外部存储设备，例如所述智能电视上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智能电视的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能电视的应用软件及各类数据，例如所述安装智能电视的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于用户识别的开机内容推荐程序40，该基于用户识别的开机内容推荐程序40可被处理器10所执行，从而实现本申请中基于用户识别的开机内容推荐方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于用户识别的开机内容推荐方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能电视的信息以及用于显示可视化的用户界面。所述智能电视的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于用户识别的开机内容推荐程序40时实现以下步骤：
采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视；
电视开机后，收集用户的声音信息和图像信息，分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户身份识别结果；
根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表。
所述采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视，之前还包括：
检测预定范围内是否有人体存在，当检测到有人体存在时，启动信号采集设备。
所述检测预定范围内是否有人体存在的设备为人体红外探测装置；所述信号采集设备包括收音装置和摄像装置，所述收音装置用于采集所述语音信号，所述摄像装置用于采集所述视频信号。
所述分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户的身份识别结果的步骤具体包括：
将所述声音信息经过声纹识别模型处理，得到所述声音识别结果；
将所述图像信息经过图像识别模型处理，得到所述图像识别结果；
判断所述声音识别结果和所述图像识别结果是否一致；
若一致，则直接输出单一身份识别结果，若不一致，则同时输出多个身份识别结果。
所述声纹识别模型具体包括：
将所述声音信息与预先建立的家庭成员声音特征模板库进行匹配，若匹配成功，则将匹配的结果作为所述声音识别结果；若匹配失败，则将所述声音信息输入分类模型中进行分类，将处理后的分类结果作为所述声音识别结果；
所述图像识别模型具体包括：
将所述图像信息与预先建立的家庭成员图像特征模板库进行匹配，若匹配成功，则将匹配的结果作为所述图像识别结果；若匹配失败，则将所述图像信息输入分类模型中进行分类，将处理后的分类结果作为所述图像识别结果。
将所述声音信息与预先建立的家庭成员声音特征模板库进行匹配的步骤具体包括：
通过声音特征提取模型，计算所述声音信息的特征向量，将所述特征向量与家庭成员的声音特征模板库进行匹配。
将所述图像信息与预先建立的家庭成员图像特征模板库进行匹配的步骤具体包括：
通过图像特征提取模型，计算所述图像信息的特征向量，将所述特征向量与家庭成员的图像特征模板库进行匹配。
所述分类模块具体包括：
预先设定声音或图像的类别；
将所述声音信息或所述图像信息进行处理，提取所述声音信息或所述图像信息的特征参数输入到编码器中；
将编码器的输出作为解码器的输入，得到解码器的输出；
将所述解码器的输出在时间方向上做平均，再通过全连接层得到综合向量，将所述综合向量经过均值为1和方差为1的正则化，并利用损失函数使输出结果最大可能的与所述预先设定的声音或图像的类别一致，得到所述分类结果。
所述根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表的步骤具体包括：
当输出单一身份识别结果时，根据用户的观看记录从电视节目库中筛选出与用户兴趣点匹配的节目组合，电视节目库中包括电视节目信息和观看的历史记录；
挑选出用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成电视节目清单；
对所述节目清单中的每个的电视节目进行打分，将打分最高的预设个数的电视节目形成节目列表，将所述节目列表显示到开机画面上；
当输出多个身份识别结果时，根据多个用户的观看记录从电视节目库中筛选出与每个用户兴趣点匹配的节目组合；
挑选出每个用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成N组电视节目清单集合；
计算所述N组电视节目清单集合的相似度，将在不同组出现的次数最多的节目或同一类型的节目打分最高，将只在每一组或者出现次数最少的节目或类型打分最低，将打分最高的预设个数的电视节目形成节目列表，将所述节目列表显示到开机画面上。
本发明还提供一种存储介质，其中，所述存储介质存储有基于用户识别的开机内容推荐程序，所述基于用户识别的开机内容推荐程序被处理器执行时实现如上所述的基于用户识别的开机内容推荐方法的步骤。
综上所述，本发明提供基于用户识别的开机内容推荐方法、智能电视及存储介质，所述方法包括：检测预定范围内是否有人体存在，当检测到有人体存在时，启动信号采集设备；采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视；电视开机后，收集用户的声音信息和图像信息，分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户身份识别结果；根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表。本发明通过识别观看电视用户的身份，并根据用户身份或用户群组的不同特征向其推荐不同的内容列表作为开机内容，使得智能电视的开机内容更具个性化和普适性，推荐的节目不仅适合个人观看，也适合与家人一起观看。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于用户识别的开机内容推荐方法，其特征在于，包括如下步骤：
A.采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视；
B.电视开机后，收集用户的声音信息和图像信息，分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户身份识别结果；
所述分别利用所述声音信息和所述图像信息对用户进行身份识别，并综合声音识别结果和图像识别结果，得到用户的身份识别结果的步骤具体包括：
将所述声音信息经过声纹识别模型处理，得到所述声音识别结果；
将所述图像信息经过图像识别模型处理，得到所述图像识别结果；
判断所述声音识别结果和所述图像识别结果是否一致；
若一致，则直接输出单一身份识别结果，若不一致，则同时输出多个身份识别结果；
C.根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表；
所述根据所述用户的身份识别结果，在电视开机画面上显示相应的节目列表的步骤具体包括：
当输出单一身份识别结果时，根据用户的观看记录从电视节目库中筛选出与用户兴趣点匹配的节目组合，电视节目库中包括电视节目信息和观看的历史记录；挑选出用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成电视节目清单；对所述节目清单中的每个的电视节目进行打分，将打分最高的预设个数的电视节目形成节目列表，将所述节目列表显示到开机画面上；或者，
当输出多个身份识别结果时，根据多个用户的观看记录从电视节目库中筛选出与每个用户兴趣点匹配的节目组合；挑选出每个用户观看时长大于预设时长的历史记录，根据节目类型扩充相同类型的电视节目，生成N组电视节目清单集合；计算所述N组电视节目清单集合的相似度，将在不同组出现的次数最多的节目或同一类型的节目打分最高，将只在每一组或者出现次数最少的节目或类型打分最低，将打分最高的预设个数的电视节目形成节目列表，将所述节目列表显示到开机画面上。
2.根据权利要求1所述的基于用户识别的开机内容推荐方法，其特征在于，所述采集用户的语音或视频信号，并判断用户是否发出唤醒电视的唤醒指令，若用户发出所述唤醒指令，则开启电视，之前还包括：
S.检测预定范围内是否有人体存在，当检测到有人体存在时，启动信号采集设备。
3.根据权利要求2所述的基于用户识别的开机内容推荐方法，其特征在于，所述检测预定范围内是否有人体存在的设备为人体红外探测装置；所述信号采集设备包括收音装置和摄像装置，所述收音装置用于采集所述语音信号，所述摄像装置用于采集所述视频信号。
4.根据权利要求1所述的基于用户识别的开机内容推荐方法，其特征在于，所述声纹识别模型具体包括：
将所述声音信息与预先建立的家庭成员声音特征模板库进行匹配，若匹配成功，则将匹配的结果作为所述声音识别结果；若匹配失败，则将所述声音信息输入分类模型中进行分类，将处理后的分类结果作为所述声音识别结果；
所述图像识别模型具体包括：
将所述图像信息与预先建立的家庭成员图像特征模板库进行匹配，若匹配成功，则将匹配的结果作为所述图像识别结果；若匹配失败，则将所述图像信息输入分类模型中进行分类，将处理后的分类结果作为所述图像识别结果。
5.根据权利要求4所述的基于用户识别的开机内容推荐方法，其特征在于，将所述声音信息与预先建立的家庭成员声音特征模板库进行匹配的步骤具体包括：
通过声音特征提取模型，计算所述声音信息的特征向量，将所述特征向量与家庭成员的声音特征模板库进行匹配。
6.根据权利要求4所述的基于用户识别的开机内容推荐方法，其特征在于，将所述图像信息与预先建立的家庭成员图像特征模板库进行匹配的步骤具体包括：
通过图像特征提取模型，计算所述图像信息的特征向量，将所述特征向量与家庭成员的图像特征模板库进行匹配。
7.根据权利要求4所述的基于用户识别的开机内容推荐方法，其特征在于，所述分类模型具体包括：
预先设定声音或图像的类别；
将所述声音信息或所述图像信息进行处理，提取所述声音信息或所述图像信息的特征参数输入到编码器中；
将编码器的输出作为解码器的输入，得到解码器的输出；
将所述解码器的输出在时间方向上做平均，再通过全连接层得到综合向量，将所述综合向量经过均值为1和方差为1的正则化，并利用损失函数使输出结果最大可能的与所述预先设定的声音或图像的类别一致，得到所述分类结果。
8.一种智能电视，其特征在于，所述智能电视包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于用户识别的开机内容推荐程序，所述基于用户识别的开机内容推荐程序被所述处理器执行时实现如权利要求1-7任一项所述的基于用户识别的开机内容推荐方法的步骤。
9.一种存储介质，其特征在于，所述存储介质存储有基于用户识别的开机内容推荐程序，所述基于用户识别的开机内容推荐程序被处理器执行时实现如权利要求1-7任一项所述的基于用户识别的开机内容推荐方法的步骤。
CN201910704161.1A 2019-07-31 2019-07-31 基于用户识别的开机内容推荐方法、智能电视及存储介质 Active CN112312215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704161.1A CN112312215B (zh) 2019-07-31 2019-07-31 基于用户识别的开机内容推荐方法、智能电视及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704161.1A CN112312215B (zh) 2019-07-31 2019-07-31 基于用户识别的开机内容推荐方法、智能电视及存储介质

Publications (2)

Publication Number Publication Date
CN112312215A CN112312215A (zh) 2021-02-02
CN112312215B true CN112312215B (zh) 2021-10-22

Family

ID=74486303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704161.1A Active CN112312215B (zh) 2019-07-31 2019-07-31 基于用户识别的开机内容推荐方法、智能电视及存储介质

Country Status (1)

Country Link
CN (1) CN112312215B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804273B (zh) * 2021-04-15 2021-07-13 北京风筝科技有限公司 泛家人场景下的多媒体内容推荐与交互系统及方法
CN113949931A (zh) * 2021-10-13 2022-01-18 深圳市视壮科技有限公司 一种iptv节目推荐方法及系统
CN114505190B (zh) * 2022-02-14 2023-01-24 珠海格力电器股份有限公司 花洒系统的控制方法、控制装置、存储介质及处理器
CN114554264A (zh) * 2022-02-18 2022-05-27 深圳Tcl新技术有限公司 一种智能电视的控制方法、装置、智能电视及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8302127B2 (en) * 2000-09-25 2012-10-30 Thomson Licensing System and method for personalized TV
CN102970606B (zh) * 2012-12-04 2017-11-17 深圳Tcl新技术有限公司 基于身份识别的电视节目推荐方法和装置
US10028021B2 (en) * 2014-12-22 2018-07-17 Hisense Electric Co., Ltd. Method and device for encoding a captured screenshot and controlling program content switching based on the captured screenshot
CN104469430A (zh) * 2014-12-24 2015-03-25 武汉泰迪智慧科技有限公司 基于上下文和群组组合的视频推荐方法及系统
CN105763928A (zh) * 2016-02-19 2016-07-13 深圳市茁壮网络股份有限公司 一种开机频道推荐方法、装置和多媒体设备
CN105959806A (zh) * 2016-05-25 2016-09-21 乐视控股（北京）有限公司 节目推荐方法及装置
CN109121007B (zh) * 2018-09-18 2020-11-03 深圳市酷开网络科技有限公司 基于多人脸识别的影视内容推荐方法、智能电视及系统
CN109547854A (zh) * 2019-01-23 2019-03-29 深圳市酷开网络科技有限公司 一种基于声纹识别的电视推送方法、智能电视及存储介质

Also Published As

Publication number Publication date
CN112312215A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112312215B (zh) 基于用户识别的开机内容推荐方法、智能电视及存储介质
CN110119711B (zh) 一种获取视频数据人物片段的方法、装置及电子设备
US8605958B2 (en) Method and apparatus for generating meta data of content
US8640021B2 (en) Audience-based presentation and customization of content
US10939165B2 (en) Facilitating television based interaction with social networking tools
Lovato et al. Faved! biometrics: Tell me which image you like and I'll tell you who you are
WO2021135685A1 (zh) 身份认证的方法以及装置
WO2020134527A1 (zh) 人脸识别的方法及装置
US10257569B2 (en) Display apparatus and method for providing service thereof
TWI814737B (zh) 用於識別用戶以提供個人化引導、內容及服務以及目標廣告而不須有意用戶註冊的方法及其設備
KR20040082414A (ko) 비사용자 이벤트에 기초하는 미디어 재생기를 제어하는방법 및 장치
US9075431B2 (en) Display apparatus and control method thereof
JP7231638B2 (ja) 映像に基づく情報取得方法及び装置
US9602872B2 (en) Display apparatus and control method thereof
US20090251458A1 (en) Image signal generating apparatus, image signal generation method, computer program, and recording medium
JP2013109537A (ja) 関心度推定装置及びそのプログラム
US20170278130A1 (en) Method and Electronic Device for Matching Advertisement Data
WO2017092328A1 (zh) 一种智能电视的用户数据区分方法和装置
CN108153568B (zh) 一种信息处理方法及电子设备
CN110879944A (zh) 基于人脸相似度的主播推荐方法、存储介质、设备及系统
CN112261321B (zh) 字幕处理方法、装置及电子设备
CN112839260A (zh) 基于安卓系统的智能数字电视节目推荐方法、装置及电视
CN111476140A (zh) 信息播放方法、系统、电子设备、家用电器及存储介质
WO2023120263A1 (ja) 情報処理装置及び情報処理方法
KR102664418B1 (ko) 디스플레이 장치 및 그의 서비스 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL Corp.

GR01 Patent grant
GR01 Patent grant