CN113490057B - 显示设备和媒资推荐方法 - Google Patents

显示设备和媒资推荐方法 Download PDF

Info

Publication number
CN113490057B
CN113490057B CN202110735890.0A CN202110735890A CN113490057B CN 113490057 B CN113490057 B CN 113490057B CN 202110735890 A CN202110735890 A CN 202110735890A CN 113490057 B CN113490057 B CN 113490057B
Authority
CN
China
Prior art keywords
media asset
text
media
asset
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110735890.0A
Other languages
English (en)
Other versions
CN113490057A (zh
Inventor
芮智琦
李俊彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Electronic Technology Wuhan Co ltd
Original Assignee
Hisense Electronic Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Electronic Technology Wuhan Co ltd filed Critical Hisense Electronic Technology Wuhan Co ltd
Priority to CN202110735890.0A priority Critical patent/CN113490057B/zh
Publication of CN113490057A publication Critical patent/CN113490057A/zh
Application granted granted Critical
Publication of CN113490057B publication Critical patent/CN113490057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种显示设备和媒资推荐方法。显示设备包括显示器、声音采集器和控制器。其中，声音采集器被配置为接收用户输入的媒资搜索指令。控制器被配置为：将媒资搜索指令转换为媒资搜索文本，并根据媒资搜索文本获取至少一个候选媒资；获取每个候选媒资的媒资信息，包括媒资封面、媒资标题和关键帧画面；分别获取媒资封面、媒资标题和关键帧画面对于媒资搜索文本的第一关联得分；获取每个候选媒资的所有的媒资信息对于媒资搜索文本的第二关联得分；基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，得到推荐媒资。本申请可以向用户推荐与媒资搜索指令关联程度较大的媒资，提高用户的体验性。

Description

显示设备和媒资推荐方法
技术领域
本申请涉及显示设备技术领域，尤其涉及一种显示设备和媒资推荐方法。
背景技术
显示设备是指能够输出具体显示画面的终端设备，如智能电视、移动终端、智能广告屏、投影仪等。随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。
智能语音交互已经成为显示设备的主要功能之一，为了人机语音交互，显示设备配置有语音影视搜索功能。用户可以利用语音影视搜索功能，通过语音的方式搜索想要观看的媒资资源。显示设备在对用户的搜索语音进行分析后，可以推荐一些媒资给用户。
显示设备在向用户推荐媒资时，往往会根据网络中的排名，例如评分或播放量的顺序，将媒资推荐给用户。获取根据用户的历史观看记录，将一些相关媒资推荐给用户。然而，这些推荐的媒资和用户的搜索语音的关联性较弱，有可能不是用户想要的媒资，给用户的体验性较差。
发明内容
本发明提供了一种显示设备和媒资推荐方法。以解决相关技术中，推荐的媒资和用户的搜索语音的关联性较弱，导致用户体验性较差的问题。
第一方面，本申请提供一种显示设备。显示设备包括显示器、声音采集器和控制器。其中，声音采集器被配置为接收用户输入的媒资搜索指令；控制器，被配置为执行以下步骤：
将媒资搜索指令转换为媒资搜索文本，并根据所述媒资搜索文本获取至少一个候选媒资；获取每个候选媒资的媒资信息，所述媒资信息包括媒资封面、媒资标题和关键帧画面；分别获取媒资封面、媒资标题和关键帧画面对于所述媒资搜索文本的第一关联得分；获取每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分；基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，得到推荐媒资。
在一些实现方式中，所述控制器进一步被配置为：在执行根据媒资搜索文本获取至少一个候选媒资集合的步骤中，
提取所述媒资搜索文本中的关键词；将所述关键词发送至服务器，以使服务器对所述关键词进行媒资搜索，得到至少一个候选媒资。
在一些实现方式中，所述控制器进一步被配置为：在执行分别获取媒资封面、媒资标题和关键帧画面对于所述媒资搜索文本的第一关联得分的步骤中，
将媒资封面和关键帧画面转换为媒资封面文本和关键帧画面文本；提取所述媒资搜索文本、媒资标题、媒资封面文本和关键帧画面文本的关键词，得到媒资搜索文本关键词、媒资标题关键词、媒资封面文本关键词和关键帧画面文本关键词；
计算所述媒资搜索文本关键词和媒资标题关键词的相似度，并作为媒资标题对于所述媒资搜索文本的第一关联得分；计算所述媒资搜索文本关键词和媒资封面文本关键词的相似度，并作为媒资封面对于所述媒资搜索文本的第一关联得分；计算所述媒资搜索文本关键词和关键帧画面文本关键词的相似度，并作为关键帧画面对于所述媒资搜索文本的第一关联得分。
在一些实现方式中，所述控制器进一步被配置为：在执行分别获取媒资封面、媒资标题和关键帧画面对于所述媒资搜索文本的第一关联得分的步骤中，
将所述媒资封面和所述关键帧画面转换为媒资封面文本和关键帧画面文本；获取所述媒资搜索文本、媒资标题、媒资封面文本和关键帧画面文本的向量，得到媒资搜索文本向量、媒资标题向量、媒资封面文本向量和关键帧画面文本向量；
计算媒资标题向量和所述媒资搜索文本向量的相似度，并作为媒资标题对于所述媒资搜索文本的第一关联得分；计算媒资封面文本向量和所述媒资搜索文本向量的相似度，并作为媒资封面对于所述媒资搜索文本的第一关联得分；计算关键帧画面文本向量和所述媒资搜索文本向量的相似度，并作为关键帧画面对于所述媒资搜索文本的第一关联得分。
在一些实现方式中，所述控制器还被配置为：在执行获取每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分的步骤中，
获取媒资封面和关键帧画面的图像向量，得到媒资封面向量和关键帧画面向量；根据媒资标题向量、媒资封面向量和关键帧画面向量计算候选媒资向量；计算所述候选媒资向量和所述媒资搜索文本向量的相似度，并作为第二关联得分。
在一些实现方式中，所述控制器进一步被配置为：在执行根据媒资标题向量、媒资封面向量和关键帧画面向量计算候选媒资向量的步骤中，
根据加权计算法对所述媒资标题向量、所述媒资封面向量和所述关键帧画面向量进行处理，得到候选媒资向量。
在一些实现方式中，所述控制器进一步被配置为：在执行基于第一关联得分和第二关联得分对所有的候选媒资进行筛选的步骤中，
根据第一关联得分和第二关联得分计算每个候选媒资的推荐得分；检测每个候选媒资的推荐得分是否大于预设的推荐阈值；将推荐得分大于预设的推荐阈值的候选媒资作为推荐媒资。
在一些实现方式中，所述控制器还被配置为：
当检测到所有的候选媒资的推荐得分全部小于或等于预设的推荐阈值时，控制显示器显示提示信息，所述提示信息用于提示用户未搜索到推荐媒资。
在一些实现方式中，所述控制器还被配置为：
获取每个推荐媒资的媒资标签；根据媒资标签获取每个推荐媒资的媒资标签得分；按照媒资标签得分从大到小的顺序对所有的推荐媒资进行排序，得到媒资推荐列表；控制显示器显示所述媒资推荐列表。
第二方面，本申请提供一种媒资推荐方法，应用于显示设备，该方法包括：
将媒资搜索指令转换为媒资搜索文本，并根据所述媒资搜索文本获取至少一个候选媒资；获取每个候选媒资的媒资信息，所述媒资信息包括媒资封面、媒资标题和关键帧画面；分别获取媒资封面、媒资标题和关键帧画面对于所述媒资搜索文本的第一关联得分；获取每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分；基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，得到推荐媒资。
由以上技术方案可以看出，本申请提供了一种显示设备和媒资推荐方法，可以将媒资搜索指令转换为媒资搜索文本，并根据媒资搜索文本获取至少一个候选媒资。再获取每个候选媒资的媒资信息，包括媒资封面、媒资标题和关键帧画面。可以分别获取媒资封面、媒资标题和关键帧画面对于媒资搜索文本的第一关联得分，并获取每个候选媒资的所有的媒资信息对于媒资搜索文本的第二关联得分。基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，可以得到推荐媒资。本申请可以计算候选媒资的每个媒资信息对于媒资搜索文本的第一关联得分，从而分析出每个媒资信息和媒资搜索指令的关联程度。计算所有的媒资信息对于媒资搜索文本的第二关联得分，可以分析出候选媒资整体和媒资搜索指令的关联程度。从而向用户推荐与媒资搜索指令关联程度较大的媒资，可以提高用户体验性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景；
图2示出了根据一些实施例的控制装置100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的显示设备200中软件配置图；
图5示出了一些实施例中显示设备各部件的交互流程图；
图6示出了一些实施例中显示器中显示语音交互模式确认信息的示意图；
图7示出了一些实施例中显示设备获取候选媒资的流程示意图；
图8示出了一些实施例中一张关键帧画面的示意图；
图9示出了一些实施例中获取第一关联得分的流程示意图；
图10示出了一些实施例中显示器中显示媒资推荐列表的示意图；
图11示出了一些实施例中显示器中显示推荐媒资的示意图；
图12示出了一些实施例中显示器中显示提示信息的示意图；
图13示出了媒资推荐方法的一些实施例的流程示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的摄像头应用控制显示设备200。
在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC 或可替代模块中的至少一种。
在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB 输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和摄像头应用指令，以及根据接收外部输入的各种交互指令，来执行各种摄像头应用、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是摄像头应用或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和摄像头应用。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户摄像头应用。摄像头应用在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为摄像头应用(Applications)层(简称“应用层”)，摄像头应用框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，摄像头应用层中运行有至少一个摄像头应用，这些摄像头应用可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的摄像头应用。在具体实施时，摄像头应用层中的摄像头应用包不限于以上举例。
框架层为摄像头应用层的摄像头应用提供应用编程接口(applicationprogramming interface，API)和编程框架。摄像头应用框架层包括一些预先定义的函数。摄像头应用框架层相当于一个处理中心，这个中心决定让应用层中的摄像头应用做出动作。摄像头应用通过API接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中摄像头应用框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager) 用于检索当前安装在设备上的摄像头应用包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个摄像头应用的生命周期以及通常的导航回退功能，比如控制摄像头应用的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB 驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
显示设备在向用户推荐媒资时，往往会根据网络中的排名，例如评分或播放量的顺序，将媒资推荐给用户。获取根据用户的历史观看记录，将一些相关媒资推荐给用户。然而，这些推荐的媒资和用户的搜索语音的关联性较弱，有可能不是用户想要的媒资，给用户的体验性较差。
本申请提供一种显示设备，包括显示器、声音采集器和控制器。其中，显示器用于显示用户界面。声音采集器可以为麦克风，用于接收用户输入的语音指令，例如媒资搜索指令。
图5示出了一些实施例中显示设备各部件的交互流程图。
本申请实施例提供的显示设备具有语音交互功能，用户可以通过输入语音的方式实现对显示设备的控制。显示设备可以设置有语音交互模式。在语音交互模式下，用户可以和显示设备进行语音交互。
在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送语音交互模式指令。在实际应用的过程中预先绑定语音交互模式指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个语音交互模式按键，当用户触控该按键时，遥控器发送语音交互模式指令至控制器，此时控制器控制显示设备进入语音交互模式。当用户再次触控该按键时，控制器可以控制显示设备退出语音交互模式。
在一些实施例中，也可以预先绑定语音交互模式指令与多个遥控器按键之间的对应关系，当用户触控与语音交互模式指令绑定的多个按键时，遥控器发出语音交互模式指令。在一可行性实施例中，语音交互模式指令绑定的按键依次为方向键(左、下、左、下)，即当用户在预设时间内连续触控按键(左、下、左、下)的情况下，遥控器才发送语音交互模式指令至控制器。采用上述绑定方法，可以避免语音交互模式指令由于用户的误操作而发出。本申请实施例仅是示例性的提供几种语音交互模式指令与按键之间的绑定关系，在实际应用的过程中可以根据用户的习惯设定语音交互模式指令与按键之间的绑定关系，在此不做过多的限定。
在一些实施例中，用户可以使用显示设备的声音采集器，例如麦克风，通过语音输入的方式，直接控制显示设备进入语音交互模式。显示设备中可以设置有智能语音系统，智能语音系统可以对用户的语音进行识别，以提取用户输入的指令内容。用户可以通过麦克风输入预设的唤醒词，从而启动智能语音系统，从而控制器可以对用户输入的指令做出响应。例如，用户可以输入“某某同学”，以启动智能语音系统，此时，显示设备会进入语音交互模式。
在一些实施例中，用户还可以通过预设的手势向显示设备发送语音交互模式指令。显示设备可以通过图像采集器，例如摄像头，检测用户的行为。当用户做出预设的手势时，可以认为用户向显示设备发送了语音交互模式指令。例如，可以设置为：当检测到用户划出V字时，判定为用户向显示设备输入了语音交互模式指令。用户还可以通过预设的动作向显示设备发送语音交互模式指令。例如，可以设置为：当检测到用户同时抬起左脚和右手时，判定为用户向显示设备输入了语音交互模式指令。
在一些实施例中，当用户使用智能设备控制显示设备时，例如使用手机时，也可以向显示设备发送语音交互模式指令。在实际应用的过程中可以在手机中设置一个控件，可以通过该控件选择是否进入语音交互模式，从而发送语音交互模式指令至控制器，此时控制器可以控制显示设备进入语音交互模式。
在一些实施例中，当用户使用手机控制显示设备时，可以对手机发出连续点击指令。连续点击指令指的是：在预设的周期内，用户对手机触摸屏的同一区域进行点击的次数超过预设阈值。例如：当用户在1s内对手机触摸屏的某个区域连续点击3次，则视为一次连续点击指令。手机接收到连续点击指令后，可以向显示设备发送语音交互模式指令，以使控制器控制显示设备进入语音交互模式。
在一些实施例中，当用户使用手机控制显示设备时，也可以设置为：当检测到用户对手机触摸屏的某一区域的触控压力值超过预设的压力阈值时，手机可以向显示设备发送语音交互模式指令。
还可以在显示设备的UI界面中设置语音交互模式选项，当用户点击该选项时，可以控制显示设备进入或退出语音交互模式。
在一些实施例中，为防止用户误触发语音交互模式，当控制器接收到语音交互模式指令时，可以控制显示器显示语音交互模式确认信息，从而使得用户进行二次确认，是否要控制显示设备进入语音交互模式。图6示出了一些实施例中显示器中显示语音交互模式确认信息的示意图。
在一些实施例中，当显示设备被触发进入语音控制模式后，用户也可以通过手机、遥控器等设备，以文字的形式向显示设备发送指令，以防止当麦克风出现问题后，显示设备无法接收用户的语音指令。
当显示设备进入语音交互模式时，可以和用户进行语音交互。用户可以通过麦克风向显示设备输入各种指令，以实现对显示设备的各种操作。用户可以向显示设备发送媒资搜索指令，以查看相关的媒资资源。
媒资搜索指令可以是包含具体的媒资名称的指令，例如，用户可以发送“我想看《媒资A》”。显示设备接收到该指令时，可以将《媒资A》相关的媒资资源展示给用户。媒资搜索指令也可以是包含媒资类型的指令，例如，用户可以发送“我想看搞笑类的视频”。显示设备接收到该指令时，可以将“搞笑类”的媒资资源展示给用户。
显示设备展示的媒资资源可以是电视剧、电影一类的电视节目，也可以是网络资源中的一些短视频。
在一些实施例中，当显示设备接收到用户输入的媒资搜索指令后，控制器可以将接收到的语音数据发送至语音识别服务，从而转换为文本信息，得到媒资搜索文本。对用户的媒资搜索指令的识别操作可参考相关技术，本申请实施例对此不再一一赘述。
在一些实施例中，显示设备还可以包括第三方语音识别接口。当接收到用户输入的媒资搜索指令后，控制器可以将语音数据发送至第三方语音识别接口，利用第三方语音识别装置等将用户的媒资搜索指令识别为媒资搜索文本。
当获取到媒资搜索指令转换的媒资搜索文本后，控制器可以进一步根据媒资搜索文本获取若干个候选媒资。通过对候选媒资进一步的筛选，可以得到推荐媒资，并将推荐媒资推荐给用户。
在一些实施例中，控制器可以对媒资搜索文本进行识别，以获取媒资搜索文本中的一些关键词。
控制器首先可以对媒资搜索文本进行分词处理，得到包括多个词语的分词结果，分词处理可采用开源分词工具JIEBA。例如，对于媒资搜索指令“我想看《媒资A》”，进行分词处理后，可以得到分词结果为“我想、看、《媒资A》”三个词语。对于媒资搜索指令“我想看搞笑类的视频”，进行分词处理后，可以得到分词结果为“我想、看、搞笑类的、视频”四个词语。具体的分词方法可以参考相关技术，本申请不做赘述。
在对媒资搜索文本进行分词处理后，控制器可以提取分词结果中的关键词。具体的，可以提取分词结果中的标题名称和形容词。例如，对于分词结果“我想、看、《媒资A》”，可以提取其中的标题名称，即关键词为《媒资A》。对于分词结果“我想、看、搞笑类的、视频”，可以提取其中的形容词，即关键词为“搞笑类的”。
在一些实施例中，当控制器提取到媒资搜索文本中的关键词后，可以将关键词发送至服务器。服务器会对关键词相关的媒资资源进行初步搜索，从而得到若干个候选媒资。服务器再将这些候选媒资发送给显示设备。图7示出了一些实施例中显示设备获取候选媒资的流程示意图。
在一些实施例中，当显示设备接收到用户输入的媒资搜索指令，并转换为媒资搜索文本后，控制器可以直接将媒资搜索文本发送至ES(Elastic Search，倒排索引)服务器中。ES服务器是一个分布式可扩展的实时搜索和分析引擎，一个建立在全文搜索引擎 ApacheLucene(TM)(项目开发开源搜索软件)基础上的搜索引擎。ES服务器可以直接对媒资搜索文本进行媒资搜索，从而得到和媒资搜索文本相关的若干个候选媒资。
当显示设备接收到服务器发送的若干个候选媒资后，可以对候选媒资进行筛选，从而得到可以向用户推荐的推荐媒资。
在一些实施例中，在对候选媒资进行筛选时，控制器可以先获取候选媒资的一些媒资信息。对于每个候选媒资来说，其媒资信息可以包括媒资封面、媒资标题和关键帧画面。媒资封面为媒资展示给用户的封面图片，例如：媒资中的截图、宣传海报等。媒资标题可以是媒资的一些简介，例如“张三主演的电视剧”。关键帧画面是指的整个媒资中信息比较丰富的视频帧，每当视频中的某一帧与前一帧画面内容产生了大的变化，便可以认为它是关键帧。
在获取候选媒资的媒资信息时，媒资封面和媒资标题为媒资直接携带的属性信息，因此不需要进行额外的操作，可以直接获取到。关键帧画面为媒资在播放中的一些画面帧，因此控制器需要对候选媒资的关键帧画面进行提取。例如，可以采用图像差分方法对关键帧画面进行提取。
在一些实施例中，当获取到候选媒资的媒资信息后，可以检测每一个媒资信息和媒资搜索文本的关联程度，从而判断出用户对候选媒资的某一个方面是否会感兴趣。例如，用户是否想要查看媒资的封面、标题或是其中一些关键帧画面。
在对每一个媒资信息和媒资搜索文本的关联程度进行检测时，控制器可以先将图片形式的媒资封面和关键帧画面转换为文字形式。具体的，控制器可以将媒资封面和关键帧画面转换为媒资封面文本和关键帧画面文本。此时，候选媒资的媒资信息，即媒资封面、媒资标题和关键帧画面全部为文字形式。
在一些实施例中，控制器可以将媒资封面和关键帧画面输入到Image caption(图像理解)模型中，从而得到媒资封面对应的媒资封面文本，以及关键帧画面对应的关键帧画面文本。图8示出了一些实施例中一张关键帧画面的示意图。具体的，将图8所示的关键帧画面转换成文本后，可以得到关键帧画面文本为“一个蓝衣服的男人在滑雪”。
在一些实施例中，当获取到媒资封面和关键帧画面的文字形式后，每个候选媒资的媒资信息全部都为文字形式。此时可以提取每个候选媒资的所有媒资信息的关键词。
具体的，对于每个候选媒资，分别提取媒资标题、媒资封面文本和关键帧画面文本的关键词，可以得到媒资标题关键词、媒资封面文本关键词和关键帧画面文本关键词。
控制器可以将每种关键词分别与媒资搜索文本的关键词进行关联性匹配，计算二者之间的相似度。例如，可以使用杰卡德相似度计算方法，获取每种关键词与媒资搜索文本的关键词的相似度，并将相似度结果作为对应的媒资信息与媒资搜索文本的第一关联得分，即媒资信息和媒资搜索文本的关联程度。
图9示出了一些实施例中获取第一关联得分的流程示意图。
在一些实施例中，控制器可以计算媒资搜索文本关键词和媒资标题关键词的相似度，并将该相似度作为媒资标题对于媒资搜索文本的第一关联得分，即媒资标题和媒资搜索文本的关联程度。
控制器计算媒资搜索文本关键词和媒资封面文本关键词的相似度，并将该相似度作为媒资封面对于媒资搜索文本的第一关联得分，即媒资封面和媒资搜索文本的关联程度。
控制器还可以计算媒资搜索文本关键词和关键帧画面文本关键词的相似度，并将该相似度作为关键帧画面对于媒资搜索文本的第一关联得分，即关键帧画面和媒资搜索文本的关联程度。
在一些实施例中，当获取到媒资封面和关键帧画面的文字形式后，每个候选媒资的媒资信息全部都为文字形式。此时可以获取每个候选媒资的所有媒资信息的文本向量。
具体的，对于每个候选媒资，分别将媒资标题、媒资封面文本和关键帧画面文本映射成为文字向量，得到，可以得到媒资标题向量、媒资封面文本向量和关键帧画面文本向量。
控制器还可以将媒资搜索文本映射成为文字向量，得到媒资搜索文本向量。
在一些实施例中，控制器可以将文本输入至ALBERT模型中，得到对应的文本向量。
ALBERT(A Lite Bidirectional Encoder Representationfrom Transformers)模型可以将文本转换为向量，可以参考相关技术，本申请不做赘述。得到的文本向量可以是768维的向量。
控制器通过对媒资信息的每种文本向量分别与媒资搜索文本向量进行关联性匹配，计算二者之间的相似度，并将相似度结果作为对应的媒资信息与媒资搜索文本的第一关联得分，即媒资信息和媒资搜索文本的关联程度。
在一些实施例中，控制器可以计算媒资搜索文本向量和媒资标题向量的相似度，并将该相似度作为媒资标题对于媒资搜索文本的第一关联得分，即媒资标题和媒资搜索文本的关联程度。
控制器计算媒资搜索文本向量和媒资封面文本向量的相似度，并将该相似度作为媒资封面对于媒资搜索文本的第一关联得分，即媒资封面和媒资搜索文本的关联程度。
控制器还可以计算媒资搜索文本向量和关键帧画面文本向量的相似度，并将该相似度作为关键帧画面对于媒资搜索文本的第一关联得分，即关键帧画面和媒资搜索文本的关联程度。
在一些实施例中，控制器在获取到候选媒资的媒资信息后，还可以检测每个候选媒资的所有媒资信息和媒资搜索文本的关联程度，即候选媒资整体和媒资搜索文本的关联程度。从而判断出用户对候选媒资的综合情况是否会感兴趣。
在对每个候选媒资的所有媒资信息和媒资搜索文本的关联程度进行检测时，控制器可以先将图片形式的媒资封面和关键帧画面转换为向量。
具体的，控制器先将媒资封面和关键帧画面映射成为图像向量，得到媒资封面向量和关键帧画面向量。此时，对于每个候选媒资，其媒资信息中的媒资封面和关键帧画面为图像向量形式，媒资标题为文字形式。
在一些实施例中，可以利用预先训练好的ResNet预训练模型获取图像向量。模型可以抽取隐藏层的倒数第2层2048维向量作为图像向量。然后再将图像向量进行PCA降维操作，得到和文本向量维度相同的768维向量，以便于后续处理。
控制器根据媒资标题向量、媒资封面向量和关键帧画面向量可以计算出候选媒资整体的向量表达，得到候选媒资向量。
在一些实施例中，可以计算媒资标题向量、媒资封面向量和关键帧画面向量的平均值，并将该平均值确定为候选媒资向量。
在一些实施例中，可以利用加权计算法对媒资标题向量、媒资封面向量和关键帧画面向量进行处理，得到候选媒资向量。例如，经过处理后，得到的媒资标题向量为w1，媒资封面向量为w2，关键帧画面向量为w3。用户可以自行设定每种向量对应的权重。例如，媒资标题向量的权重为a，媒资封面向量的权重为b，关键帧画面向量的权重为c。因此，候选媒资向量w＝a*w1+b*w2+c*w3。需要说明的是，可以根据用户的喜好设置权重，如果用户对某个媒资信息更感兴趣，则可以将对应的向量的权重设置的大一些。例如，用户对每个媒资信息感兴趣的程度为封面>标题>关键帧画面，则可以令权重的大小关系为b>a>c。
在一些实施例中，在获取到候选媒资向量后，控制器可以对候选媒资向量与媒资搜索文本向量进行关联性匹配，计算二者之间的相似度，并将相似度结果作为每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分，即候选媒资整体和媒资搜索文本的关联程度。
控制器可以计算候选媒资向量与媒资搜索文本向量的cosine相似度，并将该相似度作为第二关联得分。
需要说明的是，对于每个候选媒资，其每个媒资信息对于媒资搜索文本都会有一个第一关联得分，因此每个候选媒资可以对应三个第一关联得分。
而所有的媒资信息对于媒资搜索文本会有一个第二关联得分，因此每个候选媒资会对应一个第二关联得分。
在一些实施例中，在获取到每个媒资信息对应的多个第一关联得分，即媒资封面的第一关联得分、媒资标题的第一关联得分和关键帧画面的第一关联得分时，以及获取到所有的媒资信息对应的一个第二关联得分时，控制器可以根据第一关联得分和第二关联得分对所有的候选媒资进行筛选，从而得到推荐媒资。
控制器可以根据每个候选媒资的所有第一关联得分和第二关联得分，获取到候选媒资的推荐得分，并进一步利用所有的推荐得分对所有的候选媒资进行筛选。
在一些实施例中，可以将每个候选媒资的所有第一关联得分和第二关联得分求取平均值，并将该平均值确定为候选媒资的推荐得分。
例如，对于一个候选媒资，其媒资封面的第一关联得分为F11，媒资标题的第一关联得分为F12，关键帧画面的第一关联得分为F13。候选媒资的第二关联得分为F2。因此，候选媒资的推荐得分F＝(F11+F12+F13+F2)/4。
在一些实施例中，可以利用加权计算法对每个候选媒资的所有第一关联得分和第二关联得分进行处理，得到候选媒资的推荐得分。
例如，媒资封面的第一关联得分为F11，媒资标题的第一关联得分为F12，关键帧画面的第一关联得分为F13。候选媒资的第二关联得分为F2。用户可以自行设定每个关联得分对应的权重，例如，媒资封面的第一关联得分的权重为x，媒资标题的第一关联得分的权重为y，关键帧画面的第一关联得分的权重为z。还可以将第二关联得分的权重设置为k。因此，候选媒资向量F＝x*F11+y*F12+z*F13+k*F2。
在一些实施例中，在计算出所有的候选媒资的推荐得分后，可以根据推荐得分对所有的候选媒资进行筛选，从而得到推荐媒资。
在一些实施例中，可以预先设置一个推荐阈值。控制器对所有的候选媒资进行筛选，当候选媒资的推荐得分大于预设的推荐阈值时，可以将该候选媒资确定为推荐媒资。其中，预设的推荐阈值可以由用户自行设定。例如，可以设定推荐阈值为0.5，则所有的推荐得分大于0.5的候选媒资均为推荐媒资。
在本申请实施例中，获取了候选媒资的媒资信息，包括媒资的封面、标题以及关键帧画面，每一个媒资信息都代表了候选媒资的一种模态。通过计算每种媒资信息对于媒资搜索文本的第一关联得分，可以得到每种媒资信息和用户搜索意向的关联程度。考虑到用户可能对某种模态更加感兴趣，此时可以对这种模态对应的得分赋予更大的权重，从而保证推荐得分更加准确，以搜索到用户更感兴趣的媒资，提高用户的体验性。
同时计算所有媒资信息对于媒资搜索文本的第二关联得分，可以得到候选媒资整体和用户搜索意向的关联程度，即对多模态进行综合考虑，分析关联程度。
因此，从单模态和多模态两个方面计算得到推荐分数，进一步保证了媒资推荐的准确性。
在一些实施例中，当确定好所有的推荐媒资时，可以按照推荐得分由大到小的顺序对所有的推荐媒资进行排序，得到媒资推荐列表。控制器进一步可以将媒资推荐列表显示在显示器上。图10示出了一些实施例中显示器中显示媒资推荐列表的示意图。媒资推荐列表中如果包括10个推荐媒资，此时显示器中可以同时将这10个推荐媒资全部显示。
在一些实施例中，可以设定显示器中同时显示Y个推荐媒资，例如显示器中可以同时显示8个推荐媒资。当媒资推荐列表中推荐媒资的数量大于Y时，显示器无法将所有的推荐媒资全部显示。此时可以控制显示器中显示“下一页”和“上一页”选项，当用户点击这两个选项时，可以查看其余的推荐媒资。图11示出了一些实施例中显示器中显示推荐媒资的示意图。媒资推荐列表中如果包括10个推荐媒资，用户设定显示器中可以同时显示8个推荐媒资，此时显示器中会向显示媒资推荐列表中的前8个推荐媒资。用户可以点击“下一页”选项，此时显示器中会更新显示剩余的2个推荐媒资。
在一些实施例中，在按照推荐得分由大到小的顺序对所有的推荐媒资进行排序后，可以截取前N个推荐媒资，并将这N个推荐媒资制成媒资推荐列表。控制器进一步可以将媒资推荐列表显示在显示器上。
在显示器中显示媒资推荐列表后，用户可以查看媒资推荐列表，同时选择其中一个推荐媒资进行点击。此时，控制器控制显示器中播放用户选择的推荐媒资。
在一些实施例中，在计算出所有的候选媒资的推荐得分后，可以利用预设的推荐阈值对候选媒资进行筛选，得到推荐媒资。当检测到所有的候选媒资的推荐得分全部小于或等于预设阈值时，即如果不存在任何一个候选媒资的推荐得分大于预设的推荐阈值时，说明显示设备中未搜索到和用户的媒资搜索指令相关联的推荐媒资。有可能服务器中不存在相应的媒资资源，或者不存在关联性较强的媒资资源。此时，控制器可以控制显示器显示预设的提示信息，提示信息用于提示用户未搜索到推荐媒资。
在一些实施例中，提示信息可以采用预设的提示模板。例如，提示信息可以设置为“抱歉，未搜索到相关资源，请重新搜索”。提示模板中也可以包含相关的媒资名称，例如：抱歉，未搜索到媒资《A》，请继续观看其他电影。图12示出了一些实施例中显示器中显示提示信息的示意图。
在一些实施例中，控制器还可以将提示信息转换为语音应答语，再将语音应答语进行播放，以通知用户。
在一些实施例中，当确定好所有的推荐媒资时，控制器可以进一步获取每个推荐媒资的媒资标签。媒资标签为媒资的一种特征索引项，用于表征媒资的类型，例如，“搞笑类”、“青春偶像类”、“谍战类”、“古装类”等等。
显示设备中可以设置有媒资标签数据库，媒资标签数据库中包括所有的媒资标签以及每个媒资标签对应的媒资标签得分。
在一些实施例中，可以由用户自行设定每个媒资标签对应的媒资标签得分。用户可以根据自身喜好设定媒资标签得分，对于喜欢观看的媒资标签，可以设定相应的媒资标签得分高一些。
在一些实施例中，还可以利用艾宾浩斯遗忘曲线动态设定每个媒资标签对应的媒资标签得分。
在初始状态下，可以将每个媒资标签的媒资标签得分设置为0。在用户使用显示设备，并观看媒资的过程中，可以根据用户观看的媒资的媒资标签情况，动态设置每个媒资标签对应的媒资标签得分。
具体的，每当用户观看一个媒资，可以将该媒资的所有媒资标签对应的媒资标签得分变更为1。当用户没有观看一种媒资标签时，可以根据艾宾浩斯遗忘曲线对该媒资标签的媒资标签得分进行减少。
对于艾宾浩斯遗忘曲线，其记忆程度会随着时间间隔的增加而减小。例如，刚刚涉及时，记忆程度为100％。时间间隔为20分钟时，记忆程度为58.2％；时间间隔为1小时，记忆程度为44.2％；时间间隔为8小时，记忆程度为35.8％；时间间隔为1天，记忆程度为33.7％；时间间隔为2天，记忆程度为27.8％；时间间隔为6天，记忆程度为25.4％。
因此，可以根据用户观看一种媒资标签的时间间隔，设定该媒资标签的媒资标签得分。例如，当用户没有观看一种媒资标签的时间为8小时，此时可以查看艾宾浩斯遗忘曲线，其记忆程度为35.8％，因此可以设定该媒资标签的媒资标签得分为0.358。
媒资标签的媒资标签得分会随着时间间隔的增加而逐渐减小。直到用户再次观看该类标签时，其媒资标签得分可以变更为1。
在一些实施例中，根据艾宾浩斯遗忘曲线可以动态设定每个媒资标签对应的媒资标签得分。对于一个推荐媒资，可以根据其所有的媒资标签计算推荐媒资的媒资标签得分。例如，一个推荐媒资包括三个媒资标签A、B和C。其中，媒资标签A的媒资标签得分为P1，媒资标签B的媒资标签得分为P2，媒资标签C的媒资标签得分为P3。
可以计算所有媒资标签的媒资标签得分的平均值，并将平均值设定为推荐媒资的媒资标签得分。例如，推荐媒资的媒资标签得分P＝(P1+P2+P3)/3。
本申请实施例利用艾宾浩斯遗忘曲线，可以考虑到媒资标签得分的动态变化情况。当一种媒资标签近期内被用户观看时，可以认为用户近期对该类型的媒资更加感兴趣，此时可以赋予较高的得分。当一种媒资标签长时间内没有被用户观看时，可以认为用户这段时间内不对该类型的媒资感兴趣，此时可以赋予较低的得分。从而实现了动态检测用户的偏好，不会长期陷入推荐一类视频的情况，可以实时确认用户的兴趣，从而向用户推荐其更加感兴趣的媒资，提高了用户体验性。
在获取到所有推荐媒资的媒资标签得分后，可以根据媒资标签得分从大到小的顺序对所有的推荐媒资进行排序，得到媒资推荐列表。
在对推荐媒资进行排序时，如果存在多个推荐媒资具有相同的媒资标签得分时，可以将这些推荐媒资按照推荐得分由大到小的顺序进行排序。如果存在多个推荐媒资的媒资标签得分和推荐得分均相同的情况，则可以随机排序。
按照上述步骤，可以对所有的推荐媒资进行排序，得到媒资推荐列表。控制器进一步可以将媒资推荐列表显示在显示器上，实现根据用户的媒资搜索指令向用户进行媒资推荐。
本申请实施例还提供了一种媒资推荐方法，应用于显示设备，如图13所示，所述方法包括：
步骤1301、将媒资搜索指令转换为媒资搜索文本，并根据所述媒资搜索文本获取至少一个候选媒资；
步骤1302、获取每个候选媒资的媒资信息，所述媒资信息包括媒资封面、媒资标题和关键帧画面；
步骤1303、分别获取媒资封面、媒资标题和关键帧画面对于所述媒资搜索文本的第一关联得分；获取每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分；
步骤1304、基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，得到推荐媒资。
本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (8)

1.一种显示设备，其特征在于，包括：
显示器；
声音采集器，被配置为接收用户输入的媒资搜索指令；
控制器，被配置为：
将媒资搜索指令转换为媒资搜索文本，并根据所述媒资搜索文本获取媒资的标题名称和/或媒资类型；基于所述标题名称和/或媒资类型，获取至少一个候选媒资；
获取每个候选媒资的媒资信息，所述媒资信息包括媒资封面、媒资标题和关键帧画面；
将所述媒资封面和所述关键帧画面转换为媒资封面文本和关键帧画面文本；获取所述媒资搜索文本、媒资标题、媒资封面文本和关键帧画面文本的向量，得到媒资搜索文本向量、媒资标题向量、媒资封面文本向量和关键帧画面文本向量；
计算媒资标题向量和所述媒资搜索文本向量的相似度，并作为媒资标题对于所述媒资搜索文本的第一关联得分；计算媒资封面文本向量和所述媒资搜索文本向量的相似度，并作为媒资封面对于所述媒资搜索文本的第一关联得分；计算关键帧画面文本向量和所述媒资搜索文本向量的相似度，并作为关键帧画面对于所述媒资搜索文本的第一关联得分；
获取媒资封面和关键帧画面的图像向量，得到媒资封面向量和关键帧画面向量；根据所述媒资标题向量、媒资封面向量和关键帧画面向量计算候选媒资向量；计算所述候选媒资向量和所述媒资搜索文本向量的相似度，并作为每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分；
基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，得到推荐媒资。
2.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：
在执行根据媒资搜索文本获取至少一个候选媒资集合的步骤中，
提取所述媒资搜索文本中的关键词；
将所述关键词发送至服务器，以使服务器对所述关键词进行媒资搜索，得到至少一个候选媒资。
3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：
在执行将媒资封面和关键帧画面转换为媒资封面文本和关键帧画面文本的步骤后，
提取所述媒资搜索文本、媒资标题、媒资封面文本和关键帧画面文本的关键词，得到媒资搜索文本关键词、媒资标题关键词、媒资封面文本关键词和关键帧画面文本关键词；
计算所述媒资搜索文本关键词和媒资标题关键词的相似度，并作为媒资标题对于所述媒资搜索文本的第一关联得分；计算所述媒资搜索文本关键词和媒资封面文本关键词的相似度，并作为媒资封面对于所述媒资搜索文本的第一关联得分；计算所述媒资搜索文本关键词和关键帧画面文本关键词的相似度，并作为关键帧画面对于所述媒资搜索文本的第一关联得分。
4.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：
在执行根据媒资标题向量、媒资封面向量和关键帧画面向量计算候选媒资向量的步骤中，
根据加权计算法对所述媒资标题向量、所述媒资封面向量和所述关键帧画面向量进行处理，得到候选媒资向量。
5.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：
在执行基于第一关联得分和第二关联得分对所有的候选媒资进行筛选的步骤中，
根据第一关联得分和第二关联得分计算每个候选媒资的推荐得分；
检测每个候选媒资的推荐得分是否大于预设的推荐阈值；
将推荐得分大于预设的推荐阈值的候选媒资作为推荐媒资。
6.根据权利要求5所述的显示设备，其特征在于，所述控制器还被配置为：
当检测到所有的候选媒资的推荐得分全部小于或等于预设的推荐阈值时，控制显示器显示提示信息，所述提示信息用于提示用户未搜索到推荐媒资。
7.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：
获取每个推荐媒资的媒资标签；
根据媒资标签获取每个推荐媒资的媒资标签得分；
按照媒资标签得分从大到小的顺序对所有的推荐媒资进行排序，得到媒资推荐列表；
控制显示器显示所述媒资推荐列表。
8.一种媒资推荐方法，应用于显示设备，其特征在于，所述方法包括：
将媒资搜索指令转换为媒资搜索文本，并根据所述媒资搜索文本获取媒资的标题名称和/或媒资类型；基于所述标题名称和/或媒资类型，获取至少一个候选媒资；
获取每个候选媒资的媒资信息，所述媒资信息包括媒资封面、媒资标题和关键帧画面；
将所述媒资封面和所述关键帧画面转换为媒资封面文本和关键帧画面文本；获取所述媒资搜索文本、媒资标题、媒资封面文本和关键帧画面文本的向量，得到媒资搜索文本向量、媒资标题向量、媒资封面文本向量和关键帧画面文本向量；
计算媒资标题向量和所述媒资搜索文本向量的相似度，并作为媒资标题对于所述媒资搜索文本的第一关联得分；计算媒资封面文本向量和所述媒资搜索文本向量的相似度，并作为媒资封面对于所述媒资搜索文本的第一关联得分；计算关键帧画面文本向量和所述媒资搜索文本向量的相似度，并作为关键帧画面对于所述媒资搜索文本的第一关联得分；
获取媒资封面和关键帧画面的图像向量，得到媒资封面向量和关键帧画面向量；根据所述媒资标题向量、媒资封面向量和关键帧画面向量计算候选媒资向量；计算所述候选媒资向量和所述媒资搜索文本向量的相似度，并作为每个候选媒资的所有的媒资信息对于所述媒资搜索文本的第二关联得分；
基于第一关联得分和第二关联得分对所有的候选媒资进行筛选，得到推荐媒资。
CN202110735890.0A 2021-06-30 2021-06-30 显示设备和媒资推荐方法 Active CN113490057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110735890.0A CN113490057B (zh) 2021-06-30 2021-06-30 显示设备和媒资推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110735890.0A CN113490057B (zh) 2021-06-30 2021-06-30 显示设备和媒资推荐方法

Publications (2)

Publication Number Publication Date
CN113490057A CN113490057A (zh) 2021-10-08
CN113490057B true CN113490057B (zh) 2023-03-24

Family

ID=77937044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110735890.0A Active CN113490057B (zh) 2021-06-30 2021-06-30 显示设备和媒资推荐方法

Country Status (1)

Country Link
CN (1) CN113490057B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150673B (zh) * 2022-06-30 2023-11-24 聚好看科技股份有限公司 显示设备及媒资展示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639957A (zh) * 2013-11-06 2015-05-20 株式会社Ntt都科摩 移动多媒体终端、视频节目推荐方法及其服务器
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN110234018A (zh) * 2019-07-09 2019-09-13 腾讯科技（深圳）有限公司 多媒体内容描述生成方法、训练方法、装置、设备及介质
CN111581510A (zh) * 2020-05-07 2020-08-25 腾讯科技（深圳）有限公司 分享内容处理方法、装置、计算机设备和存储介质
CN111984825A (zh) * 2020-08-28 2020-11-24 北京百度网讯科技有限公司 用于搜索视频的方法和装置
CN112115299A (zh) * 2020-09-17 2020-12-22 北京百度网讯科技有限公司 视频搜索方法、装置、推荐方法、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140131166A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 디스플레이 장치 및 검색 방법
CN104036018A (zh) * 2014-06-25 2014-09-10 百度在线网络技术（北京）有限公司 视频获取方法和装置
CN106776872A (zh) * 2016-11-29 2017-05-31 暴风集团股份有限公司 根据语音定义语意进行语音搜索的方法及系统
CN111625716B (zh) * 2020-05-12 2023-10-31 聚好看科技股份有限公司 媒资推荐方法、服务器及显示设备
CN111708942B (zh) * 2020-06-12 2023-08-08 北京达佳互联信息技术有限公司 多媒体资源推送方法、装置、服务器及存储介质
CN112000820A (zh) * 2020-08-10 2020-11-27 海信电子科技(武汉)有限公司 一种媒资推荐方法及显示设备
CN112885354B (zh) * 2021-01-25 2022-09-23 海信视像科技股份有限公司 一种显示设备、服务器及基于语音的显示控制方法
CN112989076A (zh) * 2021-04-15 2021-06-18 北京字节跳动网络技术有限公司 多媒体内容搜索方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639957A (zh) * 2013-11-06 2015-05-20 株式会社Ntt都科摩 移动多媒体终端、视频节目推荐方法及其服务器
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN110234018A (zh) * 2019-07-09 2019-09-13 腾讯科技（深圳）有限公司 多媒体内容描述生成方法、训练方法、装置、设备及介质
CN111581510A (zh) * 2020-05-07 2020-08-25 腾讯科技（深圳）有限公司 分享内容处理方法、装置、计算机设备和存储介质
CN111984825A (zh) * 2020-08-28 2020-11-24 北京百度网讯科技有限公司 用于搜索视频的方法和装置
CN112115299A (zh) * 2020-09-17 2020-12-22 北京百度网讯科技有限公司 视频搜索方法、装置、推荐方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN113490057A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN112511882B (zh) 一种显示设备及语音唤起方法
CN112000820A (zh) 一种媒资推荐方法及显示设备
CN112885354B (zh) 一种显示设备、服务器及基于语音的显示控制方法
CN112182196A (zh) 应用于多轮对话的服务设备及多轮对话方法
CN112002321B (zh) 显示设备、服务器及语音交互方法
CN112165641A (zh) 一种显示设备
CN113395556A (zh) 显示设备及详情页展示的方法
CN113139856B (zh) 影视会员套餐推荐方法及设备
CN114186137A (zh) 服务器及媒资混合推荐方法
CN113490057B (zh) 显示设备和媒资推荐方法
CN112601117B (zh) 显示设备和内容展示方法
CN112804567A (zh) 一种显示设备、服务器及视频推荐的方法
CN112584213A (zh) 一种显示设备和图像识别结果的展示方法
CN113722542A (zh) 视频推荐方法及显示设备
CN111950288B (zh) 一种命名实体识别中的实体标注方法及智能设备
CN113038217A (zh) 一种显示设备、服务器及应答语生成方法
CN112601116A (zh) 一种显示设备及内容显示方法
CN112199560A (zh) 一种设置项的搜索方法及显示设备
CN115150673B (zh) 显示设备及媒资展示方法
CN113076427B (zh) 一种媒资资源搜索方法、显示设备及服务器
CN113593559B (zh) 一种内容显示方法、显示设备及服务器
CN115174997B (zh) 显示设备和媒资推荐方法
CN112866760B (zh) 一种内容显示方法、显示设备及服务器
CN114296581A (zh) 显示设备和控件触发方法
CN114296842A (zh) 显示设备和滚动文本检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant