CN114694199A - 媒体内容推荐方法、装置、车载终端及存储介质 - Google Patents

媒体内容推荐方法、装置、车载终端及存储介质 Download PDF

Info

Publication number
CN114694199A
CN114694199A CN202011598643.2A CN202011598643A CN114694199A CN 114694199 A CN114694199 A CN 114694199A CN 202011598643 A CN202011598643 A CN 202011598643A CN 114694199 A CN114694199 A CN 114694199A
Authority
CN
China
Prior art keywords
seat
face image
emotion
images
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011598643.2A
Other languages
English (en)
Inventor
姜顺豹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pateo Network Technology Service Co Ltd
Original Assignee
Shanghai Pateo Network Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Network Technology Service Co Ltd filed Critical Shanghai Pateo Network Technology Service Co Ltd
Priority to CN202011598643.2A priority Critical patent/CN114694199A/zh
Publication of CN114694199A publication Critical patent/CN114694199A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及汽车技术领域,提供了一种媒体内容推荐方法、装置、车载终端及存储介质。该方法获取车内各个座位区域的图像,分别识别出各个座位区域图像中的人脸图像;根据各个座位区域中的人脸图像确定各个座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个座位区域的情绪识别结果;获取各个座位区域与各个所述显示单元的对应关系,根据各个座位区域与各个显示单元的对应关系,分别控制各个显示单元按预设方式显示与各座位区域的情绪识别结果相对应的媒体内容推荐信息。本发明实施例能够较好地适应用户的个性化需求。

Description

媒体内容推荐方法、装置、车载终端及存储介质
技术领域
本发明涉及汽车技术领域,尤其涉及一种媒体内容推荐方法、装置、车载终端及存储介质。
背景技术
目前,车载终端由主驾位设置的主屏幕向着多个屏幕发展。以四座车辆为例,除主驾位设置有屏幕外,副驾驶和后排座位前方也设置有屏幕。各个屏幕显示的媒体资源基本一致,从功能上略显乏味,无法很好地适应用户的个性化需求。
发明内容
鉴于以上内容,本发明提供一种媒体内容推荐方法、装置、车载终端及存储介质。
本发明提供一种媒体内容推荐方法,应用于车载终端,所述车载终端包括至少两个显示单元;所述方法包括:
获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像;
根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果;
获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
在其中一实施例中,所述获取各个所述座位区域与各个所述显示单元的对应关系,包括:
分别识别出各个所述座位区域图像中的座位图像,分别将各个所述座位区域图像中的人脸图像和座位图像建立对应关系;获取各个所述座位图像与各个所述显示单元的对应关系,根据各个所述座位图像与各个所述显示单元的对应关系,得到各个所述座位区域与各个所述显示单元的对应关系。
在其中一实施例中,所述车载终端包括至少两个摄像单元;所述获取车内各个座位区域的图像,包括:
控制各个所述摄像单元分别对应获取车内各个座位区域的图像。
在其中一实施例中,所述获取车内各个座位区域的图像,包括:
获取车内图像,将所述车内图像输入预设分类器进行特征提取以得到各个座位区域的图像。
在其中一实施例中,当在一所述座位区域图像中识别出至少两个人脸图像时,根据预设规则从识别出的至少两个人脸图像中选择其中一人脸图像作为指定人脸图像;
所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据所述指定人脸图像得到指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果,或者,采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定所述指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。
在其中一实施例中,当在一所述座位区域图像中识别出至少两个人脸图像时,所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据该所述座位区域图像中的各个人脸图像分别确定各个人脸图像对应的情绪识别结果,根据该所述座位区域图像中的各个人脸图像对应的情绪识别结果和预设规则算法,得到该所述座位区域的情绪识别结果;或者
采集该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息,根据该所述座位区域图像中的各个人脸图像以及该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息分别确定该所述座位区域图像中的各个人脸图像对应的情绪识别结果,根据该所述座位区域图像中的各个人脸图像对应的情绪识别结果和预设规则算法,得到该所述座位区域的情绪识别结果。
在其中一实施例中,所述根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息,包括:
当所述座位区域的情绪识别结果为惊讶的情况下,控制与所述座位区域相对应的显示单元显示使得惊讶趋于平静的主题、音乐和/或视频推荐信息。
在其中一实施例中,所述根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息,包括:
当所述座位区域的情绪识别结果为悲伤的情况下,控制与所述座位区域相对应的显示单元显示使得悲伤情绪趋于愉悦的主题、音乐和/或视频推荐信息。
本发明还提供一种媒体内容推荐装置,应用于车载终端,所述车载终端包括至少两个显示单元;所述装置包括:
识别模块,用于获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像;
确定模块,用于根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果;
控制模块,用于获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
本发明还提供一种车载终端,所述车载终端包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的媒体内容推荐方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有媒体内容推荐程序,所述媒体内容推荐程序被处理器执行时,实现如上所述的媒体内容推荐方法的步骤。
由于相关技术中,各个屏幕显示的媒体资源基本一致,从功能上略显乏味,无法很好地适应用户的个性化需求。而本发明实施例中,根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,根据各个座位区域的情绪识别结果分别控制与各个座位区域的情绪识别结果相对应的显示单元按预设方式显示与各个座位区域的情绪识别结果相对应的媒体内容推荐信息。本发明实施例能够控制各个显示单元根据各个座位区域的情绪识别结果显示相对应的媒体内容推荐信息,较好地适应用户的个性化需求。
附图说明
图1为本发明实施例车载终端的示意图;
图2为本发明实施例媒体内容推荐方法的流程图;
图3为本发明实施例媒体内容推荐装置的模块示意图;
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术用户在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1所示,为本发明车载终端1较佳实施例的示意图。
该车载终端1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述车载终端1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述车载终端1的内部存储单元,例如该车载终端1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述车载终端1的外部存储设备,例如该车载终端1配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器11还可以既包括所述车载终端1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述车载终端1的操作系统和各类应用软件,例如媒体内容推荐程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述车载终端1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行媒体内容推荐程序10的程序代码等。
显示单元13可以称为显示屏或显示器。在一些实施例中显示单元13可以是LED显示器、液晶显示器、触控式液晶显示器、屏幕以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示单元13用于显示在车载终端1中处理的信息以及用于显示可视化的工作页面,例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口),该网络接口14通常用于在所述车载终端1与其它车载终端之间建立通信连接。
图1仅示出了具有组件11-14以及媒体内容推荐程序10的车载终端1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,所述车载终端1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。
该车载终端1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。
本实施例中,所述车载终端用于安装于车辆中,具体地,该车辆内每个座位区域或者部分座位区域的前方对应设置有所述显示单元,并且至少有两个座位区域设置有显示单元,显示单元用于显示信息,各个座位区域的显示单元显示的信息相互独立。其中,显示单元为屏幕。一座位区域可以包含一个或多个座位。以双排座车辆为例,可以将主驾位、副驾驶位、后排左座位、后排中座位和后排右座位分别作为五个座位区域,也可以将主驾位、副驾驶位作为一座位区域且将后排左座位、后排中座位和后排右座位作为另一座位区域。具体地,可以在主驾驶位和副驾驶位这一座位区域前方设置一显示单元且在后排三个座位这一座位区域的前方设置一显示单元(即后排三座位共用一显示单元),或者还可以在主驾位、副驾驶位、后排左座位、后排中座位和后排右座位这五个座位区域的前方分别设置一显示单元,或者,主驾驶位和副驾驶位这两个座位区域前方分别设置一显示单元且后排座位不设显示单元,本实施例不进行特殊限制。一座位区域对应的显示单元数量为一个或多个,对此不作特殊限制。
在车辆内设置有多个显示单元的车载终端主要分为两种:一种为各个显示单元分别对应于独立运行的操作系统,以使得多个显示单元的内容各自独立;另一种为各个显示单元均对应于同一操作系统,进一步而言,本实施例中的媒体内容推荐方法中的步骤适于在同一操作系统下进行执行,通过分别独立地设置各个显示单元数据接口的显示信息来设置各个显示单元显示内容。
在具体实施中,所述车载终端中可以运行有安卓(Android)操作系统,但不限于此,所述车载终端中可以运行有其他任何适当的操作系统,例如Linux等嵌入式操作系统。
车载终端还包括摄像单元和麦克风。以双排座车辆为例,可以在主驾驶位和副驾驶位这一座位区域前方设置一摄像单元且在后排三个座位这一座位区域的前方设置一摄像单元(即后排三座位共用一摄像单元),或者还可以在主驾位、副驾驶位、后排左座位、后排中座位和后排右座位这五个座位区域的前方分别设置一摄像单元,或者,主驾驶位和副驾驶位这两个座位区域前方分别设置一摄像单元且后排座位不设摄像单元,本实施例不进行特殊限制。一座位区域对应的摄像单元数量为一个或多个,对此不作特殊限制。本实施例中设有显示单元的座位区域也必然对应设有摄像单元。当然,可以只设置一摄像单元,该摄像单元可拍摄车内多个设有显示单元的座位区域的图像。
在上述实施例中,处理器12执行存储器11中存储的媒体内容推荐程序10时可以实现如下步骤:
获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像;
根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果;
获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
关于上述步骤的详细介绍,请参照下述图2关于媒体内容推荐方法实施例的流程图的说明以及图3关于媒体内容推荐装置100实施例的功能模块图。
本发明实施例公开了一种媒体内容推荐方法,该媒体内容推荐方法可以应用于车载终端,本发明实施例的媒体内容推荐方法可以包括以下步骤:
步骤S10,获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像。
本实施例中,通过控制设置在与各个座位区域对应的摄像单元进行实时采集各个座位区域的图像信息。
可选地,所述获取车内各个座位区域的图像,包括:
获取车内图像,将所述车内图像输入预设分类器进行特征提取以得到各个座位区域的图像。
可以理解的是,控制一摄像单元采集车内多个座位区域的全景图像信息作为车内图像。预设分类器是预先训练完成的,换言之,预设分类器是通过标注有特征的车内图像训练集进行训练后得到的。将车内图像输入分类器,分类器将车内图像进行提取特征,分类器按照特征提取出各个座位区域的图像块,即分类器将车内图像分割切块为多个座位区域的图像块。以双排座车辆为例,分类器从车内图像提取出主驾位区域、副驾驶位区域、后排左座位区域、后排中座位区域和后排右座位区域的图像块。
可选地,所述获取车内各个座位区域的图像,包括:
控制各个所述摄像单元分别对应获取车内各个座位区域的图像。
可以理解的是,本实施例中设有显示单元的各个座位区域也各自对应设有摄像单元。如此,各个座位区域由各自对应的摄像单元进行拍摄,得到各个座位区域的图像。
可选地,所述分别识别出各个座位区域图像中的人脸图像,包括:
将各个座位区域图像分别输入预设类型识别模型,以识别出所述各个座位区域图像中的人脸图像。
可以理解的是,预设类型识别模型是预先训练完成的,换言之,预设面部情绪识别模型是通过标注有人脸编号的人脸图像训练集进行训练后得到的模型。
例如,二排座车辆内乘坐五名用户,二排座车辆的五个座位分别为五个不同的座位区域,将二排座车辆的五个座位区域图像分别输入预设类型识别模型,预设类型识别模型分别输出五个识别结果:用户A人脸图像、用户B人脸图像、用户C人脸图像、用户D人脸图像,以及用户E人脸图像。若在座位区域图像中未识别出人脸图像,则无需针对该座位区域图像的座位图像对应的显示单元进行控制。
当然也可采用其他方式识别各个座位区域图像中的人脸图像,例如将座位区域图像与历史人脸图像相匹配,将匹配成功的人脸图像作为识别出的人脸图像。
步骤S20,根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果。
本实施例中,将从各个所述座位区域中识别出的人脸图像输入预设面部情绪识别模型以输出各个人脸图像的情绪判断结果,根据各个人脸图像与各个座位区域的对应关系以及各个人脸图像对应用户的情绪判断结果,计算得到各个座位区域的情绪识别结果。例如,主驾驶位为一座位区域,将主驾驶位图像中的人脸图像输入预设面部情绪识别模型以输出主驾驶位图像中的人脸图像的情绪判断结果,将该情绪判断结果作为主驾驶位的情绪识别结果。
或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,基于各个人脸图像与各个座位区域的对应关系以及各个人脸图像对应用户的情绪判断结果,计算得到各个座位区域的情绪识别结果。
具体地,待识别生物信息可以为待识别语音,可根据历史人脸图像和历史声纹的对应关系,确定采集到的待识别语音与识别出的人脸图像的对应关系。当然,也可通过声音定位得到声源位置,结合人脸图像所在位置确定待识别声音与人脸图像的对应关系,或者其他方式确定待识别语音与人脸图像的对应关系。
情绪识别结果包括中性情感、开心、悲伤、惊讶、害怕、生气。当然,在具体实现时,关于情绪分类也可以以上述几种分类为基础在每一种情绪基础上根据强度的变化而细分,如此可以设置更为详细的情绪类别标签。例如,将“开心”细分为大笑、微笑等,将“悲伤”细分为抽泣、大哭等。
所述获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,包括:
S1、获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集车内的所有待识别语音;
S2、将采集的各个待识别语音分别输入预设自然语言处理(Natural LanguageProcessing,NLP)模型,得到各个待识别语音对应的自然语言文本,将各个待识别语音对应的自然语言文本分别输入预设语义识别模型以输出与各个自然语言文本对应的情绪判断结果作为第一情绪判断结果;
S3、将采集的各个待识别语音分别输入预设语音情绪分类模型以输出各个待识别语音对应的情绪判断结果作为第二情绪判断结果;
S4、将采集识别出的各个人脸图像分别输入预设面部情绪识别模型以输出识别出的各个人脸图像对应的情绪判断结果作为第三情绪判断结果;
S5、基于历史语音的声纹与历史人脸图像的对应关系,从识别出的人脸图像和待识别语音中找出具有对应关系的人脸图像和待识别语音;基于人脸图像和待识别语音的对应关系,根据人脸图像与第三情绪判断结果的对应关系以及待识别语音与第一情绪判断结果、第二情绪判断结果的对应关系,确定出具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果;
S6、判断具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中是否引入用户有至少两个情绪判断结果一致,当具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致时,将一致的情绪判断结果作为与一致的情绪判断结果对应人脸图像相对应用户的情绪判断结果;当具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果均不一致时,重复如上S1、S2、S3、S4和S5步骤,直至所有具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致。
可以理解的是,控制摄像头采集用户的人脸图像,并控制麦克风采集用户的待识别语音。预设自然语言处理模型、预设语义识别模型、预设语音情绪分类模型和预设面部情绪识别模型均是预先训练完成的。情绪判断结果包括中性情感、开心、悲伤、惊讶、害怕、生气。情绪判断结果与情绪识别结果一致。
需要说明的是,将采集的待识别语音输入预设语音情绪分类模型以输出待识别语音对应的情绪判断结果作为第二情绪判断结果,包括:
将采集的待识别语音提取出声谱特征和韵律学特征,将声谱特征和韵律学特征输入预设语音情绪分类模型以输出待识别语音对应的情绪判断结果作为第二情绪判断结果。当然,可以从待识别语音提出其他特征,将提取出的其他特征输入对应的预设声音情绪识别模型来得到情绪判断结果。
可选地,预设自然语言处理模型、预设语义识别模型、预设语音情绪分类模型和预设面部情绪识别模型还可以是基于卷积神经网络(Convolutional NeuralNetworks,CNN)的模型,或,该情绪分类模型还可以是基于深度神经网络(Deep NeuralNetworks,DNN)的模型,本申请实施例对情绪分类模型的具体实现方式不做限定。
可选地,该预设语音情绪分类模型是通过标注有情绪判断结果的语音训练集进行训练后得到的模型。
预设语义识别模型是通过标注有情绪判断结果的文本训练集进行训练后得到的模型。
预设面部情绪识别模型是通过标注有情绪判断结果的人脸图像训练集进行训练后得到的模型。
具有对应关系的历史语音和历史人脸图像属于同一用户,换言之,车载终端将同属于一用户的历史语音和历史人脸图像建立并保存了对应关系。由于每个用户的声纹和面容是不同的,因此待识别语音的声纹能够与同一用户的历史声纹相匹配,同理,人脸图像能够与同一用户的历史人脸图像相匹配,基于历史语音和历史人脸图像的对应关系,可以找出具有对应关系的人脸图像和待识别语音。进一步地,第一情绪判断结果、第二情绪判断结果由待识别语音得到,第三情绪判断结果由人脸图像得到,利用人脸图像和待识别语音的对应关系,可以确定出至少一组具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果。
当第一情绪判断结果和第二情绪判断结果一致且第三情绪判断结果与其他情绪判断结果不一致(例如第一情绪判断结果和第二情绪判断结果均为开心且第三情绪判断结果为平静)、第一情绪判断结果和第三情绪判断结果一致且第二情绪判断结果与其他情绪判断结果不一致、第二情绪判断结果和第三情绪判断结果一致且第一情绪判断结果与其他情绪判断结果不一致、或者第一情绪判断结果和第二情绪判断结果一致且第三情绪判断结果均一致时,将一致的情绪判断结果作为一致的情绪判断结果对应座位区域的情绪识别结果(例如将开心作为座位区域的情绪识别结果),使得预测出的情绪识别结果的准确性较高。一致的情绪判断结果具有对应的人脸图像和待识别语音,由人脸图像和/或待识别语音可确定出对应用户。
当具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果均不一致(例如第一情绪判断结果为悲伤,第二情绪判断结果为开心且第三情绪判断结果为平静)时,重新采集人脸图像和待识别语音,直至得到具有对应关系的人脸图像和待识别语音对应用户的情绪识别结果。其中,得到一人脸图像对应用户的情绪判断结果后,可不继续找出已得到情绪判断结果的用户对应的待识别语音,只找出未得到情绪判断结果的用户对应的待识别语音。由此,可较为准确地得到人脸图像对应用户的情绪判断结果。
上述步骤S2、S3和S4的实施顺序不做限定,例如可按照S3、S2和S4的排列顺序实施,也可以按S2、S3和S4的顺序实施,或者同时实施S4、S2和S3。
可选地,也可以根据预设分类规则根据人脸五官特征、声谱特征和韵律学特征对人脸图像和待识别语音进行分类,得到情绪判断结果。
在其他实施例中,所述获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,包括:
S1、获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集车内的所有待识别语音;
S2、将采集的各个待识别语音分别输入预设自然语言处理模型,得到各个待识别语音对应的自然语言文本,将各个待识别语音对应的自然语言文本分别输入预设语义识别模型以输出与各个自然语言文本对应的情绪判断结果作为第一情绪判断结果;
S3、将识别出的各个人脸图像分别输入预设面部情绪识别模型以输出各个人脸图像对应的情绪判断结果作为第二情绪判断结果;
S4、基于历史语音的声纹与历史人脸图像的对应关系,从识别出的各个所述人脸图像和待识别语音中找出具有对应关系的人脸图像和待识别语音;基于人脸图像和待识别语音的对应关系,根据人脸图像与第二情绪判断结果的对应关系以及待识别语音与第一情绪判断结果的对应关系,确定出具有对应关系的第一情绪判断结果和第二情绪判断结果;
S5、判断具有对应关系的第一情绪判断结果和第二情绪判断结果是否一致,当具有对应关系的第一情绪判断结果和第二情绪判断结果一致时,将一致的情绪判断结果作为与一致的情绪判断结果对应人脸图像相对应用户的情绪判断结果;当具有对应关系的第一情绪判断结果和第二情绪判断结果不一致时,重复如上S1、S2、S3和S4步骤,直至所有具有对应关系的第一情绪判断结果和第二情绪判断结果一致。
该实施例各步骤与本实施例S1、S2、S4、S5、S6步骤大致相同,在此不再赘述。
在其他实施例中,所述获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,包括:
S1、获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集车内的所有待识别语音;
S2、将采集的各个待识别语音分别输入预设语音情绪分类模型以输出各个待识别语音对应的情绪判断结果作为第一情绪判断结果;
S3、将识别出的各个用户的人脸图像分别输入预设面部情绪识别模型以输出各个人脸图像对应的情绪判断结果作为第二情绪判断结果;
S4、基于历史语音的声纹与历史人脸图像的对应关系,从识别出的各个所述人脸图像和待识别语音中找出具有对应关系的人脸图像和待识别语音;基于人脸图像和待识别语音的对应关系,根据人脸图像与第二情绪判断结果的对应关系以及待识别语音与第一情绪判断结果的对应关系,确定出具有对应关系的第一情绪判断结果和第二情绪判断结果;
S5、判断具有对应关系的第一情绪判断结果和第二情绪判断结果是否一致,当具有对应关系的第一情绪判断结果和第二情绪判断结果一致时,将一致的情绪判断结果作为与一致的情绪判断结果对应人脸图像相对应用户的情绪判断结果;当具有对应关系的第一情绪判断结果和第二情绪判断结果不一致时,重复如上S1、S2、S3和S4步骤,直至所有具有对应关系的第一情绪判断结果和第二情绪判断结果一致。
该实施例各步骤与本实施例S1、S3、S4、S5、S6步骤大致相同,在此不再赘述。
可选地,当在一所述座位区域图像中识别出至少两个人脸图像时,所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据该所述座位区域图像中的各个人脸图像分别确定各个人脸图像对应的情绪判断结果,根据该所述座位区域图像中的各个人脸图像对应的情绪判断结果和预设规则算法,得到该所述座位区域的情绪识别结果;或者
采集该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息,根据该所述座位区域图像中的各个人脸图像以及该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息分别确定该所述座位区域图像中的各个人脸图像对应用户的情绪判断结果,根据该所述座位区域图像中的各个人脸图像对应用户的情绪判断结果和预设规则算法,得到该所述座位区域的情绪识别结果。
可以理解的是,得到一座位区域中各个人脸图像对应用户的情绪判断结果后,可根据预设规则算法计算计算出多个人脸图像所在座位区域的情绪识别结果。例如,一座位区域包括后排左座位、后排中座位和后排右座位,三个座位对应用户情绪判断结果的权重值相等,当其中两座位对应的用户情绪判断结果相同时,将相同的情绪判断结果作为该座位区域的情绪识别结果。当然,也可采用不同的权重值,例如后排左座位对应用户情绪判断结果和后排右座位对应用户情绪判断结果的权重值相等,后排中座位对应用户情绪判断结果的权重值小于后排左座位对应用户情绪判断结果的权重值。
进一步地,当在一所述座位区域图像中识别出至少两个人脸图像时,根据预设规则从识别出的至少两个人脸图像中选择其中一人脸图像作为指定人脸图像;
所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据所述指定人脸图像得到指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果,或者,采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定所述指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。
可以理解的是,根据预设规则可以指定座位区域中的某一座位上的人脸图像作为指定人脸图像,例如一座位区域包括主驾驶座和副驾驶座,可指定主驾驶座上的人脸图像为指定人脸图像。根据所述指定人脸图像确定指定人脸图像对应用户的情绪判断结果,将指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。或者,采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定指定人脸图像对应用户的情绪判断结果,将指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。
其中,所述采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定指定人脸图像对应用户的情绪判断结果,包括:
S1、采集车内的所有待识别语音;
S2、基于历史语音的声纹与历史人脸图像的对应关系,从待识别语音中找出与指定人脸图像具有对应关系的待识别语音;将找出的待识别语音输入预设自然语言处理模型,得到找出的待识别语音对应的自然语言文本,将找出的待识别语音对应的自然语言文本输入预设语义识别模型以输出与自然语言文本对应的情绪判断结果作为第一情绪判断结果;
S3、将找出的待识别语音输入预设语音情绪分类模型以输出找出的待识别语音对应的情绪判断结果作为第二情绪判断结果;
S4、将指定人脸图像输入预设面部情绪识别模型以输出指定个人脸图像对应的情绪判断结果作为第三情绪判断结果;
S5、判断第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中是否有至少两个情绪判断结果一致,当第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致时,将一致的情绪判断结果作为指定人脸图像对应用户的情绪判断结果;当第一情绪判断结果、第二情绪判断结果和第三情绪判断结果均不一致时,重复如上S1、S2、S3和S4步骤,直至所有具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致。
当然,也可只计算出第一情绪判断结果和第三情绪判断结果,或者只计算出第二情绪判断结果和第三情绪判断结果,判断两情绪判断结果是否一致,步骤与上述的实施例大致相同,在此不再赘述。
可选地,当在一所述座位区域图像中只识别出一个人脸图像时,所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据识别出的人脸图像确定识别出的人脸图像对应的情绪判断结果作为识别出的人脸图像对应座位区域的情绪识别结果,或者,采集识别出的人脸图像对应用户的待识别生物信息,根据识别出的人脸图像和识别出的人脸图像对应用户的待识别生物信息确定识别出的人脸图像对应用户的情绪判断结果作为所述人脸图像对应座位区域的情绪识别结果。
换言之,只识别出一个人脸图像的座位区域的情绪识别结果由该座位区域的这一人脸图像所确定的情绪判断结果确定。
可选地,可根据人脸图像计算人脸图像的情绪得分,或者根据根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪得分,将该情绪得分作为人脸图像所在座位区域的情绪识别结果,例如座位区域的情绪得分为3分。
步骤S30,获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
本实施例中,可选地,当各个座位区域分别由各自对应的摄像单元拍摄的情况下,各个摄像单元各自对应有显示单元,根据各个座位区域与各个摄像单元的对应关系以及各个摄像单元与各个显示单元的对应关系,可得到各个座位区域与各个显示单元的关系。
可选地,当多个座位区域由一摄像单元拍摄的情况下,所述获取各个所述座位区域与各个所述显示单元的对应关系,包括:
分别识别出各个所述座位区域图像中的座位图像,分别将各个所述座位区域图像中的人脸图像和座位图像建立对应关系;获取各个所述座位图像与各个所述显示单元的对应关系,根据各个所述座位图像与各个所述显示单元的对应关系,得到各个所述座位区域与各个所述显示单元的对应关系。
可以理解的是,将各个座位区域图像分别输入预设类型识别模型,以识别出所述各个座位区域图像中的人脸图像和座位图像。当然,也可以分开识别人脸图像和座位图像,只需保证将同一座位区域的人脸图像和座位图像建立对应关系即可。
其中,预设类型识别模型是预先训练完成的,换言之,预设面部情绪识别模型是通过标注有人脸编号的人脸图像训练集和标注有座位编号的座位图像训练集进行训练后得到的模型。
例如,车辆内乘坐五名用户,将二排座车辆的五个座位区域图像分别输入预设类型识别模型,预设类型识别模型分别输出五个识别结果:主驾位图像和用户A人脸图像、副驾驶位图像和用户B人脸图像、后排左座位图像和用户C人脸图像、后排中座位图像和用户D人脸图像,以及后排右座位图像和用户E人脸图像。将同属于主驾驶位区域图像的主驾位图像和用户A人脸图像建立对应关系;将同属于副驾驶位区域图像的副驾驶位图像和用户B人脸图像建立对应关系;将同属于后排左座位区域图像的后排左座位图像和用户C人脸图像建立对应关系;将同属于后排中座位区域图像的后排中座位图像和用户D人脸图像建立对应关系;将同属于后排右座位区域图像的后排右座位图像和用户E人脸图像建立对应关系。若在座位区域图像中未识别出人脸图像,则无需针对该座位区域图像的座位图像对应的显示单元进行控制。
当然也可采用其他方式识别用户人脸和座位,例如将采集到的座位区域图像与预先设置的座位图像相匹配,将匹配成功的预先设置的座位图像的信息作为识别出的座位图像,同理,将采集到的用户人脸图像与预先设置的人脸图像相匹配,将匹配成功的预先设置的人脸图像的信息作为识别出的座位图像。或者,也可采用规则识别人脸图像和座位图像。
车载终端建立并保存了各个座位图像和各个显示单元的对应关系。以前述在主驾位、副驾驶位、后排左座位、后排中座位和后排右座位的前方均设置有显示单元为例,将主驾位、副驾驶位、后排左座位、后排中座位和后排右座位一一对应地与主驾位前方的显示单元、副驾驶位前方的显示单元、后排左座位前方的显示单元、后排中座位前方的显示单元和后排右座位前方的显示单元建立对应关系。
本实施例中,媒体为计算机媒体中的感觉媒体,感觉媒体例如音乐、图片、主题等。所述根据各个座位区域的情绪识别结果,控制各个用户对应的屏幕按预设方式显示与各个座位区域的情绪识别结果相对应的媒体内容推荐信息,包括:
当所述座位区域的情绪识别结果为悲伤的情况下,控制与所述座位区域相对应的显示单元显示使得悲伤情绪趋于愉悦的主题、音乐和/或视频推荐信息。
当所述座位区域的情绪识别结果为惊讶的情况下,控制与所述座位区域相对应的显示单元显示使得惊讶趋于平静的主题、音乐和/或视频推荐信息。
需要说明的是,在得到一座位区域的情绪识别结果的情况下,则先控制对应的显示单元显示与该座位区域的情绪识别结果相对应的媒体内容推荐信息,不必等到得到所有座位区域的情绪识别结果才控制对应的显示单元显示推荐信息。
由于相关技术中,各个屏幕显示的媒体资源基本一致,从功能上略显乏味,无法很好地适应用户的个性化需求。而本发明实施例中,根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,根据各个座位区域的情绪识别结果分别控制与各个座位区域的情绪识别结果相对应的显示单元按预设方式显示与各个座位区域的情绪识别结果相对应的媒体内容推荐信息。本发明实施例能够控制各个显示单元根据各个座位区域的情绪识别结果显示相对应的媒体内容推荐信息,较好地适应用户的个性化需求。
参照图3所示,对应方法实施例,本发明还提供了一种媒体内容推荐装置,本发明所述媒体内容推荐装置100可以安装于车载终端中。根据实现的功能,所述媒体内容推荐装置100可以包括识别模块110、确定模块120、及控制模块130。本发明中所述模块也可以称之为单元,是指一种能够被车载终端处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在车载终端的存储器中。
在本实施例中,关于各模块/单元的功能如下:
识别模块110,用于获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像。
本实施例中,通过控制设置在与各个座位区域对应的摄像单元进行实时采集各个座位区域的图像信息。
可选地,所述识别模块包括获取子模块,用于获取车内图像,将所述车内图像输入预设分类器进行特征提取以得到各个座位区域的图像。
可以理解的是,控制一摄像单元采集车内多个座位区域的全景图像信息作为车内图像。预设分类器是预先训练完成的,换言之,预设分类器是通过标注有特征的车内图像训练集进行训练后得到的。将车内图像输入分类器,分类器将车内图像进行提取特征,分类器按照特征提取出各个座位区域的图像块,即分类器将车内图像分割切块为多个座位区域的图像块。以双排座车辆为例,分类器从车内图像提取出主驾位区域、副驾驶位区域、后排左座位区域、后排中座位区域和后排右座位区域的图像块。
可选地,所述识别模块包括获取子模块,用于控制各个所述摄像单元分别对应获取车内各个座位区域的图像。
可以理解的是,本实施例中设有显示单元的各个座位区域也各自对应设有摄像单元。如此,各个座位区域由各自对应的摄像单元进行拍摄,得到各个座位区域的图像。
可选地,所述识别模块包括识别子模块,用于将各个座位区域图像分别输入预设类型识别模型,以识别出所述各个座位区域图像中的人脸图像。
可以理解的是,预设类型识别模型是预先训练完成的,换言之,预设面部情绪识别模型是通过标注有人脸编号的人脸图像训练集进行训练后得到的模型。
例如,二排座车辆内乘坐五名用户,二排座车辆的五个座位分别为五个不同的座位区域,将二排座车辆的五个座位区域图像分别输入预设类型识别模型,预设类型识别模型分别输出五个识别结果:用户A人脸图像、用户B人脸图像、用户C人脸图像、用户D人脸图像,以及用户E人脸图像。若在座位区域图像中未识别出人脸图像,则无需针对该座位区域图像的座位图像对应的显示单元进行控制。
当然也可采用其他方式识别各个座位区域图像中的人脸图像,例如将座位区域图像与历史人脸图像相匹配,将匹配成功的人脸图像作为识别出的人脸图像。
确定模块120,用于根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果。
本实施例中,将从各个所述座位区域中识别出的人脸图像输入预设面部情绪识别模型以输出各个人脸图像的情绪判断结果,根据各个人脸图像与各个座位区域的对应关系以及各个人脸图像对应用户的情绪判断结果,计算得到各个座位区域的情绪识别结果。例如,主驾驶位为一座位区域,将主驾驶位图像中的人脸图像输入预设面部情绪识别模型以输出主驾驶位图像中的人脸图像的情绪判断结果,将该情绪判断结果作为主驾驶位的情绪识别结果。
或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,基于各个人脸图像与各个座位区域的对应关系以及各个人脸图像对应用户的情绪判断结果,计算得到各个座位区域的情绪识别结果。
具体地,待识别生物信息可以为待识别语音,可根据历史人脸图像和历史声纹的对应关系,确定采集到的待识别语音与识别出的人脸图像的对应关系。当然,也可通过声音定位得到声源位置,结合人脸图像所在位置确定待识别声音与人脸图像的对应关系,或者其他方式确定待识别语音与人脸图像的对应关系。
情绪识别结果包括中性情感、开心、悲伤、惊讶、害怕、生气。当然,在具体实现时,关于情绪分类也可以以上述几种分类为基础在每一种情绪基础上根据强度的变化而细分,如此可以设置更为详细的情绪类别标签。例如,将“开心”细分为大笑、微笑等,将“悲伤”细分为抽泣、大哭等。
所述获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,包括:
S1、获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集车内的所有待识别语音;
S2、将采集的各个待识别语音分别输入预设自然语言处理(Natural LanguageProcessing,NLP)模型,得到各个待识别语音对应的自然语言文本,将各个待识别语音对应的自然语言文本分别输入预设语义识别模型以输出与各个自然语言文本对应的情绪判断结果作为第一情绪判断结果;
S3、将采集的各个待识别语音分别输入预设语音情绪分类模型以输出各个待识别语音对应的情绪判断结果作为第二情绪判断结果;
S4、将采集识别出的各个人脸图像分别输入预设面部情绪识别模型以输出识别出的各个人脸图像对应的情绪判断结果作为第三情绪判断结果;
S5、基于历史语音的声纹与历史人脸图像的对应关系,从识别出的人脸图像和待识别语音中找出具有对应关系的人脸图像和待识别语音;基于人脸图像和待识别语音的对应关系,根据人脸图像与第三情绪判断结果的对应关系以及待识别语音与第一情绪判断结果、第二情绪判断结果的对应关系,确定出具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果;
S6、判断具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中是否引入用户有至少两个情绪判断结果一致,当具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致时,将一致的情绪判断结果作为与一致的情绪判断结果对应人脸图像相对应用户的情绪判断结果;当具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果均不一致时,重复如上S1、S2、S3、S4和S5步骤,直至所有具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致。
可以理解的是,控制摄像头采集用户的人脸图像,并控制麦克风采集用户的待识别语音。预设自然语言处理模型、预设语义识别模型、预设语音情绪分类模型和预设面部情绪识别模型均是预先训练完成的。情绪判断结果包括中性情感、开心、悲伤、惊讶、害怕、生气。情绪判断结果与情绪识别结果一致。
需要说明的是,将采集的待识别语音输入预设语音情绪分类模型以输出待识别语音对应的情绪判断结果作为第二情绪判断结果,包括:
将采集的待识别语音提取出声谱特征和韵律学特征,将声谱特征和韵律学特征输入预设语音情绪分类模型以输出待识别语音对应的情绪判断结果作为第二情绪判断结果。当然,可以从待识别语音提出其他特征,将提取出的其他特征输入对应的预设声音情绪识别模型来得到情绪判断结果。
可选地,预设自然语言处理模型、预设语义识别模型、预设语音情绪分类模型和预设面部情绪识别模型还可以是基于卷积神经网络(Convolutional NeuralNetworks,CNN)的模型,或,该情绪分类模型还可以是基于深度神经网络(Deep NeuralNetworks,DNN)的模型,本申请实施例对情绪分类模型的具体实现方式不做限定。
可选地,该预设语音情绪分类模型是通过标注有情绪判断结果的语音训练集进行训练后得到的模型。
预设语义识别模型是通过标注有情绪判断结果的文本训练集进行训练后得到的模型。
预设面部情绪识别模型是通过标注有情绪判断结果的人脸图像训练集进行训练后得到的模型。
具有对应关系的历史语音和历史人脸图像属于同一用户,换言之,车载终端将同属于一用户的历史语音和历史人脸图像建立并保存了对应关系。由于每个用户的声纹和面容是不同的,因此待识别语音的声纹能够与同一用户的历史声纹相匹配,同理,人脸图像能够与同一用户的历史人脸图像相匹配,基于历史语音和历史人脸图像的对应关系,可以找出具有对应关系的人脸图像和待识别语音。进一步地,第一情绪判断结果、第二情绪判断结果由待识别语音得到,第三情绪判断结果由人脸图像得到,利用人脸图像和待识别语音的对应关系,可以确定出至少一组具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果。
当第一情绪判断结果和第二情绪判断结果一致且第三情绪判断结果与其他情绪判断结果不一致(例如第一情绪判断结果和第二情绪判断结果均为开心且第三情绪判断结果为平静)、第一情绪判断结果和第三情绪判断结果一致且第二情绪判断结果与其他情绪判断结果不一致、第二情绪判断结果和第三情绪判断结果一致且第一情绪判断结果与其他情绪判断结果不一致、或者第一情绪判断结果和第二情绪判断结果一致且第三情绪判断结果均一致时,将一致的情绪判断结果作为一致的情绪判断结果对应座位区域的情绪识别结果(例如将开心作为座位区域的情绪识别结果),使得预测出的情绪识别结果的准确性较高。一致的情绪判断结果具有对应的人脸图像和待识别语音,由人脸图像和/或待识别语音可确定出对应用户。
当具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果均不一致(例如第一情绪判断结果为悲伤,第二情绪判断结果为开心且第三情绪判断结果为平静)时,重新采集人脸图像和待识别语音,直至得到具有对应关系的人脸图像和待识别语音对应用户的情绪识别结果。其中,得到一人脸图像对应用户的情绪判断结果后,可不继续找出已得到情绪判断结果的用户对应的待识别语音,只找出未得到情绪判断结果的用户对应的待识别语音。由此,可较为准确地得到人脸图像对应用户的情绪判断结果。
上述步骤S2、S3和S4的实施顺序不做限定,例如可按照S3、S2和S4的排列顺序实施,也可以按S2、S3和S4的顺序实施,或者同时实施S4、S2和S3。
可选地,也可以根据预设分类规则根据人脸五官特征、声谱特征和韵律学特征对人脸图像和待识别语音进行分类,得到情绪判断结果。
在其他实施例中,所述获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,包括:
S1、获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集车内的所有待识别语音;
S2、将采集的各个待识别语音分别输入预设自然语言处理模型,得到各个待识别语音对应的自然语言文本,将各个待识别语音对应的自然语言文本分别输入预设语义识别模型以输出与各个自然语言文本对应的情绪判断结果作为第一情绪判断结果;
S3、将识别出的各个人脸图像分别输入预设面部情绪识别模型以输出各个人脸图像对应的情绪判断结果作为第二情绪判断结果;
S4、基于历史语音的声纹与历史人脸图像的对应关系,从识别出的各个所述人脸图像和待识别语音中找出具有对应关系的人脸图像和待识别语音;基于人脸图像和待识别语音的对应关系,根据人脸图像与第二情绪判断结果的对应关系以及待识别语音与第一情绪判断结果的对应关系,确定出具有对应关系的第一情绪判断结果和第二情绪判断结果;
S5、判断具有对应关系的第一情绪判断结果和第二情绪判断结果是否一致,当具有对应关系的第一情绪判断结果和第二情绪判断结果一致时,将一致的情绪判断结果作为与一致的情绪判断结果对应人脸图像相对应用户的情绪判断结果;当具有对应关系的第一情绪判断结果和第二情绪判断结果不一致时,重复如上S1、S2、S3和S4步骤,直至所有具有对应关系的第一情绪判断结果和第二情绪判断结果一致。
该实施例各步骤与本实施例S1、S2、S4、S5、S6步骤大致相同,在此不再赘述。
在其他实施例中,所述获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪判断结果,包括:
S1、获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像,采集车内的所有待识别语音;
S2、将采集的各个待识别语音分别输入预设语音情绪分类模型以输出各个待识别语音对应的情绪判断结果作为第一情绪判断结果;
S3、将识别出的各个用户的人脸图像分别输入预设面部情绪识别模型以输出各个人脸图像对应的情绪判断结果作为第二情绪判断结果;
S4、基于历史语音的声纹与历史人脸图像的对应关系,从识别出的各个所述人脸图像和待识别语音中找出具有对应关系的人脸图像和待识别语音;基于人脸图像和待识别语音的对应关系,根据人脸图像与第二情绪判断结果的对应关系以及待识别语音与第一情绪判断结果的对应关系,确定出具有对应关系的第一情绪判断结果和第二情绪判断结果;
S5、判断具有对应关系的第一情绪判断结果和第二情绪判断结果是否一致,当具有对应关系的第一情绪判断结果和第二情绪判断结果一致时,将一致的情绪判断结果作为与一致的情绪判断结果对应人脸图像相对应用户的情绪判断结果;当具有对应关系的第一情绪判断结果和第二情绪判断结果不一致时,重复如上S1、S2、S3和S4步骤,直至所有具有对应关系的第一情绪判断结果和第二情绪判断结果一致。
该实施例各步骤与本实施例S1、S3、S4、S5、S6步骤大致相同,在此不再赘述。
可选地,当在一所述座位区域图像中识别出至少两个人脸图像时,所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据该所述座位区域图像中的各个人脸图像分别确定各个人脸图像对应的情绪判断结果,根据该所述座位区域图像中的各个人脸图像对应的情绪判断结果和预设规则算法,得到该所述座位区域的情绪识别结果;或者
采集该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息,根据该所述座位区域图像中的各个人脸图像以及该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息分别确定该所述座位区域图像中的各个人脸图像对应用户的情绪判断结果,根据该所述座位区域图像中的各个人脸图像对应用户的情绪判断结果和预设规则算法,得到该所述座位区域的情绪识别结果。
可以理解的是,得到一座位区域中各个人脸图像对应用户的情绪判断结果后,可根据预设规则算法计算计算出多个人脸图像所在座位区域的情绪识别结果。例如,一座位区域包括后排左座位、后排中座位和后排右座位,三个座位对应用户情绪判断结果的权重值相等,当其中两座位对应的用户情绪判断结果相同时,将相同的情绪判断结果作为该座位区域的情绪识别结果。当然,也可采用不同的权重值,例如后排左座位对应用户情绪判断结果和后排右座位对应用户情绪判断结果的权重值相等,后排中座位对应用户情绪判断结果的权重值小于后排左座位对应用户情绪判断结果的权重值。
进一步地,当在一所述座位区域图像中识别出至少两个人脸图像时,根据预设规则从识别出的至少两个人脸图像中选择其中一人脸图像作为指定人脸图像;
所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据所述指定人脸图像得到指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果,或者,采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定所述指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。
可以理解的是,根据预设规则可以指定座位区域中的某一座位上的人脸图像作为指定人脸图像,例如一座位区域包括主驾驶座和副驾驶座,可指定主驾驶座上的人脸图像为指定人脸图像。根据所述指定人脸图像确定指定人脸图像对应用户的情绪判断结果,将指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。或者,采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定指定人脸图像对应用户的情绪判断结果,将指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。
其中,所述采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定指定人脸图像对应用户的情绪判断结果,包括:
S1、采集车内的所有待识别语音;
S2、基于历史语音的声纹与历史人脸图像的对应关系,从待识别语音中找出与指定人脸图像具有对应关系的待识别语音;将找出的待识别语音输入预设自然语言处理模型,得到找出的待识别语音对应的自然语言文本,将找出的待识别语音对应的自然语言文本输入预设语义识别模型以输出与自然语言文本对应的情绪判断结果作为第一情绪判断结果;
S3、将找出的待识别语音输入预设语音情绪分类模型以输出找出的待识别语音对应的情绪判断结果作为第二情绪判断结果;
S4、将指定人脸图像输入预设面部情绪识别模型以输出指定个人脸图像对应的情绪判断结果作为第三情绪判断结果;
S5、判断第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中是否有至少两个情绪判断结果一致,当第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致时,将一致的情绪判断结果作为指定人脸图像对应用户的情绪判断结果;当第一情绪判断结果、第二情绪判断结果和第三情绪判断结果均不一致时,重复如上S1、S2、S3和S4步骤,直至所有具有对应关系的第一情绪判断结果、第二情绪判断结果和第三情绪判断结果中存在两个情绪判断结果一致或者三个情绪判断结果均一致。
当然,也可只计算出第一情绪判断结果和第三情绪判断结果,或者只计算出第二情绪判断结果和第三情绪判断结果,判断两情绪判断结果是否一致,步骤与上述的实施例大致相同,在此不再赘述。
可选地,当在一所述座位区域图像中只识别出一个人脸图像时,所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据识别出的人脸图像确定识别出的人脸图像对应的情绪判断结果作为识别出的人脸图像对应座位区域的情绪识别结果,或者,采集识别出的人脸图像对应用户的待识别生物信息,根据识别出的人脸图像和识别出的人脸图像对应用户的待识别生物信息确定识别出的人脸图像对应用户的情绪判断结果作为所述人脸图像对应座位区域的情绪识别结果。
换言之,只识别出一个人脸图像的座位区域的情绪识别结果由该座位区域的这一人脸图像所确定的情绪判断结果确定。
可选地,可根据人脸图像计算人脸图像的情绪得分,或者根据根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个人脸图像对应用户的情绪得分,将该情绪得分作为人脸图像所在座位区域的情绪识别结果,例如座位区域的情绪得分为3分。
控制模块130,用于获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
本实施例中,可选地,当各个座位区域分别由各自对应的摄像单元拍摄的情况下,各个摄像单元各自对应有显示单元,根据各个座位区域与各个摄像单元的对应关系以及各个摄像单元与各个显示单元的对应关系,可得到各个座位区域与各个显示单元的关系。
可选地,当多个座位区域由一摄像单元拍摄的情况下,所述获取各个所述座位区域与各个所述显示单元的对应关系,包括:
分别识别出各个所述座位区域图像中的座位图像,分别将各个所述座位区域图像中的人脸图像和座位图像建立对应关系;获取各个所述座位图像与各个所述显示单元的对应关系,根据各个所述座位图像与各个所述显示单元的对应关系,得到各个所述座位区域与各个所述显示单元的对应关系。
可以理解的是,将各个座位区域图像分别输入预设类型识别模型,以识别出所述各个座位区域图像中的人脸图像和座位图像。当然,也可以分开识别人脸图像和座位图像,只需保证将同一座位区域的人脸图像和座位图像建立对应关系即可。
其中,预设类型识别模型是预先训练完成的,换言之,预设面部情绪识别模型是通过标注有人脸编号的人脸图像训练集和标注有座位编号的座位图像训练集进行训练后得到的模型。
例如,车辆内乘坐五名用户,将二排座车辆的五个座位区域图像分别输入预设类型识别模型,预设类型识别模型分别输出五个识别结果:主驾位图像和用户A人脸图像、副驾驶位图像和用户B人脸图像、后排左座位图像和用户C人脸图像、后排中座位图像和用户D人脸图像,以及后排右座位图像和用户E人脸图像。将同属于主驾驶位区域图像的主驾位图像和用户A人脸图像建立对应关系;将同属于副驾驶位区域图像的副驾驶位图像和用户B人脸图像建立对应关系;将同属于后排左座位区域图像的后排左座位图像和用户C人脸图像建立对应关系;将同属于后排中座位区域图像的后排中座位图像和用户D人脸图像建立对应关系;将同属于后排右座位区域图像的后排右座位图像和用户E人脸图像建立对应关系。若在座位区域图像中未识别出人脸图像,则无需针对该座位区域图像的座位图像对应的显示单元进行控制。
当然也可采用其他方式识别用户人脸和座位,例如将采集到的座位区域图像与预先设置的座位图像相匹配,将匹配成功的预先设置的座位图像的信息作为识别出的座位图像,同理,将采集到的用户人脸图像与预先设置的人脸图像相匹配,将匹配成功的预先设置的人脸图像的信息作为识别出的座位图像。或者,也可采用规则识别人脸图像和座位图像。
车载终端建立并保存了各个座位图像和各个显示单元的对应关系。以前述在主驾位、副驾驶位、后排左座位、后排中座位和后排右座位的前方均设置有显示单元为例,将主驾位、副驾驶位、后排左座位、后排中座位和后排右座位一一对应地与主驾位前方的显示单元、副驾驶位前方的显示单元、后排左座位前方的显示单元、后排中座位前方的显示单元和后排右座位前方的显示单元建立对应关系。
本实施例中,媒体为计算机媒体中的感觉媒体,感觉媒体例如音乐、图片、主题等。所述根据各个座位区域的情绪识别结果,控制各个用户对应的屏幕按预设方式显示与各个座位区域的情绪识别结果相对应的媒体内容推荐信息,包括:
当所述座位区域的情绪识别结果为悲伤的情况下,控制模块控制与所述座位区域相对应的显示单元显示使得悲伤情绪趋于愉悦的主题、音乐和/或视频推荐信息。
当所述座位区域的情绪识别结果为惊讶的情况下,控制模块控制与所述座位区域相对应的显示单元显示使得惊讶趋于平静的主题、音乐和/或视频推荐信息。
需要说明的是,在得到一座位区域的情绪识别结果的情况下,则先控制对应的显示单元显示与该座位区域的情绪识别结果相对应的媒体内容推荐信息,不必等到得到所有座位区域的情绪识别结果才控制对应的显示单元显示推荐信息。
由于相关技术中,各个屏幕显示的媒体资源基本一致,从功能上略显乏味,无法很好地适应用户的个性化需求。而本发明实施例中,根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,根据各个座位区域的情绪识别结果分别控制与各个座位区域的情绪识别结果相对应的显示单元按预设方式显示与各个座位区域的情绪识别结果相对应的媒体内容推荐信息。本发明实施例能够控制各个显示单元根据各个座位区域的情绪识别结果显示相对应的媒体内容推荐信息,较好地适应用户的个性化需求。
此外,本发明实施例还提出一种计算机可读存储介质,该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有媒体内容推荐程序10,所述媒体内容推荐程序10被处理器执行时实现如下操作:
获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像;
根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果;
获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
需要强调的是,本发明之计算机可读存储介质的具体实施方式与上述媒体内容推荐方法的具体实施方式大致相同,在此不再赘述。
本发明之计算机可读存储介质的具体实施方式与上述媒体内容推荐方法的具体实施方式大致相同,在此不再赘述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术用户可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,电子装置,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种媒体内容推荐方法,应用于车载终端,其特征在于,所述车载终端包括至少两个显示单元;所述方法包括:
获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像;
根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果;
获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
2.根据权利要求1所述的媒体内容推荐方法,所述获取各个所述座位区域与各个所述显示单元的对应关系,包括:
分别识别出各个所述座位区域图像中的座位图像,分别将各个所述座位区域图像中的人脸图像和座位图像建立对应关系;获取各个所述座位图像与各个所述显示单元的对应关系,根据各个所述座位图像与各个所述显示单元的对应关系,得到各个所述座位区域与各个所述显示单元的对应关系。
3.根据权利要求1所述的媒体内容推荐方法,所述车载终端包括至少两个摄像单元;所述获取车内各个座位区域的图像,包括:
控制各个所述摄像单元分别对应获取车内各个座位区域的图像。
4.根据权利要求1所述的媒体内容推荐方法,所述获取车内各个座位区域的图像,包括:
获取车内图像,将所述车内图像输入预设分类器进行特征提取以得到各个座位区域的图像。
5.根据权利要求1所述的媒体内容推荐方法,当在一所述座位区域图像中识别出至少两个人脸图像时,根据预设规则从识别出的至少两个人脸图像中选择其中一人脸图像作为指定人脸图像;
所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据所述指定人脸图像得到指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果,或者,采集所述指定人脸图像对应用户的待识别生物信息,根据所述指定人脸图像和所述指定人脸图像对应用户的待识别生物信息确定所述指定人脸图像对应用户的情绪判断结果作为指定人脸图像对应座位区域的情绪识别结果。
6.根据权利要求1所述的媒体内容推荐方法,当在一所述座位区域图像中识别出至少两个人脸图像时,所述根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果,包括:
根据该所述座位区域图像中的各个人脸图像分别确定各个人脸图像对应的情绪判断结果,根据该所述座位区域图像中的各个人脸图像对应的情绪判断结果和预设规则算法,得到该所述座位区域的情绪识别结果;或者
采集该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息,根据该所述座位区域图像中的各个人脸图像以及该所述座位区域图像中的各个人脸图像对应用户的待识别生物信息分别确定该所述座位区域图像中的各个人脸图像对应用户的情绪判断结果,根据该所述座位区域图像中的各个人脸图像对应用户的情绪判断结果和预设规则算法,得到该所述座位区域的情绪识别结果。
7.根据权利要求1所述的媒体内容推荐方法,所述根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息,包括:
当所述座位区域的情绪识别结果为惊讶的情况下,控制与所述座位区域相对应的显示单元显示使得惊讶趋于平静的主题、音乐和/或视频推荐信息。
8.根据权利要求1所述的媒体内容推荐方法,所述根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息,包括:
当所述座位区域的情绪识别结果为悲伤的情况下,控制与所述座位区域相对应的显示单元显示使得悲伤情绪趋于愉悦的主题、音乐和/或视频推荐信息。
9.一种媒体内容推荐装置,应用于车载终端,其特征在于,所述车载终端包括至少两个显示单元;所述装置包括:
识别模块,用于获取车内各个座位区域的图像,分别识别出各个所述座位区域图像中的人脸图像;
确定模块,用于根据各个所述座位区域中的人脸图像确定各个所述座位区域的情绪识别结果,或者,采集车内各个人脸图像对应用户的待识别生物信息,根据各个所述座位区域的人脸图像和人脸图像对应用户的待识别生物信息确定各个所述座位区域的情绪识别结果;
控制模块,用于获取各个所述座位区域与各个所述显示单元的对应关系,根据各个所述座位区域与各个所述显示单元的对应关系,分别控制各个所述显示单元按预设方式显示与各所述座位区域的情绪识别结果相对应的媒体内容推荐信息。
10.一种车载终端,其特征在于,所述车载终端包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的媒体内容推荐方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有媒体内容推荐程序,所述媒体内容推荐程序被处理器执行时,实现如权利要求1至8中任一项所述的媒体内容推荐方法的步骤。
CN202011598643.2A 2020-12-30 2020-12-30 媒体内容推荐方法、装置、车载终端及存储介质 Pending CN114694199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011598643.2A CN114694199A (zh) 2020-12-30 2020-12-30 媒体内容推荐方法、装置、车载终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011598643.2A CN114694199A (zh) 2020-12-30 2020-12-30 媒体内容推荐方法、装置、车载终端及存储介质

Publications (1)

Publication Number Publication Date
CN114694199A true CN114694199A (zh) 2022-07-01

Family

ID=82131455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011598643.2A Pending CN114694199A (zh) 2020-12-30 2020-12-30 媒体内容推荐方法、装置、车载终端及存储介质

Country Status (1)

Country Link
CN (1) CN114694199A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098667A1 (zh) * 2022-11-08 2024-05-16 中国第一汽车股份有限公司 一种基于地理位置信息进行智能推荐的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098667A1 (zh) * 2022-11-08 2024-05-16 中国第一汽车股份有限公司 一种基于地理位置信息进行智能推荐的方法及装置

Similar Documents

Publication Publication Date Title
CN106682602B (zh) 一种驾驶员行为识别方法及终端
CN108764185B (zh) 一种图像处理方法及装置
US11140446B2 (en) Sensitivity assessment for media production using artificial intelligence
JP6413391B2 (ja) 変換装置、変換プログラム、及び変換方法
CN110826370A (zh) 车内人员的身份识别方法、装置、车辆及存储介质
CN111985323B (zh) 基于深度卷积神经网络的人脸识别方法及系统
CN109302486B (zh) 一种根据车内环境推送音乐的方法和系统
CN111931640A (zh) 异常坐姿识别方法、装置、电子设备及存储介质
US10445564B2 (en) Method and device for recognizing facial expressions
CN114750686A (zh) 一种控制氛围灯的方法及装置
CN114694199A (zh) 媒体内容推荐方法、装置、车载终端及存储介质
CN111400514A (zh) 一种信息推荐方法、装置和系统
CN114639150A (zh) 情绪识别方法、装置、计算机设备和存储介质
KR101315734B1 (ko) 텍스트의 정서 단어 추출을 통한 정서 분석 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
CN111931036A (zh) 一种多模态融合交互系统、方法、智能机器人及存储介质
CN111339940A (zh) 视频风险识别方法及装置
CN111898363A (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN115620268A (zh) 一种多模态情绪识别方法、装置、电子设备及存储介质
CN113128284A (zh) 一种多模态情感识别方法和装置
CN111429882A (zh) 播放语音的方法、装置及电子设备
CN115168642A (zh) 一种车载音乐推荐方法、装置、设备、存储介质及车辆
CN113704508A (zh) 多媒体信息识别方法、装置、电子设备及存储介质
KR102374281B1 (ko) 이미지로부터 추출한 텍스트 블록의 중요도 판단 시스템 및 그 방법
CN114904270B (zh) 虚拟内容的生成方法及装置、电子设备、存储介质
CN111104658A (zh) 注册方法及装置、认证方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination