CN114065168A - 信息处理方法、智能终端及存储介质 - Google Patents
信息处理方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN114065168A CN114065168A CN202111392778.8A CN202111392778A CN114065168A CN 114065168 A CN114065168 A CN 114065168A CN 202111392778 A CN202111392778 A CN 202111392778A CN 114065168 A CN114065168 A CN 114065168A
- Authority
- CN
- China
- Prior art keywords
- information
- content
- user
- emotion
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提出了一种信息处理方法、智能终端及存储介质,信息处理方法包括以下步骤:获取用户的生物特征信息,所述生物特征信息包括语音信息;根据所述生物特征信息确定或生成用户的情绪特征;根据所述情绪特征确定或生成内容信息,所述内容信息用于回复所述语音信息。本申请在智能终端与用户进行语音交互的过程中,能够获取用户的真实情绪特征,并根据真实的情绪特征输出回复内容信息,反馈更为准确,也增添了趣味性,有利于提高用户体验。
Description
技术领域
本申请涉及信息处理技术领域,具体涉及一种信息处理方法、智能终端及存储介质。
背景技术
随着信息技术发展,智能终端的普及,智能终端内置的麦克风可以接收用户输入的语音指令,响应该语音指令启动相应的应用,为用户提供服务,避免用户需要通过触摸屏幕进行操作,为用户输入操作智能终端提供方便。
在构思及实现本申请过程中,发明人发现至少存在如下问题:智能终端在接收到用户输入的语音数据后,提取出该语音数据的内容,进而智能终端可以确定该语音数据中的语音指令,对语音指令进行响应,或者对用户说出的话进行答复,与用户进行一轮或者多轮的交互,从而解答用户的问题,与用户进行对话。但是,由于智能终端是对用户输入的语音数据进行识别,进而提取用户输入的信息,并获取提取的信息对应的指令进行响应或者进行回复,可能无法理解用户真实的情绪并进行反馈,反馈不够准确,趣味性差,影响用户体验。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
针对上述技术问题,本申请提供一种信息处理方法、智能终端及存储介质,可以获取到用户的真实情绪特征,根据情绪特征输出回复内容信息,反馈更为准确,也增添了趣味性,有利于提高用户体验。
为解决上述技术问题,第一方面,本申请提供一种信息处理方法,可以应用于智能终端,包括以下步骤:
获取用户的生物特征信息,生物特征信息包括语音信息;
根据生物特征信息确定或生成用户的情绪特征;
根据情绪特征确定或生成内容信息,内容信息用于回复语音信息。
可选地,所述内容信息可以为以下至少一种:
文本信息、图像信息、动画信息、音频信息、视频信息。
可选地,为了避免重复冗余,本申请中主要通过内容信息为文本信息进行示例说明。
可选地,生物特征信息还包括人脸图像信息,根据生物特征信息确定或生成用户的情绪特征,包括:
识别语音信息,得到语音内容,根据语音内容确定或生成用户的第一情绪特征;和/或,
识别人脸图像信息,得到表情信息,根据表情信息确定或生成用户的第二情绪特征;
根据第一情绪特征和/或第二情绪特征,确定或生成情绪特征。
可选地,根据第一情绪特征和/或第二情绪特征,确定或生成情绪特征,包括:
确定或生成第一情绪特征对应的第一情绪类别和/或第二情绪特征对应的第二情绪类别;
若第一情绪类别和第二情绪类别相同,则将第一情绪类别确定或生成为情绪特征;和/或,
若第一情绪类别和第二情绪类别不相同,则根据第一情绪类别确定或生成第三情绪类别,将第三情绪类别确定或生成为情绪特征。
可选地,根据情绪特征确定或生成内容信息,包括:
获取语音信息对应的第一回复内容,获取情绪特征对应的第二回复内容;
根据第一回复内容和/或第二回复内容确定或生成内容信息。
可选地,根据上述第一回复内容和/或第二回复内容确定或生成内容信息,包括:
获取情绪特征对应的语气词内容;
根据第一回复内容和/或第二回复内容确定或生成回复内容,在回复内容中添加语气词内容,得到内容信息。
可选地,获取用户的生物特征信息之后,上述方法还包括:
采集用户所处的环境信息,确定或生成环境信息对应的环境类别;
获取环境类别对应的环境内容;
在回复内容中添加语气词内容,得到内容信息,包括:
在回复内容中添加语气词内容和/或环境内容,得到内容信息。
可选地,根据情绪特征确定或生成内容信息之后,方法还包括;
获取情绪特征对应的第一音量和/或环境类别对应的第二音量;
若第二音量的值为预设值,则在用户界面中显示内容信息;和/或,
若第二音量的值不为预设值,则根据上述第一音量和/或第二音量确定或生成目标音量,以目标音量输出内容信息。
可选地,根据情绪特征确定或生成内容信息之后,上述方法还包括:
获取情绪特征对应的表情信息;
在用户界面中显示表情信息。
第二方面,本申请还提供一种信息处理装置,该装置包括:
获取单元,用于获取用户的生物特征信息,生物特征信息包括语音信息;
处理单元,用于根据生物特征信息确定或生成用户的情绪特征;
处理单元,还用于根据情绪特征确定或生成内容信息,内容信息用于回复语音信息。
可选地,所述内容信息可以为以下至少一种:
文本信息、图像信息、动画信息、音频信息、视频信息。
可选地,为了避免重复冗余,本申请中主要通过内容信息为文本信息进行示例说明。
另外,该方面中,信息处理装置其他可选的实施方式可参阅第一方面的相关内容,此处不再详述。
第三方面,本申请还提供一种智能终端,包括:存储器、处理器,其中,上述存储器上存储有信息处理程序,上述信息处理程序被上述处理器执行时实现如上任一所述方法的步骤。
第四方面,本申请还提供一种计算机可读存储介质,存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如上任一所述方法的步骤。
如上所述,本申请的信息处理方法,可以应用于智能终端,包括步骤:获取用户的生物特征信息,该生物特征信息包括语音信息;根据生物特征信息确定或生成用户的情绪特征;根据情绪特征确定或生成内容信息,该内容信息用于回复语音信息。通过上述技术方案,可以实现用户与智能终端沟通的过程中,智能终端回复用户的内容精准且有趣的功能,解决智能终端在获取到用户输入的语音信息后,无法获取用户真实情绪并进行反馈,从而导致反馈不够精准的问题,增添了智能终端回复用户的趣味性以及准确性,进而提高了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种智能终端的硬件结构示意图;
图2为本申请实施例提供的一种通信网络系统架构图;
图3是根据第一实施例示出的信息处理方法的流程示意图;
图4是根据第一实施例示出的信息处理的架构示意图;
图5是根据第二实施例示出的信息处理方法的流程示意图;
图6是根据第二实施例示出的信息处理方法的架构示意图;
图7是根据第三实施例示出的信息处理方法的流程示意图;
图8a是根据第三实施例示出的智能终端回复用户的场景示意图;
图8b是根据第三实施例示出的智能终端回复用户的另一场景示意图;
图8c是根据第三实施例示出的智能终端回复用户的又一场景示意图;
图9是根据本申请实施例提供的一种信息处理装置的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如301、302等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行302后执行301等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
智能终端可以以各种形式来实施。例如,本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)、TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)和5G等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络系统进行描述。
请参阅图2,图2为本申请实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的LTE系统,该LTE系统包括依次通讯连接的UE(User Equipment,用户设备)201,E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
可选地,UE201可以是上述终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031,HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033,SGW(Serving Gate Way,服务网关)2034,PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子系统)或其它IP业务等。
虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统(如5G)等,此处不做限定。
基于上述移动终端硬件结构以及通信网络系统,提出本申请各个实施例。
下面对本申请实施例提供的信息处理方法、智能终端及存储介质进一步进行详细描述。请参阅图3,图3是根据第一实施例示出的一种信息处理方法的流程示意图。图3所示的信息处理包括301~303。本申请实施例的该方法可以由图1所示的智能终端来执行,也可以由该智能终端中的芯片来执行,该智能终端可以应用于图2所示的通信网络系统。图3所示的方法执行主体以智能终端为例。其中:
301、获取用户的生物特征信息。
在本申请实施例中,智能终端内安装有多个不同的应用,可以是系统内置的应用,也可以是用户安装的应用。在智能终端安装的应用中,可以包括语音助手的功能,所谓语音助手是指通过用户与智能终端进行交谈,以智能对话与即时问答的方式进行智能交互,从而实现智能终端帮助用户解决问题。可选地,智能终端可以接收用户输入的语音数据,提取该语音数据中的内容,若该语音数据中的内容为语音指令,则智能终端可以响应该语音指令,或者智能终端对用户说出的话进行回复,解答用户的问题,或者与用户进行对话。
在智能终端与用户进行交互的过程中,智能终端提取用户输入的语音数据的内容,并对提取的内容中包括的信息进行判断,该信息中是否包括语音指令,或者该语音信息中是否包括可以回复的关键词信息,获取对应的回复内容进行输出,从而与用户进行一轮或者多轮的交谈,在交互过程中,智能终端可以解答用户的问题,与用户进行对话。但是,智能终端仅根据用户输入的语音数据进行识别和反馈,无法确定或生成用户真实的情绪,从而回复仅根据用户的语音数据,反馈不够准确,也无法提高智能终端内置的语音助手的趣味性,从而影响用户体验。
可选地,智能终端可以获取用户的生物特征信息,该生物特征信息可以是智能终端采集到的。生物特征信息可以包括用户输入的语音信息以及人脸图像信息。可选地,生物特征信息中的语音信息可以是智能终端内置的麦克风采集到的,人脸图像信息可以是智能终端的摄像头采集到的。可选地,生物特征信息中的语音信息和人脸图像信息也可以是接收其他智能终端发送的,本申请对此不做限定。智能终端可以根据生物特征信息确定或生成用户的情绪特征,根据情绪特征确定或生成内容信息,该内容信息用于回复用户的生物特征信息中的语音信息。从而智能终端可以根据生物特征信息确定或生成用户的真实情绪特征,并根据用户的真实情绪特征进行回复和反馈,有利于提高反馈的准确性,也提高了用户体验。
302、根据生物特征信息确定或生成用户的情绪特征。
可选地,根据生物特征信息确定或生成用户的情绪特征可以包括两个部分:第一部分是通过智能终端识别生物特征信息中的语音信息,得到语音内容,根据语音内容确定或生成用户的第一情绪特征。另一部分是通过智能终端识别生物特征信息中的人脸图像信息,得到用户的表情信息,根据表情信息确定或生成用户的第二情绪特征,根据第一情绪特征和/或第二情绪特征,确定或生成用户的情绪特征。
可选地,语音信息可以是智能终端通过内置的麦克风采集到的用户所说的话的语音数据,智能终端可以对用户的语音数据进行识别,得到语音内容,并根据该语音内容确定或生成一种情绪特征,即第一情绪特征,该第一情绪特征对应一种情绪类别。人脸图像信息可以是智能终端通过摄像头采集到的用户的人脸图像信息,智能终端可以从该人脸图像信息中,确定或生成用户的表情信息,根据表情信息确定或生成用户的第二情绪特征。该第二情绪特征也对应一种情绪类别,智能终端可以根据第一情绪特征对应的第一情绪类别和/或第二情绪特征对应的第二情绪类别确定或生成情绪特征。
可选地,智能终端可以确定或生成第一情绪特征对应的第一情绪类别,和/或第二情绪特征对应的第二情绪类别。若智能终端确定或生成该第一情绪类别和第二情绪类别相同,即为同一类别,则将第一情绪类别或第二情绪类别确定或生成为该情绪特征对应的类别。和/或,若该智能终端确定或生成该第一情绪类别和第二情绪类别不同,即该第一情绪类别和该第二情绪类别不为同一类别,则可以根据第一情绪类别确定或生成第三情绪类别,即根据语音信息确定或生成的情绪类别确定或生成用户的真实情绪类别,即第三情绪类别,并将第三情绪类别确定或生成为该情绪特征所对应的情绪类别。
303、根据情绪特征确定或生成内容信息。
可选地,所述内容信息可以为以下至少一种:
文本信息、图像信息、动画信息、音频信息、视频信息。
可选地,为了避免重复冗余,本申请中主要通过内容信息为文本信息进行示例说明。
可选地,智能终端可以根据语音信息获取该语音信息对应的第一回复内容,该第一回复内容用于回复用户的语音信息。由于仅通过语音信息进行回复,不够准确的理解用户的真实情绪,因此,通过确定或生成出的情绪特征,即用户真实的情绪,获取对应的第二回复内容,通过第二回复内容对第一回复内容进行修正,即根据第一回复内容和/或第二回复内容确定或生成最终的回复内容。
可选地,智能终端还可以获取情绪特征对应的语气词内容,所谓语气词内容是指智能终端在输出回复语句时,所采用的语气词,该语气词可以表示智能终端输出的回复时的回复口吻,从而能为回复用户增添趣味。可选地,在根据第一回复内容和/或第二回复内容确定或生成回复内容后,可以在回复内容中添加该情绪特征对应的语气词内容,得到内容信息。
可选地,智能终端除了获取用户的生物特征信息之外,还可以采集用户所处的环境信息。可选地,该环境信息可以包括当前智能终端所在的位置信息、该位置信息的天气信息、当前时刻的时间信息以及场景信息。场景信息可以包括用户所处的位置是室内环境还是室外环境。智能终端可以根据环境信息确定或生成该环境信息对应的环境类别,环境类别可以为预置的多种环境类别中的一种环境类别。智能终端在确定或生成环境类别后,可以获取环境类别对应的环境内容,在添加语气词内容的回复内容基础上,添加环境内容,得到最终的回复内容,即内容信息。
可选地,智能终端在确定或生成内容信息后,可以获取情绪特征对应的第一音量和/或环境类别对应的第二音量,该第一音量和/或第二音量为智能终端输出内容信息的音量。可选地,智能终端可以通过扬声器输出内容信息,即将内容信息转换为语音数据,播放该语音数据,第一音量和/或第二音量为播放该语音数据所使用的音量。可选地,若该第二音量的值为预设值,则在智能终端的用户界面中显示该内容信息,该预设值可以为0,即为静音的音量,则无需通过智能终端的扬声器播放该内容信息。和/或,若该第二音量的值不为预设值,则可以根据第一音量和/或第二音量确定或生成目标音量,以目标音量输出该内容信息,即以该目标音量播放该内容信息。
可选地,智能终端在确定或生成内容信息后,除了可以以一个目标音量输出内容信息,还可以在用户界面中显示交互动作。智能终端可以获取情绪特征对应的表情信息,在用户界面中显示获取到的表情信息。可选地,智能终端存储有表情信息库,智能终端可以从表情信息库中获取情绪特征对应的表情信息。可选地,智能终端也可以获取云端的表情信息库中,情绪特征对应的表情信息。本申请对获取表情信息的方式不做限定。
请一并参阅图4,图4是根据第一实施例示出的信息处理的架构示意图。如图4所示,智能终端获取用户的生物特征信息,该生物特征信息包括语音信息和/或表情信息,智能终端还获取环境信息,环境信息可以包括位置信息、天气信息、时间信息以及场景信息。智能终端根据语音信息确定或生成第一情绪类别,根据表情信息确定或生成第二情绪类别,根据第一情绪类别和/或第二情绪类别确定或生成情绪特征,以及智能终端根据环境信息确定或生成环境类别。可选地,智能终端根据语音信息确定或生成第一回复内容,根据情绪特征确定或生成第二回复内容、语气词内容、第一音量以及表情信息,智能终端根据环境类别确定或生成环境内容以及第二音量。可选地,智能终端根据第一音量和/或第二音量确定或生成目标音量,根据第一回复内容、第二回复内容、语气词内容、环境内容确定或生成回复内容。最终,智能终端以目标音量输出回复内容,输出表情信息。
在图3所描述的方法中,智能终端通过获取用户的生物特征信息,生物特征信息包括语音信息,根据生物特征信息确定或生成用户的情绪特征,进而根据该情绪特征确定或生成内容信息,该内容信息用于回复生物特征信息中的语音信息。因此,基于图3所描述的方法,一方面,智能终端可以获取用户的生物特征信息,根据生物特征信息确定或生成用户的情绪特征,该生物特征信息可以用于智能终端确定或生成用户的真实情绪特征,有利于对用户更精准的反馈。另一方面,智能终端根据情绪特征确定或生成内容信息,可以反馈更为准确,也增添了趣味性,有利于提高用户体验。
请参阅图5,图5是根据第二实施例示出的一种翻译方法的另一流程示意图。图5所示的处理方法包括501~503。本申请实施例的该方法可以由图1所示的移动终端来执行,也可以由该移动终端中的芯片来执行,该移动终端可以应用于图2所示的通信网络系统。图5所示的方法执行主体以移动终端为例。
需要说明的是,本申请中各个实施例之间相同或相似的部分可以互相参考。在本申请中各个实施例、以及各实施例中的各个实施方式/实施方法/实现方法中,如果没有特殊说明以及逻辑冲突,不同的实施例之间、以及各实施例中的各个实施方式/实施方法/实现方法之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例、以及各实施例中的各个实施方式/实施方法/实现方法中的技术特征根据其内在的逻辑关系可以组合形成新的实施例、实施方式、实施方法、或实现方法。以上上述的本申请实施方式并不构成对本申请保护范围的限定。其中:
501、识别语音信息,得到语音内容,根据语音内容确定或生成用户的第一情绪特征。
可选地,智能终端可以使用自然语音处理(Natural Language Processing,NLP)技术,在自然语言技术中包括自然语言理解(Natural Language Understanding,NLU)的部分,所谓自然语言理解是指智能终端能够像人一样理解语言的能力。对于用户输入的语音信息得到的语音内容而言,智能终端可以理解语音内容中句子的领域分类、意图识别和语义槽填充。领域分类可以是该语音内容所表达的领域,意图识别是指在该领域分类中更细致的,用户要做什么,在得到用户的意图之后,针对该意图,可选地,语义槽为用户提供的针对该意图的信息,具体可以用于指示语音指令,或者智能终端回复的信息。
示例性的,例如,用户输入的语音信息为“我晚上7点想去XX公园的音乐节,怎么去比较方便?”首先,智能终端得到该语音内容后,可以确定或生成该句子的领域类别为位置相关的领域,进而在该领域中,确定或生成用户的意图是想听到“XX公园”的导航信息。其次,分析该语音内容中的语义成分,在上述语音内容中的语义成分可以包括“7点”、“XX公园”、“音乐节”。在该语音信息中,“XX公园”为目的地。
可选地,智能终端可以将语音信息输入到预训练的模型中,该预训练的模型可以是分类模型,该分类模型可以用于识别语音信息中的内容,即语音内容,确定或生成该语音内容所对应的情绪特征,即第一情绪特征。该第一情绪特征可以是该分类模型预训练的多种情绪特征中的一种。每种情绪特征可以对应一种情绪类别。可选地,该预训练的模型可以是云端的计算机设备进行预训练的,将预训练的模型发送到智能终端储存并使用。
可选地,智能终端也可以识别语音信息中的语音内容,可以将该语音内容与预设语料库中的语言内容进行比对,预设语料库中可以包括语言的实际使用中真实出现过的语言材料的语言内容。可选地,该预设语料库中的语言内容可以和预设情绪特征相对应,一个语言内容可以对应一个情绪特征,一个情绪特征可以对应多个语言内容。智能终端可以将语音内容与预设语料库中的语言内容进行比对,可以得到语音内容对应的情绪特征,即第一情绪特征。可选地,该第一情绪特征可以是一种情绪特征,即对应一种情绪类别。
502、识别人脸图像信息,得到表情信息,根据表情信息确定或生成上述用户的第二情绪特征。
可选地,智能终端可以对通过摄像头采集到的人脸图像信息进行识别,得到表情信息。表情信息可以表达用户当前的情绪状态。智能终端可以将人脸图像输入至预训练的表情识别模型中,得到该表情识别模型输出的情绪特征,即第二情绪特征,该第二情绪特征对应一种情绪类别。可选地,该预训练的表情识别模型可以是卷积神经网络(Convolutional Neural Networks,CNN)。通过获取大量的标记表情信息的人脸图像训练得到的分类模型。可选地,该表情识别模型可以是云端的计算机设备进行预训练的,将预训练的表情识别模型发送到智能终端储存并使用。
可选地,该表情识别模型可以输出人脸图像信息中识别的表情信息,进而可以将该表情信息对应的表情类别确定或生成为该用户的第二情绪特征。可选地,该第一情绪特征所对应的第一情绪类别与第二情绪特征对应的第二情绪类别均是从预设的情绪类别集合中确定或生成的,预设的情绪类别集合中的各个情绪类别可以是技术人员确定或生成的。
可选地,智能终端的摄像头在采集人脸图像信息时,可以采集至少一张人脸图像,将至少一张人脸图像作为人脸图像信息,则智能终端可以确定或生成人脸图像信息中每张人脸图像中的表情信息,得到至少一个表情信息,则可以将人脸图像信息中大部分人脸图像的表情信息作为该用户的表情信息。
503、根据第一情绪特征和/或第二情绪特征,确定或生成所述情绪特征。
可选地,智能终端可以确定或生成第一情绪特征对应的第一情绪类别和/或第二情绪特征对应的第二情绪类别。可选地,第一情绪类别为预设的情绪类别集合中的任一情绪类别,同理,第二情绪类别也为预设的情绪类别集合中的任一情绪类别。
可选地,若该第一情绪类别与该第二情绪类别相同,则智能终端可以将该情绪类别(第一情绪类别或第二情绪类别)确定或生成为情绪特征。示例性的,若智能终端根据语音信息确定或生成的第一情绪类别和/或根据人脸图像信息确定或生成的第二情绪类别均为“开心”类别,则将该“开心”类别确定或生成为该情绪特征。可选地,智能终端根据该“开心”类别确定或生成用于回复用户语音信息的内容信息。
可选地,若根据语音信息确定或生成的第一情绪类别与根据人脸图像信息确定或生成的第二情绪类别不相同,则智能终端可以根据第一情绪类别确定或生成第三情绪类别,并将该第三情绪类别确定或生成为该情绪特征。可选地,智能终端可以将语音信息确定或生成的第一情绪类别作为用户的一种假装情绪,得到用户的真实情绪的情绪类别,即第三情绪类别。示例性的,若智能终端根据语音信息,即用户说的话确定或生成的第一情绪类别为“难过”类别,智能终端根据人脸图像信息确定或生成的第二情绪类别为“开心”类别,则智能终端可以确定或生成第三情绪类别为“假装难过”类别。需要说明的是,“假装难过”类别与“开心”类别不为同一个类别,即假装难过和开心不为同一个情绪。可选地,智能终端可以根据该“假装难过”类别确定或生成用于回复用户语音信息的内容信息。
请一并参阅图6,图6是根据第二实施例示出的信息处理方法的架构示意图。如图6所示,智能终端根据获取的语音信息确定或生成第一情绪类别,根据获取的表情信息确定或生成第二情绪类别。智能终端确定或生成第一情绪类别与第二情绪类别是否相同,若第一情绪类别与第二情绪类别相同,则智能终端可以将第一情绪类别或第二情绪类别确定或生成为情绪特征;和/或,若第一情绪类别与第二情绪类别不相同,则智能终端可以根据第一情绪类别确定或生成第三情绪类别,并将第三情绪类别确定或生成为情绪特征。
可选地,智能终端在确定或生成用户的真实情绪之后,可以获取语音信息对应的第一回复内容,智能终端可以获取该语音信息对应的预设回复内容中的任一回复内容作为第一回复内容,智能终端也可以获取第一情绪类别对应的预设回复内容中的任一回复内容作为第一回复内容,本申请对此不做限定。可选地,智能终端在确定或生成情绪特征后,可以获取情绪特征对应的第二回复内容。智能终端可以获取情绪特征的情绪类别(第一情绪类别或第三情绪类别)对应的第二回复内容。可选地,智能终端根据第一回复内容和/或第二回复内容确定或生成内容信息。由于第二回复内容是根据用户真实情绪确的,因此,智能终端可以使用第二回复内容修正该第一回复内容。
可选地,若该情绪特征的情绪类别为第一情绪类别,即智能终端根据语音信息确定或生成的第一情绪类别与根据人脸图像信息确定或生成的第二情绪类别相同时,则可以直接将第一回复内容确定或生成回复内容。示例性的,若该第一情绪类别为“开心”类别,则智能终端可以获取该类别对应的第一回复内容以及语音内容确定或生成内容信息。以上述语音信息为“我晚上7点想去XX公园的音乐节,怎么去比较方便?”,该用户的情绪类别为“开心”类别,则智能终端可以获取从当前位置至XX公园的导航信息,并添加“开心”类别的内容信息,例如可以是“羡慕你,一会要去参加音乐节,7点从XX位置去往XX公园的方式是建议乘坐…”等等。
可选地,若情绪特征对应的情绪类别为“开心”类别,则预设的回复话术可以偏“开心”、“正向”、“顽皮”、“幽默”等。若情绪特征对应的情绪类别为“难过”类别,则预设的回复话术可以偏“鼓励”、“安慰”、“积极面对生活”等。若情绪特征对应的情绪类别为“假装难过”类别,则预设的回复话术可以偏“调皮”、“挑逗”等等,本申请对此不做限定。
可选地,若该情绪特征的情绪类别为第三情绪类别,即智能终端根据语音信息确定或生成的第一情绪类别与根据人脸图像信息确定或生成的第二情绪类别不相同时,确定或生成假装的第一情绪类别,得到第三情绪类别,则智能终端可以获取情绪特征对应的第三情绪类别对应的第二回复内容,并用第二回复内容修正该第一回复内容,得到回复内容。示例性的,若第一情绪类别为“难过”类别,第二情绪类别为“开心”类别,则智能终端可以获取“难过”类别对应的第一回复内容,以及获取“假装难过”的第二回复内容,用第二回复内容去修正第一回复内容。例如,第二回复内容可以是“我知道你在假装难过,我现在被你欺骗了。”
可选地,在预设的语气词库中,还包括至少一个语气词内容,每种情绪特征的情绪类别可以与至少一个语气词所对应,每个语气词也可以与至少一种情绪特征所对应。智能终端在得到上述回复内容后,可以添加情绪特征的情绪类别所对应的语气词内容在回复内容中,得到完整的回复内容。示例性的,“开心”类别所对应的语气词内容可以包括“吗”、“吧”、“呢”、“哈”等等,“难过”类别所对应的语气词内容可以包括“也罢”、“哎”、“唉”、“吧”等等,本申请对此不做限定。
可选地,智能终端还可以确定或生成环境信息所对应的环境类别,获取环境类别对应的环境内容,将环境内容添加在回复内容中,得到最终的回复内容,即内容信息。例如,智能终端确定或生成当前位置在发生变化,或者正在运行导航类功能,且通过摄像头确定或生成用户正处于车内,可以确定或生成环境类别为“车载”环境类别,则可以获取有关“安全驾驶”的环境内容,并在回复内容中添加有关“安全驾驶”的环境内容,得到内容信息。
在图5所描述的方法中,智能终端通过识别语音信息,得到语音内容,根据语音内容确定或生成用户的第一情绪特征;识别人脸图像信息,得到表情信息,根据表情信息确定或生成用户的第二情绪特征;根据第一情绪特征和/或第二情绪特征,确定或生成情绪特征。因此,基于图5所描述的方法,可以确定或生成用户的真实情绪特征,进而根据真实的情绪特征获取回复内容修正原有根据语音信息对应的回复内容,从而使得反馈更为有趣和准确,回复内容更加智能,增添了趣味性,也提高了用户体验。
请参阅图7,图7是根据第三实施例示出的一种信息处理方法的流程示意图。图7所示的处理方法包括701~703。本申请实施例的该方法可以由图1所示的移动终端来执行,也可以由该移动终端中的芯片来执行,该移动终端可以应用于图2所示的通信网络系统。图7所示的方法执行主体以移动终端为例。
需要说明的是,本申请中各个实施例之间相同或相似的部分可以互相参考。在本申请中各个实施例、以及各实施例中的各个实施方式/实施方法/实现方法中,如果没有特殊说明以及逻辑冲突,不同的实施例之间、以及各实施例中的各个实施方式/实施方法/实现方法之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例、以及各实施例中的各个实施方式/实施方法/实现方法中的技术特征根据其内在的逻辑关系可以组合形成新的实施例、实施方式、实施方法、或实现方法。以上上述的本申请实施方式并不构成对本申请保护范围的限定。其中:
701、获取情绪特征对应的第一音量和/或环境类别对应的第二音量。
可选地,智能终端在确定或生成最终的回复内容(即内容信息)后,可以通过扬声器输出该内容信息,与用户进行交谈。智能终端确定或生成该情绪特征后,可以根据该情绪特征对应的情绪类别确定或生成第一音量,即智能终端可以根据情绪特征确定或生成具体输出的音量大小。例如,智能终端可以在情绪特征对应的情绪类别为“开心”类别时,输出较大的音量,智能终端可以在情绪特征对应的情绪类别为“难过”类别时,输出较小的音量,从而更加智能。可选地,情绪类别与第一音量的对应关系可以储存在智能终端中,也可以存储在云端,智能终端可以直接获取该情绪类别对应的第一音量。
可选地,智能终端还可以获取环境类别对应的第二音量,不同的环境类别也可以对应不同的音量。若该第二音量的值为预设值,则智能终端可以在用户界面中显示内容信息,和/或,若该第二音量的值不为预设值,则智能终端可以根据第一音量和/或第二音量确定或生成目标音量,以目标音量输出内容信息。
可选地,智能终端还可以获取情绪特征对应的表情信息,在用户界面中显示表情信息。即智能终端可以获取情绪特征对应的情绪类别对应的表情信息,并显示出来。可选地,情绪类别对应的表情信息可以是预设的,一种情绪类别可以对应至少一种表情信息。示例性的,若情绪特征对应的情绪类别为“难过”类别,则该“难过”类别可以对应“摸摸头”、“抱一抱”的表情信息,以达到安慰用户的效果。再一示例性的,若情绪特征对应的情绪类别为“假装难过”类别,则该“假装难过”类别可以对应“别闹”、“一眼看穿小心思”的表情信息,以达到趣味的交互效果。
请一并参阅图8a,图8a是根据第三实施例示出的智能终端回复用户的场景示意图。如图8a所示,终端设备可以采集用户的语音信息和人脸图像信息,进行反馈。以图8a中的用户为例,从图8a中的人脸图像特征得到该用户情绪特征所对应的情绪类别为“开心”类别,智能终端可以调整当前终端设备的输出音量,在用户界面中显示表情信息,例如图8a所示智能终端的用户界面中显示的“鼓掌”表情,通过智能终端的扬声器以调整后的音量输出确定或生成的内容信息。
再一示例性的,若该环境类别为“车载”环境类别,则“车载”环境类别对应的第二音量可以为较大的音量。请一并参阅图8b,图8b是根据第三实施例示出的智能终端回复用户的另一场景示意图,如图8b所示,用户正在驾驶车辆,智能终端可以确定或生成当前用户情绪特征,确定或生成当前的环境类别为“车载”环境类别,则智能终端可以除了针对用户的情绪特征和语音信息进行输出回复内容以外,还可以输出环境内容,即“车载”环境类别对应的“安全驾驶”的环境内容。可选地,如图8b所示,在智能终端中也可以显示情绪特征对应的表情信息,以调整后的音量输出确定或生成的内容信息。
702、若第二音量的值为预设值,则在用户界面中显示内容信息。
可选地,若第二音量的值为预设值,即环境类别为特定的某一环境类别,则在用户界面中显示内容信息,不输出确定或生成的内容信息。可选地,特定的环境类别可以是“深夜”环境类别,预设值可以为0,即第二音量的值为0,表示静音状态。示例性的,若智能终端获取当前的时间信息在预设深夜时段,则可以确定或生成当前环境类别为“深夜”环境类别,则“深夜”环境类别所对应的第二音量可以为较小的音量,也可以为预设值,即第二音量为0,智能终端处于静音状态,不通过扬声器输出内容信息,可以将内容信息显示在用户界面中,以便用户浏览智能终端的回复。
请一并参阅图8c,图8c是根据第三实施例示出的智能终端回复用户的又一场景示意图。如图8c所示,在“深夜”环境类别中,智能终端输出可以将音量调制预设值,由于是静音状态,所以不通过扬声器输出内容信息,则将内容信息显示在用户界面中,并在用户界面中显示内容信息,以实现与用户的交互。可选地,该可以在该用户界面中显示表情信息,如“鼓掌”的表情信息。
703、若第二音量的值不为预设值,则根据第一音量和/或第二音量确定或生成目标音量,以目标音量输出内容信息。
可选地,若上述第二音量的值不为预设值,即智能终端不为静音状态,则可以根据上述第一音量和/或上述第二音量确定或生成目标音量,该目标音量为智能终端通过扬声器输出内容信息的音量。可选地,智能终端可以根据平均法确定或生成目标音量,即将第一音量的值与第二音量的值的平均值确定或生成为目标音量的值。可选地,智能终端可以比较第一音量的值和第二音量的值,将较大的值确定或生成为目标音量的值,或者将较小的值确定或生成为目标音量的值。可选地,智能终端还可以为第一音量和第二音量设定权重,根据第一音量的值和第一音量对应的第一权重的积,以及第二音量的值和第二音量对应的第二权重的积之和,确定或生成为目标音量的值。本申请对此不做限定。
可选地,智能终端可以选择默认的播放方式,播放方式可以包括两种:一种是通过扬声器播放,一种是通过听筒播放,智能终端默认通过扬声器的方式进行播放。即智能终端将内容信息转换为语音数据,再通过扬声器播放出来。示例性的,如图8a所示的,智能终端右下角内置的扬声器播放。可选地,播放方式可以由用户设置或者由智能终端默认设置,本申请对此不做限定。
在图7所描述的方法中,智能终端通过获取情绪特征对应的第一音量和/或环境类别对应的第二音量;若第二音量的值为预设值,则在用户界面中显示内容信息;和/或,若第二音量的值不为预设值,则根据第一音量和/或第二音量确定或生成目标音量,以目标音量输出内容信息。因此,基于图7所描述的方法,可以根据环境类别和/或情绪特征确定或生成智能终端输出内容信息的音量,能够根据用户的真实情绪进行反馈,使得反馈更加智能化,也增加了反馈的准确性和趣味性,也提升用户体验。
请参阅图9,图9是本申请实施例提供的一种信息处理装置90的结构示意图。该信息处理装置90包括获取单元901、处理单元902、采集单元903、显示单元904、输出单元905。其中:
获取单元901,用于获取用户的生物特征信息,生物特征信息包括语音信息;
处理单元902,用于根据生物特征信息确定或生成用户的情绪特征;
处理单元902,还用于根据情绪特征确定或生成内容信息,内容信息用于回复语音信息。
可选地,所述内容信息可以为以下至少一种:
文本信息、图像信息、动画信息、音频信息、视频信息。
可选地,为了避免重复冗余,本申请中主要通过内容信息为文本信息进行示例说明。
可选地,生物特征信息还包括人脸图像信息,处理单元902用于根据生物特征信息确定或生成用户的情绪特征,具体用于:
识别语音信息,得到语音内容,根据语音内容确定或生成用户的第一情绪特征;
识别人脸图像信息,得到表情信息,根据表情信息确定或生成用户的第二情绪特征;
根据第一情绪特征和/或第二情绪特征,确定或生成情绪特征。
可选地,处理单元902用于根据第一情绪特征和/或第二情绪特征,确定或生成情绪特征,具体用于:
确定或生成第一情绪特征对应的第一情绪类别和/或第二情绪特征对应的第二情绪类别;
若第一情绪类别和第二情绪类别相同,则将第一情绪类别确定或生成为情绪特征;和/或,
若第一情绪类别和第二情绪类别不相同,则根据第一情绪类别确定或生成第三情绪类别,将第三情绪类别确定或生成为情绪特征。
可选地,处理单元902用于根据情绪特征确定或生成内容信息,具体用于:
获取语音信息对应的第一回复内容,获取情绪特征对应的第二回复内容;
根据第一回复内容和/或第二回复内容确定或生成内容信息。
可选地,处理单元902用于根据第一回复内容和/或第二回复内容确定或生成内容信息,具体用于:
获取情绪特征对应的语气词内容;
根据第一回复内容和/或第二回复内容确定或生成回复内容,在回复内容中添加语气词内容,得到内容信息。
可选地,上述信息处理装置90还包括:
采集单元903,用于采集用户所处的环境信息,确定或生成环境信息对应的环境类别;
获取单元901,用于获取环境类别对应的环境内容;
处理单元902用于在回复内容中添加语气词内容,得到内容信息,具体用于:
在回复内容中添加语气词内容和/或环境内容,得到内容信息。
可选地,获取单元901,还用于获取情绪特征对应的第一音量和/或环境类别对应的第二音量;
显示单元904,用于若第二音量的值为预设值,则在用户界面中显示内容信息;和/或,
输出单元905,用于若第二音量的值不为预设值,则根据第一音量和/或第二音量确定或生成目标音量,以目标音量输出内容信息。
可选地,获取单元901,还用于获取情绪特征对应的表情信息;
显示单元904,还用于在用户界面中显示表情信息。
本申请实施例还提供一种智能终端,智能终端包括存储器、处理器,存储器上存储有信息处理程序,信息处理程序被处理器执行时实现上述任一实施例中的信息处理方法的步骤。
本申请实施例还提供一种计算机可读存储介质,存储介质上存储有信息处理程序,信息处理程序被处理器执行时实现上述任一实施例中的信息处理方法的步骤。
在本申请提供的智能终端和计算机可读存储介质的实施例中,可以包含任一上述信息处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种信息处理方法,其特征在于,包括:
获取用户的生物特征信息,所述生物特征信息包括语音信息;
根据所述生物特征信息确定或生成用户的情绪特征;
根据所述情绪特征确定或生成内容信息,所述内容信息用于回复所述语音信息。
2.根据权利要求1所述的方法,其特征在于,所述生物特征信息还包括人脸图像信息,所述根据所述生物特征信息确定或生成用户的情绪特征,包括:
识别所述语音信息,得到语音内容,根据所述语音内容确定或生成所述用户的第一情绪特征;和/或,
识别所述人脸图像信息,得到表情信息,根据所述表情信息确定或生成所述用户的第二情绪特征;
根据所述第一情绪特征和/或所述第二情绪特征,确定或生成所述情绪特征。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一情绪特征和/或所述第二情绪特征,确定或生成所述情绪特征,包括:
确定或生成所述第一情绪特征对应的第一情绪类别,和/或所述第二情绪特征对应的第二情绪类别;
若所述第一情绪类别和所述第二情绪类别相同,则将所述第一情绪类别确定或生成为所述情绪特征;和/或,
若所述第一情绪类别和所述第二情绪类别不相同,则根据所述第一情绪类别确定或生成第三情绪类别,将所述第三情绪类别确定或生成为所述情绪特征。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述根据所述情绪特征确定或生成内容信息,包括:
获取所述语音信息对应的第一回复内容,获取所述情绪特征对应的第二回复内容;
根据所述第一回复内容和/或所述第二回复内容确定或生成所述内容信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一回复内容和/或所述第二回复内容确定或生成所述内容信息,包括:
获取所述情绪特征对应的语气词内容;
根据所述第一回复内容和/或所述第二回复内容确定或生成回复内容,在所述回复内容中添加所述语气词内容,得到所述内容信息。
6.根据权利要求5所述的方法,其特征在于,所述获取用户的生物特征信息之后,所述方法还包括:
采集所述用户所处的环境信息,确定或生成所述环境信息对应的环境类别;
获取所述环境类别对应的环境内容;
所述在所述回复内容中添加所述语气词内容,得到所述内容信息,包括:
在所述回复内容中添加所述语气词内容和/或所述环境内容,得到所述内容信息。
7.根据权利要求6所述的方法,其特征在于,所述根据所述情绪特征确定或生成内容信息之后,所述方法还包括;
获取所述情绪特征对应的第一音量和/或所述环境类别对应的第二音量;
若所述第二音量的值为预设值,则在用户界面中显示所述内容信息;和/或,
若所述第二音量的值不为预设值,则根据所述第一音量和/或所述第二音量确定或生成目标音量,以所述目标音量输出所述内容信息。
8.根据权利要求1至3中任一项所述的方法,其特征在于,所述根据所述情绪特征确定或生成内容信息之后,所述方法还包括:
获取所述情绪特征对应的表情信息;
在用户界面中显示所述表情信息。
9.一种智能终端,其特征在于,所述智能终端包括:存储器、处理器,其中,所述存储器上存储有信息处理程序,所述信息处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的信息处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的信息处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111392778.8A CN114065168A (zh) | 2021-11-23 | 2021-11-23 | 信息处理方法、智能终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111392778.8A CN114065168A (zh) | 2021-11-23 | 2021-11-23 | 信息处理方法、智能终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114065168A true CN114065168A (zh) | 2022-02-18 |
Family
ID=80279274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111392778.8A Pending CN114065168A (zh) | 2021-11-23 | 2021-11-23 | 信息处理方法、智能终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114065168A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI801128B (zh) * | 2022-02-09 | 2023-05-01 | 金寶電子工業股份有限公司 | 味覺回饋裝置、回饋系統及回饋方法 |
-
2021
- 2021-11-23 CN CN202111392778.8A patent/CN114065168A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI801128B (zh) * | 2022-02-09 | 2023-05-01 | 金寶電子工業股份有限公司 | 味覺回饋裝置、回饋系統及回饋方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108572764B (zh) | 一种文字输入控制方法、设备及计算机可读存储介质 | |
CN107818787B (zh) | 一种语音信息的处理方法、终端及计算机可读存储介质 | |
CN109302528B (zh) | 一种拍照方法、移动终端及计算机可读存储介质 | |
CN108521500A (zh) | 一种语音场景控制方法、设备及计算机可读存储介质 | |
CN112489647A (zh) | 语音助手控制方法、移动终端及存储介质 | |
CN109686359B (zh) | 语音输出方法、终端及计算机可读存储介质 | |
CN113314120B (zh) | 处理方法、处理设备及存储介质 | |
CN113326018A (zh) | 处理方法、终端设备及存储介质 | |
CN113126844A (zh) | 显示方法、终端及存储介质 | |
CN114065168A (zh) | 信息处理方法、智能终端及存储介质 | |
CN115469949A (zh) | 信息显示方法、智能终端及存储介质 | |
CN114417052A (zh) | 界面展示方法、智能终端及存储介质 | |
CN112489619A (zh) | 语音处理方法、终端设备及存储介质 | |
CN108958505B (zh) | 一种显示候选信息的方法及终端 | |
CN112700783A (zh) | 通讯的变声方法、终端设备和存储介质 | |
CN113127740A (zh) | 信息推荐方法、电子设备及存储介质 | |
CN107645604B (zh) | 一种通话处理方法及移动终端 | |
CN112163148A (zh) | 信息显示方法、移动终端及存储介质 | |
CN114067852A (zh) | 录音方法、智能终端及存储介质 | |
CN116546131A (zh) | 显示方法、智能终端及存储介质 | |
CN113314095A (zh) | 处理方法、移动终端及存储介质 | |
CN116502599A (zh) | 处理方法、智能终端及存储介质 | |
CN114005143A (zh) | 皮肤检测方法、智能终端及存储介质 | |
CN113392318A (zh) | 处理方法、终端设备及存储介质 | |
CN114974246A (zh) | 处理方法、智能终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |