CN111783728A - 信息交互方法、装置和终端设备 - Google Patents

信息交互方法、装置和终端设备 Download PDF

Info

Publication number
CN111783728A
CN111783728A CN202010683484.XA CN202010683484A CN111783728A CN 111783728 A CN111783728 A CN 111783728A CN 202010683484 A CN202010683484 A CN 202010683484A CN 111783728 A CN111783728 A CN 111783728A
Authority
CN
China
Prior art keywords
information
interactive
user
expression
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010683484.XA
Other languages
English (en)
Inventor
刘同云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202010683484.XA priority Critical patent/CN111783728A/zh
Publication of CN111783728A publication Critical patent/CN111783728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本发明提供了一种信息交互方法、装置和终端设备。其中,通过终端设备展示信息交互界面,方法包括:获取用户当前的表情信息;基于表情信息确定交互信息;在信息交互界面执行交互信息对应的交互操作。该方式在终端设备的信息交互界面获取用户当前的表情信息,基于表情信息确定交互信息,并在信息交互界面执行交互信息对应的交互操作;该方式中用户可以通过情绪解读接口输入表情信息,信息交互界面无需设置回复按钮,用户无需重复点击回复按钮,可以减少用户的重复操作,提高用户的体验度。

Description

信息交互方法、装置和终端设备
技术领域
本发明涉及情绪分析技术领域,尤其是涉及一种信息交互方法、装置和终端设备。
背景技术
现有游戏的场景内互动、朋友圈、社交平台和社交应用程序的交互界面中一般会设置回复按钮,用户如果想要回复别人发送给你的信息,需要点击该信息对应的回复按钮才可以回复。
这种将点击回复按钮作为触发互动行为的输入方式,对于每个信息都需要点击回复按钮,如果信息数量较多就需要用户多次点击回复按钮,导致用户需要多次做出重复操作,降低用户的体验度。
发明内容
有鉴于此,本发明的目的在于提供一种信息交互方法、装置和终端设备,无需设置回复按钮,可以减少用户的重复操作,提高用户的体验度。
第一方面,本发明实施例提供了一种信息交互方法,通过终端设备展示信息交互界面,方法包括:获取用户当前的表情信息;基于表情信息确定交互信息;在信息交互界面执行交互信息对应的交互操作。
在本发明较佳的实施例中,上述获取用户当前的表情信息的步骤,包括:通过情绪解读接口采集用户当前的表情信息。
在本发明较佳的实施例中,上述终端设备包括表情解读模块;通过情绪解读接口采集用户当前的表情信息的步骤,包括:基于表情解读模块确定用户当前的表情信息。
在本发明较佳的实施例中,上述信息交互界面还包括情绪解读接口的开关控件;上述方法还包括:如果开关控件为开时,设置情绪解读接口为开启状态;如果开关控件为关时,设置情绪解读接口为关闭状态。
在本发明较佳的实施例中,上述通过情绪解读接口采集用户当前的表情信息的步骤之后,方法还包括:如果通过情绪解读接口采集用户当前的表情信息的操作失败,提示设定表情信息对应的交互信息;和/或,提示用户重新采集表情信息。
在本发明较佳的实施例中,上述方法还包括:根据交互信息生成一交互指示图标;在信息交互界面显示交互指示图标。
在本发明较佳的实施例中,上述根据交互信息生成一交互指示图标的步骤,包括:基于表情信息确定用户的情绪标签;基于预先设定的情绪标签与图标的对应关系,生成用户的表情标签对应的交互指示图标。
在本发明较佳的实施例中,上述方法还包括:获取用户的语音信息;在信息交互界面输入语音信息对应的文字。
在本发明较佳的实施例中,上述在信息交互界面执行交互信息对应的交互操作的步骤包括:响应交互操作,加载交互信息至信息交互界面的互动栏;上传互动栏中的交互信息。
在本发明较佳的实施例中,上述方法还包括:在信息交互界面显示用户的用户信息。
第二方面,本发明实施例还提供一种信息交互装置,通过终端设备展示信息交互界面,装置包括:表情信息获取模块,用于获取用户当前的表情信息;交互信息确定模块,用于基于表情信息确定交互信息;交互信息显示模块,用于在信息交互界面执行交互信息对应的交互操作。
第三方面,本发明实施例还提供一种终端设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述的信息交互方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述的信息交互方法的步骤。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种信息交互方法、装置和终端设备,在终端设备的信息交互界面获取用户当前的表情信息,基于表情信息确定交互信息,并在信息交互界面执行交互信息对应的交互动作;该方式中用户通过情绪解读接口输入表情信息,信息交互界面无需设置回复按钮,用户无需重复点击回复按钮,可以减少用户的重复操作,提高用户的体验度。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种信息交互界面的示意图;
图2为本发明实施例提供的一种信息交互方法的流程图;
图3为本发明实施例提供的另一种信息交互方法的流程图;
图4为本发明实施例提供的一种表情解读模块的连接关系示意图;
图5为本发明实施例提供的另一种信息交互界面的示意图;
图6为本发明实施例提供的另一种信息交互方法的流程图;
图7为本发明实施例提供的另一种信息交互界面的示意图;
图8为本发明实施例提供的另一种信息交互方法的流程图;
图9为本发明实施例提供的一种信息交互装置的结构示意图;
图10为本发明实施例提供的另一种信息交互装置的结构示意图;
图11为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,现有游戏的场景内互动、朋友圈、社交平台和社交应用程序中经常会使用交互信息,通常需要在交互界面中设置回复按钮,用户如果想要回复别人发送给你的信息,需要点击该信息对应的回复按钮才可以回复,完成交互过程。为了简化交互操作的流程,本发明实施例提供的一种信息交互方法、装置和终端设备,该技术可以应用于客户端、电脑、手机、平板电脑等可以实现人机交互的终端设备上,尤其可以适用于游戏场景中。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种信息交互方法进行详细介绍。
本实施例提供了一种信息交互方法,通过终端设备展示信息交互界面,信息交互界面包括情绪解读接口。本实施例中的终端设备可以为手机、电脑、平板电脑等可以与用户进行交互的设备。在终端设备中展示信息交互界面,用于与用户进行交互,执行本实施例提供的信息交互方法。
参见图1所示的一种信息交互界面的示意图,如图1所示,在信息交互界面的右上角设置了情绪解读接口,情绪解读接口可以解读用户的情绪,之后由终端设备确定用户的情绪对应的表情信息。基于上述描述,参见图2所示的一种信息交互方法的流程图,该信息交互方法包括如下步骤:
步骤S202,获取用户当前的表情信息。
终端设备可以通过设置情绪解读接口的状态,说明本实施例提供的信息交互方法是否作用于场景内的全部互动。情绪解读接口可以有开启和关闭两种状态,如果情绪解读接口为关闭状态,终端设备不执行本实施例提供的信息交互方法,终端设备可以通过点击回复按钮等方式进行信息交互;如果情绪解读接口为开启状态,终端设备可以执行本实施例提供的信息交互方法。
如果情绪解读接口为开启状态,情绪解读接口可以确定用户当前的表情信息。其中,表情信息可以为用户当前的表情图像,表情图像可以为在用户做出表情的时候拍摄用户脸部的图像或视频。
步骤S204,基于表情信息确定交互信息。
在终端设备中可以预先设定表情信息与交互信息的对应关系,根据上述对应关系确定表情信息对应的交互信息。例如,如果表情信息为表情图像A(微笑),表情图像A对应的交互信息可以为点赞操作信息。
步骤S206,在信息交互界面执行交互信息对应的交互操作。
在确定表情信息对应的交互信息后,终端设备可以在信息交互界面执行交互信息对应的交互操作,完成信息交互操作,交互操作可以为点赞、点踩、送花、丢鸡蛋、发送留言等。例如:如果表情信息为表情图像B(例如,拍摄到用户“生气表情”的图像),表情图像B对应的交互信息可以为点踩操作,终端设备可以在信息交互界面执行点踩操作。收到点踩操作的另一终端设备可以通过图像、留言、语音等方式通知另一终端设备的用户。例如:另一终端设备在界面显示点踩的图标(即图像),通过留言或者语音提示某用户刚刚进行了点踩操作等。
本发明实施例提供的一种信息交互方法,在终端设备的信息交互界面获取用户当前的表情信息,基于表情信息确定交互信息,并在信息交互界面执行交互信息对应的交互操作;该方式中用户通过情绪解读接口输入表情信息,信息交互界面无需设置回复按钮,用户无需重复点击回复按钮,可以减少用户的重复操作,提高用户的体验度。
本实施例提供了另一种信息交互方法,该方法在上述实施例的基础上实现;本实施例重点描述获取用户当前的表情信息的具体实施方式。如图3所示的另一种信息交互方法的流程图,本实施例中的信息交互方法包括如下步骤:
步骤S302,通过情绪解读接口采集用户当前的表情信息。
情绪解读接口可以包括照相机、摄像机等采集用户表情的表情采集设备,可以基于表情解读模块确定用户当前的表情信息。
对于情绪解读接口,信息交互界面可以通过情绪解读接口的开关控件控制情绪解读接口的状态。因此,信息交互界面还包括情绪解读接口的开关控件;方法还包括:如果开关控件为开时,设置情绪解读接口为开启状态;如果开关控件为关时,设置情绪解读接口为关闭状态。如果终端设备需要进行信息交互操作,可以首先确认情绪解读接口的状态,如果情绪解读接口为开启状态,则可以通过表情采集设备采集用户当前的表情信息。例如,如果需要采集用户当前的表情信息,可以提示用户需要将脸部对准表情采集设备并做出表情,当用户做出表情后采集用户当前的表情信息。
步骤S304,基于表情信息确定交互信息。
终端设备在接收到情绪解读接口采集的用户当前的表情信息后,可以基于表情信息确定交互信息,该方式通过情绪解读接口可以快速、准确地确定用户的表情信息。
步骤S306,在信息交互界面执行交互信息对应的交互操作。
在确定用户的交互信息后,可以在信息交互界面执行交互信息对应的交互操作。除此以外,终端设备还可以在信息交互界面显示交互指示图标,交互指示图标可以通过图标的形式表征交互信息。例如,对于通过表情信息确定的交互信息,可以通过步骤A1-步骤A2确定交互指示图标:
步骤A1,根据交互信息生成一交互指示图标。
用于生成交互信息的表情信息可以为表情图像,在确定表情信息对应的交互信息时可以先确定表情图像对应的情绪标签,之后根据情绪标签确定对应的交互信息。情绪标签为用户在做出该表情图像时的表情状态,包括:高兴、沮丧等。例如:用户在做出某一个表情图像的表情时处于高兴状态,则该表情图像的情绪标签为高兴。因此,可以通过步骤B1-步骤B2执行上述先确定情绪标签,后根据情绪标签确定交互信息的方法:
步骤B1,基于表情信息确定用户的情绪标签。
基于表情信息确定情绪标签,可以理解为分析用户在做出表情图像时处于什么表情,可以通过神经网络实现。预先训练一个神经网络模型,该神经网络的训练集可以为多个表情图像,每个表情图像都要预先标注情绪标签。在训练行数神经网络模型时可以将训练集中的表情图像输入神经网络模型,神经网络模型输出该表情图像对应的情绪标签,将神经网络模型输出的情绪标签与预先标注的情绪标签进行对比,根据比对结果调整神经网络模型的参数。
在完成神经网络模型的训练后,可以将用户当前的表情信息输入至训练完成的神经网络模型,将神经网络模型输出的情绪标签作为用户的情绪标签。
除此以外,还可以通过图像特征提取和特征比对的方式确定情绪标签,例如:可以在终端设备中预先存储多个情绪标签对应的特征,提取表情图像对应的特征并将提取的特征与终端设备中预先存储的特征进行比对,就可以获得与提取的特征最接近的预先存储的特征,将该预先存储的特征对应的情绪标签作为表情图像的情绪标签。
例如,终端设备中预先存储情绪标签高兴和沮丧对应的特征,提取表情图像X对应的特征x后分别计算特征x与高兴对应的特征和沮丧对应的特征的相似度,得到特征x与高兴对应的特征的相似度1为60%,特征x与沮丧对应的特征的相似度2为80%,就可以确定与提取的特征x最接近的预先存储的特征对应的情绪标签为沮丧,将沮丧作为表情图像X的情绪标签。
这里需要说明的是,如果提取的特征最接近的预先存储的特征的相似度小于预设的相似度阈值,则认为终端设备中不存在与表情图像对应的情绪标签。例如,在上述例子中假设相似度阈值为85%,则说明表情图像中的表情标签既非高兴也非沮丧,终端设备中不存在该表情图像对应的情绪标签。此时终端设备可以提示用户指定一个表情标签,或者提示用户重新输入表情图像。
步骤B2,基于预先设定的情绪标签与图标的对应关系,生成用户的表情标签对应的交互指示图标。
在终端设备中可以预先设定情绪标签与图标的对应关系,交互指示图标可以为互动行为需要点击的图标,如:点赞图标、点踩图标、回复留言图标等。在确定用户的情绪标签后,根据情绪标签与图标的对应关系可以确定用户的情绪标签对应的交互指示图标。例如,用户的情绪标签为高兴,预先设定高兴对应的图标为点赞图标,则用户的表情标签对应的交互指示图标即为点赞图标。
步骤A2,在信息交互界面显示交互指示图标。
在确定交互指示图标后,可以在信息交互界面显示该交互指示图标,在后续进行交互行为时终端设备可以自动点击交互指示图标,执行点击交互指示图标图标对应的交互操作。
本发明实施例首先通过表情信息确定用户的情绪标签,之后根据情绪标签生成含有用户的表情标签对应的目标图标的交互信息。该方式可以确定之后交互行为需要点击的目标图标,无需用户手动点击目标图标,可以减少用户点击目标图标的操作,提高用户的体验度。
此外,用户还可以通过语音的形式在信息交互界面输入对应文字,上述方法还包括:获取用户的语音信息;在信息交互界面输入语音信息对应的文字。
终端设备可以通过情绪解读接口获取用户的语音信息,情绪解读接口可以包括话筒、麦克风等可以采集用户语音的语音采集设备,通过上述语音采集设可以获取用户的语音信息,之后在信息交互界面输入语音信息对应的文字。需要说明的是,终端设备可以同时采集表情信息和语音信息,也可以只采集用户表情或用户语音。其中,语音信息可以因为用户当前输入的一段语音。
举例来说,情绪解读接口如果需要采集用户当前的语音信息,终端设备可以提示用户将嘴部对准语音采集设备并发出语音,采集用户发出的语音作为用户当前的语音信息。
对于语音信息,也可以生成语音信息对应的交互指示图标;对于表情信息,也可以表情信息对应的文字。也就是说,语音信息也可以对应图标,表情信息也可以对应文字,此时需要终端设备中预先保存语音信息与图标的对应关系,以及表情信息与文字的对应关系即可。
例如,终端设备中预先设定了语音信息“我要点赞”对应点赞图标,当情绪解读接口采集到语音信息“我要点赞”时,交互信息可以包含点赞图标。又例如,终端设备中预先设定了代表高兴的表情信息对应文字“我很高兴”。当情绪解读接口采集到代表高兴的表情信息时,交互信息可以包含文字“我很高兴”。
此外,表情信息和语音信息还与文字和图标同时对应,例如:语音信息“我很高兴”对应点赞图标和文字“我很高兴”。当情绪解读接口采集到语音信息“我很高兴”时,交互信息可以包含点赞图标和文字“我很高兴”。
除了上述步骤提供的确定用户当前的表情信息的方法之外,还可以基于SIRI(Speech Interpretation&Recognition Interface,语音识别接口)表情解读模块确定用户当前的表情信息。SIRI表情解读模块设置在终端设备内,SIRI表情解读模块可以理解为一个有读心术、看相能力的机器人角色,通过SIRI表情解读模块可以解读并分析用户情绪,并做出相应的行为判断。
SIRI表情解读模块中可以存储大量对人表情、情绪的案例数据(例如喜怒哀乐的面部结构等数据),SIRI表情解读模块中存储的案例数据越多,表情解读的功能越强大。根据案例数据和表情采集设备采集的用户当前的表情信息进行技术上的匹配,以确定用户当前的表情信息。本发明实施例提供的上述方法,可以通过SIRI表情解读模块快速、准确地确定用户当前的表情信息。
SIRI表情解读模块的连接关系可以参见图4所示的一种表情解读模块的连接关系示意图,如图4所示,将用户的表情图像通过摄像头等表情采集模块输入至SIRI表情解读模块后,SIRI表情解读模块后基于存储库存储的喜怒哀乐、行为动作以及声音进行分析、判断和匹配,确定用户当前的表情信息,并可以将确定的表情信息输出到信息交互界面的指定位置上。
输出到信息交互界面的方式可以分为固定方式和非固定方式,基于终端设备的程序内是否设置了固定的信息确定固定方式或非固定方式。如果程序中的逻辑是固定的即为固定方式,如点赞、鄙视、鲜花等(等同于原按钮固定判断);如果程序不是固定的,即表情信息并非由终端设备选择而是用户直接输入的即为非固定方式(等同于信息回复过程,不需要点击、打字、编辑、确认,SIRI表情解读模块可以通过用户行为、声音的分析为用户写出一段回复)。
信息交互界面在执行交互信息对应的交互操作时,可以在互动栏中上传交互信息,并将交互信息发送给其他用户或者展示出来,可以通过步骤C1-步骤C2执行:
步骤C1,响应交互操作,加载交互信息至信息交互界面的互动栏。
参见图5所示的另一种信息交互界面的示意图,图5中的互动栏设置在信息交互界面的底部。互动栏可以加载交互信息,在前述步骤中可以分别根据语音信息或者表情信息生成交互信息,根据语音信息生成的交互信息可以包含有语音信息对应文字,根据表情信息生成的交互信息可以包含有用户的表情标签对应的目标图标。
互动栏在加载根据语音信息生成的交互信息时,可以把语音信息对应文字加载到互动栏中;互动栏在加载表情信息生成的交互信息时,可以把用户的表情标签对应的目标图标加载到互动栏中。
互动栏平时在信息交互界面中可以处于隐藏状态,即平时不显示互动栏,只有在需要进行信息交互的时候显示互动栏。例如:信息交互界面在生成交互信息后显示互动栏,或者,信息交互界面在情绪解读接口确定用户当前的表情信息后显示互动栏。这样做可以保证信息交互界面平时不显示互动栏,整洁美观;信息交互界面在需要进行信息交互时可以及时、准确地显示互动栏。
步骤C2,上传互动栏中的交互信息。
在将交互信息加载到互动栏后,可以将互动栏中的交互信息上传,以完成信息交互操作。如果交互信息是根据语音信息生成的,可以把语音信息对应文字加载到互动栏中,上传交互信息时可以把语音信息对应文字上传,实现回复留言的功能。例如:用户A想要回复用户B的留言,用户A可以将回复留言的内容以语音信息a的形式说出,这样互动栏就加载了语音信息a对应文字,语音信息a对应文字可以发送至用户B,从而实现回复留言的功能。
如果交互信息是根据表情信息生成的,可以把用户的表情标签对应的目标图标加载到互动栏中,上传交互信息时可以把用户的表情标签对应的目标图标上传,实现点击目标图标的功能。例如:用户X想点赞留言x,用户X可以做出高兴的表情信息,终端设备预先确定高兴的表情信息对应点赞图标,这样互动栏就加载了点赞图标,上传点赞图标即实现点赞图标的功能,从而点赞留言x。
本发明实施例提供的上述方法,在信息交互界面中可以设置互动栏,通过互动栏加载交互信息,并上传互动栏中的交互信息以实现信息交互。可以省略用户手动点击图标的操作,提高用户的体验度。
在信息交互界面中,除了显示交互信息之外,还可以包括:在信息交互界面显示用户的用户信息。
用户的用户信息可以理解为采集的表情信息或者语音信息对应的用户的信息,用户信息可以为:身份信息,例如:编号、标识、昵称等;称号信息,例如不同的用户拥有的不同称号;或者其他可以表征用户身份的信息。
本实施例提供了另一种信息交互方法,该方法在上述实施例的基础上实现;本实施例重点描述基于表情信息确定交互信息的操作失败后步骤的具体实施方式。如图6所示的另一种信息交互方法的流程图,本实施例中的信息交互方法包括如下步骤:
步骤S602,获取用户当前的表情信息。
情绪解读接口的状态可以预先设定,也可以由用户通过开关控件的方式手动改变。参加图7所示的另一种信息交互界面的示意图,情绪解读接口的开关控件可以设置在信息交互界面的左上角,如果开关控件为开时,设置情绪解读接口为开启状态;如果开关控件为关时,设置情绪解读接口为关闭状态。
用户可以通过点击开关控件修改情绪解读接口的状态,当用户修改开关控件为开时,可以设置情绪解读接口为开启状态,用户可以通过本实施例提供的方法进行信息交互;当用户修改开关控件为关时,可以设置情绪解读接口为关闭状态,用户不可以通过本实施例提供的方法进行信息交互,但是可以通过其他方式进行信息交互,如点击按钮等方式。
本发明实施例中用户可以通过开关控件修改情绪解读接口的状态,只有在开关控件为开时情绪解读接口为开启状态,用户可以执行本实施例提供的信息交互方法。用户可以通过开关控件灵活地调整本实施例提供的信息交互方法的适用范围。
步骤S604,基于表情信息确定交互信息。
步骤S606,如果通过情绪解读接口采集用户当前的表情信息的操作失败,提示设定表情信息对应的交互信息;和/或,提示用户重新采集表情信息。
1、用户的表情信息由于图像模糊、亮度过低、脸部遮挡严重等问题导致无法确定情绪标签。例如,用户在采集表情信息时左右晃动,导致表情采集设备拍摄的图像非常模糊,终端设备可能无法识别该图像导致确定交互信息的操作失败。
2、其他非用户的原因导致表情信息确定交互信息的操作失败。例如,用户做出了一个假笑的表情信息,然而终端设备中仅预存了高兴和沮丧这两个情绪标签的表情信息,无法识别假笑的表情信息。这样终端设备无法确定假笑的表情信息对应的情绪标签,导致确定交互信息的操作失败。
对于上述几种确定交互信息的操作失败的情况,终端设备可以采用通知、声音、灯光等形式提醒用户无法确定交互信息,并告知无法确定交互信息的原因。例如:终端设备可以发出声音提示用户交互信息的操作失败,也可以通过灯光的闪烁提示用户交互信息的操作失败,还可以向用户发出交互信息的操作失败的通知以提示用户。
如果是由于用户的原因导致无法确定交互信息,终端设备可以提示用户重新采集表情信息;如果是由于非用户的原因导致无法确定交互信息,终端设备可以提示用户手动设定表情信息对应的交互信息。在用户手动设定表情信息对应的交互信息或者重新采集表情信息后,可以继续执行基于表情信息确定交互信息的步骤。
本发明实施例提供的上述方法,终端设备在基于表情信息确定交互信息的操作失败时,可以提示用户设定表情信息对应的交互信息;或者提示用户重新采集表情信息。提示用户可以完善本实施例提供的信息交互方法的流程,保证终端不会因为确定交互信息的操作失败导致无法实现信息交互。
参见图8所示的另一种信息交互方法的流程图,该方法中包括了终端设备从确定用户当前的表情信息,到执行交互信息的整体流程,需要说明的是,图8仅示出一种情况对应的整体流程,并不表示图8的流程包括本实施例的全部内容对应的流程,可以依据本实施例的内容对图8的流程进行调整。如图8所示,该信息交互方法的方法具体包括如下步骤:
步骤S802,如果情绪解读接口为开启状态,通过情绪解读接口采集用户当前的语音信息和/或表情信息。
在信息交互界面中可以设定情绪解读接口的开关控件,如果开关控件为开时,设置情绪解读接口为开启状态;如果开关控件为关时,设置情绪解读接口为关闭状态。只有情绪解读接口为开启状态才可以执行本实施例提供的信息交互方法。情绪解读接口为开启状态时情绪解读接口可以采集用户当前的语音信息和/或表情信息。
情绪解读接口可以至少采集语音信息或表情信息的其中之一,语音信息可以是用户说出的一段语音,表情信息可以为用户的表情图像。
步骤S804,基于语音信息和/或表情信息确定交互信息。
对于语音信息,可以生成包含有语音信息对应文字的交互信息;对于表情信息,可以生成包含有表情信息对应图标的交互信息。具体来说,可以将语音信息转化为文字信息,生成包含上述文字信息的交互信息;还可以基于表情信息确定用户的情绪标签,基于情绪标签与图标的对应关系确定表情标签对应的目标图标,生成包含上述目标图标的交互信息。在生成语音信息和/或表情信息时,还可以通过SIRI表情解读模块快速、准确地确定用户当前的语音信息和/或表情信息。
步骤S806,提示设定语音信息和/或表情信息对应的交互信息;和/或,提示用户重新采集语音信息和/或表情信息。
如果基于语音信息和/或表情信息确定交互信息的操作失败,终端设备可以提示用户设定语音信息和/或表情信息对应的交互信息,或者提示用户重新采集语音信息和/或表情信息。终端设备可以通过灯光、声音、通知等形式提示用户。在用户完成相关操作后重新执行步骤S802的方法,即重新采集用户的当前语音信息或表情信息。
步骤S808,加载交互信息至信息交互界面的互动栏。如果基于语音信息和/或表情信息确定交互信息的操作成功,就可以进行信息交互。通过在信息交互界面的互动栏加载交互信息,用户可以确定交互信息是否存在问题,并对互动栏加载的交互信息进行修改。
步骤S810,上传互动栏中的交互信息。用户确认互动栏加载的交互信息无误或者完成修改后,终端设备可以上传互动栏中的交互信息以完成信息交互。
需要说明的是,上述各方法实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
对应于上述方法实施例,本发明实施例提供了一种信息交互装置,通过终端设备展示信息交互界面,信息交互界面包括情绪解读接口;如图9所示的一种信息交互装置的结构示意图,该信息交互装置包括:
表情信息获取模块91,用于获取用户当前的表情信息;
交互信息确定模块92,用于基于表情信息确定交互信息;
交互信息显示模块93,用于在信息交互界面执行交互信息对应的交互操作。
本发明实施例提供的一种信息交互装置,在终端设备的信息交互界面获取用户当前的表情信息,基于表情信息确定交互信息,并在信息交互界面执行交互信息对应的交互动作;该方式中用户通过情绪解读接口输入表情信息,信息交互界面无需设置回复按钮,用户无需重复点击回复按钮,可以减少用户的重复操作,提高用户的体验度。
上述表情信息获取模块,用于通过情绪解读接口采集用户当前的表情信息。
上述终端设备包括表情解读模块;上述表情信息获取模块,用于基于表情解读模块确定用户当前的表情信息。
上述信息交互界面还包括情绪解读接口的开关控件;参见图10所示的另一种信息交互装置的结构示意图,上述信息交互装置还包括开关控件控制模块94,与表情信息获取模块91连接,用于如果开关控件为开时,设置情绪解读接口为开启状态;如果开关控件为关时,设置情绪解读接口为关闭状态。
参见图10所示的另一种信息交互装置的结构示意图,上述信息交互装置还包括交互信息失败提示模块95,与交互信息确定模块92连接,用于如果通过情绪解读接口采集用户当前的表情信息的操作失败,提示设定表情信息对应的交互信息;和/或,提示用户重新采集表情信息。
上述装置还包括交互指示图标显示模块,用于根据交互信息生成一交互指示图标;在信息交互界面显示交互指示图标。
上述交互指示图标显示模块,用于
基于表情信息确定用户的情绪标签;基于预先设定的情绪标签与图标的对应关系,生成用户的表情标签对应的交互指示图标。
上述装置还包括语音信息模块,用于获取用户的语音信息;在信息交互界面输入语音信息对应的文字。
上述交互信息显示模块,用于响应交互操作,加载交互信息至信息交互界面的互动栏;上传互动栏中的交互信息。
上述交互信息显示模块,还用于在信息交互界面显示用户的用户信息。
本发明实施例还提供了一种终端设备,用于运行上述信息交互方法;参见图11所示的一种终端设备的结构示意图,该终端设备包括存储器100和处理器101,其中,存储器100用于存储一条或多条计算机指令,一条或多条计算机指令被处理器101执行,以实现上述信息交互方法。
进一步地,图11所示的终端设备还包括总线102和通信接口103,处理器101、通信接口103和存储器100通过总线102连接。
其中,存储器100可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100,处理器101读取存储器100中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述信息交互方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的信息交互方法、装置和终端设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和/或装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种信息交互方法,其特征在于,通过终端设备展示信息交互界面,所述方法包括:
获取用户当前的表情信息;
基于所述表情信息确定交互信息;
在所述信息交互界面执行所述交互信息对应的交互操作。
2.根据权利要求1所述的方法,其特征在于,获取用户当前的表情信息的步骤,包括:
通过情绪解读接口采集用户当前的表情信息。
3.根据权利要求2所述的方法,其特征在于,所述终端设备包括表情解读模块;通过情绪解读接口采集用户当前的表情信息的步骤,包括:
基于所述表情解读模块确定用户当前的表情信息。
4.根据权利要求2所述的方法,其特征在于,所述信息交互界面还包括所述情绪解读接口的开关控件;所述方法还包括:
如果所述开关控件为开时,设置所述情绪解读接口为开启状态;
如果所述开关控件为关时,设置所述情绪解读接口为关闭状态。
5.根据权利要求2所述的方法,其特征在于,通过情绪解读接口采集用户当前的表情信息的步骤之后,所述方法还包括:
如果通过情绪解读接口采集用户当前的表情信息的操作失败,提示设定所述表情信息对应的交互信息;和/或,提示所述用户重新采集所述表情信息。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述交互信息生成一交互指示图标;
在所述信息交互界面显示所述交互指示图标。
7.根据权利要求6所述的方法,其特征在于,根据所述交互信息生成一交互指示图标的步骤,包括:
基于所述表情信息确定所述用户的情绪标签;
基于预先设定的情绪标签与图标的对应关系,生成所述用户的表情标签对应的所述交互指示图标。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述用户的语音信息;
在所述信息交互界面输入所述语音信息对应的文字。
9.根据权利要求1所述的方法,其特征在于,在所述信息交互界面执行所述交互信息对应的交互操作的步骤包括:
响应交互操作,加载所述交互信息至所述信息交互界面的互动栏;
上传所述互动栏中的所述交互信息。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述信息交互界面显示所述用户的用户信息。
11.一种信息交互装置,其特征在于,通过终端设备展示信息交互界面,所述装置包括:
表情信息获取模块,用于获取用户当前的表情信息;
交互信息确定模块,用于基于所述表情信息确定交互信息;
交互信息显示模块,用于在所述信息交互界面执行所述交互信息对应的交互操作。
12.一种终端设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1-10任一项所述的信息交互方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使处理器实现权利要求1-10任一项所述的信息交互方法的步骤。
CN202010683484.XA 2020-07-15 2020-07-15 信息交互方法、装置和终端设备 Pending CN111783728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010683484.XA CN111783728A (zh) 2020-07-15 2020-07-15 信息交互方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010683484.XA CN111783728A (zh) 2020-07-15 2020-07-15 信息交互方法、装置和终端设备

Publications (1)

Publication Number Publication Date
CN111783728A true CN111783728A (zh) 2020-10-16

Family

ID=72768244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010683484.XA Pending CN111783728A (zh) 2020-07-15 2020-07-15 信息交互方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN111783728A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389798A (zh) * 2013-07-23 2013-11-13 深圳市欧珀通信软件有限公司 一种操作移动终端的方法及装置
CN106817541A (zh) * 2017-01-10 2017-06-09 惠州Tcl移动通信有限公司 一种基于面部表情控制拍照的方法及系统
CN108681390A (zh) * 2018-02-11 2018-10-19 腾讯科技(深圳)有限公司 信息交互方法和装置、存储介质及电子装置
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN111367403A (zh) * 2018-12-29 2020-07-03 香港乐蜜有限公司 一种交互方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389798A (zh) * 2013-07-23 2013-11-13 深圳市欧珀通信软件有限公司 一种操作移动终端的方法及装置
CN106817541A (zh) * 2017-01-10 2017-06-09 惠州Tcl移动通信有限公司 一种基于面部表情控制拍照的方法及系统
CN108681390A (zh) * 2018-02-11 2018-10-19 腾讯科技(深圳)有限公司 信息交互方法和装置、存储介质及电子装置
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN111367403A (zh) * 2018-12-29 2020-07-03 香港乐蜜有限公司 一种交互方法及装置

Similar Documents

Publication Publication Date Title
CN109257645B (zh) 视频封面生成方法及装置
CN109547332B (zh) 通讯会话交互方法、装置、计算机设备
CN111859020B (zh) 推荐方法、装置、电子设备及计算机可读存储介质
CN108038102B (zh) 表情图像的推荐方法、装置、终端及存储介质
US20130147933A1 (en) User image insertion into a text message
CN109670385B (zh) 一种应用程序中表情更新的方法及装置
CN112910754A (zh) 基于群组会话的消息处理方法、装置、设备及存储介质
CN110349577B (zh) 人机交互方法、装置、存储介质及电子设备
CN112613360A (zh) 一种图片分享方法、装置、智能终端及存储介质
CN112052784A (zh) 物品的搜索方法、装置、设备及计算机可读存储介质
CN111400539A (zh) 语音问卷的处理方法、装置和系统
CN112492397A (zh) 视频处理方法、计算机设备和存储介质
CN111783728A (zh) 信息交互方法、装置和终端设备
CN109740557B (zh) 对象检测方法及装置、电子设备和存储介质
CN111144141A (zh) 基于拍照功能的翻译方法
CN112631435A (zh) 一种输入方法、装置、设备及存储介质
CN112784700B (zh) 人脸图像显示的方法、装置及存储介质
WO2020207041A1 (en) System and method for dynamically recommending inputs based on identification of user emotions
CN114038034A (zh) 虚拟人脸选择模型训练方法、在线视频心理咨询隐私保护方法、存储介质及心理咨询系统
CN110704656A (zh) 图片处理方法、装置、存储介质及终端
CN113138676A (zh) 表情符号显示方法及装置
CN111737500A (zh) 电子页面的检索方法及装置、学习设备、可读存储介质
CN112118410B (zh) 业务处理方法、装置、终端及存储介质
CN112235182B (zh) 基于斗图的图像对抗方法、装置及即时通信客户端
CN114155307A (zh) 信息提取模型的训练及信息提取方法、装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination