CN107613102B - 一种会话信息输入方法及移动终端 - Google Patents

一种会话信息输入方法及移动终端 Download PDF

Info

Publication number
CN107613102B
CN107613102B CN201710763357.9A CN201710763357A CN107613102B CN 107613102 B CN107613102 B CN 107613102B CN 201710763357 A CN201710763357 A CN 201710763357A CN 107613102 B CN107613102 B CN 107613102B
Authority
CN
China
Prior art keywords
expression
facial
information
facial image
attributive character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710763357.9A
Other languages
English (en)
Other versions
CN107613102A (zh
Inventor
董江凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201710763357.9A priority Critical patent/CN107613102B/zh
Publication of CN107613102A publication Critical patent/CN107613102A/zh
Application granted granted Critical
Publication of CN107613102B publication Critical patent/CN107613102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种会话信息输入方法及移动终端,该方法应用于包括摄像头的移动终端,包括:通过所述摄像头采集人脸图像;根据所述人脸图像,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。本发明根据采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,能够准确地提供用户所需的表情信息,简化了用户操作,节省了表情信息的输入时间。

Description

一种会话信息输入方法及移动终端
技术领域
本发明涉及通信技术领域,尤其涉及一种会话信息输入方法及移动终端。
背景技术
随着科技的发展进步,通信技术得到了飞速发展和长足的进步,而随着通信技术的提高,智能电子产品的普及提高到了一个前所未有的高度,越来越多的智能终端或移动终端成为人们生活中不可或缺的一部分,如智能手机、智能电视和电脑等。
目前,用户在使用移动终端进行交流沟通时,一般是将文字、图片以及语音作为交流沟通的载体。当用户在交流沟通过程中,需要表达一定情绪的时候,则需要用户在表情包中查找目标表情,并将目标表情添加到需要输出的文本信息中,整个信息输入过程显得繁琐费时,尤其是当表情包中可选的表情太多时,需要用户花费较多的时间从中挑选出目标表情。可见,现有的会话过程中,表情信息的输入存在繁琐费时的问题。
发明内容
本发明实施例提供一种会话信息输入方法及移动终端,以解决现有的会话过程中,表情信息的输入存在繁琐费时的问题。
第一方面,本发明实施例提供了一种会话信息输入方法,应用于包括摄像头的移动终端,包括:
通过所述摄像头采集人脸图像;
根据所述人脸图像,生成对应的表情信息;
在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
第二方面,本发明实施例还提供一种移动终端,包括摄像头,所述移动终端还包括:
采集模块,通过所述摄像头采集人脸图像;
生成模块,用于根据所述人脸图像,生成对应的表情信息;
显示模块,用于在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
第三方面,本发明实施例还提供一种移动终端,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述会话信息输入方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述会话信息输入方法的步骤。
这样,本发明实施例根据采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,能够准确地提供用户所需的表情信息,简化了用户操作,节省了表情信息的输入时间。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的会话信息输入方法的流程图;
图2是本发明另一实施例提供的会话信息输入方法的流程图;
图3是本发明实施例提供的一种面部特征识别网络结构图;
图4是本发明一实施例提供的移动终端的结构图;
图5是本发明一实施例提供的移动终端中生成模块的结构图;
图6是本发明一实施例提供的移动终端中生成子模块的结构图之一;
图7是本发明一实施例提供的移动终端中生成子模块的结构图之二;
图8是本发明一实施例提供的移动终端中识别子模块的结构图;
图9是本发明另一实施例提供的移动终端的结构图;
图10是本发明又一实施例提供的移动终端的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明一实施例提供的会话信息输入方法的流程图,其中,该会话信息输入方法应用于包括摄像头的移动终端,如图1所示,包括以下步骤:
步骤101、通过所述摄像头采集人脸图像。
该步骤中,用户在使用即时通信程序进行通信会话的过程中,当用户需要表达一定情绪的时候,比如展示当前的心情状态,可以在会话窗口界面点击预先设置的表情按键,移动终端通过接收用户针对表情按键的触控操作,开启摄像头,并采集用户当前的人脸图像。其中,该人脸图像为可以展示用户当前面部表情的图像。
需要说明的是,在执行步骤102之前,本发明实施例可以检测步骤101采集的人脸图像是否能清晰的展示用户当前的面部表情,若不能清晰的展示用户当前的面部表情,则需要重新采集人脸图像,直到采集的人脸图像,能够满足预先设置的清晰度要求。
步骤102、根据所述人脸图像,生成对应的表情信息。
该步骤中,可以通过提取步骤101采集得到的人脸图像中的表情特征,比如开心、沮丧、愤怒等,进而生成与开心、沮丧、愤怒等对应的表情信息。
步骤103、在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
该步骤中,将步骤102中生成得到的表情信息,在会话窗口进行显示。其中,在会话窗口显示的内容可以是该表情信息,比如开心表情对应的表情符号,或者沮丧表情对应的表情符号;也可以是该表情信息对应的文本信息,比如开心表情对应的文字信息“开心”,或者沮丧表情对应的文字信息“沮丧”。
需要说明的是,该表情信息可以单独作为会话信息在会话窗口中显示,并用于发送;也可以和其他文字或者图片信息一起作为会话信息在会话窗口中显示,并用于发送。
通过这种方式,通过将采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,相对于通过在表情库中查找与用户当前心情对应的表情,不仅可以简化操作,还可以节省表情的查找时间。而且,通过识别人脸获取用于展示用户当前心情的表情,更加贴合用户当前的心情,并使得用户间的交互更加接近于面对面交流。
本发明实施例中,上述移动终端可以任何具备摄像头的移动终端,例如:手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、移动上网装置(Mobile Internet Device,MID)或可穿戴式设备(Wearable Device)等。
本发明实施例根据采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,能够准确地提供用户所需的表情信息,简化了用户操作,节省了表情信息的输入时间。
参见图2-3,图2是本发明另一实施例提供的会话信息输入方法的流程图,图3是本发明实施例提供的一种面部特征识别网络结构图。如图2所示,包括以下步骤:
步骤201、通过所述摄像头采集人脸图像。
该步骤中,用户在使用即时通信程序进行通信会话的过程中,当用户需要表达一定情绪的时候,比如展示当前的心情状态,可以在会话窗口界面点击预先设置的表情按键,移动终端通过接收用户针对表情按键的触控操作,开启摄像头,并采集用户当前的人脸图像。其中,该人脸图像为可以展示用户当前面部表情的图像。
步骤202、识别所述人脸图像的面部属性特征。
该步骤中,可以通过预先设置的深度神经网络,并依据深度神经网络的识别功能,识别出人脸图像对应的年龄、性别及表情等面部属性特征。本发明实施例可以通过这种方式识别人脸图像的面部属性特征。
具体的,如图3所示,在本实施方式中,深度神经网络可以是20万组包括年龄、性别及表情的训练数据经过训练形成的,其中,表情主要包括开心、伤心、沮丧、愤怒、惊讶及害怕六种,并采用深度神经网络实现,如图3所示,其中,基础网络使用的是VGG(目视图像生成器,Visual Graphics Generator)网络,且网络结构采取分组的形式,如图3所示,虚线框10所框区域表示年龄组,虚线框20所框区域表示性别组,虚线框30所框区域表示表情组,其中,开心、伤心、沮丧、愤怒、惊讶及害怕六种表情共用一个子网络。在本实施方式中,年龄、性别及六种表情各占一列网络,且每列网络权重均为1/8。
需要说明的是,训练数据的组数越多,训练后形成的深度神经网络的识别准确度越高,对于人脸图像的识别结果越准确。
需要进一步说明的是,由于不同的年龄,对于同一个表情,用户表达方式不一样,比如同样是一个开心的表情,对于小孩来说可能是蹦蹦跳跳、哈哈大笑,对于中年人来可能只是一个舒展的面部表情;同理,由于性别的不同,对于同一个表情,用户的表达方式也不一样,比如同样是一个伤心的表情,对于男性来说可能是看上去情绪低落的面部表情,对于女性来说可能是流泪、落泪的表情。因此,本发明实施例,面部属性特征应该至少包括年龄、性别及表情等信息。
步骤203、根据所述面部属性特征,生成对应的表情信息。
该步骤中,可以根据面部属性特征,比如年龄、性别及当前面部表情,得到对应的表情信息。
比如,根据步骤202,通过识别人脸图像的面部属性特征,可以得到的面部属性特征包括年龄为20岁,性别为男性,当前面部表情为伤心,则生成一个20岁男性的伤心表情,作为待显示的表情信息。
步骤204、在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
该步骤中,将步骤203中生成得到的表情信息,在会话窗口进行显示。其中,在会话窗口显示的内容可以是该表情信息,比如开心表情对应的表情符号,或者沮丧表情对应的表情符号;也可以是该表情信息对应的文本信息,比如开心表情对应的文字信息“开心”,或者沮丧表情对应的文字信息“沮丧”。
需要说明的是,该表情信息可以单独作为会话信息在会话窗口中显示,并用于发送;也可以和其他文字或者图片信息一起作为会话信息在会话窗口中显示,并用于发送。
可选的,所述根据所述面部属性特征,生成对应的表情信息的步骤,包括:
在预设表情库中查找与所述面部属性特征相匹配的表情;
将所述预设表情库中与所述面部属性特征相匹配的表情确定为所述表情信息。
本实施方式中,可以通过在预先设置的表情库中查找与面部属性特征相匹配的表情,并将该表情作为待显示的表情信息。通过这种方式,无需用户在表情库中手动进行对应表情的查找,不仅简化了用户操作,还可以节省表情的查找时间。
可选的,所述根据所述面部属性特征,生成对应的表情信息的步骤,包括:
从预设表情模型库中查找与所述面部属性特征相匹配的表情模型;
将所述人脸图像添加至所述表情模型,生成所述表情信息。
本实施方式中,可以在预先设置的表情模型库中查找与识别得到的面部属性特征匹配的表情模型,并通过将采集到的人脸图像添加至表情模型内,生成表情信息。就类似于制作大头贴一样,将采集到的人脸图像制作成用户表情,从而使会话双方能够更为准确的传达情绪表情。而且,通过使用表情模型生成的目标表情,更为生动,还可以增加会话双方的沟通乐趣。
比如,会话双方是时尚达人,就可以使用当前流行的时尚元素作为表情模型;又比如,会话双方是游戏玩家,则可以使用游戏元素作为表情模型等等。
可选的,所述识别所述人脸图像的面部属性特征的步骤,包括:
确定所述人脸图像的特征点;
从预设数据库中识别与所述特征点相匹配的面部属性特征。
本实施方式中,可以先确定人脸图像的特征点,然后再通过预先设置的深度神经网络识别与特征点相匹配的面部属性特征。通过这种识别方式,相对于对整幅人脸图像进行识别,可以提升人脸图像识别效率。
比如,由于眼睛和嘴巴可以最大程度的展现一个人的心情状态,这样就可以将眼睛及嘴巴作为人脸图像的特征点,并通过在预先设置的数据库中识别与眼睛、嘴巴相匹配的面部属性,从而识别得到对应的面部属性特征。
本发明实施例的会话信息输入方法,包括:通过所述摄像头采集人脸图像;识别所述人脸图像的面部属性特征;根据所述面部属性特征,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。这样通过将采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,相对于通过在表情库中查找与用户当前心情对应的表情,不仅可以简化操作,还可以节省表情的查找时间。
参见图4,图4是本发明一实施例提供的移动终端的结构图,如图4所示,移动终端400包括采集模块401、生成模块402和显示模块403,其中,采集模块401和生成模块402连接,且生成模块402还与显示模块403连接:
采集模块401,通过所述摄像头采集人脸图像;
生成模块402,用于根据所述人脸图像,生成对应的表情信息;
显示模块403,用于在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
可选的,如图5所示,所述生成模块402包括:
识别子模块4021,用于识别所述人脸图像的面部属性特征;
生成子模块4022,用于根据所述面部属性特征,生成对应的表情信息。
可选的,如图6所示,所述生成子模块4022包括:
第一查找单元40221,用于在预设表情库中查找与所述面部属性特征相匹配的表情;
第一确定单元40222,用于将所述预设表情库中与所述面部属性特征相匹配的表情确定为所述表情信息。
可选的,如图7所示,所述生成子模块4022包括:
第二查找单元40223,用于从预设表情模型库中查找与所述面部属性特征相匹配的表情模型;
生成单元40224,用于将所述人脸图像添加至所述表情模型,生成所述表情信息。
可选的,如图8所示,所述识别子模块4021包括:
第二确定单元40211,用于确定所述人脸图像的特征点;
识别单元40212,用于使用预设的深度神经网络识别与所述特征点相匹配的面部属性特征。
移动终端400能够实现图1和图3的方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端400,包括:通过所述摄像头采集人脸图像;根据所述人脸图像,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。这样通过将采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,相对于通过在表情库中查找与用户当前心情对应的表情,不仅可以简化操作,还可以节省表情的查找时间。
本发明实施例还提供一种移动终端,包括处理器,存储器,存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述会话信息输入方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述会话信息输入方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
图9是本发明另一实施提供的移动终端的结构图,如图9所示,移动终端900包括:至少一个处理器901、存储器902、至少一个网络接口904和用户接口903。移动终端900中的各个组件通过总线系统905耦合在一起。可理解,总线系统905用于实现这些组件之间的连接通信。总线系统905除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线系统905,移动终端900还包括摄像头906,其中,摄像头906通过总线系统905与移动终端的各个组件连接。
其中,用户接口903可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器902可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的系统和方法的存储器902旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器902存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统9021和应用程序9022。
其中,操作系统9021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序9022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序9022中。
在本发明实施例中,移动终端900还包括:存储在存储器902上并可在处理器901上运行的计算机程序,具体地,可以是应用程序9022中的计算机程序,计算机程序被处理器901执行时实现如下步骤:通过所述摄像头采集人脸图像;根据所述人脸图像,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
上述本发明实施例揭示的方法可以应用于处理器901中,或者由处理器901实现。处理器901可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该计算机可读存储介质位于存储器902,处理器901读取存储器902中的信息,结合其硬件完成上述方法的步骤。具体地,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器901执行时实现如上述会话信息输入方法实施例的各步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选的,计算机程序被处理器901执行时还可实现如下步骤:识别所述人脸图像的面部属性特征;根据所述面部属性特征,生成对应的表情信息。
可选的,计算机程序被处理器901执行时还可实现如下步骤:在预设表情库中查找与所述面部属性特征相匹配的表情;将所述预设表情库中与所述面部属性特征相匹配的表情确定为所述表情信息。
可选的,计算机程序被处理器901执行时还可实现如下步骤:从预设表情模型库中查找与所述面部属性特征相匹配的表情模型;将所述人脸图像添加至所述表情模型,生成所述表情信息。
可选的,计算机程序被处理器901执行时还可实现如下步骤:确定所述人脸图像的特征点;使用预设的深度神经网络识别与所述特征点相匹配的面部属性特征。
移动终端900能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端900,包括:通过所述摄像头采集人脸图像;根据所述人脸图像,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。这样通过将采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,相对于通过在表情库中查找与用户当前心情对应的表情,不仅可以简化操作,还可以节省表情的查找时间。
图10是本发明又一实施例的移动终端的结构示意图。具体地,图10中的移动终端1000可以为手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、或车载电脑等。
图10中的移动终端1000包括射频(Radio Frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、处理器1050、摄像头1060、音频电路1070、通信模块1080和电源1090。
其中,输入单元1030可用于接收用户输入的数字或字符信息,以及产生与移动终端1000的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元1030可以包括触控面板1031。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器1050,并能接收处理器1050发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及移动终端1000的各种菜单界面。显示单元1040可包括显示面板1041,可选的,可以采用LCD或有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。
应注意,触控面板1031可以覆盖显示面板1041,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器1050以确定触摸事件的类型,随后处理器1050根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器1050是移动终端1000的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器1021内的软件程序和/或模块,以及调用存储在第二存储器1022内的数据,执行移动终端1000的各种功能和处理数据,从而对移动终端1000进行整体监控。可选的,处理器1050可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器1021内的软件程序和/或模块和/或该第二存储器1022内的数据,处理器1050用于:通过所述摄像头采集人脸图像;根据所述人脸图像,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。
可选的,计算机程序被处理器1050执行时还可实现如下步骤:识别所述人脸图像的面部属性特征;根据所述面部属性特征,生成对应的表情信息。
可选的,计算机程序被处理器1050执行时还可实现如下步骤:在预设表情库中查找与所述面部属性特征相匹配的表情;将所述预设表情库中与所述面部属性特征相匹配的表情确定为所述表情信息。
可选的,计算机程序被处理器1050执行时还可实现如下步骤:从预设表情模型库中查找与所述面部属性特征相匹配的表情模型;将所述人脸图像添加至所述表情模型,生成所述表情信息。
可选的,计算机程序被处理器1050执行时还可实现如下步骤:确定所述人脸图像的特征点;使用预设的深度神经网络识别与所述特征点相匹配的面部属性特征。
移动终端1000能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端1000,包括:通过所述摄像头采集人脸图像;根据所述人脸图像,生成对应的表情信息;在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息。这样通过将采集得到的人脸图像生成对应的表情信息,并在会话窗口中进行显示,相对于通过在表情库中查找与用户当前心情对应的表情,不仅可以简化操作,还可以节省表情的查找时间。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种会话信息输入方法,应用于包括摄像头的移动终端,其特征在于,包括:
通过所述摄像头采集人脸图像;
根据所述人脸图像,生成对应的表情信息;
在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息;
其中,所述根据所述人脸图像,生成对应的表情信息的步骤,包括:
识别所述人脸图像的面部属性特征;
根据所述面部属性特征,生成对应的表情信息;
所述面部属性特征包括年龄、性别和表情;
所述根据所述面部属性特征,生成对应的表情信息的步骤,包括:
从预设表情模型库中查找与所述面部属性特征相匹配的表情模型;
将所述人脸图像添加至所述表情模型,生成所述表情信息。
2.根据权利要求1所述的方法,其特征在于,所述识别所述人脸图像的面部属性特征的步骤,包括:
确定所述人脸图像的特征点;
使用预设的深度神经网络识别与所述特征点相匹配的面部属性特征。
3.一种移动终端,其特征在于,包括摄像头,所述移动终端还包括:
采集模块,通过所述摄像头采集人脸图像;
生成模块,用于根据所述人脸图像,生成对应的表情信息;
显示模块,用于在会话窗口中显示所述表情信息或者所述表情信息对应的文本信息;
其中,所述生成模块包括:
识别子模块,用于识别所述人脸图像的面部属性特征;
生成子模块,用于根据所述面部属性特征,生成对应的表情信息;
所述面部属性特征包括年龄、性别和表情;
所述生成子模块包括:
第二查找单元,用于从预设表情模型库中查找与所述面部属性特征相匹配的表情模型;
生成单元,用于将所述人脸图像添加至所述表情模型,生成所述表情信息。
4.根据权利要求3所述的移动终端,其特征在于,所述识别子模块包括:
第二确定单元,用于确定所述人脸图像的特征点;
识别单元,用于使用预设的深度神经网络识别与所述特征点相匹配的面部属性特征。
5.一种移动终端,其特征中在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1或2所述的会话信息输入方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1或2所述的会话信息输入方法的步骤。
CN201710763357.9A 2017-08-30 2017-08-30 一种会话信息输入方法及移动终端 Active CN107613102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710763357.9A CN107613102B (zh) 2017-08-30 2017-08-30 一种会话信息输入方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710763357.9A CN107613102B (zh) 2017-08-30 2017-08-30 一种会话信息输入方法及移动终端

Publications (2)

Publication Number Publication Date
CN107613102A CN107613102A (zh) 2018-01-19
CN107613102B true CN107613102B (zh) 2019-05-17

Family

ID=61056246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710763357.9A Active CN107613102B (zh) 2017-08-30 2017-08-30 一种会话信息输入方法及移动终端

Country Status (1)

Country Link
CN (1) CN107613102B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118163A (zh) * 2018-07-06 2019-01-01 平安科技(深圳)有限公司 自动输入审批意见的方法、装置、计算机设备及存储介质
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN111016784B (zh) * 2018-10-09 2022-11-15 上海擎感智能科技有限公司 一种图像呈现方法、装置、电子终端及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
CN106657650A (zh) * 2016-12-26 2017-05-10 努比亚技术有限公司 一种系统表情推荐方法、装置及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
CN105404845B (zh) * 2014-09-15 2019-08-06 腾讯科技(深圳)有限公司 图片处理方法及装置
CN107251096B (zh) * 2014-11-10 2022-02-11 英特尔公司 图像捕获装置和方法
CN106371551A (zh) * 2015-07-20 2017-02-01 深圳富泰宏精密工业有限公司 人脸表情操作系统、方法及电子装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
CN106657650A (zh) * 2016-12-26 2017-05-10 努比亚技术有限公司 一种系统表情推荐方法、装置及终端

Also Published As

Publication number Publication date
CN107613102A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
US8893054B2 (en) Devices, systems, and methods for conveying gesture commands
US10019779B2 (en) Browsing interface for item counterparts having different scales and lengths
CN107145348B (zh) 一种应用程序分屏处理方法及移动终端
KR102260721B1 (ko) 전자 장치 및 전자 장치에서의 음악 연주 방법
CN107613102B (zh) 一种会话信息输入方法及移动终端
CN106575424A (zh) 使音乐信息可视化的方法和装置
CN106210526A (zh) 一种拍摄方法及移动终端
CN106341608A (zh) 一种基于情绪的拍摄方法及移动终端
CN107678644A (zh) 一种图像处理方法及移动终端
CN107710131A (zh) 内容浏览用户界面
CN106446048B (zh) 一种歌曲推荐方法及移动终端
WO2021003673A1 (zh) 内容推送方法及相关产品
CN106952235A (zh) 一种图像处理方法和移动终端
CN106341538A (zh) 一种歌词海报的推送方法及移动终端
CN106446180A (zh) 一种歌曲的识别方法及移动终端
CN106855744B (zh) 一种屏幕显示方法及移动终端
CN108475204A (zh) 自动设置壁纸的方法、终端设备和图形用户界面
CN106503078A (zh) 一种应用程序的推荐方法、服务器和移动终端
CN109410004A (zh) 一种推荐方法、装置及移动终端
CN110276006A (zh) 彩蛋的展示方法、装置、电子设备和计算机可读存储介质
CN107329687B (zh) 一种虚拟输入键盘的显示方法及移动终端
CN106502614A (zh) 一种字体调节方法及移动终端
CN106100984B (zh) 一种即时通讯信息提醒方法及移动终端
CN106101579B (zh) 一种视频拼接的方法及移动终端
CN106033355B (zh) 一种语言设置方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant