CN108880975B - 信息显示方法、装置及系统 - Google Patents

信息显示方法、装置及系统 Download PDF

Info

Publication number
CN108880975B
CN108880975B CN201710343814.9A CN201710343814A CN108880975B CN 108880975 B CN108880975 B CN 108880975B CN 201710343814 A CN201710343814 A CN 201710343814A CN 108880975 B CN108880975 B CN 108880975B
Authority
CN
China
Prior art keywords
terminal
communication information
information
server
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710343814.9A
Other languages
English (en)
Other versions
CN108880975A (zh
Inventor
李斌
张玖林
易薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710343814.9A priority Critical patent/CN108880975B/zh
Publication of CN108880975A publication Critical patent/CN108880975A/zh
Application granted granted Critical
Publication of CN108880975B publication Critical patent/CN108880975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种信息显示方法、装置及系统,属于互联网技术领域。该方法包括:在第一终端的信息显示界面中显示与其交互的第二终端对应用户的3D形象模型;接收服务器发送的通讯信息和表情参数,通讯信息和表情参数由第二终端发送至服务器,表情参数由第二终端根据实时采集到的面部表情生成;根据表情参数,在3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。本发明实施例中,第一终端在显示通讯信息的同时,能够在第二终端对应的3D形象模型上,还原出对端用户的实时面部表情;并且,终端间仅需要进行表情参数传输,无需传输视频数据,达到了节省流量的效果。

Description

信息显示方法、装置及系统
技术领域
本发明实施例涉及互联网技术领域,特别涉及一种信息显示方法、装置及系统。
背景技术
随着互联网技术的不断发展,人们使用终端进行沟通变得越来越便捷。比如,通过使用终端中的即时通讯应用,用户间不仅能够互相发送即时通讯信息,甚至还能够进行视频聊天。
采用即时通讯信息进行实时沟通时,发送方终端将获取到的文字信息或表情符号信息作为即时通讯信息,通过服务器发送至接收方终端,由接收方终端对该即时通讯信息进行显示;采用视频方式进行实时沟通时,发送方终端通过服务器将采集到的音视频数据发送至接收方终端,由接收方终端对音视频数据进行实时解析显示。
然而,采用即时通讯信息进行沟通时,即时通讯信息无法准确表达用户当前的表情状态;而采用视频方式进行实时沟通时,视频数据的传输将耗费大量流量。
发明内容
为了解决上述技术问题,本发明实施例提供了一种信息显示方法、装置及系统。所述技术方案如下:
根据本发明实施例的第一方面,提供了一种信息显示方法,该方法包括:
在第一终端的信息显示界面中显示与其交互的第二终端对应用户的3D形象模型。第二终端为至少一个;
接收服务器发送的通讯信息和表情参数,通讯信息和表情参数由第二终端发送至服务器,表情参数由第二终端根据实时采集到的面部表情生成;
根据表情参数,在3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。
根据本发明实施例的第二方面,提供了一种信息显示方法,该方法包括:
获取通讯信息;
根据实时采集的面部表情生成表情参数;
通过服务器向第一终端发送通讯信息和表情参数,第一终端用于根据表情参数,在第二终端对应用户的3D形象模型上模拟第二终端实时采集到的面部表情,并关联显示通讯信息。
根据本发明实施例的第三方面,提供了一种信息显示方法,该方法包括:
接收第二终端发送的通讯信息和表情参数,表情参数由所述第二终端根据实时采集到的面部表情生成;
向第一终端发送通讯信息和表情参数,第一终端用于根据表情参数,在第二终端对应用户的3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。
根据本发明实施例的第四方面,提供了一种信息显示装置,该装置包括:
模型显示模块,用于在第一终端的信息显示界面中显示第二终端对应用户的3D形象模型;
第一接收模块,用于接收服务器发送的通讯信息和表情参数,通讯信息和表情参数由第二终端发送至服务器,表情参数由第二终端根据实时采集到的面部表情生成;
模拟显示模块,用于根据表情参数,在3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。
根据本发明实施例的第五方面,提供了一种信息显示装置,该装置包括:
第三获取模块,用于获取通讯信息;
生成模块,用于根据实时采集的面部表情生成表情参数;
第一发送模块,用于通过服务器向第一终端发送通讯信息和表情参数,第一终端用于根据表情参数,在第二终端对应用户的3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。
根据本发明实施例的第六方面,提供了一种信息显示装置,该装置包括:
第三接收模块,用于接收第二终端发送的通讯信息和表情参数,表情参数由第二终端根据实时采集到的面部表情生成;
第三发送模块,用于向第一终端发送通讯信息和表情参数,第一终端用于根据表情参数,在第二终端对应用户的3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示所述通讯信息。
根据本发明实施例的第七方面,提供了一种信息显示系统,该系统包括:第一终端、第二终端和服务器;
第一终端包括如上述第四方面所述的信息显示装置;
第二终端包括如上述第五方面所述的信息显示装置;
服务器包括如上述第六方面所述的信息显示装置。
本发明实施例中,第二终端向第一终端发送通讯信息的同时,向第一终端发送根据用户实时面部表情生成的表情参数,使得第一终端在显示通讯信息的同时,能够在第二终端对应的3D形象模型上,还原出对端用户的实时面部表情;并且,相较于相关技术中的视频聊天,本发明实施例中,终端间仅需要进行表情参数传输,无需传输视频数据,达到了节省流量的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例提供的信息显示系统的系统架构图;
图2A示出了本发明一个实施例提供的信息显示方法的方法流程图;
图2B是终端显示对端用户3D形象模型过程的实施示意图;
图2C是终端显示通讯信息以及模拟面部表情过程的实施示意图;
图3A示出了本发明另一个实施例提供的信息显示方法的方法流程图;
图3B是终端显示多个对端用户3D形象模型过程的实施示意图;
图3C是多人通讯场景下终端显示通讯信息以及模拟面部表情过程的实施示意图;
图4是终端显示历史通讯信息时的界面示意图;
图5是3D形象模型进行交互过程的实施示意图;
图6示出了本发明一个实施例提供的信息显示装置的结构方框图;
图7示出了本发明一个实施例提供的信息显示装置的结构方框图;
图8示出了本发明一个实施例提供的信息显示装置的结构方框图;
图9示出了本发明一个实施例提供的服务器的结构方框图;
图10示出了本发明一个实施例提供的终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参考图1,其示出了本发明一个实施例提供的信息显示系统的系统架构图,该系统中包括第一终端110、第二终端120和服务器130。
第一终端110和第二终端120是具有网络访问功能的电子设备,该电子设备为智能手机、平板电脑、个人便携式计算机等等。第一终端110和第二终端120中安装并运行有通讯客户端,该通讯客户端为具有通讯功能的社交应用客户端,比如即时通讯客户端。通过该通讯客户端,第一终端110和第二终端120即可相互发送通讯信息,该通讯信息为用户录入的文字信息或语音信息等等。
第一终端110和第二终端120借助通讯客户端进行通讯的过程中,为了使本端用户能够知悉对端用户发送通讯信息时的实时表情,第一终端110和第二终端120还通过摄像头实时采集本端用户的面部表情,并将根据面部表情生成的表情参数发送到对端;对端接收到表情参数后,通讯客户端即基于该表情参数,在对端用户对应的3D形象模型上模拟出对端用户的实时表情。
可选的,第一终端110和第二终端120运行的通讯客户端具有3D模型生成及渲染功能,借助3D模型生成功能,通讯客户端能够生成面部表情对应的表情参数;借助3D模型渲染功能,通讯客户端能够根据接收到的表情参数在3D形象模型上模拟相应的面部表情。其中,3D模型生成及渲染功能集成在通讯客户端中的3D渲染引擎实现,例如,该3D渲染引擎为Unity3D。
第一终端110与第二终端120均通过有线或无线网络与服务器130相连。
服务器130为一台服务器、若干台服务器组成的服务器集群或云计算中心。本发明实施例中,服务器130即为通讯客户端对应的后台服务器。
在一种可能的实施方式中,如图1所示,服务器130中包括模型数据库131,该模型数据库131中存储有各个通讯客户端预先上传的模型数据,其中,该模型数据用于渲染显示3D形象模型,该3D形象模型即用于模拟通讯客户端对应用户的面部表情以及肢体动作。
在一种可能的应用场景下,第一终端110和第二终端120使用通讯客户端进行通讯时,第一终端110可以请求从模型数据库131中获取第二终端120对应用户的模型数据,第二终端120可以请求从模型数据库131中获取第一终端110对应用户的模型数据,并分别根据获取到的模型数据在本端渲染显示对端用户的3D形象模型。通讯过程中,第一终端110和第二终端120分别采集本端用户的面部表情,并生成相应的表情参数,从而通过服务器130将表情参数与通讯信息一同发送至对端。第一终端110和第二终端120接收到对端发送的表情参数后,即根据表情参数在显示的3D形象模型上,模拟还原出对端用户当前的面部表情,并对通讯信息与3D形象模型进行关联显示。
在另一种可能的实施方式中,如图1所示,服务器130中还包括离线消息数据库132,该离线消息数据库132中即存储有通讯客户端发送的离线消息,其中,该离线消息中至少包含离线通讯信息和表情参数。
在一种可能的应用场景下,第一终端110通过服务器130向处于离线状态的第二终端120(通讯客户端未运行)发送离线消息后,该离线消息即存储在服务器130中;当第二终端120上线时,服务器130即向第二终端120发送该离线消息以及第一终端110对应的模型数据,以便第二终端120基于模型数据对该离线消息进行显示。
需要说明的是,图1中仅以信息显示系统中包含两台终端为例进行示意性说明,在多终端同时进行通讯的场景下,该信息显示系统中可以包括三台及以上终端。通讯过程中,终端即通过服务器向其他各台终端发送通讯信息即表情参数,并对其他各台终端发送的通讯信息以及表情参数进行渲染显示。本发明实施例并不对信息显示系统中终端的数量进行限定。
可选地,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
区别于相关技术中,服务器仅具备通讯信息传输功能,终端(运行的通讯客户端)仅具备文字信息显示以及语音信息播放功能,本发明各个实施例中,服务器同时具备模型数据、表情参数及通讯信息传输功能,而终端(运行的通讯客户端)还具备3D模型生成及渲染功能。在进行通讯前,通讯双方终端分别从服务器处获取对端用户的模型数据,并根据该模拟数据渲染显示对端用户的3D形象模型;在通讯过程中,通讯双方终端实时采集本端用户的面部表情,并生成相应的表情参数,从而将用户录入的通讯信息与生成的表情参数一同发送至对端。对端接收到表情参数后,能够根据该表情参数还原显示出面部表情,使得用户查看对方发送的通讯信息时,了解对方的实时面部表情,提升通讯信息的还原度及用户体验。
除此之外,区别于相关技术中的视频聊天,本发明实施例中,进行通讯的终端间仅传输通讯信息以及表情参数,并未涉及视频数据的传输,在达到与视频聊天相似效果的同时,降低了通讯过程中消耗的流量,在网络状态不佳的情况下,达到的效果明显优于传统的视频聊天。并且,有别于视频聊天中显示的2D视频画面,本发明实施例中,以3D模型的形式展现对端用户的形象更加生动形象,进一步提高了用户的通讯体验。下面采用示意性的实施例对本发明的具体实施过程进行说明。
请参考图2A,其示出了本发明一个实施例提供的信息显示方法的方法流程图,本实施例以该信息显示方法用于图1所示的信息显示系统为例进行说明,该方法包括:
步骤201,第二终端生成3D形象模型对应的模型数据。
在一种可能的实施方式中,第二终端获取用户录入的至少一张人脸图像(分别对应不同的角度,包括正脸、左侧脸、右侧脸等等),并对各张人脸图像进行分析,得到用户人脸的人脸轮廓、人脸器官分布位置以及人脸器官尺寸等人脸模型数据,从而基于该人脸模型数据生成3D人脸模型。对于3D人体模型的生成方式,第二终端的通讯客户端提供若干种3D人体模型模板供用户选择,根据用户选择的3D人体模型模板,并结合用户输入人体数据(包括身高、体重等数据),第二终端生成相应的3D人体模型。进一步的,第二终端将3D人脸模型和3D人体模型组合成3D形象模型,从而生成3D形象模型对应的模型数据。
在其他可能的实施方式中,第二终端将录入的人脸图像和人体数据发送至服务器,由服务器生成3D形象模型后,将该3D形象模型反馈给第二终端。
步骤202,第二终端向服务器发送模型数据。
可选的,在进行通讯前,第二终端即通过通讯客户端向服务器发送该模型数据,该模型数据用于渲染第二终端对应用户的3D形象模型,该3D形象模型包括3D人脸模型和3D人体模型。
需要说明的是,由于通讯时需要双端进行交互,因此,第一终端也需要预先向服务器发送对应的模型数据。
示意性的,如图2B所示,第二终端22预先将本端用户(终端标识为“张三”)的模型数据A发送至服务器23,由服务器23将该模型数据存储到模型数据库231中。
步骤203,服务器对接收到的模型数据进行存储。
在一种可能的实施方式中,服务器接收到第二终端发送的模型数据后,获取第二终端的终端标识,从而将终端标识与模型数据关联存储到模型数据库中。其中,该终端标识为登陆通讯客户端时使用的帐号。示意性的,终端标识与模型数据的对应关系如表一所示。
表一
Figure BDA0001295951150000071
Figure BDA0001295951150000081
可选的,当接收到第二终端发送的模型数据更新请求时,第二终端即根据模型数据更新请求中包含的模型更新数据,对第二终端对应的模型数据进行更新。
需要说明的是,终端首次进行通讯前才需要执行上述步骤201至203。
步骤204,服务器接收第一终端发送的通讯请求。
其中,该通讯请求中包含进行通讯的第二终端的终端标识。
步骤205,服务器根据通讯请求向第一终端发送该模型数据。
在一种可能的实施方式中,接收到第一终端发送的通讯请求时,服务器即根据通讯请求中携带的第二终端的终端标识,从模型数据库中查找对应的模型数据,并将该模型数据发送至第一终端。
示意性的,如图2B所示,第一终端21向服务器23发送通讯请求,该通讯请求中包含第二终端的终端标识“张三”。根据终端标识,服务器23从模型数据库231中查找到相应的模型数据A,并将模型数据A发送至第一终端21。
步骤206,第一终端根据服务器发送的模型数据,在第一终端的信息显示界面中显示第二终端对应用户的3D形象模型。
第一终端接收到服务器发送的模型数据后,即根据该模型数据渲染显示相应的3D形象模型,并在信息显示界面上进行显示。可选的,该信息显示界面为第一终端与第二终端相互发送通讯信息时显示的界面,第一终端根据模型数据,采用Unity3D技术渲染显示3D形象模型。
示意性的,如图2B所示,第一终端21接收到服务器23发送的模型数据A后,在与张三的聊天界面211中,显示基于模型数据A渲染得到的3D形象模型212。同时,第二终端22从服务器23处获取第一终端(终端标识为“李四”)对应用户的模型数据B,并在与李四的聊天界面221中,显示基于模型数据B渲染得到的3D形象模型222。
在其他可能的实施方式中,当第一终端并非首次与第二终端进行通讯时,第一终端直接根据第二终端的终端标识,从本地模型数据库中获取预存(上一次通讯时存储)的第二终端对应的模型数据,而不再需要从服务器处请求获取。
步骤207,第二终端获取通讯信息。
通讯过程中,当用户需要向对端用户发送通讯信息时,即向终端录入通讯信息,相应的,终端获取用户录入的通讯信息,其中,该通讯信息为文字信息或语音信息。
在一种可能的实施方式中,第二终端的信息显示界面中包含文字录入控件,当接收到对该文字录入控件的触发信号时,第二终端即获取后续录入的文字信息;在另一种可能的实施方式中,第二终端的信息显示界面中包含语音录入控件,当接收到对该语音录入控件的触发信号时,第二终端即启用音频采集组件(比如麦克风),并将采集到的音频数据确定为用户录入的语音信息。
示意性的,如图2C所示,第二终端22中包含有语音录入控件223,当用户点击该控件时,第二终端22即通过麦克风采集音频数据,并将该音频数据确定为待发送的通讯信息。
步骤208,第二终端根据实时采集的面部表情生成表情参数。
第二终端启用图像采集组件(比如摄像头)实时采集本端用户的面部表情,并根据该面部表情生成相应的表情参数。
在一种可能的实施方式中,第二终端对采集到的面部表情进行脸部识别,从而确定各个面部器官的实时位置尺寸信息,进一步的,通过比较实时位置尺寸信息与3D形象模型中面部器官的位置尺寸信息的差异,得到位置尺寸差异信息,从而根据该位置尺寸差异信息生成相应的表情参数。其中,该表情参数即用于指示本端用户当前面部表情与3D形象模型中3D人脸模型的差异。比如,该表情参数中包含眼部变形参数、嘴部变形参数、鼻部变形参数等等,本发明实施例并不对表情参数的中包含的具体参数类型进行限定。
步骤209,第二终端向服务器发送通讯信息和表情参数。
在一种可能的实施方式中,对于每个面部表情采集时刻,第二终端根据当前采集时刻的面部表情和上一采集时刻的面部表情,生成当前采集时刻对应表情参数,并对信息录入过程中各个采集时刻对应的表情参数进行聚合,生成整个通讯信息录入过程对应的表情参数集合,从而将该录入的通讯信息和表情参数集合一同发送至服务器。。其中,该表情参数集合即能够反映出通讯信息录入过程中用户真实的表情变化情况。
示意性的,如图2C所示,第二终端22向服务器23发送采集到的语音信息,并将语音录制过程(语音录入控件223持续接收到触摸信号)中生成的表情参数一同发送至服务器23。
步骤210,服务器接收第二终端发送的通讯信息和表情参数。
步骤211,服务器向第一终端发送通讯信息和表情参数。
在一种可能的实施方式中,服务器接收到通讯信息以及表情参数后,检测第一终端的当前状态,当该当前状态指示第一终端网络状况不佳,或,指示第一终端当前处于离线状态时,如图2C所示,服务器将该通讯信息和表情参数作为离线消息存储到离线消息数据库232中,并在检测到第一终端上线,或,第一终端网络状况良好时,向第一终端发送存储的离线消息;当该当前状态指示第一终端网络状况良好时,服务器则直接将通讯信息和表情参数发送至第一终端。
步骤212,第一终端接收服务器发送的通讯信息和表情参数。
示意性的,如图2C所示,第一终端21接收到服务器23转发的(语音)通讯信息以及相应的表情参数。
步骤213,第一终端根据表情参数,在3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。
为了还原出对端用户发送通讯信息时的真实面部表情,第一终端根据表情参数,在对端用户对应的3D形象模型的基础上,模拟出相应的面部表情。
可选的,为了方便面部表情模拟,第一终端将接收到的表情参数转换为3D模型渲染引擎可识别的数据。比如,第一终端将表情参数转换为BlendShape以及Animation Name等可被Unity3D引擎识别的数据。
示意性的,如图2C所示,第一终端21接收到的表情参数左眼闭合,右眼张开,且左嘴角上扬15°,第一终端21即根据该表情参数在指示3D形象模型212上模拟出相应的面部表情。
在3D形象模型上模拟显示对端用户实时面部表情的同时,第一终端在3D形象模型的周侧对接收到的通讯信息进行关联显示。
可选的,当该通讯信息为文字信息时,第一终端即在3D形象模型的周侧,以文本框的形式显示文字信息,并在文字信息显示过程中模拟对端用户面部表情;当该通信信息为语音信息时,第一终端即在3D形象模型的周侧显示语音播放控件,并在接收到语音播放控件触发信号时,并行执行播放语音信息以及模拟对端用户面部表情的操作。
示意性的,如图2C所示,第一终端21在3D形象模型212的周侧显示语音播放控件213,当用户点击语音播放控件213时,第一终端21播放接收到的语音信息,并在3D形象模型212上模拟面部表情(例如眼睛睁开闭合、嘴部张开闭合、嘴角上扬等等),使得本端用户在收听到对端用户语音的同时,观看到对端用户说话时的实时表情。
为了更加形象的模拟出用户进行沟通的场景,可选的,第一终端在显示对端用户对应3D形象模型的同时,在信息显示界面中对本端用户对应的3D形象模型进行显示,并根据采集到的本端用户的面部表情生成相应的表情参数,从而根据该表情参数在本端用户对应3D形象模型上,模拟出本端用户的实时面部表情。
通过上述实施例,终端间进行通讯时,不仅能够接收到对端用户发送的文字或语音信息,还能够根据显示的对端用户的3D形象模型,知悉对端用户的实时面部表情,达到类似视频聊天的效果;相较于传统视频聊天过程中传输视频数据耗费大量流量,本发明实施例中,显示对端用户表情仅依赖表情参数的传输,耗费的流量得到显著降低。
将本发明实施例提供的方法应用于传统的群聊天中,当存在至少3个用户使用终端进行沟通时,终端从服务器处获取其他终端对应用户的3D形象模型,并在信息显示界面中构建一个3D场景,从而将各个用户的3D形象模型置于该3D场景之中,模拟出多用户在同一场景下进行沟通的效果。下面采用示意性的实施例进行说明。
请参考图3A,其示出了本发明另一个实施例提供的信息显示方法的方法流程图,本实施例以该信息显示方法用于图1所示的信息显示系统为例进行说明,且该信息显示系统中包含至少两个第二终端。该方法包括:
步骤301,各个第二终端向服务器发送各自对应的模型数据。
与上述步骤201相似的,各个终端预先将用于渲染3D形象模型的模型数据发送至服务器,由服务器将终端标识与模型数据关联存储到模型数据库中。
示意性的,如图3B所示,第二终端32a将模型数据A发送至服务器33,第二终端32b将模型数据B发送至服务器33,第二终端32c将模型数据C发送至服务器33,第二终端32d将模型数据D发送至服务器33。服务器33分别将模型数据A、B、C、D存储到模型数据库331中。
步骤302,服务器向第一终端发送各个第二终端对应的模型数据。
在一种可能的实施方式中,当第一终端通过通讯客户端向服务器发送多人通讯请求时,服务器即根据该多人通讯请求中包含的各个终端标识,从模型数据库中查找对应的模型数据,并将该模型数据反馈给第一终端。相应的,第一终端接收服务器反馈的各组模型数据。
示意性的,如图3B所示,第一终端31向服务器33发送的多人通讯请求中包含第二终端32a、32b、32c以及32d的终端标识,服务器33即根据上述终端标识返回对应的模型数据A、B、C、D。
在其他可能的实施方式中,当第一终端需要与位于同一群组的其他第二终端进行通讯时,即向服务器发送包含群组标识的通讯请求,服务器根据该群组标识确定位于该群组的各个第二终端,并从模型数据库中获取各个第二终端对应的模型数据。
步骤303,第一终端在信息显示界面中构建3D场景。
为了模拟出多人在同一场景下进行沟通,第一终端首先需要在信息显示界面构建一个虚拟的3D场景,方便后续将各个3D形象模型置于该3D场景中。
一种可能的实施方式中,第一终端提供若干种3D场景模板供用户选择,比如,该3D场景模板包括3D会议室模板、3D公园模板、3D餐厅模板等等,根据用户选择的3D场景模板,第一终端即在信息显示界面中构建相应的3D场景。
在其他可能的实施方式中,第一终端通过摄像头拍摄一张实景照片,并基于该实景照片,通过3D场景构建技术(例如Unity3D)构建相应的3D场景。比如,第一终端通过摄像头拍摄了一张会议室的实景照片,从基于该实景照片构建了一个虚拟3D会议室。
示意性的,如图3B所示,第一终端31在信息显示界面311中构建3D室内场景。
步骤304,第一终端根据服务器发送的模型数据,渲染各个第二终端对应用户的3D形象模型。
根据接收到的各组模型数据,第一终端渲染出各个第二终端对应用户的3D形象模型。可选的,第一终端通过Unity3D技术渲染得到3D形象模型。
步骤305,第一终端根据3D形象模型的数量和预定站位算法,在3D场景中显示各个3D形象模型。
为了使各个用户对应的3D形象模型处于同一3D场景中,第一终端统计进行通讯的用户总量(即3D形象模型的数量,包括本端用户对应的3D形象模型),并根据该数量和预定站立算法,确定各个3D形象模型在3D场景中所处的站位,从而该相应站位上显示渲染得到的3D形象模型。
在一种可能的实施方式中,当预定站位算法指示各个3D形象模型围绕成圆形进行站位时,第一终端根据3D形象模型的数量,在3D场景中确定出一个椭圆区域,从而将各个3D形象模型均匀设置在椭圆区域的边缘位置,并设置各个3D形象模型面部朝向该椭圆区域的中心,进而模拟出用户面对面沟通的场景。其中,该椭圆区域的大小与3D形象模型的数量呈正比例关系。
可选的,第一终端为各个3D形象模型随机分配站姿或动作;且为了方便用户辨认,第一终端还在3D形象模型的对应位置显示相应的终端标识。
当存在第二终端断开通讯时,第一终端则停止显示该第二终端对应用户的3D形象模型,并根据剩余3D形象模型的数量,重新调整3D形象模型的站位;当存在第二终端进入通讯时,第一终端则渲染该第二终端对应用户的3D形象模型,并根据当前3D形象模型的数量,重新调整3D形象模型的站位。
示意性的,如图3B所示,第一终端31显示的3D场景中,包含四个对端用户以及本端用户对应的3D形象模型312,且各个3D形象模型312对应各自的用户标签313,该用户标签313中即包含终端标识。
需要说明的是,在其他可能的实施方式中,第一终端也可以根据预定站位算法,将各个3D形象模型并排显示在3D场景中,本发明实施例并不对此进行限定。
步骤306,第二终端获取通讯信息。
多人通讯过程中,当用户需要向各个对端用户发送通讯信息时,即向终端录入通讯信息,相应的,终端获取用户录入的通讯信息,其中,该通讯信息为文字信息或语音信息。
步骤307,第二终端根据实时采集的面部表情生成表情参数。
上述步骤306和307的实施方式与步骤207和208相似,本实施例在此不再赘述。
步骤308,第二终端向服务器发送通讯信息和表情参数。
由于多人通讯过程中,3D场景中包含多个3D形象模型,为了确保通讯信息与3D形象模型准确关联,在一种可能的实施方式中,第二终端向服务器发送通讯信息和表情参数时,同时发送自身的终端标识。借助该终端标识,对端能够准确区分不同终端发送的通讯信息及表情参数。
示意性的,如图3C所示,第二终端32a向服务器33发送表情参数和通讯信息的同时,发送自身的终端标识“张三”。
步骤309,服务器接收第二终端发送的通讯信息和表情参数。
步骤310,服务器向第一终端发送通讯信息和表情参数。
由于服务器需要支持若干个并行的多人通讯进程,为了避免不同多人通讯进程之间产生干扰(即避免通讯信息发送错误),服务器为各个多人通讯进程分配唯一通讯组标识,并将该通讯组标识分配给同一多人通讯进程中的各个终端。示意性的,服务器为不同多人通讯进程分配的通讯组标识如表二所示。
表二
通讯组标识 多人通讯进程
通讯组A 终端标识A、B、C、D、E
通讯组B 终端标识X、Y、Z
通讯组C 终端标识O、P、Q、R
可选的,第二终端发送通讯信息和表情参数时,还发送所属的多人通讯进程的通讯组标识,服务器即根据该通讯组标识确定第二终端所属的多人通讯进程,从而向该多人通讯进程中的各个终端发送该通讯信息和表情信息。
步骤311,第一终端接收服务器发送的通讯信息和表情参数。
相应的,属于同一多人通讯进程的其他各个终端也能够接收到服务器发送的通讯信息和表情参数。
步骤312,第一终端确定当前显示的通讯信息的目标第二终端。
可选的,第一终端根据通讯信息中包含的发送方标识(终端标识),确定该目标第二终端。
步骤313,第一终端将目标第二终端对应用户的3D形象模型调整至焦点显示位置。
为了使本端用户知悉当前是哪个用户进行发言,第一终端确定出发送该通讯信息的目标第二终端后,将目标第二终端对应用户的3D形象模型调整至焦点显示位置,并调整3D形象模型的面部正对本端用户,其中,该焦点显示位置处的3D形象模型被突出显示。
在一种可能的实施方式中,该焦点显示位置位于3D场景的中央。如图3C所示,第一终端31接收到“张三”发送的通讯信息时,即将“张三”对应的3D形象模型调整至正对屏幕。
在其他可能的实施方式中,第一终端控制第二终端对应用户的3D形象模型执行预定操作,或,采用预定显示方式显示该3D形象模型,比如控制3D形象模型向前迈一步,或,放大高亮显示该3D形象模型,本发明实施例并不对此进行限定。
步骤314,第一终端根据表情参数,在3D形象模型上模拟显示第二终端实时采集到的面部表情,并关联显示通讯信息。
本步骤的实施方式与上述步骤213相似,本实施例在此不再赘述。
示意性的,如图3C所示,当接收到通讯信息为文字信息“Hi”时,第一终端31在“张三”对应3D形象模型的周侧,以文本框313的形式显示该文字信息。
本实施例中,在多人通讯的情况下,终端通过构建3D场景,并在该3D场景中显示各个对端用户对应的3D形象模型,从而将接收到的通讯信息与3D形象模型进行关联显示,使得本端用户能够同时了解到不同用户的实时面部表情,达到与多人视频聊天的效果;并且,有别于传统多人视频聊天时,每个用户对应一个二维视频窗口,本实施例中,不同用户被整合到同一虚拟3D场景中,真实还原出现实中多人聊天的场景。
针对在本端回放对端用户发送的历史通讯信息,在一种可能的实施方式中,第一终端在信息显示界面中以时间轴的形式,对各条历史通讯信息进行显示,其中,各条历史通讯信息对应各自的通讯信息查看控件。可选的,为了使本端用户直观了解到各条历史通讯信息对应的发送方,通讯信息查看控件上显示有通讯信息对应的发送方标识,该发送方标识为发送方终端的终端标识或头像标识等等。
当接收到对通讯信息查看控件的选中信号时,第一终端从缓存中获取被选中的通讯信息查看控件对应的历史通讯信息,并获取该历史通讯信息对应的历史表情参数,从而在显示历史通讯信息的同时,根据该历史表情参数在(发送方用户的)3D形象模型上模拟显示发送方用户当时的面部表情。
示意性的,如图4所示,第一终端41在界面中显示时间轴411,且该时间轴411上设置有各条历史通讯信息对应的通讯信息查看控件412。当用户点击通讯信息查看控件412时,第一终端41即以文本框413的形式显示相应的历史通讯信息。同时第一终端41获取该历史通讯信息对应的表情参数,并根据该表情参数,在3D形象模型414上模拟显示发送方用户当时的面部表情。
3D形象模型除了模拟显示用户面部表情外,还可以根据用户指示与其他用户的3D形象模型执行相应的交互动作。在一种可能的实施方式中,第二终端获取互动指令,并通过服务器向第一终端发送该交互指令,其中,该交互指令用于指示本端用户与指定对端用户的3D形象模型执行预定交互动作。
针对交互指令的获取方式,可选的,第二终端的信息显示界面中包含互动控件,当接收到对该互动控件的触发信号时,第二终端即显示至少一个交互动作选项供用户选择。当接收到对交互动作选项的选择信号时,第二终端即获取被选中的交互动作选项对应的交互指令,并通过服务器将该交互指令发送至第一终端。
示意性的,如图5所示,第二终端52的信息显示界面521中显示有互动控件522,当用户点击互动控件522时,第二终端52即以列表的形式显示4个交互动作选项523。当用户选中“拥抱”这一交互动作选项523时,第二终端52即向服务器53发送互动指令,该互动指令用于指示本端用户与对端用户的3D形象模型进行拥抱。
需要说明的是,在二人通讯的场景下,由于第二终端仅对应一个对端,因此,第二终端直接通过服务器将交互指令发送至对端(即第一终端);而在多人通讯的场景下,由于第二终端对应多个对端,因此,第二终端需要获取进行交互的指定对端的终端标识,并将该终端标识与交互指令一同发送至服务器。
服务器接收到第二终端发送的交互指令后,即向第一终端转发该交互指令。
第一终端接收到交互指令后,即控制信息显示界面中的3D形象模型执行相应的交互动作。
在一种可能的实施方式中,第一终端中存储有不同交互指令对应的交互动作参数,第一终端根据接收到的交互指令获取对应的交互动作参数,从而根据该交互动作参数控制3D形象模型执行相应动作。
可选的,同一交互指令下,进行交互的不同3D形象模型对应的交互动作参数相同或者不同,即进行交互的3D形象模型执行相同或不同的交互动作。比如,对于拥抱这一交互指令,进行交互的两个3D形象模型对应相同的交互动作参数,且两个3D形象模型均执行拥抱这一交互动作;对于献花这一交互指令,进行交互的两个3D形象模型对应不同的交互动作参数,其中,献花方3D形象模型对应的交互动作参数指示模拟献花动作,而收花方3D形象模型对应的交互动作参数指示模拟收花动作。
示意性的,如图5所示,第一终端51接收到交互指令后,获取该交互指令对应的交互动作参数,从而根据交互动作参数控制两个3D形象模型模拟出拥抱动作。
可选的,在多人通讯场景下,由于存在不同的交互组合,因此,第一终端接收到交互指令后,还需要确定进行交互的目标3D形象模型(比如根据与交互指令一同接收到的终端标识确定),进而根据查找到的交互动作参数,控制目标3D形象模型进行交互。
本发明实施例中,用户使用终端不仅能够互相发送通讯信息,还能够指示终端中显示的3D形象模型进行交互,从而实现真实交互场景的模拟,扩展了终端通讯的形式;并且,不同于传统多人视频聊天时,每个用户对应一个二维视频窗口,导致不同用户间无法进行交互,本实施例中,通过将不同用户被整合到同一虚拟3D场景中,使得用户间能够进行实时互动,提升了用户的交互体验。
下述为本发明装置实施例,对于装置实施例中未详尽描述的细节,可以参考上述一一对应的方法实施例。
请参考图6,其示出了本发明一个实施例提供的信息显示装置的结构方框图。该信息显示装置通过硬件或者软硬件的结合实现成为图1中第一终端110的全部或者一部分。该装置包括:
模型显示模块610,用于在第一终端的信息显示界面中显示与其交互的第二终端对应用户的3D形象模型,所述第二终端为至少一个;
第一接收模块620,用于接收服务器发送的通讯信息和表情参数,所述通讯信息和所述表情参数由所述第二终端发送至所述服务器,所述表情参数由所述第二终端根据实时采集到的面部表情生成;
模拟显示模块630,用于根据所述表情参数,在所述3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
可选的,所述模型显示模块610,包括:
构建单元,用于在所述信息显示界面中构建3D场景;
渲染单元,用于渲染各个第二终端对应用户的3D形象模型;
站位确定单元,用于根据所述3D形象模型的数量和预定站位算法,确定各个3D形象模型的站位信息;
显示单元,用于根据所述站位信息,在所述3D场景中显示各个3D形象模型。
可选的,所述装置,还包括:
确定模块,用于确定发送当前显示的通讯信息的目标第二终端;
调整模块,用于将所述目标第二终端对应用户的3D形象模型调整至焦点显示位置,其中,所述焦点显示位置处的3D形象模型被突出显示。
可选的,所述装置,还包括:
第二接收模块,用于接收所述服务器发送的交互指令,所述交互指令由所述第二终端发送至所述服务器,所述交互指令用于指示至少两个3D形象模型进行交互;
查找模块,用于查找所述交互指令对应的交互动作参数;
控制模块,用于根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
可选的,所述信息显示界面中包含时间轴,所述时间轴上包含至少一个通讯信息查看控件,所述通讯信息查看控件用于触发显示对应的历史通讯信息;
所述装置,还包括:
第一获取模块,用于获取被选中的所述通讯信息查看控件对应的历史通讯信息;
第二获取模块,用于获取所述历史通讯信息对应的历史表情参数;
历史信息显示模块,用于显示所述历史通讯信息,并根据所述历史表情参数在所述第二终端对应用户的3D形象模型上模拟面部表情。
请参考图7,其示出了本发明一个实施例提供的信息显示装置的结构方框图。该信息显示装置通过硬件或者软硬件的结合实现成为图1中第二终端120的全部或者一部分。该装置包括:
第三获取模块710,用于获取通讯信息;
生成模块720,用于根据实时采集的面部表情生成表情参数;
第一发送模块730,用于通过服务器向第一终端发送所述通讯信息和所述表情参数,所述第一终端用于根据所述表情参数,在第二终端对应用户的3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
可选的,所述装置,还包括:
第二发送模块,用于向所述服务器发送交互指令,所述交互指令用于指示至少两个3D形象模型进行交互,所述服务器用于将所述交互指令发送至所述第一终端,所述第一终端用于查找所述交互指令对应的交互动作参数,并根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
请参考图8,其示出了本发明一个实施例提供的信息显示装置的结构方框图。该信息显示装置通过硬件或者软硬件的结合实现成为图1中服务器130的全部或者一部分。该装置包括:
第三接收模块810,用于接收第二终端发送的通讯信息和表情参数,所述表情参数由所述第二终端根据实时采集到的面部表情生成;
第三发送模块820,用于向第一终端发送所述通讯信息和所述表情参数,所述第一终端用于根据所述表情参数,在所述第二终端对应用户的所述3D形象模型显示上模拟所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
可选的,所述装置,还包括:
第四接收模块,用于接收所述第二终端发送的交互指令,所述交互指令用于指示至少两个3D形象模型进行交互;
第四发送模块,用于向所述第一终端发送所述交互指令,所述第一终端用于查找所述交互指令对应的交互动作参数,并根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
请参考图9,其示出了本发明一个实施例提供的服务器的结构方框图。该服务器900实现为图1中的服务器130。具体来讲:
服务器900包括中央处理单元(CPU)901、包括随机存取存储器(RAM)902和只读存储器(ROM)903的系统存储器904,以及连接系统存储器904和中央处理单元901的系统总线905。所述服务器900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)906,和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
所述基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中所述显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。所述基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。所述大容量存储设备907及其相关联的计算机可读介质为服务器900提供非易失性存储。也就是说,所述大容量存储设备907可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本发明的各种实施例,所述服务器900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器900可以通过连接在所述系统总线905上的网络接口单元911连接到网络912,或者说,也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,所述一个或者一个以上程序包含用于进行本发明实施例提供服务器侧的信息显示方法的指令。
本领域普通技术人员可以理解上述实施例的信息显示方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
请参考图10,其示出了本发明一个实施例提供的终端的结构示意图。该终端1000为图1中的第一终端110或第二终端120。具体来讲:
终端1000可以包括RF(Radio Frequency,射频)电路1010、包括有一个或一个以上计算机可读存储介质的存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、近场通信模块1070、包括有一个或者一个以上处理核心的处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1080处理;另外,将涉及上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端1000的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1020还可以包括存储器控制器,以提供处理器1080和输入单元1030对存储器1020的访问。
输入单元1030可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1030可包括图像输入设备1031以及其他输入设备1032。图像输入设备1031可以是摄像头,也可以是光电扫描设备。除了图像输入设备1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及终端1000的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1040可包括显示面板1041,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1041。
终端1000还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在终端1000移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端1000还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与终端1000之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一电子设备,或者将音频数据输出至存储器1020以便进一步处理。音频电路1060还可能包括耳塞插孔,以提供外设耳机与终端1000的通信。
终端1000通过近场通信模块1070与外部设备建立近场通信连接,并通过该近场通信连接进行数据交互。本实施例中,该近场通信模块1070具体包括蓝牙模块和/或WiFi模块。
处理器1080是终端1000的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行终端1000的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理核心;优选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
终端1000还包括给各个部件供电的电源1090(比如电池),优选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1090还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端1000还可以包括蓝牙模块等,在此不再赘述。
具体在本实施例中,终端1000还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行以实现上述第一终端侧和第二终端侧的信息显示方法。
本领域普通技术人员可以理解上述实施例的信息显示方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (22)

1.一种信息显示方法,其特征在于,所述方法包括:
在第一终端的信息显示界面中显示与其交互的第二终端对应用户的3D形象模型,所述第二终端为至少一个,所述3D形象模型包括3D人脸模型和3D人体模型,所述3D人脸模型基于至少一张所述第二终端对应用户的人脸图像生成;
接收服务器发送的通讯信息和表情参数,所述通讯信息和所述表情参数由所述第二终端发送至所述服务器,所述表情参数由所述第二终端根据实时采集到的面部表情生成,所述表情参数用于表示各个面部器官的位置尺寸变化;
根据所述表情参数,在所述3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
2.根据权利要求1所述的方法,其特征在于,所述在第一终端的信息显示界面中显示与其交互的第二终端对应用户的3D形象模型,包括:
在所述信息显示界面中构建3D场景;
渲染各个第二终端对应用户的3D形象模型;
根据所述3D形象模型的数量和预定站位算法,确定各个3D形象模型的站位信息;
根据所述站位信息,在所述3D场景中显示各个3D形象模型。
3.根据权利要求2所述的方法,其特征在于,所述方法,还包括:
确定发送当前显示的通讯信息的目标第二终端;
将所述目标第二终端对应用户的3D形象模型调整至焦点显示位置,其中,所述焦点显示位置处的3D形象模型被突出显示。
4.根据权利要求1至3任一所述的方法,其特征在于,所述方法,还包括:
接收所述服务器发送的交互指令,所述交互指令由所述第二终端发送至所述服务器,所述交互指令用于指示至少两个3D形象模型进行交互;
查找所述交互指令对应的交互动作参数;
根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
5.根据权利要求1至3任一所述的方法,其特征在于,所述信息显示界面中包含时间轴,所述时间轴上包含至少一个通讯信息查看控件,所述通讯信息查看控件用于触发显示对应的历史通讯信息;
所述方法,还包括:
获取被选中的所述通讯信息查看控件对应的历史通讯信息;
获取所述历史通讯信息对应的历史表情参数;
显示所述历史通讯信息,并根据所述历史表情参数在所述第二终端对应用户的3D形象模型上模拟显示面部表情。
6.一种信息显示方法,其特征在于,所述方法包括:
获取通讯信息;
根据实时采集的面部表情生成表情参数,所述表情参数用于表示各个面部器官的位置尺寸变化;
通过服务器向第一终端发送所述通讯信息和所述表情参数,所述第一终端用于根据所述表情参数,在第二终端对应用户的3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
7.根据权利要求6所述的方法,其特征在于,所述方法,还包括:
向所述服务器发送交互指令,所述交互指令用于指示至少两个3D形象模型进行交互,所述服务器用于将所述交互指令发送至所述第一终端,所述第一终端用于查找所述交互指令对应的交互动作参数,并根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
8.一种信息显示方法,其特征在于,所述方法包括:
接收第二终端发送的通讯信息和表情参数,所述表情参数由所述第二终端根据实时采集到的面部表情生成,所述表情参数用于表示各个面部器官的位置尺寸变化;
向第一终端发送所述通讯信息和所述表情参数,所述第一终端用于根据所述表情参数,在所述第二终端对应用户的3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
9.根据权利要求8所述的方法,其特征在于,所述方法,还包括:
接收所述第二终端发送的交互指令,所述交互指令用于指示至少两个3D形象模型进行交互;
向所述第一终端发送所述交互指令,所述第一终端用于查找所述交互指令对应的交互动作参数,并根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
10.一种信息显示装置,其特征在于,所述装置包括:
模型显示模块,用于在第一终端的信息显示界面中显示与其交互的第二终端对应用户的3D形象模型,所述第二终端为至少一个,所述3D形象模型包括3D人脸模型和3D人体模型,所述3D人脸模型基于至少一张所述第二终端对应用户的人脸图像生成;
第一接收模块,用于接收服务器发送的通讯信息和表情参数,所述通讯信息和所述表情参数由所述第二终端发送至所述服务器,所述表情参数由所述第二终端根据实时采集到的面部表情生成,所述表情参数用于表示各个面部器官的位置尺寸变化;
模拟显示模块,用于根据所述表情参数,在所述3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
11.根据权利要求10所述的装置,其特征在于,所述模型显示模块,包括:
构建单元,用于在所述信息显示界面中构建3D场景;
渲染单元,用于渲染各个第二终端对应用户的3D形象模型;
站位确定单元,用于根据所述3D形象模型的数量和预定站位算法,确定各个3D形象模型的站位信息;
显示单元,用于根据所述站位信息,在所述3D场景中显示各个3D形象模型。
12.根据权利要求11所述的装置,其特征在于,所述装置,还包括:
确定模块,用于确定发送当前显示的通讯信息的目标第二终端;
调整模块,用于将所述目标第二终端对应用户的3D形象模型调整至焦点显示位置,其中,所述焦点显示位置处的3D形象模型被突出显示。
13.根据权利要求10至12任一所述的装置,其特征在于,所述装置,还包括:
第二接收模块,用于接收所述服务器发送的交互指令,所述交互指令由所述第二终端发送至所述服务器,所述交互指令用于指示至少两个3D形象模型进行交互;
查找模块,用于查找所述交互指令对应的交互动作参数;
控制模块,用于根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
14.根据权利要求10至12任一所述的装置,其特征在于,所述信息显示界面中包含时间轴,所述时间轴上包含至少一个通讯信息查看控件,所述通讯信息查看控件用于触发显示对应的历史通讯信息;
所述装置,还包括:
第一获取模块,用于获取被选中的所述通讯信息查看控件对应的历史通讯信息;
第二获取模块,用于获取所述历史通讯信息对应的历史表情参数;
历史信息显示模块,用于显示所述历史通讯信息,并根据所述历史表情参数在所述第二终端对应用户的3D形象模型上模拟面部表情。
15.一种信息显示装置,其特征在于,所述装置包括:
第三获取模块,用于获取通讯信息;
生成模块,用于根据实时采集的面部表情生成表情参数,所述表情参数用于表示各个面部器官的位置尺寸变化;
第一发送模块,用于通过服务器向第一终端发送所述通讯信息和所述表情参数,所述第一终端用于根据所述表情参数,在第二终端对应用户的3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
16.根据权利要求15所述的装置,其特征在于,所述装置,还包括:
第二发送模块,用于向所述服务器发送交互指令,所述交互指令用于指示至少两个3D形象模型进行交互,所述服务器用于将所述交互指令发送至所述第一终端,所述第一终端用于查找所述交互指令对应的交互动作参数,并根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
17.一种信息显示装置,其特征在于,所述装置包括:
第三接收模块,用于接收第二终端发送的通讯信息和表情参数,所述表情参数由所述第二终端根据实时采集到的面部表情生成,所述表情参数用于表示各个面部器官的位置尺寸变化;
第三发送模块,用于向第一终端发送所述通讯信息和所述表情参数,所述第一终端用于根据所述表情参数,在所述第二终端对应用户的3D形象模型上模拟显示所述第二终端实时采集到的面部表情,并关联显示所述通讯信息。
18.根据权利要求17所述的装置,其特征在于,所述装置,还包括:
第四接收模块,用于接收所述第二终端发送的交互指令,所述交互指令用于指示至少两个3D形象模型进行交互;
第四发送模块,用于向所述第一终端发送所述交互指令,所述第一终端用于查找所述交互指令对应的交互动作参数,并根据所述交互动作参数控制至少两个3D形象模型执行交互动作。
19.一种信息显示系统,其特征在于,所述系统包括:第一终端、第二终端和服务器;
所述第一终端包括如权利要求10至14任一所述的信息显示装置;
所述第二终端包括如权利要求15或16所述的信息显示装置;
所述服务器包括如权利要求17或18所述的信息显示装置。
20.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1-5或权利要求6-7任一项所述的信息显示方法。
21.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求8-9任一项所述的信息显示方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1-5、权利要求6-7或权利要求8-9任一项所述的信息显示方法。
CN201710343814.9A 2017-05-16 2017-05-16 信息显示方法、装置及系统 Active CN108880975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710343814.9A CN108880975B (zh) 2017-05-16 2017-05-16 信息显示方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710343814.9A CN108880975B (zh) 2017-05-16 2017-05-16 信息显示方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108880975A CN108880975A (zh) 2018-11-23
CN108880975B true CN108880975B (zh) 2020-11-10

Family

ID=64320587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710343814.9A Active CN108880975B (zh) 2017-05-16 2017-05-16 信息显示方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108880975B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104854A (zh) * 2019-11-11 2020-05-05 浙江口碑网络技术有限公司 评价信息处理方法、装置、电子设备及图像处理方法
CN114338577B (zh) * 2020-10-12 2023-05-23 腾讯科技(深圳)有限公司 信息处理方法及装置、电子设备、存储介质
CN113395597A (zh) * 2020-10-26 2021-09-14 腾讯科技(深圳)有限公司 一种视频通讯处理方法、设备及可读存储介质
CN115097984B (zh) * 2022-06-22 2024-05-17 北京字跳网络技术有限公司 交互方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835190A (zh) * 2015-04-29 2015-08-12 华东师范大学 一种3d即时通讯系统及其通讯方法
CN105608726A (zh) * 2015-12-17 2016-05-25 苏州丽多数字科技有限公司 一种三维交互式聊天方法
WO2016117962A1 (ko) * 2015-01-22 2016-07-28 서용창 홀로그램 영상 기반 메시지 서비스 제공 방법 및 사용자 단말, 그리고 홀로그램 영상 표시 장치
US9454840B2 (en) * 2013-12-13 2016-09-27 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
KR20170012001A (ko) * 2015-07-24 2017-02-02 라인 가부시키가이샤 컨텐츠 식별자에 의한 다른 컨텐츠를 제공하는 정보 처리 장치, 그 방법 및 상기 방법을 수행하는 컴퓨터 프로그램
KR101701807B1 (ko) * 2016-02-16 2017-02-02 주식회사 윈드밀소프트 사용자 얼굴 합성을 통한 광고 시스템
CN106445107A (zh) * 2016-08-30 2017-02-22 苏州品诺维新医疗科技有限公司 一种基于面部表情进行信息发送的方法及装置
CN107103801A (zh) * 2017-04-26 2017-08-29 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454840B2 (en) * 2013-12-13 2016-09-27 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
WO2016117962A1 (ko) * 2015-01-22 2016-07-28 서용창 홀로그램 영상 기반 메시지 서비스 제공 방법 및 사용자 단말, 그리고 홀로그램 영상 표시 장치
CN104835190A (zh) * 2015-04-29 2015-08-12 华东师范大学 一种3d即时通讯系统及其通讯方法
KR20170012001A (ko) * 2015-07-24 2017-02-02 라인 가부시키가이샤 컨텐츠 식별자에 의한 다른 컨텐츠를 제공하는 정보 처리 장치, 그 방법 및 상기 방법을 수행하는 컴퓨터 프로그램
CN105608726A (zh) * 2015-12-17 2016-05-25 苏州丽多数字科技有限公司 一种三维交互式聊天方法
KR101701807B1 (ko) * 2016-02-16 2017-02-02 주식회사 윈드밀소프트 사용자 얼굴 합성을 통한 광고 시스템
CN106445107A (zh) * 2016-08-30 2017-02-22 苏州品诺维新医疗科技有限公司 一种基于面部表情进行信息发送的方法及装置
CN107103801A (zh) * 2017-04-26 2017-08-29 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法

Also Published As

Publication number Publication date
CN108880975A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
US10636221B2 (en) Interaction method between user terminals, terminal, server, system, and storage medium
EP3663903B1 (en) Display method and device
US10341716B2 (en) Live interaction system, information sending method, information receiving method and apparatus
CN108234276B (zh) 一种虚拟形象之间互动的方法、终端及系统
WO2018219120A1 (zh) 图像显示方法、图像处理方法、装置、终端及服务器
CN108880975B (zh) 信息显示方法、装置及系统
CN106506674B (zh) 通信消息同步方法及装置
CN104954149B (zh) 网络会议中进行数据共享的方法、装置及系统
CN107493311B (zh) 实现操控设备的方法、装置和系统
CN108513088B (zh) 群组视频会话的方法及装置
CN108306851B (zh) 信息获取方法、提供方法、装置及系统
CN107908765B (zh) 一种游戏资源处理方法、移动终端及服务器
EP3249857B1 (en) Chat history display method and apparatus
CN110166439A (zh) 设备共享方法、终端、路由器及服务器
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
CN108880974B (zh) 会话群组创建方法及装置
CN113014960B (zh) 一种在线制作视频的方法、装置及存储介质
CN108429668B (zh) 一种消息处理方法、装置、终端及系统
WO2021031386A1 (zh) 定位方法、装置、服务器、存储介质以及终端
CN107172077B (zh) 信息显示方法、装置及系统
CN109728918B (zh) 虚拟物品发送方法、虚拟物品接收方法、装置及存储介质
CN107172719A (zh) 建立通信连接的方法
CN105320532B (zh) 显示交互界面的方法、装置及终端
CN112449098A (zh) 一种拍摄方法、装置、终端及存储介质
CN113329100B (zh) 消息推送方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant