CN116048310A - 基于虚拟形象的数据处理方法、装置以及可读存储介质 - Google Patents

基于虚拟形象的数据处理方法、装置以及可读存储介质 Download PDF

Info

Publication number
CN116048310A
CN116048310A CN202111261940.2A CN202111261940A CN116048310A CN 116048310 A CN116048310 A CN 116048310A CN 202111261940 A CN202111261940 A CN 202111261940A CN 116048310 A CN116048310 A CN 116048310A
Authority
CN
China
Prior art keywords
avatar
session
image data
message
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111261940.2A
Other languages
English (en)
Inventor
沙莎
刘立强
肖仙敏
钟庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111261940.2A priority Critical patent/CN116048310A/zh
Priority to PCT/CN2022/118197 priority patent/WO2023071556A1/zh
Publication of CN116048310A publication Critical patent/CN116048310A/zh
Priority to US18/322,944 priority patent/US20230328012A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • H04L51/063Content adaptation, e.g. replacement of unsuitable content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02Standardisation; Integration
    • H04L41/0246Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/026Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using e-messaging for transporting management information, e.g. email, instant messaging or chat
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/216Handling conversation history, e.g. grouping of messages in sessions or threads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种基于虚拟形象的数据处理方法、装置以及可读存储介质,该数据处理方法包括:显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。采用本申请,可以丰富即时会话的展示方式。

Description

基于虚拟形象的数据处理方法、装置以及可读存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种基于虚拟形象的数据处理方法、装置以及可读存储介质。
背景技术
随着互联网技术的不断发展,越来越多的对象(即用户)倾向于通过具有即时会话功能的应用与他人进行交流,在进行即时会话的过程中,对象可以根据自身需求发送文本、图像、语音、视频等各种多媒体数据,从而实现信息交流和传播的目的。
在现有的即时会话场景中,例如,采用文本类会话或语音类会话进行沟通的过程中,双方的对象状态很难以视觉化的形式呈现,而在采用音视频类会话进行沟通时,虽然对象之间可以通过虚拟形象的变化来实时展示各自的对象状态(例如,情感),增强会话的临场感,但是这种会话方式存在历史会话消息难以回溯的问题。由此可见,现有的即时会话的展示方式较为单一,且在采用虚拟形象的即时会话场景中无法记录和显示历史会话消息。
发明内容
本申请实施例提供了一种基于虚拟形象的数据处理方法、装置以及可读存储介质,可以丰富即时会话的展示方式,且在采用虚拟形象的即时会话场景中维持历史会话消息的正常记录和显示。
本申请实施例一方面提供了一种基于虚拟形象的数据处理方法,包括:
显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;
在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
本申请实施例一方面提供了一种基于虚拟形象的数据处理方法,包括:
显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
响应于针对会话界面的触发操作,输出语音控件和用于捕获第一对象的对象图像数据的图像捕获区域,在第一对象通过语音控件录入语音信息时,在图像捕获区域中显示第一对象在进行即时会话时的会话图像数据;
在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;第一对象媒体数据是基于会话图像数据和语音信息所确定的。
其中,该数据处理方法还包括:
在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
其中,该数据处理方法还包括:
在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,对语音信息进行语音转换处理,得到语音信息对应的第二转换文本信息,在消息显示区域中对第二转换文本信息进行同步突出显示。
本申请实施例一方面提供了一种基于虚拟形象的数据处理装置,包括:
第一显示模块,用于显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
第二显示模块,用于响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;
第一更新模块,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
其中,该第一显示模块,包括:
第一显示单元,用于显示第一对象与第二对象进行即时会话时的会话界面;
形象确定单元,用于将用于表征第一对象的局部虚拟形象作为第一对象的第一虚拟形象,将用于表征第二对象的局部虚拟形象作为第二对象的第二虚拟形象;
第二显示单元,用于在会话界面的虚拟形象显示区域中显示第一虚拟形象和第二虚拟形象。
其中,会话界面中包括用于展示历史会话消息的消息显示区域;历史会话消息为记录到的第一对象与第二对象进行即时会话时的会话消息;该装置还包括:
区域隐藏模块,用于响应于针对消息显示区域的隐藏操作,在会话界面中隐藏消息显示区域,且将虚拟形象显示区域所在的显示界面作为会话更新界面;
第二更新模块,用于在会话更新界面中将第一虚拟形象由第一对象的局部虚拟形象更新为第一对象的完整虚拟形象,将第二虚拟形象由第二对象的局部虚拟形象更新为第二对象的完整虚拟形象;在第一对象与第二对象进行即时会话时,在会话更新界面中显示由第一对象向第二对象发送的第二会话消息。
其中,该装置还包括:
状态切换模块,用于响应于针对第一对象的业务状态的切换操作,将第一对象的业务状态更新为业务更新状态,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为与业务更新状态相匹配的第二虚拟更新形象。
其中,该第二显示模块,包括:
第一数据确定单元,用于响应于针对会话界面的触发操作,确定用于表征第一对象在进行即时会话时的对象状态的第一类图像数据;
第一消息生成单元,用于将第一类图像数据作为与第一对象相关联的第一对象媒体数据,基于第一对象媒体数据生成用于向第二对象发送的第一会话消息,在会话界面的消息显示区域中显示第一会话消息。
其中,该第一数据确定单元,包括:
文本映射子单元,用于响应于针对会话界面中的文本录入控件的触发操作,显示通过文本录入控件所录入的文本信息;在检测到文本信息中携带状态映射文本时,显示状态映射文本所映射的用于表征第一对象在进行即时会话时的对象状态的第一类图像数据。
其中,该第一数据确定单元,包括:
数据选取子单元,用于响应于针对会话界面中的状态显示控件的触发操作,输出与状态显示控件相关联的图像选择面板;响应于针对图像选择面板的选取操作,将选取操作所对应的图像数据作为用于表征第一对象在进行即时会话时的对象状态的第一类图像数据。
其中,该第一数据确定单元,包括:
数据确定子单元,用于响应于针对会话界面中的目标图像数据的确定操作,将目标图像数据作为用于表征第一对象在进行即时会话时的对象状态的第一类图像数据。
其中,该第二显示模块,包括:
数据捕获单元,用于响应于针对会话界面的触发操作,在第一对象通过语音控件录入语音信息时,调用摄像头对第一对象的对象图像数据进行捕获;
第二数据确定单元,用于在捕获到对象图像数据时,基于对象图像数据调整第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征第一对象在进行即时会话时的对象状态的第二类图像数据;
第二消息生成单元,用于将第二类图像数据与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,基于第一对象媒体数据生成用于向第二对象发送的第一会话消息,在会话界面的消息显示区域中显示第一会话消息。
其中,该第二数据确定单元,包括:
状态检测子单元,用于在捕获到对象图像数据时,对对象图像数据进行状态检测,将检测到的状态作为用于表征第一对象在进行即时会话时的对象状态;
状态调整子单元,用于获取第一虚拟形象,基于对象状态调整第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征对象状态的第二类图像数据。
其中,该第二消息生成单元,包括:
第一上传子单元,用于将第二类图像数据上传至服务器,在第二类图像数据上传成功时,获取第二类图像数据对应的图像资源标识;
第二上传子单元,用于将语音信息上传至服务器,在语音信息上传成功时,获取语音信息对应的语音资源标识;
第一整合子单元,用于将携带图像资源标识的第二类图像数据以及携带语音资源标识的语音信息进行整合,得到与第一对象相关联的第一对象媒体数据。
其中,该装置还包括:
消息生成模块,用于在未捕获到对象图像数据时,基于第一虚拟形象确定第三类图像数据,将第三类图像数据与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,基于第一对象媒体数据生成用于向第二对象发送的第一会话消息。
其中,第二消息生成单元,包括:
语音转换子单元,用于将语音信息进行语音转换处理,得到语音信息对应的转换文本信息,在用于捕获对象图像数据的图像捕获区域中显示转换文本信息;
第二整合子单元,用于将转换文本信息与第一对象媒体数据进行整合,得到用于向第二对象发送的第一会话消息。
其中,该装置还包括:
语音播放模块,用于响应于针对第一会话消息所携带的第一对象媒体数据的触发操作,播放语音信息,在消息显示区域中显示与语音信息相关联的音效动画,且对第一会话消息中包含的转换文本信息进行同步突出显示。
其中,第一更新模块,具体用于基于第一对象媒体数据对第一虚拟形象进行更新,得到与第一对象媒体数据相匹配的第一虚拟更新形象,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。
其中,第一更新模块,包括:
第一更新单元,用于在第一对象媒体数据包含第一类图像数据时,基于第一类图像数据对第一虚拟形象进行更新,得到与第一类图像数据相匹配的第一虚拟更新形象;
第二更新单元,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;
该装置还包括:
第三显示模块,用于在虚拟形象显示区域中,显示第一类图像数据。
其中,第一更新单元,包括:
数据检测子单元,用于通过消息管理器对第一会话消息进行媒体数据检测,若检测到第一会话消息所携带的第一对象媒体数据中包含第一类图像数据,则生成状态触发事件,将状态触发事件发送至虚拟形象处理器;状态触发事件包括第一对象的对象标识和图像数据列表;图像数据列表用于记录第一对象媒体数据所包含的第一类图像数据;
更新子单元,用于在虚拟形象处理器接收到状态触发事件时,基于图像数据列表中的第一类图像数据,对对象标识相关联的第一虚拟形象进行更新,得到与第一类图像数据相匹配的第一虚拟更新形象。
其中,第一更新模块,包括:
第三更新单元,用于在第一对象媒体数据包含第二类图像数据时,响应于针对第一对象媒体数据的触发操作,基于第二类图像数据对第一虚拟形象进行更新,得到与第二类图像数据相匹配的第一虚拟更新形象;
第四更新单元,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。
其中,该装置还包括:
背景更新模块,用于在虚拟形象显示区域中,将与第一虚拟形象和第二虚拟形象所关联的虚拟背景作为原始虚拟背景;在检测到第一会话消息中携带背景映射文本时,基于背景映射文本将原始虚拟背景更新为虚拟更新背景;将第一虚拟更新形象、第二虚拟形象以及虚拟更新背景进行数据融合,得到用于显示在虚拟形象显示区域中的融合背景虚拟形象。
其中,该装置还包括:
第四显示模块,用于在接收到第二对象发送的第三会话消息时,在会话界面的消息显示区域中显示第三会话消息;第三会话消息中携带与第二对象相关联的第二对象媒体数据;
第三更新模块,用于在包含第二虚拟形象的虚拟形象显示区域中,将第二虚拟形象更新为第三虚拟更新形象;第三虚拟更新形象是基于第二对象媒体数据对第二虚拟形象进行更新得到的。
其中,该第一显示模块,包括:
资源请求单元,用于获取第一对象对应的第一形象资源标识和第一业务状态,且获取第二对象对应的第二形象资源标识和第二业务状态,基于第一形象资源标识、第一业务状态、第二形象资源标识以及第二业务状态生成形象资源获取请求,将形象资源获取请求发送至服务器;服务器用于在接收到形象资源获取请求时,基于第一形象资源标识和第一业务状态生成第一虚拟形象对应的第一形象资源地址,且基于第二形象资源标识和第二业务状态生成第二虚拟形象对应的第二形象资源地址,返回第一形象资源地址和第二形象资源地址;
形象获取单元,用于接收服务器所返回的第一形象资源地址和第二形象资源地址,基于第一形象资源地址获取第一对象相关联的第一虚拟形象,基于第二形象资源地址获取第二对象相关联的第二虚拟形象;
第三显示单元,用于在会话界面的虚拟形象显示区域中,显示第一虚拟形象和第二虚拟形象。
本申请实施例一方面提供了一种基于虚拟形象的数据处理装置,包括:
第一显示模块,用于显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
语音录入示模块,用于响应于针对会话界面的触发操作,输出语音控件和用于捕获第一对象的对象图像数据的图像捕获区域,在第一对象通过语音控件录入语音信息时,在图像捕获区域中显示第一对象在进行即时会话时的会话图像数据;
第二显示模块,用于在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;第一对象媒体数据是基于会话图像数据和语音信息所确定的。
其中,该装置还包括:
形象更新模块,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
其中,第一对象媒体数据包括携带有语音信息的会话图像数据;会话图像数据是基于捕获到的第一对象的对象图像数据所生成的,或者会话图像数据是基于捕获到的第一对象的对象图像数据对第一虚拟形象的形象状态进行调整后所得到的;
该装置还包括:
第三显示模块,用于响应于针对第一会话消息所携带的第一对象媒体数据的触发操作,播放语音信息,且在消息显示区域中显示携带有语音信息的会话图像数据的音效动画。
其中,第一会话消息还包括在图像捕获区域中对语音信息进行语音转换处理所得到的第一转换文本信息;
该装置还包括:
第四显示模块,用于在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,在消息显示区域中对第一转换文本信息进行同步突出显示。
其中,该装置还包括:
第五显示模块,用于在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,对语音信息进行语音转换处理,得到语音信息对应的第二转换文本信息,在消息显示区域中对第二转换文本信息进行同步突出显示。
本申请实施例一方面提供了一种计算机设备,包括:处理器和存储器;
处理器与存储器相连,其中,存储器用于存储计算机程序,计算机程序被处理器执行时,使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中,在第一对象与第二对象进行即时会话时,可以显示用于进行即时会话的会话界面,并在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象,进而可以响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息。进一步,由于第一会话消息中携带有与第一对象相关联的第一对象媒体数据,从而可以在包含第二虚拟形象的虚拟形象显示区域中,基于第一对象媒体数据将第一虚拟形象更新为第一虚拟更新形象。由此可见,在通过会话界面进行即时会话的过程中,可以在虚拟形象显示区域中显示会话双方(即第一对象和第二对象)的虚拟形象,同时可以在消息显示区域中显示即时会话过程中所产生的会话消息(即历史会话消息,例如,第一会话消息),便于会话双方回溯历史会话消息,而不会出现无法正常记录和显示历史会话消息的情况,也就是说,本申请实施例可以在采用虚拟形象的即时会话场景中维持历史会话消息的正常记录和显示,此外,还可以基于第一会话消息所携带的第一对象媒体数据对第一虚拟形象进行更新,以实时呈现第一对象的对象状态,从而可以丰富即时会话的展示方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构示意图;
图2是本申请实施例提供的一种基于虚拟形象的数据处理的场景示意图;
图3是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图;
图4是本申请实施例提供的一种会话界面的界面示意图;
图5是本申请实施例提供的一种确定图像数据的场景示意图;
图6是本申请实施例提供的一种选取图像数据的场景示意图;
图7是本申请实施例提供的一种确定图像数据的场景示意图;
图8是本申请实施例提供的一种录入语音信息的场景示意图;
图9是本申请实施例提供的一种录入语音信息的场景示意图;
图10是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图;
图11是本申请实施例提供的一种获取虚拟形象的交互示意图;
图12是本申请实施例提供的一种录入语音信息的流程示意图;
图13是本申请实施例提供的一种发送会话消息的流程示意图;
图14是本申请实施例提供的一种更新虚拟形象的流程示意图;
图15是本申请实施例提供的一种更新虚拟背景的场景示意图;
图16是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图;
图17是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图;
图18是本申请实施例提供的一种基于虚拟形象的数据处理装置的结构示意图;
图19是本申请实施例提供的一种基于虚拟形象的数据处理装置的结构示意图;
图20是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,图1是本申请实施例提供的一种网络架构示意图。如图1所示,该网络架构可以包括服务器100以及终端集群,终端集群可以包括:用户终端200a、用户终端200b、用户终端200c、…、用户终端200n,其中,终端集群之间可以存在通信连接,例如用户终端200a与用户终端200b之间存在通信连接,用户终端200a与用户终端200c之间存在通信连接。同时,终端集群中的任一用户终端可以与服务器100存在通信连接,例如用户终端200a与服务器100之间存在通信连接。其中,上述通信连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其它方式,本申请在此不做限制。
应该理解,如图1所示的终端集群中的每个用户终端均可以安装有应用客户端,当该应用客户端运行于各用户终端中时,可以分别与上述图1所示的服务器100之间进行数据交互。其中,该应用客户端可以为即时通信应用、社交应用、直播应用、短视频应用、视频应用、音乐应用、购物应用、游戏应用、小说应用、支付应用、浏览器等具有即时会话功能的应用客户端。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如社交客户端、游戏客户端等)中的嵌入式子客户端,在此不做限定。其中,这里的即时会话也可称为即时通信、即时聊天,是一种互联网上用以进行实时通讯的系统服务,可支持实时地传递文本、语音、视频、图像、文档等信息流。以即时通信应用为例,服务器100可以包括该即时通信应用对应的后台服务器、数据处理服务器等多个服务器,因此,每个用户终端均可以通过该即时通信应用对应的应用客户端与服务器100进行数据传输,如每个用户终端均可以通过服务器100与其他用户终端进行即时会话,以实现随时随地的交流和分享,例如,不同用户终端之间可以通过收发会话消息的形式来进行即时通信。
为便于理解,以用户终端200a和用户终端200b为例,用户终端200a可以通过其安装的即时通信应用生成会话消息A,进而可以将会话消息A发送至服务器100,随后用户终端200b可以通过服务器100接收该会话消息A,并将该会话消息A显示在用户终端200b对应的会话界面中;同理,用户终端200b也可以通过其安装的即时通信应用将会话消息B经由服务器100发送至用户终端200a,这样就实现了用户终端200a和用户终端200b之间的即时会话。
其中,会话消息可以包括文本消息、语音消息、表情包消息、图片消息(可包括静态图片和动态图片)、链接消息、小程序消息、视频消息、文件消息、虚拟物品消息(可用于进行例如虚拟礼物、虚拟红包等虚拟物品的收发)等中的一种或多种消息类型,本申请实施例对会话消息的具体类型不进行限定。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于用户终端或服务器。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。用户终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)、智能电脑、智能车载等可以运行具有即时会话功能的应用客户端的智能终端。其中,用户终端和服务器可以通过有线或无线方式进行直接或间接地连接,本申请实施例在此不做限制。
需要说明的是,用户终端可以为对象提供会话界面进行会话消息的收发,同时可以在即时会话的过程中充分利用对象的虚拟形象,以生动地展示该对象的对象状态。其中,这里的对象是指进行即时会话的用户(例如,用户A和用户B),参与同一个即时会话的对象数量可以为一个或多个,本申请实施例对具体的对象数量不进行限定。为了便于后续内容的理解和说明,在本申请实施例中,将参与同一个即时会话的对象划分为第一对象(例如,对象A)和第二对象(例如,对象B),其中,第一对象既可以作为会话消息的发送方(也可称为发送对象),也可以作为会话消息的接收方(也可称为接收对象),同理,第二对象也是既可以作为会话消息的发送方,也可以作为会话消息的接收方,本申请实施例对此不进行限定。其中,对象状态则是指对象在即时会话过程中的情绪/情感,例如开心、激动、悲伤、害怕、困惑等等,对象状态可以通过对象的面部表情、肢体动作或者发送的会话消息加以体现。应当理解,在基于虚拟社交场景中,对象可以虚拟形象的方式出现,因此本申请实施例可以将第一对象的虚拟形象称为第一虚拟形象,将第二对象的虚拟形象称为第二虚拟形象。这里的虚拟形象既可以是对象根据自身需要预先配置好的虚拟形象,例如,从形象资源库中选取相应的形象资源(例如虚拟穿戴物品、妆容、发型等)组合而成,也可以是基于对象的真实形象所重构的贴合该对象的虚拟形象,例如应用客户端上的渲染引擎根据采集到的真实对象数据(例如对象的脸型、发型、衣物等)所渲染得到的虚拟形象。其中,上述虚拟社交场景是指通过虚拟增强的物理现实,呈现收敛性和物理持久性特征的,基于未来互联网,具有链接感知和共享特征的3D(即Three Dimensions的简称)虚拟空间,或者是交互性、沉浸式和协作性的世界。
具体来说,本申请实施例提供了一种基于虚拟形象的即时会话设计,在第一对象与第二对象进行即时会话时,第一对象的用户终端可以显示用于进行即时会话的会话界面,并在该会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象,进而可以响应于针对该会话界面的触发操作,在该会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息。进一步,由于第一会话消息中携带有与第一对象相关联的第一对象媒体数据,从而用户终端可以基于第一对象媒体数据,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。也就是说,本申请实施例提供的会话界面可以包括虚拟形象显示区域和消息显示区域,其中,虚拟形象显示区域用于显示会话双方的虚拟形象,消息显示区域则用于展示即时会话过程中所产生的历史会话消息,因此任意一方对象均可以很方便地通过相应的消息显示区域浏览历史会话消息,即历史会话消息是可回溯的。此外,为了丰富即时会话的展示方式,本申请实施例还可以基于会话消息(例如,第一会话消息)所携带的对象媒体数据(例如,第一对象媒体数据)对相应的虚拟形象(例如,第一虚拟形象)进行更新,以实时呈现该虚拟形象对应的对象所具备的对象状态。其中,这里的对象媒体数据是指会话消息中携带的与对象相关联的媒体数据,包括但不限于文本数据、图像数据、语音数据等,对象媒体数据可以影响到该对象的虚拟形象,例如,在会话消息X中携带用于表征对象A在进行即时会话时的对象状态的图像数据Y(例如,“微笑”表情包)时,对象A的虚拟形象可以跟随该图像数据Y进行变化。应当理解,在本申请实施例中,可以将第一会话消息携带的与第一对象相关联的对象媒体数据称为第一对象媒体数据,类似的,后续还可以将第二对象向第一对象发送的会话消息中携带的与第二对象相关联的对象媒体数据称为第二对象媒体数据。
为便于理解,请一并参见图2,图2是本申请实施例提供的一种基于虚拟形象的数据处理的场景示意图。该数据处理场景的实现过程可以在如图1所示的服务器100中进行,也可以在用户终端中进行,还可以由用户终端和服务器共同执行,此处不做限制,本申请实施例以用户终端20A、用户终端20B以及服务器20C交互为例进行说明。其中,这里的用户终端20A可以为如图1所示的终端集群中的任意一个用户终端,例如,用户终端200a;用户终端20B也可以为如图1所示的终端集群中的任意一个用户终端,例如,用户终端200b;服务器20C则可以为如图1所示的服务器100。
如图2所示,对象A和对象B分别为进行即时会话的双方,其中,对象A可以为第一对象,对象B则可为第二对象。对象A与用户终端20A具有绑定关系,对象B与用户终端20B具有绑定关系,对象A和对象B可以通过各自绑定的用户终端进行即时会话。为便于理解和区分,本申请实施例可以将第一对象对应的用户终端称为第一终端(例如,用户终端20A),将第二对象对应的用户终端称为第二终端(例如,用户终端20B),应当理解,第一终端和第二终端均可以进行会话消息的发送和接收,因此,在本申请实施例中,在第一终端向第二终端发送会话消息时,第一终端作为发送终端,第二终端则作为接收终端;在第二终端向第一终端发送会话消息时,第二终端作为发送终端,第一终端则作为接收终端。
应当理解,用户终端20A向用户终端20B发送会话消息的过程,与用户终端20B向用户终端20A发送会话消息的过程是一致的,本申请实施例仅以用户终端20A作为发送终端、用户终端20B作为接收终端为例进行说明。
具体的,用户终端20A(即第一终端)打开其安装的应用客户端后,可以先显示该应用客户端的应用首页,在其应用首页显示消息列表,进而可以响应于针对该消息列表的选择操作,输出用于与对象B进行即时会话的会话界面201(也可称为第一会话界面)。可选的,也可以响应于针对该应用首页的切换操作,显示会话对象列表,进而可以响应于针对该会话对象列表的选择操作,输出用于与对象B进行即时会话的会话界面201。如图2所示,在会话界面201中可以显示对象B的对象名称,例如“棒棒糖”,用于指示对象A当前正在进行交流的对象。该会话界面201还可以包括虚拟形象显示区域201a。其中,虚拟形象显示区域201a可以用于显示对象A的虚拟形象(即第一虚拟形象,例如,虚拟形象20a)和对象B的虚拟形象(即第二虚拟形象,例如,虚拟形象20b),这里所展示的虚拟形象是丰富多样的,可以是2D的虚拟形象或3D的虚拟形象,可以为静态的虚拟形象或动态的虚拟形象,可以为局部虚拟形象或完整虚拟形象,本申请实施例对虚拟形象的具体形态不进行限定。
应当理解,虚拟形象可以由对象根据需要自行选择,例如,用户终端20A可以响应于对象A针对会话界面201的触发操作,展示一个或多个虚拟形象,进而可以响应于针对这一个或多个虚拟形象的虚拟形象选择操作,将该虚拟形象选择操作对应的虚拟形象作为对象A的虚拟形象。可选的,也可以根据采集到的真实对象数据(例如对象的脸型、发型、衣物等)重构得到相应的虚拟形象,例如,用户终端20A可以调用摄像头采集对象A的图像数据,进而可以从该图像数据中提取出对象A的真实对象数据,随后可以调用渲染引擎根据该真实对象数据渲染得到对象A的虚拟形象;又或者,可以根据采集到的真实对象数据在形象资源库中进行匹配,并将匹配到的形象资源进行组合,从而得到相应的虚拟形象。可选的,对象A还可以对其虚拟形象进行调整,例如,可以调整该虚拟形象的虚拟穿戴物品(例如,衣物、头饰、帽子、眼镜、背包等)、发型、妆容(例如,眼型、眼影、唇形、唇色、腮红)等,以得到满足预期的虚拟形象。
需要说明的是,可选的,这里的虚拟形象可以与对象的业务状态相关联,也就是说,虚拟形象的不同形态或姿势可用于表现对应对象的不同业务状态,其中,业务状态是指对象在应用客户端上的登录状态,可以由对象自行设置,包括但不限于在线状态、离线状态、忙碌状态、游戏状态、休息状态、隐身状态等等。例如,对象A当前的业务状态为在线状态,因此此时显示的虚拟形象20a可以为正面站立的形态;而对象B当前的业务状态为休息状态,此时显示的虚拟形象20b则可以为睡觉的形态。应当理解,当对象的业务状态发生变化时,该对象的虚拟形象也会随之发生变化。
如图2所示,会话界面201中还可以包括消息显示区域201b,在消息显示区域201b中可以展示对象A和对象B进行即时会话时所产生的会话消息(即历史会话消息,例如会话消息201d)。可选的,在消息显示区域201b中,发送时间戳较早的会话消息可展示在前,发送时间戳较晚的会话消息可展示在后,对象A可以通过针对消息显示区域201b浏览操作(例如,滑动操作)回溯历史会话消息。进一步,用户终端20A可以响应于针对会话界面201的触发操作,生成用于向对象B发送的会话消息(如第一会话消息),并将该会话消息显示在会话界面201的消息显示区域201b中。其中,会话界面201中还可以包括消息录入控件栏201c,消息录入控件栏201c中可以包括一个或多个消息录入控件,例如文本录入控件、状态显示控件、语音控件等,通过这些消息录入控件可以输入相应的信息,从而生成需要发送的会话消息,例如,通过文本录入控件可以输入文本信息(如文本信息“好啊”),又例如,通过状态显示控件可以选取需要发送的图像数据(如表情包)。可选的,还可以通过非控件的方式生成会话消息,例如,将显示在会话界面中的历史图像数据(如使用过的表情包)作为需要发送的会话消息。本申请实施例对会话消息的生成方式不进行限定。
应当理解,当会话消息中携带与某个对象相关联的对象媒体数据时,可以基于该对象媒体数据对该对象的虚拟形象进行更新。以对象A发送的会话消息201e为例,会话消息201e中携带有与对象A相关联的对象媒体数据(即第一对象媒体数据),例如,笑脸表情包(属于图像数据),该对象媒体数据可用于表征对象A在进行即时会话时的对象状态,例如,笑脸表情包表示开心。因此,在触发会话消息201e的发送后,用户终端20A会在会话界面201的消息显示区域201b中显示该会话消息201e(应当理解,图2所示的两个会话界面201为用户终端20A在不同时刻的会话界面),同时,用户终端20A可以基于会话消息201e中的对象媒体数据对虚拟形象20a进行更新,从而得到与该对象媒体数据相匹配的虚拟形象201f(即第一虚拟更新形象),并在包含虚拟形象20b的虚拟形象显示区域201a中,将虚拟形象20a更新为虚拟形象201f。如图2所示,虚拟形象20a会跟随会话消息201e中的笑脸表情包进行更新,更新后所得到的虚拟形象201f也呈现出笑脸。可选的,还可以在虚拟形象显示区域201a中显示会话消息201e中携带的对象媒体数据,例如,可以在虚拟形象201f的邻近区域(即虚拟形象201f的周围)显示笑脸表情包。应当理解,与对象A相关联的对象媒体数据还可能为其他类型的数据,例如文本数据、语音数据等,同样可能影响到对象A的虚拟形象,本申请实施例仅以图像数据为例进行说明,基于其他类型数据对虚拟形象进行更新的具体过程可以参见后续图3所对应的实施例。
此外,用户终端20A会将对象A输入的会话消息发送至服务器20C,服务器20C接收到该会话消息后,将该会话消息转发至用户终端20B(即第二终端),用户终端20B也会基于该会话消息中携带的与对象A相关联的对象媒体数据,将对象A的虚拟形象进行更新。仍以会话消息201e为例,如图2所示,会话界面202为用户终端20B上用于对象B与对象A进行即时会话时的会话界面(也可称为第二会话界面),该会话界面202的界面结构与用户终端20A上展示的会话界面201的界面结构相同,该会话界面202包括虚拟形象显示区域202a和消息显示区域202b,虚拟形象显示区域202a可展示对象B的虚拟形象和对象A的虚拟形象,消息显示区域202b可展示历史会话消息。在用户终端20B上的应用客户端接收到用户终端20A发送的会话消息201e后,可以在其会话界面202的消息显示区域202b中显示会话消息201e,由于会话消息201e中携带与对象A相关联的对象媒体数据(例如,笑脸表情包),因此用户终端20B可以基于会话消息201e中的对象媒体数据对虚拟形象20a进行更新,从而得到与该对象媒体数据相匹配的虚拟形象201f,并在包含虚拟形象20b的虚拟形象显示区域202a中,将对象A原来的虚拟形象20a更新为虚拟形象201f。可选的,还可以在虚拟形象显示区域202a中显示会话消息201e中携带的对象媒体数据,例如,可以在虚拟形象201f的邻近区域(即虚拟形象201f的周围)显示笑脸表情包。
应当理解,当对象B向对象A发送会话消息,即用户终端20B作为发送终端、用户终端20A作为接收终端时,用户终端20B和用户终端20A的交互过程与上述描述的交互过程是一致的,也就是说,两侧的用户终端均可以在其对应会话界面的消息显示区域中显示对象B向对象A发送的会话消息(即第三会话消息),并在对应的虚拟形象显示区域中,基于该会话消息中携带的与对象B相关联的对象媒体数据(即第二对象媒体数据)对对象B的虚拟形象(例如,虚拟形象20b)进行更新,具体过程不再进行赘述。
上述可知,本申请实施例可以基于虚拟形象丰富即时会话的展示方式,同时可以在采用虚拟形象的即时会话场景中维持历史会话消息的正常记录和显示。
请参见图3,图3是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图。该数据处理方法可以由计算机设备执行,计算机设备可以包括如图1所述的用户终端或服务器。其中,本申请实施例将第一对象对应的用户终端称为第一终端(例如,用户终端200a),将第二对象对应的用户终端称为第二终端(例如,用户终端200b),第一终端和第二终端既可以是发送终端,也可以是接收终端。为便于理解,本实施例以该方法由第一终端执行为例进行说明。该数据处理方法至少可以包括以下步骤S101-步骤S103:
步骤S101,显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
具体的,第一终端可以显示第一对象与第二对象进行即时会话时的会话界面,本申请实施例提供的即时会话结构所对应的会话界面会更加强调虚拟形象,因此可以将用于表征第一对象的局部虚拟形象作为第一对象的第一虚拟形象,将用于表征第二对象的局部虚拟形象作为第二对象的第二虚拟形象,随后可以在该会话界面的虚拟形象显示区域中显示第一虚拟形象和第二虚拟形象。其中,这里的局部虚拟形象可以理解为完整虚拟形象中的部分虚拟形象(例如,完整虚拟形象的上半身)。例如,可以再次参见上述图2所对应实施例中的会话界面201,会话界面201的虚拟形象显示区域201a中展示的对象A的虚拟形象20a可以为第一虚拟形象,对象B的虚拟形象20b可以为第二虚拟形象,可以看到,此时的虚拟形象20a为对象A的局部虚拟形象,虚拟形象20b为对象B的局部虚拟形象。
可选的,也可以将用于表征第一对象的完整虚拟形象作为第一对象的第一虚拟形象,将用于表征第二对象的完整虚拟形象作为第二对象的第二虚拟形象,随后可以在该会话界面的虚拟形象显示区域中显示第一虚拟形象和第二虚拟形象。可以理解,由于会话界面的虚拟形象显示区域的显示尺寸相对较小,因此在虚拟形象显示区域中所显示的完整虚拟形象的显示尺寸也会相对较小。
应当理解,虚拟形象显示区域(例如图2中的虚拟形象显示区域201a)可以浮窗形式或蒙层形式或半透明形式展现在会话界面(例如图2中的会话界面201)的任一区域中,例如,虚拟形象显示区域为会话界面的顶部区域;可选的,也可以是用能通过触发操作(例如拖拽操作)改变显示尺寸且可收缩的界面进行显示,该界面的尺寸小于会话界面。
此外,会话界面中还包括用于展示历史会话消息的消息显示区域,这里的历史会话消息为记录到的第一对象与第二对象进行即时会话时的会话消息,历史会话消息可以气泡形式或其他形式展示在消息显示区域中,例如,可以参见上述图2所对应实施例中的会话界面201的消息显示区域201b。可选的,在该消息显示区域中,还可以显示与历史会话消息相关联的消息发送信息,例如,该历史会话消息对应的发送时间戳、发送对象信息(如发送对象的头像、对象名称)等。应当理解,消息显示区域可以浮窗形式或蒙层形式或半透明形式展现在会话界面的任一区域中,例如,消息显示区域为会话界面的底部区域。其中,虚拟形象显示区域和消息显示区域可互不重叠,或者,虚拟形象显示区域和消息显示区域可以具有部分重叠区域;可选的,消息显示区域也可以是用能通过触发操作(例如拖拽操作)改变显示尺寸且可收缩的界面进行显示,该界面的尺寸小于会话界面。
本申请实施例还提供了一种新颖的会话界面,称为会话更新界面,第一对象和第二对象同样可以通过该会话更新界面进行即时会话,且第一终端可以很方便地根据第一对象的操作随时在这两种会话界面中进行切换。具体过程可以为:第一终端可以响应于针对消息显示区域的隐藏操作,在会话界面中隐藏消息显示区域,且将虚拟形象显示区域所在的显示界面作为会话更新界面。此时隐藏的消息显示区域可以置于会话界面的底层,或者,该消息显示区域可以通过向下延伸进行隐藏,本申请实施例对消息显示区域的具体隐藏方式不进行限定。进一步,可以在该会话更新界面中将第一虚拟形象由第一对象的局部虚拟形象更新为第一对象的完整虚拟形象,将第二虚拟形象由第二对象的局部虚拟形象更新为第二对象的完整虚拟形象。这里的完整虚拟形象既可以指具有完整躯体的虚拟形象,也可以指融合了虚拟背景的虚拟形象。
可选的,若原来在虚拟形象显示区域中所显示的虚拟形象就是完整虚拟形象,则由会话界面切换到会话更新界面后,可以将虚拟形象显示区域中的完整虚拟形象进行放大显示处理,也就是说,在会话界面的虚拟形象显示区域中显示的完整虚拟形象的显示尺寸小于在会话更新界面中显示的完整虚拟形象的显示尺寸。
应当理解,会话更新界面的消息显示方式与会话界面的消息显示方式略有不同。在一种实施方式中,在第一对象与第二对象进行即时会话时,若第一对象向第二对象发送了第二会话消息,则可以在该会话更新界面中显示该第二会话消息。可选的,第二会话消息可以显示在第一对象的完整虚拟形象的邻近区域,或者显示在会话更新界面中与第一对象相关联的其他区域,本申请实施例对第二会话消息在会话更新界面中的显示位置不进行限定。
可选的,第二会话消息可以采用气泡形式或滚动形式或其他形式进行显示,本申请实施例对第二会话消息在会话更新界面中的具体显示形式不进行限定。
可选的,为了不干扰后续新的会话消息的呈现,可以为会话更新界面中显示的会话消息设置相应的消息显示阈值,例如,当第二会话消息的显示时长等于消息显示阈值时,可以在会话更新界面中对该第二会话消息进行隐藏显示处理或者删除处理,因此在会话更新界面中所显示的会话消息始终为最新的会话消息,即发送时间戳最晚的会话消息。应当理解,第二会话消息仍会被记录在历史会话消息中,也就是说,当第一终端切换回原来的会话界面时,仍可以在该会话界面中显示该第二会话消息,即发送的会话消息是可回溯的。其中,本申请实施例对消息显示阈值的具体大小不进行限定。
为便于理解,请一并参见图4,图4是本申请实施例提供的一种会话界面的界面示意图。如图4所示,会话界面401包括虚拟形象显示区域401a和消息显示区域401b,该虚拟形象显示区域401a中可以显示对象A(即第一对象)的局部虚拟形象(即第一虚拟形象),例如,虚拟形象4a,同时可以显示对象B(即第二对象)的局部虚拟形象(即第二虚拟形象),例如,虚拟形象4b。当希望切换到另一种会话界面时,可以响应于针对消息显示区域401b的隐藏操作,例如,该隐藏操作可以为滑动操作(如下拉消息显示区域401b);可选的,会话界面401中可以包含区域隐藏控件401c,因此可以响应于针对该区域隐藏控件401c的触发操作(例如,点击操作),在会话界面401中隐藏消息显示区域401b,从而可以由会话界面401切换到会话更新界面402,并对虚拟形象4a和虚拟形象4b进行更新。进一步,如图4所示,在会话更新界面402中,将虚拟形象4a更新为虚拟形象4A,即对象A的完整虚拟形象,同时,将虚拟形象4b更新为虚拟形象4B,即对象B的完整虚拟形象。当对象A向对象B发送新的会话消息(即第二会话消息,例如,会话消息402a)时,可以在会话更新界面402中显示该会话消息,例如,对象A向对象B发送了会话消息402a,则可以在会话更新界面402所展示的虚拟形象4A的邻近区域(例如,虚拟形象4A的头顶上方)以适当的形式(如气泡)显示会话消息402a,可表明会话消息402a是由对象A所发送的。
进一步,若第一对象希望切换回会话界面,则第一终端可以响应于针对会话更新界面的触发操作,在会话更新界面中显示消息显示区域,进而可以将该消息显示区域所在的显示界面作为会话界面,在会话界面中可以将第一虚拟形象由第一对象的完整虚拟形象恢复为第一对象的局部虚拟形象,将第二虚拟形象由第二对象的完整虚拟形象恢复为第二对象的局部虚拟形象。此外,在消息显示区域中可以显示之前接收到的第二会话消息。如图4所示,可以响应于针对会话更新界面402的触发操作,例如,该触发操作可以为滑动操作(如上拉会话更新界面402);可选的,会话更新界面402中可以包括区域显示控件402b,并可以响应于针对该区域显示控件402b的触发操作(例如,点击操作),在会话更新界面402中显示消息显示区域,从而可以由会话更新界面402切换回会话界面401,并对虚拟形象4A和虚拟形象4B进行更新。
可选的,第一虚拟形象和第二虚拟形象还可以用于表征相应的对象的业务状态,例如在线状态、离线状态、忙碌状态、游戏状态、休息状态、隐身状态等,即不同的业务状态会对应于虚拟形象的不同形态/姿势,例如,图4所示的虚拟形象4b为睡觉形态,则可以表示对应的对象B的业务状态为休息状态。因此,为了能够在会话界面中展示虚拟形象,第一终端可以根据每个对象的形象资源标识和业务状态去获取相应的虚拟形象,具体过程可以参见后续图10所对应实施例中的步骤S201。
步骤S102,响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;
具体的,第一终端可以响应于针对会话界面的触发操作,生成第一对象向第二对象发送的第一会话消息,并可以在会话界面的消息显示区域中显示第一会话消息。
可选的,第一会话消息所携带的第一对象媒体数据可以包含第一类图像数据,也就是说,第一终端可以响应于针对会话界面的触发操作,确定用于表征第一对象在进行即时会话时的对象状态的第一类图像数据,进而可以将第一类图像数据作为与第一对象相关联的第一对象媒体数据,并可以基于第一对象媒体数据生成用于向第二对象发送的第一会话消息,随后在会话界面的消息显示区域中显示第一会话消息(例如,上述图2中的会话消息201e)。其中,这里的第一类图像数据可以为第一对象输入的用于表征其对象状态的图像数据,例如表情包。可选的,第一会话消息中除了第一对象媒体数据,还可以包含第一对象录入的文本数据或与第一对象的对象状态无关的其它图像数据(例如风景照),即第一会话消息中可以包含一种或多种类型的数据。
本申请实施例提供了多种确定第一类图像数据的方式,第一对象可以采用其中的任意一种方式,具体如下:
在一种可选的实施方式中,第一终端可以响应于针对会话界面中的文本录入控件的触发操作,显示通过文本录入控件所录入的文本信息,在检测到该文本信息中携带状态映射文本时,显示状态映射文本所映射的用于表征第一对象在进行即时会话时的对象状态的第一类图像数据。其中,状态映射文本是指可以映射到某种对象状态的文本,且状态映射文本与第一类图像数据具有映射关系,例如,文本“哈哈哈”可以作为与“大笑”表情包具有映射关系的状态映射文本。请一并参见图5,图5是本申请实施例提供的一种确定图像数据的场景示意图。如图5所示,会话界面500中包含文本录入控件500a,响应于针对文本录入控件500a的触发操作(例如,点击操作),在会话界面500中输出文本录入区域500b,进而可以响应于针对文本录入区域500b的文本录入操作,将通过该文本录入操作所录入的文本信息500d显示在文本输入框500c中,在此期间,第一终端可以对文本信息500d进行文本检测,当检测到文本信息500d中存在状态映射文本(例如“哈哈哈”)时,可以在会话界面500中显示该状态映射文本所映射的第一图像列表500e。其中,第一图像列表500e可以包括一个或多个图像数据,例如,图像数据5A、图像数据5B、图像数据5C、…、图像数据5D,因此第一对象可以从第一图像列表500e中确定自己需要的第一类图像数据。例如,第一终端可以响应于第一对象针对第一图像列表500e中的一个或多个图像数据的选择操作,将该选择操作对应的图像数据作为用于表征其对象状态的第一类图像数据,例如,可选取图像数据5A作为第一类图像数据;或者,将这一个或多个图像数据均作为第一类图像数据;又或者,可由第一终端自动在这一个或多个图像数据中任意选择一个作为第一类图像数据,例如,可选取第一图像列表500e中收藏人数最多的图像数据作为第一类图像数据。
可选的,在第一对象只希望发送纯文本会话消息时,即使其录入的文本信息中携带状态映射文本,且在会话界面中也会显示该状态映射文本所映射的图像数据,但第一对象可以不对这些图像数据进行选择,而是将携带有该状态映射文本的文本信息作为第一会话消息。在这种情况下,第一终端可以自动在状态映射文本所映射的图像数据中选取一个作为第一类图像数据,例如,在多个图像数据中进行随机选取,或者基于热度优先级进行选取,然后可将该第一类图像数据与第一会话消息相关联,应当理解,虽然此时的第一类图像数据并不会和第一会话消息共同显示在消息显示区域中,但第一终端仍可以基于该“隐含”的第一类图像数据对第一虚拟形象进行更新。
在一种可选的实施方式中,第一终端可以响应于针对会话界面中的状态显示控件的触发操作,输出与状态显示控件相关联的图像选择面板,进而响应于针对图像选择面板的选取操作,将该选取操作所对应的图像数据作为用于表征第一对象在进行即时会话时的对象状态的第一类图像数据。请一并参见图6,图6是本申请实施例提供的一种选取图像数据的场景示意图。如图6所示,会话界面600中包含状态显示控件600a,响应于针对该状态显示控件600a的触发操作(例如,点击操作),可以在会话界面600中输出图像选择面板600b,该图像选择面板600b可以包含一个或多个图像数据,例如,图像数据6A、图像数据6B、图像数据6C、…、图像数据6H,这些图像数据可以是第一对象使用过的图像数据(即历史图像数据)、第一对象收藏的图像数据、其他对象向第一对象分享的图像数据,或者可以是第一终端推荐的图像数据。进一步,可以响应于第一对象针对图像选择面板600b中包含的一个或多个图像数据的选取操作,将该选取操作所对应的图像数据作为第一类图像数据,例如,可以选取图像数据6C作为第一类图像数据。
在一种可选的实施方式中,第一终端可以响应于针对会话界面中的目标图像数据的确定操作,将目标图像数据作为用于表征第一对象在进行即时会话时的对象状态的第一类图像数据。请参见图7,图7是本申请实施例提供的一种确定图像数据的场景示意图。如图7所示,可以在会话界面700中直接显示第二图像列表700a,该第二图像列表700a可以包括一个或多个图像数据,可供第一对象进行选择,例如,该第二图像列表700a可以包括图像数据7A、图像数据7B、图像数据7C、…、图像数据7D。其中,这些图像数据可以是第一对象使用过的图像数据(即历史图像数据)、第一对象收藏的图像数据、其他对象向第一对象分享的图像数据,或者可以是图像系统推荐的图像数据,例如,基于热度排行或第一对象的画像所推荐的图像数据。第一对象可以在第二图像列表700a包含的这一个或多个图像数据中确定目标图像数据(例如,图像数据7B),并可将该目标图像数据作为第一类图像数据。
可选的,第一会话消息所携带的第一对象媒体数据可以包含第二类图像数据,也就是说,第一终端可以响应于针对会话界面的触发操作,在第一对象通过语音控件录入语音信息时,调用摄像头对第一对象的对象图像数据进行捕获。其中,这里的对象图像数据是指用于记录第一对象的面部表情、肢体动作等的数据,是第一对象在录入语音信息过程中的真实影像,例如,可以将对第一对象进行拍摄所得的视频数据作为对象图像数据。应当理解,摄像头是在获得第一对象授予的权限之后才开启的,相应的,对象图像数据是在获得第一对象授予的权限之后才会获取的数据。
进一步,在捕获到对象图像数据时,可以基于该对象图像数据调整第一虚拟形象的形象状态,随后可以基于调整形象状态后的第一虚拟形象,生成用于表征第一对象在进行即时会话时的对象状态的第二类图像数据。其中,这里的第二类图像数据是基于调整形象状态后的第一虚拟形象所得到的,与通过摄像头所捕获到的第一对象的对象图像数据相关联,例如,可以捕获第一对象说话时的肢体动作和面部表情,并将其反馈到第一虚拟形象上,即第一虚拟形象会跟随第一对象的肢体动作或面部表情发生变化,同时会将第一虚拟形象的变化过程录制成视频,最终会将该视频转换成相应的图像数据(例如,动态图像,可简称动图),并将该图像数据作为第二类图像数据,相当于将第一对象自己的虚拟形象做成了表情包,最终会和语音信息一起发送给第二用户,从而可以增加语音互动的多样性。具体过程可以为:在捕获到对象图像数据时,对该对象图像数据进行状态检测,将检测到的状态作为用于表征第一对象在进行即时会话时的对象状态,进而可以获取第一虚拟形象,并基于该对象状态调整第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征对象状态的第二类图像数据。其中,第一虚拟形象的形象状态可以包括第一虚拟形象的肢体动作或面部表情。例如,当检测到第一对象在微笑时,可以将第一虚拟形象的面部表情也调整为微笑表情。
进一步,可以将生成的第二类图像数据与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,具体过程可以为:将第二类图像数据上传至服务器,在第二类图像数据上传成功时,获取第二类图像数据对应的图像资源标识,同时,将语音信息上传至服务器,在语音信息上传成功时,获取语音信息对应的语音资源标识,进而可以将携带图像资源标识的第二类图像数据以及携带语音资源标识的语音信息进行整合,或者说,基于图像资源标识和语音资源标识,对第二类图像数据以及语音信息进行绑定,从而得到与第一对象相关联的第一对象媒体数据。
进一步,可以基于第一对象媒体数据生成用于向第二对象发送的第一会话消息,具体过程可以为:将语音信息进行语音转换处理,得到语音信息对应的转换文本信息,且在用于捕获对象图像数据的图像捕获区域中显示该转换文本信息,随后将转换文本信息与第一对象媒体数据进行整合,得到用于向第二对象发送的第一会话消息。最终,可以在会话界面的消息显示区域中显示第一会话消息。
可选的,在未捕获到对象图像数据时,第一终端可以基于第一虚拟形象确定第三类图像数据,进而可以将第三类图像数据与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,再基于第一对象媒体数据生成用于向第二对象发送的第一会话消息。其中,这里的第三类图像数据是基于原始的第一虚拟形象所得到的,例如,可以直接将第一虚拟形象作为第三类图像数据,或者,可以将第一虚拟形象所映射的某个虚拟形象(例如,具有某种特定形态的虚拟形象)默认为第三类图像数据,也就是说,在未捕获到对象图像数据时,可以将该虚拟形象作为默认的第三类图像数据。其中,基于第三类图像数据生成第一对象媒体数据,进而生成第一会话消息的过程,与上述基于第二类图像数据生成第一对象媒体数据,进而生成第一会话消息的过程类似,这里不再进行赘述。
请一并参见图8,图8是本申请实施例提供的一种录入语音信息的场景示意图。如图8所示,会话界面801中可以包括语音控件801a,第一终端可以响应于针对语音控件801a的触发操作(例如,长按操作),输出用于捕获第一对象的对象图像数据的图像捕获区域801b,同时在第一对象通过语音控件801a录入语音信息时,在图像捕获区域801b中同步显示由语音信息转换得到的转换文本信息801c。应当理解,在录入语音信息的过程中,摄像头会持续对第一对象的对象图像数据进行捕获,若未捕获到对象图像数据,则图像捕获区域801b中可以只显示转换文本信息801c;可选的,若未捕获到对象图像数据,也可以在图像捕获区域801b中显示第三类图像数据,可以理解,此时显示的第三类图像数据与对象图像数据无关,因此第三类图像数据不会跟随第一对象进行变化。如图8所示,语音录入结束后(例如,第一对象松手结束对语音控件801a的长按操作),可以隐藏图像捕获区域801b,返回到会话界面802,最终生成的用于向第二对象发送的会话消息802a(即第一会话消息)可以显示在会话界面802的消息显示区域中,可以看到,会话消息802a包含有第一对象媒体数据802b以及转换文本信息802c(即转换文本信息801c)。
请一并参见图9,图9是本申请实施例提供的一种录入语音信息的场景示意图。如图9所示,第一终端可以响应针对会话界面901中包含的语音控件901a的触发操作(例如,长按操作),输出用于捕获第一对象的对象图像数据的图像捕获区域901b,进而可以在第一对象通过语音控件901a录入语音信息时,在图像捕获区域901b中同步显示由语音信息转换得到的转换文本信息901d。同时,若在录入语音信息的过程中捕获到对象图像数据,例如,第一对象的脸部对准摄像头时,则在图像捕获区域901b中还可以显示第二类图像数据901c,可以理解,此时显示的第二类图像数据901c与对象图像数据相关,可用于表征第一对象在进行即时会话时的对象状态(例如面部表情、肢体动作等)。如图9所示,语音录入结束后(例如,第一对象松手结束对语音控件901a的长按操作),可以隐藏图像捕获区域901b,返回到会话界面902,最终生成的用于向第二对象发送的会话消息902a(即第一会话消息)可以显示在会话界面902的消息显示区域中,可以看到,会话消息902a包含有第一对象媒体数据902b以及转换文本信息902c(即转换文本信息901d)。
其中,图像捕获区域可以浮窗形式或蒙层形式或半透明形式展现在会话界面的任一区域中;可选的,也可以是用能通过触发操作(例如拖拽操作)改变显示尺寸且可收缩的界面进行显示,该界面的尺寸小于会话界面。
需要说明的是,第一终端可以响应于针对第一会话消息所携带的第一对象媒体数据的触发操作,播放语音信息,并可以在会话界面中显示与语音信息相关联的音效动画,此外,在播放语音信息时,还可以对第一会话消息中包含的转换文本信息进行同步突出显示,且第一虚拟形象也可以跟随第一对象媒体数据进行同步更新。请再次参见图9,如图9中的会话界面903所示,响应于针对会话界面903中的会话消息902a所携带的第一对象媒体数据902b的触发操作(例如,点击操作),可以在会话界面903中播放转换文本信息902c对应的语音信息,同时可以显示与该语音信息相关联的音效动画903a,其中,音效动画903a可以包含第一对象媒体数据902b携带的第二类图像数据901c所对应的图像动画,可选的,还可以包含语音信息相关联的脉冲动画,例如,可以是随机变化的脉冲动画,也可以是跟随语音信息对应的音量大小进行变化的脉冲动画。可选的,还可以对转换文本信息902c进行同步突出显示,例如,转换文本信息902c中的文字跟随播放的语音信息依次高亮,此外,虚拟形象903b也可以跟随第一对象媒体数据902b进行同步更新,通过这种方式可以还原第一对象媒体数据902b所包含的肢体动作和面部表情。
其中,上述语音转换处理可以利用语音识别接口的实时语音翻译功能实现,且得到的转换文本信息与语音信息具有同步逻辑,也就是说,语音信息处于某个播放进度时,可以根据语音识别接口获取到该播放进度在转换文本信息中对应的文字位置,因此第一终端可以根据语音识别接口所返回的文字位置,对该文字位置上的文字进行突出显示即可。
可以理解,当语音播放结束时,音效动画会消失,且同步更新后的第一虚拟形象会恢复到原来的第一虚拟形象。可选的,更新后的第一虚拟形象也可维持当前的形态,直到新的会话消息产生后再次进行更新。
可选的,当切换到会话更新界面进行语音录入时,第一终端可以响应于针对会话更新界面的触发操作,在第一对象通过会话更新界面中的语音控件录入语音信息时,调用摄像头对第一对象的对象图像数据进行捕获,若捕获到对象图像数据,则基于对象图像数据调整第一虚拟形象的形象状态,应当理解,此时的第一虚拟形象为第一对象的完整虚拟形象,可以直接在会话更新界面中实时显示调整形象状态后的第一虚拟形象,且可以基于调整形象状态后的第一虚拟形象,生成用于表征第一对象在进行即时会话时的对象状态的第二类图像数据,例如,录制对第一虚拟形象进行形象状态调整的整个过程,得到相应的视频数据,进而可以将该视频数据转换得到的图像数据作为第二类图像数据。反之,若未捕获到对象图像数据,则可以基于会话更新界面中显示的第一虚拟形象确定第三类图像数据。同时,在会话更新界面中可以输出语音转换区域,用于实时显示对录入的语音信息进行语音转换处理所得到的转换文本信息。可选的,可以在会话更新界面中显示完整的第一会话消息(即包含第一对象媒体数据和文本信息)。或者,可选的,为了节省显示空间,可以在会话更新界面中只显示第一会话消息所携带的文本信息,而无需显示第一会话消息携带的第一对象媒体数据,此时,响应于会话更新界面中针对该文本信息相关的播放控件的触发操作,播放相应的语音信息,且播放过程中第一对象的完整虚拟形象也会跟随第一对象媒体数据进行同步变化。应当理解,在切换回会话界面后,在会话界面的消息显示区域中仍显示完整的第一会话消息。
步骤S103,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
具体的,第一终端可以基于第一对象媒体数据对第一虚拟形象进行更新,得到与第一对象媒体数据相匹配的第一虚拟更新形象,进而在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。
可选的,在第一对象媒体数据包含第一类图像数据时,可以基于第一类图像数据对第一虚拟形象进行更新,得到与第一类图像数据相匹配的第一虚拟更新形象(例如,上述图2中的虚拟形象201f),具体过程可以为:通过消息管理器对第一会话消息进行媒体数据检测,若检测到第一会话消息所携带的第一对象媒体数据中包含第一类图像数据,则生成状态触发事件,并将状态触发事件发送至虚拟形象处理器,其中,状态触发事件可以包括第一对象的对象标识和图像数据列表,这里的对象标识可用于标记第一对象,例如可将第一对象的用户账号作为第一对象的对象标识;该图像数据列表用于记录第一对象媒体数据所包含的第一类图像数据,这里第一类图像数据的数量可以为一个或多个,且可以为不同的第一类图像数据。进一步,在虚拟形象处理器接收到状态触发事件时,可基于图像数据列表中的第一类图像数据,对该对象标识相关联的第一虚拟形象进行更新,得到与第一类图像数据相匹配的第一虚拟更新形象。其中,消息管理器和虚拟形象处理器均属于第一终端上的应用客户端。最终,可以在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。此外,还可以在虚拟形象显示区域中显示第一类图像数据,例如,在第一虚拟更新形象的邻近区域显示第一类图像数据。
可选的,在第一对象媒体数据包含第二类图像数据时,响应于针对第一对象媒体数据的触发操作,基于第二类图像数据对第一虚拟形象进行更新,得到与第二类图像数据相匹配的第一虚拟更新形象(例如,上述图9中的虚拟形象903b),进而可以在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。
上述可知,在通过会话界面进行即时会话的过程中,可以在虚拟形象显示区域中显示会话双方(即第一对象和第二对象)的虚拟形象,同时可以在消息显示区域中显示即时会话过程中所产生的会话消息(即历史会话消息,例如,第一会话消息),便于会话双方回溯历史会话消息,而不会出现无法正常记录和显示历史会话消息的情况,也就是说,本申请实施例可以在采用虚拟形象的即时会话场景中维持历史会话消息的正常记录和显示,此外,还可以基于第一会话消息所携带的第一对象媒体数据对第一虚拟形象进行更新,以实时呈现第一对象的对象状态,从而可以丰富即时会话的展示方式。
请参见图10,图10是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图。该数据处理方法可以由计算机设备执行,计算机设备可以包括如图1所述的用户终端或服务器,为便于理解,本实施例以该方法由第一终端(例如,用户终端200a)执行为例进行说明。该数据处理方法至少可以包括以下步骤:
步骤S201,显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
具体的,第一终端可以先显示第一对象与第二对象进行即时会话时的会话界面,进一步,可以基于每个对象的形象资源标识和业务状态去获取相应的虚拟形象,具体过程可以为:获取第一对象对应的第一形象资源标识和第一业务状态,且获取第二对象对应的第二形象资源标识和第二业务状态,基于第一形象资源标识和第一业务状态在第一终端本地的虚拟形象缓存区中进行形象资源查找,同时基于第二形象资源标识和第二业务状态在虚拟形象缓存区中进行形象资源查找。其中,虚拟形象缓存区可用于在本地缓存形象资源。若在虚拟形象缓存区中未找到第一对象对应的虚拟形象和第二对象对应的虚拟形象,则可以基于第一形象资源标识、第一业务状态、第二形象资源标识以及第二业务状态生成形象资源获取请求,将形象资源获取请求发送至服务器,其中,服务器用于在接收到形象资源获取请求时,基于第一形象资源标识和第一业务状态生成第一虚拟形象对应的第一形象资源地址,且基于第二形象资源标识和第二业务状态生成第二虚拟形象对应的第二形象资源地址,并返回第一形象资源地址和第二形象资源地址。其中,第一形象资源标识和第一业务状态是在获取到第一对象授予的权限之后才获取到的,第二形象资源标识和第二业务状态也是在获取到第二对象授予的权限之后才获取到的。
进一步,第一终端接收到服务器所返回的第一形象资源地址和第二形象资源地址后,可以基于第一形象资源地址获取第一对象相关联的第一虚拟形象,且基于第二形象资源地址获取第二对象相关联的第二虚拟形象,随后可以在会话界面的虚拟形象显示区域中,显示第一虚拟形象和第二虚拟形象。
其中,第一形象资源地址是指第一虚拟形象在服务器相关联的形象资源库中的存储位置,第二形象资源地址是指第二虚拟形象在该形象资源库中的存储位置,因此,第一终端可以从形象资源库中第一形象资源地址所指示的存储位置读取第一虚拟形象,且可以从形象资源库中第二形象资源地址所指示的存储位置读取第二虚拟形象。
应当理解,若基于某个对象(例如,第一对象)的形象资源标识和业务状态,在虚拟形象缓存区中查找到了该对象对应的虚拟形象,则无需再向服务器发起形象资源获取请求。反之,若在虚拟形象缓存区中未查找到该对象对应的虚拟形象,则需要向服务器发起形象资源获取请求。
可选的,也可以分别获取第一虚拟形象和第二虚拟形象,也就是说,第一终端可以基于第一形象资源标识和第一业务状态生成第一形象资源获取请求,进而可以将第一形象资源获取请求发送至服务器,以使服务器在接收到第一形象资源获取请求时,基于第一形象资源标识和第一业务状态生成第一虚拟形象对应的第一形象资源地址,并返回至第一终端;同时,第一终端可以基于第二形象资源标识和第二业务状态生成第二形象资源获取请求,进而可以将第二形象资源获取请求发送至服务器,以使服务器在接收到第二形象资源获取请求时,基于第二形象资源标识和第二业务状态生成第二虚拟形象对应的第二形象资源地址,并返回至第一终端。随后,第一终端可以基于第一形象资源地址获取第一对象相关联的第一虚拟形象,并基于第二形象资源地址获取第二对象相关联的第二虚拟形象。
为了便于提升后续获取虚拟形象的效率,第一终端从服务器相关联的形象资源库中获取到某个虚拟形象后,可以将其存储在本地的虚拟形象缓存区中。
应当理解,第一终端获取的虚拟形象可以是局部虚拟形象或者完整虚拟形象,可选的,同一对象的局部虚拟形象和完整虚拟形象可以具有相同的形象资源标识,因此,第一终端可以先获取对应的完整虚拟形象,进而可以对该完整虚拟形象进行截取,从而得到相应的局部虚拟形象,并为完整虚拟形象和相应的局部虚拟形象分配相同的形象资源标识。可选的,同一对象的局部虚拟形象和完整虚拟形象可以具有不相同的形象资源标识,也就是说,可以为一个完整虚拟形象以及对该完整虚拟形象进行截取所得到的局部虚拟形象分配互不相同的形象资源标识,并可基于两者的形象资源标识对该完整虚拟形象和相应的局部虚拟形象进行绑定存储,因此,第一终端可以基于完整虚拟形象的形象资源标识快速获取到该完整虚拟形象以及该完整虚拟形象对应的局部虚拟形象,又或者,可以基于局部虚拟形象的形象资源标识快速获取到该局部虚拟形象以及该局部虚拟形象对应的完整虚拟形象,而无需再检测虚拟形象属于局部虚拟形象还是完整虚拟形象。
其中,由于在会话界面中增加了会话双方的虚拟形象,为了能够显示另一方对象(即好友,如第二对象)的虚拟形象,需要在该对象的资料卡基本信息中添加一项用于表示该对象当前的形象信息,主要是该对象的虚拟形象的形象资源标识(也可称为形象资源id,id为Identity document(身份标识号)的缩写),应用客户端可根据该形象资源标识以及该对象的业务状态,请求下载对应的虚拟形象。其中,资料卡基本信息的部分内容可以参见表1。
表1
Figure BDA0003325773260000331
由上述表1可知,可以采用不同的状态值来表征不同的业务状态,例如,状态值为1时,表示在线状态;状态值为2时,表示离线状态;状态值为3时,表示忙碌状态;状态值为4时,表示离开状态。本申请实施例对每种业务状态所对应的具体状态值不进行限定。
请一并参见图11,图11是本申请实施例提供的一种获取虚拟形象的交互示意图。以第一终端上的应用客户端与服务器进行交互为例进行说明,如图11所示,第一终端上的应用客户端具有获取虚拟形象的能力,该应用客户端上有专门管理虚拟形象的虚拟形象管理器(也可称为虚拟形象manager),可以根据传入的形象资源标识以及业务状态返回对应的虚拟形象,然后用于展示。具体的交互过程可以包括以下步骤:
步骤S2011,应用客户端上的虚拟形象管理器可以获取共同进行即时会话的对象(例如,第二对象)的形象资源标识(如第二形象资源标识)以及业务状态(例如,第二业务状态);
步骤S2012,虚拟形象管理器可以在虚拟形象缓存区中查找是否存在与该形象资源标识以及业务状态相匹配的虚拟形象,若查找成功,则将匹配到的虚拟形象返回应用客户端,并执行步骤S2018;反之,若查找失败,则执行步骤S2013;
步骤S2013,虚拟形象管理器可以基于该形象资源标识以及业务状态生成相应的形象资源获取请求(也可称为票据,如第二形象资源获取请求),并可以将该形象资源获取请求发送至服务器;
步骤S2014,服务器接收到虚拟形象管理器发送的形象资源获取请求后,可以对该形象资源获取请求进行请求校验,即验证该形象资源获取请求是否为合法请求,若该形象资源获取请求校验成功,则表示该形象资源获取请求为合法请求,则执行步骤S2015;反之,若该形象资源获取请求校验失败,则表示该形象资源获取请求为非法请求,则执行步骤S2019;
步骤S2015,服务器可以基于该形象资源获取请求所携带的形象资源标识和业务状态,生成相应的形象资源地址(也可称为下载地址,如第二形象资源地址),并返回至虚拟形象管理器;
步骤S2016,虚拟形象管理器可以基于接收到的形象资源地址下载该对象的虚拟形象(如第二虚拟形象);
步骤S2017,若虚拟形象管理器下载成功,则执行步骤S2018,反之,若虚拟形象管理器下载失败,则执行步骤S2019;
步骤S2018,应用客户端展示获取到的虚拟形象;
步骤S2019,虚拟形象管理器接收服务器返回的校验失败结果,基于校验失败结果生成请求失败信息,将请求失败信息上报给应用客户端;
步骤S2020,应用客户端基于请求失败信息进行虚拟形象失败处理,例如,可以基于请求失败信息生成形象获取失败通知,并显示在对应的界面上。
上述可知,本申请实施例可以支持应用客户端根据对象的形象资源标识获取该对象的虚拟形象,同时可以根据该对象的业务状态展示虚拟形象的不同形态,从而可以丰富虚拟形象的多样性,且根据虚拟形象的形态可以很直观便捷地了解该对象当前的业务状态。
步骤S202,响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;
在一种实施方式中,第一对象发送的语音信息可以通过实时转文字发送给第二对象,例如可以通过现有的语音识别接口,将第一对象录入的语音信息实时翻译成文字,因此,在将采用这种方式生成的会话消息发送给第二对象时,不仅会发送语音信息,同时也会将该语音信息转换得到的转换文本信息发送给第二对象。采用这种方式生成会话消息简单又方便,可以降低使用成本,且提高会话消息的生成效率。在第一对象录入语音信息期间,如果捕捉到第一对象的对象图像数据(例如,第一对象的人脸),也可以将基于虚拟形象的图像数据发送给第二对象,例如,利用现有的人脸3D深度重建以及应用的SDK(SoftwareDevelopment Kit,软件开发工具包),可以识别第一对象的面部的骨骼,然后生效在第一虚拟形象上,最终可以录制成视频,并将该视频转换为GIF(Graphics Interchange Format,图形交换格式)格式的图像数据,通过GIF的方式展示第一对象在录入语音信息时对应的虚拟形象的行为,可以使得对象之间的交流更形象。
请一并参见图12,图12是本申请实施例提供的一种录入语音信息的流程示意图。如图12所示,该流程可以在第一终端的应用客户端上实现,具体过程可以为:
步骤S2021,在用户录入语音信息时,第一终端的应用客户端可以调用语音识别接口(即语音识别SDK)对语音信息进行处理;
步骤S2022,应用客户端通过语音识别接口实时将语音信息转换为文字(即转换文本信息),便于后续第一对象在结束语音录入时,发送携带有转换文本信息的第一会话消息。
步骤S2023,应用客户端会通过摄像头检测是否识别到人脸,如果识别到了人脸,则执行步骤S2025;反之,如果没有识别到人脸,则执行步骤S2024;
步骤S2024,应用客户端可以获取默认发送的图像数据(即第三类图像数据);
步骤S2025,应用客户端可以采用人脸3D深度重建接口(即人脸3D深度重建以及应用的SDK)来识别骨骼的变化,例如,跟踪第一对象身上的关键点(如面部或肢体的关键点),得到关键点位置数据;
步骤S2026,应用客户端可以将通过人脸3D深度重建接口识别到的骨骼变化应用到第一虚拟对象,即基于获取到的关键点位置数据对第一虚拟对象进行更新。例如,第一对象招手,第一虚拟对象也会跟着招手;
步骤S2027,应用客户端会将第一虚拟对象的变化录制成视频;
步骤S2028,应用客户端可以将录制得到的视频转换成GIF(GraphicsInterchange Format,图形交换格式)格式的图像数据(即第二类图像数据,例如动态图像)。
最终,应用客户端还可以将得到的图像数据(第二类图像数据或第三类图像数据)与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,进而可以基于第一对象媒体数据生成用于向第二对象发送的第一会话消息。
其中,在第一对象发送语音信息时,会将语音信息以及相应的图像数据上传至服务器,便于第二对象接收到会话消息后下载对应的资源,减少数据传输的成本。请一并参见图13,图13是本申请实施例提供的一种发送会话消息的流程示意图。如图13所示,在发送第一会话消息时,应用客户端会保证语音信息以及相应的图像数据成功上传到服务器,才会触发第一会话消息的发送。在本申请实施例中会以第二类图像数据是GIF格式的动图为例进行说明。具体过程可以为:
步骤S1,应用客户端检测当前是否存在语音信息,若存在,则执行步骤S2;反之,若不存在,则执行步骤S10;
步骤S2,应用客户端将语音信息上传至服务器;
步骤S3,应用客户端获取服务器返回的语音上传结果,若语音上传结果指示语音信息上传成功,则执行步骤S4;反之,若语音上传结果指示语音信息上传失败,则执行步骤S10;可选的,当语音信息上传失败时,应用客户端可以重新上传语音信息,得到新的语音上传结果;
步骤S4,应用客户端获取语音信息对应的语音资源标识,其中,语音资源标识是由应用客户端生成的;
步骤S5,应用客户端检测当前是否存在动图(即检测是否捕获到第一对象的对象图像数据),若存在,则执行步骤S6;反之,若不存在,则执行步骤S10;
步骤S6,应用客户端将动图上传至服务器;
步骤S7,应用客户端获取服务器返回的图像上传结果,若图像上传结果指示动图上传成功,则执行步骤S8;反之,若图像上传结果指示动图上传失败,则执行步骤S10;可选的,当动图上传失败时,应用客户端可以重新上传动图,得到新的图像上传结果;
步骤S8,应用客户端获取动图对应的图像资源标识,其中,图像资源标识是由应用客户端生成的;
步骤S9,应用客户端将对第一虚拟形象进行录制所得到的视频转换成GIF格式的动图,并将该动图作为第二类图像数据,这样可以降低传输视频所带来的传输成本,从而提升会话消息的传输效率;
步骤S10,应用客户端询问语音信息和动图是否均准备就绪,若语音信息和动图均准备就绪,则执行步骤S11;反之,由于语音信息和动图分开传输,因此可能存在其中一项数据准备好了,但是另一项数据还未准备好的情况,因此应用客户端可以继续等待;
步骤S11,若语音信息上传失败或者动图上传失败时,则执行步骤S13,;反之,若语音信息和动图均上传成功,则执行步骤S12;
步骤S12,应用客户端发送基于语音信息和动图所生成的第一会话消息;
步骤S13,应用客户端发送会话消息失败,可以向第一对象反馈发送失败信息。
可选的,第一会话消息成功上传后,后续第二终端可以基于图像资源标识和语音资源标识,从存储会话消息的消息资源库中获取相应的语音信息和图像数据,从而提升资源传输效率。
本步骤202的具体实现方式可以参见上述图3所对应实施例中的步骤S102,这里不再赘述相同的内容。
步骤S203,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;
在一种实施方式中,为了丰富对象之间互动的玩法,在即时会话过程中可以将对象之间的表情包互动体现在虚拟形象中(即图3所对应实施例中描述的第一对象媒体数据包含第一类图像数据时的场景)。应当理解,表情包互动展示只局限于当前会话的AIO(AllIn One,指公共的聊天窗口组件,可为对象提供统一的交互体验),不做漫游同步,只在当前的AIO中有效,且只需应用客户端本身处理即可。在收发会话消息的管理(即消息管理器)中只要检测到有表情包(即第一类图像数据)的会话消息,就可通知外部处理,同时将表情emoji信息(也可称为表情包信息)传递给业务处理,业务在收到通知后就可以进行相应处理。
请一并参见图14,图14是本申请实施例提供的一种更新虚拟形象的流程示意图。其中,应用客户端上集成有消息管理器(也可称为消息manager)和虚拟形象处理器(也可称为AIO虚拟形象),消息管理器可用于进行会话消息的收发,虚拟形象处理器则用于处理虚拟形象的显示、更新等工作。如图14所示,该流程具体可以包括如下步骤:
步骤S2031,消息管理器不断地进行会话消息的收发;
步骤S2032,消息管理器可以对第一终端获取到的所有会话消息(包括第一终端发送的会话消息和接收到的会话消息)进行消息过滤处理,即对所有会话消息进行媒体数据检测,并基于检测结果筛选出包含有第一类图像数据(如表情包)的会话消息;
步骤S2033,消息管理器基于检测结果判断会话消息中是否存在第一类图像数据,若检测到一个会话消息(例如,会话消息1)中不存在第一类图像数据,则可将该会话消息抛弃,并执行步骤S2031;反之,若检测到一个会话消息(例如,会话消息2)中存在第一类图像数据,则执行步骤S2034;
步骤S2034,消息管理器可以生成状态触发事件(即Fire Emoji Event),并将该状态触发事件发送至虚拟形象处理器,其中,该状态触发事件包含有消息发送方(如第一对象)的对象标识(即user identification number,uin)和图像数据列表(emoji_list,也可称为表情列表);
步骤S2035,虚拟形象处理器可通过绑定事件的机制来监听其他地方发送的状态触发事件,因此,当接收到消息管理器发送的状态触发事件时,虚拟形象处理器可以基于图像数据列表中包含的第一类图像数据,对状态触发事件包含的对象标识所指示的对象的虚拟形象(如第一虚拟形象)进行更新;
步骤S2036,虚拟形象处理器可在更新后的虚拟形象(如第一虚拟更新形象)的邻近区域展示第一类图像数据。
可选的,对于第一虚拟形象,虚拟形象处理器可以在形象资源库或者虚拟形象缓存区中,查找与图像数据列表中包含的第一类图像数据相匹配的虚拟形象作为第一虚拟更新形象。
可选的,当一个会话消息包括多个第一类图像数据时,虚拟形象处理器可以在多个第一类图像数据中任选一个作为第一类目标图像数据,并基于第一类目标图像数据对相应的虚拟形象进行更新,例如,可以选取该会话消息中的第一个第一类图像数据作为第一类目标图像数据,或者,可以选取该会话消息中数量最多的一种第一类图像数据作为第一类目标图像数据,或者,还可以按照该会话消息中的第一类图像数据的顺序,依次对相应的虚拟形象进行更新。
本步骤的具体实现方式可以参见上述图3所对应实施例中的步骤S103,这里对相同的内容不再进行赘述。
步骤S204,在检测到第一会话消息中携带背景映射文本时,基于背景映射文本将原始虚拟背景更新为虚拟更新背景,基于第一虚拟更新形象、第二虚拟形象以及虚拟更新背景,生成用于显示在虚拟形象显示区域中的融合背景虚拟形象;
具体的,在虚拟形象显示区域中,可以将与第一虚拟形象和第二虚拟形象所关联的虚拟背景作为原始虚拟背景,第一终端可以对第一会话消息进行文本检测,在检测到第一会话消息中携带背景映射文本时,可以基于背景映射文本将原始虚拟背景更新为虚拟更新背景,进而将第一虚拟更新形象、第二虚拟形象以及虚拟更新背景进行数据融合,得到用于显示在虚拟形象显示区域中的融合背景虚拟形象。这样做的好处是可以提高虚拟背景与虚拟形象之间的融合度,以增强即时会话的临场感。
可选的,可以为虚拟更新背景设置相应的背景显示阈值,例如,当虚拟更新背景的显示时长等于背景显示阈值时,可以将虚拟更新背景恢复为原始虚拟背景,相应的,将融合背景虚拟形象恢复为第一虚拟更新形象。
可选的,在原始虚拟背景更新为虚拟更新背景后,也可以长时间维持虚拟更新背景,直到下一次再对虚拟更新背景进行更新。
可选的,当某个会话消息中不携带第一对象媒体数据,但却携带背景映射文本时,仍可以基于该背景映射文本对虚拟背景进行更新,且更新后的虚拟背景也可以与第一虚拟形象和第二虚拟形象进行数据融合。
请一并参见图15,图15是本申请实施例提供的一种更新虚拟背景的场景示意图。如图15所示,对象A和对象B通过会话界面150进行即时会话,假设对象A发送的会话消息150c中携带背景映射文本,例如“新年快乐”,则可以将虚拟形象显示区域150d中与虚拟形象150a和虚拟形象150b相关联的原始虚拟背景,更新为与会话消息150c中携带的背景映射文本所映射的虚拟更新背景,例如,可更新为背景映射文本“新年快乐”所映射的虚拟烟花背景,此外,可以将虚拟烟花背景与虚拟形象150a和虚拟形象150b进行数据融合,融合成功后,最终展示在虚拟形象显示区域150d中的虚拟形象(即融合背景虚拟形象)与虚拟烟花背景高度融合,也就是说,虚拟更新背景会影响到处于其中的虚拟形象,例如,当虚拟烟花呈现红色时,投射在融合背景虚拟形象上的光也是红色的。
在一种可选的实施方式中,在检测到第一会话消息中携带穿戴映射关键词时,例如,第一会话消息包含的文本信息中携带穿戴映射关键词,或者,第一会话消息包含的语音信息中携带穿戴映射关键词,则可以基于检测到的穿戴映射关键词对第一虚拟形象进行更新,例如,将与该穿戴映射关键词相匹配的虚拟穿戴物品(例如,衣物、头饰、帽子、眼镜、背包、武器、玩具等)添加至第一虚拟形象。例如,当会话消息X中携带穿戴映射关键词“帽子”时,可以在形象资源库中任意选取一个帽子添加至相应的虚拟形象,从而得到一个戴帽子的虚拟形象。
步骤S205,当第一虚拟更新形象的显示时长等于显示时长阈值时,将第一虚拟更新形象恢复为第一虚拟形象;
具体的,本申请实施例可以为第一虚拟更新形象设置显示时长阈值,当第一虚拟更新形象的显示时长等于显示时长阈值时,会将第一虚拟更新形象恢复为第一虚拟形象。本申请实施例对显示时长阈值的具体大小不进行限定。
步骤S206,在接收到第二对象发送的第三会话消息时,在会话界面的消息显示区域中显示第三会话消息,基于第三会话消息中携带的与第二对象相关联的第二对象媒体数据对第二虚拟形象进行更新;
具体的,第一终端在接收到第二对象发送的第三会话消息时,可以在会话界面的消息显示区域中显示第三会话消息。其中,第三会话消息中携带与第二对象相关联的第二对象媒体数据。进一步,可以在包含第二虚拟形象的虚拟形象显示区域中,将第二虚拟形象更新为第三虚拟更新形象,其中,第三虚拟更新形象是基于第二对象媒体数据对第二虚拟形象进行更新得到的。该步骤的具体过程,与上述图3所对应实施例中基于第一对象媒体数据,将第一虚拟形象更新为第一虚拟更新形象的过程类似,这里不再进行赘述。
步骤S207,响应于针对第一对象的业务状态的切换操作,将第一对象的业务状态更新为业务更新状态,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为与业务更新状态相匹配的第二虚拟更新形象。
具体的,第一终端响应于针对第一对象的业务状态的切换操作,将第一对象的业务状态更新为业务更新状态,进而可以在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为与该业务更新状态相匹配的第二虚拟更新形象,例如,在对象A将其业务状态由休息状态改为在线状态时,对象A的虚拟形象由与休息状态相匹配的虚拟形象(例如睡觉形态)更新为与在线状态相匹配的虚拟形象(例如站立形态)。
请参见图16,图16是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图。该数据处理方法可以由计算机设备执行,计算机设备可以包括如图1所述的用户终端或服务器,为便于理解,本实施例以该方法由第一终端(例如,用户终端200a)执行为例进行说明。本申请实施例可以作为上述图3所对应实施例的一个具体实施方式。该数据处理方法至少可以包括以下步骤:
步骤S301,显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
本步骤的具体实现方式可以参见上述图3所对应实施例中的步骤S101,这里对相同的内容不再进行赘述。
步骤S302,响应于针对会话界面的触发操作,输出语音控件和用于捕获第一对象的对象图像数据的图像捕获区域,在第一对象通过语音控件录入语音信息时,在图像捕获区域中显示第一对象在进行即时会话时的会话图像数据;
具体的,第一终端响应于针对会话界面的触发操作,可以输出语音控件(例如上述图9所示的语音控件901a)和用于捕获第一对象的对象图像数据的图像捕获区域(例如,上述图9所示的图像捕获区域901b),在第一对象通过该语音控件录入语音信息时,调用摄像头对第一对象的对象图像数据进行捕获。其中,语音控件可以是独立于图像捕获区域的控件,或者,语音控件可以为图像捕获区域中的控件。
进一步,在捕获到对象图像数据时,可以基于对象图像数据确定第一对象在进行即时会话时的会话图像数据,且可以在图像捕获区域中显示该会话图像数据。这里的会话图像数据可用于表征第一对象在进行即时会话时的对象状态。
可选的,会话图像数据是基于捕获到的第一对象的对象图像数据所生成的,也就是说,可以基于该对象图像数据重构与第一对象相贴合的重构虚拟形象,且基于该重构虚拟形象生成第一对象在进行即时会话时的会话图像数据,例如,应用客户端上的渲染引擎可以根据从会话图像数据中提取到的第一对象的真实对象数据(例如第一对象的发型、衣物、位置等数据)进行图像渲染,得到第一对象的重构虚拟形象,可以理解,这里的重构虚拟形象会跟随第一对象的变化而变化。
可选的,会话图像数据是基于捕获到的第一对象的对象图像数据对第一虚拟形象的形象状态进行调整后所得到的,也就是说,可以基于该对象图像数据调整第一虚拟形象的形象状态,随后可以基于调整形象状态后的第一虚拟形象,生成第一对象在进行即时会话时的会话图像数据,即第二类图像数据,例如,上述图9所对应实施例中的第二类图像数据901c,具体过程可以参见上述图3所对应实施例的步骤S102中对于生成第二类图像数据的相关描述。
步骤S303,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;
具体的,第一终端可以基于会话图像数据和语音信息确定与第一对象相关联的第一对象媒体数据。具体过程可以为:第一终端将会话图像数据和语音信息进行整合,得到整合后的携带有语音信息的会话图像数据,将携带有语音信息的会话图像数据确定为与第一对象相关联的第一对象媒体数据。具体过程可以参见上述图3所对应实施例的步骤S102中对于生成第一对象媒体数据的相关描述。
进一步,可以基于第一对象媒体数据生成第一对象向第二对象发送的第一会话消息。可选的,第一终端可以将第一对象媒体数据(例如,上述图9所示的第一对象媒体数据902b)作为用于向第二对象发送的第一会话消息,也就是说,此时的第一会话消息可以包含一条子会话消息。
可选的,第一终端也可以将对语音信息进行语音转换处理所得到的转换文本信息与第一对象媒体数据进行整合,得到用于向第二对象发送的第一会话消息,也就是说,此时的第一会话消息可以包含两条子会话消息,例如,上述图9所示的第一对象媒体数据902b和转换文本信息902c。可选的,这里的转换文本信息可以是在第一对象通过图像捕获区域中的语音控件录入语音信息时,对所录入的语音信息进行语音转换处理得到的该语音信息所对应的转换文本信息(即第一转换文本信息),且可以在图像捕获区域中实时显示该转换文本信息,其中,该转换文本信息和第一对象在进行即时会话时的会话图像数据可以共同显示在图像捕获区域中的不同位置,例如可以参见上述图9所示的图像捕获区域901b。
最终,将第一会话消息发送出去后,可以在会话界面的消息显示区域中显示第一会话消息。
步骤S304,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;
本步骤的具体实现方式可以参见上述图3所对应实施例中的步骤S103,这里对相同的内容不再进行赘述。
步骤S305,响应于针对第一会话消息所携带的第一对象媒体数据的触发操作,播放语音信息,且在消息显示区域中显示携带有语音信息的会话图像数据的音效动画;
具体的,第一会话消息所携带的第一对象媒体数据可以包括携带有语音信息的会话图像数据,其中,会话图像数据可以是基于捕获到的第一对象的对象图像数据对第一虚拟形象的形象状态进行调整后所得到的,也可以是基于捕获到的第一对象的对象图像数据所生成的,本申请实施例对会话图像数据的生成方式不进行限定。第一终端可以响应于针对第一对象媒体数据的触发操作(例如,点击操作),播放该语音信息,并且可以在消息显示区域中显示携带有语音信息的会话图像数据的音效动画,类似于播放整合有语音信息和会话图像数据的视频,其中,这里的音效动画可以包含会话图像数据所对应的图像动画,此外,可选的,还可以进一步包含与语音信息相关联的脉冲动画,例如,可以是随机变化的脉冲动画,也可以是跟随语音信息对应的音量大小进行变化的脉冲动画,示例场景可以参见上述图9所对应的实施例。
步骤S306,在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,在消息显示区域中对第一转换文本信息进行同步突出显示;
具体的,在第一会话消息还包括在图像捕获区域中对语音信息进行语音转换处理所得到的第一转换文本信息(例如上述图9所示的转换文本信息902c)时,第一终端可以在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,在消息显示区域中对第一转换文本信息进行同步突出显示。
步骤S307,在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,对语音信息进行语音转换处理,得到语音信息对应的第二转换文本信息,在消息显示区域中对第二转换文本信息进行同步突出显示。
具体的,若第一会话消息仅包含第一对象媒体数据这一条子会话消息,则第一终端在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,还可以实时对该语音信息进行语音转换处理,得到该语音信息对应的第二转换文本信息,并且在消息显示区域中对第二转换文本信息进行同步突出显示。
本申请实施例充分利用了对象的虚拟形象,创新了一种在虚拟社交场景中进行即时会话的新方式。首先,在会话界面的界面结构上,会话界面的虚拟形象显示区域用于展示会话双方的虚拟形象,且虚拟形象可展示各对象的业务状态,同时虚拟形象还会跟随其对应对象发送的会话消息中所携带的对象媒体数据(例如表情包)进行变化,通过虚拟形象,可以更加生动地展示对象发送会话消息时的情感(即对象状态)。会话界面的消息显示区域用于展示历史会话消息,方便对象回溯历史会话消息。其次,在某个对象录入语音信息时,一旦摄像头捕捉到该对象的对象图像数据(如对象人脸),即开始以虚拟形象的方式录制该对象在说话时的动作神态,生成第二类图像数据(例如虚拟形象的动图),同时可以将语音信息实时转成文字。此外,该对象发送出去的会话消息也携带了第二类图像数据,可通过第二类图像数据展示该对象说话时的神态。再者,触发携带第二类图像数据的会话消息还可以听到发送方的语音。这种方式降低了文本输入的成本,录制说话者的神态也能更好地传达该对象的情感。
请参见图17,图17是本申请实施例提供的一种基于虚拟形象的数据处理方法的流程示意图。该数据处理方法可以由计算机设备执行,计算机设备可以包括如图1所述的用户终端或服务器,为便于理解,本实施例以该方法由第二终端(例如,用户终端200b)执行为例进行说明。该数据处理方法至少可以包括以下步骤:
步骤S401,显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
在本申请实施例中,第二终端上的会话界面的界面结构与第一终端上的会话界面的界面结构是一致的,因此,为了区分两侧的会话界面,可以将第一终端上的会话界面称为第一会话界面,将第二终端上的会话界面称为第二会话界面。第二终端可以显示第一对象与第二对象进行即时会话时的第二会话界面,并可将用于表征第一对象的局部虚拟形象作为第一对象的第一虚拟形象,将用于表征第二对象的局部虚拟形象作为第二对象的第二虚拟形象。进而可以在第二会话界面的虚拟形象显示区域中显示第一虚拟形象和第二虚拟形象。
该步骤的具体实现方式还可以参考上述图3所对应实施例中的步骤S101,这里不再进行赘述。
步骤S402,在接收到第一对象发送的第一会话消息时,在会话界面的消息显示区域中显示第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;
具体的,第二终端成功接收到第一对象发送的第一会话消息后,可以在第二会话界面的消息显示区域中显示第一会话消息。
步骤S403,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
该步骤的具体实现方式可以参考上述图3所对应实施例中的步骤S103,这里不再进行赘述。
请参见图18,是本申请实施例提供的一种基于虚拟形象的数据处理装置的结构示意图。该基于虚拟形象的数据处理装置可以是运行于计算机设备的一个计算机程序(包括程序代码),例如该基于虚拟形象的数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的基于虚拟形象的数据处理方法中的相应步骤。如图18所示,该基于虚拟形象的数据处理1可以包括:第一显示模块11、第二显示模块12、第一更新模块13、区域隐藏模块14、第二更新模块15、状态切换模块16、消息生成模块17、语音播放模块18、第三显示模块19、背景更新模块20、第四显示模块21、第三更新模块22;
第一显示模块11,用于显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象。
其中,该第一显示模块11可以包括:第一显示单元111、形象确定单元112、第二显示单元113、资源请求单元114、形象获取单元115、第三显示单元116;
第一显示单元111,用于显示第一对象与第二对象进行即时会话时的会话界面;
形象确定单元112,用于将用于表征第一对象的局部虚拟形象作为第一对象的第一虚拟形象,将用于表征第二对象的局部虚拟形象作为第二对象的第二虚拟形象;
第二显示单元113,用于在会话界面的虚拟形象显示区域中显示第一虚拟形象和第二虚拟形象;
资源请求单元114,用于获取第一对象对应的第一形象资源标识和第一业务状态,且获取第二对象对应的第二形象资源标识和第二业务状态,基于第一形象资源标识、第一业务状态、第二形象资源标识以及第二业务状态生成形象资源获取请求,将形象资源获取请求发送至服务器;服务器用于在接收到形象资源获取请求时,基于第一形象资源标识和第一业务状态生成第一虚拟形象对应的第一形象资源地址,且基于第二形象资源标识和第二业务状态生成第二虚拟形象对应的第二形象资源地址,返回第一形象资源地址和第二形象资源地址;
形象获取单元115,用于接收服务器所返回的第一形象资源地址和第二形象资源地址,基于第一形象资源地址获取第一对象相关联的第一虚拟形象,基于第二形象资源地址获取第二对象相关联的第二虚拟形象;
第三显示单元116,用于在会话界面的虚拟形象显示区域中,显示第一虚拟形象和第二虚拟形象。
其中,第一显示单元111、形象确定单元112、第二显示单元113、资源请求单元114、形象获取单元115、第三显示单元116的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述,或者,可以参见上述图10所对应实施例中对步骤S201的描述,这里将不再继续进行赘述。
第二显示模块12,用于响应于针对会话界面的触发操作,在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据。
其中,该第二显示模块12可以包括:第一数据确定单元121、第一消息生成单元122、数据捕获单元123、第二数据确定单元124、第二消息生成单元125;
第一数据确定单元121,用于响应于针对会话界面的触发操作,确定用于表征第一对象在进行即时会话时的对象状态的第一类图像数据;
其中,该第一数据确定单元121可以包括:文本映射子单元1211、数据选取子单元1212、数据确定子单元1213;
文本映射子单元1211,用于响应于针对会话界面中的文本录入控件的触发操作,显示通过文本录入控件所录入的文本信息;在检测到文本信息中携带状态映射文本时,显示状态映射文本所映射的用于表征第一对象在进行即时会话时的对象状态的第一类图像数据;
数据选取子单元1212,用于响应于针对会话界面中的状态显示控件的触发操作,输出与状态显示控件相关联的图像选择面板;响应于针对图像选择面板的选取操作,将选取操作所对应的图像数据作为用于表征第一对象在进行即时会话时的对象状态的第一类图像数据;
数据确定子单元1213,用于响应于针对会话界面中的目标图像数据的确定操作,将目标图像数据作为用于表征第一对象在进行即时会话时的对象状态的第一类图像数据;
其中,文本映射子单元1211、数据选取子单元1212、数据确定子单元1213的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
第一消息生成单元122,用于将第一类图像数据作为与第一对象相关联的第一对象媒体数据,基于第一对象媒体数据生成用于向第二对象发送的第一会话消息,在会话界面的消息显示区域中显示第一会话消息;
数据捕获单元123,用于响应于针对会话界面的触发操作,在第一对象通过语音控件录入语音信息时,调用摄像头对第一对象的对象图像数据进行捕获;
第二数据确定单元124,用于在捕获到对象图像数据时,基于对象图像数据调整第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征第一对象在进行即时会话时的对象状态的第二类图像数据;
其中,该第二数据确定单元124可以包括:状态检测子单元1241、状态调整子单元1242;
状态检测子单元1241,用于在捕获到对象图像数据时,对对象图像数据进行状态检测,将检测到的状态作为用于表征第一对象在进行即时会话时的对象状态;
状态调整子单元1242,用于获取第一虚拟形象,基于对象状态调整第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征对象状态的第二类图像数据;
其中,状态检测子单元1241、状态调整子单元1242的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
第二消息生成单元125,用于将第二类图像数据与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,基于第一对象媒体数据生成用于向第二对象发送的第一会话消息,在会话界面的消息显示区域中显示第一会话消息;
其中,该第二消息生成单元125可以包括:第一上传子单元1251、第二上传子单元1252、第一整合子单元1253、语音转换子单元1254、第二整合子单元1255;
第一上传子单元1251,用于将第二类图像数据上传至服务器,在第二类图像数据上传成功时,获取第二类图像数据对应的图像资源标识;
第二上传子单元1252,用于将语音信息上传至服务器,在语音信息上传成功时,获取语音信息对应的语音资源标识;
第一整合子单元1253,用于将携带图像资源标识的第二类图像数据以及携带语音资源标识的语音信息进行整合,得到与第一对象相关联的第一对象媒体数据;
语音转换子单元1254,用于将语音信息进行语音转换处理,得到语音信息对应的转换文本信息,在用于捕获对象图像数据的图像捕获区域中显示转换文本信息;
第二整合子单元1255,用于将转换文本信息与第一对象媒体数据进行整合,得到用于向第二对象发送的第一会话消息;
其中,第一上传子单元1251、第二上传子单元1252、第一整合子单元1253、语音转换子单元1254、第二整合子单元1255的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
其中,第一数据确定单元121、第一消息生成单元122、数据捕获单元123、第二数据确定单元124、第二消息生成单元125的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
第一更新模块13,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的。
该第一更新模块13,具体用于基于第一对象媒体数据对第一虚拟形象进行更新,得到与第一对象媒体数据相匹配的第一虚拟更新形象,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。
其中,第一更新模块13可以包括:第一更新单元131、第二更新单元132、第三更新单元133、第四更新单元134;
第一更新单元131,用于在第一对象媒体数据包含第一类图像数据时,基于第一类图像数据对第一虚拟形象进行更新,得到与第一类图像数据相匹配的第一虚拟更新形象;
其中,第一更新单元131可以包括:数据检测子单元1311、更新子单元1312;
数据检测子单元1311,用于通过消息管理器对第一会话消息进行媒体数据检测,若检测到第一会话消息所携带的第一对象媒体数据中包含第一类图像数据,则生成状态触发事件,将状态触发事件发送至虚拟形象处理器;状态触发事件包括第一对象的对象标识和图像数据列表;图像数据列表用于记录第一对象媒体数据所包含的第一类图像数据;
更新子单元1312,用于在虚拟形象处理器接收到状态触发事件时,基于图像数据列表中的第一类图像数据,对对象标识相关联的第一虚拟形象进行更新,得到与第一类图像数据相匹配的第一虚拟更新形象;
其中,数据检测子单元1311、更新子单元1312的具体实现方式可以参见上述图3所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
第二更新单元132,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;
第三更新单元133,用于在第一对象媒体数据包含第二类图像数据时,响应于针对第一对象媒体数据的触发操作,基于第二类图像数据对第一虚拟形象进行更新,得到与第二类图像数据相匹配的第一虚拟更新形象;
第四更新单元134,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象。
其中,第一更新单元131、第二更新单元132、第三更新单元133、第四更新单元134的具体实现方式可以参见上述图3所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
其中,会话界面中包括用于展示历史会话消息的消息显示区域;历史会话消息为记录到的第一对象与第二对象进行即时会话时的会话消息;
区域隐藏模块14,用于响应于针对消息显示区域的隐藏操作,在会话界面中隐藏消息显示区域,且将虚拟形象显示区域所在的显示界面作为会话更新界面。
第二更新模块15,用于在会话更新界面中将第一虚拟形象由第一对象的局部虚拟形象更新为第一对象的完整虚拟形象,将第二虚拟形象由第二对象的局部虚拟形象更新为第二对象的完整虚拟形象;在第一对象与第二对象进行即时会话时,在会话更新界面中显示由第一对象向第二对象发送的第二会话消息。
状态切换模块16,用于响应于针对第一对象的业务状态的切换操作,将第一对象的业务状态更新为业务更新状态,在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为与业务更新状态相匹配的第二虚拟更新形象。
消息生成模块17,用于在未捕获到对象图像数据时,基于第一虚拟形象确定第三类图像数据,将第三类图像数据与语音信息进行整合,得到与第一对象相关联的第一对象媒体数据,基于第一对象媒体数据生成用于向第二对象发送的第一会话消息。
语音播放模块18,用于响应于针对第一会话消息所携带的第一对象媒体数据的触发操作,播放语音信息,在消息显示区域中显示与语音信息相关联的音效动画,且对第一会话消息中包含的转换文本信息进行同步突出显示。
第三显示模块19,用于在虚拟形象显示区域中,显示第一类图像数据。
背景更新模块20,用于在虚拟形象显示区域中,将与第一虚拟形象和第二虚拟形象所关联的虚拟背景作为原始虚拟背景;在检测到第一会话消息中携带背景映射文本时,基于背景映射文本将原始虚拟背景更新为虚拟更新背景;将第一虚拟更新形象、第二虚拟形象以及虚拟更新背景进行数据融合,得到用于显示在虚拟形象显示区域中的融合背景虚拟形象。
第四显示模块21,用于在接收到第二对象发送的第三会话消息时,在会话界面的消息显示区域中显示第三会话消息;第三会话消息中携带与第二对象相关联的第二对象媒体数据。
第三更新模块22,用于在包含第二虚拟形象的虚拟形象显示区域中,将第二虚拟形象更新为第三虚拟更新形象;第三虚拟更新形象是基于第二对象媒体数据对第二虚拟形象进行更新得到的。
其中,第一显示模块11、第二显示模块12、第一更新模块13、区域隐藏模块14、第二更新模块15、状态切换模块16、消息生成模块17、语音播放模块18、第三显示模块19、背景更新模块20、第四显示模块21、第三更新模块22的具体实现方式可以参见上述图3所对应实施例中对步骤S101-步骤S103的描述,也可以参见上述图10所对应实施例中对步骤S201-步骤S207的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
请参见图19,是本申请实施例提供的一种基于虚拟形象的数据处理装置的结构示意图。该基于虚拟形象的数据处理装置可以是运行于计算机设备的一个计算机程序(包括程序代码),例如该基于虚拟形象的数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的基于虚拟形象的数据处理方法中的相应步骤。如图19所示,该基于虚拟形象的数据处理2可以包括:第一显示模块21、语音录入示模块22、第二显示模块23、形象更新模块24、第三显示模块25、第四显示模块26、第五显示模块27;
第一显示模块21,用于显示第一对象与第二对象进行即时会话时的会话界面,在会话界面的虚拟形象显示区域中,显示第一对象的第一虚拟形象和第二对象的第二虚拟形象;
语音录入示模块22,用于响应于针对会话界面的触发操作,输出用于捕获第一对象的对象图像数据的图像捕获区域,在第一对象通过图像捕获区域中的语音控件录入语音信息时,显示第一对象在进行即时会话时的会话图像数据;
第二显示模块23,用于在会话界面的消息显示区域中显示第一对象向第二对象发送的第一会话消息;第一会话消息中携带与第一对象相关联的第一对象媒体数据;第一对象媒体数据是基于会话图像数据和语音信息所确定的;
形象更新模块24,用于在包含第二虚拟形象的虚拟形象显示区域中,将第一虚拟形象更新为第一虚拟更新形象;第一虚拟更新形象是基于第一对象媒体数据对第一虚拟形象进行更新所得到的;
其中,第一对象媒体数据包括携带有语音信息的会话图像数据;会话图像数据是基于捕获到的第一对象的对象图像数据所生成的,或者会话图像数据是基于捕获到的第一对象的对象图像数据对第一虚拟形象的形象状态进行调整后所得到的;
第三显示模块25,用于响应于针对第一会话消息所携带的第一对象媒体数据的触发操作,播放语音信息,且在消息显示区域中显示携带有语音信息的会话图像数据的音效动画;
其中,第一会话消息还包括在图像捕获区域中对语音信息进行语音转换处理所得到的第一转换文本信息;
第四显示模块26,用于在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,在消息显示区域中对第一转换文本信息进行同步突出显示;
第五显示模块27,用于在消息显示区域中显示携带有语音信息的会话图像数据的音效动画时,对语音信息进行语音转换处理,得到语音信息对应的第二转换文本信息,在消息显示区域中对第二转换文本信息进行同步突出显示。
其中,第一显示模块21、语音录入示模块22、第二显示模块23、形象更新模块24、第三显示模块25、第四显示模块26、第五显示模块27的具体实现方式可以参见上述图16所对应实施例中对步骤S301-步骤S307的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
请参见图20,是本申请实施例提供的一种计算机设备的结构示意图。如图20所示,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图20所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图20所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以执行前文图3、图10、图16、图17任一个所对应实施例中对该基于虚拟形象的数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的基于虚拟形象的数据处理装置1和基于虚拟形象的数据处理装置2所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3、图10、图16、图17任一个所对应实施例中对基于虚拟形象的数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
上述计算机可读存储介质可以是前述任一实施例提供的基于虚拟形象的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
此外,这里需要指出的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文图3、图10、图16、图17任一个所对应实施例提供的方法。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (25)

1.一种基于虚拟形象的数据处理方法,其特征在于,包括:
显示第一对象与第二对象进行即时会话时的会话界面,在所述会话界面的虚拟形象显示区域中,显示所述第一对象的第一虚拟形象和所述第二对象的第二虚拟形象;
响应于针对所述会话界面的触发操作,在所述会话界面的消息显示区域中显示所述第一对象向所述第二对象发送的第一会话消息;所述第一会话消息中携带与所述第一对象相关联的第一对象媒体数据;
在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为第一虚拟更新形象;所述第一虚拟更新形象是基于所述第一对象媒体数据对所述第一虚拟形象进行更新所得到的。
2.根据权利要求1所述的方法,其特征在于,所述显示第一对象与第二对象进行即时会话时的会话界面,在所述会话界面的虚拟形象显示区域中,显示所述第一对象的第一虚拟形象和所述第二对象的第二虚拟形象,包括:
显示第一对象与第二对象进行即时会话时的会话界面;
将用于表征所述第一对象的局部虚拟形象作为所述第一对象的第一虚拟形象,将用于表征所述第二对象的局部虚拟形象作为所述第二对象的第二虚拟形象;
在所述会话界面的虚拟形象显示区域中显示所述第一虚拟形象和所述第二虚拟形象。
3.根据权利要求2所述的方法,其特征在于,所述会话界面中包括用于展示历史会话消息的消息显示区域;所述历史会话消息为记录到的所述第一对象与所述第二对象进行即时会话时的会话消息;所述方法还包括:
响应于针对所述消息显示区域的隐藏操作,在所述会话界面中隐藏所述消息显示区域,且将所述虚拟形象显示区域所在的显示界面作为会话更新界面;
在所述会话更新界面中将所述第一虚拟形象由所述第一对象的局部虚拟形象更新为所述第一对象的完整虚拟形象,将所述第二虚拟形象由所述第二对象的局部虚拟形象更新为所述第二对象的完整虚拟形象;
在所述第一对象与所述第二对象进行即时会话时,在所述会话更新界面中显示由所述第一对象向所述第二对象发送的第二会话消息。
4.根据权利要求1所述的方法,其特征在于,还包括:
响应于针对所述第一对象的业务状态的切换操作,将所述第一对象的业务状态更新为业务更新状态,在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为与所述业务更新状态相匹配的第二虚拟更新形象。
5.根据权利要求1所述的方法,其特征在于,所述响应于针对所述会话界面的触发操作,在所述会话界面的消息显示区域中显示所述第一对象向所述第二对象发送的第一会话消息,包括:
响应于针对所述会话界面的触发操作,确定用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据;
将所述第一类图像数据作为与所述第一对象相关联的第一对象媒体数据,基于所述第一对象媒体数据生成用于向所述第二对象发送的第一会话消息,在所述会话界面的消息显示区域中显示所述第一会话消息。
6.根据权利要求5所述的方法,其特征在于,所述响应于针对所述会话界面的触发操作,确定用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据,包括:
响应于针对所述会话界面中的文本录入控件的触发操作,显示通过所述文本录入控件所录入的文本信息;
在检测到所述文本信息中携带状态映射文本时,显示所述状态映射文本所映射的用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据。
7.根据权利要求5所述的方法,其特征在于,所述响应于针对所述会话界面的触发操作,确定用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据,包括:
响应于针对所述会话界面中的状态显示控件的触发操作,输出与所述状态显示控件相关联的图像选择面板;
响应于针对所述图像选择面板的选取操作,将所述选取操作所对应的图像数据作为用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据。
8.根据权利要求5所述的方法,其特征在于,所述响应于针对所述会话界面的触发操作,确定用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据,包括:
响应于针对所述会话界面中的目标图像数据的确定操作,将所述目标图像数据作为用于表征所述第一对象在进行即时会话时的对象状态的第一类图像数据。
9.根据权利要求1所述的方法,其特征在于,所述响应于针对所述会话界面的触发操作,在所述会话界面的消息显示区域中显示所述第一对象向所述第二对象发送的第一会话消息,包括:
响应于针对所述会话界面的触发操作,在所述第一对象通过语音控件录入语音信息时,调用摄像头对所述第一对象的对象图像数据进行捕获;
在捕获到所述对象图像数据时,基于所述对象图像数据调整所述第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征所述第一对象在进行即时会话时的对象状态的第二类图像数据;
将所述第二类图像数据与所述语音信息进行整合,得到与所述第一对象相关联的第一对象媒体数据,基于所述第一对象媒体数据生成用于向所述第二对象发送的第一会话消息,在所述会话界面的消息显示区域中显示所述第一会话消息。
10.根据权利要求9所述的方法,其特征在于,所述在捕获到所述对象图像数据时,基于所述对象图像数据调整所述第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征所述第一对象在进行即时会话时的对象状态的第二类图像数据,包括:
在捕获到所述对象图像数据时,对所述对象图像数据进行状态检测,将检测到的状态作为用于表征所述第一对象在进行即时会话时的对象状态;
获取所述第一虚拟形象,基于所述对象状态调整所述第一虚拟形象的形象状态,基于调整形象状态后的第一虚拟形象,生成用于表征所述对象状态的第二类图像数据。
11.根据权利要求9所述的方法,其特征在于,所述将所述第二类图像数据与所述语音信息进行整合,得到与所述第一对象相关联的第一对象媒体数据,包括:
将所述第二类图像数据上传至服务器,在所述第二类图像数据上传成功时,获取所述第二类图像数据对应的图像资源标识;
将所述语音信息上传至所述服务器,在所述语音信息上传成功时,获取所述语音信息对应的语音资源标识;
将携带所述图像资源标识的所述第二类图像数据以及携带所述语音资源标识的所述语音信息进行整合,得到与所述第一对象相关联的第一对象媒体数据。
12.根据权利要求9所述的方法,其特征在于,还包括:
在未捕获到所述对象图像数据时,基于所述第一虚拟形象确定第三类图像数据,将所述第三类图像数据与所述语音信息进行整合,得到与所述第一对象相关联的第一对象媒体数据,基于所述第一对象媒体数据生成用于向所述第二对象发送的第一会话消息。
13.根据权利要求9所述的方法,其特征在于,所述基于所述第一对象媒体数据生成用于向所述第二对象发送的第一会话消息,包括:
将所述语音信息进行语音转换处理,得到所述语音信息对应的转换文本信息,在用于捕获所述对象图像数据的图像捕获区域中显示所述转换文本信息;
将所述转换文本信息与所述第一对象媒体数据进行整合,得到用于向所述第二对象发送的第一会话消息。
14.根据权利要求13所述的方法,其特征在于,还包括:
响应于针对所述第一会话消息所携带的所述第一对象媒体数据的触发操作,播放所述语音信息,在所述消息显示区域中显示与所述语音信息相关联的音效动画,且对所述第一会话消息中包含的所述转换文本信息进行同步突出显示。
15.根据权利要求1所述的方法,其特征在于,所述在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为第一虚拟更新形象,包括:
基于所述第一对象媒体数据对所述第一虚拟形象进行更新,得到与所述第一对象媒体数据相匹配的第一虚拟更新形象,在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为所述第一虚拟更新形象。
16.根据权利要求15所述的方法,其特征在于,所述基于所述第一对象媒体数据对所述第一虚拟形象进行更新,得到与所述第一对象媒体数据相匹配的第一虚拟更新形象,在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为所述第一虚拟更新形象,包括:
在所述第一对象媒体数据包含第一类图像数据时,基于所述第一类图像数据对所述第一虚拟形象进行更新,得到与所述第一类图像数据相匹配的第一虚拟更新形象;
在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为所述第一虚拟更新形象;
所述方法还包括:
在所述虚拟形象显示区域中,显示所述第一类图像数据。
17.根据权利要求16所述的方法,其特征在于,所述在所述第一对象媒体数据包含第一类图像数据时,基于所述第一类图像数据对所述第一虚拟形象进行更新,得到与所述第一类图像数据相匹配的第一虚拟更新形象,包括:
通过消息管理器对所述第一会话消息进行媒体数据检测,若检测到所述第一会话消息所携带的所述第一对象媒体数据中包含第一类图像数据,则生成状态触发事件,将所述状态触发事件发送至虚拟形象处理器;所述状态触发事件包括所述第一对象的对象标识和图像数据列表;所述图像数据列表用于记录所述第一对象媒体数据所包含的所述第一类图像数据;
在所述虚拟形象处理器接收到所述状态触发事件时,基于所述图像数据列表中的所述第一类图像数据,对所述对象标识相关联的所述第一虚拟形象进行更新,得到与所述第一类图像数据相匹配的第一虚拟更新形象。
18.根据权利要求15所述的方法,其特征在于,所述基于所述第一对象媒体数据对所述第一虚拟形象进行更新,得到与所述第一对象媒体数据相匹配的第一虚拟更新形象,在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为所述第一虚拟更新形象,包括:
在所述第一对象媒体数据包含第二类图像数据时,响应于针对所述第一对象媒体数据的触发操作,基于所述第二类图像数据对所述第一虚拟形象进行更新,得到与所述第二类图像数据相匹配的第一虚拟更新形象;
在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第一虚拟形象更新为所述第一虚拟更新形象。
19.根据权利要求1所述的方法,其特征在于,还包括:
在所述虚拟形象显示区域中,将与所述第一虚拟形象和所述第二虚拟形象所关联的虚拟背景作为原始虚拟背景;
在检测到所述第一会话消息中携带背景映射文本时,基于所述背景映射文本将所述原始虚拟背景更新为虚拟更新背景;
将所述第一虚拟更新形象、所述第二虚拟形象以及所述虚拟更新背景进行数据融合,得到用于显示在所述虚拟形象显示区域中的融合背景虚拟形象。
20.根据权利要求1所述的方法,其特征在于,还包括:
在接收到所述第二对象发送的第三会话消息时,在所述会话界面的消息显示区域中显示所述第三会话消息;所述第三会话消息中携带与所述第二对象相关联的第二对象媒体数据;
在包含所述第二虚拟形象的所述虚拟形象显示区域中,将所述第二虚拟形象更新为第三虚拟更新形象;所述第三虚拟更新形象是基于所述第二对象媒体数据对所述第二虚拟形象进行更新得到的。
21.根据权利要求1所述的方法,其特征在于,所述在所述会话界面的虚拟形象显示区域中,显示所述第一对象的第一虚拟形象和所述第二对象的第二虚拟形象,包括:
获取所述第一对象对应的第一形象资源标识和第一业务状态,且获取所述第二对象对应的第二形象资源标识和第二业务状态,基于所述第一形象资源标识、所述第一业务状态、所述第二形象资源标识以及所述第二业务状态生成形象资源获取请求,将所述形象资源获取请求发送至服务器;所述服务器用于在接收到所述形象资源获取请求时,基于所述第一形象资源标识和所述第一业务状态生成第一虚拟形象对应的第一形象资源地址,且基于所述第二形象资源标识和所述第二业务状态生成第二虚拟形象对应的第二形象资源地址,返回所述第一形象资源地址和所述第二形象资源地址;
接收所述服务器所返回的所述第一形象资源地址和所述第二形象资源地址,基于所述第一形象资源地址获取所述第一对象相关联的所述第一虚拟形象,基于所述第二形象资源地址获取所述第二对象相关联的所述第二虚拟形象;
在所述会话界面的虚拟形象显示区域中,显示所述第一虚拟形象和所述第二虚拟形象。
22.一种基于虚拟形象的数据处理方法,其特征在于,包括:
显示第一对象与第二对象进行即时会话时的会话界面,在所述会话界面的虚拟形象显示区域中,显示所述第一对象的第一虚拟形象和所述第二对象的第二虚拟形象;
响应于针对所述会话界面的触发操作,输出语音控件和用于捕获所述第一对象的对象图像数据的图像捕获区域,在所述第一对象通过所述语音控件录入语音信息时,在所述图像捕获区域中显示所述第一对象在进行即时会话时的会话图像数据;
在所述会话界面的消息显示区域中显示所述第一对象向所述第二对象发送的第一会话消息;所述第一会话消息中携带与所述第一对象相关联的第一对象媒体数据;所述第一对象媒体数据是基于所述会话图像数据和所述语音信息所确定的。
23.根据权利要求22所述的方法,其特征在于,所述第一对象媒体数据包括携带有所述语音信息的会话图像数据;所述会话图像数据是基于捕获到的所述第一对象的对象图像数据所生成的,或者所述会话图像数据是基于捕获到的所述第一对象的对象图像数据对所述第一虚拟形象的形象状态进行调整后所得到的;
所述方法还包括:
响应于针对所述第一会话消息所携带的所述第一对象媒体数据的触发操作,播放所述语音信息,且在所述消息显示区域中显示携带有所述语音信息的所述会话图像数据的音效动画。
24.根据权利要求23所述的方法,其特征在于,所述第一会话消息还包括在所述图像捕获区域中对所述语音信息进行语音转换处理所得到的第一转换文本信息;
所述方法还包括:
在所述消息显示区域中显示携带有所述语音信息的所述会话图像数据的音效动画时,在所述消息显示区域中对所述第一转换文本信息进行同步突出显示。
25.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与所述存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使所述计算机设备执行权利要求1-24任一项所述的方法。
CN202111261940.2A 2021-10-28 2021-10-28 基于虚拟形象的数据处理方法、装置以及可读存储介质 Pending CN116048310A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111261940.2A CN116048310A (zh) 2021-10-28 2021-10-28 基于虚拟形象的数据处理方法、装置以及可读存储介质
PCT/CN2022/118197 WO2023071556A1 (zh) 2021-10-28 2022-09-09 基于虚拟形象的数据处理方法、装置、计算机设备及存储介质
US18/322,944 US20230328012A1 (en) 2021-10-28 2023-05-24 Virtual-figure-based data processing method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111261940.2A CN116048310A (zh) 2021-10-28 2021-10-28 基于虚拟形象的数据处理方法、装置以及可读存储介质

Publications (1)

Publication Number Publication Date
CN116048310A true CN116048310A (zh) 2023-05-02

Family

ID=86124286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111261940.2A Pending CN116048310A (zh) 2021-10-28 2021-10-28 基于虚拟形象的数据处理方法、装置以及可读存储介质

Country Status (3)

Country Link
US (1) US20230328012A1 (zh)
CN (1) CN116048310A (zh)
WO (1) WO2023071556A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1757057A (zh) * 2003-03-03 2006-04-05 美国在线服务公司 使用图形表达进行通信
US9652809B1 (en) * 2004-12-21 2017-05-16 Aol Inc. Using user profile information to determine an avatar and/or avatar characteristics
CN111506184A (zh) * 2019-01-31 2020-08-07 微软技术许可有限责任公司 化身呈现方法及电子设备
CN112152901A (zh) * 2019-06-26 2020-12-29 腾讯科技(深圳)有限公司 一种虚拟形象控制方法、装置及电子设备
CN113014471B (zh) * 2021-01-18 2022-08-19 腾讯科技(深圳)有限公司 会话处理方法,装置、终端和存储介质

Also Published As

Publication number Publication date
US20230328012A1 (en) 2023-10-12
WO2023071556A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN111711560B (zh) 资源消息生成和资源获取方法、装置、设备和存储介质
CN112073299B (zh) 一种剧情聊天方法
WO2018152455A1 (en) System and method for creating a collaborative virtual session
CN108108012B (zh) 信息交互方法和装置
CN109691054A (zh) 动画用户标识符
CN111246232A (zh) 直播互动方法、装置、电子设备及存储介质
WO2022105846A1 (zh) 虚拟对象显示方法及装置、电子设备、介质
EP3000010A2 (en) Method, user terminal and server for information exchange communications
CN107924575A (zh) 视频序列的异步3d注释
CN107085495A (zh) 一种信息展示方法、电子设备及存储介质
CN109150690B (zh) 交互数据处理方法、装置、计算机设备和存储介质
CN102801652A (zh) 通过表情数据添加联系人的方法、客户端及系统
CN109428859A (zh) 一种同步通信方法、终端及服务器
CN112818420B (zh) 社交会话方法、装置、终端及介质
TW202009682A (zh) 基於擴增實境的互動方法及裝置
CN113766168A (zh) 一种互动处理方法、装置、终端及介质
WO2024099340A1 (zh) 基于虚拟形象的交互方法、装置、设备及存储介质
CN112035206B (zh) 一种消息处理方法及设备
CN109039851B (zh) 交互数据处理方法、装置、计算机设备和存储介质
WO2023071556A1 (zh) 基于虚拟形象的数据处理方法、装置、计算机设备及存储介质
CN116310232A (zh) 数字藏品的数据处理方法、设备、存储介质及程序产品
CN107832366A (zh) 视频分享方法及装置、终端装置及计算机可读存储介质
CN109300177A (zh) 一种图片处理方法和装置
KR100736541B1 (ko) 개인 캐릭터의 온라인 통합 시스템
CN114338573A (zh) 一种交互数据处理方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40086814

Country of ref document: HK