CN111182323B - 图像处理方法、装置、客户端及介质 - Google Patents

图像处理方法、装置、客户端及介质 Download PDF

Info

Publication number
CN111182323B
CN111182323B CN202010007894.2A CN202010007894A CN111182323B CN 111182323 B CN111182323 B CN 111182323B CN 202010007894 A CN202010007894 A CN 202010007894A CN 111182323 B CN111182323 B CN 111182323B
Authority
CN
China
Prior art keywords
user
image
gift
target
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010007894.2A
Other languages
English (en)
Other versions
CN111182323A (zh
Inventor
张艳军
陈明标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010007894.2A priority Critical patent/CN111182323B/zh
Publication of CN111182323A publication Critical patent/CN111182323A/zh
Application granted granted Critical
Publication of CN111182323B publication Critical patent/CN111182323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、客户端及介质，其中方法包括：在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。本发明实施例可以通过图像和通信相结合的方式，增强通信的趣味性，从而有效提升用户黏度。

Description

图像处理方法、装置、客户端及介质
技术领域
本申请涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种客户端及一种计算机存储介质。
背景技术
随着科学技术的发展，越来越多的客户端支持通信功能。在实际应用中，任一用户均可使用客户端所提供的通信功能和其他用户进行聊天。随着通信功能被广泛使用，如何增强通信的趣味性以提升用户黏度成为了研究热点。
发明内容
本发明实施例提供了一种图像处理方法、装置、客户端及介质，可以通过图像和通信相结合的方式，增强通信的趣味性，从而有效提升用户黏度。
一方面，本发明实施例提供了一种图像处理方法，该图像处理方法包括：
在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；
根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。
另一方面，本发明实施例提供了一种图像处理装置，该图像处理装置包括：
处理单元，用于在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；
所述处理单元，用于根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
显示单元，用于在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。
再一方面，本发明实施例提供了一种客户端，所述客户端包括输入接口和输出接口，所述客户端还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；
根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：
在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；
根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。
本发明实施例在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。其次，可根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像；并可在第一用户所对应的第一终端屏幕中，显示第二用户的虚拟三维图像。由此可见，本发明实施例突破了传统通信的方式；通过通信和虚拟三维图像的结合，可实现身临其境的效果，以给第一用户带来一种与第二用户进行近距离接触的错觉，从而可以增强通信的趣味性，进而有效提升第一用户关于通信的用户黏度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种图像处理系统的架构示意图；
图1b是本发明实施例提供的另一种图像处理系统的架构示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种构建虚拟三维图像的流程示意图；
图4是本发明另一实施例提供的一种图像处理方法的流程示意图；
图5是本发明实施例提供的一种直播间的玩法示意图；
图6a是本发明实施例提供的一种图像处理方法的应用场景图；
图6b是本发明实施例提供的另一种图像处理方法的应用场景图；
图6c是本发明实施例提供的另一种图像处理方法的应用场景图；
图6d是本发明实施例提供的另一种图像处理方法的应用场景图；
图6e是本发明实施例提供的另一种图像处理方法的应用场景图；
图6f是本发明实施例提供的另一种图像处理方法的应用场景图；
图6g是本发明实施例提供的另一种图像处理方法的应用场景图；
图6h是本发明实施例提供的另一种图像处理方法的应用场景图；
图6i是本发明实施例提供的另一种图像处理方法的应用场景图；
图6j是本发明实施例提供的另一种图像处理方法的应用场景图；
图6k是本发明实施例提供的另一种图像处理方法的应用场景图；
图7是本发明另一实施例提供的一种图像处理方法的流程示意图；
图8a是本发明另一实施例提供的一种图像处理方法的流程示意图；
图8b是本发明另一实施例提供的一种RNN网络中基本单元的示意图；
图8c是本发明另一实施例提供的一种LSTM网络中基本单元的示意图；
图8d是本发明另一实施例提供的一种LSTM网络中记忆值的示意图；
图8e是本发明另一实施例提供的一种LSTM网络的结构示意图；
图8f是本发明另一实施例提供的一种遗忘门的结构示意图；
图8g是本发明另一实施例提供的一种输入门的结构示意图；
图8h是本发明另一实施例提供的一种输出门的结构示意图；
图8i是本发明另一实施例提供的一种DNNGLSTM模型的结构示意图；
图8j是本发明另一实施例提供的一种深度卷积神经网络的结构示意图；
图9是本发明实施例提供的一种图像处理装置的结构示意图；
图10是本发明实施例提供的一种客户端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
为了增强用户之间的通信的趣味性以提升用户黏度，本发明实施例提出了一种图像处理方案及相应的图像处理系统。该图像处理系统可包括至少两个客户端11以及服务器12。其中，客户端11可以包括但不限于：智能手机、平板电脑、膝上计算机以及台式电脑等终端设备，或者运行于终端设备中具有通信功能的APP(application，应用程序)，例如直播APP(如企鹅电竞APP)，即时通信APP(如腾讯QQ、微信等)，社交APP(如微博APP等)等等。服务器12是指可为客户端11提供素材服务、数据处理服务、礼物服务以及通信服务等多项业务服务的服务器，其包括但不限于：数据处理服务器、应用服务器以及web服务器，等等。其中，素材服务是指为客户端提供各用户在三维空间中的用户图像素材的服务，此处的用户图像素材是由用户预先上传至服务器的；数据处理服务是指为客户端提供一系列的数据计算的服务，如音频识别服务；礼物服务是指为客户端提供虚拟礼物的赠送及发放的服务；通信服务是指在至少两个客户端之间建立通信连接，以使得用户之间可进行通信的服务。在一种实施方式中，服务器12可以是一个独立的服务设备；此情况下，素材服务、数据处理服务、礼物服务以及通信服务等多项业务服务可均由一个服务设备(即服务器12)来提供，其具体的系统架构图可以参见图1a所示。再一种实施方式中，服务器12也可以是由多个服务设备共同构成的集群设备；此情况下，素材服务、数据处理服务、礼物服务以及通信服务等多项业务服务可分别由服务器12中的各个服务设备来提供，其具体的系统架构可以参见图1b所示。例如，由素材服务器121提供素材服务，由数据处理服务器(即云端服务器)122提供数据处理服务，由礼物服务器123提供礼物服务，由通信服务器124提供通信服务，等等。应理解的是，本发明实施例对服务器12的具体结构不作限定。
本发明实施例所提出的图像处理方案可由上述所提及的图像处理系统中的任一客户端执行，该图像处理方案的具体原理如下：针对包含至少两个用户的通信场景，通信场景中的各用户均可预先上传一段个人展示视频(如唱歌或跳舞的视频)至服务器，或者上传多张个人展示图像至服务器。服务器可根据各用户上传的个人展示视频或者个人展示图像，生成各用户在三维空间中的用户图像素材，并分别存储各用户的用户图像素材。在通信场景中，任一用户可通过自身所使用的客户端从服务器处获取其他用户的用户图像素材，并根据获取到的其他用户的用户图像素材在终端屏幕中显示其他用户的虚拟三维图像。应理解的是，任一用户也可通过自身所使用的客户端从服务器获取自己的用户图像素材，并根据获取到的自己的用户图像在终端屏幕中显示自己的虚拟三维图像。本发明实施例所提出的图像处理方案可通过图像和通信相结合的方式，不仅可增强通信的趣味性，还可改变通过摄像组件(如摄像头)呈现用户视频的单一通信形态，可有效提升用户黏度。
基于上述图像处理方案的相关描述，本发明实施例提出一种图像处理方法；该图像处理方法可以由上述图像处理系统中的目标客户端执行，该目标客户端是指第一用户所使用的客户端。请参见图2，该图像处理方法可包括以下步骤S201-S203：
S201，在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则获取第二用户在三维空间中的用户图像素材。
在本发明实施例中，通信场景可包括以下任一种：基于直播应用(直播APP)搭建的直播场景、基于即时通信应用(即时通信APP)搭建的会话场景、基于社交应用(社交APP)搭建的会话场景，等等。此处的直播是指：通过一定设备采集主播方的相关数据，经过一系列处理如编码压缩成可传输的数据流，输出至观众用户端进行播放的技术；直播可包括但不限于：语音直播、视频直播，等等。所谓的语音直播是指一种不通过摄像组件(如摄像头)呈现主播用户的直播形态，而是通过语音实时输出直播内容的直播方式；所谓的视频直播是指一种通过摄像组件(如摄像头)呈现主播用户的直播形态以实时输出直播内容的直播方式。相应的，本发明实施例所提及的直播场景可以包括但不限于：语音直播场景、视频直播场景，等等。同理，会话场景也可包括但不限于：语音会话场景、视频会话场景，等等。
当通信场景包括基于直播应用搭建的直播场景时，该直播场景中可包括至少一个观众用户和至少一个主播用户。在此场景下，第一用户可以为直播场景中的任一观众用户，第二用户可以为第一用户从至少一个主播用户中选择的主播用户。在此情况下，第一用户可通过向第二用户赠送预设虚拟礼物来触发显示第二用户的虚拟三维图像；也可以通过输入关于第二用户的预设语音口令来触发显示第二用户的虚拟三维图像，此处的预设语音口令可由第二用户在预先上传个人展示视频或个人展示图像至服务器时设置的，该预设语音口令与虚拟礼物无关联关系。相应的，图像显示触发事件可包括：第一用户向第二用户赠送预设虚拟礼物的礼物赠送事件，或者获取到第一用户输入关于第二用户的预设语音口令的事件。或者，第一用户可以为直播场景中的任一观众用户，第二用户可以为直播场景中的任一主播用户。在此情况下，第二用户可主动输入预设语音口令来触发在通信场景中的各用户对应的终端屏幕中显示第二用户的虚拟三维图像，即第二用户可主动输入预设语音口令来触发在第一用户对应的第一终端屏幕中显示第二用户的虚拟三维图像。相应的，图像显示触发事件可包括：接收到服务器下发的图像显示指令的指令触发事件，该图像显示指令是由第二用户通过预设语音口令触发服务器下发的。
当通信场景包括基于即时通信应用搭建的会话场景，或基于社交应用搭建的会话场景时，该会话场景中可包括至少两个会话用户。在此场景下，第一用户可以为会话场景中的任一会话用户，第二用户可以为第一用户从会话场景中的其他会话用户中选择的会话用户，其他会话用户是指除第一用户以外的所有会话用户。在此情况下，第一用户可输入包含第二用户的用户标识和用户形态的形态关键字的用户语音，以触发显示第二用户的虚拟三维图像；此处的用户形态可包括但不限于：脸部表情(如微笑、哭、大叫等)、肢体动作(如“爱心”手势、“剪刀”手势等)。相应的，图像显示触发事件包括：从第一用户发送的用户语音中识别出第二用户的用户标识和用户形态的形态关键字的事件。或者，第一用户可以为会话场景中的任一会话用户，第二用户可以为会话场景中的其他会话用户中的任一会话用户。在此情况下，第二用户可主动输入预设语音口令来触发在会话场景中的各用户对应的终端屏幕中显示第二用户的虚拟三维图像，即第二用户可主动输入预设语音口令来触发在第一用户对应的第一终端屏幕中显示第二用户的虚拟三维图像。相应的，图像显示触发事件可包括：接收到服务器下发的图像显示指令的指令触发事件，该图像显示指令是由第二用户通过预设语音口令触发服务器下发的。
S202，根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像。
由前述可知，第二用户可通过第二用户所对应的客户端上传个人展示视频或个人展示图像至服务器，以触发服务器根据第二用户上传的个人展示视频或个人展示图像生成第二用户在三维空间中的用户图像素材。本发明实施例可采用自研高性能动画框架来实现用户图像素材的生成，用户图像素材的生成方法如下：服务器可采用编码标准协议(如H.264标准协议)对第二用户的个人展示视频或个人展示图像进行编码，得到三维图像数据；其次，可采用预设音视频格式(如MP4格式)对三维图像数据进行封装，得到第二用户的图像文件，使得图像文件中可包括音频数据；然后，可对第二用户的图像文件进行压缩，得到第二用户的用户图像素材。通过本发明实施例的生成方法来制作用户图像素材，可有效减小用户图像素材的体积，从而有利于减少目标客户端从服务器处获取用户图像素材的耗时。进一步的，若第二用户的个人展示视频或者个人展示图像存在alpha(阿尔法)通道的阿尔法值，且编码标准协议(如H.264标准协议)不支持alpha通道，则为了解决减小用户图像素材的体积且避免阿尔法值丢失的问题，本发明实施例在采用编码标准协议进行编码过程中，可先将个人展示视频中的每帧视频图像帧或个人展示图像拆分成两部分：一部分携带alpha值，一部分携带RGB值；然后将alpha值压缩到RGB通道中的任一通道中，对压缩后的RGB通道中的各数据进行编码，得到三维图像数据。其中，阿尔法值是指用于确定图像的透明度的属性值。相应的，步骤S202的具体实施方式可以一并参见图3所示，其具体可包括以下步骤s11-s12：
s11，解析第二用户在三维空间中的用户图像素材，得到第二用户的二维图像数据。
在具体实施过程中，可先解压第二用户在三维空间中的用户图像素材得到预设音视频格式的图像文件。其次，可对预设音视频格式的图像文件进行结构解码，得到三维图像数据(即H.264裸流)。具体的，可使用终端底层框架(如Video ToolBox框架)对预设音视频格式的图像文件进行硬解码，得到三维图像数据；此处的硬解码是指通过硬件实现的解码，硬解码可有效降低CPU(Central Processing Unit，中央处理器)的工作负荷，从而降低功耗。可选的，也可对预设音视频格式的图像文件进行软解码，得到三维图像数据；此处的软解码是指通过软件实现的解码。在得到三维图像数据之后，可对三维图像数据进行管线处理，得到第二用户的二维图像数据；此处的管线是指渲染流水线，二维图像数据可包括多个像素的像素信息，像素信息包括：像素在终端屏幕中的纹理坐标、像素在终端屏幕中的二维坐标以及像素的深度值。其中，像素在终端屏幕中的纹理坐标用于确定像素的RGB值；可选的，若像素存在阿尔法值，则纹理坐标还用于确定像素的阿尔法值。
s12，根据各像素的像素信息渲染得到第二用户的虚拟三维图像。
在具体实施过程中，若像素不存在阿尔法值，则可直接解析各像素的纹理坐标，得到各像素的RGB值；然后，根据各像素的二维坐标、各像素的RGB值和各像素的深度值，渲染得到第二用户的虚拟三维图像。若像素存在阿尔法值，则可先对各像素的纹理坐标进行纹理切割处理，得到各像素的RGB值和阿尔法值；所谓的纹理切割处理是指解析纹理坐标得到RGB通道下的RGB值，并从RGB通道中提取出阿尔法值的处理。然后，可根据各像素的二维坐标、各像素的RGB值、各像素的阿尔法值以及各像素的深度值，渲染得到第二用户的虚拟三维图像。具体的，可先合并各像素的RGB值和阿尔法值，得到各像素的颜色值；再根据各像素的二维坐标、各像素的颜色值以及各像素的深度值，渲染得到第二用户的虚拟三维图像。
S203，在第一用户对应的第一终端屏幕中，显示第二用户的虚拟三维图像。
本发明实施例在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。其次，可根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像；并可在第一用户所对应的第一终端屏幕中，显示第二用户的虚拟三维图像。由此可见，本发明实施例突破了传统通信的方式；通过通信和虚拟三维图像的结合，可实现身临其境的效果，以给第一用户带来一种与第二用户进行近距离接触的错觉，从而可以增强通信的趣味性，进而有效提升第一用户关于通信的用户黏度。
请参见图4，是本发明实施例提供的另一种图像处理方法的流程示意图。该图像处理方法可由上述图像处理系统中的目标客户端执行，目标客户端是指第一用户所使用的客户端。本发明实施例主要以通信场景为直播场景，且服务器为独立的服务设备为例进行说明。请参见图4，该图像处理方法可包括以下步骤S401-S406：
S401，在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则获取第二用户在三维空间中的用户图像素材。
在本发明实施例中，除非特别指明，后续所提及的第一用户均是指直播场景中的观众用户，第二用户均是指直播场景中的主播用户。在具体实现中，第一用户可以通过目标客户端进入直播间。其中，直播间是指一种可供用户通过互联网进行聊天的虚拟房间，其可以包括但不限于：交友直播间、游戏直播间，等等；所谓的交友直播间是指供用户在聊天的过程中实现用户配对以结交朋友的虚拟房间，所谓的游戏直播间是指供用户在聊天的过程中实现游戏对抗的虚拟房间。为便于阐述，后续均以直播间为交友直播间为例进行说明，该交友直播间的玩法可参见图5所示，其主要涉及以下阶段：加入直播间、用户参与、互动(如聊天、触发虚拟三维图像显示等)、选择配对用户、配对成功/失败。具体的，第一用户在进入直播间后，目标客户端可为第一用户呈现初始用户界面，如图6a所示；该初始用户界面中包括用户参与按钮，例如图6a所示的界面中的“我要参加”按钮。第一用户可以点击该用户参与按钮，以触发目标客户端建立与直播间中的其他用户的客户端之间的通信连接；相应的，目标客户端在检测到第一用户针对用户参与按钮的点击操作后，可向服务器请求建立第一用户所使用的目标客户端和其他用户所使用的客户端之间的通信连接，从而实现将第一用户添加至直播场景中，使得第一用户可在直播间中和其他用户(如主播用户或者其它观众用户)进行会话。可选的，目标客户端在检测到第一用户针对用户参与按钮的点击操作后，还可输出性别选择窗口，以供第一用户进行性别选择；且该性别选择窗口中还可显示当前正在候场的用户数，如图6b所示。第一用户可选择相应的性别选项，并点击“申请加入”按钮，触发目标客户端建立与直播间中的其他用户的客户端之间的通信连接。
在第一用户和第二用户所属的通信场景中，目标客户端可检测是否存在关于第二用户的图像显示触发事件。若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。由前述可知，图像显示触发事件可包括：第一用户向第二用户赠送预设虚拟礼物的礼物赠送事件；或者接收到服务器下发的图像显示指令的指令触发事件。随着图像显示触发事件的不同，其图像显示触发事件的检测方式以及第二用户的用户图像素材的获取方式也随之不同，具体如下：
(一)图像显示触发事件包括礼物赠送事件：
在一种实施方式中，目标客户端可在第一用户对应的第一终端屏幕中显示直播界面，该直播界面中包括语音礼物按钮，如图6c所示。第一用户若想要向第二用户赠送虚拟礼物，则可对该语音礼物按钮执行触发操作(如点击操作、按压操作等)；相应的，目标客户端可响应第一用户针对语音礼物按钮的触发操作，输出语音录入窗口。具体的，目标客户端可直接在直播界面中输出该语音录入窗口，如图6d所示；或者，目标客户端也可以从直播界面切换至语音录入界面，并在语音录入界面中输出语音录入窗口，如图6e所示。第一用户可以在语音录入窗口中输入目标语音口令，例如“送2号主播一个爱心礼物”；相应的，目标客户端可在语音录入窗口中获取第一用户输入的目标语音口令，并根据目标语音口令确定第一用户所选择的第二用户及待赠送的目标虚拟礼物，其具体实施方式可以参见后续实施例中的描述。若目标虚拟礼物为预设虚拟礼物，则可确认检测到关于第二用户的图像显示触发事件；此处的预设虚拟礼物可以是由第二用户预先设置的，也可以是根据实际业务需求设置的。
再一种实施方式中，目标客户端可在第一用户对应的第一终端屏幕中显示直播界面，直播界面中包括礼物赠送按钮。第一用户若想要向第二用户赠送虚拟礼物，则可对该礼物赠送按钮执行触发操作(如点击操作、按压操作等)；响应第一用户针对礼物赠送按钮的触发操作，输出礼物赠送窗口。具体的，目标客户端在直接在直播界面中输出该礼物赠送窗口，如图6f所示；或者，目标客户端也可以从直播界面切换至礼物赠送界面，并在礼物赠送界面中输出礼物赠送窗口，如图6g所示。礼物赠送窗口包括礼物选择区域和用户选择区域，礼物选择区域中可包括多个虚拟礼物，且可用于触发显示第二用户的预设虚拟礼物可携带预设标记，如“语音”标记。需要说明的是，用户选择区域可以直接显示在礼物赠送窗口中，如图6f或者图6g所示；也可以是在隐含显示在礼物赠送窗口中，例如先在礼物赠送窗口中显示用户选择入口，若检测到针对用户选择入口的触发操作，则在礼物赠送窗口中显示用户选择区域，如图6h所示。第一用户可以在礼物选择区域选择目标虚拟礼物，并在用户选择区域中选择第二用户；相应的，目标客户端可根据在礼物选择区域中检测到的礼物选择操作确定待赠送的目标虚拟礼物，及根据在用户选择区域中检测到的用户选择操作确定第二用户。若目标虚拟礼物为预设虚拟礼物，则确定检测到关于第二用户的图像显示触发事件。
当图像显示触发事件包括礼物赠送事件时，步骤S401的具体实施方式可以是：若检测到关于第二用户的图像显示触发事件，则生成携带第二用户的用户标识的素材请求。其次，可将素材请求发送至服务器，以请求服务器根据第二用户的用户标识下发第二用户在三维空间中的用户图像素材。然后，可接收服务器下发的第二用户在三维空间中的用户图像素材。在实际应用中，第二用户可以上传一个或多个(即至少两个)个人展示视频或个人展示图像，使得服务器为第二用户生成一个或多个用户图像素材，不同的用户图像素材对应不同的虚拟礼物。当第二用户具有一个用户图像素材时，目标客户端若检测到关于第二用户的图像显示触发事件，则可直接生成携带第二用户的用户标识的素材请求。当第二用户具有多个用户图像素材时，目标客户端若检测到关于第二用户的图像显示触发事件，则先确定目标虚拟礼物所对应的用户图像素材的目标素材标识；然后生成携带第二用户的用户标识，以及目标素材标识的素材请求；该素材请求用于请求服务器根据目标素材标识和第二用户的用户标识下发第二用户的用户图像素材。本发明实施例通过第一用户向第二用户赠送虚拟礼物来触发获取第二用户的用户图像素材，从而显示第二用户的虚拟三维图像的方式；不仅可以帮助第二用户(即主播用户)提升收入，增加主播用户和直播平台的黏性，有效增强直播的互动性和多样化；还可以有效缓解第二用户(即主播用户)想要礼物而引起第一用户(即观众用户)的反感的问题。
可选的，当目标客户端检测到第一用户向第二用户赠送目标虚拟礼物时，还可获取目标虚拟礼物的目标礼物标识，并生成携带目标礼物标识的礼物赠送请求。然后可将礼物赠送请求发送至服务器，以请求服务器根据目标礼物标识将目标虚拟礼物下发至第二用户的账户中。目标客户端若接收到服务器返回的成功赠送通知，则可在直播界面中将目标虚拟礼物显示在第二用户的礼物显示区域内。此处的礼物显示区域可以根据实际业务需求设置，例如可将第二用户的用户头像所在的区域设置为礼物显示区域；即目标客户端可将目标虚拟礼物显示在第二用户的用户头像所在的区域内。以目标虚拟礼物为“爱心”，显示目标虚拟礼物的示意图可以参见图6i所示。通过将目标虚拟礼物显示在第二用户的礼物显示区域，可以直观地告知第一用户已成功赠送礼物；应理解的是，服务器也可将成功赠送通知下发至直播场景中其他用户所对应的客户端，使得在其他用户所对应的直播界面中将目标虚拟礼物显示在第二用户的礼物显示区域内，从而直观告知其他用户第二用户收到了目标虚拟礼物。应理解的是，无论目标虚拟礼物是否为预设虚拟礼物，目标客户端均可执行发送礼物赠送请求以及将目标虚拟礼物显示在第二用户的礼物显示区域内的步骤。
(二)图像显示触发事件包括指令触发事件：
在具体实现过程中，第二用户若想要将自己的虚拟三维图像显示在直播场景中的各用户(包括第一用户)所对应的终端屏幕中，以吸引各用户的注意；则第二用户可输入预设语音口令，以触发第二用户所使用的客户端请求服务下发图像显示指令至各用户所使用的客户端中。服务器在接收到第二用户所使用的客户端发送的请求后，可根据第二用户的用户图像素材生成图像显示指令，图像显示指令携带所述目标第二用户的用户图像素材；然后将图像显示指令才发至各用户所使用的客户端。相应的，第一用户所使用的目标客户端可接收服务器下发的图像显示指令；若接收到服务器下发的图像显示指令，则可确定检测到关于第二用户的图像显示触发事件。
当图像显示触发事件包括指令触发事件时，步骤S401的具体实施方式可以是：若检测到关于第二用户的图像显示触发事件，则解析图像显示指令，得到第二用户在三维空间中的用户图像素材。
需要说明的是，本发明实施例是以通信场景为直播场景为例进行说明的，当通信场景为会话场景时，图像显示触发事件的检测方式以及第二用户的用户图像素材的获取方式与直播场景下的实施方式类似。具体的，在第一用户和第二用户所属的通信场景中，客户端可获取第一用户输入的用户语音；对用户语音进行语音识别处理，得到识别文本；若识别文本中包括用户标识以及用户形态的形态关键字，则确定检测到关于第二用户的图像显示触发事件；其中，第二用户为识别文本所包含的用户标识所指示的会话用户，用户图像素材是根据第二用户的用户标识和形态关键字，从服务器处获取到的。相应的，步骤S401的具体实施方式可以是：若检测到关于第二用户的图像显示触发事件，则生成携带第二用户的用户标识和形态关键字的素材请求。其次，可将素材请求发送至服务器，以请求服务器根据第二用户的用户标识和形态关键字下发第二用户在三维空间中的用户图像素材。然后，可接收服务器下发的第二用户在三维空间中的用户图像素材。
S402，根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像。
S403，在第一用户对应的第一终端屏幕中，显示第二用户的虚拟三维图像。
在构建得到第二用户的虚拟三维图像之后，可在第一用户对应的第一终端屏幕中显示第二用户的虚拟三维图像，如图6j所示。在本发明实施例中，客户端还可支持用户配对的交友功能，具体可参见下述步骤S404-S406的相关描述；本发明实施例通过显示第二用户的虚拟三维图像，不仅能够帮助第二用户(即主播用户)更加全面地展示自己的优势，还可以增加配对成功的概率。应理解的是，步骤S404-S406和步骤S401-S403并无先后顺序；即可以先执行步骤S401-S403，再执行步骤S404-S406；也可以先执行步骤S404-S406，再执行步骤S401-S403；还可以同时执行步骤S401-S403和步骤S404-S406，本发明实施例对此不作限定。
S404，若检测到第一用户针对第二用户的选择操作，则向服务器发送第一配对请求。
在具体实现中，第一用户若想要和第二用户进行配对，则可在直播界面中对该第二用户执行选择操作。相应的，目标客户端若检测到第一用户针对第二用户的选择操作，则可向服务器发送第一配对请求；第一配对请求用于指示第一用户欲与第二用户进行配对。同理，第二用户若想要和第一用户进行配对，则也可在直播界面中对第一用户选择操作，以触发第二用户所使用的客户端向服务器发送第二配对请求，第二配对请求用于指示第二用户欲与第一用户进行配对。服务器在接收到第一配对请求和第二配对请求后，可确定第一用户和第二用户之间想要进行配对；此时可生成配对成功通知，并下发配对成功通知至第一用户所使用的目标客户端和第二用户所使用的客户端，以通知第一用户和第二用户之间配对成功。相应的，目标客户端可接收服务器下发的配对成功通知，该配对成功通知是服务器在接收到第二配对请求后下发的。
S405，若接收到服务器下发的配对成功通知，则获取第一用户和第二用户之间的目标匹配值。
在一种实施方式中，目标客户端若接收到服务器下发的配对成功通知，则可先获取第一用户的用户信息和第二用户的用户信息；此处的用户信息可包括以下至少一个维度的信息：性别、年龄、兴趣、职业等。其次，可按照匹配策略并根据第一用户的用户信息和第二用户的用户信息，分别计算第一用户和第二用户在各维度下的匹配值。其中，匹配策略可包括：在性别维度下，若性别不同，则匹配值为1；否则，匹配值为0。在年龄维度下，若第一用户和第二用户之间的年龄差值小于阈值，则匹配值为1；否则，匹配值为0。在兴趣维度下，将第一用户和第二用户之间的相同兴趣的数量作为匹配值；例如，第一用户的兴趣包括旅游、游戏和看书，第二用户的兴趣包括旅游和运动，则第一用户和第二用户之间存在旅游这1个相同兴趣，则第一用户和第二用户在兴趣维度下的匹配值为1。在职业维度下，若第一用户的职业和第二用户的职业属于同一领域，则匹配值为1；否则，则匹配值为0；例如，第一用户的职业为医生，第二用户的职业为护士，则第一用户的职业和第二用户的职业属于同一领域，则第一用户和第二用户在职业维度下的匹配值为1。在计算得到第一用户和第二用户在各维度下的匹配值后，可将不同维度下的匹配值进行求和，得到确定第一用户和第二用户之间的目标匹配值。
再一种实施方式中，第一用户和第二用户之间的目标匹配值可根据第一用户向第二用户赠送的虚拟礼物的价值来判定，第一用户赠送的虚拟礼物的价值越高，则目标匹配值越高。具体的，目标客户端若接收到服务器下发的配对成功通知，则可计算第一用户向第二用户赠送的各个虚拟礼物的电子资源总量。然后，根据计算得到的电子资源总量，确定第一用户和第二用户之间的目标匹配值；目标匹配值与电子资源总量成正相关。在具体实现中，可将计算得到的电子资源总量直接作为第一用户和第二用户之间的目标匹配值；也可以根据预先设置的资源量和匹配值之间的映射关系，将目标匹配值所映射的匹配值作为第一用户和第二用户之间的目标匹配值。
S406，获取目标匹配值所对应的配对成功动画，并在第一终端屏幕中显示配对成功动画。
在一种实施方式中，可预设多个匹配值并为每个匹配值设置一个动画，且匹配值和动画的复杂度(豪华度)成正比；即匹配值越高，则动画越复杂(豪华)；通过设置不同复杂度的动画，可以在一定程度上刺激第一用户赠送虚拟礼物的行为。在此实施方式下，目标客户端可直接获取目标匹配值所对应的动画作为配对成功动画，并在第一终端屏幕中显示配对成功动画。再一种实施方式中，可预设多个等级的动画并为每个等级的动画设置一个匹配值范围；在此实施方式下，目标客户端可先确定目标匹配值所属的目标匹配值范围，并将目标匹配值范围所对应的动画作为配对成功动画，然后在第一终端屏幕中显示配对成功动画。例如，可设置三个等级的动画：初级动画、中级动画和高级动画；那么可设置如表1所示的对应关系。若目标匹配值为1500，则可确定配对成功动画为初级动画(如爱心动画)，此时可在第一终端屏幕中显示初级动画，如图6k所示。
表1
动画等级 匹配值范围
初级动画(如爱心动画) [1000，2000)
中级动画(如浪漫花海动画) [2000，3000)
高级动画(如奢华海边派对动画) [3000，10000)
本发明实施例在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。其次，可根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像；并可在第一用户所对应的第一终端屏幕中，显示第二用户的虚拟三维图像。由此可见，本发明实施例突破了传统通信的方式；通过通信和虚拟三维图像的结合，可实现身临其境的效果，以给第一用户带来一种与第二用户进行近距离接触的错觉，从而可以增强通信的趣味性，进而有效提升第一用户关于通信的用户黏度。
请参见图7，是本发明实施例提供的另一种图像处理方法的流程示意图。该图像处理方法可由上述图像处理系统中的目标客户端执行，目标客户端是指第一用户所使用的客户端。本发明实施例主要以通信场景为直播场景，且服务器为集群设备为例进行说明；除非特别指明，本发明实施例所提及的第一用户均是指直播场景中的观众用户，第二用户均是指直播场景中的主播用户。请参见图7，该图像处理方法可包括以下步骤S701-S708：
S701，在第一用户对应的第一终端屏幕中显示直播界面，直播界面中包括语音礼物按钮。
S702，响应第一用户针对语音礼物按钮的触发操作，输出语音录入窗口。
S703，在语音录入窗口中获取第一用户输入的目标语音口令。
S704，根据目标语音口令确定第一用户所选择的第二用户及待赠送的目标虚拟礼物。在具体实施过程中，步骤S704的具体实施流程可一并参见图8a所示，其具体可包括以下步骤s11-s13：
s11，采用语音活动性检测(Voice Activity Detection，VAD)算法对目标语音口令进行人声提取处理，得到人声音频。
此处的VAD算法是一种用于解决如何将语音口令在有背景噪声存在的情况下正确分离出人声音频和非人声音频的问题的算法；通过采用VAD算法对目标语音口令进行人声提取，可以过滤掉目标语音中的非人声部分的背景噪声，从而保证后续语音识别的准确性。在本发明实施例中，目标语音口令可包括多帧语音帧；步骤s11至少具有如下两种实施方式：
在一种实施方式中，本发明实施例为了充分利用相邻语音帧的帧内信息，选择采用LSTM(Long Short-Term Memory，长短时记忆单元)网络对目标语音口令进行时序分析；此处的LSTM网络是一种对RNN网络(循环卷积神经网络)进行改进后的网络，其可克服RNN网络固有的梯度消失问题，实现对语音帧序列中有用信息的长时记忆。为了更好地说明RNN网和LSTM网络之间的差异，图8b示例性地表示了RNN网络中的某一个cell(基本单元)在不同时刻的样子，图8c示例性地表示了LSTM网络中的某一个cell在不同时刻的样子。如图8b所示，对于RNN网络中的一个cell而言，其输入是前一时刻cell输出的状态值和当前时刻的输入的组合，其输出是组合后的输入乘以权重和偏置，并再经过一次激活运算(如tanh运算(双曲正切运算))后的值。而如图8c所示，对于LSTM网络中的一个cell而言，其输入不仅包括前一时刻cell输出的状态值和当前时刻的输入，还包括了cell本身存储的记忆值。对比可见，相对于RNN网络而言，LSTM网络多了一个表示cell记忆的记忆值，该记忆值可参见图8d所示。
本发明实施例为了实现记忆值，设计了如图8e所示的LSTM网络；该LSTM网络包括记忆单元C、遗忘门F、输入门I和输出门O。其中，遗忘门F的结构如图8f所示，其用于决定应舍弃或保留哪些信息；具体实现中，可将上一个隐藏状态的信息和当前时刻的输入同时输入到遗忘门F中的激活函数(如sigmoid函数)中，得到遗忘门F的输出值；遗忘门F的输出值处于0和1之间，其越接近0就意味着越应该忘记，越接近1意味着越应该保留；遗忘门F中的ft是一种用于操控遗忘哪些数据的函数。输入门I的结构如图8g所示，其用于更新cell的状态。具体实现中，可将上一个隐藏状态的信息和当前时刻的输入信息输入到输入门I中的激活函数(如sigmoid函数)中，得到输入门I的输出值；输入门I的输出值处于0和1之间。其中，0表示不重要，1表示重要。在得到输入门I的输出值后，可根据输入门I的输出值决定更新cell的哪些状态信息。或者，也可将处于隐藏状态的信息和当前时刻的输入信息传输给Tanh函数，并在[-1，1]之间压缩数值以调节网络，然后将Tanh函数的输出和Sigmoid函数的输出进行乘积运算，根据乘积运算后的值确定在Tanh函数的输出中哪些信息是重要的且需要进行保留。输出门O的结构如图8h所示，其用于决定下个隐藏状态的值，隐藏状态中包含了历史输入的相关信息。需要说明的是，隐藏状态也可用于预测。具体实现中，可把上一个隐藏状态的信息和当前时刻的输入信息传递给Sigmoid函数；接着将新得到的cell状态传递给Tanh函数；然后把Tanh函数的输出和Sigmoid函数的输出相乘，以确定隐藏状态应携带的信息；最后把隐藏状态作为cell的当前时刻的输出，以实现将新的cell状态和新的隐藏状态传输至下一时刻。
不同于RNN网络，对于一个时间长度为T的序列X＝(x1，x2，…xT)，LSTM网络对如下方程按照时间顺序从t＝1～T进行计算：
Figure BDA0002354236630000171
Figure BDA0002354236630000172
Figure BDA0002354236630000173
Figure BDA0002354236630000174
Figure BDA0002354236630000175
Figure BDA0002354236630000176
其中，x表示输入至LSTM网络的目标语音口令，g表示各个门的输出，h表示从LSTM网络输出的人声音频；w1、wh分别表示输入权重矩阵和循环权重矩阵，wc是指记忆单元C和各个门之间的连接矩阵；f和σ表示不同门使用的激活函数，σ可为sigmoid函数。
再一种实施方式中，本发明实施例经实践发现：LSTM网络擅长序列结构分析，DNN网络(深度神经网络)擅长特征提取与变换，而将低层声学特征信息映射为更适于VAD检测的特征信息。基于此，本发明实施例还提出了DNNGLSTM模型，如图8i所示。参见图8i所示，DNNGLSTM模型是一个多层DNN加上一层LSTM的网络结构，其输出层可为一个具有2个神经元的softmax(逻辑回归)层。不同于基于DNN网络的VAD模型，本发明实施例将语音逐帧提取的特征向量xt与标注yt看作是长度为N(即语音帧总帧数)的时间序列数据集
Figure BDA0002354236630000181
其中，xt∈Rd是d维语音特征向量，R表示实数集；yt∈(0，1)表示当前帧为语音帧或非语音帧。由于LSTM网络是在时间上进行展开，是对一定时间长度的序列进行分析；因此，对DNNGLSTM模型输入的语音数据可做如下处理：采用与语音的分帧操作类似的形式，假设LSTM时间分析长度为T＝2k+1，对语音口令每次按固定的时间窗T进行抽取，时间窗按步长u(1≤u≤T)移动。对于t时刻输入的语音而言，其对应的特征序列
Figure BDA0002354236630000188
以及对应的标记
Figure BDA0002354236630000182
可表达为：
Figure BDA0002354236630000183
Figure BDA0002354236630000184
(t＝t0+n×u，n＝1，2，…)
DNNGLSTM模型的原理如下：将t时刻输入的语音的特征序列
Figure BDA0002354236630000187
中的元素按照时间顺序依次通过DNN层参与第t时刻LSTM网络的计算，每个时刻t的语音帧的输出yt再通过预测层进行语音/非语音的后验概率的输出，得到对应的标记
Figure BDA0002354236630000185
然后，可将
Figure BDA0002354236630000186
中yt等于1所对应的语音帧提取出来，以构成人声音频。
s12，目标客户端发送人声音频至服务器，此处的服务器可以是云端服务器。
云端服务器在接收到人声音频后，可识别人声音频，得到目标礼物标识和用户标识。具体的，云端服务器可先生成该人声音频所对应的时频图(即声音的波形图)。然后可调用优化后的深度卷积神经网络对时频图进行语音识别，得到第二用户的用户标识及目标虚拟礼物的目标礼物标识。其中，优化后的深度卷积神经网络基于CNN参数共享机制对初始深度卷积神经网络进行训练优化得到的；其中，深度卷积神经网络的网络结构可参见图8j所示，参数共享机制是指：深度卷积神经网络中的至少两个神经元采用同一个权值参数的机制。通过利用NN参数共享机制进行训练优化，可将深度卷积神经网络的参数数量下降一个级别，从而有效提高训练优化的效率。由于深度卷积神经网络内的深层次的卷积和池化层能够充分考虑语音信号的上下文信息，且可以在较短的时间内得到识别结果；因此，通过调用深度卷积神经网络进行语音识别，可提高语音识别的实时性，其准确率可达到90％以上。
需要说明的是，在其他实施例中，步骤s21也可以由目标客户端执行。并且，本发明实施例是以通信场景为直播场景为例，对语言识别的具体原理进行说明的，当通信场景为会话场景时，目标客户端对第一用户输入的用户语音进行语音识别处理，得到识别文本的具体实施方式可以参见本发明实施例的相关描述。
s13，目标客户端接收服务器下发的目标礼物标识和用户标识。目标客户端在接收到目标礼物标识和用户标识后，可将目标礼物标识所对应的虚拟礼物作为目标虚拟礼物，将服务器下发的用户标识所指示的用户作为第二用户。然后，目标客户端可通过步骤S705检测是否存在图像显示触发事件。若存在，则可通过步骤S706获取第二用户的用户图像素材；具体的，可确定与目标礼物标识对应的目标素材标识，并生成携带第二用户的用户标识以及目标素材标识的素材请求，将素材请求发送至素材服务器以获取第二用户的用户图像素材。然后，可通过步骤S707和S708根据用户图像素材显示第二用户的虚拟三维图像。
S705，若目标虚拟礼物为预设虚拟礼物，则确定检测到关于第二用户的图像显示触发事件。
S706，在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则获取第二用户在三维空间中的用户图像素材。
S707，根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像。
S708，在第一用户对应的第一终端屏幕中，显示第二用户的虚拟三维图像。
本发明实施例在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。其次，可根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像；并可在第一用户所对应的第一终端屏幕中，显示第二用户的虚拟三维图像。由此可见，本发明实施例突破了传统通信的方式；通过通信和虚拟三维图像的结合，可实现身临其境的效果，以给第一用户带来一种与第二用户进行近距离接触的错觉，从而可以增强通信的趣味性，进而有效提升第一用户关于通信的用户黏度。
基于上述图像处理方法实施例的描述，本发明实施例还公开了一种图像处理装置，所述图像处理装置可以是运行于客户端中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图2-图5以及图7所示的方法。请参见图9，所述图像处理装置可以运行如下单元：
处理单元101，用于在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；
处理单元101，用于根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
显示单元102，用于在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。
在一种实施方式中，所述通信场景包括：基于直播应用搭建的直播场景，所述直播场景中包括至少一个观众用户和至少一个主播用户；所述第一用户为所述直播场景中的任一观众用户；所述第二用户为所述第一用户从所述至少一个主播用户中选择的主播用户，所述图像显示触发事件包括：所述第一用户向所述第二用户赠送预设虚拟礼物的礼物赠送事件；或者，所述第二用户为所述直播场景中的任一主播用户，所述图像显示触发事件包括：接收到服务器下发的图像显示指令的指令触发事件，所述图像显示指令是由所述第二用户通过预设语音口令触发所述服务器下发的。
再一种实施方式中，显示单元102还可用于：在所述第一用户对应的第一终端屏幕中显示直播界面，所述直播界面中包括语音礼物按钮；响应所述第一用户针对所述语音礼物按钮的触发操作，输出语音录入窗口；处理单元101还可用于：在所述语音录入窗口中获取所述第一用户输入的目标语音口令，并根据所述目标语音口令确定所述第一用户所选择的第二用户及待赠送的目标虚拟礼物；若所述目标虚拟礼物为预设虚拟礼物，则确定检测到关于所述第二用户的图像显示触发事件。
再一种实施方式中，显示单元102还可用于：在所述第一用户对应的第一终端屏幕中显示直播界面，所述直播界面中包括礼物赠送按钮；响应所述第一用户针对所述礼物赠送按钮的触发操作，输出礼物赠送窗口；处理单元101还可用于：所述礼物赠送窗口包括礼物选择区域和用户选择区域；根据在所述礼物选择区域中检测到的礼物选择操作确定待赠送的目标虚拟礼物，及根据在所述用户选择区域中检测到的用户选择操作确定第二用户；若所述目标虚拟礼物为预设虚拟礼物，则确定检测到关于所述第二用户的图像显示触发事件。
再一种实施方式中，处理单元101在用于若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材时，具体用于：若检测到关于所述第二用户的图像显示触发事件，则生成携带所述第二用户的用户标识的素材请求；将所述素材请求发送至所述服务器，以请求所述服务器根据所述第二用户的用户标识下发所述第二用户在三维空间中的用户图像素材；接收所述服务器下发的所述第二用户在三维空间中的用户图像素材。
再一种实施方式中，所述第二用户具有多个用户图像素材，不同的用户图像素材对应不同的虚拟礼物；相应的，处理单元101在用于若检测到关于所述第二用户的图像显示触发事件，则生成携带所述第二用户的用户标识的素材请求时，具体用于：若检测到关于所述第二用户的图像显示触发事件，则确定所述目标虚拟礼物所对应的用户图像素材的目标素材标识；生成携带所述第二用户的用户标识，以及所述目标素材标识的素材请求，所述素材请求用于请求所述服务器根据所述目标素材标识和所述第二用户的用户标识下发所述第二用户的用户图像素材。
再一种实施方式中，处理单元101还可用于：获取所述目标虚拟礼物的目标礼物标识，并生成携带所述目标礼物标识的礼物赠送请求；将所述礼物赠送请求发送至服务器，以请求所述服务器根据所述目标礼物标识将所述目标虚拟礼物下发至所述第二用户的账户中；显示单元102还可用于：若接收到所述服务器返回的成功赠送通知，则在所述直播界面中将所述目标虚拟礼物显示在所述第二用户的礼物显示区域内。
再一种实施方式中，所述图像显示触发事件包括：接收到服务器下发的图像显示指令的指令触发事件，所述图像显示指令携带所述第二用户的用户图像素材；相应的，处理单元101在用于若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材时，具体用于：若检测到关于所述第二用户的图像显示触发事件，则解析所述图像显示指令，得到所述第二用户在三维空间中的用户图像素材。
再一种实施方式中，处理单元101还可用于：若检测到所述第一用户针对所述第二用户的选择操作，则向服务器发送第一配对请求；所述第一配对请求用于指示所述第一用户欲与所述第二用户进行配对；若接收到所述服务器下发的配对成功通知，则获取所述第一用户和所述第二用户之间的目标匹配值；所述配对成功通知是所述服务器在接收到第二配对请求后下发的，所述第二配对请求用于指示所述第二用户欲与所述第一用户进行配对；获取所述目标匹配值所对应的配对成功动画；显示单元102还可用于：在所述第一终端屏幕中显示所述配对成功动画。
再一种实施方式中，处理单元101在用于若接收到所述服务器下发的配对成功通知，则获取所述第一用户和所述第二用户之间的目标匹配值时，具体用于：若接收到所述服务器下发的配对成功通知，则计算所述第一用户向所述第二用户赠送的各个虚拟礼物的电子资源总量；根据计算得到的电子资源总量，确定所述第一用户和所述第二用户之间的目标匹配值；所述目标匹配值与所述电子资源总量成正相关。
再一种实施方式中，所述通信场景包括：基于即时通信应用搭建的会话场景，所述会话场景中包括至少两个会话用户；所述第一用户为所述会话场景中的任一会话用户；相应的，处理单元101还可用于：在第一用户和第二用户所属的通信场景中，获取所述第一用户输入的用户语音；对所述用户语音进行语音识别处理，得到识别文本；若所述识别文本中包括用户标识以及用户形态的形态关键字，则确定检测到关于第二用户的图像显示触发事件；其中，所述第二用户为所述识别文本所包含的用户标识所指示的会话用户，所述用户图像素材是根据所述第二用户的用户标识和所述形态关键字，从服务器处获取到的。
再一种实施方式中，处理单元101在用于根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像时，具体用于：解析所述第二用户在三维空间中的用户图像素材，得到所述第二用户的二维图像数据，所述二维图像数据包括多个像素的像素信息；所述像素信息包括：像素在终端屏幕中的纹理坐标、像素在所述终端屏幕中的二维坐标以及像素的深度值；根据所述各像素的像素信息渲染得到所述第二用户的虚拟三维图像。
再一种实施方式中，处理单元101在用于解析所述第二用户在三维空间中的用户图像素材，得到所述第二用户的二维图像数据时，具体用于：解压所述第二用户在三维空间中的用户图像素材得到预设音视频格式的图像文件；对所述预设音视频格式的图像文件进行结构解码，得到三维图像数据；对所述三维图像数据进行管线处理，得到所述第二用户的二维图像数据。
再一种实施方式中，处理单元101在用于根据所述各像素的像素信息渲染得到所述第二用户的虚拟三维图像时，具体用于：对所述各像素的纹理坐标进行纹理切割处理，得到所述各像素的RGB值和阿尔法值；根据所述各像素的二维坐标、所述各像素的RGB值、所述各像素的阿尔法值以及所述各像素的深度值，渲染得到所述第二用户的虚拟三维图像。
根据本发明的一个实施例，图2-图5以及图7所示的方法所涉及的各个步骤均可以是由图9所示的图像处理装置中的各个单元来执行的。例如，图2中所示的步骤S201和S202可由图9中所示的处理单元101来执行，步骤S203可由图9中所示的显示单元102来执行；又如，图4中所示的步骤S401-S402、S404-S405以及步骤S406中的“获取目标匹配值所对应的配对成功动画”这一步骤均可由图9中所示的处理单元101来执行，步骤S403和步骤S406中的“在第一终端屏幕中显示配对成功动画”这一步骤均可由图9中所示的显示单元102来执行；再如，图7中所示的步骤S701-S702以及S708均可由图9中所示的显示单元102来执行，步骤S703-S707均可由图9中所示的处理单元101来执行。
根据本发明的另一个实施例，图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2-图5以及图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。其次，可根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像；并可在第一用户所对应的第一终端屏幕中，显示第二用户的虚拟三维图像。由此可见，本发明实施例突破了传统通信的方式；通过通信和虚拟三维图像的结合，可实现身临其境的效果，以给第一用户带来一种与第二用户进行近距离接触的错觉，从而可以增强通信的趣味性，进而有效提升第一用户关于通信的用户黏度。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种客户端。请参见图10，该客户端至少包括处理器201、输入设备202、输出设备203以及计算机存储介质204。其中，计算机存储介质201用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201用于执行所述计算机存储介质204存储的程序指令。需要说明的，若客户端为终端设备，则处理器201可以是CPU(Central Processing Unit，中央处理器)，计算机存储介质204可直接存储在客户端的存储器中。若客户端为终端设备中所运行的APP，则处理器201可以是微处理器，计算机存储介质204可存储在该客户端所在的终端设备的存储器中。
处理器201是客户端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器201可以用于进行一系列的图像处理，包括：在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像，等等。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是客户端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括客户端中的内置存储介质，当然也可以包括客户端所支持的扩展存储介质。在该存储空间中可存放适于被处理器201加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器201加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器201加载并执行如下步骤：
在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；
根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像。
在一种实施方式中，所述通信场景包括：基于直播应用搭建的直播场景，所述直播场景中包括至少一个观众用户和至少一个主播用户；所述第一用户为所述直播场景中的任一观众用户；所述第二用户为所述第一用户从所述至少一个主播用户中选择的主播用户，所述图像显示触发事件包括：所述第一用户向所述第二用户赠送预设虚拟礼物的礼物赠送事件；或者，所述第二用户为所述直播场景中的任一主播用户，所述图像显示触发事件包括：接收到服务器下发的图像显示指令的指令触发事件，所述图像显示指令是由所述第二用户通过预设语音口令触发所述服务器下发的。
再一种实施方式中，所述一条或多条指令还可由处理器201加载并具体执行：在所述第一用户对应的第一终端屏幕中显示直播界面，所述直播界面中包括语音礼物按钮；响应所述第一用户针对所述语音礼物按钮的触发操作，输出语音录入窗口；在所述语音录入窗口中获取所述第一用户输入的目标语音口令，并根据所述目标语音口令确定所述第一用户所选择的第二用户及待赠送的目标虚拟礼物；若所述目标虚拟礼物为预设虚拟礼物，则确定检测到关于所述第二用户的图像显示触发事件。
再一种实施方式中，所述一条或多条指令还可由处理器201加载并具体执行：在所述第一用户对应的第一终端屏幕中显示直播界面，所述直播界面中包括礼物赠送按钮；响应所述第一用户针对所述礼物赠送按钮的触发操作，输出礼物赠送窗口；所述礼物赠送窗口包括礼物选择区域和用户选择区域；根据在所述礼物选择区域中检测到的礼物选择操作确定待赠送的目标虚拟礼物，及根据在所述用户选择区域中检测到的用户选择操作确定第二用户；若所述目标虚拟礼物为预设虚拟礼物，则确定检测到关于所述第二用户的图像显示触发事件。
再一种实施方式中，在若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材时，所述一条或多条指令由处理器201加载并具体执行：若检测到关于所述第二用户的图像显示触发事件，则生成携带所述第二用户的用户标识的素材请求；将所述素材请求发送至所述服务器，以请求所述服务器根据所述第二用户的用户标识下发所述第二用户在三维空间中的用户图像素材；接收所述服务器下发的所述第二用户在三维空间中的用户图像素材。
再一种实施方式中，所述第二用户具有多个用户图像素材，不同的用户图像素材对应不同的虚拟礼物；相应的，在若检测到关于所述第二用户的图像显示触发事件，则生成携带所述第二用户的用户标识的素材请求时，所述一条或多条指令由处理器201加载并具体执行：若检测到关于所述第二用户的图像显示触发事件，则确定所述目标虚拟礼物所对应的用户图像素材的目标素材标识；生成携带所述第二用户的用户标识，以及所述目标素材标识的素材请求，所述素材请求用于请求所述服务器根据所述目标素材标识和所述第二用户的用户标识下发所述第二用户的用户图像素材。
再一种实施方式中，所述一条或多条指令还可由处理器201加载并具体执行：获取所述目标虚拟礼物的目标礼物标识，并生成携带所述目标礼物标识的礼物赠送请求；将所述礼物赠送请求发送至服务器，以请求所述服务器根据所述目标礼物标识将所述目标虚拟礼物下发至所述第二用户的账户中；若接收到所述服务器返回的成功赠送通知，则在所述直播界面中将所述目标虚拟礼物显示在所述第二用户的礼物显示区域内。
再一种实施方式中，所述图像显示触发事件包括：接收到服务器下发的图像显示指令的指令触发事件，所述图像显示指令携带所述第二用户的用户图像素材；相应的，在若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材时，所述一条或多条指令由处理器201加载并具体执行：若检测到关于所述第二用户的图像显示触发事件，则解析所述图像显示指令，得到所述第二用户在三维空间中的用户图像素材。
再一种实施方式中，所述一条或多条指令还可由处理器201加载并具体执行：若检测到所述第一用户针对所述第二用户的选择操作，则向服务器发送第一配对请求；所述第一配对请求用于指示所述第一用户欲与所述第二用户进行配对；若接收到所述服务器下发的配对成功通知，则获取所述第一用户和所述第二用户之间的目标匹配值；所述配对成功通知是所述服务器在接收到第二配对请求后下发的，所述第二配对请求用于指示所述第二用户欲与所述第一用户进行配对；获取所述目标匹配值所对应的配对成功动画；在所述第一终端屏幕中显示所述配对成功动画。
再一种实施方式中，在若接收到所述服务器下发的配对成功通知，则获取所述第一用户和所述第二用户之间的目标匹配值时，所述一条或多条指令由处理器201加载并具体执行：若接收到所述服务器下发的配对成功通知，则计算所述第一用户向所述第二用户赠送的各个虚拟礼物的电子资源总量；根据计算得到的电子资源总量，确定所述第一用户和所述第二用户之间的目标匹配值；所述目标匹配值与所述电子资源总量成正相关。
再一种实施方式中，所述通信场景包括：基于即时通信应用搭建的会话场景，所述会话场景中包括至少两个会话用户；所述第一用户为所述会话场景中的任一会话用户；相应的，所述一条或多条指令还可由处理器201加载并具体执行：在第一用户和第二用户所属的通信场景中，获取所述第一用户输入的用户语音；对所述用户语音进行语音识别处理，得到识别文本；若所述识别文本中包括用户标识以及用户形态的形态关键字，则确定检测到关于第二用户的图像显示触发事件；其中，所述第二用户为所述识别文本所包含的用户标识所指示的会话用户，所述用户图像素材是根据所述第二用户的用户标识和所述形态关键字，从服务器处获取到的。
再一种实施方式中，在根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像时，所述一条或多条指令由处理器201加载并具体执行：解析所述第二用户在三维空间中的用户图像素材，得到所述第二用户的二维图像数据，所述二维图像数据包括多个像素的像素信息；所述像素信息包括：像素在终端屏幕中的纹理坐标、像素在所述终端屏幕中的二维坐标以及像素的深度值；根据所述各像素的像素信息渲染得到所述第二用户的虚拟三维图像。
再一种实施方式中，在解析所述第二用户在三维空间中的用户图像素材，得到所述第二用户的二维图像数据时，所述一条或多条指令由处理器201加载并具体执行：解压所述第二用户在三维空间中的用户图像素材得到预设音视频格式的图像文件；对所述预设音视频格式的图像文件进行结构解码，得到三维图像数据；对所述三维图像数据进行管线处理，得到所述第二用户的二维图像数据。
再一种实施方式中，在根据所述各像素的像素信息渲染得到所述第二用户的虚拟三维图像时，所述一条或多条指令由处理器201加载并具体执行：对所述各像素的纹理坐标进行纹理切割处理，得到所述各像素的RGB值和阿尔法值；根据所述各像素的二维坐标、所述各像素的RGB值、所述各像素的阿尔法值以及所述各像素的深度值，渲染得到所述第二用户的虚拟三维图像。
本发明实施例在第一用户和第二用户所属的通信场景中，若检测到关于第二用户的图像显示触发事件，则可获取第二用户在三维空间中的用户图像素材。其次，可根据第二用户在三维空间中的用户图像素材，构建第二用户的虚拟三维图像；并可在第一用户所对应的第一终端屏幕中，显示第二用户的虚拟三维图像。由此可见，本发明实施例突破了传统通信的方式；通过通信和虚拟三维图像的结合，可实现身临其境的效果，以给第一用户带来一种与第二用户进行近距离接触的错觉，从而可以增强通信的趣味性，进而有效提升第一用户关于通信的用户黏度。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (17)

1.一种图像处理方法，其特征在于，包括：
在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；所述通信场景包括：基于直播应用搭建的直播场景；所述直播场景为语音直播场景，所述语音直播是指一种不通过摄像组件呈现主播用户的直播形态，而是通过语音实时输出直播内容的直播方式；
根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像，所述虚拟三维图像与直播界面相互独立；
若检测到所述第一用户针对所述第二用户的选择操作，则向服务器发送第一配对请求，所述第一配对请求用于指示所述第一用户欲与所述第二用户进行配对；
若所述第一用户和所述第二用户之间配对成功，则根据所述第一用户和所述第二用户之间的目标匹配值，在所述第一终端屏幕中显示配对成功动画；所述目标匹配值和所述配对成功动画的复杂度成正比。
2.如权利要求1所述的方法，其特征在于，所述直播场景中包括至少一个观众用户和至少一个主播用户；
所述第一用户为所述直播场景中的任一观众用户；
所述第二用户为所述第一用户从所述至少一个主播用户中选择的主播用户，所述图像显示触发事件包括：所述第一用户向所述第二用户赠送预设虚拟礼物的礼物赠送事件；或者，所述第二用户为所述直播场景中的任一主播用户，所述图像显示触发事件包括：接收到服务器下发的图像显示指令的指令触发事件，所述图像显示指令是由所述第二用户通过预设语音口令触发所述服务器下发的。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
在所述第一用户对应的第一终端屏幕中显示直播界面，所述直播界面中包括语音礼物按钮；
响应所述第一用户针对所述语音礼物按钮的触发操作，输出语音录入窗口；
在所述语音录入窗口中获取所述第一用户输入的目标语音口令，并根据所述目标语音口令确定所述第一用户所选择的第二用户及待赠送的目标虚拟礼物；
若所述目标虚拟礼物为预设虚拟礼物，则确定检测到关于所述第二用户的图像显示触发事件。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：
在所述第一用户对应的第一终端屏幕中显示直播界面，所述直播界面中包括礼物赠送按钮；
响应所述第一用户针对所述礼物赠送按钮的触发操作，输出礼物赠送窗口；所述礼物赠送窗口包括礼物选择区域和用户选择区域；
根据在所述礼物选择区域中检测到的礼物选择操作确定待赠送的目标虚拟礼物，及根据在所述用户选择区域中检测到的用户选择操作确定第二用户；
若所述目标虚拟礼物为预设虚拟礼物，则确定检测到关于所述第二用户的图像显示触发事件。
5.如权利要求3或4所述的方法，其特征在于，所述若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材，包括：
若检测到关于所述第二用户的图像显示触发事件，则生成携带所述第二用户的用户标识的素材请求；
将所述素材请求发送至所述服务器，以请求所述服务器根据所述第二用户的用户标识下发所述第二用户在三维空间中的用户图像素材；
接收所述服务器下发的所述第二用户在三维空间中的用户图像素材。
6.如权利要求5所述的方法，其特征在于，所述第二用户具有多个用户图像素材，不同的用户图像素材对应不同的虚拟礼物；所述若检测到关于所述第二用户的图像显示触发事件，则生成携带所述第二用户的用户标识的素材请求，包括：
若检测到关于所述第二用户的图像显示触发事件，则确定所述目标虚拟礼物所对应的用户图像素材的目标素材标识；
生成携带所述第二用户的用户标识，以及所述目标素材标识的素材请求，所述素材请求用于请求所述服务器根据所述目标素材标识和所述第二用户的用户标识下发所述第二用户的用户图像素材。
7.如权利要求3或4所述的方法，其特征在于，所述方法还包括：
获取所述目标虚拟礼物的目标礼物标识，并生成携带所述目标礼物标识的礼物赠送请求；
将所述礼物赠送请求发送至服务器，以请求所述服务器根据所述目标礼物标识将所述目标虚拟礼物下发至所述第二用户的账户中；
若接收到所述服务器返回的成功赠送通知，则在所述直播界面中将所述目标虚拟礼物显示在所述第二用户的礼物显示区域内。
8.如权利要求2所述的方法，其特征在于，所述图像显示触发事件包括：接收到服务器下发的图像显示指令的指令触发事件，所述图像显示指令携带所述第二用户的用户图像素材；若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材，包括：
若检测到关于所述第二用户的图像显示触发事件，则解析所述图像显示指令，得到所述第二用户在三维空间中的用户图像素材。
9.如权利要求2所述的方法，其特征在于，所述方法还包括：
若接收到所述服务器下发的配对成功通知，则获取所述第一用户和所述第二用户之间的目标匹配值；所述配对成功通知是所述服务器在接收到第二配对请求后下发的，所述第二配对请求用于指示所述第二用户欲与所述第一用户进行配对；
获取所述目标匹配值所对应的配对成功动画。
10.如权利要求9所述的方法，其特征在于，所述若接收到所述服务器下发的配对成功通知，则获取所述第一用户和所述第二用户之间的目标匹配值，包括：
若接收到所述服务器下发的配对成功通知，则计算所述第一用户向所述第二用户赠送的各个虚拟礼物的电子资源总量；
根据计算得到的电子资源总量，确定所述第一用户和所述第二用户之间的目标匹配值；所述目标匹配值与所述电子资源总量成正相关。
11.如权利要求1所述的方法，其特征在于，所述通信场景包括：基于即时通信应用搭建的会话场景，所述会话场景中包括至少两个会话用户；所述第一用户为所述会话场景中的任一会话用户；所述方法还包括：
在第一用户和第二用户所属的通信场景中，获取所述第一用户输入的用户语音；
对所述用户语音进行语音识别处理，得到识别文本；
若所述识别文本中包括用户标识以及用户形态的形态关键字，则确定检测到关于第二用户的图像显示触发事件；
其中，所述第二用户为所述识别文本所包含的用户标识所指示的会话用户，所述用户图像素材是根据所述第二用户的用户标识和所述形态关键字，从服务器处获取到的。
12.如权利要求1所述的方法，其特征在于，所述根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像，包括：
解析所述第二用户在三维空间中的用户图像素材，得到所述第二用户的二维图像数据，所述二维图像数据包括多个像素的像素信息；所述像素信息包括：像素在终端屏幕中的纹理坐标、像素在所述终端屏幕中的二维坐标以及像素的深度值；
根据所述各像素的像素信息渲染得到所述第二用户的虚拟三维图像。
13.如权利要求12所述的方法，其特征在于，所述解析所述第二用户在三维空间中的用户图像素材，得到所述第二用户的二维图像数据，包括：
解压所述第二用户在三维空间中的用户图像素材得到预设音视频格式的图像文件；
对所述预设音视频格式的图像文件进行结构解码，得到三维图像数据；
对所述三维图像数据进行管线处理，得到所述第二用户的二维图像数据。
14.如权利要求12所述的方法，其特征在于，所述根据所述各像素的像素信息渲染得到所述第二用户的虚拟三维图像，包括：
对所述各像素的纹理坐标进行纹理切割处理，得到所述各像素的RGB值和阿尔法值；
根据所述各像素的二维坐标、所述各像素的RGB值、所述各像素的阿尔法值以及所述各像素的深度值，渲染得到所述第二用户的虚拟三维图像。
15.一种客户端，包括输入接口和输出接口，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-14任一项所述的图像处理方法。
16.一种图像处理装置，其特征在于，包括：
处理单元，用于在第一用户和第二用户所属的通信场景中，若检测到关于所述第二用户的图像显示触发事件，则获取所述第二用户在三维空间中的用户图像素材；所述通信场景包括：基于直播应用搭建的直播场景；所述直播场景为语音直播场景，所述语音直播是指一种不通过摄像组件呈现主播用户的直播形态，而是通过语音实时输出直播内容的直播方式；
所述处理单元，用于根据所述第二用户在三维空间中的用户图像素材，构建所述第二用户的虚拟三维图像；
显示单元，用于在所述第一用户对应的第一终端屏幕中，显示所述第二用户的虚拟三维图像，所述虚拟三维图像与直播界面相互独立；
所述处理单元，还用于若检测到所述第一用户针对所述第二用户的选择操作，则向服务器发送第一配对请求，所述第一配对请求用于指示所述第一用户欲与所述第二用户进行配对；
所述显示单元，还用于若所述第一用户和所述第二用户之间配对成功，则根据所述第一用户和所述第二用户之间的目标匹配值，在所述第一终端屏幕中显示配对成功动画；所述目标匹配值和所述配对成功动画的复杂度成正比。
17.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-14任一项所述的图像处理方法。
CN202010007894.2A 2020-01-02 2020-01-02 图像处理方法、装置、客户端及介质 Active CN111182323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010007894.2A CN111182323B (zh) 2020-01-02 2020-01-02 图像处理方法、装置、客户端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010007894.2A CN111182323B (zh) 2020-01-02 2020-01-02 图像处理方法、装置、客户端及介质

Publications (2)

Publication Number Publication Date
CN111182323A CN111182323A (zh) 2020-05-19
CN111182323B true CN111182323B (zh) 2021-05-28

Family

ID=70656078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010007894.2A Active CN111182323B (zh) 2020-01-02 2020-01-02 图像处理方法、装置、客户端及介质

Country Status (1)

Country Link
CN (1) CN111182323B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112533053B (zh) * 2020-11-30 2022-08-23 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备及存储介质
JP7550924B1 (ja) 2023-06-20 2024-09-13 カバー株式会社 プログラム、方法、およびシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682729A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN108024134A (zh) * 2017-11-08 2018-05-11 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
CN108683954A (zh) * 2018-05-30 2018-10-19 广州华多网络科技有限公司 弹窗动画生成方法和装置、弹窗动画、网络直播服务器
CN110213521A (zh) * 2019-05-22 2019-09-06 创易汇(北京)科技有限公司 一种虚拟即时通信方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219197A (zh) * 2013-05-30 2014-12-17 腾讯科技（深圳）有限公司 一种视频会话方法、终端和系统
CN109005099B (zh) * 2017-06-06 2022-05-27 深圳脸网科技有限公司 一种现实场景共享方法及其社交、游戏方法
CN110020099A (zh) * 2017-08-21 2019-07-16 武汉斗鱼网络科技有限公司 一种视频交友的用户推荐方法和装置
CN110234014A (zh) * 2018-03-05 2019-09-13 优酷网络技术（北京）有限公司 直播连麦方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682729A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN108024134A (zh) * 2017-11-08 2018-05-11 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
CN108683954A (zh) * 2018-05-30 2018-10-19 广州华多网络科技有限公司 弹窗动画生成方法和装置、弹窗动画、网络直播服务器
CN110213521A (zh) * 2019-05-22 2019-09-06 创易汇(北京)科技有限公司 一种虚拟即时通信方法

Also Published As

Publication number Publication date
CN111182323A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108012162B (zh) 内容推荐方法及装置
CN111881940B (zh) 直播连麦匹配方法、装置、电子设备及存储介质
US20210365749A1 (en) Image data processing method and apparatus, electronic device, and storage medium
CN113766296B (zh) 直播画面的展示方法和装置
US10726087B2 (en) Machine learning system and method to identify and connect like-minded users
CN112437338B (zh) 虚拟资源转移方法、装置、电子设备以及存储介质
CN109754329B (zh) 电子资源的处理方法、终端、服务器及存储介质
CN111182323B (zh) 图像处理方法、装置、客户端及介质
US11984114B2 (en) Speech to intent
CN112131431B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN116250012A (zh) 用于图像动画的方法、系统和计算机可读存储介质
CN114402355A (zh) 个性化自动视频裁切
CN114501103B (zh) 基于直播视频的互动方法、装置、设备及存储介质
WO2019085625A1 (zh) 表情图片推荐方法及设备
CN114567693B (zh) 视频生成方法、装置和电子设备
CN110674706B (zh) 社交方法、装置、电子设备及存储介质
CN115699716A (zh) 消息界面扩展系统
CN112016001A (zh) 好友推荐方法、设备及计算机可读介质
CN111557014A (zh) 提供多个个人资料的方法及系统
CN114528474A (zh) 推荐对象确定方法、装置、电子设备及存储介质
CN112843681B (zh) 虚拟场景控制方法、装置、电子设备及存储介质
CN112269943B (zh) 一种信息推荐系统及方法
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
US20230289560A1 (en) Machine learning techniques to predict content actions
CN113515336A (zh) 直播间加入方法、创建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant