CN116954776A - 一种应用程序中的画面显示方法和相关装置 - Google Patents

一种应用程序中的画面显示方法和相关装置 Download PDF

Info

Publication number
CN116954776A
CN116954776A CN202211384485.XA CN202211384485A CN116954776A CN 116954776 A CN116954776 A CN 116954776A CN 202211384485 A CN202211384485 A CN 202211384485A CN 116954776 A CN116954776 A CN 116954776A
Authority
CN
China
Prior art keywords
target
rendering
emotion
emotion data
application program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211384485.XA
Other languages
English (en)
Inventor
刘行
刘章术
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN116954776A publication Critical patent/CN116954776A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种应用程序中的画面显示方法和相关装置,可应用于数字人、虚拟人、游戏、虚拟现实、扩展现实、云技术等场景。目标对象指示应用程序运行,在应用程序运行的过程中,获取目标对象的目标情绪数据。基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数,由于在一组对应关系中,情绪数据表征的情感极性与通过渲染参数渲染得到的展示画面表征的情感极性一致,故根据目标渲染参数渲染得到的目标展示画面表征的情感极性与目标情绪数据表征的情感极性一致,将目标展示画面推送并展示给目标对象,能够降低目标展示画面与目标对象在情感极性上的差异,提高了目标对象的体验感,提高了应用程序的留存率。

Description

一种应用程序中的画面显示方法和相关装置
本申请要求于2022年10月28日提交中国专利局、申请号为202211337460.4、申请名称为“一种应用程序中的画面显示方法和相关装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域,特别是涉及一种应用程序中的画面显示方法和相关装置。
背景技术
在应用程序中,可以通过渲染技术渲染出不同的画面,从而将渲染得到的画面展示给应用程序的使用者。例如,在大型多人在线角色扮演游戏中,会通过渲染技术模拟不同种类的天气画面,并将天气画面呈现在游戏中,使得玩家在控制虚拟角色进行游戏时,能够体验到晴朗、雷暴、风雪等不同的天气变化,提高游戏的真实性与画面欣赏性。
相关技术中,通过渲染技术渲染出的画面是预先设置的。例如,在早上九点模拟晴朗天气,在下午三点模拟暴雨天气等。但是该种方式可能会导致渲染得到的画面与实际差异较大,应用程序的使用者的沉浸感较低,影响应用程序的用户留存率。
发明内容
为了解决上述技术问题,本申请提供了一种应用程序中的画面显示方法和相关装置,用于提高应用程序的使用者的体验感,提高用户留存率。
本申请实施例公开了如下技术方案:
一方面,本申请实施例提供一种应用程序中的画面显示方法,所述方法包括:
在应用程序运行的过程中,获取目标对象的目标情绪数据,所述目标对象为指示所述应用程序运行的对象;
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数;其中,在一组对应关系中,所述情绪数据表征的情感极性与通过所述渲染参数渲染得到的展示画面表征的情感极性一致;
根据所述目标渲染参数进行渲染,得到目标展示画面,以便在显示所述应用程序运行的界面中显示所述目标展示画面。
另一方面,本申请实施例提供一种应用程序中的画面显示装置,所述装置包括:获取单元、确定单元和渲染单元;
所述获取单元,用于在应用程序运行的过程中,获取目标对象的目标情绪数据,所述目标对象为指示所述应用程序运行的对象;
所述确定单元,用于基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数;其中,在一组对应关系中,所述情绪数据表征的情感极性与通过所述渲染参数渲染得到的展示画面表征的情感极性一致;
所述渲染单元,用于根据所述目标渲染参数进行渲染,得到目标展示画面,以便在显示所述应用程序运行的界面中显示所述目标展示画面。
另一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行上述方面所述的方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方面所述的方法。
另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面所述的方法。
由上述技术方案可以看出,目标对象指示应用程序运行,在应用程序运行的过程中,获取目标对象的目标情绪数据。基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数,由于在一组对应关系中,情绪数据表征的情感极性与通过渲染参数渲染得到的展示画面表征的情感极性一致,故根据目标渲染参数渲染得到的目标展示画面表征的情感极性与目标情绪数据表征的情感极性一致,从而在显示应用程序运行的界面中,能够显示出与目标对象情感极性一致的目标展示画面。由此,通过目标对象的目标情绪数据确定出与其情感极性一致的目标展示画面,并展示给目标对象,能够降低目标展示画面与目标对象在情感极性上的差异,使得目标对象在使用应用程序时的沉浸感较高,提高了目标对象的体验感,提高了应用程序的留存率。此外,在同一款应用程序中基于不同的对象的情绪数据确定出不同的展示画面进行显示,能够实现千人千面的效果,提高了应用程序渲染效果的多样性,增强了对象的个性化体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用程序中的画面显示方法的应用场景示意图;
图2为本申请实施例提供的应用程序中的画面显示方法的流程示意图;
图3为本申请实施例提供的一种通过高斯滤波方法对图像进行滤波的示意图;
图4为本申请实施例提供的一种表情识别模型的示意图;
图5为本申请实施例提供的一种滑动窗口的示意图;
图6为本申请实施例提供的一种决策树的示意图;
图7为本申请实施例提供的一种该应用程序中的画面显示方法的交互图;
图8为本申请实施例提供的一种应用程序中的画面显示方法的应用场景示意图;
图9为本申请实施例提供的一种目标展示画面的示意图;
图10为本申请实施例提供的一种目标展示画面的示意图;
图11为本申请实施例提供的一种应用程序中的画面显示装置的结构示意图;
图12为本申请实施例提供的服务器的结构示意图;
图13为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
鉴于相关技术中,预先设置通过渲染技术渲染出的画面的方式影响应用程序用户留存率的问题,本申请实施例提供一种应用程序中的画面显示方法,通过目标对象的目标情绪数据确定出与其情感极性一致的目标展示画面,并展示给目标对象,能够降低目标展示画面与目标对象在情感极性上的差异,使得目标对象在使用应用程序时的沉浸感较高,提高了目标对象的体验感,提高了应用程序的用户留存率。
本申请实施例提供的应用程序中的画面显示方法是基于人工智能(ArtificialIntelligence,AI)实现的,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
在本申请实施例提供的应用程序中的画面显示方法中,主要涉及的人工智能技术包括上述机器学习/深度学习等方向。
本申请提供的应用程序中的画面显示方法可以应用于具有数据处理能力设备,如终端设备、服务器。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
该具有数据处理能力设备还具备机器学习(Machine Learning,ML)的能力,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在本申请实施例提供的应用程序中的画面显示方法中,采用的人工智能模型主要涉及对机器学习的应用,通过机器学习中例如人工神经网络等方式获取目标对象的目标情绪数据。
此外,该具有数据处理能力设备还云技术(Cloud technology)能力,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。其基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
其中,本申请实施例提供的应用程序中的画面显示方法可以应用于云游戏(Cloudgaming)中,云游戏又可称为游戏点播(gaming on demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thinclient)能运行高品质游戏。在云游戏场景下,游戏并不在玩家游戏终端,而是在云端服务器中运行,并由云端服务器将游戏场景渲染为视频音频流,通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
为了便于理解本申请实施例提供的应用程序中的画面显示方法,下面以该应用程序中的画面显示方法的执行主体为服务器为例,对该应用程序中的画面显示方法的应用场景进行示例性介绍。
参见图1,该图为本申请实施例提供的应用程序中的画面显示方法的应用场景示意图。如图1所示,该应用场景中包括终端设备110和服务器120,终端设备110与服务器120之间可以通过网络通信。
终端设备110中安装有应用程序,目标对象通过终端设备110运行应用程序,在应用程序运行的过程中,终端设备110采集包括目标对象的目标情绪数据的内容,并将该内容发送给服务器120。在图1所示的应用场景中,目标对象打开终端设备110中安装的游戏,终端设备110的显示界面111显示游戏的运行过程。在游戏运行的过程中国,终端设备110采集目标对象的人脸图像,并将人脸图像发送给服务器120。
服务器120中预先存储有情绪数据与渲染参数的对应关系,在该对应关系中,情绪数据表征的情感极性与渲染参数表征的情感极性具有一致性。在图1所示的应用场景中,若情绪数据为高兴,则渲染参数为用于渲染晴朗天气场景所需的参数;若情绪数据为不高兴,则渲染参数为用于渲染大雨天气场景所需的参数,服务器120根据人脸图像获取到目标情绪数据为高兴,则根据对应关系获取的目标渲染参数为用于渲染晴朗天气场景所需的参数,服务器120根据目标渲染参数渲染得到目标展示画面。
服务器120将目标展示画面发送给终端设备110,以便终端设备110的显示界面111显示目标展示画面,由于在一组对应关系中,情绪数据表征的情感极性与通过渲染参数渲染得到的展示画面表征的情感极性一致,故根据目标渲染参数渲染得到的目标展示画面表征的情感极性与目标情绪数据表征的情感极性一致,当目标对象看见与其情感极性一致的目标展示画面时,沉浸感更高。
由此,通过目标对象的目标情绪数据确定出与其情感极性一致的目标展示画面,并展示给目标对象,能够降低目标展示画面与目标对象在情感极性上的差异,使得目标对象在使用应用程序时的沉浸感较高,提高了目标对象的体验感,提高了应用程序的留存率。此外,在同一款应用程序中基于不同的对象的情绪数据确定出不同的展示画面进行显示,能够实现千人千面的效果,提高了应用程序渲染效果的多样性,增强了对象的个性化体验。
本申请实施例所提供的应用程序中的画面显示方法可以由服务器执行。但是,在本申请的其它实施例中,终端设备也可以与服务器具有相似的功能,从而执行本申请实施例所提供的应用程序中的画面显示方法,或者由终端设备和服务器共同执行本申请实施例所提供的应用程序中的画面显示方法,本实施例对此不做限定。
下面通过方法实施例对本申请提供的应用程序中的画面显示方法进行详细介绍。
参见图2,该图为本申请实施例提供的应用程序中的画面显示方法的流程示意图。为了便于描述,下述实施例仍以该应用程序中的画面显示方法的执行主体为服务器为例进行介绍。如图2所示,该应用程序中的画面显示方法包括以下步骤:
S201:在应用程序运行的过程中,获取目标对象的目标情绪数据。
应用程序(Application)指为完成某项或多项特定工作的计算机程序,它运行在用户模式,可以和用户进行交互,具有可视的用户界面。目标对象是指示应用程序运行的对象,如游戏的玩家、绘图软件的创作者等。目标情绪数据是目标对象的情绪数据,情绪数据用于体现对象的心情,可以通过表情、声音、文字、动作等体现。
应用程序可以安装在终端设备中,通过终端设备采集包括目标情绪数据的人脸图像、音频、文字、全身图像等内容,终端设备可以将该内容直接发送给服务器,服务器基于该内容获取目标情绪数据。终端设备也可以将基于该内容直接提取出目标情绪数据,将目标情绪数据发送给服务器。本申请实施例不对此进行限定。
S202:基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数。
为了能够避免渲染得到的展示画面与对象的真实心情割裂,可以设置情绪数据与渲染参数间的对应关系,以便能够通过与情绪数据对应的渲染参数渲染出与对象的情感极性一致的展示画面。其中,在一组对应关系中,包括一种情绪数据和该情绪数据对应的渲染参数,且该情绪数据及其对应的渲染参数表征的情感极性具有一致性。例如,情绪数据为开心时,对应的渲染参数为用于渲染晴朗天气场景的参数。情绪数据为伤心时,对应的渲染参数为用于渲染大雨天气场景的参数。
目标渲染参数与目标情绪数据构成一组对应关系,渲染参数是渲染美术资源所需的参数,比如渲染一棵树所需的参数、渲染一朵云所需的参数等。需要说明的是,本申请实施例中的渲染参数可以是全局渲染参数,也可以是局部渲染参数,本申请实施例对此不做具体限定。其中,全局渲染参数是用于渲染整个展示画面的图形的参数,局部渲染参数是用于渲染展示画面中部分图形的参数。例如,若目标渲染参数是局部渲染参数,仅用于渲染展示画面中的天气场景。
作为一种可能的实现方式,可以进一步细化对应关系,不再仅基于情感极性设置情绪数据和渲染参数的对应关系,还可以基于情感种类、情感种类的程度等进行设置。例如,体现愁眉不展的情绪数据与用于渲染阴天天气场景的渲染参数被设置为一组对应关系,体现哭泣的情绪数据与用于渲染大雨天气场景的渲染参数被设置为一组对应关系。又如,体现垂泪的情绪数据与用于渲染小雨天气场景的渲染参数被设置为一组对应关系,体现大哭的情绪数据与用于渲染雷暴大雨天气场景的渲染参数被设置为一组对应关系。
S203:根据目标渲染参数进行渲染,得到目标展示画面,以便在显示应用程序运行的界面中显示目标展示画面。
渲染或称为绘制、彩现等,是指在电脑绘图中,以软件由模型生成图像的过程。模型是用语言或者数据结构进行严格定义的三维物体或虚拟场景的描述,它包括几何、视点、纹理、照明和阴影等信息。图像是数字图像或者位图图像。
通过目标渲染参数进行渲染得到的目标展示画面,其表征的情感极性与情绪数据表征的情感极性一致,从而目标对象在通过显示应用程序运行的界面中看见目标展示画面时沉浸感更高。例如,目标对象正在悲伤的玩游戏,但是游戏中展示的目标展示画面为晴天天气场景,影响对应在游戏中的状态,如由于晴天天气场景与悲伤的情感极性相差较大,导致目标对象玩游戏的失误率较高,从而服务器交互较为频繁,资源占用较多等。若目标展示画面为阴天天气场景,目标对象的真实感较高,实现目标对象与游戏中虚拟角色的统一,能够降低误操作,进而降低服务器交互次数,降低资源占用。
不同的对象均可以运行同一款应用程序,在应用程序运行的过程中,不同的对象的情绪数据不同,从而基于情绪数据确定出的展示画面不同,进而实现了千人千面的效果,提高了应用程序渲染效果的多样性,增强了对象的个性化体验。
作为一种可能的实现方式,服务器在得到目标展示画面后,若应用程序运行在服务器中,可以直接在服务器显示应用程序运行的界面中显示目标展示画面,若应用程序运行在终端设备中,服务器可以将目标展示画面发送给终端设备,以便终端设备在显示应用程序运行的界面中显示目标展示画面。本申请对此不做具体限定。
由上述技术方案可知,目标对象指示应用程序运行,在应用程序运行的过程中,获取目标对象的目标情绪数据。基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数,由于在一组对应关系中,情绪数据表征的情感极性与通过渲染参数渲染得到的展示画面表征的情感极性一致,故根据目标渲染参数渲染得到的目标展示画面表征的情感极性与目标情绪数据表征的情感极性一致,从而在显示应用程序运行的界面中,能够显示出与目标对象情感极性一致的目标展示画面。由此,通过目标对象的目标情绪数据确定出与其情感极性一致的目标展示画面,并展示给目标对象,能够降低目标展示画面与目标对象在情感极性上的差异,使得目标对象在使用应用程序时的沉浸感较高,提高了目标对象的体验感,提高了应用程序的留存率。此外,在同一款应用程序中基于不同的对象的情绪数据确定出不同的展示画面进行显示,能够实现千人千面的效果,提高了应用程序渲染效果的多样性,增强了对象的个性化体验。
作为一种可能的实现方式,当应用程序安装在终端设备中时,由于渲染操作等会占用终端设备大量的资源,故可以将渲染操作等放在云服务器中执行(如云游戏),从而降低终端设备的处理压力。下面通过A1-A6进行具体说明。
A1:获取应用程序的应用标识和目标对象的账户标识。
在实际应用中,对象可以通过终端设备启动应用程序,然后应用程序运行在云服务器中,云服务器将应用程序所要展示的展示画面发送至终端设备,从而终端设备仅需拥有基本的流媒体播放能力与获取对象输入指令并发送给云服务器的能力即可。
云服务器会获取终端设备发送的应用程序的应用标识和目标对象在应用程序中注册的账户标识。其中,应用标识用于唯一标识终端设备启动的应用程序,账户标识用于唯一标识对象的信息,能够作为终端设备的标识,从而与云服务器进行交互。
A2:根据应用标识获取对应关系。
可以理解的是,由于不同的应用程序需要对不同的内容进行渲染,故不同的应用程序对应于不同的对应关系,即情绪数据和渲染参数的对应关系。由此,可以通过应用标识获取该应用程序所需的对应关系。
需要说明的是,本申请实施例不具体限定A1和A2的执行顺序,只要在A4之前执行即可,例如,A1-A2可以在A3之前执行,也可以在A3之后执行,也可以按照A1-A3-A2的顺序执行等。
A3:在应用程序运行的过程中,获取目标对象的目标情绪数据。
作为一种可能的实现方式,若终端设备采集的是目标对象的人脸图像,可以将基于人脸图像识别目标情绪数据的操作放置于云服务器实现,进一步降低终端设备的资源占用。此外,由于一些应用程序会大程序影响对象的情感,导致对象的情绪数据变化较快,故通过云服务识别情绪数据能够提高识别速度,降低对象与应用程序的交互时延,进一步提高对象的体验感。
A4:基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数。
A5:根据目标渲染参数进行渲染,得到目标展示画面。
A3-A5可以参见S201-S203,在此不再赘述。
A6:根据账户标识向目标客户端发送目标展示画面。
其中,目标客户端为运行应用程序的客户端,安装在终端设备中。由此,在云服务器根据目标对象的目标情绪数据渲染得到目标展示画面后,可以根据目标对象在应用程序的账户标识确定目标对象所持有的目标客户端,从而向目标客户端发送目标展示画面,以便目标客户端向目标对象展示目标展示画面。
由此,通过将渲染操作等放置于云服务器实现,不会占用终端设备的资源。而且,云服务器的运行速度比终端设备的运行速度快,可以充分利用云服务器的算力又是进行实时渲染,降低对象与应用程序的交互时延,对实时性要求较高的应用程序较为友好,进一步提高对象的体验感。
作为一种可能的实现方式,一组对应关系不仅可以为一种情绪数据及其对应的渲染参数,还可以为一种情绪数据及其对应的多种渲染参数。若一组对应关系为一种情绪数据及其对应的多种渲染参数,例如,体现不高兴的情绪数据对应的渲染参数可以为用于渲染阴天天气场景的参数和用于渲染下雨天气场景的参数。下面以两种方式为例说明一种情绪数据对应多种渲染参数时,如何确定目标渲染参数。
方式一:随机确定。
在确定目标情绪数据对应的目标渲染参数时,可以在目标情绪数据对应的多种渲染参数中随机选择一种渲染参数作为目标渲染参数。
方式二:渐进确定。
在确定目标情绪数据对应的目标渲染参数时,可以在目标情绪数据对应的多种渲染参数中,按照顺序关系不断选择一种渲染参数作为目标渲染参数。具体参见B1-B2。
B1:基于情绪数据和渲染参数的对应关系,确定与目标情绪数据对应的多种渲染参数的顺序关系。
需要说明的是,目标情绪数据与多种渲染参数构成一组对应关系,通过多种渲染参数渲染得到的展示画面表征的情感极性均一致,且与目标情绪数据表征的情感极性一致。例如,目标情绪数据体现不高兴的心情,与其构成对应关系的多种渲染参数包括用于渲染阴天天气场景的参数和用于渲染下雨天气场景的参数。
其中,多种渲染参数中存在顺序关系,通过该顺序关系排列的渲染参数进行渲染,得到的展示画面表征的情感与目标情感的差异越来越小,目标情感用于标识高兴的最高等级。下面分两种情况进行说明。
情况一:目标情绪数据表征的情感极性为正向情绪。
可以理解的是,同一种表情可以分为不同的等级,例如,高兴可以通过微笑和大笑体现,相比于微笑,大笑的高兴等级更高。
进一步的,虽然在与目标情绪数据对应的多种渲染参数的顺序关系中,通过多种渲染参数渲染得到的展示画面表征的情感极性均为正向情绪,但是相比于有轻微雾霾的晴朗天气场景表征的情感与高兴的最高等级的差异,万里无云的晴朗天气场景表征的情感与高兴的最高等级的差异更小,故在该顺序关系中,用于渲染有轻微雾霾的晴朗天气场景的参数排在用于渲染万里无云的晴朗天气场景的参数之前,以便得到的目标展示画面先为有轻微雾霾的晴朗天气场景,后为万里无云的晴朗天气场景。
情况二:目标情绪数据表征的情感极性为负面情绪。
例如,相比于下雨天气场景表征的情感与高兴的差异,阴天天气场景表征的情感与高兴的差异较小,故在该顺序关系中,用于渲染阴天天气场景的参数排在用于渲染下雨天气场景的参数之后,以便得到的目标展示画面先为下雨天气场景,后为阴天天气场景。
作为一种可能的实现方式,虽然通过顺序关系排列的渲染参数进行渲染,得到的展示画面表征的情感与目标情感的差异越来越小,但是由于通过处于一组对应关系中的多种渲染参数渲染得到的展示画面表征的情感极性一致,均为负面情绪,故还可以设置特殊对应关系,以便目标展示画面可以从表征负面情绪的画面变为表征正向情绪的画面。
具体地,若识别目标情绪数据为负面情绪,则基于情绪数据和渲染参数的对应关系,确定与目标情绪数据对应的多种渲染参数的顺序关系以及特殊对应关系,其中,特殊对应关系包括至少一种用于渲染得到表征正向情绪的渲染参数,多种用于渲染得到表征正向情绪的渲染参数具有顺序关系,通过该顺序关系排列的渲染参数进行渲染,得到的展示画面表征的情感与目标情感的差异越来越小,目标情感用于标识高兴的最高等级。
B2:基于顺序关系,依次将多个渲染参数作为目标渲染参数。
由此,可以按照顺序关系,依次将顺序关系对应的多个渲染参数作为目标渲染参数,以便渲染得到的目标展示画面可以基于表征的情感进行递进展示,从而若目标对象高兴,则通过目标展示画面表征的情感向更高兴变化,例如,从有轻微雾霾的晴朗天气场景向万里无云的晴朗天气场景变化,以便让目标对象更高兴;若目标对象不高兴,则通过目标展示画面的变化安慰目标对象,例如从雷暴大雨天气场景向阴天天气场景变化,以便让目标对象逐渐摆脱不高兴情绪,进一步的,甚至还可以通过特殊对应关系让目标展示画面表征的情感从不高兴向高兴变化,例如,从阴天天气场景向晴朗天气场景变化,以便让目标对象高兴起来。
作为一种可能的实现方式,在确定目标情绪数据对应的目标渲染参数时,可以在目标情绪数据对应的多种渲染参数中,基于情绪数据累积情况选择一种渲染参数作为目标渲染参数。下面以多种渲染参数包括第一渲染参数和第二渲染参数为例,通过C1-C4进行说明。
C1:基于情绪数据和渲染参数的对应关系,确定与目标情绪数据对应的第一渲染参数和第二渲染参数。
其中,第一渲染参数与目标情绪数据的匹配程度小于第二渲染参数与目标情绪数据的匹配程度,但是通过第一渲染参数得到的展示画面与通过第二渲染参数得到的展示画面表征的情感极性一致,均与目标情绪数据表征的情感极性一致。例如,若目标情绪数据表征目标对象不高兴,则第二渲染参数为用于渲染有轻微雾霾的晴朗天气场景的参数,第一渲染参数为用于渲染万里无云的晴朗天气场景的参数。
C2:在历史情绪数据中,确定与目标情绪数据相同的情绪数据的数量。
其中,预设时间段为获取目标情绪数据之前的一段时间,预设时间段的结束时刻为获取目标情绪数据的时刻。本申请实施例不具体限定预设时间段的时长,本领域技术人员可以根据实际需要进行设置。例如,上午十点时获取目标情绪数据,预设时间段可以为上午八点至上午十点之间的时间段,也可以为上午九点半至上午十点之间的时间段。
历史情绪数据则是在预设时间段内获取的情绪数据。确定目标情绪数据与历史情绪数据中相同的情绪数据的数量,例如,目标情绪数据体现目标对象高兴,则在上午上午九点半至上午十点之间的时间段,确定体现目标对象高兴的次数出现的数量。
C3:若数量小于预设数值,则将第一渲染参数确定为目标渲染参数。
C4:若数量大于或等于预设数值,则将第二渲染参数确定为目标渲染参数。
若数量小于预设数值,则将第一渲染参数确定为目标渲染参数;若数量大于或等于预设数值,则将第二渲染参数确定为目标渲染参数,也就是说,若在预设时间段内,与目标情绪数据相同的情绪数据的数量超过预设数值,则将不再使用第一渲染参数作为目标渲染参数,而是使用与目标情绪数据的匹配程度更高的第二渲染参数作为目标渲染参数,以便渲染得到的目标展示画面更能体现目标对象的心情。
以目标情绪数据表征高兴,预设数值为10次为例,若历史情绪数据中高兴的次数为9次,则目标渲染参数为第一渲染参数,即用于渲染有轻微雾霾的晴朗天气场景的参数。若历史情绪数据中高兴的次数为10次,则目标渲染参数为第二渲染参数,即用于渲染万里无云的晴朗天气场景的参数。
由此,通过确定目标情绪数据与历史情绪数据中相同情绪数据的数量是否超过预设数值,若否,则第一渲染参数确定为目标渲染参数,若是,则将与目标情绪数据相同的情绪数据的数量超过预设数值,则将不再使用第一渲染参数作为目标渲染参数,而是使用与目标情绪数据的匹配程度更高的第二渲染参数作为目标渲染参数,以便渲染得到的目标展示画面更能体现目标对象的心情,从而进一步提高对象的沉浸感和真实感。
作为一种可能的实现方式,应用程序的种类有很多,下面以应用程序为大型多人在线角色扮演游戏(Massive Multiplayer Online Role-Playing Game,MMORPG)为例进行说明,具体参见D1-D5。
D1:确定目标对象在大型多人在线角色扮演游戏中控制的虚拟角色所处的虚拟组织。
其中,虚拟组织为创建对象在MMORPG中创建的,如游戏中的战队等。创建对象为一个对象或多个对象,本申请实施例对此不做具体限定。
D2:若目标对象控制的虚拟角色与创建对象控制的虚拟角色均处于大型多人在线角色扮演游戏中,获取创建对象的情绪数据。
若目标对象控制的虚拟角色与创建对象控制的虚拟角色同时在线,即痛处处于MMORPG中,则获取创建对象的情绪数据。
D3:基于创建对象的情绪数据确定特定渲染参数。
其中,特定渲染参数用于标识与虚拟组织相关的虚拟元素的渲染数值,与虚拟组织相关的虚拟元素可以为虚拟组织在MMORPG中的驻地的虚拟建筑、虚拟场地等。例如,特定渲染参数为战队所在驻地的虚拟建筑的渲染数值。
本申请实施例不具体限定基于创建对象的情绪数据确定特定渲染参数的方式,例如,若创建对象的情绪数据表征为高兴,则战队的虚拟建筑为红色;若创建对象的情绪数据表征为不高兴,则战队的虚拟建筑为灰色。
D4:基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数。
目标渲染参数用于指示渲染画面所需的外观属性值和能力属性值中的一种或多种组合,其中,外观属性值用于标识应用程序中虚拟元素的外观配置信息,能力属性值用于标识应用程序中虚拟角色的能力配置信息。下面分别进行说明。
在外观属性中,虚拟元素的外观配置信息包括应用程序中虚拟环境的天气配置信息、虚拟环境的物体配置信息、虚拟角色的皮肤配置信息和角色动效配置信息中的一种或多种组合。例如,根据虚拟环境的天气配置信息能够渲染出不同种类的天气,如阴天天气、晴朗天气等。根据虚拟环境的物体配置信息能够渲染出不同物体的形态,如绿色的树木的开花,或者目标对象高兴,则目标渲染参数可以用于渲染目标对象走过的草地开花。根据虚拟角色的皮肤配置信息能够调整虚拟角色的外观形态,如所穿衣物的颜色等。根据虚拟角色的动效配置信息能够渲染出动态文字、点缀动画、过场全屏动画等,如若目标对象愤怒,则其控制的虚拟角色的头上可以增加恶魔的犄角等。
在能力属性值中,应用程序中虚拟角色的能力配置信息可以为虚拟角色能力的数值。例如,若目标对象伤心,则增加目标对象控制的虚拟角色的十点攻击力,或为其分发增加移速的道具等。
D5:根据特定渲染参数和目标渲染参数进行渲染,得到目标展示画面。
由此,不再仅基于目标对象的目标情绪数据确定的目标渲染参数进行渲染,还可以基于创建对象的情绪数据确定的特定渲染参数进行渲染,从而得到目标展示画面。其中,目标渲染参数可以体现目标对象的心情,与目标对象属于同一虚拟组织的其他对象看不见,但是,特定渲染参数能够调节虚拟组织对应的虚拟元素,让属于同一虚拟组织的对象均能够感受到创建对象的心情,甚至是敌对虚拟组织的创建对象的心情,进而在MMORPG中做出游戏决策,从而增加MMORPG的可玩性。
作为一种可能的实现方式,若虚拟元素的外观配置信息为应用程序中虚拟环境的天气配置信息,则不仅可以基于对应关系确定目标渲染参数,还可以基于对应关系和补充数据确定目标渲染参数。其中,补充数据天气包括天气补充数据和个性化补充数据中的一种或多种组合。下面分别进行说明。
其中,天气补充数据用于补充天气配置信息,可以包括时间数据、位置数据和真实天气数据中的一种或多种组合,例如,早上八点的晴朗天气和晚上四点的晴朗天气不同,北方的八点的晴朗天气和南方的八点的晴朗天气不同,故通过时间数据和位置数据可以进一步提高天气配置信息的真实程度,进一步提高目标对象在应用程序中的沉浸感。由于一种情绪数据可以对应多种渲染参数,如不高兴可以对应用于渲染阴天天气场景的参数、渲染沙尘暴天气场景的参数、渲染雷暴天气场景的参数等。此时可以从多种渲染参数中选择一种与真实天气数据最接近的渲染参数,进一步提高目标对象在应用程序中的沉浸感。个性化补充数据用于标识目标对象的对象特征,如性别、年龄、喜好等,通过个性化补充数据可以从多种渲染参数中渲染一种目标对象可能喜欢的渲染参数,进而提高用户的体验感。
本申请实施例不具体限定获取目标对象的目标情绪数据的方式,下面以情绪数据为表情,通过表情识别模型识别目标对象的目标表情为例进行说明,参见E1-E4。
E1:获取包括目标对象的图像。
在实际应用中,目标对象在通过终端设备运行应用软件时,终端设备可以采集包括目标对象的图像,并发送给服务器。
可以理解的是,在本申请实施例中,涉及到对象的图像、个性化数据等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
E2:根据图像提取目标对象的面部特征。
本申请实施例不具体限定提取目标对象的面部特征的方式,后续会以G1-G4进行说明,在此不再赘述。
由于不同对象所处环境较为复杂,且拍摄设备清晰度等因素导致获取的图像差异较大,通过终端设备采集的图像可能会存在较多噪点,从而影响对面部特征的提取,基于此,本申请实施例通过高斯滤波方法先去除图像的噪点,得到中间图像,然后根据中间图像提取目标对象的面部特征。其中,高斯滤波的方式是利用离散化窗口(高斯核)滑窗卷积,具体F1-F4所示。
F1:根据选择的滤波半径(3*3)以及标准差(σ=1.5),确定高斯核邻域内各点到中心点的距离,代入二维高斯函数,求解高斯核各位置值,二维高斯函数如下式所示,
其中,G(x,y)为高斯核,σ为标准差,x和y为图像上的像素点坐标。
如图3所示,该图为本申请实施例提供的一种通过高斯滤波方法对图像进行滤波的示意图。图3a所示的是图像的像素值,高斯模板的大小为3*3。
F2:根据高斯核大小对输入图像进行扩充边界操作。
在边界附近的点,其邻域内没有足够的点进行滤波处理,因此在滤波之前需要进行上下、左右边界扩充操作,各边界扩充的宽度为滤波半径大小。从而实现移动相关核的中心元素,使得它位于输入图像待处理像素的正上方。
F3:针对图像矩阵中的待处理元素,把高斯核的中心和待处理元素空间对齐,将高斯核中各权值和待处理元素的邻域内元素相乘后相加,作为待处理元素的输出值。
继续以图3为例,在图3b中,将输入图像的像素值作为权重,乘以相关核,得到待处元素的输出值。
F4:对图像中的每个元素(不包含边界扩充的元素)进行F3的操作,得到的结果就是高斯滤波的结果。
继续以图3为例,在图3c中,将上面各步得到的结果相加作为输出。
E3:根据人脸特征裁剪图像,得到目标对象的面部图像。
通过E2识别出的人脸特征,对图像进行裁剪,得到仅包括目标对象面部的面部图像。需要说明的是,若对图像进行高斯滤波,则此步骤根据人脸特征裁剪高斯滤波后得到的中间图像。
E4:将面部图像输入至表情识别模型中,通过表情识别模型确定目标表情。
其中,表情识别模型包括至少一层卷积层、至少一层池化层、至少一层全连接层和归一化层。下面分别进行说明。
卷积层通过小矩阵快速进行全图扫描,得到用于表征图像的特征,池化层用于将卷积层得到的特征进行降维,从而一层卷积层和一层池化层构成了一组特征提取和降维的组合。若该组合的层数较少会导致图像的特征无法完全扫描,进而降低表情识别的准确率。若该组合的层数较多会导致算力大大增加,且表情识别时间较久,甚至会出现过拟合的情况。作为一种可能的实现方式,表情识别模型可以采用两层卷积层,从而在不较多增大算力的同时,保证表情识别的准确率。
全连接层用于标记通过池化层得到的特征属于某种表情的概率,同理,增大全连接层的层数会增大算力,全连接的层数的数量较少表情识别的准确率较低,作为一种可能的实现方式,表情识别模型可以采用两层全连接层。
归一化层用于分类,即通过概率确定该特征对应的表情。
参见图4,该图为本申请实施例提供的一种表情识别模型的示意图。该表情识别模型包括两层卷积层、两层池化层、两层全连接层和一层归一化层。
面部图像输入至第一层卷积层中,然后依次输入至第一层池化层中、第二层卷积层中、第二层池化层中、第一层全连接层中、第二层全连接层中、softmax层(即归一化层)中,从而得到表情识别结果(目标表情),即目标对象的目标情绪数据。
本申请实施例不具体限定根据图像提取目标对象的面部特征的方式,下面以一种方式为进行说明,参见G1-G4。
G1:通过滑动窗口在图像中进行多次滑动,得到多个子区域。
滑动窗口在图像中不断滑动,每一次滑动均会得到一个子区域,进而得到多个子区域,每个子区域均为图像中的一部分。需要说明的是,若对图像进行高斯滤波,则G1-G4针对中间图像提取目标对象的面部特征。
由于一个滑动窗口得到的子区域是很有限的,从而导致该滑动窗口的区分度有限。为了增加区分度,可以增加滑动窗口的种类,在本申请实施例中,滑动窗口包括边缘特征、线性特征和中心特征,组合成了特征模板。
参见图5,该图为本申请实施例提供的一种滑动窗口的示意图。其中,边缘特征包括4种,线性特征包括8种,中心特征包括2种。将图5中任意一个矩形放到图像上进行滑动,均会得到一个子区域。
G2:分别计算多个子区域的特征值。
特征模板内有白色和黑色两种矩形,并定义该特征模板的特征值为白色矩形像素和减去黑色矩形像素和。特征值反映了图像的灰度变化情况。例如:脸部的一些特征能由矩形特征简单的描述,如:眼睛要比脸颊颜色要深,鼻梁两侧比鼻梁颜色要深,嘴巴比周围颜色要深等。
将图5中任意一个矩形放到人脸区域上,然后,将白色区域的像素值的和减去黑色区域的像素值的和,得到的值暂且称之为面部特征值,如果任意一个矩形放到一个非人脸区域,那么得到的值应该和面部特征值是不一样的,而且越不一样越好,所以这些方块的目的就是把人脸特征量化,以区分人脸和非人脸。
由此,计算通过滑动窗口得到的子区域的特征值,进而基于特征值确定该特征值所在的区域是否为面部特征。需要说明的是,可以通过积分图的方式增加计算特征值的速度。
G3:通过预先训练完成的级联分类器对多个子区域的特征值进行筛选,并将通过筛选的特征值所在的子区域确定为面部特征。
为了增加区分度,可以对多个矩形特征计算得到一个区分度更大的特征值,那么14种矩形特征怎样组合到一块可以更好的区分出人脸和非人脸呢,此时可以通过预先训练完成的级联分类器进行筛选,级联分类器相当于决策树,由多个弱分类器级联组成,每一个弱分类器均可以判断一个特征值,该特征值被判断为面部特征,则继续通过下一个弱分类器进行判断,直至通过所有的弱分类器,即将通过预先训练完成的级联分类器的特征值所在的子区域确定为面部特征。
下面对级联分类器的训练进行说明。首先需要训练出每一个弱分类器,然后把每个弱分类器按照一定的组合策略,得到一个强分类器,训练出多个强分类器,然后按照级联的方式把它们组合在一块,就会得到训练完成的级联分类器。
一个弱分类器类似的一个决策树,最基本的弱分类器只包含一个特征值,也就是它的决策树只有一层,被称为树桩(stump)。参见图6,该图为本申请实施例提供的一种决策树的示意图。在图6中,依次使用三个特征值f1、f2和f3来判断对应的子区域是否为面部特征。可以看出,在分类的应用中,每个非叶子节点都表示一种判断,每个路径代表一种判断的输出,每个叶子节点代表一种类别,并作为最终判断的结果。
弱分类器的训练即是找到一个分类阈值使其成为最优弱分类器。训练的步骤如下:
步骤一:对于每个特征值f,计算所有训练样本的特征值,并按特征值大小排序。
步骤二:扫描排序好的特征值,对排序好的每个元素,计算四个值,分别是:全部面部特征样本的权重之和t1、全部非面部特征样本的权重之和t0、在此元素之前的非面部特征样本的权重之和s0,以及在此元素之前的面部特征样本的权重之和s1。
步骤三:最终得到每个元素的分类误差r=min((s1+(t0-s0)),(s0+(t1-s1)))。
步骤四:寻找r值最小的元素,则该元素作为最优阈值。有了该阈值,第一个最优弱分类器就诞生了。
强分类器的训练需要T轮的迭代,训练的步骤如下:
步骤一:给定训练样本集S,共N个样本,其中X和Y分别对应于正样本和负样本;T为训练的最大循环次数。
步骤二:初始化样本权重为1/N,即为训练样本的初始概率分布。
步骤三:第一次迭代训练N个样本,得到第一个最优弱分类器。
步骤四:提高上一轮中被误判的样本的权重;
步骤五:将新的样本和上次分错的样本放在一起进行新一轮的训练。
步骤六:循环执行步骤四和步骤五,T轮后得到T个最优弱分类器。
步骤七:组合T个最优弱分类器得到强分类器。
需要说明的是,可以通过组合多个强分类器来进一步处理图像的信息,增加识别的准确率,级联的强分类器的复杂度逐渐增加来提高算法的识别准确度。
为了便于进一步理解本申请实施例提供的技术方案,下面以本申请实施例提供的应用程序中的画面显示方法的执行主体为服务器为例,对该应用程序中的画面显示方法进行整体示例性介绍。其中,应用程序安装在终端设备中,运行在云服务器中,云服务器可以进一步分为云游戏服务器(Cloud Game Server,CGS)和游戏客户端服务器。其中,云游戏服务器用于识别对象的表情,游戏客户端服务器用于基于表情进行渲染。
参见图7,该图为本申请实施例提供的一种该应用程序中的画面显示方法的交互图。
S1:应用程序向云游戏服务器发送包括目标对象的图像、应用标识和账户标识。
在实际应用中,应用程序通过终端设备的摄像头周期性采集目标对象的图像,并将包括目标对象的图像发送给云游戏服务器。此外,还会将应用程序的应用标识和目标对象的账户标识一并发送给云游戏服务器。
S2:云游戏服务器对图像进行预处理,得到面部图像。
CGS对图像进行预处理,预处理包括对图像进行高斯滤波、面部特征识别和将图像裁剪为面部图像。例如,分割出目标对象的人脸并去掉无关的信息,以及对一些人脸信息进行标定等。
S3:云游戏服务器利用表情识别模型,识别出面部图像对应的目标表情。
CGS可用已经训练好的表情识别模型,如基于深度学习训练的卷积神经网络模型等,对面部图像进行识别,以识别出目标对象的目标表情,如高兴、悲伤、惊讶、恐惧、愤怒、厌恶等。
参见图8,该图为本申请实施例提供的一种应用程序中的画面显示方法的应用场景示意图。云游戏服务器获取图像,并对图像进行图像去噪,得到中间图像。然后根据中间图像提取面部特征,并基于面部特征进行人脸裁剪,得到面部图像。将面部图像输入至表情识别模型中,得到目标表情。其中,表情识别模型可以通过已标记的人物图像进行模型训练得到。
S4:云游戏服务器根据应用标识,将目标表情发送给游戏客户端服务器。
S5:游戏客户端服务器根据目标表情进行渲染,得到目标展示画面。
其中,若展示画面是游戏中的天气画面,天气画面的渲染,是目标表情、当前游戏场景、关联游戏场景一起综合影响的结果,是一个多因素综合的结果,这样避免了因目标对象的心情与场景不匹配,目标对象的心情突变等导致游戏画面突兀的问题。
S6:游戏客户端服务器将目标展示画面发送给云游戏服务器。
S7:云游戏服务器根据账户标识,将目标展示画面发送给应用程序。
由此,应用程序向目标对象显示目标展示画面。例如,若目标对象的目标表情为高兴,则目标展示画面为晴朗天气场景,如图9所示,若目标对象的目标表情为伤心,则目标展示画面为大雨天气场景,如图10所示。
针对上文描述的应用程序中的画面显示方法,本申请还提供了对应的应用程序中的画面显示装置,以使上述应用程序中的画面显示方法在实际中得以应用及实现。
参见图11,该图为本申请实施例提供的一种应用程序中的画面显示装置的结构示意图。如图11所示,该应用程序中的画面显示装置1100包括:获取单元1101、确定单元1102和渲染单元1103;
所述获取单元1101,用于在应用程序运行的过程中,获取目标对象的目标情绪数据,所述目标对象为指示所述应用程序运行的对象;
所述确定单元1102,用于基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数;其中,在一组对应关系中,所述情绪数据表征的情感极性与通过所述渲染参数渲染得到的展示画面表征的情感极性一致;
所述渲染单元1103,用于根据所述目标渲染参数进行渲染,得到目标展示画面,以便在显示所述应用程序运行的界面中显示所述目标展示画面。
由上述技术方案可以看出,目标对象指示应用程序运行,在应用程序运行的过程中,获取目标对象的目标情绪数据。基于情绪数据和渲染参数的对应关系,获取与目标情绪数据对应的目标渲染参数,由于在一组对应关系中,情绪数据表征的情感极性与通过渲染参数渲染得到的展示画面表征的情感极性一致,故根据目标渲染参数渲染得到的目标展示画面表征的情感极性与目标情绪数据表征的情感极性一致,从而在显示应用程序运行的界面中,能够显示出与目标对象情感极性一致的目标展示画面。由此,通过目标对象的目标情绪数据确定出与其情感极性一致的目标展示画面,并展示给目标对象,能够降低目标展示画面与目标对象在情感极性上的差异,使得目标对象在使用应用程序时的沉浸感较高,提高了目标对象的体验感,提高了应用程序的留存率。此外,在同一款应用程序中基于不同的对象的情绪数据确定出不同的展示画面进行显示,能够实现千人千面的效果,提高了应用程序渲染效果的多样性,增强了对象的个性化体验。
作为一种可能实现的方式,所述装置还包括发送单元;
所述获取单元1101,还用于:
在所述基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数之前,获取所述应用程序的应用标识和所述目标对象的账户标识,所述账户标识为所述目标对象登陆所述应用程序所需的身份信息;
根据所述应用标识获取所述对应关系;
所述发送单元,用于:
根据所述账户标识向目标客户端发送所述目标展示画面,所述目标客户端为运行所述应用程序的客户端。
作为一种可能实现的方式,所述确定单元1102,具体用于:
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的第一渲染参数和第二渲染参数,所述第一渲染参数与所述目标情绪数据的匹配程度小于所述第二渲染参数与所述目标情绪数据的匹配程度;
在历史情绪数据中,确定与所述目标情绪数据相同的情绪数据的数量,所述历史情绪数据为在预设时间段内获取的情绪数据,所述预设时间段为获取所述目标情绪数据之前的一段时间,所述预设时间段的结束时刻为获取所述目标情绪数据的时刻;
若所述数量小于预设数值,则将所述第一渲染参数确定为所述目标渲染参数;
若所述数量大于或等于所述预设数值,则将所述第二渲染参数确定为所述目标渲染参数。
作为一种可能实现的方式,所述确定单元1102,具体用于:
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的多种渲染参数的顺序关系;其中,通过所述顺序关系排列的渲染参数进行渲染,得到的展示画面表征的情感与目标情感的差异越来越小,所述目标情感用于标识高兴的最高等级;
基于所述顺序关系,依次将所述多个渲染参数作为所述目标渲染参数。
作为一种可能实现的方式,若所述应用程序为大型多人在线角色扮演游戏,所述确定单元1102,还用于:
确定所述目标对象在所述大型多人在线角色扮演游戏中控制的虚拟角色所处的虚拟组织,所述虚拟组织为创建对象在所述大型多人在线角色扮演游戏中创建的;
所述获取单元1101,还用于:
若所述目标对象控制的虚拟角色与所述创建对象控制的虚拟角色均处于所述大型多人在线角色扮演游戏中,获取所述创建对象的情绪数据;
基于所述创建对象的情绪数据确定特定渲染参数,所述特定渲染参数用于标识与所述虚拟组织对应的虚拟元素的渲染数值;
所述渲染单元1103,具体用于:
根据所述特定渲染参数和所述目标渲染参数进行渲染,得到所述目标展示画面。
作为一种可能实现的方式,所述目标渲染参数用于指示渲染画面所需的外观属性值和能力属性值中的一种或多种组合,所述外观属性值用于标识所述应用程序中虚拟元素的外观配置信息,所述能力属性值用于标识所述应用程序中虚拟角色的能力配置信息。
作为一种可能实现的方式,所述虚拟元素的外观配置信息包括所述应用程序中虚拟环境的天气配置信息、所述虚拟环境的物体配置信息、所述虚拟角色的皮肤配置信息和角色动效配置信息中的一种或多种组合。
作为一种可能实现的方式,若所述虚拟元素的外观配置信息为所述应用程序中虚拟环境的天气配置信息,所述确定单元1102,具体用于:
基于所述对应关系和补充数据,获取所述目标渲染参数,所述补充数据包括天气补充数据和个性化补充数据中的一种或多种组合,所述天气补充数据用于补充所述天气配置信息,所述个性化补充数据用于标识所述目标对象的对象特征。
作为一种可能实现的方式,若所述情绪数据为表情,所述获取单元1101,具体用于:
获取包括所述目标对象的图像;
根据所述图像提取所述目标对象的面部特征;
根据所述人脸特征裁剪所述图像,得到所述目标对象的面部图像;
将所述面部图像输入至表情识别模型中,通过所述表情识别模型确定目标表情,所述表情识别模型包括至少一层卷积层、至少一层池化层、至少一层全连接层和归一化层。
作为一种可能实现的方式,所述获取单元1101,具体用于:
通过滑动窗口在所述图像中进行多次滑动,得到多个子区域,所述滑动窗口包括边缘特征、线性特征和中心特征;
分别计算所述多个子区域的特征值;
通过预先训练完成的级联分类器对所述多个子区域的特征值进行筛选,并将通过筛选的特征值所在的子区域确定为面部特征。
作为一种可能实现的方式,所述获取单元1101,具体用于:
通过高斯滤波方法去除所述图像的噪点,得到中间图像;
根据所述中间图像提取所述目标对象的面部特征;
所述根据所述人脸特征裁剪所述图像,得到所述目标对象的面部图像,包括:
根据所述人脸特征裁剪所述中间图像,得到所述目标对象的面部图像。
本申请实施例还提供了一种计算机设备,该计算机设备为前述介绍的计算机设备,该计算机设备可以为服务器或者终端设备,前述所述的应用程序中的画面显示装置可以内置于服务器或终端设备中,下面将从硬件实体化的角度对本申请实施例提供的计算机设备进行介绍。其中,图12所示为服务器的结构示意图,图13所示为终端设备的结构示意图。
参见图12,该图为本申请实施例提供的一种服务器结构示意图,该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器1422,如中央处理器(Central Processing Units,CPU),存储器1432,一个或一个以上应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中,存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,处理器1422可以设置为与存储介质1430通信,在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1458,和/或,一个或一个以上操作系统1441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。
其中,CPU 1422用于执行如下步骤:
在应用程序运行的过程中,获取目标对象的目标情绪数据,所述目标对象为指示所述应用程序运行的对象;
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数;其中,在一组对应关系中,所述情绪数据表征的情感极性与通过所述渲染参数渲染得到的展示画面表征的情感极性一致;
根据所述目标渲染参数进行渲染,得到目标展示画面,以便在显示所述应用程序运行的界面中显示所述目标展示画面。
可选的,CPU 1422还可以执行本申请实施例中应用程序中的画面显示方法任一具体实现方式的方法步骤。
参见图13,该图为本申请实施例提供的一种终端设备的结构示意图。图13示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框图,该智能手机包括:射频(Radio Frequency,简称RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(简称WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图13中示出的智能手机结构并不构成对智能手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图13对智能手机的各个构成部件进行具体的介绍:
RF电路1510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1580处理;另外,将设计上行的数据发送给基站。
存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而实现智能手机的各种功能应用以及数据处理。
输入单元1530可用于接收输入的数字或字符信息,以及产生与智能手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531,也称为触摸屏,可收集用户在其上或附近的触摸操作,并根据预先设定的程式驱动相应的连接装置。除了触控面板1531,输入单元1530还可以包括其他输入设备1532。具体地,其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及智能手机的各种菜单。显示单元1540可包括显示面板1541,可选的,可以采用液晶显示器(LiquidCrystal Display,简称LCD)、有机发光二极管(Organic Light-Emitting Diode,简称OLED)等形式来配置显示面板1541。
智能手机还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传感器。至于智能手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1560、扬声器1561,传声器1562可提供用户与智能手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声音信号输出;另一方面,传声器1562将收集的声音信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出处理器1580处理后,经RF电路1510以发送给比如另一智能手机,或者将音频数据输出至存储器1520以便进一步处理。
处理器1580是智能手机的控制中心,利用各种接口和线路连接整个智能手机的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行智能手机的各种功能和处理数据。可选的,处理器1580可包括一个或多个处理单元。
智能手机还包括给各个部件供电的电源1590(比如电池),优选的,电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,智能手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该智能手机所包括的存储器1520可以存储程序代码,并将所述程序代码传输给所述处理器。
该智能手机所包括的处理器1580可以根据所述程序代码中的指令执行上述实施例提供的应用程序中的画面显示方法。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行上述实施例提供的应用程序中的画面显示方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的应用程序中的画面显示方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:Read-Only Memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种应用程序中的画面显示方法,其特征在于,所述方法包括:
在应用程序运行的过程中,获取目标对象的目标情绪数据,所述目标对象为指示所述应用程序运行的对象;
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数;其中,在一组对应关系中,所述情绪数据表征的情感极性与通过所述渲染参数渲染得到的展示画面表征的情感极性一致;
根据所述目标渲染参数进行渲染,得到目标展示画面,以便在显示所述应用程序运行的界面中显示所述目标展示画面。
2.根据权利要求1所述的方法,其特征在于,在所述基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数之前,所述方法还包括:
获取所述应用程序的应用标识和所述目标对象的账户标识,所述账户标识为所述目标对象登陆所述应用程序所需的身份信息;
根据所述应用标识获取所述对应关系;
在所述根据所述目标渲染参数进行渲染,得到目标展示画面之后,所述方法还包括:
根据所述账户标识向目标客户端发送所述目标展示画面,所述目标客户端为运行所述应用程序的客户端。
3.根据权利要求1所述的方法,其特征在于,所述基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数,包括:
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的第一渲染参数和第二渲染参数,所述第一渲染参数与所述目标情绪数据的匹配程度小于所述第二渲染参数与所述目标情绪数据的匹配程度;
在历史情绪数据中,确定与所述目标情绪数据相同的情绪数据的数量,所述历史情绪数据为在预设时间段内获取的情绪数据,所述预设时间段为获取所述目标情绪数据之前的一段时间,所述预设时间段的结束时刻为获取所述目标情绪数据的时刻;
若所述数量小于预设数值,则将所述第一渲染参数确定为所述目标渲染参数;
若所述数量大于或等于所述预设数值,则将所述第二渲染参数确定为所述目标渲染参数。
4.根据权利要求1所述的方法,其特征在于,所述基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数,包括:
基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的多种渲染参数的顺序关系;其中,通过所述顺序关系排列的渲染参数进行渲染,得到的展示画面表征的情感与目标情感的差异越来越小,所述目标情感用于标识高兴的最高等级;
基于所述顺序关系,依次将所述多个渲染参数作为所述目标渲染参数。
5.根据权利要求1所述的方法,其特征在于,若所述应用程序为大型多人在线角色扮演游戏,所述方法还包括:
确定所述目标对象在所述大型多人在线角色扮演游戏中控制的虚拟角色所处的虚拟组织,所述虚拟组织为创建对象在所述大型多人在线角色扮演游戏中创建的;
若所述目标对象控制的虚拟角色与所述创建对象控制的虚拟角色均处于所述大型多人在线角色扮演游戏中,获取所述创建对象的情绪数据;
基于所述创建对象的情绪数据确定特定渲染参数,所述特定渲染参数用于标识与所述虚拟组织对应的虚拟元素的渲染数值;
所述根据所述目标渲染参数进行渲染,得到目标展示画面,包括:
根据所述特定渲染参数和所述目标渲染参数进行渲染,得到所述目标展示画面。
6.根据权利要求1所述的方法,其特征在于,所述目标渲染参数用于指示渲染画面所需的外观属性值和能力属性值中的一种或多种组合,所述外观属性值用于标识所述应用程序中虚拟元素的外观配置信息,所述能力属性值用于标识所述应用程序中虚拟角色的能力配置信息。
7.根据权利要求6所述的方法,其特征在于,所述虚拟元素的外观配置信息包括所述应用程序中虚拟环境的天气配置信息、所述虚拟环境的物体配置信息、所述虚拟角色的皮肤配置信息和角色动效配置信息中的一种或多种组合。
8.根据权利要求7所述的方法,其特征在于,若所述虚拟元素的外观配置信息为所述应用程序中虚拟环境的天气配置信息,所述基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数,包括:
基于所述对应关系和补充数据,获取所述目标渲染参数,所述补充数据包括天气补充数据和个性化补充数据中的一种或多种组合,所述天气补充数据用于补充所述天气配置信息,所述个性化补充数据用于标识所述目标对象的对象特征。
9.根据权利要求1所述的方法,其特征在于,若所述情绪数据为表情,所述获取目标对象的目标情绪数据,包括:
获取包括所述目标对象的图像;
根据所述图像提取所述目标对象的面部特征;
根据所述人脸特征裁剪所述图像,得到所述目标对象的面部图像;
将所述面部图像输入至表情识别模型中,通过所述表情识别模型确定目标表情,所述表情识别模型包括至少一层卷积层、至少一层池化层、至少一层全连接层和归一化层。
10.根据权利要求9所述的方法,其特征在于,所述根据所述图像提取所述目标对象的面部特征,包括:
通过滑动窗口在所述图像中进行多次滑动,得到多个子区域,所述滑动窗口包括边缘特征、线性特征和中心特征;
分别计算所述多个子区域的特征值;
通过预先训练完成的级联分类器对所述多个子区域的特征值进行筛选,并将通过筛选的特征值所在的子区域确定为面部特征。
11.根据权利要求9所述的方法,其特征在于,所述根据所述图像提取所述目标对象的面部特征,包括:
通过高斯滤波方法去除所述图像的噪点,得到中间图像;
根据所述中间图像提取所述目标对象的面部特征;
所述根据所述人脸特征裁剪所述图像,得到所述目标对象的面部图像,包括:
根据所述人脸特征裁剪所述中间图像,得到所述目标对象的面部图像。
12.一种应用程序中的画面显示装置,其特征在于,所述装置包括:获取单元、确定单元和渲染单元;
所述获取单元,用于在应用程序运行的过程中,获取目标对象的目标情绪数据,所述目标对象为指示所述应用程序运行的对象;
所述确定单元,用于基于情绪数据和渲染参数的对应关系,确定与所述目标情绪数据对应的目标渲染参数;其中,在一组对应关系中,所述情绪数据表征的情感极性与通过所述渲染参数渲染得到的展示画面表征的情感极性一致;
所述渲染单元,用于根据所述目标渲染参数进行渲染,得到目标展示画面,以便在显示所述应用程序运行的界面中显示所述目标展示画面。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行权利要求1-11中任意一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-11中任意一项所述的方法。
15.一种包括计算机程序的计算机程序产品,其特征在于,当其在计算机设备上运行时,使得所述计算机设备执行权利要求1-11中任意一项所述的方法。
CN202211384485.XA 2022-10-28 2022-11-07 一种应用程序中的画面显示方法和相关装置 Pending CN116954776A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211337460 2022-10-28
CN2022113374604 2022-10-28

Publications (1)

Publication Number Publication Date
CN116954776A true CN116954776A (zh) 2023-10-27

Family

ID=88446655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211384485.XA Pending CN116954776A (zh) 2022-10-28 2022-11-07 一种应用程序中的画面显示方法和相关装置

Country Status (1)

Country Link
CN (1) CN116954776A (zh)

Similar Documents

Publication Publication Date Title
CN113383369B (zh) 身体姿势估计
US10997787B2 (en) 3D hand shape and pose estimation
CN110232696A (zh) 一种图像区域分割的方法、模型训练的方法及装置
US20240054709A1 (en) Music reactive animation of human characters
CN112235520B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114786786A (zh) 使用先前帧进行骨骼跟踪
CN110766081B (zh) 一种界面图像检测的方法、模型训练的方法以及相关装置
CN112132197A (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN110852942A (zh) 一种模型训练的方法、媒体信息合成的方法及装置
CN113694528A (zh) 数据处理方法、装置、电子设备及存储介质
US20240248546A1 (en) Controlling augmented reality effects through multi-modal human interaction
CN118052907A (zh) 一种文本配图生成方法和相关装置
CN117132690A (zh) 一种图像生成方法及相关装置
US20240127563A1 (en) Stylizing a whole-body of a person
US20230260127A1 (en) Interactively defining an object segmentation
CN116954776A (zh) 一种应用程序中的画面显示方法和相关装置
CN112256976B (zh) 一种匹配方法和相关装置
CN116453005A (zh) 一种视频封面的提取方法以及相关装置
US20240297957A1 (en) Aspect ratio conversion for automated image generation
CN113559500B (zh) 动作数据的生成方法、装置、电子设备及存储介质
US20240087266A1 (en) Deforming real-world object using image warping
US20240296535A1 (en) Automatic image quality evaluation
KR102669159B1 (ko) 거시적 공간상황 인식을 위한 연결 공간 토폴로지를 활용한 인공지능 기반의 연속 이벤트를 추론하는 방법 및 장치
CN115138066A (zh) 一种游戏数据处理方法、装置、设备以及可读存储介质
CN115272571A (zh) 一种游戏场景模型的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication