CN111921199A - 虚拟对象的状态检测方法、装置、终端及存储介质 - Google Patents
虚拟对象的状态检测方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN111921199A CN111921199A CN202010863108.9A CN202010863108A CN111921199A CN 111921199 A CN111921199 A CN 111921199A CN 202010863108 A CN202010863108 A CN 202010863108A CN 111921199 A CN111921199 A CN 111921199A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- virtual object
- feature
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种虚拟对象的状态检测方法、装置、终端及存储介质,属于计算机技术领域。该方法包括:获取目标图像,目标图像中包括虚拟对象;对目标图像进行特征提取得到特征图像,特征图像中每个像素点的像素值用于表示目标图像中对应的像素点与虚拟对象之间的距离;将目标图像与特征图像进行融合,得到融合图像,融合图像包括目标图像中的内容信息和特征图像中的距离信息;基于内容信息和距离信息,对融合图像进行检测得到检测结果。由于仅需处理一张目标图像即可得到该距离,实现了根据距离检测虚拟对象的状态,能够降低状态检测的延迟,并且一旦获取到目标图像即可进行及时地检测,提高了状态检测的效率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种虚拟对象的状态检测方法、装置、终端及存储介质。
背景技术
随着电子游戏的广泛普及和用户对电子游戏性能的需求日益提升,在电子游戏中提供的虚拟场景越来越丰富,通常会存在着多种类型的虚拟物体,如虚拟障碍物等。当虚拟场景中的虚拟对象在前进过程中遇到虚拟障碍物时,会由于虚拟障碍物的阻挡而无法前进,也即是虚拟对象处于被阻挡状态。
相关技术中通常是获取虚拟场景中间隔目标时长的两帧图像,这两帧图像中均包括同一虚拟对象,若这两帧图像之间的相似度大于目标相似度,表示在该目标时长内该虚拟对象并未移动,因此能够确定该虚拟对象处于被阻挡状态。
但是,由于上述方案检测的是间隔目标时长的两帧图像,需要在虚拟对象被阻挡至少目标时长后,才能检测出该虚拟对象处于被阻挡状态,因此检测存在延迟,检测效率较低。
发明内容
本申请实施例提供了一种虚拟对象的状态检测方法、装置、终端及存储介质,可以降低状态检测的延迟。所述技术方案如下:
一方面,提供了一种虚拟对象的状态检测方法,所述方法包括:
获取目标图像,所述目标图像中包括虚拟对象;
对所述目标图像进行特征提取,得到特征图像,所述特征图像中每个像素点的像素值用于表示所述目标图像中对应的像素点与所述虚拟对象之间的距离;
将所述目标图像与所述特征图像进行融合,得到融合图像,所述融合图像包括所述目标图像中的内容信息和所述特征图像中的距离信息;
基于所述内容信息和所述距离信息,对所述融合图像进行检测,得到检测结果,所述检测结果用于表示所述目标图像中的虚拟对象是否处于被阻挡状态。
可选地,所述控制所述虚拟对象退出所述被阻挡状态,包括:
控制所述虚拟对象向与当前移动方向不同的方向移动,以使所述虚拟对象退出所述被阻挡状态;或者,
控制所述虚拟对象执行翻越动作,以使所述虚拟对象退出所述被阻挡状态。
可选地,所述在所述检测结果用于表示所述目标图像中的虚拟对象处于被阻挡状态的情况下,控制所述虚拟对象退出所述被阻挡状态,包括:
在所述检测结果用于表示所述目标图像中的虚拟对象处于被阻挡状态的情况下,生成所述对象控制指令;
将所述对象控制指令下发给目标应用程序;
通过所述目标应用程序,根据所述对象控制指令,控制所述虚拟对象退出所述被阻挡状态。
另一方面,提供了一种虚拟对象的状态检测装置,所述装置包括:
图像获取模块,用于获取目标图像,所述目标图像中包括虚拟对象;
特征提取模块,用于对所述目标图像进行特征提取,得到特征图像,所述特征图像中每个像素点的像素值用于表示所述目标图像中对应的像素点与所述虚拟对象之间的距离;
图像融合模块,用于将所述目标图像与所述特征图像进行融合,得到融合图像,所述融合图像包括所述目标图像中的内容信息和所述特征图像中的距离信息;
图像检测模块,用于基于所述内容信息和所述距离信息,对所述融合图像进行检测,得到检测结果,所述检测结果用于表示所述目标图像中的虚拟对象是否处于被阻挡状态。
可选地,所述图像融合模块,包括:
图像融合单元,用于将所述特征图像与所述目标图像中的至少一个通道图像进行融合,得到所述融合图像。
可选地,所述图像获取模块,包括:
图像截取单元,用于截取目标应用程序显示的场景画面,得到所述目标图像。
可选地,所述图像截取单元,用于:
调用所述目标应用程序提供的图像获取接口,截取所述目标应用程序显示的场景画面,得到所述目标图像;或者,
在所述目标应用程序显示场景画面的过程中执行截图操作,得到所述目标图像。
可选地,所述装置还包括:
对象控制模块,用于在所述检测结果用于表示所述目标图像中的虚拟对象处于被阻挡状态的情况下,控制所述虚拟对象退出所述被阻挡状态。
可选地,所述对象控制模块,包括:
移动控制单元,用于控制所述虚拟对象向与当前移动方向不同的方向移动,以使所述虚拟对象退出所述被阻挡状态;或者,
翻越控制单元,用于控制所述虚拟对象执行翻越动作,以使所述虚拟对象退出所述被阻挡状态。
可选地,所述对象控制模块,包括:
指令生成单元,用于在所述检测结果用于表示所述目标图像中的虚拟对象处于被阻挡状态的情况下,生成所述对象控制指令;
指令下发单元,用于将所述对象控制指令下发给目标应用程序;
对象控制单元,用于通过所述目标应用程序,根据所述对象控制指令,控制所述虚拟对象退出所述被阻挡状态。
可选地,所述特征提取模块,包括:
特征提取单元,用于调用特征提取模型,对所述目标图像进行特征提取,得到所述特征图像。
可选地,所述特征提取模型包括第一特征提取网络和尺寸调整网络,所述特征提取单元,用于:
调用所述第一特征提取网络,对所述目标图像进行特征提取,得到第一特征图像;
调用所述尺寸调整网络,对所述第一特征图像进行尺寸调整,得到所述特征图像。
可选地,所述第一特征提取网络包括按照顺序排列的n个特征提取层,所述n为大于1的正整数,所述特征提取单元,用于:
调用所述n个特征提取层,对所述目标图像依次进行特征提取,分别得到所述n个特征提取层输出的第一特征图像。
可选地,所述尺寸调整网络包括所述n个尺寸调整层,所述特征提取单元,用于:
调用所述尺寸调整网络中的第一个尺寸调整层,对所述第一个尺寸调整层对应的特征提取层输出的第一特征图像进行尺寸调整,得到第二特征图像;
调用所述尺寸调整网络中的第二个尺寸调整层,对所述第二个尺寸调整层对应的特征提取层输出的第一特征图像和上一个尺寸调整层输出的第二特征图像进行尺寸调整,得到下一个第二特征图像,直至得到所述尺寸调整网络中的最后一个尺寸调整层输出的特征图像;
其中,第k个尺寸调整层与第n+1-k个特征提取层对应,所述k为不大于n的正整数。
可选地,所述装置还包括:
第一样本获取模块,用于获取样本图像和所述样本图像的样本特征图像,所述样本特征图像每个像素点的像素值用于表示所述样本图像中对应的像素点与所述样本图像中的虚拟对象之间的距离;
特征提取模型训练模块,用于根据所述样本图像和所述样本特征图像,训练所述特征提取模型。
可选地,所述第一样本获取模块,包括:
图像获取单元,用于截取目标应用程序显示的场景画面,得到所述样本图像,并获取所述样本图像的样本特征图像。
可选地,所述图像获取单元,用于:
截取所述目标应用程序显示的场景画面,得到样本图像;
根据所述场景画面中的每个像素点与虚拟摄像头之间的距离,确定每个像素点在待生成的样本特征图像中的目标像素值,所述每个像素点的目标像素值用于表示所述目标图像中对应的像素点与所述场景画面中的虚拟对象之间的距离;
根据所述每个像素点的目标像素值,生成所述样本特征图像。
可选地,所述图像检测模块,包括:
图像检测单元,用于调用状态检测模型,对所述融合图像进行检测,得到所述检测结果。
可选地,所述状态检测模型包括第二特征提取网络和分类网络,所述图像检测单元,用于:
调用所述第二特征提取网络,对所述融合图像进行特征提取,得到第三特征图像,所述第三特征图像用于表示所述融合图像的特征;
调用所述分类网络,对所述第三特征图像进行分类检测,得到所述检测结果。
可选地,所述装置还包括:
第二样本获取模块,用于获取样本图像和所述样本图像的样本检测结果,所述样本检测结果用于表示所述样本图像中的虚拟对象是否处于被阻挡状态;
特征提取模块,还用于调用特征提取模型,对所述样本图像进行特征提取,得到预测特征图像,所述预测特征图像中每个像素点的像素值用于表示所述样本图像中对应的像素点与所述样本图像中的虚拟对象之间的距离;
图像融合模块,还用于将所述样本图像与所述预测特征图像进行融合,得到样本融合图像;
状态检测模型训练模块,用于根据所述样本融合图像和所述样本检测结果,训练所述状态检测模型。
可选地,所述第二样本获取模块,包括:
视频录制单元,用于在控制虚拟对象在虚拟场景中移动的过程中,录制当前显示的场景画面,得到录制视频;
图像提取单元,用于从所述录制视频中提取样本图像,所述样本图像包括正样本图像和负样本图像,所述正样本图像中的所述虚拟对象处于被阻挡状态,所述负样本图像中的所述虚拟对象处于未被阻挡状态;
检测结果获取单元,用于获取所述样本图像对应的样本检测结果,所述正样本图像的样本检测结果用于表示所述虚拟对象处于被阻挡状态,所述负样本图像的样本检测结果用于表示所述虚拟对象处于未被阻挡状态。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的虚拟对象的状态检测方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如上述方面所述的虚拟对象的状态检测方法中所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中,终端的处理器从计算机可读存储介质读取所述计算机程序代码,处理器执行所述计算机程序代码,使得所述终端实现如上述方面所述的虚拟对象的状态检测方法中所执行的操作。
本申请实施例提供的方法、装置、终端及存储介质,根据目标图像中的内容,以及目标图像中的像素点与虚拟对象之间的距离,来检测虚拟对象是否处于被阻挡状态,由于像素点与虚拟对象之间的距离属于静态的特征,因此仅需处理一张目标图像即可得到该距离,实现了根据内容信息和距离信息检测虚拟对象的状态,与根据虚拟对象在某一时间段内是否移动来检测虚拟对象的状态相比,能够降低状态检测的延迟,并且一旦获取到目标图像即可进行及时地检测,提高了状态检测的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种特征提取模型的结构示意图。
图2是本申请实施例提供的另一种特征提取模型的结构示意图。
图3是本申请实施例提供的一种状态检测模型的结构示意图。
图4是本申请实施例提供的另一种状态检测模型的结构示意图。
图5是本申请实施例提供的一种虚拟对象的状态检测方法的流程图。
图6是本申请实施例提供的一种虚拟对象的状态检测方法的流程图。
图7是本申请实施例提供的一种目标图像和特征图像的示意图。
图8是本申请实施例提供的另一种目标图像和特征图像的示意图。
图9是本申请实施例提供的一种获取特征图像的流程图。
图10是本申请实施例提供的一种获取检测结果的流程图。
图11是本申请实施例提供的一种特征提取模型的训练方法的流程图。
图12是本申请实施例提供的一种样本图像的示意图。
图13是本申请实施例提供的一种状态检测模型的训练方法的流程图。
图14是本申请实施例提供的一种正样本图像的示意图。
图15是本申请实施例提供的一种负样本图像的示意图。
图16是本申请实施例提供的一种模型训练方法的流程图。
图17是本申请实施例提供的一种虚拟对象的状态检测装置的结构示意图。
图18是本申请实施例提供的另一种虚拟对象的状态检测装置的结构示意图。
图19是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一特征提取网络称为第二特征提取网络,且类似地,可将第二特征提取网络称为第一特征提取网络。其中,至少一个是指一个或者一个以上,例如,至少一个通道图像可以是一个通道图像、两个通道图像、三个通道图像等任一大于等于一的整数个通道图像。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
以下将基于人工智能技术和计算机视觉技术,对本申请实施例提供的虚拟对象的状态检测方法进行说明。
本申请涉及到的虚拟场景用于模拟一个三维虚拟空间,该三维虚拟空间可以是一个开放空间,该虚拟场景可以用于模拟现实中的真实环境,例如,该虚拟场景中可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素。当然,在该虚拟场景中还可以包括虚拟物品,例如,建筑物、载具、虚拟场景中的虚拟对象用于武装自己或与其他虚拟对象进行战斗所需的兵器等道具,各种各样的场景元素增强了虚拟场景的多样性和真实性。以电子游戏为例,游戏应用程序对游戏数据进行渲染,从而显示游戏画面,该游戏数据可以包括虚拟场景数据、该虚拟场景中虚拟对象的行为数据等。
用户控制虚拟对象在该虚拟场景中进行移动,或者由终端自动控制虚拟对象在虚拟场景中进行移动。该虚拟对象可以是任一种形态,例如,人、动物等,本申请对此不限定。以电子游戏为例,该电子游戏可以为第一人称射击游戏、第三人称射击游戏,或者其他使用热兵器类进行远程攻击的电子游戏。虚拟对象在该虚拟场景中进行移动过程中,各种各样的地形或者建筑物等都可能成为阻碍该虚拟对象移动的障碍物,当虚拟对象在前进过程中遇到障碍物时,会由于障碍物的阻挡而无法前进,也即是虚拟对象处于被阻挡状态。
本申请实施例提供了一种虚拟对象的状态检测方法,执行主体为终端,能够检测虚拟对象是否处于被阻挡状态。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱或者智能手表等多种类型的设备。可选地,终端中运行目标应用程序,该目标应用程序为终端操作系统中的应用程序,或者为第三方提供的应用程序。例如,目标应用程序为游戏应用程序,该游戏应用程序具有游戏功能等。
本申请实施例提供的方法,可以应用于对虚拟对象进行状态检测的任一场景下。
例如,在测试游戏应用程序的场景下,终端自动控制虚拟对象在游戏应用程序提供的虚拟场景中进行随机移动,在虚拟对象的移动过程中,终端实时截取场景画面,采用本申请实施例提供的方法,对场景画面进行检测,从而确定当前该虚拟对象是否处于被阻挡状态,当终端确定虚拟对象处于被阻挡状态时,可以控制虚拟对象改变移动方向或者执行翻越动作等,从而使虚拟对象退出被阻挡状态,继续进行移动,避免虚拟对象在同一地点耗费时间较多,提高游戏测试的效率。
除此之外,本申请实施例提供的虚拟对象的状态检测方法,还可以应用于在游戏指导、游戏角色托管或者NPC(Non-Player Character,非玩家角色)控制等场景中。
在一种可能实现方式中,如图1所示,本申请实施例提供的特征提取模型100包括第一特征提取网络101和尺寸调整网络102。其中,第一特征提取网络101和尺寸调整网络102连接,第一特征提取网络101用于进行特征提取,得到特征图像,尺寸调整网络102用于对图像的尺寸进行调整。
可选地,第一特征提取网络101包括n个特征提取层,n个特征提取层之间按照顺序排列,且依次连接。尺寸调整网络102包括n个尺寸调整层,n个尺寸调整层之间按照顺序排列,且依次连接。其中,n为大于1的正整数,第k个尺寸调整层与第n+1-k个特征提取层对应,且相互连接,k为不大于n的正整数。
以n等于5为例,则该特征提取模型100的结构如图2所示,第一特征提取网络101包括按照顺序排列的特征提取层1011、特征提取层1012、特征提取层1013、特征提取层1014和特征提取层1015,特征提取层之间依次连接。尺寸调整网络102包括按照顺序排列的尺寸调整层1021、尺寸调整层1022、尺寸调整层1023、尺寸调整层1024和尺寸调整层1025,尺寸调整层之间依次连接。第一个特征提取层1011与第五个尺寸调整层1025连接,第二个特征提取层1012与第四个尺寸调整层1024连接,第三个特征提取层1013与第三个尺寸调整层1023连接,第四个特征提取层1014与第二个尺寸调整层1022连接,第五个特征提取层1015与第一个尺寸调整层1021连接。
在一种可能实现方式中,如图3所示,本申请实施例提供的状态检测模型300包括第二特征提取网络301和分类网络302。其中,第二特征提取网络301和分类网络302连接,第二特征提取网络301用于进行特征提取,得到特征图像,分类网络302用于根据特征图像进行分类处理。
可选地,第二特征提取网络301包括m个特征提取层,m个特征提取层之间按照顺序排列,且依次连接。分类网络302包括x个分类层,x个分类层之间按照顺序排列,且依次连接。其中,最后一个特征提取层与第一个分类层之间连接,其中,m和x为大于1的正整数。
以m等于5,n等于3为例,则该状态检测模型300的结构如图4所示,第二特征提取网络301包括按照顺序排列的特征提取层3011、特征提取层3012、特征提取层3013、特征提取层3014和特征提取层3015,特征提取层之间依次连接。分类网络302包括按照顺序排列的分类层3021、分类层3022和分类调整层3023,分类层之间依次连接。最后一个特征提取层3015与第一个分类层3021连接。
图5是本申请实施例提供的一种虚拟对象的状态检测方法的流程图。本申请实施例的执行主体为终端,参见图5,该方法包括:
501、获取目标图像。
目标图像中包括虚拟对象,该目标图像为虚拟场景中的场景画面,虚拟对象在虚拟场景中进行活动,例如行走、奔跑、攀爬、飞行、骑行、跳跃、打斗或者驾驶等,由于目标图像中展现了虚拟对象当前所处的环境以及执行的动作等,因此该目标图像可用于检测虚拟对象当前的状态。
虚拟对象是任一种形态的对象,例如,人或者动物等。虚拟场景中还包括其他虚拟对象、河流、草丛、陆地、建筑物或者虚拟对象所使用的虚拟资源等。场景画面用于表示该虚拟对象的视角范围内的虚拟场景。
其中,终端获取的目标图像为该终端截取的图像,或者由终端从其他设备中下载的图像,或者由其他设备上传至该终端的图像,本申请实施例对此不做限定。
502、对目标图像进行特征提取,得到特征图像。
特征图像用于表示目标图像的特征信息。其中,特征图像包括多个像素点,目标图像包括多个像素点,且特征图像的像素点与目标图像的像素点一一对应。并且,目标图像中的每个像素点的像素值用于表示颜色或者亮度等信息,以体现目标图像中的内容,如目标图像中的虚拟对象或者虚拟物体等。特征图像中的每个像素点的像素值用于表示目标图像中对应的像素点与虚拟对象之间的距离,该目标图像中的像素点与虚拟对象之间的距离,是指虚拟场景中对应的位置点,与该虚拟对象的位置点之间的距离。例如,该特征图像为深度图像(Depth Image)。深度图像也被称为距离影像(Range Image),是指将从场景中各位置点到视点的距离(深度)作为像素值的图像。
503、将目标图像与特征图像进行融合,得到融合图像。
终端得到目标图像和特征图像,则将目标图像和特征图像进行融合,得到融合图像,则融合图像中既包括目标图像中的内容信息,如目标图像中的虚拟物体或者虚拟对象的颜色信息和纹理信息等,又包括目标图像中的像素点与虚拟对象之间的距离信息。
504、基于内容信息和距离信息,对融合图像进行检测,得到检测结果。
由于融合图像中既包括目标图像中的内容信息,又包括像素点与虚拟对象之间的距离信息,因此根据融合图像中的距离信息,能够确定虚拟对象的前方是否存在虚拟物体,根据融合图像中的内容信息,能够确定虚拟对象前方的虚拟物体是否是虚拟障碍物。例如当虚拟对象前方的虚拟物体是虚拟道路或者虚拟草丛等,则该虚拟物体不会阻挡虚拟对象前进,虚拟物体不是虚拟障碍物,当虚拟对象前方的虚拟物体是虚拟围墙、虚拟石头或者虚拟树木等,则该虚拟物体会阻挡虚拟对象前进,虚拟物体是虚拟障碍物。
因此,对融合图像进行检测,能够确定虚拟对象的前方是否存在虚拟障碍物,当存在虚拟障碍物,则说明虚拟对象处于被阻挡状态,当不存在虚拟障碍物,则说明虚拟对象没有处于被阻挡状态,从而得到用于表示虚拟对象是否处于被阻挡状态的检测结果。
本申请实施例提供的方法,根据目标图像中的内容,以及目标图像中的像素点与虚拟对象之间的距离,来检测虚拟对象是否处于被阻挡状态,由于像素点与虚拟对象之间的距离属于静态的特征,因此仅需处理一张目标图像即可得到该距离,实现了根据内容信息和距离信息检测虚拟对象的状态,与根据虚拟对象在某一时间段内是否移动来检测虚拟对象的状态相比,本申请实施例的方法能够降低状态检测的延迟,并且一旦获取到目标图像即可进行及时地检测,提高了状态检测的效率。
图6是本申请实施例提供的一种虚拟对象的状态检测方法的流程图。本申请实施例的执行主体为终端,参见图6,该方法包括:
601、终端截取目标应用程序显示的场景画面,得到目标图像。
终端中运行有目标应用程序,该目标应用程序在运行过程中提供虚拟场景,并显示虚拟场景的场景画面。该终端截取目标应用程序显示的场景画面,作为目标图像,该目标图像中包括虚拟对象。其中,该目标应用程序为游戏应用程序或者其他能够提供虚拟场景的应用程序。
在一种可能实现方式中,终端调用该目标应用程序提供的图像获取接口,截取目标应用程序显示的场景画面,得到目标图像。
目标应用程序中包括图像获取接口,该图像获取接口用于截取该目标应用程序显示的场景画面。其中,在目标应用程序运行过程中,目标应用程序获取虚拟场景数据以及该虚拟场景中虚拟对象的行为数据等目标数据,对目标数据进行渲染生成场景画面,而终端可调用图像获取接口,截取当前生成的场景画面,作为目标图像。
在另一种可能实现方式中,终端在目标应用程序显示场景画面的过程中执行截图操作,得到目标图像。
在目标应用程序运行过程中,目标应用程序获取虚拟场景数据以及该虚拟场景中虚拟对象的行为数据等目标数据,对目标数据进行渲染生成场景画面,并显示该场景画面。而终端在显示场景画面的过程中,通过具有截图功能的应用程序,执行截图操作,即可将当前显示的场景画面截取下来,作为目标图像。
在另一种可能实现方式中,终端实时截取目标应用程序显示的场景画面,得到目标图像,以执行本申请实施例提供的虚拟对象的状态检测方法,也即是实时对虚拟对象的状态进行检测。或者终端周期性截取目标应用程序显示的场景画面,得到目标图像,以执行本申请实施例提供的虚拟对象的状态检测方法,也即是周期性对虚拟对象的状态进行检测。例如,终端每5秒、10秒或者20秒截取一次目标图像。
本申请实施例中,通过执行上述步骤601,来实现获取目标图像。在另一实施例中,终端还可以不执行截取目标图像的步骤,而是采用其他方式获取目标图像,例如,由终端从其他设备中下载该目标图像,或者由其他设备将该目标图像上传至该终端等。
602、终端对目标图像进行特征提取,得到特征图像。
特征图像中每个像素点的像素值用于表示目标图像中对应的像素点与虚拟对象之间的距离。其中,特征图像包括多个像素点,目标图像包括多个像素点,且特征图像的像素点与目标图像的像素点一一对应。其中,该目标图像中的像素点与虚拟对象之间的距离,是指虚拟场景中对应的位置点,与该虚拟对象的位置点之间的距离。例如,目标图像中的像素点与虚拟场景中的虚拟石头上的位置点,则该像素点与虚拟对象之间的距离,即为该虚拟石头上的位置点与虚拟对象的位置点之间的距离,且该距离可以看做虚拟石头与虚拟对象之间的距离。
图7是本申请实施例提供的一种目标图像和特征图像的示意图,参见图7,目标图像701用于展示虚拟场景中的画面,该虚拟场景为房屋外面,该目标图像701中包括虚拟对象711以及虚拟场景中的房屋721等。特征图像702是目标图像701的特征图像,特征图像702中颜色较深的像素点与虚拟对象711之间的距离较近,颜色较浅的像素点与虚拟对象711之间的距离较远,如距离虚拟对象711较近的房屋呈现为黑色,距离虚拟对象711较远的房屋呈现为白色(图7中的文字“黑”和“白”表示所在区域的颜色)。
图8是本申请实施例提供的一种目标图像和特征图像的示意图,参见图8,目标图像801用于展示虚拟场景中的画面,该虚拟场景为房屋里面,该目标图像801中包括虚拟对象811以及虚拟场景的房屋821、房屋821中的箱子831等。特征图像802是目标图像801的特征图像,特征图像802中颜色较深的像素点与虚拟对象811之间的距离较近,颜色较浅的像素点与虚拟对象811之间的距离较远。如距离虚拟对象811较近的墙壁呈现为黑色,距离虚拟对象811较远的墙壁和箱子呈现为白色(图8中的文字“黑”和“白”表示所在区域的颜色)。
在一种可能实现方式中,终端调用特征提取模型,对目标图像进行特征提取,得到特征图像。该特征提取模型用于提取图像的特征。
在另一种可能实现方式中,如上述图1所示,特征提取模型包括第一特征提取网络和尺寸调整网络。第一特征提取网络用于提取特征,尺寸调整网络用于对图像的尺寸进行调整,例如调整图像的长度、宽度或者通道数。终端调用第一特征提取网络,对目标图像进行特征提取,得到第一特征图像,调用尺寸调整网络,对第一特征图像进行尺寸调整,得到特征图像。
目标图像通过第一特征提取网络进行特征提取,得到第一特征图像,该第一特征图像的尺寸与目标图像的尺寸不同,为了便于后续对两个图像进行处理,需要将第一特征图像的尺寸调整成与目标图像的尺寸一致。因此,得到第一特征图像之后,由尺寸调整网络对第一特征图像进行尺寸调整,得到特征图像,以使该特征图像的尺寸与目标图像的尺寸一致。该尺寸调整网络对第一特征图像进行尺寸调整,还包括对第一特征图像的通道数进行调整。
可选地,如上述图2所示,第一特征提取网络包括按照顺序排列的n个特征提取层,n为大于1的正整数。则终端调用n个特征提取层,对目标图像依次进行特征提取,分别得到n个特征提取层输出的第一特征图像。
按顺序排列的n个特征提取层依次连接,终端将目标图像输入第一个特征提取层,第一个特征提取层对目标图像进行特征提取,得到第一个第一特征图像,将该第一特征图像输入到下一个特征提取层,从而下一个特征提取层输出下一个第一特征图像,因此n个特征提取层会分别输出第一特征图像,且通过迭代提取,后面的特征提取层输出的第一特征图像比前面的特征提取层输出的第一特征图像的特征更加准确和复杂,从而实现对目标图像更深层次的特征提取。
可选地,本申请实施例中的特征提取层包括卷积单元,卷积单元用于对图像进行卷积处理,来提取图像的特征。可选地,特征提取层还包括激活单元,激活单元用于对特征图像进行处理,以保证特征图像的非线性。卷积单元和激活单元连接构成特征提取层,特征提取层的输入为卷积单元的输入,特征提取层的输出为激活单元的输出。
可选地,如上述图2所示,尺寸调整网络包括n个尺寸调整层,n为大于1的正整数。其中,第k个尺寸调整层与第n+1-k个特征提取层对应,k为不大于n的正整数。则终端调用尺寸调整网络中的第一个尺寸调整层,对第一个尺寸调整层对应的特征提取层输出的第一特征图像进行尺寸调整,得到第二特征图像;调用尺寸调整网络中的第二个尺寸调整层,对第二个尺寸调整层对应的特征提取层输出的第一特征图像和上一个尺寸调整层输出的第二特征图像进行尺寸调整,得到下一个第二特征图像,直至得到尺寸调整网络中的最后一个尺寸调整层输出的特征图像。
可选地,本申请实施例中的尺寸调整层包括上采样单元,终端调用上采样单元对第一特征图像进行上采样处理,来调整第一特征的尺寸和通道数,得到调整后的特征图像。可选地,尺寸调整层还包括激活单元,激活单元用于对特征图像进行处理,以保证特征图像的非线性。上采样单元和激活单元连接构成尺寸调整层,尺寸调整层的输入为上采样单元的输入,尺寸调整层的输出为激活单元的输出。其中,可基于双线性插值操作或者转置卷积操作实现对图像的上采样处理,或者采用其他方法实现对图像的上采样处理,本申请实施例对此不做限定。
以第一特征提取网络包括5个特征提取层,尺寸调整网络包括5个尺寸调整层为例进行说明,则如图9所示,该步骤602包括:
901、调用第一个特征提取层,对目标图像进行特征提取,得到特征图像A。可选地,目标图像的大小为640*480*3,也即是该目标图像的通道数为3。第一个特征提取层包括卷积单元和激活单元,卷积单元的核大小为4,步长为2,则输出的特征图像A的通道数为16。
902、调用第二个特征提取层,对特征图像A进行特征提取,得到特征图像B。可选地,第二个特征提取层与第一个特征提取层类似,则输出的特征图像B的通道数为32。
903、调用第三个特征提取层,对特征图像B进行特征提取,得到特征图像C。可选地,第三个特征提取层与第一个特征提取层类似,则输出的特征图像C的通道数为64。
904、调用第四个特征提取层,对特征图像C进行特征提取,得到特征图像D。可选地,第四个特征提取层与第一个特征提取层类似,则输出的特征图像D的通道数为128。
905、调用第五个特征提取层,对特征图像D进行特征提取,得到特征图像E。可选地,第五个特征提取层与第一个特征提取层类似,则输出的特征图像E的通道数为256。
906、调用第一个尺寸调整层,对特征图像E进行尺寸调整,得到特征图像F。可选地,第一个特征提取层包括上采样单元和激活单元,上采样单元的核大小为4,步长为2,则输出的特征图像F的通道数为256。其中,第一个尺寸调整层与第五个特征提取层对应,因此将第五个特征提取层输出的特征图像E作为第一个尺寸调整层的输入。
907、调用第二个尺寸调整层,对特征图像F和特征图像D进行尺寸调整,得到特征图像G。可选地,第二个尺寸调整层与第一个尺寸调整层类似,则输出的特征图像G的通道数为128。其中,第二个尺寸调整层与第四个特征提取层对应,第二个尺寸调整层的上一个尺寸调整层为第一个尺寸调整层,因此将特征图像F和特征图像D作为第二个尺寸调整层的输入。
908、调用第三个尺寸调整层,对特征图像G和特征图像C进行尺寸调整,得到特征图像H。可选地,第三个尺寸调整层与第一个尺寸调整层类似,则输出的特征图像H的通道数为64。其中,第三个尺寸调整层与第三个特征提取层对应,第三个尺寸调整层的上一个尺寸调整层为第二个尺寸调整层,因此将特征图像G和特征图像C作为第三个尺寸调整层的输入。
909、调用第四个尺寸调整层,对特征图像H和特征图像B进行尺寸调整,得到特征图像I。可选地,第四个尺寸调整层与第一个尺寸调整层类似,则输出的特征图像I的通道数为32。其中,第四个尺寸调整层与第二个特征提取层对应,第四个尺寸调整层的上一个尺寸调整层为第三个尺寸调整层,因此将特征图像H和特征图像B作为第三个尺寸调整层的输入。
910、调用第五个尺寸调整层,对特征图像I和特征图像A进行尺寸调整,得到特征图像J。可选地,第五个尺寸调整层包括上采样单元,上采样单元的核大小为4,步长为2,则输出的特征图像J的通道数为1。其中,第五个尺寸调整层与第一个特征提取层对应,第五个尺寸调整层的上一个尺寸调整层为第四个尺寸调整层,因此将特征图像I和特征图像A作为第三个尺寸调整层的输入。其中,特征图像J即为对目标图像进行特征提取,得到的最终的特征图像,该特征图像J的大小为640*480*1,也即是该目标图像的通道数为1。
在上述步骤907-910中,各个尺寸调整层的输入均为两张图像,可选地,先将两张图像进行融合之后,再由尺寸调整层对融合后的图像进行尺寸调整。
上述过程中通过卷积单元减小特征图像的宽度和高度,增大通道数。随后,通过上采样单元扩大特征图像的宽度和高度,缩小通道数,最终输出通道数为1的特征图像。并且,引入激活层来保证特征图像的非线性,有利于提高特征图像的准确性。并且,在尺寸调整过程中,我们将特征提取层输出的特征图像与尺寸调整层输出的特征图像进行融合,通过这种方式能够增加特征图像包含的信息,加快特征提取模型的收敛速度。
需要说明的是,该特征提取模型为终端中存储的预先训练好的模型,该特征提取模型为终端训练的模型或者为其他设备训练的模型。其中,该特征提取模型的训练过程详见下述图11对应的实施例,在此暂不作说明。
603、终端将目标图像与特征图像进行融合,得到融合图像。
终端获取到目标图像和特征图像后,将目标图像和特征图像进行融合,得到融合图像,使得融合图像中既包括目标图像中的内容信息,又包括目标图像中的像素点与虚拟对象之间的距离信息。
在一种可能实现方式中,将特征图像与目标图像中的至少一个通道图像进行融合,得到融合图像。
其中,特征图像用于表示目标图像中的距离信息,该特征图像为单通道图像,如深度图像或者灰度图像等,因此该特征图像能够作为其他图像的通道图像。而目标图像中至少一个通道图像,该至少一个通道图像用于表示目标图像中的颜色信息或者纹理信息等内容信息,因此目标图像中并没有可直接用于表示距离信息的通道图像。由于特征图像和目标图像中包含的信息量较少,因此直接用特征图像或者目标图像进行状态检测,会存在较大误差。为了得到既包括距离信息又包括内容信息的图像,终端对目标图像进行通道分割,得到目标图像中的至少一个通道图像,并将该特征图像与至少一个通道图像进行融合,得到融合图像,则该融合图像的通道图像中既包括特征图像,又包括目标图像中的至少一个通道图像,也即是该融合图像用于表示目标图像中的距离信息和内容信息。
可选地,终端根据特征图像中的各像素点的像素值,对目标图像中的至少一个通道图像中的各像素点的像素值进行加权,以实现图像融合。可选地,终端将该特征图像与目标图像中的至少一个通道图像进行叠加,以实现图像融合。或者,终端还可以采用其他方式实现对特征图像和至少一个通道图像进行融合,本申请实施例对此不做限定。
例如,特征图像为深度图像(Depth Map),目标图像为三通道的RGB(Red GreenBlue,红绿蓝)图像,该目标图像中包括红色通道图像、绿色通道图像和蓝色通道图像,则将深度图像与红色通道图像、绿色通道图像和蓝色通道图像进行融合,得到RGB-D图像(RedGreen Blue-Depth,红绿蓝-深度图像),该RGB-D图像包括四个通道图像,因此RGB-D图像中包括内容信息和距离信息。
在另一种可能实现方式中,融合图像中各像素点对应不同的色调,通过色调来表示像素点与虚拟对象之间的距离,例如冷色调表示对应的像素点与虚拟对象的距离较近,暖色调表示对应的像素点与虚拟对象的距离较远。
604、终端基于内容信息和距离信息,对融合图像进行检测,得到检测结果。
由于融合图像中既包括内容信息和距离信息,因此根据融合图像中的距离信息,能够确定虚拟对象的前方是否存在虚拟物体,根据融合图像中的内容信息,能够确定虚拟对象前方的虚拟物体是否是虚拟障碍物。例如当虚拟对象前方的虚拟物体是虚拟道路或者虚拟草丛等,该虚拟物体不会阻挡虚拟对象前进,则该虚拟物体不是虚拟障碍物,当虚拟对象前方的虚拟物体是虚拟围墙、虚拟石头或者虚拟树木等,该虚拟物体会阻挡虚拟对象前进,则该虚拟物体是障碍物。
因此,对融合图像进行检测,能够确定虚拟对象的前方是否存在虚拟障碍物,当存在虚拟障碍物,则说明虚拟对象处于被阻挡状态,当不存在虚拟障碍物,则说明虚拟对象没有处于被阻挡状态,从而得到检测结果,检测结果用于表示虚拟对象是否处于被阻挡状态。
在一种可能实现方式中,终端调用状态检测模型,对融合图像进行检测,得到检测结果。该状态检测模型用于检测虚拟对象的状态。可选地,该状态检测模型为基于轻量级深度网络搭建的模型,轻量级深度网络的参数量小,适用于CPU(Central Processing Unit,中央处理器)和嵌入式设备。
在另一种可能实现方式中,如上述图3所示,状态检测模型包括第二特征提取网络和分类网络。第二特征提取网络用于提取图像的特征,分类网络用于对特征图像进行分类检测。终端调用第二特征提取网络,对融合图像进行特征提取,得到第三特征图像,该第三特征图像用于表示融合图像的特征。终端调用分类网络,对第三特征图像进行分类检测,得到检测结果。
可选地,如上述图4所示,第二特征提取网络包括m个特征提取层,m为大于1的正整数。m个特征提取层之间按照顺序排列,且依次连接。则终端调用m个特征提取层,对融合图像依次进行特征提取,得到融合图像的第三特征图像,该第三特征图像用于表示融合图像的特征。其中,第二特征提取网络的m个特征提取层,与上述第一特征提取网络的n个特征提取层类似,在此不再一一赘述。
可选地,如上述图4所示,分类网络包括x个分类层,x为大于1的正整数。x个分类层之间按照顺序排列,且依次连接。其中,第一个分类层还与最后一个特征提取层连接。则最后一个特征提取层输出第三特征图像之后,终端调用x个分类层,对第三特征图像依次进行分类检测,得到检测结果。
可选地,本申请实施例中的分类层包括全连接单元,终端调用全连接单元对第三特征图像进行全连接处理,来得到第三特征图像的检测结果。
以第二特征提取网络包括5个特征提取层,分类网络包括3个分类层为例进行说明,则如图10所示,该步骤604包括:
1001、调用5个特征提取层,依次对融合图像进行特征提取,得到第三特征图像。可选地,融合图像的大小为640*480*4,也即是该融合图像的通道数为4。每个特征提取层包括卷积单元和激活单元,卷积单元的核大小为4,步长为2,则输出的第三特征图像的通道数为256。该步骤1001与上述步骤901-905类似,在此不再一一赘述。
1002、调用第一个分类层,对第三特征图像进行分类检测,得到检测结果1。可选地,检测结果1中包括1024个数值。
1003、调用第二个分类层,对检测结果1进行分类检测,得到检测结果2。可选地,检测结果2中包括512个数值。
1004、调用第三个分类层,对检测结果2进行分类检测,得到检测结果3。可选地,检测结果3中包括2个数值,这两个分类数值即可表示虚拟对象是否处于被阻挡状态。
在一种可能实现方式中,检测结果包括第一数值和第二数值,第一数值表示虚拟对象处于被阻挡状态的概率,第二数值表示对象虚拟对象未处于被阻挡状态的概率。则在第一数值大于第二数值的情况下,检测结果用于表示虚拟对象处于被阻挡状态。在第一数值不大于第二数值的情况下,检测结果用于表示虚拟对象未处于被阻挡状态。可选地,该状态检测模型为二分类模型,该状态检测模型输出的检测结果为二维向量,二维向量中包括第一数值和第二数值,且第一数值和第二数值的和为1。例如,第一数值为0.6,第二数值为0.4,则第一数值大于第二数值,检测结果用于表示虚拟对象处于被阻挡状态。
在另一种可能实现方式中,检测结果包括第一数值,第一数值表示虚拟对象处于被阻挡状态的概率。则在第一数值大于目标阈值的情况下,检测结果用于表示虚拟对象处于被阻挡状态。在第一数值不大于目标阈值的情况下,检测结果用于表示虚拟对象未处于被阻挡状态。该目标阈值可以根据第一数值的取值范围进行设置,例如当第一数值的取值范围为0到1时,可以将目标阈值设置为0.8,则当第一数值大于0.8时,检测结果用于表示虚拟对象处于被阻挡状态。
需要说明的是,该状态检测模型为终端中存储的预先训练好的模型,该状态检测模型为终端训练的模型或者为其他设备训练的模型。其中,该状态检测模型的训练过程详见下述图13对应的实施例,在此暂不作说明。
605、在检测结果用于表示目标图像中的虚拟对象处于被阻挡状态的情况下,终端控制虚拟对象退出被阻挡状态。
在检测结果用于表示目标图像中的虚拟对象处于被阻挡状态的情况下,虚拟对象无法向前进行移动,为了避免虚拟对象在同一地点耗费时间较多,使虚拟对象继续移动,提高控制虚拟对象的效率,则终端控制虚拟对象退出被阻挡状态。
在一种可能实现方式中,终端控制虚拟对象向与当前移动方向不同的方向移动,以使虚拟对象退出被阻挡状态。或者,控制虚拟对象执行翻越动作,以使虚拟对象退出被阻挡状态。或者,终端还可以控制虚拟对象执行其他动作,以退出被阻挡状态,如飞行或者使用手雷轰炸障碍物等,本申请实施例对此不做限定。
在另一种可能实现方式中,在检测结果用于表示目标图像中的虚拟对象处于被阻挡状态的情况下,终端生成对象控制指令,将对象控制指令下发给目标应用程序,通过目标应用程序,根据该对象控制指令,控制虚拟对象退出被阻挡状态。
可选地,终端上运行有测试应用程序,如ADB(Android Debug Bridge,调试桥接器)等,该测试应用程序用于向目标应用程序下发指令,由目标应用程序对指令进行响应,来实现对目标应用程序的测试。例如,测试应用程序可模拟对终端的按键操作或者触屏操作等,从而生成指令。可选地,该对象控制指令为测试应用程序自动生成的,或者为测试应用程序根据用户操作生成的。
本申请实施例提供的方法,根据目标图像中的内容,以及目标图像中的像素点与虚拟对象之间的距离,来检测虚拟对象是否处于被阻挡状态,由于像素点与虚拟对象之间的距离属于静态的特征,因此仅需处理一张目标图像即可得到该距离,实现了根据内容信息和距离信息检测虚拟对象的状态,与根据虚拟对象在某一时间段内是否移动来检测虚拟对象的状态相比,本申请实施例的方法能够降低状态检测的延迟,并且一旦获取到目标图像即可进行及时地检测,提高了状态检测的效率。
并且,融合图像中既包括目标图像中的内容信息,又包括目标图像中的距离信息。因此根据融合图像中的距离信息,能够确定虚拟对象的前方是否存在虚拟物体,根据融合图像中的内容信息,能够确定虚拟对象前方的虚拟物体是否是虚拟障碍物,从而确定虚拟对象是否处于被阻挡状态,同时考虑了两种影响因素对检测结果的影响,能够提高状态检测的准确率。
并且,控制虚拟对象退出被阻挡状态,能够避免虚拟对象在同一地点耗费时间较多,使虚拟对象继续移动,提高控制虚拟对象的效率。
并且,本申请实施例提供了控制虚拟对象向与当前移动方向不同的方向移动,以及控制所述虚拟对象执行翻越动作两种方案,提高了控制虚拟对象的灵活性。
并且,调用特征提取模型来获取特征图像,能够提高获取的特征图像的准确率,后续根据该特征图像进行状态检测,能够进一步提高状态检测的准确性。调用状态检测模型来实现状态检测,能够提高状态检测的准确率。并且,采用调用模型的方式,进行虚拟对象的状态检测,无需人工设计规则,实现了状态检测的自动化和智能化。
图11是本申请实施例提供的一种特征提取模型的训练方法的流程图,训练的特征提取模型,可用于上述图6的实施例中。本申请实施例的执行主体为终端,该终端与上述图6的实施例中的终端为同一终端,或者为不同终端。参见图11,该方法包括:
1101、终端截取目标应用程序显示的场景画面,得到样本图像,并获取样本图像的样本特征图像。
终端中运行目标应用程序,目标应用程序显示虚拟场景的场景画面,由终端或者用户控制虚拟对象在该虚拟场景中进行移动,在此过程中,终端截取场景画面,得到样本图像,并获取样本特征图像,该样本特征图像每个像素点的像素值用于表示该样本图像中对应的像素点与样本图像中的虚拟对象之间的距离。
可选地,终端每隔目标时长截取一次样本图像,该目标时长为1秒、2秒或者5秒等。则终端通过执行该步骤1101,能够获取多个样本图像和对应的样本特征图像,构成样本数据集,并根据该样本数据集,执行下述步骤1102-1103,来训练特征提取模型。其中,通过控制虚拟对象移动,以遍历虚拟场景中的不同场景,使终端获取的样本图像各不相同,从而提高样本数据集的多样性,这样根据该样本数据集训练的特征提取模型拥有更强的泛化能力。
图12是本申请实施例提供的一种样本图像的示意图,参见图12,图12中包括样本图像1201和样本图像1202,样本图像1201对应的时间点在样本图像1202之前,当虚拟对象1200位于样本图像1201中的位置,控制虚拟对象进行移动之后,虚拟对象1200位于样本图像1202中的位置。
在一种可能实现方式中,终端截取目标应用程序显示的场景画面,得到样本图像,根据场景画面中的每个像素点与虚拟摄像头之间的距离,确定每个像素点在待生成的样本特征图像中的目标像素值,每个像素点的目标像素值用于表示目标图像中对应的像素点与场景画面中的虚拟对象之间的距离。并根据每个像素点的目标像素值,生成样本特征图像。
在目标应用程序运行过程中,目标应用程序获取虚拟场景数据以及虚拟对象的行为数据等目标数据,对目标数据进行渲染生成场景画面。其中,该目标数据中包括场景画面中的每个像素点与虚拟摄像头之间的距离。由于场景画面为虚拟对象视角范围内的虚拟场景,因此像素点与虚拟摄像头之间的距离,等效于该像素点与虚拟对象之间的距离。则终端获取到目标数据中包括的每个像素点对应的距离,即可根据该距离确定待生成的样本特征图像的像素点的像素值,生成样本特征图像。
可选地,在像素点对应的距离大于第一距离的情况下,终端将第一距离确定为该像素点在待生成的样本特征图像中的目标像素值;在像素点对应的距离小于第二距离的情况下,终端将第二距离确定为该像素点在待生成的样本特征图像中的目标像素值;在像素点对应的距离大于等于第二距离且小于等于第一距离的情况下,终端将该距离确定为该像素点在待生成的样本特征图像中的目标像素值。这样做能够将样本特征图像中的目标像素值控制在第二距离到第一距离之间,从而减小样本特征图像的动态范围,便于特征提取模型的训练。
例如,第一距离为100米,第二距离为5米。则像素点对应的距离大于100米时,将该像素点对应的目标像素值设置为100;像素点对应的距离小于5米时,将该像素点对应的目标像素值设置为5;像素点对应的距离在5米到100米之间时,则将该像素点对应的目标像素值设置为该距离。
可选地,目标应用程序中包括图像获取接口,该图像获取接口具有截取图像和生成对应的特征图像的功能,则终端调用该目标应用程序提供的图像获取接口,截取目标应用程序显示的场景画面,得到样本图像,根据场景画面中的每个像素点与虚拟摄像头之间的距离,确定每个像素点在待生成的样本特征图像中的目标像素值,根据每个像素点的目标像素值,生成样本特征图像。
通过执行上述步骤1101,终端获取到了样本图像和样本图像的样本特征图像。在另一实施例中,终端还可以采用其他方式获取样本图像和样本特征图像。
1102、终端调用特征提取模型,对样本图像进行特征提取,得到预测特征图像。
步骤1102与上述步骤602中调用特征提取模型获取特征图像的过程类似,在此不再一一赘述。
其中,预测特征图像中每个像素点的像素值用于表示样本图像中对应的像素点与虚拟对象之间的距离。该预测特征图像是通过模型进行预测所得到的特征图像,而样本特征图像是样本图像的真实的特征图像。
1103、终端根据预测特征图像和样本特征图像之间的差值,训练特征提取模型。
终端获取预测特征图像与样本特征图像之间的差值,该差值即为特征提取模型输出的预测特征图像的误差,则终端根据该误差对特征提取模型的模型参数进行调整,以使特征提取模型输出的预测特征图像与样本特征图像之间的差值越来越小,也即是使预测特征图像的误差越来越小,也即是使特征提取模型的准确率越来越高。
在一种可能实现方式中,样本特征图像包括多个样本像素点,预测特征图像包括多个预测像素点,样本特征图像中的样本像素点与预测特征图像中的预测像素点一一对应。终端根据每个预测像素点的像素值与对应的样本像素点的像素值之间的差值,训练特征提取模型。
可选地,终端根据如下公式,获取预测特征图像和样本特征图像之间的差值。
其中,Loss是预测特征图像和样本特征图像之间的差值,N是特征图像的像素点个数,dn是样本特征图像中第n个像素点对应的像素值,dn'是预测特征图像中第n个像素点对应的像素值。N为整数,n为不大于N的正整数。
可选地,终端得到差值之后,通过梯度后向传递的方式优化特征提取模型,直至该差值小于目标差值。
通过执行上述步骤1102-1103,实现了根据样本图像和样本特征图像,训练特征提取模型。
本申请实施例提供的方法,根据样本数据集训练特征提取模型,使得特征提取模型自动学习图像与特征图像之间的对应关系,从而调用特征提取模型来获取特征图像,能够提高获取的特征图像的准确率,后续根据该特征图像进行状态检测,能够提高状态检测的准确性。
并且,在收集用于训练特征提取模型的样本数据集时,通过控制虚拟对象移动,以遍历虚拟场景中的不同场景,使终端获取的样本图像各不相同,从而提高样本数据集的多样性,这样根据该样本数据集训练的特征提取模型拥有更强的泛化能力。
并且,将样本特征图像中的目标像素值控制在第二距离到第一距离之间,从而减小样本特征图像的动态范围,便于特征提取模型的训练。
图13是本申请实施例提供的一种状态检测模型的训练方法的流程图,训练的状态检测模型,可用于上述图6的实施例中。本申请实施例的执行主体为终端,该终端与上述图6和图13的实施例中的终端为同一终端,或者为不同终端。参见图13,该方法包括:
1301、终端获取样本图像和样本图像的样本检测结果。
样本检测结果用于表示样本图像中的虚拟对象是否处于被阻挡状态。终端获取多个样本图像和对应的样本检测结果,构成样本数据集,并根据该样本数据集,执行下述步骤1302-1305,来训练状态检测模型。
在一种可能实现方式中,在控制虚拟对象在虚拟场景中移动的过程中,终端录制当前显示的场景画面,得到录制视频,从录制视频中提取样本图像,获取样本图像对应的样本检测结果。其中,通过控制虚拟对象移动,以遍历虚拟场景中的不同场景,使终端提取的样本图像各不相同,从而提高样本数据集的多样性,能够覆盖更多虚拟对象处于被阻挡状态的场景,这样根据该样本数据集训练的状态检测模型拥有更强的泛化能力。
在收集样本数据集的过程中,由终端或者用户控制虚拟对象在虚拟场景中进行移动,以使虚拟对象在虚拟场景中处于被阻挡状态和未被阻挡状态。使得录制视频中既包括虚拟对象处于被阻挡状态的画面,也包括处于未被阻挡状态的画面。则从录制视频中提取的样本图像中包括正样本图像和负样本图像,其中,正样本图像中的虚拟对象处于被阻挡状态,负样本图像中的虚拟对象处于未被阻挡状态。然后通过人工标注的方式或者其他方式对样本图像进行区分,得到样本图像的样本检测结果,其中正样本图像的样本检测结果用于表示虚拟对象处于被阻挡状态,负样本图像的样本检测结果用于表示虚拟对象处于未被阻挡状态。
图14是本申请实施例提供的一种正样本图像的示意图,参见图14,正样本图像中的虚拟对象1401的前方存在墙壁1402,无法进行移动,因此该正样本图像中的虚拟对象1401处于被阻挡状态。
图15是本申请实施例提供的一种负样本图像的示意图,参见图15,负样本图像中的虚拟对象1501位于空地上,该虚拟对象的前方没有障碍物,因此该负样本图像中的虚拟对象1501处于未被阻挡状态。
1302、终端调用特征提取模型,对样本图像进行特征提取,得到预测特征图像。
预测特征图像中每个像素点的像素值用于表示样本图像中对应的像素点与样本图像中的虚拟对象之间的距离。
1303、终端将样本图像与预测特征图像进行融合,得到样本融合图像。
1304、终端调用状态检测模型,对样本融合图像进行检测,得到预测检测结果。
其中,该预测检测结果是通过模型进行检测所得到的检测结果,而样本检测结果是样本图像的真实的检测结果。
步骤1302-1303中的过程与上述602-604中调用模型对图像进行处理的过程类似,在此不再一一赘述。
1305、终端根据预测检测结果和样本检测结果之间的差值,训练状态检测模型。
终端获取预测检测结果与样本检测结果之间的差值,该差值即为状态检测模型输出的预测检测结果的误差,则终端根据该误差对状态检测模型的模型参数进行调整,以使状态检测模型输出的预测检测结果与样本检测结果之间的差值越来越小,也即是使预测检测结果的误差越来越小,也即是使状态检测模型的准确率越来越高。
在一种可能实现方式中,预测检测结果包括多个预测数值,样本检测结果包括多个样本数值,预测检测结果的预测数值与样本检测结果的样本数值一一对应。终端根据每个预测数值与对应的样本数值之间的差值,训练状态检测模型。
可选地,终端根据如下公式,获取预测检测结果和样本检测结果之间的差值。
其中,Loss是预测检测结果和样本检测结果之间的差值,ti是样本检测结果中的第i个样本数值,yi是预测检测结果中的第i个预测数值。
可选地,终端得到差值之后,通过迭代方式优化状态检测模型,直至该差值小于目标差值。
通过执行上述步骤1304-1305,实现了根据样本融合图像和样本检测结果,训练状态检测模型。
本申请实施例提供的方法,训练状态检测模型,使得状态检测模型自动学习图像与检测结果之间的对应关系,从而调用状态检测模型来实现状态检测,能够提高状态检测的准确率。
并且,在收集用于训练状态检测模型的样本数据集时,通过控制虚拟对象移动,以遍历虚拟场景中的不同场景,使终端提取的样本图像各不相同,从而提高样本数据集的多样性,能够覆盖更多虚拟对象处于被阻挡状态的场景,这样根据该样本数据集训练的状态检测模型拥有更强的泛化能力。
图16是本申请实施例提供的一种模型训练方法的流程图,参见图16,训练过程包括:
1601、收集特征数据集,该特征数据集中包括样本图像和样本图像的特征图像;
1602、根据特征数据集,训练特征提取模型;
1603、收集状态数据集,该状态数据集中包括样本图像和样本图像的样本检测结果;
1604、调用训练好的特征提取模型,确定样本图像的特征图像;
1605、根据状态数据集和确定的特征图像,训练状态检测模型。
图17是本申请实施例提供的一种虚拟对象的状态检测装置的结构示意图。参见图17,该装置包括:
图像获取模块1701,用于获取目标图像,目标图像中包括虚拟对象;
特征提取模块1702,用于对目标图像进行特征提取,得到特征图像,特征图像中每个像素点的像素值用于表示目标图像中对应的像素点与虚拟对象之间的距离;
图像融合模块1703,用于将目标图像与特征图像进行融合,得到融合图像,融合图像包括目标图像中的内容信息和特征图像中的距离信息;
图像检测模块1704,用于基于内容信息和距离信息,对融合图像进行检测,得到检测结果,检测结果用于表示目标图像中的虚拟对象是否处于被阻挡状态。
可选地,参见图18,图像融合模块1703,包括:
图像融合单元1713,用于将特征图像与目标图像中的至少一个通道图像进行融合,得到融合图像。
可选地,参见图18,图像获取模块1701,包括:
图像截取单元1711,用于截取目标应用程序显示的场景画面,得到目标图像。
可选地,参见图18,图像截取单元1711,用于:
调用目标应用程序提供的图像获取接口,截取目标应用程序显示的场景画面,得到目标图像;或者,
在目标应用程序显示场景画面的过程中执行截图操作,得到目标图像。
可选地,参见图18,装置还包括:
对象控制模块1705,用于在检测结果用于表示目标图像中的虚拟对象处于被阻挡状态的情况下,控制虚拟对象退出被阻挡状态。
可选地,参见图18,对象控制模块1705,包括:
移动控制单元1715,用于控制虚拟对象向与当前移动方向不同的方向移动,以使虚拟对象退出被阻挡状态;或者,
翻越控制单元1725,用于控制虚拟对象执行翻越动作,以使虚拟对象退出被阻挡状态。
可选地,参见图18,对象控制模块1705,包括:
指令生成单元1735,用于在检测结果用于表示目标图像中的虚拟对象处于被阻挡状态的情况下,生成对象控制指令;
指令下发单元1745,用于将对象控制指令下发给目标应用程序;
对象控制单元1755,用于通过目标应用程序,根据对象控制指令,控制虚拟对象退出被阻挡状态。
可选地,参见图18,特征提取模块1702,包括:
特征提取单元1712,用于调用特征提取模型,对目标图像进行特征提取,得到特征图像。
可选地,参见图18,特征提取模型包括第一特征提取网络和尺寸调整网络,特征提取单元1712,用于:
调用第一特征提取网络,对目标图像进行特征提取,得到第一特征图像;
调用尺寸调整网络,对第一特征图像进行尺寸调整,得到特征图像。
可选地,参见图18,第一特征提取网络包括按照顺序排列的n个特征提取层,n为大于1的正整数,特征提取单元1712,用于:
调用n个特征提取层,对目标图像依次进行特征提取,分别得到n个特征提取层输出的第一特征图像。
可选地,参见图18,尺寸调整网络包括n个尺寸调整层,特征提取单元1712,用于:
调用尺寸调整网络中的第一个尺寸调整层,对第一个尺寸调整层对应的特征提取层输出的第一特征图像进行尺寸调整,得到第二特征图像;
调用尺寸调整网络中的第二个尺寸调整层,对第二个尺寸调整层对应的特征提取层输出的第一特征图像和上一个尺寸调整层输出的第二特征图像进行尺寸调整,得到下一个第二特征图像,直至得到尺寸调整网络中的最后一个尺寸调整层输出的特征图像;
其中,第k个尺寸调整层与第n+1-k个特征提取层对应,k为不大于n的正整数。
可选地,参见图18,装置还包括:
第一样本获取模块1706,用于获取样本图像和样本图像的样本特征图像,样本特征图像每个像素点的像素值用于表示样本图像中对应的像素点与样本图像中的虚拟对象之间的距离;
特征提取模型训练模块1707,用于根据样本图像和样本特征图像,训练特征提取模型。
可选地,参见图18,第一样本获取模块1706,包括:
图像获取单元1716,用于截取目标应用程序显示的场景画面,得到样本图像,并获取样本图像的样本特征图像。
可选地,参见图18,图像获取单元1716,用于:
截取目标应用程序显示的场景画面,得到样本图像;
根据场景画面中的每个像素点与虚拟摄像头之间的距离,确定每个像素点在待生成的样本特征图像中的目标像素值,每个像素点的目标像素值用于表示目标图像中对应的像素点与场景画面中的虚拟对象之间的距离;
根据每个像素点的目标像素值,生成样本特征图像。
可选地,参见图18,图像检测模块1704,包括:
图像检测单元1714,用于调用状态检测模型,对融合图像进行检测,得到检测结果。
可选地,参见图18,状态检测模型包括第二特征提取网络和分类网络,图像检测单元1714,用于:
调用第二特征提取网络,对融合图像进行特征提取,得到第三特征图像,第三特征图像用于表示融合图像的特征;
调用分类网络,对第三特征图像进行分类检测,得到检测结果。
可选地,参见图18,装置还包括:
第二样本获取模块1708,用于获取样本图像和样本图像的样本检测结果,样本检测结果用于表示样本图像中的虚拟对象是否处于被阻挡状态;
特征提取模块1702,还用于调用特征提取模型,对样本图像进行特征提取,得到预测特征图像,预测特征图像中每个像素点的像素值用于表示样本图像中对应的像素点与样本图像中的虚拟对象之间的距离;
图像融合模块1703,还用于将样本图像与预测特征图像进行融合,得到样本融合图像;
状态检测模型训练模块1709,用于根据样本融合图像和样本检测结果,训练状态检测模型。
可选地,参见图18,第二样本获取模块1708,包括:
视频录制单元1718,用于在控制虚拟对象在虚拟场景中移动的过程中,录制当前显示的场景画面,得到录制视频;
图像提取单元1728,用于从录制视频中提取样本图像,样本图像包括正样本图像和负样本图像,正样本图像中的虚拟对象处于被阻挡状态,负样本图像中的虚拟对象处于未被阻挡状态;
检测结果获取单元1738,用于获取样本图像对应的样本检测结果,正样本图像的样本检测结果用于表示虚拟对象处于被阻挡状态,负样本图像的样本检测结果用于表示虚拟对象处于未被阻挡状态。
需要说明的是:上述实施例提供的虚拟对象的状态检测装置在对虚拟对象进行状态检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的虚拟对象的状态检测装置与虚拟对象的状态检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供的装置,根据目标图像中的内容,以及目标图像中的像素点与虚拟对象之间的距离,来检测虚拟对象是否处于被阻挡状态,由于像素点与虚拟对象之间的距离属于静态的特征,因此仅需处理一张目标图像即可得到该距离,实现了根据内容信息和距离信息检测虚拟对象的状态,与根据虚拟对象在某一时间段内是否移动来检测虚拟对象的状态相比,能够降低状态检测的延迟,并且一旦获取到目标图像即可进行及时地检测,提高了状态检测的效率。
并且,融合图像中既包括目标图像中的内容信息,又包括目标图像中的距离信息。因此根据融合图像中的距离信息,能够确定虚拟对象的前方是否存在虚拟物体,根据融合图像中的内容信息,能够确定虚拟对象前方的虚拟物体是否是虚拟障碍物,从而确定虚拟对象是否处于被阻挡状态,同时考虑了两种影响因素对检测结果的影响,能够提高状态检测的准确率。
并且,控制虚拟对象退出被阻挡状态,能够避免虚拟对象在同一地点耗费时间较多,使虚拟对象继续移动,提高控制虚拟对象的效率。
并且,本申请实施例提供了控制虚拟对象向与当前移动方向不同的方向移动,以及控制所述虚拟对象执行翻越动作两种方案,提高了控制虚拟对象的灵活性。
并且,调用特征提取模型来获取特征图像,能够提高获取的特征图像的准确率,后续根据该特征图像进行状态检测,能够进一步提高状态检测的准确性。调用状态检测模型来实现状态检测,能够提高状态检测的准确率。并且,采用调用模型的方式,进行虚拟对象的状态检测,无需人工设计规则,实现了状态检测的自动化和智能化。
图19示出了本申请一个示例性实施例提供的终端1900的结构示意图。终端1900可以用于执行上述虚拟对象的状态检测方法中终端所执行的步骤。
通常,终端1900包括有:处理器1901和存储器1902。
处理器1901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1901可以集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1902中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器1901所具有以实现本申请中方法实施例提供的虚拟对象的状态检测方法。
在一些实施例中,终端1900还可选包括有:外围设备接口1903和至少一个外围设备。处理器1901、存储器1902和外围设备接口1903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1903相连。具体地,外围设备包括:射频电路1904、显示屏1905、摄像头组件1906、音频电路1907、定位组件1908和电源1909中的至少一种。
外围设备接口1903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1901和存储器1902。在一些实施例中,处理器1901、存储器1902和外围设备接口1903被集成在同一芯片或电路板上;在一些其他实施例中,处理器1901、存储器1902和外围设备接口1903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1904可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1905是触摸显示屏时,显示屏1905还具有采集在显示屏1905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1901进行处理。此时,显示屏1905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1905可以为一个,设置在终端1900的前面板;在另一些实施例中,显示屏1905可以为至少两个,分别设置在终端1900的不同表面或呈折叠设计;在另一些实施例中,显示屏1905可以是柔性显示屏,设置在终端1900的弯曲表面上或折叠面上。甚至,显示屏1905还可以设置成非矩形的不规则图形,也即异形屏。显示屏1905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1906用于采集图像或视频。可选地,摄像头组件1906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端1900的前面板,后置摄像头设置在终端1900的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1901进行处理,或者输入至射频电路1904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1901或射频电路1904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1907还可以包括耳机插孔。
定位组件1908用于定位终端1900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1908可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1909用于为终端1900中的各个组件进行供电。电源1909可以是交流电、直流电、一次性电池或可充电电池。当电源1909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1900还包括有一个或多个传感器1910。该一个或多个传感器1910包括但不限于:加速度传感器1911、陀螺仪传感器1912、压力传感器1913、指纹传感器1914、光学传感器1915以及接近传感器1916。
加速度传感器1911可以检测以终端1900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1911可以用于检测重力加速度在三个坐标轴上的分量。处理器1901可以根据加速度传感器1911采集的重力加速度信号,控制显示屏1905以横向视图或纵向视图进行用户界面的显示。加速度传感器1911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1912可以检测终端1900的机体方向及转动角度,陀螺仪传感器1912可以与加速度传感器1911协同采集用户对终端1900的3D动作。处理器1901根据陀螺仪传感器1912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1913可以设置在终端1900的侧边框和/或显示屏1905的下层。当压力传感器1913设置在终端1900的侧边框时,可以检测用户对终端1900的握持信号,由处理器1901根据压力传感器1913采集的握持信号进行左右手识别或快捷操作。当压力传感器1913设置在显示屏1905的下层时,由处理器1901根据用户对显示屏1905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1914用于采集用户的指纹,由处理器1901根据指纹传感器1914采集到的指纹识别用户的身份,或者,由指纹传感器1914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1901授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1914可以被设置在终端1900的正面、背面或侧面。当终端1900上设置有物理按键或厂商Logo时,指纹传感器1914可以与物理按键或厂商标志集成在一起。
光学传感器1915用于采集环境光强度。在一个实施例中,处理器1901可以根据光学传感器1915采集的环境光强度,控制显示屏1905的显示亮度。具体地,当环境光强度较高时,调高显示屏1905的显示亮度;当环境光强度较低时,调低显示屏1905的显示亮度。在另一个实施例中,处理器1901还可以根据光学传感器1915采集的环境光强度,动态调整摄像头组件1906的拍摄参数。
接近传感器1916,也称距离传感器,通常设置在终端1900的前面板。接近传感器1916用于采集用户与终端1900的正面之间的距离。在一个实施例中,当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变小时,由处理器1901控制显示屏1905从亮屏状态切换为息屏状态;当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变大时,由处理器1901控制显示屏1905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图19中示出的结构并不构成对终端1900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种用于虚拟对象的状态检测的终端,该终端包括处理器和存储器,存储器中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的虚拟对象的状态检测方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的虚拟对象的状态检测方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机程序代码,计算机程序代码存储在计算机可读存储介质中,终端的处理器从计算机可读存储介质读取计算机程序代码,处理器执行计算机程序代码,使得终端实现如上述实施例的虚拟对象的状态检测方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种虚拟对象的状态检测方法,其特征在于,所述方法包括:
获取目标图像,所述目标图像中包括虚拟对象;
对所述目标图像进行特征提取,得到特征图像,所述特征图像中每个像素点的像素值用于表示所述目标图像中对应的像素点与所述虚拟对象之间的距离;
将所述目标图像与所述特征图像进行融合,得到融合图像,所述融合图像包括所述目标图像中的内容信息和所述特征图像中的距离信息;
基于所述内容信息和所述距离信息,对所述融合图像进行检测,得到检测结果,所述检测结果用于表示所述目标图像中的虚拟对象是否处于被阻挡状态。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像与所述特征图像进行融合,得到融合图像,包括:
将所述特征图像与所述目标图像中的至少一个通道图像进行融合,得到所述融合图像。
3.根据权利要求1所述的方法,其特征在于,所述获取目标图像,包括:
调用所述目标应用程序提供的图像获取接口,截取所述目标应用程序显示的场景画面,得到所述目标图像;或者,
在所述目标应用程序显示场景画面的过程中执行截图操作,得到所述目标图像。
4.根据权利要求1所述的方法,其特征在于,所述基于所述内容信息和所述距离信息,对所述融合图像进行检测,得到检测结果之后,所述方法还包括:
在所述检测结果用于表示所述目标图像中的虚拟对象处于被阻挡状态的情况下,控制所述虚拟对象退出所述被阻挡状态。
5.根据权利要求1所述的方法,其特征在于,所述对所述目标图像进行特征提取,得到特征图像,包括:
调用特征提取模型中的第一特征提取网络,对所述目标图像进行特征提取,得到第一特征图像;
调用所述特征提取模型中的尺寸调整网络,对所述第一特征图像进行尺寸调整,得到所述特征图像。
6.根据权利要求5所述的方法,其特征在于,所述第一特征提取网络包括按照顺序排列的n个特征提取层,所述n为大于1的正整数,所述调用特征提取模型中的第一特征提取网络,对所述目标图像进行特征提取,得到第一特征图像,包括:
调用所述n个特征提取层,对所述目标图像依次进行特征提取,分别得到所述n个特征提取层输出的第一特征图像。
7.根据权利要求6所述的方法,其特征在于,所述尺寸调整网络包括所述n个尺寸调整层,所述调用所述特征提取模型中的尺寸调整网络,对所述第一特征图像进行尺寸调整,得到所述特征图像,包括:
调用所述尺寸调整网络中的第一个尺寸调整层,对所述第一个尺寸调整层对应的特征提取层输出的第一特征图像进行尺寸调整,得到第二特征图像;
调用所述尺寸调整网络中的第二个尺寸调整层,对所述第二个尺寸调整层对应的特征提取层输出的第一特征图像和上一个尺寸调整层输出的第二特征图像进行尺寸调整,得到下一个第二特征图像,直至得到所述尺寸调整网络中的最后一个尺寸调整层输出的特征图像;
其中,第k个尺寸调整层与第n+1-k个特征提取层对应,所述k为不大于n的正整数。
8.根据权利要求5所述的方法,其特征在于,所述调用特征提取模型中的第一特征提取网络,对所述目标图像进行特征提取,得到第一特征图像之前,所述方法还包括:
获取样本图像和所述样本图像的样本特征图像,所述样本特征图像每个像素点的像素值用于表示所述样本图像中对应的像素点与所述样本图像中的虚拟对象之间的距离;
根据所述样本图像和所述样本特征图像,训练所述特征提取模型。
9.根据权利要求8所述的方法,其特征在于,所述获取样本图像和所述样本图像的样本特征图像,包括:
截取所述目标应用程序显示的场景画面,得到样本图像;
根据所述场景画面中的每个像素点与虚拟摄像头之间的距离,确定每个像素点在待生成的样本特征图像中的目标像素值,所述每个像素点的目标像素值用于表示所述目标图像中对应的像素点与所述场景画面中的虚拟对象之间的距离;
根据所述每个像素点的目标像素值,生成所述样本特征图像。
10.根据权利要求1所述的方法,其特征在于,所述基于所述内容信息和所述距离信息,对所述融合图像进行检测,得到检测结果,包括:
调用状态检测模型中的第二特征提取网络,基于所述内容信息和所述距离信息,对所述融合图像进行特征提取,得到第三特征图像,所述第三特征图像用于表示所述融合图像的特征;
调用所述状态检测模型中的分类网络,对所述第三特征图像进行分类检测,得到所述检测结果。
11.根据权利要求10所述的方法,其特征在于,所述调用状态检测模型中的第二特征提取网络,基于所述内容信息和所述距离信息,对所述融合图像进行特征提取,得到第三特征图像之前,所述方法还包括:
获取样本图像和所述样本图像的样本检测结果,所述样本检测结果用于表示所述样本图像中的虚拟对象是否处于被阻挡状态;
调用特征提取模型,对所述样本图像进行特征提取,得到预测特征图像,所述预测特征图像中每个像素点的像素值用于表示所述样本图像中对应的像素点与所述样本图像中的虚拟对象之间的距离;
将所述样本图像与所述预测特征图像进行融合,得到样本融合图像;
根据所述样本融合图像和所述样本检测结果,训练所述状态检测模型。
12.根据权利要求11所述的方法,其特征在于,所述获取样本图像和所述样本图像的样本检测结果,包括:
在控制虚拟对象在虚拟场景中移动的过程中,录制当前显示的场景画面,得到录制视频;
从所述录制视频中提取样本图像,所述样本图像包括正样本图像和负样本图像,所述正样本图像中的所述虚拟对象处于被阻挡状态,所述负样本图像中的所述虚拟对象处于未被阻挡状态;
获取所述样本图像的样本检测结果,所述正样本图像的样本检测结果用于表示所述虚拟对象处于被阻挡状态,所述负样本图像的样本检测结果用于表示所述虚拟对象处于未被阻挡状态。
13.一种虚拟对象的状态检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取目标图像,所述目标图像中包括虚拟对象;
特征提取模块,用于对所述目标图像进行特征提取,得到特征图像,所述特征图像中每个像素点的像素值用于表示所述目标图像中对应的像素点与所述虚拟对象之间的距离;
图像融合模块,用于将所述目标图像与所述特征图像进行融合,得到融合图像,所述融合图像包括所述目标图像中的内容信息和所述特征图像中的距离信息;
图像检测模块,用于基于所述内容信息和所述距离信息,对所述融合图像进行检测,得到检测结果,所述检测结果用于表示所述目标图像中的虚拟对象是否处于被阻挡状态。
14.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至12任一所述的虚拟对象的状态检测方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至12任一所述的虚拟对象的状态检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010863108.9A CN111921199B (zh) | 2020-08-25 | 2020-08-25 | 虚拟对象的状态检测方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010863108.9A CN111921199B (zh) | 2020-08-25 | 2020-08-25 | 虚拟对象的状态检测方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111921199A true CN111921199A (zh) | 2020-11-13 |
CN111921199B CN111921199B (zh) | 2023-09-26 |
Family
ID=73305195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010863108.9A Active CN111921199B (zh) | 2020-08-25 | 2020-08-25 | 虚拟对象的状态检测方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111921199B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220446A (zh) * | 2021-03-26 | 2021-08-06 | 西安神鸟软件科技有限公司 | 一种图像或视频数据处理方法及终端设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004318A (ja) * | 2005-06-22 | 2007-01-11 | Sega Corp | 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体 |
CN109334563A (zh) * | 2018-08-31 | 2019-02-15 | 江苏大学 | 一种基于道路前方行人和骑行者的防碰撞预警方法 |
CN109479093A (zh) * | 2016-07-22 | 2019-03-15 | 索尼公司 | 图像处理装置和图像处理方法 |
CN111068323A (zh) * | 2019-12-20 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 智能速度检测方法、装置、计算机设备及存储介质 |
CN111462237A (zh) * | 2020-04-03 | 2020-07-28 | 清华大学 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
CN113435367A (zh) * | 2021-06-30 | 2021-09-24 | 北大方正集团有限公司 | 社交距离评估方法、装置及存储介质 |
-
2020
- 2020-08-25 CN CN202010863108.9A patent/CN111921199B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004318A (ja) * | 2005-06-22 | 2007-01-11 | Sega Corp | 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体 |
CN109479093A (zh) * | 2016-07-22 | 2019-03-15 | 索尼公司 | 图像处理装置和图像处理方法 |
CN109334563A (zh) * | 2018-08-31 | 2019-02-15 | 江苏大学 | 一种基于道路前方行人和骑行者的防碰撞预警方法 |
CN111068323A (zh) * | 2019-12-20 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 智能速度检测方法、装置、计算机设备及存储介质 |
CN111462237A (zh) * | 2020-04-03 | 2020-07-28 | 清华大学 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
CN113435367A (zh) * | 2021-06-30 | 2021-09-24 | 北大方正集团有限公司 | 社交距离评估方法、装置及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220446A (zh) * | 2021-03-26 | 2021-08-06 | 西安神鸟软件科技有限公司 | 一种图像或视频数据处理方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111921199B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109091869B (zh) | 虚拟对象的动作控制方法、装置、计算机设备及存储介质 | |
CN111079576A (zh) | 活体检测方法、装置、设备及存储介质 | |
KR20210111833A (ko) | 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체 | |
CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
CN113395542B (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
CN111242090B (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
CN111701238A (zh) | 虚拟画卷的显示方法、装置、设备及存储介质 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN110544272A (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
CN111541907A (zh) | 物品显示方法、装置、设备及存储介质 | |
CN112272311B (zh) | 花屏修复方法、装置、终端、服务器及介质 | |
CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN110837858B (zh) | 网络模型训练方法、装置、计算机设备及存储介质 | |
CN111489378A (zh) | 视频帧特征提取方法、装置、计算机设备及存储介质 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN110991457B (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
US20230072762A1 (en) | Method and apparatus for displaying position mark, device, and storage medium | |
CN113205515B (zh) | 目标检测方法、装置、及计算机存储介质 | |
CN115019050A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111178343A (zh) | 基于人工智能的多媒体资源检测方法、装置、设备及介质 | |
CN111068323B (zh) | 智能速度检测方法、装置、计算机设备及存储介质 | |
CN113570614A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111768507B (zh) | 图像融合方法、装置、计算机设备及存储介质 | |
CN112306332B (zh) | 确定选中目标的方法、装置、设备及存储介质 | |
CN111921199B (zh) | 虚拟对象的状态检测方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |