CN110598700A - 对象的显示方法和装置、存储介质及电子装置 - Google Patents

对象的显示方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110598700A
CN110598700A CN201910872153.8A CN201910872153A CN110598700A CN 110598700 A CN110598700 A CN 110598700A CN 201910872153 A CN201910872153 A CN 201910872153A CN 110598700 A CN110598700 A CN 110598700A
Authority
CN
China
Prior art keywords
area
image
video
target
video picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910872153.8A
Other languages
English (en)
Other versions
CN110598700B (zh
Inventor
李廷天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910872153.8A priority Critical patent/CN110598700B/zh
Publication of CN110598700A publication Critical patent/CN110598700A/zh
Application granted granted Critical
Publication of CN110598700B publication Critical patent/CN110598700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种对象的显示方法和装置、存储介质及电子装置。其中,该方法包括:在待处理的游戏视频的第一视频画面中,检测到所述第一视频画面中处于隐身状态的目标对象;确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;在所述第一视频画面中显示第一区域标记。通过本发明,解决了相关技术中游戏视频画面的显示方式,存在由于观看者无法通过视频画面快速准确了解对战过程导致用户体验差的技术问题。

Description

对象的显示方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种。
背景技术
目前,对于对战类游戏,玩家有可以进行直播或者上传游戏视频进行分享。游戏直播或者游戏视频的观看者可以通过观看直播或者观看视频,并结合直播的解说以及视频的解说音频了解对战过程。
观看者在观看直播或者游戏视频时,除了比赛的进展,往往更关注游戏中的精彩对战场景,以及在对战中起到关键作用的英雄角色的动态。
然而,即使有解说的语音辅助,由于受用户终端的屏幕显示区域大小、以及对战局势无法提前预测且变化较快的影响,观看者无法通过视频画面快速准确的了解对战过程。
因此,相关技术中游戏视频画面的显示方式,存在由于观看者无法通过视频画面快速准确了解对战过程导致用户观看体验差的问题。
发明内容
本发明实施例提供了一种,以至少解决相关技术中游戏视频画面的显示方式,存在由于观看者无法通过视频画面快速准确了解对战过程导致用户体验差的技术问题。
根据本发明实施例的一个方面,提供了一种对象的显示方法,包括:在待处理的游戏视频的第一视频画面中,检测到所述第一视频画面中处于隐身状态的目标对象;确定用于表示第一区域的第一区域标记,其中,所述第一区域为所述目标对象在所述第一视频画面中所在的区域;在所述第一视频画面中显示所述第一区域标记。
根据本发明实施例的另一方面,还提供了一种对象的显示装置,包括:第一检测单元,用于在待处理的游戏视频的第一视频画面中,检测到所述第一视频画面中处于隐身状态的目标对象;第一确定单元,用于确定用于表示第一区域的第一区域标记,其中,所述第一区域为所述目标对象在所述第一视频画面中所在的区域;第一显示单元,用于在所述第一视频画面中显示所述第一区域标记。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述对象的显示方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的对象的显示方法。
在本发明实施例中,采用检测并标记待处理的游戏视频的视频画面中处于隐身状态的目标对象的方式,通过在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;在第一视频画面中显示第一区域标记,由于处于隐身状态的目标对象(对战英雄角色)一般会伴随着高频率的特殊事件(如偷袭、逃生等),通过标记处于隐身状态的目标对象所在区域,可以让观看者更容易将注意力集中到游戏视频中处于隐身状态的目标对象上,从而可以快速准确了解对战过程,提升用户观看体验的技术效果,进而解决了相关技术中游戏视频画面的显示方式,存在由于观看者无法通过视频画面快速准确了解对战过程导致用户体验差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种对象的显示方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的对象的显示方法的流程示意图;
图3是根据本发明实施例的一种可选的对象的显示方法的示意图;
图4是根据本发明实施例的另一种可选的对象的显示方法的示意图;
图5是根据本发明实施例的又一种可选的对象的显示方法的示意图;
图6是根据本发明实施例的又一种可选的对象的显示方法的示意图;
图7是根据本发明实施例的又一种可选的对象的显示方法的示意图;
图8是根据本发明实施例的另一种可选的对象的显示方法的流程示意图;
图9是根据本发明实施例的一种可选的对象的显示装置的结构示意图;
图10是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例中涉及到的技术术语包括:
(1)CNN:Convolutional Neural Network,卷积神经网络;
(2)MOBA:Multiplayer Online Battle Arena,多人在线战术竞技游戏;
(3)RPG:Role-playing game,角色扮演游戏;
(4)Mask:图片分割应用中用来指示图片中哪些像素含有非背景的物体,为0的部分为背景,其他数值为前景物体;
(5)Pattern:图案样式;
(6)PASCAL VOC 2012:一种包含图像识别、分割任务的数据集;
(7)fine-tune:在预训练的网络上进行调参,用以缩短训练时间;
(8)precision:精确率,用于表示预测为正的样本中预测正确的样本与全部预测为正的样本之间的比例;
(9)recall:召回率,用于表示实标签为正的样本中预测正确的样本与实标签为正的样本之间的比例;
(10)accuracy:准确率,用于表示预测正确的样本与全部预测样本之间的比例。
根据本发明实施例的一个方面,提供了一种对象的显示方法。可选地,上述对象的显示方法可以但不限于应用于如图1所示的应用环境中。如图1所示,终端设备102通过网络104与服务器106相连,可以通过网络104从服务器106获取待处理的游戏视频。
终端设备102可以在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;在第一视频画面中显示第一区域标记。
可选地,在本实施例中,终端设备可以是用于对游戏视频进行处理和显示的设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。上述只是一种示例,本实施例对此不做任何限定。
可选地,在本实施例中,作为一种可选的实施方式,该方法可以由终端设备执行,也可以由服务器执行,或者由服务器和终端设备共同执行,本实施例中,以由终端设备执行为例进行说明。如图2所示,上述对象的显示方法的流程可以包括步骤:
步骤S202,在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;
步骤S204,确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;
步骤S206,在第一视频画面中显示第一区域标记。
可选地,上述对象的显示方法可以但不限于应用于使用客户端进行游戏直播的过程中、观看已上传的游戏视频的过程中或者其他与显示游戏视频有关的场景中。
可选地,对于对战类游戏,在游戏中如果有人物英雄躲在草丛中,则该人物可以处于隐身状态。由于处于隐身的特殊状态,其不会被对方(对战方英雄)所发现。因此,处于隐身状态的英雄往往伴随着高频率的精彩事件(如,偷袭、逃生等)。在游戏视频中检测出隐身的人物可以更好的标注精彩事件,标出它们更可以让观看者更容易使注意力集中到视频中特殊状态的隐身人物。
例如,对于游戏直播,游戏的直播者可以在游戏的过程中,将直播的游戏画面投射到特定区域,以便在观看者的屏幕上显示游戏画面。在观看者(可以是直播者本人)的终端设备上显示游戏画面(游戏视频的视频画面)中。如图3所示,游戏视频中有英雄躲藏在草丛中,英雄隐身,视频画面中可以看到英雄在草丛中显示为半透明隐身状态(如图3中的虚线框中),此时敌方(对战方英雄)无法发现他。因此,他可以躲避敌人的攻击,或者,选择偷袭路过的敌人。在检测到该人物藏在草丛后,可以让后台更加容易筛选编辑出如隐身偷袭、隐身逃避追杀的精彩事件,还可以在视频中设定一个固定大小的框标出该人物,使观众能更加注意到躲藏在草丛中的隐身人物,从而不会错过精彩事件。可以通过调整方框的宽度和颜色,以显著的标记出隐身英雄。
相关技术中,在游戏直播或者上传的游戏视频中并不会标记处隐身英雄,受用户终端的屏幕显示区域大小、以及对战局势无法提前预测且变化较快的影响,观看者无法通过视频画面快速准确的了解对战过程。即使通过人工观看视频并手动框出在游戏视频中人物是否在草丛中,但是,由于直播的实时性,上述方式并不适用于游戏直播。并且,查看视频的人物需要耗费大量时间观看游戏视频并去标注哪个人物在哪段时间在草丛中处于隐身状态,因此,通过手工标注隐身人物的方式存在标注成本高、标注时间慢的问题。
通过本实施例,通过在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;在第一视频画面中显示第一区域标记,由于处于隐身状态的目标对象一般会伴随着高频率的特殊事件,通过标记处于隐身状态的目标对象所在区域,可以让观看者更容易将注意力集中到游戏视频中处于隐身状态的目标对象上,从而可以快速准确了解对战过程;并且,由于自动对隐身人物进行标记,可以降低手工标注隐身人物的标注人本、缩短标注时间,解决了相关技术中游戏视频画面的显示方式,存在由于观看者无法通过视频画面快速准确了解对战过程导致用户体验差的技术问题,提升了用户观看体验。
下面结合图2对本实施例中上述对象的显示方法进行说明。
在步骤S202中,在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象。
对于直播的游戏视频或者用户上传的游戏视频,可以对游戏视频中的视频画面进行处理,检测视频画面中是否有处于隐身状态的目标对象。待处理的视频画面可以是全部的视频画面,也可以使按照预定周期对游戏视频中的视频画面进行采样,将采样得到的视频画面作为待处理的视频画面。
例如,可以按照预定周期对用户上传的视频画面进行采样,上述预定周期与游戏视频的帧率(FPS,Frames Per Second)相对应,游戏视频的帧率可以是24帧每秒,可以按照每隔一帧采集一次的频率对游戏视频进行采样(预定周期为1/12s),采样得到的视频画面可以依次作为第一视频画面进行处理,检测第一视频画面中是否有处于隐身状态的目标对象。
可选地,在本实施例中,检测到第一视频画面中处于隐身状态的目标对象包括:通过第一模型提取第一视频画面中的第一对象和第二对象,确定同时包含第一对象和第二对象的第三区域,其中,第一对象为草丛对象,第二对象为透明度高于目标透明度阈值的对象,第二对象位于第一对象中;通过第二模型提取第一视频画面中的第三对象,确定包含第三对象的第四区域,其中,第三对象为用于在与游戏视频对应的游戏中标记处于隐身状态的目标对象的目标标记;在第四区域位于第三区域的预定方向,且第四区域与第三区域之间的距离位于目标距离范围内的情况下,将第三区域中包含的第二对象,确定为处于隐身状态的目标对象。
对于第一视频画面可以使用一路CNN模型来识别用于表示处于隐身状态的目标对象的对象特征来判别是否有英雄处于隐身状态(是否在草丛中隐身)。
由于游戏视频往往被高度压缩,画面分辨率很低并且很模糊,使在草丛与不在草丛中隐身的特征距离不会像清晰图片那样的大。因此,直接使用CNN网络进行识别会造成识别准确率比较低。
在游戏的过程中,为了方便用户确定用户所控制的英雄人物(虚拟角色)是否通过位于草丛处于隐身状态,可以将英雄人物设置为半透明状态,并通过目标标记(例如,小眼睛)来标记英雄人物已经进入到隐身状态。
考虑到草丛、半透明物体、目标标记这三个特征,可以使用双路CNN进行人物是否隐身的识别:一路CNN(第一模型)在整张图片的尺度提取整草丛、半透明这两样特征,而另一路CNN(第二模型)专门提取目标标记这一特征。
可以使用第一模型提取第一视频画面中的草丛对象(第一对象)和透明度高于目标透明度阈值的对象(第二对象),确定同时包含第一对象和第二对象的第三区域;使用第二模型提取第一视频画面中的目标标记,确定包含目标标记的第四区域。
如果第二对象为通过位于草丛进行隐身状态的目标对象,则在第二对象的预定方向(例如,上方)的预定距离上会设置有目标标记,通过判断第四区域与第三对象的位置关系以及距离关系,可以确定出第二对象是否为处于隐身状态的目标对象。
例如,考虑到草丛、半透明物体、小眼睛(目标标记)这三个特征,使用双路CNN进行人物是否隐身的识别,一路CNN在整张图片的尺度提取整草丛、半透明这两样特征,而另一路CNN专门提取小眼睛这一特征,为其增加权重。之后合并这两路网络的特征输入一个全连接层,对是否人物隐身的判断。这个过程可以如图4表示。
其中,上下两路使用的CNN为resnet50。为了能剪短训练时间,可以在预训练的网络上fine-tune,其中,预训练模型的输入图片大小为224x224。下路的整张图片可直接重新插值到224x224。而由于上路小眼睛的图案分辨率过低,直接插值会使图片变得非常模糊,丢失特征。因此,可以选择直接复制7次可能出现小眼睛区域,用以填满图片,并输入到预训练的网络中。最后,两路网络连接到一个全连接层,以判断该图片是否有英雄躲藏在草丛上隐身,训练时的损失函数可以为交叉熵。
通过本实施例,通过使用两路网络模型分别提取草丛、半透明这两样特征以及目标标记这一个特征,并基于两路网络模型的输出确定第一视频画面中是否包含处于隐身状态的目标对象,可以提高识别的准确率。
下面结合可选示例对上述对象的显示方法进行说明。在本示例中,使用双路CNN来识别英雄是否在草丛中隐身。如图5所示(其中,图5左侧为540p近镜头,图5右侧为540p远镜头),由于视频网站用户经常会上传压缩后的低清视频,其分辨率低并且模糊。只使用一路CNN往往会受到低清的图片的模糊影响,识别准确率会降低。而使用这种新型的双路CNN,可使一路CNN专门提取图片的整体特征,另一路CNN专门注意提取英雄在草丛中会有的小眼睛这一局部特征,从而可以在低清视频也拥有较高准确率。
可选地,在本实施例中,可以获取包含草丛对象的第一图像;按照目标透明系数对包含游戏角色对象的第二图像进行透明化处理,得到第三图像;将第三图像叠加到第一图像的草丛对象中,并在第三图像上方预定的第一位置上添加与目标标记对应的参考标记,得到第四图像,其中,第四图像用于生成训练图像,训练图像用于对第一模型的第一初始模型和第二模型的第二初始模型进行训练。
第一模型(对应于第一初始模型,可以是CNN模型)和第二模型(对应于第二初始模型,可以是CNN模型)可以是包含多层卷积神经网络的卷积神经网络模型。在使用第一模型和第二模型之前,可以使用包含草丛对象和半透明对象(透明度高于透明度阈值的对象)、以及目标标记中的至少一种的训练样本(训练图像)分别对第一初始模型和第二初始模型进行训练,得到第一模型和第二模型。
为了提高识别率,可以使用的匹配英雄血条模板的方式来检测并找到每帧中的英雄血条,并在血条下截取一个与血条长宽相同的区域来缩小需要检测的范围,截取样式可以如图3所示,可以通过获取一定量类似的正方形大小的图片样本(训练图像),以便进行模型训练。获取的方式可以是人工观看大量已有游戏视频,手动收集英雄在草丛中隐身、且长宽与血条长宽相同的区域(也可以是长宽比血条长宽略长的区域,或者其他长宽为预定值的区域)作为图片样本。
由于收集英雄在草丛中隐身的样本非常耗费人力与时间,因此,可以使用普通图片模拟视频中草丛隐身状态的特征的方式来模拟此类图片的特征。
草丛中英雄隐身的特征可以包括但不限于以下特征中的至少一个:
(1)图片中充满大量草丛pattern;
(2)草丛中有一个半透明的物体;
(3)图片顶部会有一个目标标记(例如,小眼睛)的图案(但可能被部分遮挡)。
为了生成具有充满大量草丛pattern和草丛中有一个半透明的物体的图片,可以首先收集预定数量(例如,300个)草丛为主图片的图片,然后在此基础之上做随机仿射变换,产生海量随机草丛背景。
为了使生成的草丛中的物体的pattern不过拟合于任何一种样式,可以使用已有的图片数据集(例如,PASCAL VOC 2012)中的图片集乘以一个系数后作为半透明物体作为外表贴入草丛图片,由于已有的图片数据集中含有大量图片(例如,VOC 2012中含有超过17,000张图片),训练出的网络也不会对特定pattern过拟合,所以也会对各类英雄皮肤有响应。
此外,为了不使训练出的网络对草丛中的特定物体形态过拟合,可以使用已有的图片数据集(例如,VOC 2012)图片分割任务的mask集来定义草丛中半透明物体的形状。为了创造更多形状,可以增加随机仿射变换进行数据增强。由于增强后的mask的数量非常巨大,训练出的网络不会对某种特定形状的英雄过拟合。
上述图片生成过程可以如公式(1)所示:
IS=T′affine(M0)·Taffine(IG)+T′affine(M≠0)·((1-σ)Taffine(IG)+σ·IVOC) (1)
其中,IS为生成的图片,IG为草丛图片,IVOC为已有数据集(例如,PSCAL VOC 2012)中的图片,M为已有数据集中的mask集,M0为M为0的部分,M≠0为M不为0的部分,可以取mask中不为0的部分来随机定义图片中英雄的形态,Taffine和T′affine为两个随机仿射变换,包括旋转,平移;σ为一个随机系数,用来控制隐身时半透明的特征的强度。图6为两张具有草丛中和半透明物体这两种特征的生成图片,由图6可以看出,生成的图片Is可以很好地模拟草丛以及半透明这两项重要特征。
可选地,为了避免仅根据草丛pattern和草丛中有一个半透明的物体这两个特征来识别处于隐身状态的目标对象准确度不够的问题,生成训练模型使用的训练样本时还可以在训练样本中添加目标标记(例如,头顶“小眼睛”)。目标标记并不总是完整的,有时会被草丛遮挡。因此,可以在半透明的物体的顶部一定位置范围内添加一个随机大小强度的目标标记,并且目标标记有概率被随机遮挡一部分。上述过程可以如公式(2)所示,
I′s=Is+τ·T″affine(Ieye)·Pr(Meye) (2)
其中,r为以[0,1]均匀分布的随机数;Meye为一随机遮挡的mask,Meye有80%的概率遮挡住最后生成的图片I′s中的目标标记;Ieye为事先准备的目标标记模板(“小眼睛”模板),T″affine为一随机平移、缩放的仿射变换,且只在图片顶部;τ为一随机数来表示目标标记的随机强度。
通过本实施例,通过生成具有草丛对象、半透明对象以及目标标记的图像,该图像可以作为模型训练的训练图像,可以减少收集训练图像的人工消耗,同时避免生成的模型对于特定图像的过拟合。
生成的第四图像可以直接作为模型训练的训练图像。为了适用于特定场景,可以对第一图像进行目标处理,从而得到训练图像。
可选地,在本实施例中,在得到第四图像之后,可以对第四图像进行下采样之后进行上采样,得到分辨率为目标分辨率的第五图像;对第五图像进行高斯模糊,得到训练图像。
由于用户上传的游戏视频一般为720P与540P低清视频(也可以是其他的低清视频),普通的CNN也难以达到非常高的准确率。为了保证模型的准确率,可以对生成的第四图像进行下采样后上采样,再加上高斯模糊用以模拟低清图片。
例如,如图7所示,生成的训练图像很好的模拟了头顶“小眼睛”(目标标记)以及“小眼睛”随机遮挡和低清图片的特征。
通过本实施例,通过对图像进行先下采样后上采样,并进行高斯模糊,可以模拟出低清视频中的低清图像,从而保证训练得到的模型对低清图像的识别能力,提高模型识别的准确度。
可选地,在步骤S204中,确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域。
在检测到第一视频画面中处于隐身状态的目标对象之后,可以确定该目标对象所在的第一区域,进而确定第一区域的区域标记。
在确定目标对象所在的第一区域时,可以确定该目标对象的血条所在的位置,以及血条的长度,并以血条为上边的正方形区域作为目标对象所在的第一区域。也可以以血条为上边、宽度为血条长度、长度与宽度为预定比例的长方形区域作为目标对象所在的第一区域。
在确定出第一区域之后,可以生成第一区域的第一区域标记。第一区域标记可以是第一区域的区域范围边界,可以按照预定参数生成第一区域的区域边界线,预定参数可以包括但不限于以下至少之一:线型(实线,虚线,虚线样式),线宽、颜色、动画效果。
由于不同类型的目标对象的形态不同,其所在区域的区域范围也会区别,可以针对不同的视频画面分别生成第一区域的区域标记,也可以按照所占区域范围最大的目标对象所占的区域范围生成第一区域标记的样式。不同视频画面中第一区域的位置可以不同,第一区域的区域标记的面积、以及样式可以相同。
可选地,在步骤S206中,在第一视频画面中显示第一区域标记。
在确定出第一区域标记之后,可以在显示处于隐身状态的目标对象的过程中显示第一区域标记。
确定第一区域标记和显示第一区域标记可以是同一设备上执行的,也可以是在不同设备上执行的。确定的第一区域标记可以在处理游戏视频在游戏视频的第一视频画面中直接添加,也可以由服务器生成第一视频标记,并确定第一区域标记在第一视频画面中的标记位置信息,由显示游戏视频的终端设备根据标记位置信息在第一视频画面中显示处于隐身状态的目标对象的过程中显示第一区域标记。
可选地,在本实施例中,在第一视频画面中显示第一区域标记的过程中,确定在第一视频画面的小地图中的第二位置,其中,第二位置用于表示目标对象的对象标记所在的位置;通过与隐身状态对应的标记信息在小地图中标记出第二位置。
在游戏视频中,除了人机交互界面之后,还可以有小地图,用户可以通过小地图了解游戏的全局动态。除了在游戏的人机交互界面上标记出隐身的目标对象所在的区域以外,还可以在小地图中线性的标记出该目标对象的对象标记。
可以首先确定出该对象标记在小地图中所在的第二位置,然后在小地图中标记出第二位置。标记第二位置的方式可以是:改变对象标记的标记属性,标记属性可以包括但不限于以下至少之一:标记颜色,标记亮度,标记动画(例如,闪烁)。
可选地,除了目标对象以外,可以在人机交互界面(和/或小地图)中标记出在目标对象预定范围内的非隐身对象,标记非隐身对象的方式与标记目标对象的方式(区域标记,标记属性等)可以相同,也可以不同。标记非隐身对象的方式可以根据需要进行设定,在此不做具体限定。
通过本实施例,通过在小地图中标记出目标对象,可以方便快速地了解对战局势,提升观看者的观看体验。
识别目标对象可以是一个连续的过程,在第一视频画面中显示处于隐身状态的目标对象的过程中显示第一区域标记之后,可以对第一视频画面之后的第二视频画面执行检测目标对象是否仍处于隐身状态的操作。
作为一种可选的实施方式,在目标对象处于隐身状态、且目标对象所在的区域由第一区域移动到第二区域的情况下,在第二视频画面中确定用于表示第二区域的第二区域标记;在第二视频画面中显示第二区域标记。
如果目标对象仍处于隐身状态,并且目标对象所在的区域发生了变化,由第一区域变成了第二区域,可以确定用于表示第二区域的第二区域标记,并在第二视频画面中显示处于隐身状态的目标对象的过程中显示第二区域标记。
如果目标对象仍处于隐身状态,并且目标对象所在的区域没有发生变化,仍然是第一区域,则可以在第二视频画面中显示处于隐身状态的目标对象的过程中显示第一区域标记。
通过本实施例,在处于隐身状态的目标对象所在区域发生变化时对变化后的区域进行标记,可以保证目标对象所在区域标记的准确性与及时性。
作为另一种可选的实施方式,在目标对象处于非隐身状态、且目标对象所在的区域由第一区域移动到第二区域的情况下,在第二视频画面中显示处于非隐身状态的目标对象的过程中禁止显示第二区域标记。
如果目标对象由隐身状态切换到非隐身状态,并且目标对象所在的区域发生变化,由第一区域变成了第二区域,则可以在第二视频画面中显示处于非隐身状态的目标对象的过程中禁止显示第二区域标记。
通过本实施例,通过在目标对象由隐身状态切换到非隐身状态的情况下,禁止显示区域标记,可以保证区域标记的准确性。
下面结合可选示例对本实施例中的对象的显示方法进行说明。在本示例中,通过使用生成的训练图像对初始模型(第一初始模型和第二初始模型)进行训练,得到对象识别模型(第一模型和第二模型),并使用得到的对象识别模型对用户上传的游戏视频进行处理,标记出游戏视频的视频画面中处于隐身状态的英雄。如图8所示,本示例中的对象的显示方法的流程可以包括以下步骤;
步骤S802,生成训练图像。
可以首先生成包含预定尺寸的草丛pattern、位于草丛中的半透明物体和位于半透明物体上方的小眼睛(目标标记)的训练图像,在生成训练图像时还可以先进行下采样再进行上采样,并通过高斯模糊,以模拟低清图像。生成的训练图像可以是不同英雄在不同皮肤、形态动作、在不同草丛中的图片。
可以使用Unity 3D在对战游戏的模组上制作出大量不同动作、皮肤、朝向下的英雄,并贴入草丛来制作训练图像。
在生成训练图像时,无需人工观看大量视频标注出训练样本,使用公开数据集以及一定量的草丛样本,数据模拟增强出无限种具有英雄在草丛隐身特征的图片。而这种草丛样本只需在一段视频内随机截取即可。生成的模拟大量样本可用来训练CNN识别英雄是否在草丛中并处于隐身状态。
步骤S804,使用训练图像分别对第一初始模型和第二初始模型进行训练,得到第一模型和第二模型。
可以使用训练图像分别对第一初始模型进行训练,得到第一模型,使用训练图像分别对第二初始模型进行训练,得到第二模型。第一模型可以用于提取草丛和半透明这两个特征,第二模型可以用于提取目标标记这个特征。
第一模型和第二模型可以是双路CNN,用于检测英雄是否在草丛中隐身,在用户上传的低清视频上拥有较高的准确率。
步骤S806,使用第一模型和第二模型检测游戏视频的第一视频画面中处于隐身状态的目标对象。
对于待处理的游戏视频的第一视频画面,可以使用第一模型和第二模型分别提取第一视频画面中的草丛、半透明物体和目标标记,并基于提取的特征确定第一视频画面存在处于隐身状态的目标对象。
步骤S808,在第一视频画面显示处于隐身状态的目标对象的过程中显示目标对象所在的第一区域的区域标记。
可以检测目标对象的该目标对象的血条位置,并在血条下截取一个与血条长宽相同的区域作为目标对象所在的第一区域,通过虚线框作为该第一区域的标记。并在第一视频显示处于隐身状态的目标对象的过程中显示该虚线框。
在具体实现时,可以使用pytorch编写和运行上述双路CNN的训练和测试,训练时使用一块Tesla M40的GPU,数据模拟和测试时可在拥有一块CPU和足够内存(约8GB)的桌面机上进行。对两场BO5总决赛的对战游戏比赛来验证识别效果。
通过下采样的方式制造了720p与540p的视频,由于连续帧的相关性很高,无需全部抽取,可以进行每秒1帧的抽帧,并使用血条检测方法获得约8200张血条下英雄图片进行测试。人工筛选每个英雄是否在草丛中隐身后,与本发明的双路CNN输出结果进行比较。比较结果如表1所示:
表1
测试集 Precision recall accuracy
BO5第一场720p 95.8% 79.4% 95.7%
BO5第二场720p 92.0% 81.9% 96.5%
720p平均 93.9% 80.7% 96.1%
BO5第一场540p 94.3% 73.3% 94.2%
BO5第二场540p 90.8% 78.6% 95.8%
540p平均 92.6% 76.0% 95.0%
由表1可以看出,对于低清视频,使用数据模拟与双路CNN方案的识别结果拥有很高的precision和accuracy,以及不低的recall。
通过本实施例,通过对游戏精彩事件(如草丛偷袭,躲草丛逃生)进行自动标注,可用于自动框出视频中在草丛中隐身状态的英雄,提高观看体验,可以减轻为训练CNN而需要的数据收集的工作量,而双路CNN能在用户上传的低分辨率和模糊的图像中有不错的准确率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一方面,还提供了一种对象的显示装置,如图9所示,该装置包括:
(1)第一检测单元902,用于在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;
(2)第一确定单元904,用于确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;
(3)第一显示单元906,用于在第一视频画面中显示第一区域标记。
可选地,上述对象的显示装置可以但不限于应用于使用客户端进行游戏直播的过程中、观看已上传的游戏视频的过程中或者其他与显示游戏视频有关的场景中。
可选地,第一检测单元902可以用于执行步骤S202,第一确定单元904可以用于执行步骤S204,第一显示单元906可以用于执行步骤S206。
通过本实施例,通过在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;在第一视频画面中显示第一区域标记,解决了相关技术中游戏视频画面的显示方式,存在由于观看者无法通过视频画面快速准确了解对战过程导致用户体验差的技术问题,提升了用户观看体验。
作为一种可选的技术方案,上述装置包括:
(1)第二检测单元,用于在第一视频画面中显示第一区域标记之后,在游戏视频的第二视频画面中,检测到第二视频画面中的目标对象;
(2)第二确定单元,用于在目标对象处于隐身状态、且目标对象所在的区域由第一区域移动到第二区域的情况下,在第二视频画面中确定用于表示第二区域的第二区域标记;
(3)第二显示单元,用于在第二视频画面中显示第二区域标记。
通过本实施例,在处于隐身状态的目标对象所在区域发生变化时对变化后的区域进行标记,可以保证目标对象所在区域标记的准确性与及时性。
作为一种可选的技术方案,上述装置还包括:
(1)第三显示单元,用于在检测到第二视频画面中的目标对象之后,在目标对象处于非隐身状态、且目标对象所在的区域由第一区域移动到第二区域的情况下,在第二视频画面中显示处于非隐身状态的目标对象的过程中禁止显示第二区域标记。
通过本实施例,通过在目标对象由隐身状态切换到非隐身状态的情况下,禁止显示区域标记,可以保证区域标记的准确性。
作为一种可选的技术方案,第一检测单元902包括:
(1)提取模块,用于通过第一模型提取第一视频画面中的第一对象和第二对象,确定同时包含第一对象和第二对象的第三区域,其中,第一对象为草丛对象,第二对象为透明度高于目标透明度阈值的对象,第二对象位于第一对象中;
(2)第一确定模块,用于通过第二模型提取第一视频画面中的第三对象,确定包含第三对象的第四区域,其中,第三对象为用于在与游戏视频对应的游戏中标记处于隐身状态的目标对象的目标标记;
(3)第二确定模块,用于在第四区域位于第三区域的预定方向,且第四区域与第三区域之间的距离位于目标距离范围内的情况下,将第三区域中包含的第二对象,确定为处于隐身状态的目标对象。
通过本实施例,通过使用两路网络模型分别提取草丛、半透明这两样特征以及目标标记这一个特征,并基于两路网络模型的输出确定第一视频画面中是否包含处于隐身状态的目标对象,可以提高识别的准确率。
作为一种可选的技术方案,上述装置还包括:
(1)获取单元,用于在通过第一模型提取第一视频画面中的第一对象和第二对象之前,获取包含草丛对象的第一图像;
(2)处理单元,用于按照目标透明系数对包含游戏角色对象的第二图像进行透明化处理,得到第三图像;
(3)叠加单元,用于将第三图像叠加到第一图像的草丛对象中,并在第三图像上方预定的第一位置上添加与目标标记对应的参考标记,得到第四图像,其中,第四图像用于生成训练图像,训练图像用于对第一模型的第一初始模型和第二模型的第二初始模型进行训练。
通过本实施例,通过生成具有草丛对象、半透明对象以及目标标记的图像,该图像可以作为模型训练的训练图像,可以减少收集训练图像的人工消耗,同时避免生成的模型对于特定图像的过拟合。
作为一种可选的技术方案,上述装置还包括:
(1)采样单元,用于在得到第四图像之后,对第四图像进行下采样之后进行上采样,得到分辨率为目标分辨率的第五图像;
(2)模糊单元,用于对第五图像进行高斯模糊,得到训练图像。
通过本实施例,通过对图像进行先下采样后上采样,并进行高斯模糊,可以模拟出低清视频中的低清图像,从而保证训练得到的模型对低清图像的识别能力,提高模型识别的准确度。
作为一种可选的技术方案,上述装置还包括:
(1)第三确定单元,用于在第一视频画面中显示第一区域标记的过程中,确定在第一视频画面的小地图中的第二位置,其中,第二位置用于表示目标对象的对象标记所在的位置;
(2)标记单元,用于通过与隐身状态对应的标记信息在小地图中标记出第二位置。
通过本实施例,通过在小地图中标记出目标对象,可以方便快速地了解对战局势,提升观看者的观看体验。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;
S2,确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;
S3,在第一视频画面中显示第一区域标记。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取器)、磁盘或光盘等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述对象的显示方法的电子装置,如图10所示,该电子装置包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在待处理的游戏视频的第一视频画面中,检测到第一视频画面中处于隐身状态的目标对象;
S2,确定用于表示第一区域的第一区域标记,其中,第一区域为目标对象在第一视频画面中所在的区域;
S3,在第一视频画面中显示第一区域标记。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的对象的显示方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的对象的显示方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储物品的样本特征与目标虚拟资源账号等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述对象的显示装置中的第一检测单元902、第一确定单元904和第一显示单元906。此外,还可以包括但不限于上述对象的显示装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1008,用于显示上述待处理的订单信息;和连接总线1010,用于连接上述电子装置中的各个模块部件。
在其他实施例中,上述终端或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种对象的显示方法,其特征在于,包括:
在待处理的游戏视频的第一视频画面中,检测到所述第一视频画面中处于隐身状态的目标对象;
确定用于表示第一区域的第一区域标记,其中,所述第一区域为所述目标对象在所述第一视频画面中所在的区域;
在所述第一视频画面中显示所述第一区域标记。
2.根据权利要求1所述的方法,其特征在于,在所述第一视频画面中显示所述第一区域标记之后,所述方法还包括:
在所述游戏视频的第二视频画面中,检测到所述第二视频画面中的所述目标对象;
在所述目标对象处于所述隐身状态、且所述目标对象所在的区域由所述第一区域移动到第二区域的情况下,在所述第二视频画面中确定用于表示所述第二区域的第二区域标记;
在所述第二视频画面中显示所述第二区域标记。
3.根据权利要求2所述的方法,其特征在于,在检测到所述第二视频画面中的所述目标对象之后,所述方法还包括:
在所述目标对象处于非隐身状态、且所述目标对象所在的区域由所述第一区域移动到所述第二区域的情况下,在所述第二视频画面中禁止显示所述第二区域标记。
4.根据权利要求1所述的方法,其特征在于,检测到所述第一视频画面中处于所述隐身状态的所述目标对象包括:
通过第一模型提取所述第一视频画面中的第一对象和第二对象,确定同时包含所述第一对象和所述第二对象的第三区域,其中,所述第一对象为草丛对象,所述第二对象为透明度高于目标透明度阈值的对象,所述第二对象位于所述第一对象中;
通过第二模型提取所述第一视频画面中的第三对象,确定包含所述第三对象的第四区域,其中,所述第三对象为用于在与所述游戏视频对应的游戏中标记处于所述隐身状态的所述目标对象的目标标记;
在所述第四区域位于所述第三区域的预定方向,且所述第四区域与所述第三区域之间的距离位于目标距离范围内的情况下,将所述第三区域中包含的所述第二对象,确定为处于所述隐身状态的所述目标对象。
5.根据权利要求4所述的方法,其特征在于,在通过所述第一模型提取所述第一视频画面中的所述第一对象和所述第二对象之前,所述方法还包括:
获取包含所述草丛对象的第一图像;
按照目标透明系数对包含游戏角色对象的第二图像进行透明化处理,得到第三图像;
将所述第三图像叠加到所述第一图像的所述草丛对象中,并在所述第三图像上方预定的第一位置上添加与所述目标标记对应的参考标记,得到第四图像,其中,所述第四图像用于生成训练图像,所述训练图像用于对所述第一模型的第一初始模型和所述第二模型的第二初始模型进行训练。
6.根据权利要求5所述的方法,其特征在于,在得到所述第四图像之后,所述方法还包括:
对所述第四图像进行下采样之后进行上采样,得到分辨率为目标分辨率的第五图像;
对所述第五图像进行高斯模糊,得到所述训练图像。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
在所述第一视频画面中显示所述第一区域标记的过程中,确定在所述第一视频画面的小地图中的第二位置,其中,所述第二位置用于表示所述目标对象的对象标记所在的位置;
通过与所述隐身状态对应的标记信息在所述小地图中标记出所述第二位置。
8.一种对象的显示装置,其特征在于,包括:
第一检测单元,用于在待处理的游戏视频的第一视频画面中,检测到所述第一视频画面中处于隐身状态的目标对象;
第一确定单元,用于确定用于表示第一区域的第一区域标记,其中,所述第一区域为所述目标对象在所述第一视频画面中所在的区域;
第一显示单元,用于在所述第一视频画面中显示所述第一区域标记。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二检测单元,用于在所述第一视频画面中显示所述第一区域标记之后,在所述游戏视频的第二视频画面中,检测到所述第二视频画面中的所述目标对象;
第二确定单元,用于在所述目标对象处于所述隐身状态、且所述目标对象所在的区域由所述第一区域移动到第二区域的情况下,在所述第二视频画面中确定用于表示所述第二区域的第二区域标记;
第二显示单元,用于在所述第二视频画面中显示所述第二区域标记。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第三显示单元,用于在检测到所述第二视频画面中的所述目标对象之后,在所述目标对象处于非隐身状态、且所述目标对象所在的区域由所述第一区域移动到所述第二区域的情况下,在所述第二视频画面中显示处于所述非隐身状态的所述目标对象的过程中禁止显示所述第二区域标记。
11.根据权利要求8所述的装置,其特征在于,第一检测单元包括:
提取模块,用于通过第一模型提取所述第一视频画面中的第一对象和第二对象,确定同时包含所述第一对象和所述第二对象的第三区域,其中,所述第一对象为草丛对象,所述第二对象为透明度高于目标透明度阈值的对象,所述第二对象位于所述第一对象中;
第一确定模块,用于通过第二模型提取所述第一视频画面中的第三对象,确定包含所述第三对象的第四区域,其中,所述第三对象为用于在与所述游戏视频对应的游戏中标记处于所述隐身状态的所述目标对象的目标标记;
第二确定模块,用于在所述第四区域位于所述第三区域的预定方向,且所述第四区域与所述第三区域之间的距离位于目标距离范围内的情况下,将所述第三区域中包含的所述第二对象,确定为处于所述隐身状态的所述目标对象。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
获取单元,用于在通过所述第一模型提取所述第一视频画面中的所述第一对象和所述第二对象之前,获取包含所述草丛对象的第一图像;
处理单元,用于按照目标透明系数对包含游戏角色对象的第二图像进行透明化处理,得到第三图像;
叠加单元,用于将所述第三图像叠加到所述第一图像的所述草丛对象中,并在所述第三图像上方预定的第一位置上添加与所述目标标记对应的参考标记,得到第四图像;
采样单元,用于对所述第四图像进行下采样之后进行上采样,得到分辨率为目标分辨率的第五图像;
模糊单元,用于对所述第五图像进行高斯模糊,得到训练图像,其中,所述训练图像用于对所述第一模型的第一初始模型和所述第二模型的第二初始模型进行训练。
13.根据权利要求8至12中任一项所述的装置,其特征在于,所述装置还包括:
第三确定单元,用于在所述第一视频画面中显示所述第一区域标记的过程中,确定在所述第一视频画面的小地图中的第二位置,其中,所述第二位置用于表示所述目标对象的对象标记所在的位置;
标记单元,用于通过与所述隐身状态对应的标记信息在所述小地图中标记出所述第二位置。
14.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN201910872153.8A 2019-09-16 2019-09-16 对象的显示方法和装置、存储介质及电子装置 Active CN110598700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872153.8A CN110598700B (zh) 2019-09-16 2019-09-16 对象的显示方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872153.8A CN110598700B (zh) 2019-09-16 2019-09-16 对象的显示方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110598700A true CN110598700A (zh) 2019-12-20
CN110598700B CN110598700B (zh) 2021-05-14

Family

ID=68859880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872153.8A Active CN110598700B (zh) 2019-09-16 2019-09-16 对象的显示方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110598700B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112473134A (zh) * 2020-12-09 2021-03-12 网易(杭州)网络有限公司 视野区域的显示方法、装置、存储介质及计算机设备
CN113101638A (zh) * 2021-04-19 2021-07-13 网易(杭州)网络有限公司 游戏中的交互数据处理方法及装置
CN113350795A (zh) * 2021-07-13 2021-09-07 北京字跳网络技术有限公司 一种角色控制方法、终端、设备及存储介质
CN113426106A (zh) * 2021-06-24 2021-09-24 网易(杭州)网络有限公司 一种游戏中的显示控制方法、装置、电子设备和存储介质
CN113784207A (zh) * 2021-07-30 2021-12-10 北京达佳互联信息技术有限公司 视频画面的显示方法和装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140125576A1 (en) * 2012-11-05 2014-05-08 Nintendo Co., Ltd. Storage medium, information processing apparatus, information processing system and information processing method
CN106528032A (zh) * 2016-12-05 2017-03-22 上海逗屋网络科技有限公司 一种对象显示方法与设备
CN107803029A (zh) * 2017-10-26 2018-03-16 广东欧珀移动通信有限公司 显示处理方法及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140125576A1 (en) * 2012-11-05 2014-05-08 Nintendo Co., Ltd. Storage medium, information processing apparatus, information processing system and information processing method
CN106528032A (zh) * 2016-12-05 2017-03-22 上海逗屋网络科技有限公司 一种对象显示方法与设备
CN107803029A (zh) * 2017-10-26 2018-03-16 广东欧珀移动通信有限公司 显示处理方法及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王者游戏超神教学: "王者荣耀躲草丛总是被发现", 《HTTPS://M.SOHU.COM/A/193550515_100000925》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112473134A (zh) * 2020-12-09 2021-03-12 网易(杭州)网络有限公司 视野区域的显示方法、装置、存储介质及计算机设备
CN113101638A (zh) * 2021-04-19 2021-07-13 网易(杭州)网络有限公司 游戏中的交互数据处理方法及装置
CN113426106A (zh) * 2021-06-24 2021-09-24 网易(杭州)网络有限公司 一种游戏中的显示控制方法、装置、电子设备和存储介质
CN113426106B (zh) * 2021-06-24 2024-03-12 网易(杭州)网络有限公司 一种游戏中的显示控制方法、装置、电子设备和存储介质
CN113350795A (zh) * 2021-07-13 2021-09-07 北京字跳网络技术有限公司 一种角色控制方法、终端、设备及存储介质
WO2023284407A1 (zh) * 2021-07-13 2023-01-19 北京字跳网络技术有限公司 一种角色控制方法、终端、设备及存储介质
CN113784207A (zh) * 2021-07-30 2021-12-10 北京达佳互联信息技术有限公司 视频画面的显示方法和装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110598700B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110598700B (zh) 对象的显示方法和装置、存储介质及电子装置
CN110166827B (zh) 视频片段的确定方法、装置、存储介质及电子装置
CN110297943B (zh) 标签的添加方法、装置、电子设备及存储介质
US10713543B1 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
CN106803057B (zh) 图像信息处理方法及装置
US10166473B2 (en) System and method to provide augmented reality and remote gameplay for traditional trading card games
CN112348969A (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN110339569B (zh) 控制游戏场景中虚拟角色的方法及装置
CN111491173A (zh) 一种直播封面确定方法、装置、计算机设备及存储介质
CN108491930A (zh) 一种样本数据的处理方法以及数据处理装置
CN108236784B (zh) 模型的训练方法和装置、存储介质、电子装置
CN106462725A (zh) 监测游戏场所的活动的系统和方法
CN107670279A (zh) 基于WebGL的3D网页游戏的开发方法及系统
CN109395387B (zh) 三维模型的显示方法、装置、存储介质及电子装置
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN108874114A (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN109104619B (zh) 用于直播的图像处理方法和装置
CN109224444A (zh) 游戏人物识别方法、装置、存储介质和电子设备
CN106780761A (zh) 基于增强现实技术的自闭症儿童兴趣点信息采集系统
CN113392690A (zh) 视频语义标注方法、装置、设备及存储介质
CN111429543B (zh) 一种素材生成方法、装置、电子设备及介质
CN114845158B (zh) 视频封面的生成方法、视频发布方法及相关设备
CN110198472B (zh) 视频资源的播放方法及装置
CN110719415B (zh) 一种视频图像处理方法、装置、电子设备及计算机可读介质
CN107578306A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40015568

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant