CN112569591A - 一种数据处理方法、装置、设备及可读存储介质 - Google Patents

一种数据处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112569591A
CN112569591A CN202110222494.8A CN202110222494A CN112569591A CN 112569591 A CN112569591 A CN 112569591A CN 202110222494 A CN202110222494 A CN 202110222494A CN 112569591 A CN112569591 A CN 112569591A
Authority
CN
China
Prior art keywords
key point
point data
prediction
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110222494.8A
Other languages
English (en)
Other versions
CN112569591B (zh
Inventor
任明星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110222494.8A priority Critical patent/CN112569591B/zh
Publication of CN112569591A publication Critical patent/CN112569591A/zh
Application granted granted Critical
Publication of CN112569591B publication Critical patent/CN112569591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备及可读存储介质,方法包括:获取与云游戏相关的待检测图像,获取待检测图像中的目标对象对应的对象模板,根据对象模板获取目标对象的至少两个关键点数据;根据对象模板的尺寸确定至少两个关键点数据分别在待检测图像中的预测区域;根据一个或多个预测区域中包含的关键点数据的数据数量,在一个或多个预测区域中选择N个预测区域作为N个有效区域,将N个有效区域所共同覆盖的区域确定为目标对象在待检测图像中的目标区域;获取针对待检测图像的触发指令,若查询到触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面。采用本申请,可以提高对象的位置识别准确率。

Description

一种数据处理方法、装置、设备及可读存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、设备以及可读存储介质。
背景技术
随着游戏人工智能(Artificial Intelligence,AI)技术的日益成熟,各式各样的游戏(例如,云游戏)大量出现在人们视野中。在云游戏产品中,云游戏主机中的运维模块可获取到终端游戏产品应用中的游戏截图图像,运维模块通过对游戏截图图像进行图像识别,识别到该游戏截图图像即游戏界面(User Interface,UI)中的某一指定控件(例如,进入游戏控件)在该游戏界面的位置区域后,运维模块可针对该位置区域进行模拟点击,从而可将游戏进入到某个场景(例如,针对进入游戏控件的位置区域的模拟点击后,可将游戏进入到游戏主页面中);随后,云游戏主机可将该游戏场景分配至玩家进行试玩,也就是说,运维模块可通过图像识别以及模拟点击,将游戏的游戏场景或游戏界面进行预加载,并分配至玩家进行游戏试玩。
目前,对于运维模块识别游戏UI中的控件的区域位置,主要采用特征点透视变换方法。即,将控件对应的模板图像的特征点与待识别游戏UI中的特征点进行匹配,根据匹配结果在待识别游戏UI中的特征点中确定出与模板图像的特征点比较接近的特征点,随后,可根据这些比较接近的特征点的坐标,求出模板图像对应于待识别游戏UI的变换矩阵,最后根据该变换矩阵得到控件的模板图像对应在待识别游戏UI中的位置,由此可以得到控件在待识别游戏UI中的区域位置。
可以看出,特征点匹配方法主要是根据匹配到的特征点进行变换来确定出控件在待识别游戏UI中的区域位置,而若该特征点有干扰,则通过该特征点匹配方法得到的区域位置很可能是错误的,无法准确定位控件的区域位置,那么当该运维模块对错误的区域位置进行模拟点击时,无法将游戏进入到正确的场景中,也就是说,运维模块识别到的控件的区域位置是错误的,那么运维模块会对错误的区域位置进行模拟点击,所预加载的游戏场景或游戏界面也是错误的。
发明内容
本申请实施例提供一种数据处理方法、装置、设备以及可读存储介质,可以提高对象的位置识别准确率。
本申请实施例一方面提供了一种数据处理方法,包括:
获取与云游戏相关的待检测图像,获取待检测图像中的目标对象对应的对象模板,根据对象模板获取目标对象的至少两个关键点数据;
根据对象模板的尺寸确定至少两个关键点数据分别在待检测图像中的预测区域,得到一个或多个预测区域;
根据一个或多个预测区域中包含的关键点数据的数据数量,在一个或多个预测区域中选择N个预测区域,作为N个有效区域,将有效区域所共同覆盖的区域确定为目标对象在待检测图像中的目标区域;N为小于或等于所述一个或多个预测区域的总数量的正整数;
获取针对待检测图像的触发指令,若触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面。
本申请实施例一方面提供了一种数据处理装置,包括:
图像获取模块,用于获取与云游戏相关的待检测图像;
模板获取模块,用于获取待检测图像中的目标对象对应的对象模板;
关键点获取模块,用于根据对象模板获取目标对象的至少两个关键点数据;
区域确定模块,用于根据对象模板的尺寸确定至少两个关键点数据分别在待检测图像中的预测区域,得到一个或多个预测区域;
区域确定模块,还用于根据一个或多个预测区域中包含的关键点数据的数据数量,在一个或多个预测区域中选择N个预测区域,作为N个有效区域;N为小于或等于所述一个或多个预测区域的总数量的正整数;
区域确定模块,还用于将N个有效区域所共同覆盖的区域确定为目标对象在待检测图像中的目标区域;
界面输出模块,用于获取针对待检测图像的触发指令,若触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面。
其中,关键点获取模块可以包括:
向量获取单元,用于获取所述待检测图像的m个图像关键点数据,获取所述m个图像关键点数据分别对应的特征向量;m为正整数;
向量获取单元,还用于获取所述对象模板的至少两个对比关键点数据,获取所述至少两个对比关键点数据分别对应的对比特征向量;
数据确定单元,用于根据所述m个图像关键点数据分别对应的特征向量,与所述至少两个对比关键点数据分别对应的对比特征向量,确定所述目标对象的至少两个关键点数据。
其中,所述m个图像关键点数据包括关键点数据ki;所述m个图像关键点数据分别对应的特征向量包括所述关键点数据ki对应的特征向量sa;i为正整数;a为正整数;
数据确定单元包括:
距离确定子单元,用于确定所述至少两个对比关键点数据分别对应的对比特征向量,与所述特征向量sa之间的向量距离;每个向量距离用于表征每个对比关键点数据与所述关键点数据ki之间的相似度;
距离确定子单元,还用于在至少两个向量距离中获取最小向量距离,将所述最小向量距离作为所述关键点数据ki对应的目标向量距离;
距离匹配子单元,用于将所述目标向量距离与距离阈值进行匹配,若所述目标向量距离小于或等于所述距离阈值,则将所述关键点数据ki确定为所述目标对象的关键点数据。
其中,所述目标对象的至少两个关键点数据包括第一关键点数据与第二关键点数据;所述一个或多个预测区域包括所述第一关键点数据对应的第一预测区域,以及所述第二关键点数据对应的第二预测区域;
区域确定模块,包括:
距离获取单元,用于获取所述第一关键点数据对应的第一目标向量距离,以及所述第二关键点数据对应的第二目标向量距离;
最小距离确定单元,用于在所述第一目标向量距离与所述第二目标向量距离中,确定最小目标向量距离;
尺寸缩放单元,用于获取尺寸缩放比例,按照所述尺寸缩放比例将所述对象模板的尺寸进行缩放,得到区域尺寸;
区域确定单元,用于根据所述最小目标向量距离以及所述区域尺寸,确定所述第一关键点数据对应的第一预测区域与所述第二关键点数据对应的第二预测区域。
其中,区域确定单元,包括:
最小数据获取子单元,用于在所述第一关键点数据与所述第二关键点数据中,获取所述最小目标向量距离对应的关键点数据,作为目标关键点数据;
关键区域确定子单元,用于获取所述目标关键点数据在所述待检测图像中的第一位置坐标,将所述第一位置坐标作为所述区域尺寸的第一中心位置坐标,根据所述第一中心位置坐标与所述区域尺寸,确定所述目标关键点数据对应的关键预测区域;
区域确定子单元,用于根据所述目标关键点数据对应的关键预测区域确定所述第一预测区域与所述第二预测区域。
其中,所述目标关键点数据为所述第一关键点数据;所述目标关键点数据对应的关键预测区域为所述第一关键点数据对应的所述第一预测区域;
区域确定子单元,还具体用于获取所述第二关键点数据在所述待检测图像中的第二位置坐标;
区域确定子单元,还具体用于若所述第二位置坐标处于所述第一预测区域内,则将所述关键预测区域确定为所述第二关键点数据对应的所述第二预测区域;所述第一预测区域与所述第二预测区域均属于所述关键预测区域;
区域确定子单元,还具体用于若所述第二位置坐标未处于所述第一预测区域内,则将所述第二位置坐标作为所述区域尺寸的第二中心位置坐标,根据所述第二中心位置坐标与所述区域尺寸,确定所述第二关键点数据对应的所述第二预测区域。
其中,区域确定模块包括:
数量获取单元,用于获取所述一个或多个预测区域中每个预测区域所包含的关键点数据,确定所述每个预测区域中所包含的关键点数据的数据数量;
区域确定单元,用于将包含的关键点数据的数据数量最大的预测区域作为初始有效区域;
区域确定单元,还用于在剩余预测区域中获取相交预测区域;
区域确定单元,还用于将所述初始有效区域与所述相交预测区域确定为所述N个有效区域;所述剩余预测区域是指所述一个或多个预测区域中,除所述初始有效区域以外的预测区域。
其中,所述剩余预测区域包括剩余预测区域tc;c为正整数;
区域确定单元包括:
范围获取子单元,用于获取所述剩余预测区域tc的第一覆盖范围,以及所述初始有效区域的第二覆盖范围;
范围匹配子单元,用于将所述第一覆盖范围与所述第二覆盖范围进行匹配,若所述第一覆盖范围与所述第二覆盖范围之间存在重叠覆盖范围,则将所述剩余预测区域tc确定为所述相交预测区域。
其中,该装置还包括:
组件调用模块,用于调用运维组件,通过所述运维组件获取用于对所述目标区域进行模拟触发的程序语句;
指令生成模块,用于通过所述程序语句生成针对所述目标区域的模拟触发指令,根据所述模拟触发指令获取与所述目标对象相关联的云游戏展示界面;
步骤执行模块,用于将所述云游戏展示界面进行预加载处理,在所述云游戏展示界面处于预加载处理完成状态时,执行所述获取针对所述待检测图像的触发指令,若所述触发指令所包含的触发位置处于所述目标区域,则输出与所述目标对象相关联的云游戏展示界面的步骤。
其中,模板获取模块包括:
模板库获取单元,用于获取对象模板数据库;所述对象模板数据库中包括Q种类型的配置对象模板集合;每个配置对象模板集合中包括n个不同分辨率的配置对象模板;Q为正整数;n为正整数;
模板匹配单元,用于将所述目标对象与所述对象模板数据库进行匹配,确定所述Q种配置对象模板集合分别与所述目标对象之间的对象相似度;
相似度获取单元,用于在Q个对象相似度中,获取大于或等于相似度阈值的配置对象相似度,作为候选配置对象相似度;
模板确定单元,用于获取所述候选配置对象相似度中的最大候选配置对象相似度;
模板确定单元,还用于根据所述最大候选配置对象相似度确定所述目标对象对应的对象模板。
其中,模板确定单元,包括:
分辨率获取子单元,用于获取所述待检测图像的图像分辨率;
集合获取子单元,用于在所述对象模板数据库中,获取所述最大候选配置对象相似度对应的目标配置对象模板集合;
分辨率匹配子单元,用于获取所述目标配置对象模板集合中每个目标配置对象模板的配置对象分辨率,将所述每个目标配置对象模板的配置对象分辨率与所述图像分辨率进行匹配,将匹配成功的配置对象分辨率确定为目标配置对象分辨率;
模板确定子单元,用于将所述目标配置对象分辨率对应的目标配置对象模板确定为所述目标对象对应的对象模板。
本申请实施例一方面提供了一种计算机设备,包括:处理器和存储器;
存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,执行本申请实施例中的方法。
本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中一方面提供的方法。
在本申请实施例中,在识别与云游戏相关的待检测图像中的目标对象(例如,目标控件)的目标区域时,可通过目标对象对应的对象模板来确定目标对象的至少两个关键点数据,并通过对象模板的尺寸来确定目标对象的关键点数据在待检测图像中的预测区域;随后,可根据这些预测区域中所分别包含的关键点数据的数据数量,在这些预测区域中选择有效区域,该有效区域可作为目标对象的目标区域。应当理解,若预测区域中包含的关键点数据越多,则作为有效区域的概率越大;而若关键点数据越多的区域,也就是与目标对象越匹配的区域,而关键点数据较少的区域,可以将之确定为是存在干扰的关键点数据所在的区域,这些区域可被过滤掉,那么根据关键点数据的数量所确定的有效区域,也就是将干扰区域过滤掉的、与目标对象匹配的准确的区域,则由有效区域所组成的目标区域也是与目标对象相匹配的准确的区域。也就是说,本申请可通过目标对象的关键点数据的数据数量以及对象模板的尺寸,来确定出目标对象在待检测图像中的目标区域,可以提高目标对象的位置识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构图;
图2a-图2b是本申请实施例提供的一种确定目标对象的目标区域的场景示意图;
图3是本申请实施例提供的一种数据处理的方法流程图;
图4是本申请实施例提供的一种预测区域相交的示意图;
图5是本申请实施例提供的一种运维模块与游戏之间的逻辑架构示意图;
图6是本申请实施例提供的一种运维模块的执行流程图;
图7是本申请实施例提供的一种在匹配模板图像时进行异常处理的流程示意图;
图8-图9是本申请实施例提供的一种分配可玩界面的场景示意图;
图10是本申请实施例提供的一种数据处理的装置结构图;
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案涉及人工智能的计算机视觉技术(Computer Vision,CV)等技术。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
请参见图1,图1是本申请实施例提供的一种网络架构图。如图1所示,该网络架构可以包括云游戏主机集群、推流服务器以及用户终端集群,云游戏主机集群可以包括一个或多个云游戏主机,用户终端集群可以包括一个或者多个用户终端,多个可以指两个或两个以上,这里将不对用户终端以及云游戏主机的数量进行限制。如图1所示,多个用户终端可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n;如图1所示,用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与推流服务器进行网络连接,以便于每个用户终端可以通过该网络连接与推流服务器之间进行数据交互。
如图1所示,多个云游戏主机可以包括云游戏主机1000a、云游戏主机1000b、云游戏主机1000c、…、云游戏主机1000n;如图1所示,云游戏主机1000a、云游戏主机1000b、云游戏主机1000c、…、云游戏主机1000n可以分别与推流服务器进行网络连接,以便于每个云游戏主机可以通过该网络连接与推流服务器之间进行数据交互。
可以理解的是,如图1所示的每个云游戏主机可以理解为板卡或容器,板卡或容器类似于用户终端(例如,智能手机)。应当理解,在云游戏架构中,板卡或容器存在推流进程,即,板卡或容器(云游戏主机)可将游戏的音效与画面发送至推流服务器,推流服务器可将游戏的音效与画面发送至每个用户终端。应当理解,每个用户终端可安装有游戏应用,推流服务器将游戏的音效与画面发送至每个用户终端即是发送至每个用户终端中的游戏应用。而用户在使用用户终端中的游戏应用进行游戏试玩时,用户终端可将用户的操控事件,发送至推流服务器,推流服务器可将针对游戏应用的操控事件,回传至板卡或容器(云游戏主机)。
可以理解的是,为了减少用户(玩家)的等待时间,云游戏主机上运行有运维模块,该运维模块集成了图像识别与游戏操控功能,当游戏启动时和游戏进行过程中,运维模块会对该游戏进行截图和图像识别,并对游戏进行虚拟点击(模拟点击)、滑动屏幕、主动通知游戏应用结束游戏等行为。应当理解,通过云游戏主机上的运维模块,对用户终端游戏应用中的游戏截图图像进行图像识别,再发送虚拟点击,将游戏进入到可以试玩的界面,最后再将可试玩的界面分配至玩家试玩,由此可减少玩家的等待时间。也就是说,在玩家无操作的情况下,通过运维模块自动对游戏截图图像进行图像识别、发送虚拟点击等行为,可对游戏图像中的控件所对应的输出画面(可试玩的界面)进行预加载,随后可将该输出画面分配至玩家,那么当玩家在使用用户终端时,在游戏应用中进行操作,例如点击控件后,用户终端可将该触发操作发送至推流服务器,推流服务器可从云游戏主机获取到该控件对应的已经预加载完成的输出画面,并将该输出画面返回至用户终端,也就是说,该控件对应的输出画面已经由云游戏主机预加载完成,在玩家操作点击后无需进行加载即可输出,由此可减少玩家的等待时间。
应当理解,运维模块针对游戏的虚拟点击,是针对于游戏截图图像中的控件所在区域进行虚拟点击(例如,对所在区域的中心位置进行虚拟点击),则对于识别控件在游戏截图图像中的所在区域位置十分重要。为提高对控件的区域位置识别的准确率,本申请提出了一种识别方法:可将游戏截图作为待检测图像,将待检测图像中的控件作为目标对象,先获取目标对象对应的对象模板,根据该对象模板可获取目标对象的关键点数据;随后,可根据对象模板的尺寸确定这些关键点数据在待检测图像中的预测区域;根据这些预测区域所包含的关键点数据的数据数量,可在这些预测区域中选择出有效区域,该有效区域所共同覆盖的区域,即可作为该目标对象在待检测图像中的目标区域。进一步地,运维模块可发送针对该目标区域的虚拟点击事件,随后可进入该目标对象(控件)对应的可试玩的界面中。而在接收到用户终端发送的针对该控件的触发指令后,可输出该可试玩的界面。
可选的,可以理解的是,可以将每个目标对象对应的预加载完成的输出画面存储至区块链中,当玩家在使用用户终端时,在游戏应用中对该目标对象进行点击后,用户终端可从区块链中获取到该目标对象对应的已经预加载完成的输出画面。其中,区块链是一种分布式数据存储、点对点传输、共识机制以及加密算法等计算机技术的新型应用模式,主要用于对数据按时间顺序进行整理,并加密成账本,使其不可被篡改和伪造,同时可进行数据的验证、存储和更新。区块链本质上是一个去中心化的数据库,该数据库中的每个节点均存储一条相同的区块链,区块链网络将节点区分为核心节点、数据节点以及轻节点,其中核心节点负责区块链全网的共识,也就是说核心节点为区块链网络中的共识节点。对于区块链网络中交易数据(例如,流量指纹标识信息或设备指纹标识信息)被写入账本的过程可以为,客户端发送交易数据至数据节点或轻节点,随后该交易数据以接力棒的方式在区块链网络中的数据节点或轻节点之间传递,直到共识节点收到该交易数据,共识节点再将该交易数据打包进区块,与其他共识节点之间进行共识,在共识通过后,将携带该交易数据的区块写入账本。
本申请实施例可以在多个用户终端中选择一个用户终端作为目标用户终端,该用户终端可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、台式计算机、智能手表、车载设备等携带数据处理功能(例如,文本数据显示功能、视频数据播放功能、音乐数据播放功能)的智能终端,但并不局限于此。例如,本申请实施例可以将图1所示的用户终端100a作为该目标用户终端,该目标用户终端中可以集成有上述目标应用,此时,该目标用户终端可以通过安装的目标应用(如,游戏应用)与推流服务器之间进行数据交互。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于用户终端或云游戏主机。其中,云游戏主机可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,用户终端以及云游戏主机可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
为便于理解,请一并参见图2a-图2b,图2a-图2b是本申请实施例提供的一种确定目标对象的目标区域的场景示意图。应当理解,当游戏启动后,云游戏主机上运行的运维模块,可以对游戏进行截图并对游戏截图图像进行图像识别。例如,如图2a所示,当游戏启动时,运维模块截图得到的游戏截图图像为待检测图像200,在该待检测图像200中包括控件20a、控件20b、单机控件以及语言选择控件。其中,控件20a为“与xx好友玩”,应当理解,在点击该控件20a后,即可与xx社交应用中的好友一起玩该游戏;控件20b为“与AA好友玩”,应当理解,在点击该控件20b后,即可与AA社交应用中的好友一起玩该游戏;在点击语言选择控件后,即可选择游戏中的显示文字的语言,例如,显示文字的语言为中文或英文。应当理解,可将该待检测图像200中的控件20a、控件20b、单机控件以及语言选择控件中的任一控件作为目标对象,运维模块可以识别目标对象在该待检测图像200中的目标区域。
以下以控件20b为目标对象为例对识别目标对象的目标区域进行说明,如图2a所示,在获取到待检测图像200后,可提取出待检测图像200的关键点数据。其中,该关键点数据可以指特征点,该特征点可以指兴趣点、关键点,该特征点可以指图像中突出且具有代表意义的点。则待检测图像200的关键点数据可以指待检测图像中突出且具有代表意义的点,对于提取待检测图像200的关键点数据的具体方法,可采用尺度不变特征变换(Scale-invariant feature transform,SIFT)特征提取方法,也可采用加速稳健特征(Speeded UpRobust Features,SURF)提取方法,还可采用其他可以提取图像中的关键点数据的算法,在此不再进行一一举例。其中,SIFT特征提取方法与SURF特征提取方法均属于openCV特征点提取方法,openCV特征点提取方法可从图像的轮廓和角点(极值点,图像中某种属性较突出的点)中寻找特征点,openCV可以指图像识别软件开发工具包(Software DevelopmentKit,SDK),openCV主要采用程序编程语言(例如,C++语言、Python语言等)编写调用。
进一步地,如图2a所示,可获取该目标对象(控件20b)对应的模板图像(如图2a所示的对象模板2000a),可提取到该对象模板2000a的关键点数据。进一步地,可将待检测图像200中的每个关键点数据作为待计算关键点数据,可计算确定待计算关键点数据与对象模板2000a中的每个关键点数据的向量距离(如,欧式距离),每个向量距离可用于表征该待计算关键点数据与对象模板2000a中的每个关键点数据之间的相似度,向量距离越小可说明越相似。则可在这些向量距离中,选择最小的一个向量距离数据作为该待计算关键点数据的目标向量距离。可以理解的是,可计算得到待检测图像200中的每个关键点数据的目标向量距离。
进一步地,可基于待检测图像200中的每个关键点数据的目标向量距离,在待检测图像200的关键点数据中确定出控件20b的关键点数据。例如,可将待检测图像200中的每个关键点数据的目标向量距离与距离阈值进行匹配,若该目标向量距离小于或等于该距离阈值,则可将该目标向量距离对应的关键点数据作为控件20b的关键点数据。其中,该距离阈值可是人为规定数值,例如,该距离阈值可为0.3、0.4、0.5,等等,在此不再进行一一举例。如图2a所示,待检测图像200中的关键点数据1、关键点数据2、关键点数据3、关键点数据4、关键点数据5、关键点数据6以及关键点数据7的目标向量距离均小于距离阈值,则可将该关键点数据1、关键点数据2、关键点数据3、关键点数据4、关键点数据5、关键点数据6以及关键点数据7均作为控件20b的关键点数据。
进一步地,可根据对象模板2000a的尺寸以及尺寸缩放比例,来确定出区域尺寸。例如,该对象模板2000a为长度为20cm且宽度为8cm的矩形,该对象模板2000a的尺寸为长度20cm且宽度8cm,尺寸缩放比例为“宽度不变,长度的1/4”,则可将对象模板2000a的长度20cm乘以1/4,得到的结果为5cm,应当理解,可将8cm作为区域尺寸的长度,将5cm作为区域尺寸的宽度。也就是说,得到的区域尺寸为长度8cm且宽度5cm。其中,应当理解,该尺寸缩放比例可是由人为规定比例,该尺寸缩放比例可为“宽度不变,长度的1/4”、“宽度不变,长度的1/8”、“宽度的1/2,长度的1/4”,等等,在此不再进行一一举例。
进一步地,可根据上述区域尺寸以及控件20b的每个关键点数据的目标向量距离,确定出控件20b的每个关键点数据(包括关键点数据1、关键点数据2、关键点数据3、关键点数据4、关键点数据5、关键点数据6以及关键点数据7)在待检测图像200中的预测区域。应当理解,可将每个关键点数据为中心,以区域尺寸为半径确定出每个关键点数据的预测区域,其中,可优先确定目标向量距离最小的关键点数据,随后,可将目标向量距离最小的关键点数据为中心,以区域尺寸为半径确定出初始的预测区域,若其他关键点数据处于该初始的预测区域中,则可将该初始的预测区域也作为这些处于该初始的预测区域中的关键点数据的预测区域;而若其他关键点数据未处于该初始的预测区域中,则可将其作为中心,以区域尺寸为半径为这些未处于初始的预测区域中的关键点数据创建单独的预测区域。
例如,关键点数据1的目标向量距离为0.24、关键点数据2的目标向量距离为0.25、关键点数据3的目标向量距离为0.23、关键点数据4的目标向量距离为0.21、关键点数据5的目标向量距离为0.20、关键点数据6的目标向量距离为0.22、关键点数据7的目标向量距离为0.245,则可以确定,关键点数据5的目标向量距离为最小目标向量距离,则可以优先以关键点数据5为中心,以区域尺寸为半径,在待检测图像200中确定出关键点数据5对应的预测区域(如图2b所示的预测区域3);随后,可在除关键点数据5以外的关键点数据(即关键点数据1、关键点数据2、关键点数据3、关键点数据4、关键点数据6以及关键点数据7)中,确定出最小目标向量距离为0.21,该0.21为关键点数据4对应的目标向量距离。如图2b所示,该关键点数据4是处于该预测区域3之中的,则可不再为关键点数据4单独创建预测区域,可直接将该预测区域3作为该关键点数据4的预测区域;同理,在除关键点数据4与关键点数据5以外的剩余关键点数据(即关键点数据1、关键点数据2、关键点数据3、关键点数据6以及关键点数据7)中,可按照最小目标向量距离、次小目标向量距离、…最大目标向量距离的关键点数据获取顺序,依次确定出关键点数据6、关键点数据3、关键点数据1、关键点数据2以及关键点数据7分别对应的预测区域,如图2b所示,该关键点数据6对应的预测区域为预测区域3、关键点数据3对应的预测区域为预测区域2、关键点数据1与关键点数据2对应的预测区域均为预测区域1、关键点数据7对应的预测区域为预测区域4。
进一步地,可获取该预测区域1、预测区域2、预测区域3以及预测区域4分别包含的关键点数据的数量,如图2b所示,该预测区域1包含的关键点数据的数量为2、预测区域2包含的关键点数据的数量为1、预测区域3包含的关键点数据的数量为3、预测区域4包含的关键点数据的数量为1。应当理解,目标向量距离小于距离阈值的关键点数据是为较好的关键点数据,而包含较好的关键点数据最多的区域可理解为最佳的匹配区域,则可将包含关键点数据的数量最多的预测区域作为初始的有效区域。例如,因为预测区域3包含的关键点数据的数量为3,则可将该预测区域3作为初始的有效区域;应当理解,预测区域3的尺寸大小是将对象模板2000a按照尺寸缩放比例进行缩放后得到的,则该预测区域3并不能表征完整的对象模板2000a的尺寸大小,为完整的表征对象模板2000a的尺寸(即,完整的表征控件20b的区域),可在除预测区域3的剩余预测区域中,确定出与预测区域3存在相交的相交预测区域(例如,如图2b所示的预测区域2与预测区域4),并将该相交预测区域即预测区域2与预测区域4,也作为有效区域;随后,如图2b所示,可将包括预测区域2、预测区域3以及预测区域4的三个有效区域所组成的区域P,作为控件20b在待检测图像200中的目标区域。
应当理解,因为在确定目标对象(控件20b)的关键点数据时,如图2a-图2b所示的控件2a的关键点数据1与关键点数据2也是满足条件的,则也会将控件20a的关键点数据1与关键点数据2也作为控件20b的关键点数据,若采用特征点透视变换方法来得到控件20b的目标区域,则会将关键点数据1与关键点数据2也参与到透视变换中,可以看出,因为关键点数据1与关键点数据2存在干扰,其并非为控件20b的关键点数据,则通过该特征点透视变换方法所得到的控件20b的目标区域,并不准确。而本申请通过对象模板2000a的尺寸,来为每个关键点数据构建预测区域,根据预测区域所包含的关键点数据数量来确定初始有效区域(包含的关键点数据的数量最大),若包含的关键点数据的数量越多,则其预测区域也与该控件20b越匹配,包含的关键点数据的数量最大的预测区域,则可确定为是与控件20b最为匹配的区域,则可将该预测区域确定为初始有效区域;随后,可根据是否与初始有效区域相交来对除初始有效区域以外的剩余预测区域进行筛选,若某一预测区域与该初始有效区域相交,则可将该预测区域也作为有效区域,而与该初始有效区域不相交的预测区域可认为是存在干扰的区域(存在干扰的关键点数据所在的区域),那么最终由有效区域所共同覆盖的区域可确定为是控件20b对应的目标区域,该目标区域是将干扰区域过滤掉所得到的区域,更为准确,从而可提高对控件20b的目标区域的识别准确率。也就是说,本申请所提供的方法可提高对目标对象的区域识别的准确率。
进一步地,请参见图3,图3是本申请实施例提供的一种数据处理的方法流程图。其中,该方法可以由云游戏主机(例如,上述图1所对应实施例中的云游戏主机集群中的任一云游戏主机)执行,也可以由云游戏主机与用户终端(例如,上述图1所对应实施例中的用户终端集群中的任一用户终端)共同执行。以下将以本方法由云游戏主机执行为例进行说明,其中,该数据处理方法至少可以包括以下步骤S101-步骤S104:
步骤S101,获取与云游戏相关的待检测图像,获取待检测图像中的目标对象对应的对象模板,根据对象模板获取目标对象的至少两个关键点数据。
本申请中,应当理解,在云游戏架构中,云游戏主机上运行有运维模块,该运维模块集成了图像识别与游戏操控功能,当游戏启动时和游戏进行过程中,运维模块会对该游戏进行截图和图像识别,并对游戏进行虚拟点击、滑动屏幕、主动通知游戏应用结束游戏等行为。应当理解,通过云游戏主机上的运维模块,对用户终端游戏应用中的游戏截图图像进行图像识别,再发送虚拟点击,可将游戏进入到可以试玩的界面,最后再将可试玩的界面分配至玩家试玩,由此可减少玩家的等待时间。而本申请中的待检测图像可理解为运维模块进行截图所得到的游戏截图图像;目标对象可以指该待检测图像中的任一控件。例如,该待检测图像可如上述图2a所对应实施例中的待检测图像200所示,该目标对象可以指该待检测图像200中的控件20a或控件20b或单机控件或语言选择控件。
应该理解,每一个控件均对应有一个模板图像,即每个目标对象均对应有一个对象模板,在获取到待检测图像后,可将该待检测图像中的任一控件作为目标对象,并将该目标对象与对象模板数据库(包括多个对象模板)进行匹配,从而可从该对象模板数据库中匹配得到该目标对象对应的对象模板。应当理解,为减少对对象模板的采样成本,本申请中的对象模板数据库中所存储的每个控件对应的对象模板,可只存在一种图像分辨率(例如,480p或720p等等),也就是说,针对每个控件只在一种分辨率下进行采样得到每个控件对应的对象模板,从而可以减少对象模板的数量,使对象模板更轻量化。
可选的,可以理解的是,本申请中的对象模板数据库中所存储的每个控件对应的对象模板,可存在多种分辨率(图像分辨率),也就是说,针对每个控件可采用机器学习的方式,在多种分辨率下进行自动采样得到每个控件对应的不同分辨率的采样对象模板,并对这些采样对象模板进行特征训练,由此可得到每个控件对应的不同分辨率的对象模板,由此可适配多分辨率的待检测图像。其中,若每个控件(每个目标对象)对应有多种分辨率的对象模板,那么在将对象模板数据库与目标对象进行匹配后,会得到不同分辨率下的多个对象模板,则还需要从这多个对象模板中确定出最终的对象模板,可将目标对象的分辨率与这些对象模板的分辨率进行适配,最后确定出适配目标对象的分辨率的对象模板。具体方法可为,可获取对象模板数据库;其中,对象模板数据库中包括Q种类型的配置对象模板集合;每个配置对象模板集合中包括n个不同分辨率的配置对象模板;Q为正整数;n为正整数;可将目标对象与对象模板数据库进行匹配,确定Q种配置对象模板集合分别与目标对象之间的对象相似度;在Q个对象相似度中,获取大于或等于相似度阈值的配置对象相似度,作为候选配置对象相似度;随后,可获取候选配置对象相似度中的最大候选配置对象相似度,根据最大候选配置对象相似度确定目标对象对应的对象模板。
其中,对于根据最大候选配置对象相似度确定目标对象对应的对象模板的具体方法可为,可获取待检测图像的图像分辨率;在对象模板数据库中,可获取最大候选配置对象相似度对应的目标配置对象模板集合;随后,可获取目标配置对象模板集合中每个目标配置对象模板的配置对象分辨率,将每个目标配置对象模板的配置对象分辨率与图像分辨率进行匹配,将匹配成功的配置对象分辨率确定为目标配置对象分辨率;可将目标配置对象分辨率对应的目标配置对象模板确定为目标对象对应的对象模板。
进一步地,可根据该目标对象的对象模板在该待检测图像中获取该目标对象的关键点数据,具体方法可为:可获取待检测图像的m个图像关键点数据,可获取m个图像关键点数据分别对应的特征向量;其中,m为正整数;可获取对象模板的至少两个对比关键点数据,并获取至少两个对比关键点数据分别对应的对比特征向量;根据m个图像关键点数据分别对应的特征向量,与至少两个对比关键点数据分别对应的对比特征向量,可确定目标对象的至少两个关键点数据。其中,关键点数据或对比关键点数据可以指特征点,该特征点可以指兴趣点、关键点,该特征点可以指图像(例如,待检测图像、对象模板)中突出且具有代表意义的点。对于提取待检测图像中的关键点数据、对象模板中的对比关键点数据的方法,可采用关键点数据提取方法,例如,可采用SIFT特征点提取方法、SURF特征点提取方法,等等。
以下将以m个图像关键点数据包括关键点数据ki;m个图像关键点数据分别对应的特征向量包括该关键点数据ki对应的特征向量sa为例,来对根据m个图像关键点数据分别对应的特征向量,与至少两个对比关键点数据分别对应的对比特征向量,确定目标对象的至少两个关键点数据的具体方法进行说明;其中,i为正整数;a为正整数;对于根据m个图像关键点数据分别对应的特征向量,与至少两个对比关键点数据分别对应的对比特征向量,确定目标对象的至少两个关键点数据的具体方法可为:可确定至少两个对比关键点数据分别对应的对比特征向量,与特征向量sa之间的向量距离;其中,每个向量距离用于表征每个对比关键点数据与关键点数据ki之间的相似度;可在至少两个向量距离中获取最小向量距离,将最小向量距离作为关键点数据ki对应的目标向量距离;将目标向量距离与距离阈值进行匹配,若目标向量距离小于或等于距离阈值,则可将关键点数据ki确定为目标对象的关键点数据。也就是说,可确定对象模板中的每个对比关键点数据分别与该待检测图像中的每个关键点数据中的向量距离(例如,欧式距离),并将最小的向量距离作为待检测图像中的每个关键点数据的目标向量距离;随后,可将待检测图像中的每个关键点数据的目标向量距离与距离阈值进行匹配,根据匹配结果可确定出目标对象的关键点数据。
例如,待检测图像的关键点数据包括关键点数据1与关键点数据2,对象模板的对比关键点数据包括关键点数据11与关键点数据22,则可确定关键点数据1与关键点数据11之间的向量距离1、关键点数据1与关键点数据22之间的向量距离2,随后,可将向量距离1与向量距离2进行比较,将向量距离1与向量距离2中的最小向量距离作为关键点数据1的目标向量距离,若该目标向量距离小于或等于距离阈值,则可将该关键点数据1作为目标对象的关键点数据;同理,可确定关键点数据2与关键点数据11之间的向量距离3、关键点数据2与关键点数据22之间的向量距离4,随后,可将向量距离3与向量距离4进行比较,将向量距离3与向量距离4中的最小向量距离作为关键点数据2的目标向量距离,若该目标向量距离小于或等于距离阈值,则可将该关键点数据2作为目标对象的关键点数据。其中,该距离阈值可是人为规定数值。
步骤S102,根据对象模板的尺寸确定至少两个关键点数据分别在待检测图像中的预测区域,得到一个或多个预测区域。
本申请中,以至少两个关键点数据包括第一关键点数据与第二关键点数据、一个或多个预测区域包括第一关键点数据对应的第一预测区域,以及第二关键点数据对应的第二预测区域为例,对确定目标对象的关键点数据在待检测图像中的预测区域进行说明。对于确定目标对象的关键点数据在待检测图像中的预测区域,得到一个或多个预测区域的具体方法可为,可获取第一关键点数据对应的第一目标向量距离,以及第二关键点数据对应的第二目标向量距离;可在第一目标向量距离与第二目标向量距离中,确定最小目标向量距离;随后,可获取尺寸缩放比例,按照尺寸缩放比例可将对象模板的尺寸进行缩放,得到区域尺寸;根据最小目标向量距离以及区域尺寸,可确定第一关键点数据对应的第一预测区域与第二关键点数据对应的第二预测区域。
其中,对于根据最小目标向量距离以及区域尺寸,确定第一关键点数据对应的第一预测区域与第二关键点数据对应的第二预测区域的具体方法可为,可在第一关键点数据与第二关键点数据中,获取最小目标向量距离对应的关键点数据,作为目标关键点数据;可获取目标关键点数据在待检测图像中的第一位置坐标,并将第一位置坐标作为区域尺寸的第一中心位置坐标,根据第一中心位置坐标与区域尺寸,可确定目标关键点数据对应的关键预测区域;根据目标关键点数据对应的关键预测区域确定第一预测区域与第二预测区域。
以目标关键点数据为第一关键点数据、目标关键点数据对应的关键预测区域为第一关键点数据对应的第一预测区域为例,对于根据目标关键点数据对应的关键预测区域确定第一预测区域与第二预测区域的具体方法可为,可获取第二关键点数据在待检测图像中的第二位置坐标;若第二位置坐标处于第一预测区域内,则将该关键预测区域确定为第二关键点数据对应的第二预测区域;其中,该第一预测区域与第二预测区域均属于关键预测区域,也就是说,该第一预测区域与第二预测区域为同一区域;而若第二位置坐标未处于第一预测区域内,则可将第二位置坐标作为区域尺寸的第二中心位置坐标,根据第二中心位置坐标与区域尺寸,确定第二关键点数据对应的第二预测区域。
应当理解,可在目标对象的关键点数据中,获取每个关键点数据的目标向量距离;随后,可优先确定最小的目标向量距离,并将该最小的目标向量距离对应的关键点数据(位置坐标)作为区域尺寸的中心点,从而可确定出该关键点数据在该待检测图像中的预测区域。例如,如上述图2b所示,在关键点数据1-关键点数据7中,目标向量距离最小的为关键点数据5,则可将该关键点数据5(关键点数据5的位置坐标)作为区域尺寸的中心点,由此可确定出关键点数据5在待检测图像200中的预测区域为预测区域3。进一步地,可获取次小的目标向量距离,可确定该次小的目标向量距离对应的关键点数据是否处于上述最小的目标向量距离对应的关键点数据的预测区域中,若处于其中,则可将该最小的目标向量距离对应的关键点数据的预测区域作为该次小的目标向量距离的预测区域;同理,可依次确定剩余关键点数据是否处于任一已创建的预测区域中,若处于任一预测区域中,则可将所处的预测区域作为其对应的预测区域,无需单独进行创建,而若未处于任一预测区域中,则可以将其位置坐标作为区域尺寸的中心点,创建其对应的预测区域。对于确定目标对象的关键点数据的预测区域的场景示例说明,可参见上述图2a-图2b所对应实施例中,确定控件20b的关键点数据的预测区域的场景描述。
步骤S103,根据一个或多个预测区域中包含的关键点数据,在一个或多个预测区域中选择N个预测区域,作为N个有效区域,将N个有效区域所共同覆盖的区域确定为目标对象在待检测图像中的目标区域;N为小于或等于所述一个或多个预测区域的总数量的正整数。
本申请中,对于确定N个有效区域的具体方法可为:可获取一个或多个预测区域中每个预测区域所包含的关键点数据,可确定每个预测区域中所包含的关键点数据的数据数量;可将包含的关键点数据的数据数量最大的预测区域作为初始有效区域;随后,可在剩余预测区域中可获取相交预测区域,将初始有效区域与相交预测区域确定为有效区域;其中,剩余预测区域是指一个或多个预测区域中,除初始有效区域以外的预测区域。
可选的,可以理解的是,在选择初始有效区域时,若在多个预测区域中,存在两个预测区域的所包含的关键点数据的数据数量相同,且该数据数量为最大,则可将该两个预测区域均作为初始有效区域,也可在该两个预测区域中任选一个作为初始有效区域。例如,若预测区域a1与预测区域a2所包含的关键点数据的数据数量相同,且该数据数量为最大,则可将该预测区域a1与预测区域a2均作为初始有效区域,或在预测区域a1与预测区域a2中任选一个作为初始有效区域。
以剩余预测区域包括剩余预测区域tc(c为正整数)为例,对于在剩余预测区域中获取相交预测区域的具体方法可为:可获取剩余预测区域tc的第一覆盖范围,以及初始有效区域的第二覆盖范围;可将第一覆盖范围与第二覆盖范围进行匹配,若第一覆盖范围与第二覆盖范围之间存在重叠覆盖范围,则将剩余预测区域tc确定为相交预测区域。
可选的,可以理解的是,对于在剩余预测区域中获取相交预测区域的具体方法还可为:可根据两个预测区域的顶点坐标,确定这两个预测区域是否相交,而若两个预测区域是相交的,则其中一个预测区域的角点会处于另一预测区域中。也就是说,若初始有效区域与剩余预测区域tc是相交的,则初始有效区域的角点会处于剩余预测区域tc内或剩余预测区域tc的角点会处于初始有效区域内。为便于理解相交预测区域,请一并参见图4,图4是本申请实施例提供的一种预测区域相交的示意图。如图4所示,预测区域1的顶点坐标(处于预测区域1的对角线上的两个顶点坐标)为(X1,Y1)以及(X2,Y2),通过该顶点坐标(X1,Y1)以及(X2,Y2),可确定预测区域1的区域尺寸(宽度为X2减去X1的差值绝对值,高度为Y1减去Y2的差值绝对值);预测区域2的顶点坐标(处于预测区域2的对角线上的两个顶点坐标)为(X3,Y3)以及(X4,Y4),通过该顶点坐标(X3,Y3)以及(X4,Y4),可确定该预测区域2的区域尺寸;角点40为预测区域1的一个角点,可以看出,该预测区域1与预测区域2是相交的,该预测区域1的角点40也处于预测区域2中。
为便于理解通过比较两个预测区域的顶点坐标,确定两个预测区域是否相交,以下将举例说明,例如,以区域尺寸为宽度为0.5且高度为2.5为例,预测区域b的顶点坐标为(1,1)以及(1.5,3.5),顶点坐标(1,1)中的数值1可作为nLeft1,另一数值1可作为nTop1,顶点坐标(1.5,3.5)中的数值1.5可作为nRight1,数值3.5可作为nBottom1;预测区域a的顶点坐标为(1.5,1.5)以及(2,4),该顶点坐标(1.5,1.5)中的数值1.5可作为nLeft2,另一数值1.5可作为nTop2;顶点坐标(2,4)中的数值2可作为nRight2,数值4可作为nBottom2;可将nLeft1与nLeft2进行比较,同时将nLeft2与nRight1进行比较,并根据比较结果确定预测区域a与预测区域b是否相交,例如,若nLeft2大于或等于nLeft1,且nLeft2小于或等于nRight1,则可确定预测区域a与预测区域b相交。例如,因为数值1.5(nLeft2)大于数值1(nLeft1),且顶点坐标(1.5,1.5)中的数值1.5(nLeft2)等于该顶点坐标(1.5,3.5)中的数值1.5(nRight1),则可确定该两个预测区域是相交的。
本申请中,可将上述有效区域所组成的区域,作为目标对象在待检测图像中的目标区域。例如,如上述图2b所示,有效区域包括预测区域2、预测区域3以及预测区域4,预测区域2、预测区域3以及预测区域4共同组成区域P,则可将该区域P作为控件20b在待检测图像200中的目标区域。
步骤S104,获取针对待检测图像的触发指令,若触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面。
本申请中,在识别到目标对象在待检测图像中的目标区域后,调用云游戏主机中的运维模块,通过运维模块对该待检测图像中的目标对象的目标区域进行虚拟点击,以进入到游戏的某个场景中(进入到目标对象所对应的输出界面中),也就是在获取到用户针对该待检测图像的触发指令前,可提前将该待检测图像中的控件对应的输出界面进行预加载处理,由此当获取到用户针对该待检测图像中的控件的触发指令时,可直接将该预加载处理完成的输出界面进行输出,无需进行加载等待,由此可减少玩家的等待时间。具体方法可为,可调用运维组件(也就是云游戏主机中的运维模块),通过运维组件获取用于对目标区域进行模拟触发的程序语句;通过程序语句生成针对目标区域的模拟触发指令,根据模拟触发指令获取与目标对象相关联的云游戏展示界面,也就是对目标对象进行虚拟点击,从而获取到该目标对象对应的云游戏展示界面(输出界面)中;随后,可将云游戏展示界面进行预加载处理,在云游戏展示界面处于预加载处理完成状态时,可执行获取针对待检测图像的触发指令,若触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面的步骤。
在本申请实施例中,在识别与云游戏相关的待检测图像中的目标对象(例如,目标控件)的目标区域时,可通过目标对象对应的对象模板来确定目标对象的至少两个关键点数据,并通过对象模板的尺寸来确定目标对象的关键点数据在待检测图像中的预测区域;随后,可根据这些预测区域中所分别包含的关键点数据的数据数量,在这些预测区域中选择初始有效区域,而根据是否与该初始有效区域相交,在其他预测区域中选择出相交预测区域,从而可由初始有效区域与相交预测区域确定出有效区域,该有效区域所共同覆盖的区域可作为目标对象的目标区域。应当理解,若包含的关键点数据的数量越多,则其预测区域也与该目标对象越匹配,包含的关键点数据的数量最大的预测区域,则可确定为是与目标对象最为匹配的区域;而与该初始有效区域不相交的区域,可确定其是存在干扰的且数量较少的关键点数据所在的区域,这些区域可被过滤掉,那么根据关键点数据的数量所选择的有效区域,也就是将干扰区域过滤掉的、与目标对象匹配的准确的区域,则由有效区域所组成的目标区域也是与目标对象相匹配的准确的区域。也就是说,本申请可通过目标对象的关键点数据的数据数量以及对象模板的尺寸,来确定出目标对象在待检测图像中的目标区域,可以提高目标对象的位置识别准确率。
为便于理解运维模块与游戏之间的逻辑流程,请一并参见图5,图5是本申请实施例提供的一种运维模块与游戏之间的逻辑架构示意图。如图5所示,该运维模块可包括剧本、逻辑控制模块、图像识别模块以及操控模块,其中,该剧本可用于描述如何控制游戏预加载到某个画面(即,可用于描述游戏的控制逻辑),该剧本可以指程序语言文件,例如,为提高游戏的逻辑层次、使得剧本易于修改且使得属性配置更为规范,可将剧本采用可扩展标记语言(Extensible Markup Language,XML)进行描述,也就是说,得到的剧本为XML文件;该图像识别模块可用于对游戏进行截图得到游戏截图图像,并对该游戏截图图像进行图像识别(例如,识别目标对象的对象模板、并识别目标对象的关键点数据、识别目标对象在待检测图像中的目标区域等);该逻辑控制模块可用于进行逻辑控制;该操控模块可用于基于逻辑控制模块对游戏进行操控。
为便于理解运维模块的执行流程,请一并参见图6,图6是本申请实施例提供的一种运维模块的执行流程图。如图6所示,该执行流程可包括以下步骤1-步骤3:
步骤1:XML描述逻辑与参数。
应当理解,可采用XML语言来描述游戏的控制逻辑,从而生成游戏的剧本,其具体可以包括以下2个方面:
(1)描述程序逻辑结构。
(2)设置图像匹配和其他输入参数。
步骤2:C++解释并执行。
应当理解,运维模块可采用程序语言进行开发,例如,为提高执行速度、减少系统资源的占用空间,可采用C++程序语言进行开发。则可采用C++对上述XML剧本进行读取解析。具体包括以下2个方面:
(1)读取并解析XML脚本。
(2)根据输入参数,进行openCV图像匹配操作。
应当理解,上述图5所示的逻辑控制模块可对XML剧本进行读取并解析,并向图像识别模块发送图像匹配(图像识别)的逻辑指令。
步骤3:游戏点击或输入。
应当理解,上述逻辑控制模块可获取到图像识别模块的识别结果(例如,识别到目标对象的目标区域),随后,逻辑控制模块可向操控模块发送操控指令,操控指令可对待检测图像进行虚拟点击或输入某些信息参数,等等。
其中,应当理解,在XML剧本中,可包括用于进行图像匹配(例如,匹配目标对象的对象模板)的功能节点,该功能节点可如表1所示:
表1
节点名称 功能 说明
匹配(match) 输入模板图像(对象模板)进行匹配 可指定重试次数、匹配方法、延迟时间、图像预处理等方式
正确(true)/错误(false) match的子节点,匹配到模板图像则可走true分支;若未匹配到则可走false分支 true和false分支下可嵌套match节点
动作(action) true和false的子节点,可进行虚拟点击、输入字符、跳转执行节点、停止执行或拉起另外一个脚本等 当前节点可以此执行多个action动作
行为(goto) action的一个行为,可通过指定名称而跳转到指定的match节点 使用goto可简化脚本逻辑
正确情况(TrueCase)/错误情况(FalseCase) 当前match节点匹配到模板图像时,需要进一步匹配时可走TrueCase分支;反之匹配不到模板图像时可走FalseCase分支 和true/false分支节点不同,false节点是超过重试次数才会执行
其中,如表1所示的每个match节点为一个匹配步骤,match节点可嵌套以形成一个完整的链路来描述游戏的预加载步骤。执行每个match步骤时,若匹配失败,则说明可能遇到了某些异常问题,所以,需要使用TrueCase或FalseCase节点来处理这些异常问题。为便于理解,请一并参见图7,图7是本申请实施例提供的一种在匹配模板图像时进行异常处理的流程示意图。如图7所示,每个匹配步骤具有独有的异常问题,则每个匹配步骤也具有独有的异常处理方式,例如,匹配步骤1具有独有的异常问题1(如,脚本不运行)与异常问题2(无法获取网关地址),则匹配步骤1也具有独有的异常处理方式1(如,重新编写脚本)与异常处理方式2(更换网关地址的绑定方式);匹配步骤2具有独有的异常问题3(如,前端环境无法启动),则匹配步骤2也具有独有的异常处理方式3(如,对端口地址进行注释,再进行重启);匹配步骤3具有独有的异常问题4(如,磁盘空间报警),则匹配步骤3也具有独有的异常处理方式4(如,删除数据库中的部分日志)。应当理解,如图7所示,匹配步骤之间存在共有的异常问题,则匹配步骤之间也存在共有的异常处理方式,该共有的异常问题可如:游戏公告弹窗;共有的异常处理方式可如:对游戏公告弹窗的异常进行侦测。应当理解,在每个匹配步骤匹配成功时,则可进入下一步骤(如,进入下一个匹配步骤);而若在任一匹配步骤匹配失败时,则可对其进行异常处理,例如,若在匹配步骤1匹配失败时,则可按异常处理方式1或异常处理方式2或共有异常处理方式对其进行异常处理。需要说明的是,上述异常问题(包括异常问题1、异常问题2、异常问题3、异常问题4以及共有异常问题)与异常处理方式(包括异常处理方式1、异常处理方式2、异常处理方式3、异常处理方式4以及共有异常处理方式)均是为便于理解所作出的举例说明,在实际应用场景中并不具有参考意义。
应当理解,剧本的逻辑描述中可包含多种参数信息(例如,如上述表1所示的参数信息),这些参数信息也便于人为进行修改。为便于理解,请参见图8-图9,图8-图9是本申请实施例提供的一种分配可玩界面的场景示意图。如图8所示,在玩家启动游戏后,云游戏主机可对游戏进行截图并将截图图像作为待检测图像,例如,在待检测图像(如界面1)中,检测到开始游戏控件后,可识别该开始游戏控件在该界面1中的目标区域,其中,具体识别目标区域的方法可参见上述图3所对应实施例中的描述,这里将不再进行赘述;随后,云游戏主机可对该开始游戏控件的目标区域进行虚拟点击(例如,点击该目标区域的中心位置),由此可获取到该开始游戏控件对应的云游戏输出界面(如界面2);随后,云游戏主机可检测到该界面2中的竞技对抗控件,可识别到该竞技对抗控件在该界面2中的目标区域,随后,云游戏主机可对该竞技对抗控件的目标区域进行虚拟点击,由此可获取到该竞技对抗控件对应的云游戏输出界面(如界面3);在该界面3中,可对任一控件进行虚拟点击以进入到游戏的某一场景中,例如,可对人机控件进行虚拟点击,由此可将游戏进入到游戏的人机竞技场景中。
进一步地,云游戏主机可将云游戏设备(例如,界面2、界面3等)分配至玩家对应的用户终端;当玩家连接上云游戏后,可查看到游戏大厅的竞技模式,也就是可查看到界面2、界面3。例如,如图9所示,用户a可为游戏的玩家,用户a在点击开始游戏控件后,用户终端A可显示云游戏主机所发送的界面2,当用户a在点击竞技对抗控件后,用户终端A可显示云游戏主机所发送的界面3,用户a在可界面3中选择任一控件进入游戏的某一场景中。
应当理解,本申请在识别目标对象在图像中的目标区域时,考虑到特征点最多的区域为最佳的匹配区域的特点,所以采用了为每个关键点数据创建预测区域,且采用根据每个预测区域中包含的关键点数据的数量来确定有效区域的方式,来创建每个关键点数据的目标区域,可提高对目标对象的目标区域的识别准确率,由此,当发送针对该目标区域的虚拟点击事件时,可以实现对目标对象的准确点击,从而可很好地响应该目标对象对应的内容。
进一步地,请参见图10,图10是本申请实施例提供的一种数据处理的装置结构图。该数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该数据处理装置可以用于执行图3所示的方法。如图10所示,该数据处理装置1可以包括:图像获取模块11、模板获取模块12、关键点获取模块13、区域确定模块14以及界面输出模块15。
图像获取模块11,用于获取与云游戏相关的待检测图像;
模板获取模块12,用于获取待检测图像中的目标对象对应的对象模板;
关键点获取模块13,用于根据对象模板获取目标对象的至少两个关键点数据;
区域确定模块14,用于根据对象模板的尺寸确定至少两个关键点数据分别在待检测图像中的预测区域,得到一个或多个预测区域;
区域确定模块14,还用于根据一个或多个预测区域中包含的关键点数据的数据数量,在一个或多个预测区域中选择N个预测区域,作为N个有效区域;N为小于或等于所述一个或多个预测区域的总数量的正整数;
区域确定模块14,还用于将N个有效区域所共同覆盖的区域确定为目标对象在待检测图像中的目标区域;
界面输出模块15,用于获取针对待检测图像的触发指令,若触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面。
其中,图像获取模块11、模板获取模块12、关键点获取模块13、区域确定模块14以及界面输出模块15的具体实现方式,可以参见上述图3所对应实施例中步骤S101-步骤S104的描述,这里将不再进行赘述。
请参见图10,关键点获取模块13可以包括:向量获取单元131以及数据确定单元132。
向量获取单元131,用于获取所述待检测图像的m个图像关键点数据,获取所述m个图像关键点数据分别对应的特征向量;m为正整数;
向量获取单元131,还用于获取所述对象模板的至少两个对比关键点数据,获取所述至少两个对比关键点数据分别对应的对比特征向量;
数据确定单元132,用于根据所述m个图像关键点数据分别对应的特征向量,与所述至少两个对比关键点数据分别对应的对比特征向量,确定所述目标对象的至少两个关键点数据。
其中,向量获取单元131以及数据确定单元132的具体实现方式,可以参见上述图3所对应实施例中步骤S101的描述,这里将不再进行赘述。
其中,所述m个图像关键点数据包括关键点数据ki;所述m个图像关键点数据分别对应的特征向量包括所述关键点数据ki对应的特征向量sa;i为正整数;a为正整数;
请参见图10,数据确定单元132可以包括:距离确定子单元1321以及距离匹配子单元1322。
距离确定子单元1321,用于确定所述至少两个对比关键点数据分别对应的对比特征向量,与所述特征向量sa之间的向量距离;每个向量距离用于表征每个对比关键点数据与所述关键点数据ki之间的相似度;
距离确定子单元1321,还用于在至少两个向量距离中获取最小向量距离,将所述最小向量距离作为所述关键点数据ki对应的目标向量距离;
距离匹配子单元1322,用于将所述目标向量距离与距离阈值进行匹配,若所述目标向量距离小于或等于所述距离阈值,则将所述关键点数据ki确定为所述目标对象的关键点数据。
其中,距离确定子单元1321以及距离匹配子单元1322的具体实现方式,可以参见上述图3所对应实施例中步骤S101的描述,这里将不再进行赘述。
其中,所述目标对象的至少两个关键点数据包括第一关键点数据与第二关键点数据;所述一个或多个预测区域包括所述第一关键点数据对应的第一预测区域,以及所述第二关键点数据对应的第二预测区域;
请参见图10,区域确定模块14可以包括:距离获取单元141、最小距离确定单元142、尺寸缩放单元143以及区域确定单元144。
距离获取单元141,用于获取所述第一关键点数据对应的第一目标向量距离,以及所述第二关键点数据对应的第二目标向量距离;
最小距离确定单元142,用于在所述第一目标向量距离与所述第二目标向量距离中,确定最小目标向量距离;
尺寸缩放单元143,用于获取尺寸缩放比例,按照所述尺寸缩放比例将所述对象模板的尺寸进行缩放,得到区域尺寸;
第一区域确定单元144,用于根据所述最小目标向量距离以及所述区域尺寸,确定所述第一关键点数据对应的第一预测区域与所述第二关键点数据对应的第二预测区域。
其中,距离获取单元141、最小距离确定单元142、尺寸缩放单元143以及第一区域确定单元144的具体实现方式,可以参见上述图3所对应实施例中的步骤S103中的描述,这里将不再进行赘述。
请参见图10,第一区域确定单元144可以包括:最小数据获取子单元1441、关键区域确定子单元1442以及第一区域确定子单元1443。
最小数据获取子单元1441,用于在所述第一关键点数据与所述第二关键点数据中,获取所述最小目标向量距离对应的关键点数据,作为目标关键点数据;
关键区域确定子单元1442,用于获取所述目标关键点数据在所述待检测图像中的第一位置坐标,将所述第一位置坐标作为所述区域尺寸的第一中心位置坐标,根据所述第一中心位置坐标与所述区域尺寸,确定所述目标关键点数据对应的关键预测区域;
区域确定子单元1443,用于根据所述目标关键点数据对应的关键预测区域确定所述第一预测区域与所述第二预测区域。
其中,最小数据获取子单元1441、关键区域确定子单元1442以及区域确定子单元1443的具体实现方式,可以参见上述图3所对应实施例中的步骤S103中的描述,这里将不再进行赘述。
其中,所述目标关键点数据为所述第一关键点数据;所述目标关键点数据对应的关键预测区域为所述第一关键点数据对应的所述第一预测区域;
区域确定子单元1443,还具体用于获取所述第二关键点数据在所述待检测图像中的第二位置坐标;
区域确定子单元1443,还具体用于若所述第二位置坐标处于所述第一预测区域内,则将所述关键预测区域确定为所述第二关键点数据对应的所述第二预测区域;所述第一预测区域与所述第二预测区域均属于所述关键预测区域;
区域确定子单元1443,还具体用于若所述第二位置坐标未处于所述第一预测区域内,则将所述第二位置坐标作为所述区域尺寸的第二中心位置坐标,根据所述第二中心位置坐标与所述区域尺寸,确定所述第二关键点数据对应的所述第二预测区域。
请参见图10,区域确定模块14可以包括:数量获取单元145以及第二区域确定单元146。
数量获取单元145,用于获取所述一个或多个预测区域中每个预测区域所包含的关键点数据,确定所述每个预测区域中所包含的关键点数据的数据数量;
第二区域确定单元146,用于将包含的关键点数据的数据数量最大的预测区域作为初始有效区域;
第二区域确定单元146,还用于在剩余预测区域中获取相交预测区域;
第二区域确定单元146,还用于将所述初始有效区域与所述相交预测区域确定为所述N个有效区域;所述剩余预测区域是指所述一个或多个预测区域中,除所述初始有效区域以外的预测区域。
其中,数量获取单元145以及第二区域确定单元146的具体实现方式,可以参见上述图3所对应实施例中的步骤S103中的描述,这里将不再进行赘述。
其中,所述剩余预测区域包括剩余预测区域tc;c为正整数;
请参见图10,第二区域确定单元146可以包括:范围获取子单元1461以及范围匹配子单元1462。
范围获取子单元1461,用于获取所述剩余预测区域tc的第一覆盖范围,以及所述初始有效区域的第二覆盖范围;
范围匹配子单元1462,用于将所述第一覆盖范围与所述第二覆盖范围进行匹配,若所述第一覆盖范围与所述第二覆盖范围之间存在重叠覆盖范围,则将所述剩余预测区域tc确定为所述相交预测区域。
其中,范围获取子单元1461以及范围匹配子单元1462的具体实现方式,可以参见上述图3所对应实施例中的步骤S103中的描述,这里将不再进行赘述。
请参见图10,该装置1还可以包括:组件调用模块16、指令生成模块17以及步骤执行模块18。
组件调用模块16,用于调用运维组件,通过所述运维组件获取用于对所述目标区域进行模拟触发的程序语句;
指令生成模块17,用于通过所述程序语句生成针对所述目标区域的模拟触发指令,根据所述模拟触发指令获取与所述目标对象相关联的云游戏展示界面;
步骤执行模块18,用于将所述云游戏展示界面进行预加载处理,在所述云游戏展示界面处于预加载处理完成状态时,执行所述获取针对所述待检测图像的触发指令,若所述触发指令所包含的触发位置处于所述目标区域,则输出与所述目标对象相关联的云游戏展示界面的步骤。
其中,组件调用模块16、指令生成模块17以及步骤执行模块18的具体实现方式,可以参见上述图3所对应实施例中的步骤S104中的描述,这里将不再进行赘述。
请参见图10,模板获取模块12可以包括:模板库获取单元121、模板匹配单元122、相似度获取单元123以及模板确定单元124。
模板库获取单元121,用于获取对象模板数据库;所述对象模板数据库中包括Q种类型的配置对象模板集合;每个配置对象模板集合中包括n个不同分辨率的配置对象模板;Q为正整数;n为正整数;
模板匹配单元122,用于将所述目标对象与所述对象模板数据库进行匹配,确定所述Q种配置对象模板集合分别与所述目标对象之间的对象相似度;
相似度获取单元123,用于在Q个对象相似度中,获取大于或等于相似度阈值的配置对象相似度,作为候选配置对象相似度;
模板确定单元124,用于获取所述候选配置对象相似度中的最大候选配置对象相似度;
模板确定单元124,还用于根据所述最大候选配置对象相似度确定所述目标对象对应的对象模板。
其中,模板库获取单元121、模板匹配单元122、相似度获取单元123以及模板确定单元124的具体实现方式,可以参见上述图3所对应实施例中的步骤S101中的描述,这里将不再进行赘述。
请参见图10,模板确定单元124可以包括:分辨率获取子单元1241、集合获取子单元1242、分辨率匹配子单元1243以及模板确定子单元1244。
分辨率获取子单元1241,用于获取所述待检测图像的图像分辨率;
集合获取子单元1242,用于在所述对象模板数据库中,获取所述最大候选配置对象相似度对应的目标配置对象模板集合;
分辨率匹配子单元1243,用于获取所述目标配置对象模板集合中每个目标配置对象模板的配置对象分辨率,将所述每个目标配置对象模板的配置对象分辨率与所述图像分辨率进行匹配,将匹配成功的配置对象分辨率确定为目标配置对象分辨率;
模板确定子单元1244,用于将所述目标配置对象分辨率对应的目标配置对象模板确定为所述目标对象对应的对象模板。
其中,分辨率获取子单元1241、集合获取子单元1242、分辨率匹配子单元1243以及模板确定子单元1244的具体实现方式,可以参见上述图3所对应实施例中的步骤S101中的描述,这里将不再进行赘述。
在本申请实施例中,在识别与云游戏相关的待检测图像中的目标对象(例如,目标控件)的目标区域时,可通过目标对象对应的对象模板来确定目标对象的至少两个关键点数据,并通过对象模板的尺寸来确定目标对象的关键点数据在待检测图像中的预测区域;随后,可根据这些预测区域中所分别包含的关键点数据的数据数量,在这些预测区域中选择初始有效区域,而根据是否与该初始有效区域相交,在其他预测区域中选择出相交预测区域,从而可由初始有效区域与相交预测区域确定出有效区域,该有效区域所共同覆盖的区域可作为目标对象的目标区域。应当理解,若包含的关键点数据的数量越多,则其预测区域也与该目标对象越匹配,包含的关键点数据的数量最大的预测区域,则可确定为是与目标对象最为匹配的区域;而与该初始有效区域不相交的区域,可确定其是存在干扰的且数量较少的关键点数据所在的区域,这些区域可被过滤掉,那么根据关键点数据的数量所选择的有效区域,也就是将干扰区域过滤掉的、与目标对象匹配的准确的区域,则由有效区域所组成的目标区域也是与目标对象相匹配的准确的区域。也就是说,本申请可通过目标对象的关键点数据的数据数量以及对象模板的尺寸,来确定出目标对象在待检测图像中的目标区域,可以提高目标对象的位置识别准确率。
进一步地,请参见图11,图11是本申请实施例提供的一种计算机设备的结构示意图。如图11所示,上述图10所对应实施例中的装置1可以应用于上述计算机设备1000,上述计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还包括:用户接口1003,和一个或多个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如一个或多个磁盘存储器。存储器1005可选的还可以是一个或多个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取与云游戏相关的待检测图像,获取待检测图像中的目标对象对应的对象模板,根据对象模板获取目标对象的至少两个关键点数据;
根据对象模板的尺寸确定至少两个关键点数据分别在待检测图像中的预测区域,得到一个或多个预测区域;
根据一个或多个预测区域中包含的关键点数据的数据数量,在一个或多个预测区域中选择N个预测区域,作为N个有效区域,将有效区域所共同覆盖的区域确定为目标对象在待检测图像中的目标区域;N为小于或等于所述一个或多个预测区域的总数量的正整数;
获取针对待检测图像的触发指令,若触发指令所包含的触发位置处于目标区域,则输出与目标对象相关联的云游戏展示界面。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3所对应实施例中对该数据处理方法的描述,也可执行前文图10所对应实施例中对该数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的数据处理的计算机设备1000所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图3所对应实施例中对上述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital, SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中一方面提供的方法。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (14)

1.一种数据处理方法,其特征在于,包括:
获取与云游戏相关的待检测图像,获取所述待检测图像中的目标对象对应的对象模板,根据所述对象模板获取所述目标对象的至少两个关键点数据;
根据所述对象模板的尺寸确定所述至少两个关键点数据分别在所述待检测图像中的预测区域,得到一个或多个预测区域;
根据所述一个或多个预测区域中包含的关键点数据的数据数量,在所述一个或多个预测区域中选择N个预测区域,作为N个有效区域,将所述N个有效区域所共同覆盖的区域确定为所述目标对象在所述待检测图像中的目标区域;N为小于或等于所述一个或多个预测区域的总数量的正整数;
获取针对所述待检测图像的触发指令,若所述触发指令所包含的触发位置处于所述目标区域,则输出与所述目标对象相关联的云游戏展示界面。
2.根据权利要求1所述的方法,其特征在于,所述根据所述对象模板获取所述目标对象的至少两个关键点数据,包括:
获取所述待检测图像的m个图像关键点数据,获取所述m个图像关键点数据分别对应的特征向量;m为正整数;
获取所述对象模板的至少两个对比关键点数据,获取所述至少两个对比关键点数据分别对应的对比特征向量;
根据所述m个图像关键点数据分别对应的特征向量,与所述至少两个对比关键点数据分别对应的对比特征向量,确定所述目标对象的至少两个关键点数据。
3.根据权利要求2所述的方法,其特征在于,所述m个图像关键点数据包括关键点数据ki;所述m个图像关键点数据分别对应的特征向量包括所述关键点数据ki对应的特征向量sa;i为正整数;a为正整数;
所述根据所述m个图像关键点数据分别对应的特征向量,与所述至少两个对比关键点数据分别对应的对比特征向量,确定所述目标对象的至少两个关键点数据,包括:
确定所述至少两个对比关键点数据分别对应的对比特征向量,与所述特征向量sa之间的向量距离;每个向量距离用于表征每个对比关键点数据与所述关键点数据ki之间的相似度;
在至少两个向量距离中获取最小向量距离,将所述最小向量距离作为所述关键点数据ki对应的目标向量距离;
将所述目标向量距离与距离阈值进行匹配,若所述目标向量距离小于或等于所述距离阈值,则将所述关键点数据ki确定为所述目标对象的关键点数据。
4.根据权利要求1所述的方法,其特征在于,所述目标对象的至少两个关键点数据包括第一关键点数据与第二关键点数据;所述一个或多个预测区域包括所述第一关键点数据对应的第一预测区域,以及所述第二关键点数据对应的第二预测区域;
所述根据所述对象模板的尺寸确定所述至少两个关键点数据分别在所述待检测图像中的预测区域,得到一个或多个预测区域,包括:
获取所述第一关键点数据对应的第一目标向量距离,以及所述第二关键点数据对应的第二目标向量距离;
在所述第一目标向量距离与所述第二目标向量距离中,确定最小目标向量距离;
获取尺寸缩放比例,按照所述尺寸缩放比例将所述对象模板的尺寸进行缩放,得到区域尺寸;
根据所述最小目标向量距离以及所述区域尺寸,确定所述第一关键点数据对应的第一预测区域与所述第二关键点数据对应的第二预测区域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述最小目标向量距离以及所述区域尺寸,确定所述第一关键点数据对应的第一预测区域与所述第二关键点数据对应的第二预测区域,包括:
在所述第一关键点数据与所述第二关键点数据中,获取所述最小目标向量距离对应的关键点数据,作为目标关键点数据;
获取所述目标关键点数据在所述待检测图像中的第一位置坐标,将所述第一位置坐标作为所述区域尺寸的第一中心位置坐标,根据所述第一中心位置坐标与所述区域尺寸,确定所述目标关键点数据对应的关键预测区域;
根据所述目标关键点数据对应的关键预测区域确定所述第一预测区域与所述第二预测区域。
6.根据权利要求5所述的方法,其特征在于,所述目标关键点数据为所述第一关键点数据;所述目标关键点数据对应的关键预测区域为所述第一关键点数据对应的所述第一预测区域;
所述根据所述目标关键点数据对应的关键预测区域确定所述第一预测区域与所述第二预测区域,包括:
获取所述第二关键点数据在所述待检测图像中的第二位置坐标;
若所述第二位置坐标处于所述第一预测区域内,则将所述关键预测区域确定为所述第二关键点数据对应的所述第二预测区域;所述第一预测区域与所述第二预测区域均属于所述关键预测区域;
若所述第二位置坐标未处于所述第一预测区域内,则将所述第二位置坐标作为所述区域尺寸的第二中心位置坐标,根据所述第二中心位置坐标与所述区域尺寸,确定所述第二关键点数据对应的所述第二预测区域。
7.根据权利要求1所述的方法,其特征在于,所述根据所述一个或多个预测区域中包含的关键点数据的数据数量,在所述一个或多个预测区域中选择N个预测区域,作为N个有效区域,包括:
获取所述一个或多个预测区域中每个预测区域所包含的关键点数据,确定所述每个预测区域中所包含的关键点数据的数据数量;
将包含的关键点数据的数据数量最大的预测区域作为初始有效区域;
在剩余预测区域中获取相交预测区域,将所述初始有效区域与所述相交预测区域确定为所述N个有效区域;所述剩余预测区域是指所述一个或多个预测区域中,除所述初始有效区域以外的预测区域。
8.根据权利要求7所述的方法,其特征在于,所述剩余预测区域包括剩余预测区域tc;c为正整数;
所述在剩余预测区域中获取相交预测区域,包括:
获取所述剩余预测区域tc的第一覆盖范围,以及所述初始有效区域的第二覆盖范围;
将所述第一覆盖范围与所述第二覆盖范围进行匹配,若所述第一覆盖范围与所述第二覆盖范围之间存在重叠覆盖范围,则将所述剩余预测区域tc确定为所述相交预测区域。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
调用运维组件,通过所述运维组件获取用于对所述目标区域进行模拟触发的程序语句;
通过所述程序语句生成针对所述目标区域的模拟触发指令,根据所述模拟触发指令获取与所述目标对象相关联的云游戏展示界面;
将所述云游戏展示界面进行预加载处理,在所述云游戏展示界面处于预加载处理完成状态时,执行所述获取针对所述待检测图像的触发指令,若所述触发指令所包含的触发位置处于所述目标区域,则输出与所述目标对象相关联的云游戏展示界面的步骤。
10.根据权利要求1所述的方法,其特征在于,所述获取所述待检测图像中的目标对象对应的对象模板,包括:
获取对象模板数据库;所述对象模板数据库中包括Q种类型的配置对象模板集合;每个配置对象模板集合中包括n个不同分辨率的配置对象模板;Q为正整数;n为正整数;
将所述目标对象与所述对象模板数据库进行匹配,确定所述Q种配置对象模板集合分别与所述目标对象之间的对象相似度;
在Q个对象相似度中,获取大于或等于相似度阈值的配置对象相似度,作为候选配置对象相似度;
获取所述候选配置对象相似度中的最大候选配置对象相似度,根据所述最大候选配置对象相似度确定所述目标对象对应的对象模板。
11.根据权利要求10所述的方法,其特征在于,所述根据所述最大候选配置对象相似度确定所述目标对象对应的对象模板,包括:
获取所述待检测图像的图像分辨率;
在所述对象模板数据库中,获取所述最大候选配置对象相似度对应的目标配置对象模板集合;
获取所述目标配置对象模板集合中每个目标配置对象模板的配置对象分辨率,将所述每个目标配置对象模板的配置对象分辨率与所述图像分辨率进行匹配,将匹配成功的配置对象分辨率确定为目标配置对象分辨率;
将所述目标配置对象分辨率对应的目标配置对象模板确定为所述目标对象对应的对象模板。
12.一种数据处理装置,其特征在于,包括:
图像获取模块,用于获取与云游戏相关的待检测图像;
模板获取模块,用于获取所述待检测图像中的目标对象对应的对象模板;
关键点获取模块,用于根据所述对象模板获取所述目标对象的至少两个关键点数据;
区域确定模块,用于根据所述对象模板的尺寸确定所述至少两个关键点数据分别在所述待检测图像中的预测区域,得到一个或多个预测区域;
区域确定模块,还用于根据所述一个或多个预测区域中包含的关键点数据的数据数量,在所述一个或多个预测区域中选择N个预测区域,作为N个有效区域;N为小于或等于所述一个或多个预测区域的总数量的正整数;
区域确定模块,还用于将所述N个有效区域所共同覆盖的区域确定为所述目标对象在所述待检测图像中的目标区域;
界面输出模块,用于获取针对所述待检测图像的触发指令,若所述触发指令所包含的触发位置处于所述目标区域,则输出与所述目标对象相关联的云游戏展示界面。
13.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供网络通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行权利要求1-11任一项所述的方法。
CN202110222494.8A 2021-03-01 2021-03-01 一种数据处理方法、装置、设备及可读存储介质 Active CN112569591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222494.8A CN112569591B (zh) 2021-03-01 2021-03-01 一种数据处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222494.8A CN112569591B (zh) 2021-03-01 2021-03-01 一种数据处理方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112569591A true CN112569591A (zh) 2021-03-30
CN112569591B CN112569591B (zh) 2021-05-18

Family

ID=75114095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222494.8A Active CN112569591B (zh) 2021-03-01 2021-03-01 一种数据处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112569591B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050860A (zh) * 2021-04-27 2021-06-29 腾讯科技(深圳)有限公司 一种控件识别方法和相关装置
CN113559497A (zh) * 2021-09-24 2021-10-29 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备以及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148144A1 (en) * 2010-12-11 2012-06-14 Hon Hai Precision Industry Co., Ltd. Computing device and image correction method
JP2014132377A (ja) * 2012-12-14 2014-07-17 Qoncept Inc 画像処理装置、画像処理方法及び画像処理プログラム
CN105513038A (zh) * 2014-10-20 2016-04-20 网易(杭州)网络有限公司 图像匹配方法及手机应用测试平台
CN105701766A (zh) * 2016-02-24 2016-06-22 网易(杭州)网络有限公司 图形匹配方法和装置
CN108182457A (zh) * 2018-01-30 2018-06-19 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN108875451A (zh) * 2017-05-10 2018-11-23 腾讯科技(深圳)有限公司 一种定位图像的方法、装置、存储介质和程序产品
CN108920580A (zh) * 2018-06-25 2018-11-30 腾讯科技(深圳)有限公司 图像匹配方法、装置、存储介质及终端
CN110287954A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标区域确定模型的训练方法、装置和计算机可读存储介质
CN111401216A (zh) * 2020-03-12 2020-07-10 腾讯科技(深圳)有限公司 图像处理、模型训练方法、装置、计算机设备和存储介质
CN111507301A (zh) * 2020-04-26 2020-08-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机设备以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148144A1 (en) * 2010-12-11 2012-06-14 Hon Hai Precision Industry Co., Ltd. Computing device and image correction method
JP2014132377A (ja) * 2012-12-14 2014-07-17 Qoncept Inc 画像処理装置、画像処理方法及び画像処理プログラム
CN105513038A (zh) * 2014-10-20 2016-04-20 网易(杭州)网络有限公司 图像匹配方法及手机应用测试平台
CN105701766A (zh) * 2016-02-24 2016-06-22 网易(杭州)网络有限公司 图形匹配方法和装置
CN108875451A (zh) * 2017-05-10 2018-11-23 腾讯科技(深圳)有限公司 一种定位图像的方法、装置、存储介质和程序产品
CN108182457A (zh) * 2018-01-30 2018-06-19 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN108920580A (zh) * 2018-06-25 2018-11-30 腾讯科技(深圳)有限公司 图像匹配方法、装置、存储介质及终端
CN110287954A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标区域确定模型的训练方法、装置和计算机可读存储介质
CN111401216A (zh) * 2020-03-12 2020-07-10 腾讯科技(深圳)有限公司 图像处理、模型训练方法、装置、计算机设备和存储介质
CN111507301A (zh) * 2020-04-26 2020-08-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050860A (zh) * 2021-04-27 2021-06-29 腾讯科技(深圳)有限公司 一种控件识别方法和相关装置
CN113050860B (zh) * 2021-04-27 2022-08-02 腾讯科技(深圳)有限公司 一种控件识别方法和相关装置
CN113559497A (zh) * 2021-09-24 2021-10-29 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备以及可读存储介质

Also Published As

Publication number Publication date
CN112569591B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US11321583B2 (en) Image annotating method and electronic device
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
CN109034069B (zh) 用于生成信息的方法和装置
CN111191067A (zh) 绘本识别方法、终端设备及计算机可读存储介质
CN112569591B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN114465737B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN111708913B (zh) 一种标签生成方法、设备及计算机可读存储介质
CN113542777A (zh) 直播视频剪辑方法、装置及计算机设备
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
CN113542865A (zh) 视频剪辑方法、装置及存储介质
CN114219971A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN111298434B (zh) 业务处理方法、装置、设备及存储介质
CN113762326A (zh) 一种数据识别方法、装置、设备及可读存储介质
CN114007064B (zh) 特效同步评估方法、装置、设备及存储介质
CN112990142B (zh) 一种基于ocr的视频导图生成方法、装置、设备及存储介质
CN113537207B (zh) 视频处理方法、模型的训练方法、装置以及电子设备
EP4113371A1 (en) Image data processing method and apparatus, device, storage medium, and product
CN116451175A (zh) 一种多模态数据处理方法、装置、电子设备及存储介质
CN114898350A (zh) 一种银行卡识别方法、识别系统、电子设备及存储介质
CN114529635A (zh) 一种图像生成方法、装置、存储介质及设备
CN116580054A (zh) 视频数据处理方法、装置、设备以及介质
CN114676705A (zh) 一种对话关系处理方法、计算机及可读存储介质
CN113762031A (zh) 一种图像识别方法、装置、设备及存储介质
JP2020534590A (ja) 視覚的入力の処理
CN112685588B (zh) 资源推荐方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041035

Country of ref document: HK