CN111414948A - 目标对象检测方法和相关装置 - Google Patents

目标对象检测方法和相关装置 Download PDF

Info

Publication number
CN111414948A
CN111414948A CN202010174959.2A CN202010174959A CN111414948A CN 111414948 A CN111414948 A CN 111414948A CN 202010174959 A CN202010174959 A CN 202010174959A CN 111414948 A CN111414948 A CN 111414948A
Authority
CN
China
Prior art keywords
target object
image
target
game
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010174959.2A
Other languages
English (en)
Other versions
CN111414948B (zh
Inventor
余自强
罗雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010174959.2A priority Critical patent/CN111414948B/zh
Publication of CN111414948A publication Critical patent/CN111414948A/zh
Application granted granted Critical
Publication of CN111414948B publication Critical patent/CN111414948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标对象检测方法和相关装置,用于解决相关技术中目标对象检测需要大量标注集导致成本大检测效率低的问题。该方法中首先从目标图像中提取与目标对象相关的图像块;然后,根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域;再根据初始位置区域,确定所述目标对象的位置。由于不需要大量标注集能够节约成本,提高检测效率。

Description

目标对象检测方法和相关装置
技术领域
本申请涉及图像处理领域,特别涉及一种目标对象检测方法和相关装置。
背景技术
从图像中如何提取目标对象,一直是业内比较关注的问题。相关技术中,基于目标检测提取目标边框的方法,大多依赖于大量数据集的标注,故此检测成本较高。
发明内容
本申请实施例提供了一种目标对象检测方法和相关装置,用于解决相关技术中目标对象的检测需要大量标注导致检测成本较高的问题。
第一方面,本申请实施例提供了一种目标对象检测方法,所述方法包括:
从目标图像中提取与目标对象相关的图像块;
根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域;
根据初始位置区域,确定所述目标对象的位置。
第二方面,本申请实施例提供了一种目标对象检测装置,所述装置包括:
图像块提取模块,用于从目标图像中提取与目标对象相关的图像块;
粗定位模块,用于根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域;
精定位模块,用于根据初始位置区域,确定所述目标对象的位置。
在一个实施例中,所述目标图像为连续动态画面中的一帧图像;所述精定位模块,还用于:
若对所述初始位置区域进行图像内容识别后,未识别出与所述目标对象的对象类别,则获取所述目标图像的指定邻域范围内的邻近图像帧;
按照距离所述目标图像由近及远的帧位置顺序,依序识别邻近帧中的所述初始位置区域内的对象类别,并将能够识别到对象类别且帧位置距离所目标图像最近的邻近帧中的对象类别作为所述目标对象的对象类别。
在一个实施例中,所述图像块提取模块,用于:
获取所述目标对象的模板图像;
从所述目标图像中提取与所述模板图像匹配的图像块作为与所述目标对象相关的图像块。
在一个实施例中,所述图像块提取模块,用于:
将所述模板图像与所述目标图像进行模板匹配操作,得到匹配结果图;所述匹配结果图中各点对应的值用于表示匹配度,每个点的匹配度指与所述点对应的图像块与所述模板图像的相似度;
从所述匹配结果图中选择匹配度大于匹配度阈值的点对应的图像块作为与所述模板图像匹配的图像块。
在一个实施例中,所述图像块提取模块,用于:
若匹配度大于匹配度阈值的点有多个点时,根据所述多个点确定出一个点;并,将确定出的点对应的图像块作为与所述模板图像匹配的图像块。
在一个实施例中,当所述目标对象为游戏画面中配置的游戏角色时,所述模板图像包括多个游戏角色共同具有的游戏元素。
在一个实施例中,所述游戏元素为格斗游戏中的血条中的指定部分,所述指定部分包括第一格血以及部分第二格血。
在一个实施例中,所述模板图像中包括所述目标对象的等级信息。
第三方面,本申请另一实施例还提供了一种计算设备,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例提供的任一目标对象检测方法。
第四方面,本申请另一实施例还提供了一种计算机存储介质,其中,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行本申请实施例中的任一目标对象检测方法。
由此,本申请实施例,首先提取与目标对象相关的图像块,然后基于图像块与目标对象的相对位置关系,提取出目标对象,不需要大量数据集的标注能够节约成本提高目标对象检测的效率。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请一个实施例的应用环境的示意图;
图2为根据本申请一个实施例的目标对象检测方法的流程示意图之一;
图3为根据本申请一个实施例中应用于游戏图像的目标对象检测示意图;
图4为根据本申请一个实施例的模板图像的示意图;
图5为根据本申请一个实施例的目标对象检测方法的流程示意图之二;
图6为根据本申请一个实施例的滑动窗口的示例;
图7为根据本申请一个实施例的匹配结果图中与同一目标对象对应的点的个数示例;
图8为根据本申请一个实施例的目标对象的初始位置区域的示意图;
图9为根据本申请一个实施例的目标对象检测方法的流程示意图之三;
图10为根据本申请一个实施例的目标对象检测方法的流程示意图之四;
图11为根据本申请一个实施例的目标对象检测装置的结构示意图;
图12为根据本申请一个实施例的计算设备的示意图。
具体实施方式
为了解决相关技术中大量数据集的标注导致检测成本较高的问题。本申请实施例中提供了一种简便的检测方法,用于降低检测成本。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
图1为根据本申请一个实施例的应用环境的示意图。
如图1所示,该应用环境中可以包括至少一个服务器20和多个终端设备10。终端设备10可以经由网络40实现与服务器20的信息收发。服务器20可以通过访问数据库30来获取终端设备10所需的内容。终端设备之间(例如,10_1与10_2或10_N之间)也可以经由网络40彼此通信。网络40可以是广义上的用于信息传递的网络,可以包括一个或多个通信网络,诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。
应当注意,如果向图示环境中添加附加模块或从其中去除个别模块,不会改变本发明的示例实施例的底层概念。另外,虽然为了方便说明而在图中示出了从数据库30到服务器20的双向箭头,但本领域技术人员可以理解的是,上述数据的收发也是可以通过网络40实现的。
在图1所示的应用环境中,终端设备10是可用来进行网络访问的任何合适的电子设备,包括但不限于计算机、智能电话、平板电脑、智能体或是其它类型的终端或客户端(例如游戏应用)。服务器20则是能够通过网络访问的提供交互服务所需信息的任何服务器(例如游戏中的地图、其他游戏玩家在游戏中的操作结果等)。在随后的描述中会选择其中的一个或部分终端设备加以描述(例如,终端设备10-1),但是本领域技术人员应该理解的是,上述1…N个终端设备旨在表示真实网络中存在的大量终端,示出的单个服务器20和数据库30旨在表示本申请的技术方案可以涉及服务器及数据库的操作。对特定编号的终端以及单个服务器和数据库加以详述至少为了说明方便,而非暗示对终端和服务器的类型或是位置或是其它等具有限制。
以在游戏场景中为了对本申请实施例中的目标检测方法进行说明。
例如游戏玩家可通过终端设备10向服务器20请求游戏内容,终端设备10记载游戏内容并渲染后,游戏玩家可通过终端设备10对游戏中设置的游戏角色进行控制,例如控制游戏角色移动或释放技能。为了能够识别游戏画面中的游戏角色,终端设备10可以实时将游戏画面进行录播并发送给服务器20进行目标对象检测,终端设备10也可以将游戏画面进行录播发送到数据库30中存储后,由服务器20定时从数据库30中获取游戏画面进行目标对象检测。当然,终端设备10也可以对自身的游戏画面进行目标对象检测。在游戏画面中被检测的目标对象可以是游戏中可移动的游戏角色,例如人物,游戏灵宠、游戏中的怪兽、游戏中的可移动的植物等等。
实施时,可以对目标对象所在的画面先进行分析,确定出与目标对象相关的图像块。例如找到与目标对象具有相对位置关系的图像元素。该图像元素中的图像内容越简单越好,例如可以具有相对固定的简单轮廓(例如简单的几何外形)、或者该图像块具有相对固定的唯一的图像色彩或纹理等。然后可以以这样的图像元素作为锚点来定位目标对象的位置。实施时,可如图2所示,包括以下步骤:
首先,在步骤201中,从目标图像中提取与目标对象相关的图像块;例如如图3所示,该图像块可以为游戏画面中的血条,而游戏角色通常在血条的正下方。然后,在步骤202中,根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域,从而完成目标对象的粗定位。然后,在步骤203中,根据初始位置区域,确定所述目标对象的位置以此来完成对目标对象的精准定位。精准定位的实现可以根据不同场景下不同目标对象的特征不同而采用与不同目标对象具有针对性的特征来实现,具体实施时将在后文中描述这里暂不赘述。
在一个实施例中,除了可以游戏血条作为相关图像块提取游戏角色之外,还可以游戏名称、游戏角色特有的配饰、装备、道具等作为相关图像块。
本申请实施例中,通过提取与目标对象相关的图像块完成对目标对象位置的检测。无需对目标对象进行大量的样本标注,故此能够节约成本提高目标对象检测的效率。
在一个实施例中,为了能够尽快的提取到目标对象相关的图像块,实施时,可以首先根据目标对象所在图像的特点选择出模板图像,然后通过模板匹配的方式来提取目标对象相关的图像块。模板匹配,是一项在一幅图像中寻找与幅模板图像最匹配(相似)部分的图像处理技术。通过模板匹配能够迅速定位到目标对象相关的图像块,能够加快本申请实施例中图像目标对象检测的效率。
在一个实施例中,不同的目标对象可以采用不同的模板图像作为参考,可以依据目标对象的特点而设定适用于不同目标对象的模板图像,即可以一个目标对象对应一个模板图像。例如在游戏画面中提取游戏角色时,不同的游戏角色可以以该游戏角色特有的部分图像内容作为模板图像,以提取该游戏角色。例如模板图像可以为游戏角色特有的装饰、道具、服饰等等。
当然,为了避免维护大量的模板图像,本申请实施例中,也可以多个目标对象共同对应同一模板图像。例如,在游戏画面中,格斗游戏中游戏角色往往都具有血条,故此,可以采用不同游戏角色都具有血条来作为模板图像,以尽可能减少模板图像的数量。
在一个实施例中,除了使尽可能多的角色使用相同的图像元素作为模板图像,本申请为了进一步提高目标对象相关的图像块的提取效率和准确率,选择模板图像时尽可能将具有以下特征的图像内容作为模板图像:
1)、包括多个图像元素,且变化的图像元素数量小于指定数量;
例如,血条大体轮廓都如3所示,其具有较为简洁的矩形轮廓,其包含血量、颜色等图像元素。且血条信息除了血量多少会产生变化,其他信息基本都是固定的,故此该部分图像内容适用于制作成游戏角色的模板图像。
2)与所述目标对象具有固定的相对位置关系、且随着目标对象的移动而移动的。
游戏角色头顶一般都带着血条,且随着游戏角色的移动而移动。具有该特征的图像内容与目标对象相对位置不会改变,故此适合制作成模板图像。
总而言之,游戏中通常会设置有能够引起玩家注意的且满足以上模板图像特征的视觉元素,不同游戏中根据本申请实施例的原理,可分析得到满足相应要求的图像内容并基于此制作成模板图像,对此,本申请实施例不对不同的游戏进行一一分析。
在一个实施例中,模板图像中的某些图像元素发生变化,尤其发生变化的量越大时,对于模板匹配的准确度会产生一定的影响。故此,本申请实施例中,采用的模板图像可以不是完整的图像内容,而是图像内容中相对固定的基本不会变化的指定部分内容。例如,如图4所示,血条通常包括位于前部的等级信息,以及后面具有多个血格的血量。游戏角色在游戏画面中出现时,为了避免游戏角色死亡,游戏角色的血条通常会处于多于一格血的情况,也即在以血条作为模板图像时,血条中的头部部分通常不会发生变化。故此,可以以血条中第一格血以及部分第二格血作为模板图像进行模板匹配。实施时,可以以图4中虚线内的血条部分作为模板图像。当然,需要说明的是,实施时,血条中头部的“等级”部分内容可以包含在模板图像内,可以不包含在模板图像内。
在介绍模板图像的选取之后,下面就如何提取模板图像匹配的图像块进行说明。
例如,如图5所示,基于模板图像提取图像块的操作可包括以下步骤:
步骤501:将所述模板图像与所述目标图像进行模板匹配操作,得到匹配结果图;所述匹配结果图中各点对应的值用于表示匹配度,每个点的匹配度指与所述点对应的图像块与所述模板图像的相似度;
在一个实施例中,可以依据模板图像的大小设定等大的滑动窗口,然后从目标图像中依序选择与滑动窗口等大的图像块用于与模板图像进行模板匹配操作。例如如图6所示,图像矩形虚线框为相应的滑动窗口,在目标对象中按照从左至右,从上到下的顺序滑动滑动窗口依序提取出与不同滑动窗口对应的图像块。不同位置的滑动窗口具有对应的标记,用于标识相应位置的图像块。
每个滑动窗口的匹配结果可以用一个匹配度来表示,形成匹配结果图。
在另一个实施例中,假若不同目标对象虽然能够使用类似的模板图像,但模板图像的背景色可能并不相同。例如,游戏中,敌对双方为了便于观测各自的血量情况,通常用绿色背景和红色背景来区分敌对双方各自的血条。故此,为了避免背景色不同导致的模板匹配精度可能受到影响的问题,本申请实施例中,在执行模板匹配操作之前可以将模板图像和目标对象都转换为灰度图然后再进行模板匹配操作,当然,实施时,模板图像可以以灰度图形式存储,不需要临时转换为灰度图。
步骤502:从所述匹配结果图中选择匹配度大于匹配度阈值的点对应的图像块作为与所述模板图像匹配的图像块。
匹配度阈值的选取可以根据经验确定,本申请对此不作限定。
基于匹配度阈值过滤掉部分点之后,匹配结果图可以如图7所示:同一目标对象的匹配度大于匹配度阈值的点可能具有一个也可能具有多个。当具有多个点时,可以根据多个点确定出一个点,并将确定出的点对应的图像块作为与模板图像匹配的图像块。例如,如图7所示当具有A、B、C三个点时,可以以从三个点中随机选择一个点,也可以以三个点的几何中心作为确定出的点。
在一个实施例中,同一目标对象对应的模板图像可以有一个也可以有多个。当确定出与目标对象的相关的图像块之后。由于目标对与相关的图像块具有相对固定的位置关系,目标对象的初始位置区域即可确定下来。
例如,滑动窗口的标识可以以图像块的左上角顶点在图像中的位置坐标进行标记。当确定出图像块后,获取该图像块左上角的顶点坐标,然后以该顶点作为基准,得到一个固定长宽的矩形框作为目标对象的初始位置区域。当与目标对象相关的图像块有多个时,可以获取各图像块的左上角顶点位置坐标,然后利用预设的位置关系,确定出目标图像的初始位置区域。该预设的位置关系的确定可以根据不同的场景设定,本申请实施例对此不作限定。
例如,如图8所述的虚线矩形框,为以图像块左上角顶点为基准确定出一矩形框作为目标对象的初始位置区域。当多种目标对象对应相同的模板图像时,该矩形框的大小可以根据经验值确定。
为了能够准确的定位出目标对象,本申请实施例中,如图9所示,可以在步骤901中,对初始位置区域进行图像内容识别,得到所述目标对象的对象类别。
对象类别的识别算法可来源于当前主流的CNN(卷积神经网络)分类模型,例如VGG、Inception、Resnet等均适用于本申请实施例。
例如,可以先对每种需要识别分类的游戏角色获取相应的训练样本,然后训练分类识别模型,进行分类识别。由于本申请实施例中,仅用于分类模型训练的数据集,可来源于对大量已知游戏角色名称的视频下,运用上面模板图像(如血条)检测提取的目标对象作为训练数据集。因此,获取目标对象分类训练数据集的标注成本较小。例如,可对每个游戏角色取1000~2000张照片用于训练。采用例如Resnet训练的分类模型,在验证集上的准确率可在99.2%以上。
在一个实施例中,当对视频中图像提取目标对象时,目标对象可能由于某种原因被遮挡。例如游戏中释放技能时,游戏角色可能会受到技能的影响而被遮挡,游戏角色也可能受其他游戏角色的影响。故此,为了在遮挡情况下还能够识别出目标对象的对象类别,本申请实施例中,可以采用目标图像邻帧图像进行分类识别。可实施为若对目标图像的初始位置区域进行图像内容识别后,未识别出与所述目标对象的对象类别,则获取所述目标图像的指定邻域范围内的邻近图像帧;然后按照距离所述目标图像由近及远的帧位置顺序,依序识别邻近帧中的所述初始位置区域内的对象类别,并将能够识别到对象类别且帧位置距离所目标图像最近的邻近帧中的对象类别作为所述目标对象的对象类别。
例如,连续4帧图像中,第2帧图像作为目标图像提取目标对象时,目标对象受到遮挡无法识别出第2帧图像的对象类别,那么可以尝试对邻帧的相同位置区域(即初始位置区域)内的进行分类识别得到中间一帧若识别出对象类别。例如,先识别第1帧的初始位置区域内的对象类别,若能识别则将第1帧识别出的对象类别作为第2帧的初始位置区域内的对象类别。否则,识别第3帧的初始位置区域内的对象类别,若仍然无法识别出,则继续识别第4帧的初始位置区域内的对象类别作为第2的初始位置区域内的对象类别。原则上采用与第2帧最近的一帧图像中识别出的对象类别。
在步骤902中,根据所述对象类别,确定所述目标对象的尺寸。然后,在步骤903中,根据目标对象的尺寸调整所述初始位置区域,得到所述目标对象在所述目标图像中的最终位置区域。
例如,游戏中,不同游戏角色都具有相应的尺寸。游戏角色和相应的尺寸的对应关系可以保存在映射关系中。该映射关系可以存储在服务器中也可以存储在终端设备中。
映射关系示例可如下所述,单位可以为像素数:
{“蒸汽机器人”:118*118},
{“麦林炮手”:66*66},
{“机械公敌”:95*95},
{“诡术妖姬”:69*95}。
当用于分类识别的矩形框大小为50*60时,可以根据目标对象的尺寸对初始位置区域进行相应的缩放以使目标对象的最终位置区域大小与确定的目标对象的尺寸相同从而实现对目标对象的精定位。
在另一个实施例中,有些目标对象大小可能会发生变化,例如当游戏中释放某种技能时,有些目标对象在目标图像中的尺寸会发生相应的变化。故此,上述映射关系中通常记录目标对象的基准尺寸,为了能够进一步准确定位出目标对象可以对预设事件进行监听,其中预设事件为能够对目标对象的当前尺寸产生影响的事件。若在指定时间段内监听到针对所述目标对象的预设事件,则根据所述预设事件对应的尺寸调整策略调整所述目标对象的尺寸;然后再根据调整后的尺寸,调整目标对象的初始位置区域完成目标对象的精定位。
除了上述预设事件之外,目标对象的等级可能也会影响目标对象的尺寸边框,故此,在另一个实施例中,还可以获取目标对象的当前等级信息,然后根据所述目标对象的等级信息对应的尺寸调整策略调整所述目标对象的尺寸,然后再根据调整后的尺寸,调整目标对象的初始位置区域完成目标对象的精定位。
如前文所述等级信息可以包括在模板图像中,故此,等级信息的获取可以从图像块中提取。
针对游戏画面为例,结合图10,对不同游戏角色进行检测时可包括以下步骤:
步骤1001:以部分血条作为模板图像对游戏画面进行模板匹配操作,得到匹配结果图。
步骤1002:过滤掉匹配结果图中匹配度小于预设匹配度阈值的点。
由于游戏画面中可能存在多个游戏角色,经步骤1002的过滤操作后、匹配结果图中可能包括多个游戏角色的与模板图像匹配的点。也可能存在与同一游戏角色对应的多个点。为了能够实现对同一游戏角色的多个点的合并,可以执行步骤1003。
步骤1003:对匹配结果图中,位于指定邻域范围内的多个点进行合并。
指定邻域范围可以根据经验值确定。多个点合并得到一个点的方式可以如前文所述的随机选择一个点,也可以是多个点根据预设的计算规则计算出一个点,例如计算出多个点的几何中心点。
步骤1004:当匹配结果图中剩余多个点时,针对每个点分别执行以下操作:
步骤10051:以该点为基准确定出一矩形框。
步骤10052:对矩形框内的图像内容进行分类识别,识别出矩形框内游戏角色。
步骤10053:根据预设映射关系,查找矩形框内游戏角色的尺寸。
步骤10054:根据游戏角色的尺寸调整该游戏角色的矩形框大小。
本申请实施例中通过对游戏画面特征的分析,以血条作为游戏特征的识别物,可精确提取游戏画面中游戏人物的位置。进一步再通过对血条下游戏角色的分类识别,提取其对应的游戏角色大小,最终可得到准确度较高的游戏人物大小和位置。本申请实施例基于图像匹配和图像分类分别获取对应游戏人物的大小和位置,实施时处理效率高,且准确度都能够得到保证。在对游戏角色的检测可行性基础上,本申请实施例提供的方案可运用在游戏自动化测试、游戏内容制作、游戏直播等领域。
基于相同的发明构思,本申请实施例还提供了一种目标对象检测装置。
图11为根据本申请一个实施例的测试装置的示意图。
如图11所示,该装置1100可以包括:
图像块提取模块1101,用于从目标图像中提取与目标对象相关的图像块;
粗定位模块1102,用于根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域;
精定位模块1103,用于根据初始位置区域,确定所述目标对象的位置。
在一个实施例中,精定位模块,用于:
对所述初始位置区域进行图像内容识别,得到所述目标对象的对象类别;
根据所述对象类别,确定所述目标对象的尺寸;
根据所述目标对象的尺寸调整所述初始位置区域,得到所述目标对象在所述目标图像中的最终位置区域。
在一个实施例中,所述精定位模块还用于:
所述根据所述对象类别,确定所述目标对象的尺寸之后,
若在指定时间段内监听到针对所述目标对象的预设事件,则根据所述预设事件对应的尺寸调整策略调整所述目标对象的尺寸;
或者,
根据所述目标对象的等级信息对应的尺寸调整策略调整所述目标对象的尺寸。
在一个实施例中,所述目标图像为连续动态画面中的一帧图像;所述精定位模块,还用于:
若对所述初始位置区域进行图像内容识别后,未识别出与所述目标对象的对象类别,则获取所述目标图像的指定邻域范围内的邻近图像帧;
按照距离所述目标图像由近及远的帧位置顺序,依序识别邻近帧中的所述初始位置区域内的对象类别,并将能够识别到对象类别且帧位置距离所目标图像最近的邻近帧中的对象类别作为所述目标对象的对象类别。
在一个实施例中,所述图像块提取模块,用于:
获取所述目标对象的模板图像;
从所述目标图像中提取与所述模板图像匹配的图像块作为与所述目标对象相关的图像块。
在一个实施例中,所述图像块提取模块,用于:
将所述模板图像与所述目标图像进行模板匹配操作,得到匹配结果图;所述匹配结果图中各点对应的值用于表示匹配度,每个点的匹配度指与所述点对应的图像块与所述模板图像的相似度;
从所述匹配结果图中选择匹配度大于匹配度阈值的点对应的图像块作为与所述模板图像匹配的图像块。
在一个实施例中,所述图像块提取模块,用于:
若匹配度大于匹配度阈值的点有多个点时,根据所述多个点确定出一个点;并,将确定出的点对应的图像块作为与所述模板图像匹配的图像块。
在一个实施例中,当所述目标对象为游戏画面中配置的游戏角色时,所述模板图像包括多个游戏角色共同具有的游戏元素。
在一个实施例中,所述游戏元素为格斗游戏中的血条中的指定部分,所述指定部分包括第一格血以及部分第二格血。
在一个实施例中,所述模板图像中包括所述目标对象的等级信息。
关于应用于目标对象检测装置的具体功能实现可参见上文结合图1-图10的相关描述,在此不再赘述。
在介绍了本申请示例性实施方式的一种目标对象检测方法和装置之后,接下来,介绍根据本申请的另一示例性实施方式的计算设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中,根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的应用于目标对象检测方法中的步骤。
下面参照图12来描述根据本申请的这种实施方式的计算设备130。图12显示的计算设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示,计算设备130以通用计算设备的形式表现。计算设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算设备130交互的设备通信,和/或与使得该计算设备130能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且,计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解,尽管图中未示出,可以结合计算设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的一种目标对象检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种应用于目标对象检测方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于应用于目标对象检测的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种目标对象检测方法,其特征在于,所述方法包括:
从目标图像中提取与目标对象相关的图像块;
根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域;
根据初始位置区域,确定所述目标对象的位置。
2.根据权利要求1所述的方法,其特征在于,根据初始位置区域,确定所述目标对象的位置,包括:
对所述初始位置区域进行图像内容识别,得到所述目标对象的对象类别;
根据所述对象类别,确定所述目标对象的尺寸;
根据所述目标对象的尺寸调整所述初始位置区域,得到所述目标对象在所述目标图像中的最终位置区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述对象类别,确定所述目标对象的尺寸之后,所述方法还包括:
若在指定时间段内监听到针对所述目标对象的预设事件,则根据所述预设事件对应的尺寸调整策略调整所述目标对象的尺寸;
或者,
根据所述目标对象的等级信息对应的尺寸调整策略调整所述目标对象的尺寸。
4.根据权利要求2所述的方法,其特征在于,所述目标图像为连续动态画面中的一帧图像;
若对所述初始位置区域进行图像内容识别后,未识别出与所述目标对象的对象类别,则获取所述目标图像的指定邻域范围内的邻近图像帧;
按照距离所述目标图像由近及远的帧位置顺序,依序识别邻近帧中的所述初始位置区域内的对象类别,并将能够识别到对象类别且帧位置距离所目标图像最近的邻近帧中的对象类别作为所述目标对象的对象类别。
5.根据权利要求1-4中任一所述的方法,其特征在于,所述从目标图像中提取与目标对象相关的图像块,包括:
获取所述目标对象的模板图像;
从所述目标图像中提取与所述模板图像匹配的图像块作为与所述目标对象相关的图像块。
6.根据权利要求5所述的方法,其特征在于,所述从所述目标图像中提取与所述模板图像匹配的图像块,包括:
将所述模板图像与所述目标图像进行模板匹配操作,得到匹配结果图;所述匹配结果图中各点对应的值用于表示匹配度,每个点的匹配度指与所述点对应的图像块与所述模板图像的相似度;
从所述匹配结果图中选择匹配度大于匹配度阈值的点对应的图像块作为与所述模板图像匹配的图像块。
7.根据权利要求5所述的方法,其特征在于,所述从所述匹配结果图中选择匹配度大于匹配度阈值的点对应的图像块,包括:
若匹配度大于匹配度阈值的点有多个点时,根据所述多个点确定出一个点;并,将确定出的点对应的图像块作为与所述模板图像匹配的图像块。
8.根据权利要求5所述的方法,其特征在于,当所述目标对象为游戏画面中配置的游戏角色时,所述模板图像包括多个游戏角色共同具有的游戏元素。
9.根据权利要求8所述的方法,其特征在于,所述游戏元素为格斗游戏中的血条中的指定部分,所述指定部分包括第一格血以及部分第二格血。
10.根据权利要求5所述的方法,其特征在于,所述模板图像中包括所述目标对象的等级信息。
11.一种目标对象检测装置,其特征在于,所述装置包括:
图像块提取模块,用于从目标图像中提取与目标对象相关的图像块;
粗定位模块,用于根据所述图像块与目标对象的位置关系,确定所述目标对象在所述图像中的初始位置区域;
精定位模块,用于根据初始位置区域,确定所述目标对象的位置。
12.根据权利要求11所述的装置,其特征在于,精定位模块,用于:
对所述初始位置区域进行图像内容识别,得到所述目标对象的对象类别;
根据所述对象类别,确定所述目标对象的尺寸;
根据所述目标对象的尺寸调整所述初始位置区域,得到所述目标对象在所述目标图像中的最终位置区域。
13.根据权利要求12所述的装置,其特征在于,所述精定位模块还用于:
所述根据所述对象类别,确定所述目标对象的尺寸之后,
若在指定时间段内监听到针对所述目标对象的预设事件,则根据所述预设事件对应的尺寸调整策略调整所述目标对象的尺寸;
或者,
根据所述目标对象的等级信息对应的尺寸调整策略调整所述目标对象的尺寸。
14.一种计算设备,其特征在于,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行根据权利要求1-10任一项所述的方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行根据权利要求1-10任一项所述的方法。
CN202010174959.2A 2020-03-13 2020-03-13 目标对象检测方法和相关装置 Active CN111414948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174959.2A CN111414948B (zh) 2020-03-13 2020-03-13 目标对象检测方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174959.2A CN111414948B (zh) 2020-03-13 2020-03-13 目标对象检测方法和相关装置

Publications (2)

Publication Number Publication Date
CN111414948A true CN111414948A (zh) 2020-07-14
CN111414948B CN111414948B (zh) 2023-10-13

Family

ID=71492955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174959.2A Active CN111414948B (zh) 2020-03-13 2020-03-13 目标对象检测方法和相关装置

Country Status (1)

Country Link
CN (1) CN111414948B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363918A (zh) * 2020-11-02 2021-02-12 北京云聚智慧科技有限公司 用户界面ai自动化测试方法、装置、设备和存储介质
CN112991646A (zh) * 2020-12-31 2021-06-18 网银在线(北京)科技有限公司 收款方法、收款装置、及收款设备
CN113132744A (zh) * 2021-03-22 2021-07-16 广州虎牙科技有限公司 直播弹幕的处理方法、模型、电子装置及计算机存储介质
CN114253635A (zh) * 2020-09-10 2022-03-29 网银在线(北京)科技有限公司 数据获取方法及装置、特征确定方法及装置和电子设备
WO2022134700A1 (zh) * 2020-12-22 2022-06-30 上海幻电信息科技有限公司 目标对象识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013053952A (ja) * 2011-09-05 2013-03-21 Toshiba Corp 対象物位置検出装置及び対象物位置検出方法
US20160379371A1 (en) * 2015-06-29 2016-12-29 Beihang University Method for object segmentation in videos tagged with semantic labels
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
CN109977959A (zh) * 2019-03-29 2019-07-05 国家电网有限公司 一种火车票字符区域分割方法及装置
CN110110787A (zh) * 2019-05-06 2019-08-09 腾讯科技(深圳)有限公司 目标的位置获取方法、装置、计算机设备及存储介质
CN110390261A (zh) * 2019-06-13 2019-10-29 北京汽车集团有限公司 目标检测方法、装置、计算机可读存储介质及电子设备
US20200074196A1 (en) * 2018-08-30 2020-03-05 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing object, device, vehicle and medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013053952A (ja) * 2011-09-05 2013-03-21 Toshiba Corp 対象物位置検出装置及び対象物位置検出方法
US20160379371A1 (en) * 2015-06-29 2016-12-29 Beihang University Method for object segmentation in videos tagged with semantic labels
US20200074196A1 (en) * 2018-08-30 2020-03-05 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing object, device, vehicle and medium
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
CN109977959A (zh) * 2019-03-29 2019-07-05 国家电网有限公司 一种火车票字符区域分割方法及装置
CN110110787A (zh) * 2019-05-06 2019-08-09 腾讯科技(深圳)有限公司 目标的位置获取方法、装置、计算机设备及存储介质
CN110390261A (zh) * 2019-06-13 2019-10-29 北京汽车集团有限公司 目标检测方法、装置、计算机可读存储介质及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253635A (zh) * 2020-09-10 2022-03-29 网银在线(北京)科技有限公司 数据获取方法及装置、特征确定方法及装置和电子设备
CN112363918A (zh) * 2020-11-02 2021-02-12 北京云聚智慧科技有限公司 用户界面ai自动化测试方法、装置、设备和存储介质
CN112363918B (zh) * 2020-11-02 2024-03-08 北京云聚智慧科技有限公司 用户界面ai自动化测试方法、装置、设备和存储介质
WO2022134700A1 (zh) * 2020-12-22 2022-06-30 上海幻电信息科技有限公司 目标对象识别方法及装置
CN112991646A (zh) * 2020-12-31 2021-06-18 网银在线(北京)科技有限公司 收款方法、收款装置、及收款设备
CN113132744A (zh) * 2021-03-22 2021-07-16 广州虎牙科技有限公司 直播弹幕的处理方法、模型、电子装置及计算机存储介质

Also Published As

Publication number Publication date
CN111414948B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111414948B (zh) 目标对象检测方法和相关装置
US10540772B2 (en) Feature trackability ranking, systems and methods
CN111259889A (zh) 图像文本识别方法、装置、计算机设备及计算机存储介质
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN109118519A (zh) 基于实例分割的目标Re-ID方法、系统、终端和存储介质
CN111124888A (zh) 录制脚本的生成方法和装置及电子装置
CN112712051B (zh) 对象跟踪方法、装置、计算机设备及存储介质
CN110533654A (zh) 零部件的异常检测方法及装置
CN109409377A (zh) 图像中文字的检测方法及装置
CN111784675A (zh) 物品纹理信息处理的方法、装置、存储介质及电子设备
CN110348293A (zh) 一种商品识别方法及系统
CN110675425A (zh) 一种视频边框识别方法、装置、设备及介质
CN110059212A (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN113065447A (zh) 一种图像集中自动识别商品的方法和设备
CN110248235B (zh) 软件教学方法、装置、终端设备及介质
CN115601672A (zh) 一种基于深度学习的vr智能巡店方法及装置
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN112835807B (zh) 界面识别方法、装置、电子设备和存储介质
Jacob et al. A non-intrusive approach for 2d platform game design analysis based on provenance data extracted from game streaming
CN111598090B (zh) 印刷电路板上标记的识别方法、装置、设备及存储介质
CN110766938B (zh) 路网拓扑结构的构建方法、装置、计算机设备及存储介质
CN115861572A (zh) 一种三维建模方法、装置、设备及存储介质
CN110942056A (zh) 服饰关键点定位方法、装置、电子设备及介质
CN114360057A (zh) 数据处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026388

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant