CN112052186B - 目标检测方法、装置、设备以及存储介质 - Google Patents
目标检测方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112052186B CN112052186B CN202011079397.XA CN202011079397A CN112052186B CN 112052186 B CN112052186 B CN 112052186B CN 202011079397 A CN202011079397 A CN 202011079397A CN 112052186 B CN112052186 B CN 112052186B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- detected
- sample
- candidate sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标检测方法、装置、设备以及存储介质,属于图像识别领域。通过本申请实施例提供的技术方案,在游戏测试过程中,检测终端能够通过目标对象的模板图像来初步筛选目标对象所在的区域,进一步通过图像特征差异信息将匹配过程中得到的错误区域剔除,最终能够得到符合目标条件的第一候选子图像,第一候选子图像也即是包含目标对象的区域。检测终端能够对第一候选子图像进行突出显示,检测人员能够直观的看到目标对象在待检测图像中的位置,游戏测试过程由检测终端自动完成,无需检测人员在不同型号的终端上逐个进行检测,提高了游戏测试的效率。
Description
技术领域
本申请涉及图像识别领域,特别涉及一种目标检测方法、装置、设备以及存储介质。
背景技术
随着技术的进步,各个硬件厂商每年都会推出大量不同型号的终端来供用户选择。而对于游戏厂商来说,设计的游戏可能在一个型号的终端上能够正常运行,但是在另一个型号的终端上却出现一些游戏元素无法显示的情况。
相关技术中,游戏厂商在发布游戏之前会对游戏进行测试,测试时往往会采用人工测试的方法,也即是由检测人员在不同型号的终端上运行游戏,观察并记录游戏运行的状况。
但是,由于终端型号繁多,采用人工进行游戏测试时,游戏测试效率较低。
发明内容
本申请实施例提供了一种目标检测方法、装置、设备以及存储介质,能够提升游戏测试的效率。所述技术方案如下:
一方面,提供了一种目标检测方法,所述方法包括:
获取待检测图像,所述待检测图像包括至少一个待检测对象;
基于目标对象的模板图像在所述待检测图像上进行检测,得到所述待检测图像中的第一候选子图像,所述第一候选子图像与所述模板图像之间的相似度符合相似度条件,所述目标对象的模板图像用于对所述待检测对象进行检测;
获取所述第一候选子图像和所述模板图像之间的图像特征差异信息,所述图像特征差异信息用于表征所述第一候选子图像的图像特征信息与所述模板图像的特征信息之间的差异信息;
响应于所述图像特征差异信息符合目标条件,在所述待检测图像中对所述第一候选子图像进行突出显示。
一方面,提供了一种目标检测装置,所述装置包括:
图像获取模块,用于获取待检测图像,所述待检测图像包括至少一个待检测对象;
检测模块,用于基于所述目标对象的模板图像,在所述待检测图像上进行检测,得到所述待检测图像中的第一候选子图像,所述第一候选子图像与所述模板图像之间的相似度符合相似度条件,所述目标对象的模板图像用于对所述待检测对象进行检测;
图像特征差异信息获取模块,用于获取所述第一候选子图像和所述模板图像之间的图像特征差异信息,所述图像特征差异信息用于表征所述第一候选子图像的图像特征信息与所述模板图像的特征信息之间的差异信息;
显示模块,用于响应于所述图像特征差异信息符合目标条件,在所述待检测图像中对所述第一候选子图像进行突出显示。
在一种可能的实施方式中,所述图像特征差异信息符合目标条件是指下述至少一项:
所述图像特征差异信息小于或等于第一阈值;
所述图像特征差异信息小于或等于第二阈值;
其中,所述第一阈值为与所述模板图像的图像风格相关联的数值,所述第二阈值为与所述目标对象的类型相关联的数值。
在一种可能的实施方式中,所述装置还包括:
特征提取模块,用于对所述第一候选子图像和所述模板图像进行特征提取,得到所述第一候选子图像的图像特征信息和所述模板图像的图像特征信息,其中,所述图像特征信息包括灰度均值、灰度方差、颜色均值以及图像熵中的至少一项;
所述图像特征差异信息获取模块,用于获取所述第一候选子图像的图像特征信息和所述模板图像的图像特征信息之间的所述图像特征差异信息。
在一种可能的实施方式中,所述装置还包括:
分类模块,用于将所述第一候选子图像输入图像分类模型,通过所述图像分类模型对所述第一候选子图像中的对象进行分类,输出所述第一候选子图像中的对象的类型;响应于所述第一候选子图像中的对象的类型与所述目标对象的类型相同,执行获取所述第一候选子图像和所述模板图像之间的图像特征差异信息的步骤。
在一种可能的实施方式中,所述图像分类模型的训练装置包括:
样本模板图像集获取模块,用于获取样本模板图像集,所述样本模板图像集中的样本模板图像为样本对象的模板图像,所述样本模板图像集中的所述样本模板图像的数量小于数量阈值;
第一输入模块,用于将所述样本模板图像输入第一模型,通过所述第一模型对所述样本模板图像进行卷积处理、全连接处理和归一化处理,输出所述样本对象的预测类型;
第一确定模块,用于响应于类型差异信息符合类型差异条件,将所述第一模型作为训练完成的图像分类模型,其中,所述类型差异信息为所述样本对象的预测类型和所述样本对象的实际类型之间的类型差异信息。
在一种可能的实施方式中,所述图像分类模型的训练装置还包括:
样本模板图像集生成模块,用于获取第一样本模板图像;对所述第一样本模板图像进行模糊化处理或者锐化处理中的至少一项,得到多个不同清晰度的样本模板图像;基于所述多个不同清晰度的样本模板图像,生成所述样本模板图像集。
在一种可能的实施方式中,所述装置还包括:
图像识别模块,用于将所述待检测图像输入图像识别模型,通过所述图像识别模型对所述待检测图像进行图像识别,输出所述目标对象在所述待检测图像中的第二候选子图像;
所述显示模块,用于在所述待检测图像中对目标子图像进行突出显示,所述目标子图像为所述第一候选子图像和所述第二候选子图像进行融合后的子图像。
在一种可能的实施方式中,所述图像识别模型的训练装置包括:
样本图像集获取模块,用于获取样本图像集,所述样本图像集中的样本图像包括样本对象;
第二输入模块,用于将所述样本图像输入第二模型,通过所述第二模型对所述样本图像进行卷积处理、全连接处理和归一化处理,输出所述样本对象在所述样本图像中所在的预测位置;
第二确定模块,用于响应于位置差异信息符合位置差异条件,将所述第二模型作为训练完成的图像识别模型,其中,所述位置差异信息为所述预测位置与所述样本对象在所述样本图像中的实际位置之间的位置差异信息。
一方面,提供了一种计算机设备,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现所述目标检测方法。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现所述目标检测方法。
一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述目标检测方法。
通过本申请实施例提供的技术方案,在游戏测试过程中,检测终端能够通过目标对象的模板图像来初步筛选目标对象所在的区域,进一步通过图像特征差异信息将匹配过程中得到的错误区域剔除,最终能够得到符合目标条件的第一候选子图像,第一候选子图像也即是包含目标对象的区域。检测终端能够对第一候选子图像进行突出显示,检测人员能够直观的看到目标对象在待检测图像中的位置,游戏测试过程由检测终端自动完成,无需检测人员在不同型号的终端上逐个进行检测,提高了游戏测试的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种目标检测方法的实施环境的示意图;
图2是本申请实施例提供的一种目标检测模型的结构示意图;
图3是本申请实施例提供的一种目标检测方法流程图;
图4是本申请实施例提供的一种界面示意图;
图5是本申请实施例提供的一种界面示意图;
图6是本申请实施例提供的一种目标检测方法流程图;
图7是本申请实施例提供的一种目标检测方法的逻辑框图;
图8是本申请实施例提供的一种目标检测装置的结构示意图;
图9是本申请实施例提供的一种检测终端的结构示意图;
图10是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识子模型使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
Python:一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序。
JSON,Java Script Object Notation:一种轻量级数据交换格式。
归一化处理:也即是将取值范围不同的数列映射到(0,1)区间上的一种方法,便于数据的处理。在一些情况下,归一化后的数值可以直接被实现为概率。能够实现归一化处理的函数包括软最大化(Softmax)函数以及S型生长曲线(Sigmoid),当然也包括其他能够实现归一化处理的函数,本申请实施例对此不作限定。
几何图形:分为立体图形和平面图形,各部分不在同一平面内的图形叫做立体图形,各部分都在同一平面内的图形叫做平面图形。在本申请实施例中,几何图形为游戏界面中起到提示或者美观作用的图形,比如为游戏界面中用于提示用户某项功能的指示图形,或者起美观作用的文字背景图形。
图像熵:图像熵是一种特征的统计形式,它反映了图像中平均信息量的多少,表示图像灰度分布的聚集特征。
图1是本申请实施例提供的一种目标检测方法的实施环境示意图,参见图1,该实施环境中可以包括检测终端110和服务器140。
检测终端110通过无线网络或有线网络与服务器140相连。可选地,检测终端110是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。检测终端110安装和运行有支持图像显示的应用程序。
可选地,服务器是独立的物理服务器,或者是多个物理服务器构成的服务器集群或者分布式系统,或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。检测终端可以是。
可选地,检测终端110泛指多个检测终端中的一个,本申请实施例仅以检测终端110来举例说明。
本领域技术人员可以知晓,上述检测终端的数量可以更多或更少。比如上述检测终端仅为一个,或者上述检测终端为几十个或几百个,或者更多数量,此时上述实施环境中还包括其他检测终端。本申请实施例对检测终端的数量和设备类型不加以限定。
下面对本申请实施例提供的目标检测方法的应用场景进行介绍。
本申请实施例提供的目标检测方法能够应用在游戏测试的场景下,还能够应用在建筑物检测、车辆检测以及动植物检测等目标检测的场景中,下面将分别对这些场景的进行简单的说明。
在游戏测试场景下,检测人员能够将不同型号的游戏终端放置在测试机房中,通过机房中的连接线将不同型号的游戏终端与检测终端进行连接。检测人员通过检测终端在不同型号的游戏终端上安装待测试的游戏应用程序。安装完成之后,检测终端控制游戏终端上安装的游戏应用程序进行启动。响应于游戏应用程序启动完毕,检测终端控制游戏应用程序跳转至待检测界面。检测终端控制游戏终端对待检测界面进行截图,得到待检测图像。检测终端从游戏终端获取待检测图像、待检测图像对应的游戏终端标识以及游戏应用程序的标识,其中,游戏终端标识用于指示游戏终端的型号。检测终端基于游戏应用程序的标识,从对应维护的数据库中获取目标对象的模板图像,可选地,目标对象为待检测界面中的游戏按钮、文字、几何图标或者游戏角色等对象。检测终端基于模板图像对待检测图像进行目标检测,将目标对象在待检测图像中所在的区域进行突出显示。检测人员能够通过突出显示的区域来观察游戏应用程序在不同型号的游戏终端上的运行情况。响应于在待检测界面中未检测到与任一个模板图像匹配的区域,检测终端能够发出未检测到目标对象的提示。检测人员能够根据待检测图像以及待检测图像对应的游戏终端标识,确定出现异常的游戏终端的型号。检测人员后续能够基于该型号的游戏终端对游戏应用程序进行调整,使得游戏应用程序能够适配更多型号的游戏终端。
在建筑物检测场景下,检测终端能够获取多个待检测图像,待检测图像中存在至少一个建筑物。检测人员通过检测终端选择目标对象,也即是目标建筑物。检测终端基于目标建筑物的模板图像对多个待检测图像进行目标检测,确定待检测图像中是否包含目标建筑物。响应于在任一个待检测图像中检测到目标建筑物,检测终端能够在该待检测图像中将目标人员所在的区域进行突出显示,检测人员能够清楚的看到目标建筑物所在的区域。
在车辆检测场景下,检测终端能够获取多个待检测图像,待检测图像中存在至少一个车辆。检测人员通过检测终端选择目标对象,也即是目标车辆。检测终端基于目标车辆的模板图像对多个待检测图像进行目标检测,确定待检测图像中是否包含目标车辆。响应于在任一个待检测图像中检测到目标车辆,检测终端能够在该待检测图像中将目标人员所在的区域进行突出显示,检测人员能够清楚的看到目标车辆所在的区域。
在动植物检测场景下,检测终端能够获取多个待检测图像,待检测图像中存在至少一个动植物。检测人员通过检测终端选择目标对象,也即是目标动植物。检测终端基于目标动植物的模板图像对多个待检测图像进行目标检测,确定待检测图像中是否包含目标动植物。响应于在任一个待检测图像中检测到目标动植物,检测终端能够在该待检测图像中将目标人员所在的区域进行突出显示,检测人员能够清楚的看到目标动植物所在的区域。
当然,除了上述检测场景之外,本申请实施例提供的目标检测方法也能够应用在更多的目标检测场景中,比如应用在非游戏类应用程序的测试场景中,本申请实施例对此不作限定。
本申请实施例提供的目标检测方法能够集成为一个目标检测模型,下面对目标检测模型的各个部分进行介绍。
参见图2,本申请实施例提供的目标检测模型包括输入单元201、模板匹配检测器202、图像分类过滤器203、特征检测器204、阈值过滤器205、召回单元206以及输出单元207。
输入单元201,用于向目标检测模型和召回单元206输入待检测图像。除此之外,输入单元201也用于将待检测图像对应的图像数据进行结构化,使得待检测图像对应的图像数据的结构符合设计目标检测模型时采用的编程语言结构。举例来说,若设计目标检测模型时采用了Python语言,那么输入单元201能够将待检测图像对应的图像数据转化为Python语言中支持的数据结构,从而方便后续的处理。
模板匹配检测器202,用于基于目标对象的模板图像对待检测图像进行检测,从而在待检测图像中确定出目标对象所在的区域。可选地,模板匹配检测器202为多尺度模板匹配检测器,也即是在进行检测的过程中,能够将目标对象的模板图像变换为多个尺寸的模板图像进行检测,提高匹配的成功率。
图像分类过滤器203,用于对模板匹配检测器202在待检测图像中匹配出的第一候选子图像进行分类,确定第一候选子图像中的对象的类型。若第一候选子图像中的对象的类型与目标对象的类型相同,那么继续执行后续步骤。若第一候选子图像中的对象的类型与目标对象的类型不同,表明模板匹配检测器202匹配了错误的区域,那么也就无需再执行后续步骤。
特征检测器204,用于获取第一候选子图像和模板图像的图像特征信息。可选地,特征检测器204为一个多通道特征检测器,多通道特征检测器为多种特征提取器的集合体,能够用于获取第一候选子图像和模板图像的灰度均值、灰度方差、颜色均值、颜色通道值以及图像熵中的至少一项。
阈值过滤器205,用于比较第一候选子图像和模板图像之间的相似度,比较过程采用特征检测器204中获取的图像特征信息来进行,也即是获取第一候选子图像的图像特征信息和模板图像的图像特征信息之间的图像特征差异信息,将图像特征差异信息与阈值过滤器205中的阈值进行比较,根据比较结果来确定第一候选子图像和模板图像之间的相似度。可选地,阈值过滤器205为一个双层动态阈值过滤器,“双层”表示阈值过滤器对应于两个阈值,两个阈值用于表示两个层次的特征。“动态”表示阈值过滤器205对应的阈值能够根据实际情况进行调整。
召回单元206,用于从待检测图像中召回目标对象所在的第二候选子图像,第二候选子图像起到对第一候选子图像的辅助召回作用,避免待检测图像中的一些区域被遗漏,提高目标检测的准确性。
输出单元207,将目标检测的结果进行输出,输出结果能够存储在本地,也能够将输出结果发送给其他终端,本申请实施例对此不作限定。可选地,输出格式为JSON,这样能够为更多类型的终端提供结果。
介绍完本申请实施例提供技术方案的实施环境和应用场景之后,下面对本申请实施例提供的技术方案进行说明。在下述对本申请实施例提供的技术方案进行说明的过程中,是以检测终端作为执行主体为例进行的。在其他可能的实施方式中,也可以由服务器作为执行主体来执行本申请实施例提供的技术方案,本申请实施例对于执行主体的类型不做限定。
图3是本申请实施例提供的一种目标检测方法的流程图,参见图3,方法包括:
301、检测终端获取待检测图像,待检测图像包括至少一个待检测对象。
可选地,待检测图像为游戏界面图像、车辆图像、建筑物图像以及动植物图像,当然也能够为其他类型的图像,本申请实施例对此不作限定。相应的,若待检测图像为游戏界面图像,那么待检测对象为游戏界面图像中的游戏按钮、文字、几何图形或者游戏角色等。若待检测图像为车辆图像,那么待检测对象也就为车辆图像中的车辆。若待检测图像为建筑物图像,那么待检测对象也就为建筑物图像中的建筑物。若待检测图像为动植物图像,那么待检测对象也就为动植物图像中的动植物。
302、检测终端基于目标对象的模板图像,在待检测图像上进行检测,得到待检测图像中的第一候选子图像,第一候选子图像与模板图像之间的相似度符合相似度条件,目标对象的模板图像用于对待检测对象进行检测。
其中,目标对象与检测人员的实际需要相关联,若检测人员需要对游戏界面图像进行目标检测,那么目标对象也就为游戏界面中的某个显示元素,比如为游戏界面中的某个游戏按钮,或者为某个文字等,本申请实施例对此不作限定。目标对象的模板图像为能够代表目标对象的图像,若检测人员需要对游戏界面图像进行目标检测,那么目标对象的模板图形也就为生成游戏界面时的目标对象的素材图,或者为游戏界面中目标对象所在位置的截图。可选地,第一候选子图像与目标对象的模板图像之间的相似度符合相似度条件是指,第一候选子图像与模板图像之间的相似度大于或等于第一相似度阈值。
303、检测终端获取第一候选子图像和模板图像之间的图像特征差异信息,图像特征差异信息用于表征第一候选子图像的图像特征信息与模板图像的特征信息之间的差异信息。
其中,图像特征差异信息用于表示第一候选子图像和模板图像之间的图像差异。可选地,图像特征差异信息为第一候选子图像和模板图像之间的一个图像特征信息的差异,比如为第一候选子图像和模板图像之间图像熵之间的差异信息,或者第一候选子图像和模板图像之间像素点平均值之间的差异信息,或者第一候选子图像和模板图像之间灰度值平均值之间的差异信息。通过图像特征差异信息,检测终端能够将匹配过程中得到的错误区域剔除,从而提高目标检测的精确性。
可选地,图像特征差异信息为第一候选子图像和模板图像之间的多个图像特征信息的差异信息集合,比如为由第一候选子图像和模板图像之间的图像熵之间的差异信息、像素点平均值之间的差异信息以及灰度值平均值之间的差异信息组成的差异信息集合,当图像特征差异信息为图像差异信息集合时,检测终端能够从多个维度来确定第一候选子图像和模板图像之间的差异,图像特征差异信息能够更加精准的反映第一候选子图像和模板图像之间的差异,从而提高目标检测的精确性。当然,除了由上述例子中列举的图像特征差异信息组成的差异信息集合之外,还能够有其他类型的图像特征差异信息组成不同的差异信息集合,本申请实施例对此不作限定。
304、响应于图像特征差异信息符合目标条件,检测终端在待检测图像中对第一候选子图像进行突出显示。
可选地,检测终端对第一候选子图像进行突出显示的方法为在待检测图像中显示第一候选子图像的边界框。举例来说,参见图4和图5,检测终端能够在待检测图像401中显示第一候选子图像的边界框402,在待检测图像501中显示第一候选子图像的边界框502,检测人员能够通过边界框直观的看到第一候选子图像在待检测图像中的位置。
可选地,检测终端对待检测图像中的第一候选子图像的亮度值或对比度中的至少一项进行调整,显示亮度值和/或对比度调整后的第一候选子图像。检测人员能够通过亮度值和/或对比度差异在待检测图像中看到第一候选子图像。
可选地,检测终端对第一候选子图像中显示元素的线条进行加粗显示,检测人员也能够通过显示元素的线条粗细差异,直观的看到第一候选子图像在待检测图像中的位置。
通过本申请实施例提供的技术方案,在游戏测试过程中,检测终端能够通过目标对象的模板图像来初步筛选目标对象所在的区域,进一步通过图像特征差异信息将匹配过程中得到的错误区域剔除,最终能够得到符合目标条件的第一候选子图像,第一候选子图像也即是包含目标对象的区域。检测终端能够对第一候选子图像进行突出显示,检测人员能够直观的看到目标对象在待检测图像中的位置,游戏测试过程由检测终端自动完成,无需检测人员在不同型号的终端上逐个进行检测,提高了游戏测试的效率。
图6是本申请实施例提供的一种目标检测方法的流程图,图7是本申请实施例提供的一种目标检测方法的逻辑框图,参见图6和图7,方法包括:
601、检测终端获取待检测图像,待检测图像包括至少一个待检测对象。
其中,待检测图像和待检测对象的相关说明参见步骤301中的描述,在此不再赘述。
在一种可能的实施方式中,若待检测图像为游戏界面图像,那么检测人员将检测终端与不同型号的游戏终端进行通讯连接。检测人员通过检测终端向不同型号的游戏终端下发待测试的游戏应用程序的安装包,游戏终端接收游戏应用程序的安装包。检测终端向游戏终端发送安装游戏应用程序的指令。响应于接收到安装游戏应用程序的指令,游戏终端执行游戏应用程序的安装包,安装游戏应用程序。响应于游戏终端完成游戏应用程序的安装,检测终端向游戏终端发送启动游戏应用程序的指令。响应于接收到启动游戏应用程序的指令,游戏终端能够启动安装完毕的游戏应用程序。响应于游戏终端启动游戏类应用程序,检测终端能够向游戏终端发送界面跳转指令,页面跳转指令中携带有待检测界面的标识。响应于接收到界面跳转指令,游戏终端控制游戏应用程序跳转至待检测界面。响应于游戏终端控制游戏应用程序跳转至待检测界面,检测终端向游戏终端发送截屏指令。响应于接收到截屏指令,游戏终端截取当前显示的待检测界面的图像,也即是待检测图像,游戏终端将待检测图像添加游戏终端标识后发送给检测终端。检测终端获取携带有游戏终端标识的待检测图像。
在这种实施方式下,当检测人员想要对任一款游戏应用程序进行测试时,能够基于检测终端同时控制多个不同型号的游戏终端运行游戏应用程序,也能够同时获取不同型号的游戏终端运行游戏应用程序时显示的图像,从而便于后续的测试。
在上述实施方式的基础上,检测终端也能够在向不同型号的游戏终端下发待测试的游戏应用程序的安装包的同时,向不同型号的游戏终端发送游戏测试指令集,游戏测试指令集包括安装游戏应用程序的指令、启动游戏应用程序的指令、界面跳转指令以及截屏指令。通过向游戏终端发送游戏测试指令集,检测终端通过一次发送操作就能够获取待检测图像,这样能够减小检测终端的开销。
在一种可能的实施方式中,若待检测图像为建筑物图像,那么检测终端能够通过获取建筑物图像集,从建筑物图像集中获取建筑物图像,也即是获取待检测图像。
在上述三种实施方式的基础上,可选地,检测终端也能够作为提供目标检测服务的云平台,当需要进行目标检测时,检测人员能够通过其他终端接入检测终端,将待检测图像发送给检测终端,由检测终端进行后续的目标检测步骤。当检测终端完成目标检测之后,能够将目标检测的结果发送给其他终端,由其他终端将目标检测的结果展现给检测人员。
可选地,检测终端获取待检测图像之后,检测图像还能够对待检测图像进行缩放处理,将不同尺寸的待检测图像变换为相同尺寸的待检测图像,也即是检测终端每次检测的均是相同尺寸的图像,这样便于检测终端后续的目标检测过程。
以待检测图像为游戏界面图像为例,不同型号的游戏终端的屏幕尺寸和分辨率均可能是不同,因此,不同型号的游戏终端对同一个游戏界面图像进行截图时,得到的待检测图像的尺寸可能是不同的。比如,A型号的游戏终端截取的待检测图像的尺寸为400×320,B型号的游戏终端截取的待检测图像的尺寸为1024×768。那么检测终端能够将A型号的游戏终端和B型号的游戏终端截取的待检测图像的尺寸进行缩放处理,得到同一尺寸的待检测图像。比如检测终端能够将A型号的游戏终端和B型号的游戏终端截取的待检测图像的尺寸统一变换为600×400。
在这种实施方式下,检测终端在对待检测图像进行目标检测时,能够保证每次目标检测时待检测图像的尺寸完全一致,从而提高目标检测的效率和准确性。
需要说明的是,上述说明是以检测终端作为执行主体进行说明的,在其他可能的实现方式中,也可以由服务器作为执行主体来执行步骤601,本申请实施例对此不作限定。服务器执行上述步骤的实现过程与上述步骤601属于同一发明构思,具体实现过程在此不再赘述。
另外,若将本申请实施例提供的目标检测方法集成为一个目标检测模型,那么上述步骤601能够由目标检测模型中的输入单元201执行。
602、检测终端基于目标对象的模板图像在待检测图像上进行检测,得到待检测图像中的第一候选子图像,第一候选子图像与模板图像之间的相似度符合相似度条件,目标对象的模板图像用于对待检测对象进行检测。
其中,第一候选子图像为待检测图像的一个局部图像。
在一种可能的实施方式中,检测终端对目标对象的模板图像进行缩放处理,得到目标对象的多个尺寸的模板图像。检测终端基于多个尺寸的模板图像在待检测图像上进行检测,得到待检测图像中的多个参考区域,参考区域与对应尺寸的模板图像之间的相似度符合预设条件。检测终端将目标参考区域确定为第一候选子图像,目标参考区域为多个参考区域中与对应尺寸的模板图像之间相似度最高的参考区域。
在这种实现方式下,由于通过模板图像进行检测后得到的第一候选子图像的尺寸与模板图像相同。由于在进行检测前检测终端并不能确定目标对象在待检测图像中的尺寸,通过将模板图像变换为多个尺寸的模板图像,能够匹配出多个尺寸的第一候选子图像,若待检测图像中目标对象的尺寸较大,多个尺寸的模板完全覆盖目标对象的概率也就越高。若待检测图像中目标对象的尺寸较小,那么采用多个尺寸的模板图像能够实现对目标对象更加精准的匹配,减小第一候选子图像中除目标对象以外区域的面积,提高目标检测的精度。
举例来说,检测人员能够在检测终端上根据需要选择目标对象,检测终端根据目标对象的标识,调用目标对象的模板图像,可选地,目标对象的标识为目标对象的名称或者编号,若目标对象为某个游戏按键,那么目标对象的标识可以为按键1或者1,检测终端能够通过按键1或者1查找到目标对象的目标图像。检测终端能够根据目标缩放比例范围,对目标对象的模板图像进行缩放处理,其中,目标缩放比例范围由检测人员根据实际需要进行设置,比如设置为0.8至1.2,也就表示将目标对象的模板图像的尺寸缩放为0.8至1.2倍。除此之外,检测人员还能够设置目标缩放比例范围中缩放比例的间隔,设置缩放比例的间隔能够将连续的缩放比例减少为离散的缩放比例,从而减少缩放后模板图像的数量,从而提高后续检测的效率。若将间隔设置为1,那么目标缩放比例范围0.8至1.2也就包括5个缩放比例(0.8,0.9,1.0,1.1,1.2)。若目标对象的模板图像的尺寸为600×400,那么经过缩放处理之后,得到尺寸为(480×320,540×360,600×400,660×440,720×480)的5个模板图像。若将间隔设置为0.5,那么目标缩放比例范围0.8至1.2也就包括9个缩放比例(0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2)。若目标对象的模板图像的尺寸为600×400,那么经过缩放处理之后,得到尺寸为(480×320,510×340,540×360,570×380,600×400,630×420,660×440,690×460,720×480)的9个模板图像。从上述举例可以看出,若间隔设置的较大,那么得到的缩放比例的数量也就较少,检测终端能够更加快速的完成检测。若间隔设置的较小,那么得到的缩放比例的数量也就较多,检测终端能够更加精准的完成检测。
在一次检测的过程中,检测终端从多个不同尺寸的模板图像中确定一个模板图像,可选地,检测终端能够按照尺寸从小到大或者从大到小的顺序,从多个不同尺寸的模板图像中确定一个模板图形,或者,检测终端也能够无放回的随机从多个不同尺寸的模板图像中确定一个模板图像,本申请实施例对此不作限定。检测终端基于该模板图像在待检测图像上进行检测,在待检测图像上确定与该模板图像相似度最高的参考区域,检测终端记录该参考区域在待检测图像上的位置,同时还能够计算该参考区域与对应模板图像的相似度。
经过多次检测之后,检测终端能够在待检测图像上得到与多个尺寸的模板图像对应的参考区域的位置,以及每个参考区域与对应模板图像之间的相似度。检测终端能够将于对应模板图像之间相似度最高的参考区域确定为目标参考区域,目标参考区域也即是第一候选子图像。
下面对上述实施方式中的匹配方法进行说明。
在一种可能的实施方式中,检测终端分别对多个尺寸的模板图像和待检测图像进行灰度处理,得到多个尺寸的模板灰度图像和待检测灰度图像。检测终端控制多个尺寸的模板灰度图像在待检测灰度图像上进行滑动。检测终端分别确定多个尺寸的模板灰度图像中像素点的灰度值与多个第一区域中像素点的灰度值之间的第一相似度,第一区域为待检测灰度图像上的待检测区域。检测终端在待检测图像中确定与多个第一相似度符合预设条件的第一区域所对应的多个参考区域。
为了更加清楚的对上述实施方式进行说明,下面将分成四个部分进行说明。
第一部分,对检测终端对模板图像和待检测图像进行灰度处理的方法进行说明:检测终端能够基于多个尺寸的模板图像和待检测图像的颜色通道(RGB)值对多个尺寸的模板图像和待检测图像进行灰度处理,得到多个尺寸的模板灰度图像和待检测灰度图像,其中,灰度处理也即是将彩色图像转换为灰度图像的过程。以检测终端对待检测图像进行灰度处理为例,检测终端能够将待检测图像中每个像素点的三个颜色通道值进行加权求和,得到待检测图像中每个像素点的灰度值。检测终端基于待检测图像中每个像素点的灰度值,生成待检测灰度图像。
第二部分,对检测终端控制多个尺寸的模板灰度图像在待检测灰度图像上进行滑动的方式进行说明:检测终端能够控制模板灰度图像在待检测灰度图像上以目标步长进行滑动,其中,目标步长也即是模板灰度图像在待检测灰度图像上每次滑动的距离,目标步长由检测人员根据实际情况进行设置。若目标步长设置的较小,那么检测终端能够得到更加精确的参考区域。若目标步长设置的较长,那么检测终端能够更加快速的得到参考区域。
第三部分,对检测终端确定第一相似度的方法进行说明:检测终端在控制模板灰度图像在待检测灰度图像上进行滑动的过程中,确定模板灰度图像中像素点的灰度值与每个第一区域中像素点的灰度值之间的第一相似度。检测终端能够基于下述任一种方式来确定第一相似度。
方式1、检测终端能够获取第一差值,第一差值为模板灰度图像中每个像素点的灰度值与第一区域中对应像素点的灰度值之间的差值。检测终端能够将多个第一差值的平方和相加,得到第一相似度。在这种方式下,第一相似度的数值越低,模板灰度图像与第一区域的相似度越高;第一相似度的数值越高,模板灰度图像与第一区域的相似度越低。其中,方式1的实现能够基于下述公式(1)。
其中,R(x,y)为第一相似度,T(xˊ,yˊ)为模板灰度图像上一个像素点的灰度值,(xˊ,yˊ)为模板灰度图像上像素点的坐标,I(x+xˊ,y+yˊ)为第一区域中像素点的灰度值,(x+xˊ,y+yˊ)为第一区域中像素点在待检测灰度图像上的坐标,x和y用于表示模板灰度图像的移动距离。
方式2、检测终端能够获取第一差值,其中,第一差值的定义与获取方式与方式1属于同一发明构思,在此不再赘述。检测终端能够获取第一和值和第二和值,其中,第一和值为模板灰度图像中每个像素点的灰度值的平方和,第二和值为第一区域中每个像素点的灰度值的平方和。检测终端获取第一和值和第二和值的乘积的第一开方值。检测终端能够将第一差值与第一开方值的比值作为第一相似度。在这种方式下,第一相似度的数值越低,模板灰度图像与第一区域的相似度越高;第一相似度的数值越高,模板灰度图像与第一区域的相似度越低。其中,方式2的实现能够基于下述公式(2)。
方式3、检测终端能够获取第一乘积和,第一乘积和为模板灰度图像中每个像素点的灰度值与第一区域中对应的像素点的灰度值的乘积和,在这种方式中,第一乘积和也即是第一相似度。在这种方式下,第一相似度的数值越高,模板灰度图像与第一区域的相似度越高;第一相似度的数值越低,模板灰度图像与第一区域的相似度越低。其中,方式3的实现能够基于下述公式(3)。
方式4、检测终端能够将第一乘积和与第一开方值之间的比值作为第一相似度,其中,第一乘积和的计算方法参见方式3的说明,第一开方值的计算方法参见方式2的说明,在此不再赘述。在这种方式下,第一相似度的数值越高,模板灰度图像与第一区域的相似度越高;第一相似度的数值越低,模板灰度图像与第一区域的相似度越低。其中,方式4的实现能够基于下述公式(4)。
第四部分,对检测终端确定多个参考区域的方法进行说明:检测终端确定第一相似度符合预设条件的第一区域,其中,预设条件由检测人员根据实际情况进行设置。比如,对于上述第三部分中的方式1和方式2来说,第一相似度符合预设条件是指第一相似度小于或等于第二相似度阈值;对于上述第三部分中的方式3方式4来说,第一相似度符合预设条件是指第一相似度大于或等于第二相似度阈值。总之,第一相似度符合预设条件的第一区域为待检测灰度图像上,与模板灰度图像相似度最高的区域。由于存在多个尺寸的模板灰度图像,多个模板灰度图像对应于待检测灰度图像上的多个第一相似度符合预设条件的第一区域。检测终端能够在待检测图像中确定出多个与多个第一相似度符合预设条件的第一区域对应的参考区域。检测终端将第一相似度最高的第一区域所对应的参考区域确定为目标参考区域,目标参考区域也即是与多个尺寸的模板图像相似度最高的区域,换句话说,目标参考区域为待检测图像中可能包含目标对象的区域。
对于第四部分来说,检测终端除了在待检测图像中确定与多个第一相似度符合预设条件的第一区域对应的多个参考区域之外,还能够直接在多个第一区域中确定第二区域,第二区域为多个第一区域中与对应灰度模板图像相似度最高的区域。检测终端能够在待检测图像中,将与第二区域对应的参考区域确定为目标参考区域。
在上述说明过程中,是以检测终端基于模板图像和待检测图像中像素点的灰度值进行匹配为例进行说明的,在其他可能的实施方式中,检测终端也能够直接基于模板图像和待检测图像中像素点的颜色通道值进行匹配。举例来说,检测终端能够基于模板图像和待检测图像中像素点的红色通道值、绿色通道值、蓝色通道值、红绿蓝三个颜色的平均颜色通道值以及红绿蓝三个颜色的颜色通道值中的任一项来进行匹配,匹配的过程与采用模板图像和待检测图像中像素点的灰度值进行匹配的过程属于同一发明构思,实现过程参见之间的说明,在此不再赘述。
另外,若将本申请实施例提供的目标检测方法集成为一个目标检测模型,那么上述步骤602能够由目标检测模型中的模板匹配检测器202执行。
603、检测终端将第一候选子图像输入图像分类模型,通过图像分类模型对第一候选子图像中的对象进行分类,输出第一候选子图像中的对象的类型。
其中,图像分类模型是基于标注有样本对象类型的样本模板图像训练得到的,具有对输入的图像中的对象进行分类的能力,图像分类模型的训练方法参见步骤608之后的描述。
在一种可能的实施方式中,检测终端能够将第一候选子图像输入图像分类模型,通过图像分类模型对第一候选子图像进行特征提取,得到与第一候选子图像对应的第一特征图。检测终端通过图像分类模型将第一特征图变换为第一特征向量,将第一特征向量映射为多个概率,每个概率对应于一个类型。检测终端将概率符合第一目标概率条件的类型输出为第一候选子图像中的对象的类型。
举例来说,检测终端将第一候选子图像输入图像分类模型,通过图像分类模型的至少一个卷积层对第一候选子图像进行特征提取,得到与第一候选子图像对应的第一特征图。检测终端通过图像分类模型将第一特征图输入全连接层,对第一特征图进行全连接处理,得到第一候选子图像对应的第一特征向量。检测终端将第一特征向量输入图像分类模型的归一化层,对第一特征向量进行归一化处理,得到第一候选子图像中的对象属于不同类型的概率,其中,归一化层为Softmax层,或者为其他类型的归一化层,本申请实施例对此不作限定。检测终端将概率符合第一目标概率条件的类型输出为第一候选子图像中的对象的类型。
可选地,上述步骤603中提供的图像分类模型为轻量化网络(SqueezeNet)、或者为超分辨率测试序列16(Visual Geometry Group,VGG16)、超分辨率测试序列19(VGG19)、InceptionV3、深度可分离网络(Xception)、针对移动端的轻量网络(MobileNet)以及亚里克斯网络(AlexNet)中的一类,当然,随着科学技术的发展,也能够为其他具有图像分类能力的模型,本申请实施例对于图像分类模型的类型不作限定。
另外,若将本申请实施例提供的目标检测方法集成为一个目标检测模型,那么上述步骤603能够由目标检测模型中的分类过滤器203执行。
604、响应于第一候选子图像中的对象的类型与目标对象的类型相同,检测终端执行步骤605。
检测终端执行上述步骤603和604之后,能够将匹配过程中得到的错误候选子图像进行剔除,从而提高目标检测的准确性。
需要说明的是,上述步骤603和604是可选步骤,检测终端在执行上述步骤602之后,除了能够执行上述步骤603和604之外,也能够之间执行步骤605,本申请实施例对此不作限定。
605、检测终端对第一候选子图像和模板图像进行特征提取,得到第一候选子图像的图像特征信息和模板图像的图像特征信息,其中,图像特征信息包括灰度均值、灰度方差、颜色均值以及图像熵中的至少一项。
在一种可能的实施方式中,若图像特征信息为灰度均值,检测终端对第一候选子图像和模板图像进行灰度处理,得到第一候选子图像的第一灰度图像和模板灰度图像。检测终端分别统计第一灰度图像中多个像素点的第一平均灰度值以及模板灰度图像中多个像素点的第二平均灰度值。
另外,对于模板灰度图像来说,若在步骤602中检测终端是基于模板图像和待检测图像中多个像素点的灰度值进行匹配的,那么检测终端能够直接统计步骤602中的模板灰度图像中的多个像素点的第一平均灰度值。对于第一区域来说,检测终端也能够在待检测灰度图像中确定第一区域的位置,统计待检测灰度图像中第一区域中多个像素点的第二平均灰度值。在这种实现方式下,能够减少检测终端的开销,提高目标检测的效率。
在一种可能的实施方式中,若图像特征信息为灰度方差,检测终端对第一候选子图像和模板图像进行灰度处理,得到第一候选子图像的第一灰度图像和模板灰度图像。检测终端分别统计第一灰度图像中多个像素点的第一平均灰度值以及模板灰度图像中多个像素点的第二平均灰度值。检测终端获取第一灰度图像中多个像素点的灰度值与第一平均灰度值之间差值的第一平方和。检测终端获取第一平方和与第一候选子图像中像素点的数量之间的第一比值,第一比值也即是第一候选子图像的灰度方差。检测终端获取模板灰度图像中多个像素点的灰度值与第二平均灰度值之间的差值的第二平方和。检测终端获取第二平方和与模板图像中像素点的数量之间的第二比值,第二比值也即是模板图像的灰度方差。
在一种可能的实施方式中,若图像特征信息为颜色均值,检测终端获取第一候选子图像中多个像素点的颜色通道值,分别统计三个颜色通道的均值。检测终端能够将三个颜色通道的均值的均值作为第一候选子图像的颜色均值。检测终端获取模板图像中多个像素点的颜色通道值,分别统计三个颜色通道的均值,检测终端能够将三个颜色通道的均值的均值作为模板图像的颜色均值。
在一种可能的实施方式中,若图像特征信息为图像熵,检测终端能够基于公式(5)来得到第一候选子图像和模板图像的图像熵。
其中,L是RGB通道颜色值的离散化级数,L=256,PRi、PGi以及PBi为图像中Ri、Gi以及Bi颜色存在的概率,能够通过图像的颜色分布直方图来计算,举例来说,假设图像共有N个像素点,而图像中红色通道值为Ri的像素点的数量为M,那么PRi=M/N。
需要说明的是,在进行目标检测的过程中,检测终端能够通过获取上述四种图像特征信息,或者获取上述任意三种或两种图像特征信息,本申请实施例对此不作限定。
另外,测试终端除了能够分别对第一候选子图像和模板图像进行特征提取,得到第一候选子图像的图像特征信息和模板图像的图像特征信息之外,还能够直接通过多通道特征提取来同时获取上述几种图像特征信息,其中多通道特征提取也即是通过集合有多种特征提取器的多通道特征检测器来实现特征提取,这样能够提高特征提取的效率。当然,检测终端也能够通过其他方式来获取第一候选子图像的图像特征信息和模板图像的图像特征信息,比如采用尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)来获取第一候选子图像的图像特征信息和模板图像的图像特征信息,本申请实施例对此不作限定。
还有,若将本申请实施例提供的目标检测方法集成为一个目标检测模型,那么上述步骤605能够由目标检测模型中的特征检测器204执行。
606、检测终端获取第一候选子图像的图像特征信息和模板图像的图像特征信息之间的图像特征差异信息,图像特征差异信息用于表征第一候选子图像的图像特征信息与模板图像的特征信息之间的差异信息。
在一种可能的实施方式中,检测终端能够基于第一候选子图像的图像特征信息生成第一特征向量,基于模板图像的图像特征信息生成第二特征向量。检测终端获取第一特征向量和第二特征向量之间的图像特征差异信息向量。
举例来说,检测终端基于第一候选子图像的图像特征信息生成第一特征向量(1,2,3,4),其中1表示第一候选子图像的灰度均值,2表示第一候选子图像的灰度方差,3表示第一候选子图像的颜色均值,4表示第一候选子图像的图像熵。检测终端基于模板图像的图像特征信息生成第二特征向量(2,5,6,3),其中2表示模板图像的灰度均值,5表示模板图像的灰度方差,6表示模板图像的颜色均值,3表示模板图像的图像熵。检测终端将第二特征向量与第一特征向量相减,得到图像特征差异信息向量(1,3,3,-1)。
607、响应于图像特征差异信息符合目标条件,检测终端将待检测图像输入图像识别模型,通过图像识别模型对待检测图像进行图像识别,输出目标对象在待检测图像中的第二候选子图像。
为了对上述步骤607进行更加清楚的说明,下面将分为两个部分进行介绍,第一部分对图像特征差异信息符合目标条件进行介绍,第二部分对检测终端基于图像识别模型输出第二候选子图像的方法进行介绍。
第一部分,可选地,图像特征差异信息符合目标条件是指下述至少一项:图像特征差异信息小于或等于第一阈值,或者图像特征差异信息小于或等于第二阈值。其中,第一阈值为与模板图像的图像风格相关联的数值,第二阈值为与目标对象的类型相关联的数值。
下面对第一阈值和第二阈值的确定方法进行介绍:
以待检测图像为游戏界面图像为例,对于不同类型的游戏来说,游戏界面图像的风格是不同的。对于一个游戏来说,检测人员能够通过检测终端获取多个不同游戏界面的截图,基于一个游戏的不同游戏界面截图生成阈值样本集。检测终端能够获取阈值样本集中每个游戏界面截图的图像特征信息,也能够获取与该游戏对应的模板图像集中每个模板图像的图像特征信息,基于游戏界面截图的图像特征信息和该游戏的模板图像的图像特征信息之间的差异信息,确定第一阈值和第二阈值。
对于第一阈值来说,在一种可能的实施方式中,检测终端能够将第一数值确定为第一阈值,其中,第一数值为该游戏的游戏界面截图的图像特征信息和该游戏的模板图像的图像特征信息之间的最大差异信息。由于第一阈值是基于同一个游戏的不同游戏界面截图以及模板图像来确定的,因此第一阈值能够从整体上反映该游戏的图像风格,也就是说,若第一候选子图像与模板图像之间的第一图像特征差异信息大于第一阈值,那么也就表示第一候选子图像与模板图像之间的图像风格差异较大,第一候选子图像为错误的候选子图像,检测终端能够将第一候选子图像丢弃,不再进行后续的目标检测过程。若第一候选子图像与模板图像之间的推向特征差异信息小于或等于第一阈值,那么也就表示第一候选子图像与模板图像之间的图像风格接近,第一候选子图像为正确的候选子图像,检测终端能够基于第一候选子图像继续执行后续的目标检测过程。通过第一阈值,检测终端能够屏蔽错误的候选子图像,从而提高模板检测的准确性。
举例来说,若一个游戏包括三个游戏界面截图,三个游戏界面截图对应于三个图像特征信息(1,3,4,5)、(2,1,3,3)以及(3,2,4,1)。该游戏对应于六个模板图像,六个模板图像对应于六个图像特征信息(1,1,2,3)、(2,6,3,1)、(3,1,2,1)、(7,1,2,3)、(5,2,4,1)以及(6,2,3,5),其中,图像特征信息中数字的顺序分别表示图像的灰度均值、灰度方差、颜色均值以及图像熵。检测终端能够将(6,2,3,5)与(1,3,4,5)之间的差异信息(5,-1,-1,0)作为第一阈值。
对于第二阈值来说,在一种可能的实施方式中,检测终端能够根据游戏界面截图中对象的类型,确定对应的模板图像,获取包含相同类型对象的游戏界面截图的图像特征信息和模板图像的图像特征信息之间的第二图像特征差异信息。检测终端能够将第二数值确定为第二阈值,其中,第二数值为包含同一类型对象的游戏界面截图的图像特征信息和该游戏的模板图像的图像特征信息之间的最大差异信息。由于第二阈值是基于包含相同类型对象的游戏界面截图和模板图像来确定的,那么第二阈值也就能够反映对象的类型。换句话说,若第一候选子图像与模板图像之间的第一图像特征差异信息大于第二阈值,那么也就表示第一候选子图像中的对象与模板图像中的对象之间的差异较大,第一候选子图像为错误的候选子图像,检测终端能够将第一候选子图像丢弃,不再进行后续的目标检测过程。若第一候选子图像与模板图像之间的推向特征差异信息小于或等于第二阈值,那么也就表示第一候选子图像中的对象与模板图像中的对象之间较为接近,第一候选子图像为正确的候选子图像,检测终端能够基于第一候选子图像继续执行后续的目标检测过程。通过第二阈值,检测终端能够屏蔽错误的候选子图像,从而提高模板检测的准确性。
举例来说,若一个游戏包括三个游戏界面截图,其中一个游戏界面截图中包括5个游戏按钮,这5个游戏按钮对应于5个模板图像。检测终端分别获取该游戏界面截图的图像特征信息和5个模板图像的图像特征信息之间的5个第二图像特征差异信息,将5个第二图像特征差异信息中最大的第二图像特征信息确定为第二阈值。
需要说明的是,检测终端除了通过上述方式来确定第二阈值之外,检测终端还能够基于包含相同类型对象的模板图像的图像特征信息来确定第二阈值,方法如下:
在一种可能的实施方式中,检测终端能够一个游戏中的包含相同类型对象的模板图像的图像特征信息,获取包含相同类型对象的模板图像的图像特征信息之间的多个第三图像特征差异信息,将多个第三图像特征差异信息中最大的第三图像特征差异信息确定为第二阈值。
举例来说,若一个游戏包含8个模板图像,其中3个模板图像包含游戏按钮,3个模板图像包含文本,2个模板图像包括几何图形,那么检测终端能够获取3个模板图像的图像特征信息,从3个模板图像的图像特征信息之间的3个第三图像特征差异信息中,获取最大的第三图像特征差异信息作为第二阈值。
另外,若将本申请实施例提供的目标检测方法集成为一个目标检测模型,那么上述步骤607中的第一部分能够由目标检测模型中的阈值过滤器205执行。
介绍完上述图像特征差异信息符合目标条件之后,下面对检测终端基于图像识别模型输出第二候选子图像的方法进行介绍,需要说明的是,下述第二部分是可选步骤,检测终端除了能够在执行完第一部分之后继续执行第二部分,也能够在执行完第一部分之后直接输出第一候选子图像,相应的,在后续进行显示的过程中,检测终端能够仅对第一候选子图像进行突出显示。
第二部分,其中,图像识别模型是基于标注有样本对象位置的样本图像训练得到的,具有从待识别图像中确定目标对象所在位置的能力,图像识别模型的训练方法参见步骤608之后对模型训练方法的描述。
在一种可能的实施方式中,检测终端将待检测图像输入图像识别模型,通过图像识别模型将待检测图像划分为多个图像块。检测终端通过图像识别模型,对各个图像块进行卷积处理,得到各个图像块对应的特征图。检测终端将各个图像块对应的特征图映射为各个图像块对应的特征向量,基于各个图像块对应的特征向量,得到各个图像块为目标对象的概率。检测终端将概率符合第二目标概率条件的图像块确定为待检测图像中的目标对象对应的图像块。
下面对服务器通过图像识别模型基于特征图确定各个图像块是否为目标对象对应的图像块的方法进行说明:
在一种可能的实施方式中,检测终端将各个特征图输入池化层,通过池化层过滤各个特征图中的一些无关特征,从而提高图像识别的准确性。检测终端将过滤后的多个特征图输入全连接层,通过全连接层将过滤后的多个特征图映射为多个特征向量。检测终端通过图像识别模型的归一化层对各个特征向量进行归一化处理,得到各个图像块为目标对象对应的图像块的概率。若任一概率大于第二目标概率,则检测终端将该图像块识别为目标对象对应的图像块,多个目标对象对应的图像块也就能够组成第二候选子图像。
需要说明的是,图像识别模型为任一类型图像识别模型,比如为“你只需要看一次”(You Only Look Once,YOLO)系列的图像识别模型,或者为区域卷积特征(Regionswith CNN Features,R-CNN)、快速区域卷积特征(Fast Regions with CNN Features,FastR-CNN)、更快的区域卷积特征(Faster Regions with CNN Features,Faster R-CNN)以及掩码区域卷积特征(Mask Fast Regions with CNN Features,Mask Fast R-CNN)Mask R-CNN等,本申请实施例对此不作限定。
另外,检测终端执行第二部分之后,还能够通过边框回归的方法来进一步提高识别第二候选子图像的准确性。下面对检测终端进行边框回归的方法进行说明。
在一种可能的实施方式中,图像识别模型在确定出待检测图像中的第二候选子图像图像之后,检测终端对第二候选子图像进行边框回归(Bounding Box Regression,BBR),进一步调整第二候选子图像在待检测图像中的大小和位置。举例来说,图像识别模型在确定出待检测图像中的第二候选子图像之后,检测终端通过一个四维向量来标定第二候选子图像在待检测图像中的大小和位置,例如[x,y,w,h],其中x为第二候选子图像的中心点在待检测图像中的横坐标,y表示第二候选子图像的中心点在待检测图像中的纵坐标,w表示第二候选子图像的宽,h表示第二候选子图像的长。检测终端通过边框检测来调整四维向量的值,确定待检测图像中是否还存在与目标对象关联的区域,或者确定第二候选子图像中是否存在与目标对象不关联的区域。若检测终端检测到第二候选子图像外还存在其他与目标对象关联的区域,则通过改变四维向量的取值,对第二候选子图像的位置和范围进行调整,扩大第二候选子图像在待检测图像中的范围;若检测终端检测到第二候选子图像中存在与目标对象不关联的区域,则通过改变四维向量的取值,对第二候选子图像的位置和范围进行调整,缩小第二候选子图像在待检测图像中的范围。边框检测的实现方法与上述图像识别模型确定第二候选子图像的方法类似,再次不再赘述。在这种实现方式下,检测终端更加精确的在待检测图像中确定出第二候选子图像,提高后续识别的准确性。
另外,若将本申请实施例提供的目标检测方法集成为一个目标检测模型,那么上述步骤607中的第二部分能够由目标检测模型中的召回单元206执行。
608、检测终端在待检测图像中对目标子图像进行突出显示,目标子图像为第一候选子图像和第二候选子图像进行融合后的子图像。
在一种可能的实施方式中,检测终端能够将第一候选子图像和第二候选子图像进行融合,去除两个候选子图像中的重复部分后,得到目标子图像。检测终端能够在待检测图像中显示目标子图像的边界框,检测人员能够通过目标子图像的边界框直观的看到目标子图像在待检测图像中的位置。
在这种实施方式下,检测终端能够将第一候选子图像和第二候选子图像两个部分的结果进行融合,得到的目标子图像能够更加完整的包含目标对象的相关信息,目标检测的效果更好。
需要说明的是,若检测终端能够在待检测图像上显示目标子图像,也就检测终端确定待检测图像上存在目标对象,对于游戏测试来说,也就意味着进行游戏测试的游戏终端能够正常显示游戏界面。若检测终端未在待检测图像中成功显示目标子图像,也就意味着待检测图像中可能不存在目标对象,对于游戏测试来说,也就表明进行游戏测试的终端无法正常显示游戏界面,在这种情况下,测试终端能够将游戏测试结果进行存储,便于检测人员后续对游戏应用程序进行调整。
通过本申请实施例提供的技术方案,在游戏测试过程中,检测终端能够通过目标对象的模板图像来初步筛选目标对象所在的区域,进一步通过图像特征差异信息将匹配过程中得到的错误区域剔除,最终能够得到符合目标条件的第一候选子图像,第一候选子图像也即是包含目标对象的区域。检测终端能够对第一候选子图像进行突出显示,检测人员能够直观的看到目标对象在待检测图像中的位置,游戏测试过程由检测终端自动完成,无需检测人员在不同型号的终端上逐个进行检测,提高了游戏测试的效率。
在对上述步骤601-608进行说明的过程中,涉及到了图像分类模型和图像识别模型,下面分别对图像分类模型和图像识别模型的训练方法进行说明。
1、图像分类模型的训练方法包括:
在数据准备过程中,检测终端获取第一样本模板图像。检测终端对第一样本模板图像进行模糊化处理或者锐化处理中的至少一项,得到多个不同清晰度的样本模板图像。检测终端基于多个不同清晰度的样本模板图像,生成样本模板图像集。
以待检测图像为游戏界面图像为例,检测终端能够从游戏中截取多个游戏界面图像,由检测人员从游戏界面图像中截取第一样本模板图像,比如从游戏界面中截取游戏按钮、文字或者其他图形作为第一样本模板图像。检测终端对第一样本模板图像进行高斯模糊和边缘锐化处理,得到多个不同清晰度的样本模板图像,其中,高斯模糊采用3×3的卷积核实现第一样本模板图像的平滑效果,边缘锐化采用3×3的卷积核实现第一样本模板图像的边缘增强。检测终端将多个不同清晰度的样本模板图像生成一个样本模板图像集,样本模板图像集中的样本模板图像为同一个目标对象的不同清晰度的模板图像。
在模型训练过程中,检测终端获取样本模板图像集,样本模板图像集中的样本模板图像为样本对象的模板图像,样本模板图像集中的样本模板图像的数量小于数量阈值。检测终端将样本模板图像输入第一模型,通过第一模型对样本模板图像进行卷积处理、全连接处理和归一化处理,输出样本对象的预测类型。响应于样本对象的预测类型和样本对象的实际类型之间的类型差异信息符合类型差异条件,检测终端将第一模型作为训练完成的图像分类模型。响应于样本对象的预测类型和样本对象的实际类型之间的类型差异信息不符合类型差异条件,检测终端能够基于样本对象的预测类型和样本对象的实际类型生成的第一损失函数,对第一模型的模型参数进行调整。
其中,数量阈值由检测人员根据实际情况进行设定,若待检测图像为游戏界面图像,那么数量阈值可以设置为5,也即是一个样本模板图像集中样本模板图像的数量为小于等于5,也就是说采用数量很少的样本就能够实现对图像分类模型的训练。这是由于游戏界面中的目标对象,比如游戏按钮、文字、几何图像或者游戏角色具有较为稳定的形状特征,采用数量较少的样本模板图像对图像分类模型进行训练就能够实现较好的分类效果,同时,数量较少的样本模板图像也意味着图像分类模型训练过程的开销较小,效率较高。当然,若待检测图像为除游戏界面图像之后的图像,那么检测终端也能够基于上述方法对图像分类模型进行训练,训练过程中对数量阈值进行适应性的调整即可。
需要说明的是,在上述模型训练过程中,检测终端能够采用梯度下降法,基于第一损失函数对第一模型的模型参数进行调整,直至第一损失函数每次下降的数值小于第一阈值即可。另外,还是由于游戏界面中的目标对象,比如游戏按钮、文字、几何图像或者游戏角色具有较为稳定的形状特征,在游戏测试的场景下,即使采用了大量的样本模板图像对图像分类模型进行了训练,导致图像分类模型出现了过拟合现象,也不会影响图像分类模型对游戏界面中的目标对象进行分类的准确性。
2、图像识别模型的训练方法包括:
在数据准备过程中,检测终端能够获取不同场景中包含样本对象的样本图像,由检测人员对样本对象在样本图像中的位置进行标注,得到由多个样本图像组成的样本图像集。对于游戏测试场景来说,样本图像也即是游戏界面截图,样本对象为游戏界面截图中的游戏按钮、文字、几何图像或者游戏角色。
当然,除了由检测人员对样本对象在样本图像中的位置进行标注之外,检测终端也能够直接从网络上获取标注完毕的图像集作为样本图像集。
在模型训练过程中,检测终端获取样本图像集,样本图像集中的样本图像包括样本对象。检测终端将样本图像输入第二模型,通过第二模型对样本图像进行卷积处理、全连接处理和归一化处理,输出样本对象在样本图像中所在的预测位置。响应于预测位置与样本对象在样本图像中的实际位置之间的位置差异信息符合位置差异条件,检测终端将第二模型作为训练完成的图像识别模型。
举例来说,检测终端可以对第二模型进行初始化,将图像识别模型的样本图像输入第二模型中,第二模型基于目标划分方式将样本图像进行划分为多个图像块,其中,目标划分模型由检测人员根据实际情况进行设置,比如设置为将样本图像划分为3×3,4×4,5×5以及3×5等规格的样本图像块。检测终端通过第二模型基于初始卷积核对样本图像块进行卷积处理,得到多个样本图像块对应的多个样本特征图。检测终端通过第二模型,基于多个样本特征图,确定多个样本图像块属于样本对象的概率,例如,检测终端通过第二模型输出一个用于表示概率的向量,[0.1,0.2,0.3,0.4……],其中每个数字表示与数字对应的样本图像块属于样本对象的概率,数字的大小表示样本图像块的数量。检测终端将最大数字对应的样本图像块识别为样本对象对应的图像块,检测终端基于多个样本对象对应的图像块,得到样本对象在样本图像中的预测区域。检测终端基于样本图像中标注区域和预测区域之间的位置差异,调整第二模型的模型参数,直至第二模型的第二损失函数值达到目标函数值或迭代次数达到目标次数时,停止第二模型的训练,将此时的第二模型作为图像识别模型。
另外,若待检测图像为游戏界面的截图,那么基于游戏界面中的目标对象,具有较为稳定的形状特征,检测终端也能够基于数量较少的样本图像对图像识别模型进行训练,从而减少检测终端训练图像识别模型时的开销,提高模型的训练效果。
需要说明的是,上述说明中均是以采用检测终端训练模型为例进行说明的,在其他可能的实现方式中,上述两个模型也可以由服务器进行训练,本申请实施例对此不作限定。
图8是本申请实施例提供的一种目标检测装置结构示意图,参见图8,装置包括:图像获取模块801、检测模块802、图像特征差异信息获取模块803以及显示模块804。
图像获取模块801,用于获取待检测图像,待检测图像包括至少一个待检测对象。
检测模块802,用于基于目标对象的模板图像,在待检测图像上进行检测,得到待检测图像中的第一候选子图像,第一候选子图像与模板图像之间的相似度符合相似度条件,目标对象的模板图像用于对待检测对象进行检测。
图像特征差异信息获取模块803,用于获取第一候选子图像和模板图像之间的图像特征差异信息,图像特征差异信息用于表征第一候选子图像的图像特征信息与模板图像的特征信息之间的差异信息。
显示模块804,用于响应于图像特征差异信息符合目标条件,在待检测图像中对第一候选子图像进行突出显示。
在一种可能的实施方式中,目标对象的模板图像的尺寸小于待检测图像的尺寸,检测模块,用于对目标对象的模板图像进行缩放处理,得到目标对象的多个尺寸的模板图像。基于多个尺寸的模板图像在待检测图像上进行检测,得到待检测图像中的多个参考区域,参考区域与对应尺寸的模板图像之间的相似度符合预设条件。将目标参考区域确定为第一候选子图像,目标参考区域为多个参考区域中与对应尺寸的模板图像之间相似度最高的参考区域。
在一种可能的实施方式中,检测模块,用于分别对多个尺寸的模板图像和待检测图像进行灰度处理,得到多个尺寸的模板灰度图像和待检测灰度图像。控制多个尺寸的模板灰度图像在待检测灰度图像上进行滑动。分别确定多个尺寸的模板灰度图像中像素点的灰度值与多个第一区域中像素点的灰度值之间的第一相似度,第一区域为待检测灰度图像上的待检测区域。在待检测图像中确定与多个第一相似度符合预设条件的第一区域所对应的多个参考区域。
在一种可能的实施方式中,图像特征差异信息符合目标条件是指下述至少一项:
图像特征差异信息小于或等于第一阈值。
图像特征差异信息小于或等于第二阈值。
其中,第一阈值为与模板图像的图像风格相关联的数值,第二阈值为与目标对象的类型相关联的数值。
在一种可能的实施方式中,装置还包括:
特征提取模块,用于对第一候选子图像和模板图像进行特征提取,得到第一候选子图像的图像特征信息和模板图像的图像特征信息,其中,图像特征信息包括灰度均值、灰度方差、颜色均值以及图像熵中的至少一项。
图像特征差异信息获取模块,用于获取第一候选子图像的图像特征信息和模板图像的图像特征信息之间的图像特征差异信息。
在一种可能的实施方式中,装置还包括:
分类模块,用于将第一候选子图像输入图像分类模型,通过图像分类模型对第一候选子图像中的对象进行分类,输出第一候选子图像中的对象的类型。响应于第一候选子图像中的对象的类型与目标对象的类型相同,执行获取第一候选子图像和模板图像之间的图像特征差异信息的步骤。
在一种可能的实施方式中,图像分类模型的训练装置包括:
样本模板图像集获取模块,用于获取样本模板图像集,样本模板图像集中的样本模板图像为样本对象的模板图像,样本模板图像集中的样本模板图像的数量小于数量阈值。
第一输入模块,用于将样本模板图像输入第一模型,通过第一模型对样本模板图像进行卷积处理、全连接处理和归一化处理,输出样本对象的预测类型。
第一确定模块,用于响应于类型差异信息符合类型差异条件,将第一模型作为训练完成的图像分类模型,其中,类型差异信息为样本对象的预测类型和样本对象的实际类型之间的类型差异信息。
在一种可能的实施方式中,图像分类模型的训练装置还包括:
样本模板图像集生成模块,用于获取第一样本模板图像。对第一样本模板图像进行模糊化处理或者锐化处理中的至少一项,得到多个不同清晰度的样本模板图像。基于多个不同清晰度的样本模板图像,生成样本模板图像集。
在一种可能的实施方式中,装置还包括:
图像识别模块,用于将待检测图像输入图像识别模型,通过图像识别模型对待检测图像进行图像识别,输出目标对象在待检测图像中的第二候选子图像。
显示模块,用于在待检测图像中对目标子图像进行突出显示,目标子图像为第一候选子图像和第二候选子图像进行融合后的子图像。
在一种可能的实施方式中,图像识别模型的训练装置包括:
样本图像集获取模块,用于获取样本图像集,样本图像集中的样本图像包括样本对象。
第二输入模块,用于将样本图像输入第二模型,通过第二模型对样本图像进行卷积处理、全连接处理和归一化处理,输出样本对象在样本图像中所在的预测位置。
第二确定模块,用于响应于位置差异信息符合位置差异条件,将第二模型作为训练完成的图像识别模型,其中,位置差异信息为预测位置与样本对象在样本图像中的实际位置之间的位置差异信息。
需要说明的是:上述实施例提供的目标检测装置在进行目标检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标检测装置与目标检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
通过本申请实施例提供的技术方案,在游戏测试过程中,检测终端能够通过目标对象的模板图像来初步筛选目标对象所在的区域,进一步通过图像特征差异信息将匹配过程中得到的错误区域剔除,最终能够得到符合目标条件的第一候选子图像,第一候选子图像也即是包含目标对象的区域。检测终端能够对第一候选子图像进行突出显示,检测人员能够直观的看到目标对象在待检测图像中的位置,游戏测试过程由检测终端自动完成,无需检测人员在不同型号的终端上逐个进行检测,提高了游戏测试的效率。
本申请实施例提供了一种计算机设备,用于执行上述方法,该计算机设备可以实现为检测终端或者服务器,下面先对检测终端的结构进行介绍:
图9是本申请实施例提供的一种检测终端的结构示意图。该检测终端900可以是:智能手机、平板电脑、笔记本电脑或台式电脑。检测终端900还可能被称为用户设备、便携式检测终端、膝上型检测终端、台式检测终端等其他名称。
通常,检测终端900包括有:一个或多个处理器901和一个或多个存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器901所执行以实现本申请中方法实施例提供的目标检测方法。
在一些实施例中,检测终端900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、显示屏905、摄像头组件906、音频电路907和电源908中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在检测终端的前面板,后置摄像头设置在检测终端的背面。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。
电源908用于为检测终端900中的各个组件进行供电。电源908可以是交流电、直流电、一次性电池或可充电电池。
在一些实施例中,检测终端900还包括有一个或多个传感器909。该一个或多个传感器909包括但不限于:加速度传感器910、陀螺仪传感器911、压力传感器912、光学传感器913以及接近传感器914。
加速度传感器910可以检测以检测终端900建立的坐标系的三个坐标轴上的加速度大小。
陀螺仪传感器911可以检测检测终端900的机体方向及转动角度,陀螺仪传感器911可以与加速度传感器910协同采集用户对检测终端900的3D动作。
压力传感器912可以设置在检测终端900的侧边框和/或显示屏905的下层。当压力传感器912设置在检测终端900的侧边框时,可以检测用户对检测终端900的握持信号,由处理器901根据压力传感器912采集的握持信号进行左右手识别或快捷操作。当压力传感器912设置在显示屏905的下层时,由处理器901根据用户对显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。
光学传感器913用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器913采集的环境光强度,控制显示屏905的显示亮度。
接近传感器914用于采集用户与检测终端900的正面之间的距离。
本领域技术人员可以理解,图9中示出的结构并不构成对检测终端900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
上述计算机设备还可以实现为服务器,下面对服务器的结构进行介绍:
图10是本申请实施例提供的一种服务器的结构示意图,该服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)1001和一个或多个的存储器1002,其中,一个或多个存储器1002中存储有至少一条程序代码,至少一条程序代码由一个或多个处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器1000还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器1000还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由处理器执行以完成上述实施例中的目标检测方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述目标检测方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (20)
1.一种目标检测方法,其特征在于,所述方法包括:
获取待检测图像,所述待检测图像包括至少一个待检测对象,所述待检测图像为游戏界面图像,所述待检测对象为所述游戏界面图像中的游戏按钮、文字、几何图形或者游戏角色;
基于目标对象的模板图像,在所述待检测图像上进行检测,得到所述待检测图像中的第一候选子图像,所述第一候选子图像与所述模板图像之间的相似度大于或等于第一相似度阈值,所述目标对象的模板图像用于对所述待检测对象进行检测;
获取所述第一候选子图像和所述模板图像之间的图像特征差异信息,所述图像特征差异信息用于表征所述第一候选子图像的图像特征信息与所述模板图像的特征信息之间的差异信息;
在所述图像特征差异信息小于或等于第一阈值的情况下,比较所述图像特征差异信息和第二阈值,所述第一阈值为与所述模板图像的图像风格相关联的数值,所述第二阈值为与所述目标对象的类型相关联的数值;
在所述图像特征差异信息小于或等于所述第二阈值的情况下,在所述待检测图像中对所述第一候选子图像进行突出显示。
2.根据权利要求1所述的方法,其特征在于,所述目标对象的模板图像的尺寸小于所述待检测图像的尺寸,所述基于目标对象的模板图像,在所述待检测图像上进行检测,得到所述待检测图像中的第一候选子图像包括:
对所述目标对象的模板图像进行缩放处理,得到所述目标对象的多个尺寸的模板图像;
基于所述多个尺寸的模板图像在所述待检测图像上进行检测,得到所述待检测图像中的多个参考区域,所述参考区域与对应尺寸的模板图像之间的相似度符合预设条件;
将目标参考区域确定为所述第一候选子图像,所述目标参考区域为所述多个参考区域中与对应尺寸的模板图像之间相似度最高的参考区域。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多个尺寸的模板图像在所述待检测图像上进行检测,得到所述待检测图像中的多个参考区域包括:
分别对所述多个尺寸的模板图像和所述待检测图像进行灰度处理,得到多个尺寸的模板灰度图像和待检测灰度图像;
控制所述多个尺寸的模板灰度图像在所述待检测灰度图像上进行滑动;
分别确定所述多个尺寸的模板灰度图像中像素点的灰度值与多个第一区域中像素点的灰度值之间的第一相似度,所述第一区域为所述待检测灰度图像上的待检测区域;
在所述待检测图像中确定与多个第一相似度符合所述预设条件的第一区域所对应的所述多个参考区域。
4.根据权利要求1所述的方法,其特征在于,所述获取所述第一候选子图像和所述模板图像之间的图像特征差异信息之前,所述方法还包括:
对所述第一候选子图像和所述模板图像进行特征提取,得到所述第一候选子图像的图像特征信息和所述模板图像的图像特征信息,其中,所述图像特征信息包括灰度均值、灰度方差、颜色均值以及图像熵中的至少一项;
所述获取所述第一候选子图像和所述模板图像之间的图像特征差异信息包括:
获取所述第一候选子图像的图像特征信息和所述模板图像的图像特征信息之间的所述图像特征差异信息。
5.根据权利要求1所述的方法,其特征在于,所述获取所述第一候选子图像和所述模板图像之间的图像特征差异信息之前,所述方法还包括:
将所述第一候选子图像输入图像分类模型,通过所述图像分类模型对所述第一候选子图像中的对象进行分类,输出所述第一候选子图像中的对象的类型;
响应于所述第一候选子图像中的对象的类型与所述目标对象的类型相同,执行获取所述第一候选子图像和所述模板图像之间的图像特征差异信息的步骤。
6.根据权利要求5所述的方法,其特征在于,所述图像分类模型的训练方法包括:
获取样本模板图像集,所述样本模板图像集中的样本模板图像为样本对象的模板图像,所述样本模板图像集中的所述样本模板图像的数量小于数量阈值;
将所述样本模板图像输入第一模型,通过所述第一模型对所述样本模板图像进行卷积处理、全连接处理和归一化处理,输出所述样本对象的预测类型;
响应于类型差异信息符合类型差异条件,将所述第一模型作为训练完成的图像分类模型,其中,所述类型差异信息为所述样本对象的预测类型和所述样本对象的实际类型之间的类型差异信息。
7.根据权利要求6所述的方法,其特征在于,所述样本模板图像集的生成方法包括:
获取第一样本模板图像;
对所述第一样本模板图像进行模糊化处理或者锐化处理中的至少一项,得到多个不同清晰度的样本模板图像;
基于所述多个不同清晰度的样本模板图像,生成所述样本模板图像集。
8.根据权利要求1所述的方法,其特征在于,所述在所述待检测图像中对所述第一候选子图像进行突出显示之前,所述方法还包括:
将所述待检测图像输入图像识别模型,通过所述图像识别模型对所述待检测图像进行图像识别,输出所述目标对象在所述待检测图像中的第二候选子图像;
所述在所述待检测图像中对所述第一候选子图像进行突出显示包括:
在所述待检测图像中对目标子图像进行突出显示,所述目标子图像为所述第一候选子图像和所述第二候选子图像进行融合后的子图像。
9.根据权利要求8所述的方法,其特征在于,所述图像识别模型的训练方法包括:
获取样本图像集,所述样本图像集中的样本图像包括样本对象;
将所述样本图像输入第二模型,通过所述第二模型对所述样本图像进行卷积处理、全连接处理和归一化处理,输出所述样本对象在所述样本图像中所在的预测位置;
响应于位置差异信息符合位置差异条件,将所述第二模型作为训练完成的图像识别模型,其中,所述位置差异信息为所述预测位置与所述样本对象在所述样本图像中的实际位置之间的位置差异信息。
10.一种目标检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取待检测图像,所述待检测图像包括至少一个待检测对象,所述待检测图像为游戏界面图像,所述待检测对象为所述游戏界面图像中的游戏按钮、文字、几何图形或者游戏角色;
检测模块,用于基于目标对象的模板图像,在所述待检测图像上进行检测,得到所述待检测图像中的第一候选子图像,所述第一候选子图像与所述模板图像之间的相似度大于或等于第一相似度阈值,所述目标对象的模板图像用于对所述待检测对象进行检测;
图像特征差异信息获取模块,用于获取所述第一候选子图像和所述模板图像之间的图像特征差异信息,所述图像特征差异信息用于表征所述第一候选子图像的图像特征信息与所述模板图像的特征信息之间的差异信息;
显示模块,用于在所述图像特征差异信息小于或等于第一阈值的情况下,比较所述图像特征差异信息和第二阈值,所述第一阈值为与所述模板图像的图像风格相关联的数值,所述第二阈值为与所述目标对象的类型相关联的数值;在所述图像特征差异信息小于或等于所述第二阈值的情况下,在所述待检测图像中对所述第一候选子图像进行突出显示。
11.根据权利要求10所述的装置,其特征在于,所述目标对象的模板图像的尺寸小于所述待检测图像的尺寸,所述检测模块,用于对所述目标对象的模板图像进行缩放处理,得到所述目标对象的多个尺寸的模板图像;基于所述多个尺寸的模板图像在所述待检测图像上进行检测,得到所述待检测图像中的多个参考区域,所述参考区域与对应尺寸的模板图像之间的相似度符合预设条件;将目标参考区域确定为所述第一候选子图像,所述目标参考区域为所述多个参考区域中与对应尺寸的模板图像之间相似度最高的参考区域。
12.根据权利要求11所述的装置,其特征在于,所述检测模块,用于分别对所述多个尺寸的所述模板图像和所述待检测图像进行灰度处理,得到多个尺寸的模板灰度图像和待检测灰度图像;控制所述多个尺寸的模板灰度图像在所述待检测灰度图像上进行滑动;分别确定所述多个尺寸的模板灰度图像中像素点的灰度值与多个第一区域中像素点的灰度值之间的第一相似度,所述第一区域为所述待检测灰度图像上的待检测区域;在所述待检测图像中确定与多个第一相似度符合所述预设条件的第一区域所对应的所述多个参考区域。
13.根据权利要求10所述的装置,其特征在于,所述装置还包括:
特征提取模块,用于对所述第一候选子图像和所述模板图像进行特征提取,得到所述第一候选子图像的图像特征信息和所述模板图像的图像特征信息,其中,所述图像特征信息包括灰度均值、灰度方差、颜色均值以及图像熵中的至少一项;
所述图像特征差异信息获取模块,用于获取所述第一候选子图像的图像特征信息和所述模板图像的图像特征信息之间的所述图像特征差异信息。
14.根据权利要求10所述的装置,其特征在于,所述装置还包括:
分类模块,用于将所述第一候选子图像输入图像分类模型,通过所述图像分类模型对所述第一候选子图像中的对象进行分类,输出所述第一候选子图像中的对象的类型;响应于所述第一候选子图像中的对象的类型与所述目标对象的类型相同,执行获取所述第一候选子图像和所述模板图像之间的图像特征差异信息的步骤。
15.根据权利要求14所述的装置,其特征在于,所述图像分类模型的训练装置包括:
样本模板图像集获取模块,用于获取样本模板图像集,所述样本模板图像集中的样本模板图像为样本对象的模板图像,所述样本模板图像集中的所述样本模板图像的数量小于数量阈值;
第一输入模块,用于将所述样本模板图像输入第一模型,通过所述第一模型对所述样本模板图像进行卷积处理、全连接处理和归一化处理,输出所述样本对象的预测类型;
第一确定模块,用于响应于类型差异信息符合类型差异条件,将所述第一模型作为训练完成的图像分类模型,其中,所述类型差异信息为所述样本对象的预测类型和所述样本对象的实际类型之间的类型差异信息。
16.根据权利要求15所述的装置,其特征在于,所述图像分类模型的训练装置还包括:
样本模板图像集生成模块,用于获取第一样本模板图像;对所述第一样本模板图像进行模糊化处理或者锐化处理中的至少一项,得到多个不同清晰度的样本模板图像;基于所述多个不同清晰度的样本模板图像,生成所述样本模板图像集。
17.根据权利要求10所述的装置,其特征在于,所述装置还包括:
图像识别模块,用于将所述待检测图像输入图像识别模型,通过所述图像识别模型对所述待检测图像进行图像识别,输出所述目标对象在所述待检测图像中的第二候选子图像;
所述显示模块,用于在所述待检测图像中对目标子图像进行突出显示,所述目标子图像为所述第一候选子图像和所述第二候选子图像进行融合后的子图像。
18.根据权利要求17所述的装置,其特征在于,所述图像识别模型的训练装置包括:
样本图像集获取模块,用于获取样本图像集,所述样本图像集中的样本图像包括样本对象;
第二输入模块,用于将所述样本图像输入第二模型,通过所述第二模型对所述样本图像进行卷积处理、全连接处理和归一化处理,输出所述样本对象在所述样本图像中所在的预测位置;
第二确定模块,用于响应于位置差异信息符合位置差异条件,将所述第二模型作为训练完成的图像识别模型,其中,所述位置差异信息为所述预测位置与所述样本对象在所述样本图像中的实际位置之间的位置差异信息。
19.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求9任一项所述的目标检测方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011079397.XA CN112052186B (zh) | 2020-10-10 | 2020-10-10 | 目标检测方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011079397.XA CN112052186B (zh) | 2020-10-10 | 2020-10-10 | 目标检测方法、装置、设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112052186A CN112052186A (zh) | 2020-12-08 |
CN112052186B true CN112052186B (zh) | 2022-02-25 |
Family
ID=73605729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011079397.XA Active CN112052186B (zh) | 2020-10-10 | 2020-10-10 | 目标检测方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112052186B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634227A (zh) * | 2020-12-21 | 2021-04-09 | 广州镭晨智能科技有限公司 | Pcb拼板的检测标识方法、装置、电子设备以及存储介质 |
CN112506797B (zh) * | 2020-12-22 | 2022-05-24 | 南京航空航天大学 | 一种针对医学影像识别系统的性能测试方法 |
CN112770110B (zh) * | 2020-12-29 | 2022-10-25 | 北京奇艺世纪科技有限公司 | 一种视频质量检测方法、装置及系统 |
CN112860946B (zh) * | 2021-01-18 | 2023-04-07 | 四川弘和通讯集团有限公司 | 一种视频图像信息转换为地理信息的方法及系统 |
CN112883827B (zh) * | 2021-01-28 | 2024-03-29 | 腾讯科技(深圳)有限公司 | 图像中指定目标的识别方法、装置、电子设备和存储介质 |
CN113139589B (zh) * | 2021-04-12 | 2023-02-28 | 网易(杭州)网络有限公司 | 图片相似度检测方法、装置、处理器及电子装置 |
CN113313125A (zh) * | 2021-06-15 | 2021-08-27 | 北京百度网讯科技有限公司 | 图像处理方法和装置、电子设备、计算机可读介质 |
CN113657262A (zh) * | 2021-08-16 | 2021-11-16 | 深圳多模智能科技有限公司 | 启动终端识别生物特征信息的方法、装置、终端及介质 |
CN117454859B (zh) * | 2023-12-19 | 2024-04-02 | 四川弘和数智集团有限公司 | 油气站数据自动录入方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2980697A1 (en) * | 2014-08-01 | 2016-02-03 | Kaspersky Lab, ZAO | System and method for altering a functionality of an application |
CN106919933A (zh) * | 2017-03-13 | 2017-07-04 | 重庆贝奥新视野医疗设备有限公司 | 瞳孔定位的方法及装置 |
CN108875722A (zh) * | 2017-12-27 | 2018-11-23 | 北京旷视科技有限公司 | 字符识别与识别模型训练方法、装置和系统及存储介质 |
CN109241985A (zh) * | 2017-07-11 | 2019-01-18 | 普天信息技术有限公司 | 一种图像识别方法及装置 |
CN110245257A (zh) * | 2019-05-31 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 推送信息的生成方法及装置 |
CN110956646A (zh) * | 2019-10-30 | 2020-04-03 | 北京迈格威科技有限公司 | 目标跟踪方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9471849B2 (en) * | 2013-05-05 | 2016-10-18 | Qognify Ltd. | System and method for suspect search |
CN111523346B (zh) * | 2019-02-01 | 2024-04-02 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
CN111325204B (zh) * | 2020-01-21 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 目标检测方法、装置、电子设备以及存储介质 |
-
2020
- 2020-10-10 CN CN202011079397.XA patent/CN112052186B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2980697A1 (en) * | 2014-08-01 | 2016-02-03 | Kaspersky Lab, ZAO | System and method for altering a functionality of an application |
CN106919933A (zh) * | 2017-03-13 | 2017-07-04 | 重庆贝奥新视野医疗设备有限公司 | 瞳孔定位的方法及装置 |
CN109241985A (zh) * | 2017-07-11 | 2019-01-18 | 普天信息技术有限公司 | 一种图像识别方法及装置 |
CN108875722A (zh) * | 2017-12-27 | 2018-11-23 | 北京旷视科技有限公司 | 字符识别与识别模型训练方法、装置和系统及存储介质 |
CN110245257A (zh) * | 2019-05-31 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 推送信息的生成方法及装置 |
CN110956646A (zh) * | 2019-10-30 | 2020-04-03 | 北京迈格威科技有限公司 | 目标跟踪方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112052186A (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
CN109961009B (zh) | 基于深度学习的行人检测方法、系统、装置及存储介质 | |
CN111476306B (zh) | 基于人工智能的物体检测方法、装置、设备及存储介质 | |
CN110210571B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
US8792722B2 (en) | Hand gesture detection | |
US8750573B2 (en) | Hand gesture detection | |
US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
CN112162930B (zh) | 一种控件识别的方法、相关装置、设备及存储介质 | |
CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
Liu et al. | Real-time robust vision-based hand gesture recognition using stereo images | |
CN111598164B (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
CN110765954A (zh) | 一种车辆重识别方法、设备及存储装置 | |
CN108229324A (zh) | 手势追踪方法和装置、电子设备、计算机存储介质 | |
CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
CN112200062A (zh) | 一种基于神经网络的目标检测方法、装置、机器可读介质及设备 | |
CN112699832B (zh) | 目标检测方法、装置、设备以及存储介质 | |
EP4276754A1 (en) | Image processing method and apparatus, device, storage medium, and computer program product | |
CN111984803B (zh) | 多媒体资源处理方法、装置、计算机设备及存储介质 | |
Lahiani et al. | Hand pose estimation system based on Viola-Jones algorithm for android devices | |
CN113569607A (zh) | 动作识别方法、装置、设备以及存储介质 | |
CN111460858A (zh) | 图像中指尖点的确定方法、装置、存储介质及电子设备 | |
CN112686122A (zh) | 人体及影子的检测方法、装置、电子设备、存储介质 | |
CN116048682A (zh) | 一种终端系统界面布局对比方法及电子设备 | |
Lahiani et al. | Design of a Hand Pose Recognition System for Mobile and Embedded Devices. | |
CN111818364B (zh) | 视频融合方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40035255 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |