CN115641542B - 一种数据的处理方法、装置以及存储介质 - Google Patents
一种数据的处理方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN115641542B CN115641542B CN202211662060.0A CN202211662060A CN115641542B CN 115641542 B CN115641542 B CN 115641542B CN 202211662060 A CN202211662060 A CN 202211662060A CN 115641542 B CN115641542 B CN 115641542B
- Authority
- CN
- China
- Prior art keywords
- correlation
- information
- peak
- response
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种数据的处理方法、装置以及存储介质。通过获取包含目标对象的图像帧;确定图像帧对应于滤波模板的相关响应图,并基于相关响应图确定平均峰值相关能量以及平方响应图置信度;并针对性的进行多尺度的窗口调整以及学习率配置;进而对下一帧中的目标对象的进行实时检测。从而实现复杂场景中的对象检测过程,由于采用平均峰值相关能量对响应图的波动情况进行指示,并针对性进行多尺度的窗口调整,且结合平方响应图置信度对检测的可靠性进行表征并进行动态学习率的配置以复杂场景,提高了对图像数据中目标对象实时检测的准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据的处理方法、装置以及存储介质。
背景技术
目标对象实时检测是计算机视觉研究领域的热点之一,目标对象实时检测在视频管理、导航、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。简单来说,目标对象实时检测就是对视频中给定的目标对象进行实时的检测分析,以确定视频中目标对象的确切位置。
一般,可以基于图像特征进行实时对象检测,在生成视觉对象检测过程中,目标模型的外观通过学习模型来表示,然后搜索与目标模型最密切相关的对象外观,然后进行判别,即将目标对象与其背景区分开来。
但是,由于游戏场景可能出现物体较多、物体会存在遮挡、重叠、快速移动等情况,此时基于图像特征进行对象检测时可能出现对象丢失或检测错误,影响对图像数据中目标对象进行实时检测的准确性。
发明内容
有鉴于此,本申请提供一种数据的处理方法,可以有效提高对目标对象进行实时检测的准确性。
本申请第一方面提供一种数据的处理方法,可以应用于终端设备中包含数据的处理功能的系统或程序中,具体包括:
获取图像数据中包含目标对象的第一图像帧;
将所述第一图像帧输入核相关滤波器进行相关性处理,以得到所述第一图像帧对应于滤波模板的相关响应图,所述相关响应图中的峰值用于指示所述目标对象的估计位置,所述相关响应图中的峰值分布用于指示峰值波动信息,所述滤波模板用于指示所述目标对象;
基于所述相关响应图指示的峰值分布确定平均峰值相关能量;
根据置信度公式确定所述相关响应图对应的平方响应图置信度;
根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口;
获取各个所述子窗口对应的平均峰值相关能量,以根据所述子窗口对应的平均峰值相关能量确定目标窗口,所述目标窗口包含所述目标对象;
根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率;
根据所述目标学习率对所述核相关滤波器进行参数更新,以基于参数更新后的所述核相关滤波器结合所述目标窗口,对所述图像数据中第二图像帧中的所述目标对象的进行实时检测,所述第二图像帧与所述第一图像帧相邻。
可选的,在本申请一些可能的实现方式中,所述基于所述相关响应图指示的峰值分布确定平均峰值相关能量,包括:
获取所述第一图像帧之前Z帧的参考峰值信息,Z为正整数;
基于所述相关响应图指示的峰值分布对峰值进行提取,以得到目标峰值信息;
对所述目标峰值信息与所述参考峰值信息进行平均计算,以得到峰值相关值;
获取所述相关响应图对应的响应范围;
基于所述目标峰值信息对所述响应范围内的峰值进行平均计算,以得到范围平均信息;
基于所述响应范围对所述参考峰值信息进行平均计算,以得到参考平均信息;
对所述范围平均信息与所述参考平均信息进行平均计算,以得到平均相关值;
整合所述峰值相关值和所述平均相关值,以得到所述平均峰值相关能量。
可选的,在本申请一些可能的实现方式中,所述获取所述相关响应图对应的响应范围,包括:
获取所述第一图像帧对应的应用配置信息;
基于所述应用配置信息确定所述第一图像帧对应图像序列的帧率信息;
根据所述帧率信息进行范围参数配置,以得到所述相关响应图对应的响应范围。
可选的,在本申请一些可能的实现方式中,所述根据置信度公式确定所述相关响应图对应的平方响应图置信度,包括:
获取所述相关响应图中的极值峰值差异信息;
对所述相关响应图中各个图像元素对应的峰值进行均方计算,以得到均方值;
将所述极值峰值差异信息和所述均方值配置在所述置信度公式中进行计算,以确定所述相关响应图对应的所述平方响应图置信度。
可选的,在本申请一些可能的实现方式中,所述根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口,包括:
获取所述相关响应图中的极值能量差值;
确定所述极值能量差值与所述平均峰值相关能量中的所述峰值相关值对应的第一比值;
确定所述极值能量差值与所述平均峰值相关能量中的所述平均相关值对应的第二比值;
基于所述第一比值和所述第二比值,确定所述峰值波动信息;
获取针对于所述目标对象配置的波动阈值;
根据所述峰值波动信息中包含的所述第一比值、所述第二比值与所述波动阈值进行比较,若所述第一比值或所述第二比值小于所述波动阈值,则对所述估计位置进行不同尺度的窗口采样,以得到多个所述子窗口。
可选的,在本申请一些可能的实现方式中,所述对所述估计位置进行不同尺度的窗口采样,以得到多个所述子窗口,包括:
获取针对目标对象配置的预设比例因子;
基于所述预设比例因子对所述估计位置对应的窗口进行不同尺度的缩放,以得到窗口参数信息;
根据所述窗口参数信息进行窗口采样,以得到多个所述子窗口。
可选的,在本申请一些可能的实现方式中,所述获取针对目标对象配置的预设比例因子,包括:
获取所述目标对象对应的交互场景信息;
基于所述交互场景信息确定所述目标对象对应的模型尺寸参数;
根据所述模型尺寸参数配置所述预设比例因子,以使得采样所得的子窗口接近所述模型尺寸参数对应的范围。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
若所述第一比值或所述第二比值大于所述波动阈值,则获取调整比例因子,所述调整比例因子对应的比例范围小于预设比例因子对应的比例范围;
基于所述调整比例因子对所述估计位置进行不同尺度的窗口采样,以得到多个调整窗口。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
获取多个所述子窗口与核相关滤波器中滤波模板的匹配度信息;
基于所述匹配度信息中指示的所述子窗口对于所述滤波模板的命中情况,对所述波动阈值进行调整;
基于调整后的所述波动阈值与所述第一比值、所述第二比值进行比较。
可选的,在本申请一些可能的实现方式中,所述根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率,包括:
获取针对于所述核相关滤波器配置的置信阈值;
若所述平方响应图置信度大于所述置信阈值,则将所述预设学习率调高,以得到所述目标学习率;
或;
若所述平方响应图置信度小于或等于所述置信阈值,则将所述预设学习率调低,以得到所述目标学习率。
可选的,在本申请一些可能的实现方式中,所述获取图像数据中包含目标对象的第一图像帧,包括:
获取客户端发送的交互请求;
响应于所述交互请求接收所述客户端实时发送的所述图像数据以及对象配置信息;
根据所述对象配置信息确定所述目标对象,并基于所述图像数据中的游戏截图确定所述第一图像帧。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
获取针对于所述目标对象配置的规则信息;
基于所述规则信息对实时检测到的所述目标对象进行动作配置,以得到动作信息;
获取所述目标对象对应交互场景中的交互元素;
基于所述动作信息与所述交互元素进行交互,以得到交互信息。
本申请第二方面提供一种数据的处理装置,包括:
获取单元,用于获取图像数据中包含目标对象的第一图像帧;
处理单元,用于将所述第一图像帧输入核相关滤波器进行相关性处理,以得到所述第一图像帧对应于滤波模板的相关响应图,所述相关响应图中的峰值用于指示所述目标对象的估计位置,所述相关响应图中的峰值分布用于指示峰值波动信息,所述滤波模板用于指示所述目标对象;
所述处理单元,还用于基于所述相关响应图指示的峰值分布确定平均峰值相关能量;
所述处理单元,还用于根据置信度公式确定所述相关响应图对应的平方响应图置信度;
所述处理单元,还用于根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口;
检测单元,用于获取各个所述子窗口对应的平均峰值相关能量,以根据所述子窗口对应的平均峰值相关能量确定目标窗口,所述目标窗口包含所述目标对象;
所述处理单元,还用于根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率;
所述检测单元,还用于根据所述目标学习率对所述核相关滤波器进行参数更新,以基于参数更新后的所述核相关滤波器结合所述目标窗口,对所述图像数据中第二图像帧中的所述目标对象的进行实时检测,所述第二图像帧与所述第一图像帧相邻。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取所述第一图像帧之前Z帧的参考峰值信息,Z为正整数;
所述处理单元,具体用于基于所述相关响应图指示的峰值分布对峰值进行提取,以得到目标峰值信息;
所述处理单元,具体用于对所述目标峰值信息与所述参考峰值信息进行平均计算,以得到峰值相关值;
所述处理单元,具体用于获取所述相关响应图对应的响应范围;
所述处理单元,具体用于基于所述目标峰值信息对所述响应范围内的峰值进行平均计算,以得到范围平均信息;
所述处理单元,具体用于基于所述响应范围对所述参考峰值信息进行平均计算,以得到参考平均信息;
所述处理单元,具体用于对所述范围平均信息与所述参考平均信息进行平均计算,以得到平均相关值;
所述处理单元,具体用于整合所述峰值相关值和所述平均相关值,以得到所述平均峰值相关能量。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取所述第一图像帧对应的应用配置信息;
所述处理单元,具体用于基于所述应用配置信息确定所述第一图像帧对应图像序列的帧率信息;
所述处理单元,具体用于根据所述帧率信息进行范围参数配置,以得到所述相关响应图对应的响应范围。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取所述相关响应图中的极值峰值差异信息;
所述处理单元,具体用于对所述相关响应图中各个图像元素对应的峰值进行均方计算,以得到均方值;
所述处理单元,具体用于将所述极值峰值差异信息和所述均方值配置在所述置信度公式中进行计算,以确定所述相关响应图对应的所述平方响应图置信度。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取所述相关响应图中的极值能量差值;
所述处理单元,具体用于确定所述极值能量差值与所述平均峰值相关能量中的所述峰值相关值对应的第一比值;
所述处理单元,具体用于确定所述极值能量差值与所述平均峰值相关能量中的所述平均相关值对应的第二比值;
所述处理单元,具体用于基于所述第一比值和所述第二比值,确定所述峰值波动信息;
所述处理单元,具体用于获取针对于所述目标对象配置的波动阈值;
所述处理单元,具体用于根据所述峰值波动信息中包含的所述第一比值、所述第二比值与所述波动阈值进行比较,若所述第一比值或所述第二比值小于所述波动阈值,则对所述估计位置进行不同尺度的窗口采样,以得到多个所述子窗口。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取针对目标对象配置的预设比例因子;
所述处理单元,具体用于基于所述预设比例因子对所述估计位置对应的窗口进行不同尺度的缩放,以得到窗口参数信息;
所述处理单元,具体用于根据所述窗口参数信息进行窗口采样,以得到多个所述子窗口。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取所述目标对象对应的交互场景信息;
所述处理单元,具体用于基于所述交互场景信息确定所述目标对象对应的模型尺寸参数;
所述处理单元,具体用于根据所述模型尺寸参数配置所述预设比例因子,以使得采样所得的子窗口接近所述模型尺寸参数对应的范围。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于若所述第一比值或所述第二比值大于所述波动阈值,则获取调整比例因子,所述调整比例因子对应的比例范围小于预设比例因子对应的比例范围;
所述处理单元,具体用于基于所述调整比例因子对所述估计位置进行不同尺度的窗口采样,以得到多个调整窗口。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取多个所述子窗口与核相关滤波器中滤波模板的匹配度信息;
所述处理单元,具体用于基于所述匹配度信息中指示的所述子窗口对于所述滤波模板的命中情况,对所述波动阈值进行调整;
所述处理单元,具体用于基于调整后的所述波动阈值与所述第一比值、所述第二比值进行比较。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取针对于所述核相关滤波器配置的置信阈值;
所述处理单元,具体用于若所述平方响应图置信度大于所述置信阈值,则将所述预设学习率调高,以得到所述目标学习率;
或;
所述处理单元,具体用于若所述平方响应图置信度小于或等于所述置信阈值,则将所述预设学习率调低,以得到所述目标学习率。
可选的,在本申请一些可能的实现方式中,所述获取单元,具体用于获取客户端发送的交互请求;
所述获取单元,具体用于响应于所述交互请求接收所述客户端实时发送的所述图像数据以及对象配置信息;
所述获取单元,具体用于根据所述对象配置信息确定所述目标对象,并基于所述图像数据中的游戏截图确定所述第一图像帧。
可选的,在本申请一些可能的实现方式中,所述获取单元,具体用于获取针对于所述目标对象配置的规则信息;
所述获取单元,具体用于基于所述规则信息对实时检测到的所述目标对象进行动作配置,以得到动作信息;
所述获取单元,具体用于获取所述目标对象对应交互场景中的交互元素;
所述获取单元,具体用于基于所述动作信息与所述交互元素进行交互,以得到交互信息。
本申请第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的数据的处理方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的数据的处理方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的数据的处理方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过获取图像数据中包含目标对象的第一图像帧;然后将第一图像帧输入核相关滤波器进行相关性处理,以得到第一图像帧对应于滤波模板的相关响应图,该相关响应图中的峰值用于指示目标对象的估计位置,该滤波模板用于指示目标对象;然后基于相关响应图指示的峰值分布确定平均峰值相关能量;并根据置信度公式确定相关响应图对应的平方响应图置信度;进一步的根据平均峰值相关能量指示的峰值波动信息对估计位置进行不同尺度的窗口采样,以得到多个子窗口;然后获取各个子窗口对应的平均峰值相关能量,以根据子窗口对应的平均峰值相关能量确定目标窗口,该目标窗口包含目标对象;并根据平方响应图置信度对预设学习率进行调整,以得到目标学习率;进而根据目标学习率对核相关滤波器进行参数更新,以基于参数更新后的核相关滤波器结合目标窗口对第二图像帧中的目标对象的进行实时检测,该第二图像帧与第一图像帧相邻,且目标窗口用于指示滤波模板。从而实现复杂场景中的对象检测过程,由于采用平均峰值相关能量对响应图的波动情况进行指示,并针对性的进行多尺度的窗口调整,且结合平方响应图置信度对检测的可靠性进行表征并进行动态学习率的配置,使得对于对象检测的过程可以应对遮挡或移动等复杂场景,提高了对图像数据中目标对象实时检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为数据的处理系统运行的网络架构图;
图2为本申请实施例提供的一种数据的处理的流程架构图;
图3为本申请实施例提供的一种数据的处理方法的流程图;
图4为本申请实施例提供的一种数据的处理方法的场景示意图;
图5为本申请实施例提供的另一种数据的处理方法的场景示意图;
图6为本申请实施例提供的另一种数据的处理方法的场景示意图;
图7为本申请实施例提供的另一种数据的处理方法的流程图;
图8为本申请实施例提供的另一种数据的处理方法的场景示意图;
图9为本申请实施例提供的一种数据的处理装置的结构示意图;
图10为本申请实施例提供的一种终端设备的结构示意图;
图11为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种数据的处理方法以及相关装置,可以应用于终端设备中包含数据的处理功能的系统或程序中。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请提供的数据的处理方法可以应用于终端设备中包含数据的处理功能的系统或程序中,例如游戏模拟,具体的,数据的处理系统可以运行于如图1所示的网络架构中,如图1所示,是数据的处理系统运行的网络架构图,如图可知,数据的处理系统可以提供与多个信息源的数据的处理过程,即通过客户端发出对象检测请求,从而触发服务器对客户端场景图像中的目标对象进行实时检测;可以理解的是,图1中示出了多种终端设备,终端设备可以为计算机设备,在实际场景中可以有更多或更少种类的终端设备参与到数据的处理的过程中,具体数量和种类因实际场景而定,此处不做限定,另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,具体服务器数量因实际场景而定。
本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,终端以及服务器可以连接组成区块链网络,本申请在此不做限制。
可以理解的是,上述数据的处理系统可以运行于个人移动终端,例如:作为游戏模拟这样的应用,也可以运行于服务器,还可以作为运行于第三方设备以提供数据的处理,以得到信息源的数据的处理处理结果;具体的数据的处理系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,本实施例可应用于云技术、自动驾驶等场景,具体运作模式因实际场景而定,此处不做限定。
目标对象实时检测是计算机视觉研究领域的热点之一,计算机视觉技术(Computer Vision, CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、检测和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
具体的,目标对象实时检测在视频管理、导航、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。简单来说,目标对象实时检测就是对视频中给定的目标对象进行实时的检测分析,以确定视频中目标对象的确切位置。
一般,可以基于图像特征进行实时对象检测,在生成视觉对象检测过程中,目标模型的外观通过学习模型来表示,然后搜索与目标模型最密切相关的对象外观,然后进行判别,即将目标对象与其背景区分开来。
但是,由于游戏场景可能出现物体较多、物体会存在遮挡、重叠、快速移动等情况,此时基于图像特征进行对象检测时可能出现对象丢失或检测错误,影响对目标对象进行实时检测的准确性。
为了解决上述问题,本申请提出了一种数据的处理方法,该方法应用于图2所示的数据的处理的流程框架中,如图2所示,为本申请实施例提供的一种数据的处理的流程架构图,用户通过客户端发出对象检测请求,从而触发服务器对客户端场景图像中的目标对象进行实时检测,具体通过获取相关响应图,并基于相关响应图进行指示波动情况的参数计算,然后进行适应性的窗口调整,从而得到指示目标对象的窗口。
可以理解的是,本申请所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种数据的处理装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该数据的处理装置通过获取图像数据中包含目标对象的第一图像帧;然后将第一图像帧输入核相关滤波器进行相关性处理,以得到第一图像帧对应于滤波模板的相关响应图,该相关响应图中的峰值用于指示目标对象的估计位置,该滤波模板用于指示目标对象;然后基于相关响应图指示的峰值分布确定平均峰值相关能量;并根据置信度公式确定相关响应图对应的平方响应图置信度;进一步的根据平均峰值相关能量指示的峰值波动信息对估计位置进行不同尺度的窗口采样,以得到多个子窗口;然后获取各个子窗口对应的平均峰值相关能量,以根据子窗口对应的平均峰值相关能量确定目标窗口,该目标窗口包含目标对象;并根据平方响应图置信度对预设学习率进行调整,以得到目标学习率;进而根据目标学习率对核相关滤波器进行参数更新,以基于参数更新后的核相关滤波器结合目标窗口对第二图像帧中的目标对象的进行实时检测,该第二图像帧与第一图像帧相邻,且目标窗口用于指示滤波模板。从而实现复杂场景中的对象检测过程,由于采用平均峰值相关能量对响应图的波动情况进行指示,并针对性的进行多尺度的窗口调整,且结合平方响应图置信度对检测的可靠性进行表征并进行动态学习率的配置,使得对于对象检测的过程可以应对遮挡或移动等复杂场景,提高了对图像数据中目标对象实时检测的准确性。
本申请实施例提供的方案涉及人工智能的计算机视觉技术,具体通过如下实施例进行说明:
结合上述流程架构,下面将对本申请中数据的处理方法进行介绍,请参阅图3,图3为本申请实施例提供的一种数据的处理方法的流程图,该管理方法可以是由服务器或终端执行的,本申请实施例至少包括以下步骤:
301、获取图像数据中包含目标对象的第一图像帧。
本实施例中,目标对象即为交互场景中的虚拟对象,由于交互场景通过图像帧的形式进行展示,故对目标对象的实时检测通过图像帧进行。其中,图像数据可以是多张图像的集合也可以是多个图像帧组成的视频,而第一图像帧可以是包含目标对象的视频的第一帧也可以是其中的任意一帧,即本实施例不限于完整的视频输入,也可以是进行帧粒度级别的目标对象检测。
可以理解的是,由于目标对象在交互场景中可能出现运动快、遮挡、运动模糊、尺度变化等情况,此时即可采用本实施例方法进行对象检测,且在上述场景中可以保持较高的识别率,下面对该检测过程进行说明。
302、将第一图像帧输入核相关滤波器进行相关性处理,以得到第一图像帧对应于滤波模板的相关响应图。
本实施例中,核相关滤波器(Kernelized Correlation Filter,KCF)用于将滤波器扩展到非线性相关。即通过KCF 可以计算图像数据的非线性核:
K( w , z ) =φT( w ) φ ( z)
其中,K表示一个核函数,相当于将滤波模板w和第一图像帧z映射到具有提升函数φ(•) 的非线性空间,从而在非线性空间进行滤波模板w和第一图像帧z的相关性处理,该相关性处理即为第一图像帧的各个区域与滤波模板对应区域的匹配程度,匹配程度越高则相关性越高,相关响应图即为该匹配程度对应于各个图像像素的集合;其中,滤波模板即为需要检测得到的目标对象的区域图像。
具体的,KCF可以从由核化岭回归的标准方程推导所得,核化岭回归对应的回归期望(标签)可以是高斯型,即第一图像帧中的检测对象离上一帧检测结果越近,那么该检测对象是第一图像帧的检测结果的概率也就越大。因此为了确定非线性核中作为滤波模板w的上一帧,进行核化岭回归的计算,具体公式如下所示:
其中,K为指示第一图像帧与滤波模板之间相关性的核矩阵,使Kij= K (xi,xj);I是单位矩阵;λ为正则化参数;g是期望的相关输出,即第一图像帧中的检测对象离上一帧检测结果近;α是双空间系数向量。在得到指示上一帧的双空间系数向量后可以在高维对偶空间重写滤波模板w,从而实现实时检测的过程。
可以理解的是,由于滤波模板用于指示目标对象,通过核相关滤波器可以得到第一图像帧与滤波模板的相关性,即相关响应图;该相关响应图中的峰值用于指示目标对象的估计位置。
具体的,滤波模板可以是即时输入的,即在第一图像帧中进行对象框定;滤波模板也可以是上一帧的检测窗口,从而实现实时检测的过程。
303、基于相关响应图指示的峰值分布确定平均峰值相关能量。
本实施例中,相关响应图可以包含单个可区分的峰值(即为相关响应图中相关性的最大值),而在复杂的图像序列中,例如视频序列中的模糊、遮挡、运动模糊、尺度变化等图像元素变化情况,相关响应图可以包含高度几乎相等的多个峰值,即由于图像元素变化情况导致峰值减小而它的相邻值增加,从而可以通过峰值的数据波动产生的参数进行检查有效性的判断。
具体的,本实施例采用平均峰值相关能量进行相关响应图的波动性判断,该平均峰值相关能量由当前帧最大响应与最小响应的能量差值,比上其他值与最小值能量差值的平均值。
进一步的,由于平均峰值相关能量包含了平均相关值以及峰值相关值,故平均峰值相关能量的确定可以包括平均相关值以及峰值相关值的确定过程。对于峰值相关值的确定,即指示目标峰值在帧序列中的波动程度;首先获取第一图像帧之前Z帧的参考峰值信息,Z为正整数;然后基于相关响应图指示的峰值分布对其中的最大峰值进行提取,以得到目标峰值信息ht(i,j);并对目标峰值信息与Z帧中的参考峰值信息进行平均计算,以得到峰值相关值hmean;即通过取以前Z帧的平均值,进行平均计算的公式为:
另外,对于平均相关值的确定过程,首先获取相关响应图对应的响应范围,即最大峰值周围的区域;然后基于相关响应图中相关性最大的目标峰值信息对响应范围内的峰值进行平均计算,以得到范围平均信息St(i,j);例如对于相关响应图ht(p,q),大小为m×n,p= 0, 1, 2 ... n - 1,q = 0, 1, 2 ...m - 1,在第t帧。周围响应范围(5×5区域)的范围平均信息由以下公式给出:
然后基于响应范围对参考峰值信息进行平均计算,以得到参考平均信息;即选择5*5区域在以前的Z帧中的范围平均信息,进而对范围平均信息与参考平均信息进行平均计算,以得到平均相关值Smean;则平均相关值由以下公式给出
进一步的,在得到峰值相关值和平均相关值之后,进行整合即可得到平均峰值相关能量。
在一种可能的场景中,上述相关响应图的响应范围采用了5*5的区域,而在一些场景中,也可以采用其他的区域配置,例如3*3、9*9等,即以相关响应图中的峰值最大值为中心的矩形区域。考虑到随着响应范围的增大参考峰值信息越具有代表性,但其数据处理量越大,故可以根据图像帧的刷新需求进行适应性的响应范围配置。即首先获取第一图像帧对应的应用配置信息;然后基于应用配置信息确定第一图像帧对应图像序列的帧率信息;并根据帧率信息进行范围参数配置,以得到相关响应图对应的响应范围,例如帧率信息指示第一图像帧对应图像序列刷新率较大,需要进行快速的处理,此时可以采用3*3的响应范围,从而提高处理效率;而对于刷新率较小的场景,则可以提高参考峰值信息的代表性,即采用9*9的响应范围,从而实现适应性的参数比对过程。
304、根据置信度公式确定相关响应图对应的平方响应图置信度。
本实施例中,平方响应图置信度用于指示相关响应图中的估计位置的可靠性,具体可以通过极值峰值差异与相关响应图中的均方值的比值确定,即首先获取相关响应图中的极值峰值差异信息;然后对相关响应图中各个图像元素对应的峰值进行均方计算,以得到均方值;并将极值峰值差异信息和均方值配置在置信度公式中进行计算,以确定相关响应图对应的平方响应图置信度。具体的,置信度公式如下:
其中,Rmax和Rmin表示响应图的最大值和最小值,即计算极值峰值差异信息。Rr,c表示响应图的第r行和第c列元素。M*N是响应图的维度。
305、根据平均峰值相关能量指示的峰值波动信息对估计位置进行不同尺度的窗口采样,以得到多个子窗口。
本实施例中,根据平均峰值相关能量指示的峰值波动信息对估计位置进行不同尺度的窗口采样,是为了对检测不准确的场景进行校正;这是由于若在峰值和周围的峰值之间有明显的差距峰值,这意味着检测是正确的,而如果峰值急剧下降,而周围的峰值同时增加。这表明检测算法很难找到准确的目标,而且很可能会发生检测失败。
因此,为了在检测不准确时即时的进行校准采样,对于多个子窗口的采样过程可以是通过根据平均峰值相关能量指示的峰值波动信息与波动阈值比较触发的,即首先获取相关响应图中的极值能量差值,即相关响应图中的最大能量值与最小能量值的差值;然后确定极值能量差值与平均峰值相关能量中的峰值相关值对应的第一比值;并确定极值能量差值与平均峰值相关能量中的平均相关值对应的第二比值;然后基于第一比值和第二比值确定峰值波动信息;并获取针对于目标对象配置的波动阈值;进而根据峰值波动信息中包含的第一比值、第二比值与波动阈值进行比较,若第一比值或第二比值小于波动阈值,则对估计位置进行不同尺度的窗口采样,以得到多个子窗口。上述比较过程可以表示为:
其中,Th即为波动阈值。
在一种可能的场景中,子窗口可以是基于比例因子缩放所得,该比例因子即为缩放系数,例如0.8、0.6等;即首先获取针对目标对象配置的预设比例因子;然后基于预设比例因子对估计位置对应的窗口进行不同尺度的缩放,以得到窗口参数信息;进而根据窗口参数信息进行窗口采样,以得到多个子窗口。
由于不同场景中模型的大小变化幅度不同,例如第三人称的对象与第一人称的对象尺度不同,因此对于预设比例因子的设定可以根据场景设定,即首先获取目标对象对应的交互场景信息;然后基于交互场景信息确定目标对象对应的模型尺寸参数;并根据模型尺寸参数配置预设比例因子,以使得采样所得的子窗口接近模型尺寸参数对应的范围,从而提高比例因子的有效性。
可以理解的是,对于第一比值或第二比值大于波动阈值的情况,说明估计位置可信度较高,此时也可以进行窗口微调,即获取调整比例因子,该调整比例因子对应的比例范围小于预设比例因子对应的比例范围;然后基于调整比例因子对估计位置进行不同尺度的窗口采样,以得到多个调整窗口,从而提高窗口的准确性。
另外,波动阈值可以进行动态调整,即通过比较子窗口与模板的匹配度进行调整,以贴近于模板范围。即首先获取多个子窗口与核相关滤波器中滤波模板的匹配度信息;然后基于匹配度信息中指示的子窗口对于滤波模板的命中情况对波动阈值进行调整;并基于调整后的波动阈值与第一比值、第二比值进行比较。
在一种可能的场景中,本实施例的窗口调整过程如图4所示,图4为本申请实施例提供的另一种数据的处理方法的场景示意图;图中采用平均峰值相关能量来找到真实的对象位置。具有最高平均峰值相关能的相关响应图被认为是真实的对象位置。然后对估计位置周围的多个子窗口进行采样。这些窗口是通过将先前的目标窗口(相关响应图对应的窗口)与不同的比例因子相乘而获得的。具有最高平均峰值相关能量值的子窗口被认为是对象的正确比例估计。在获得对象的确切比例后,将微调应用于先前的平移估计。
306、获取各个子窗口对应的平均峰值相关能量,以根据子窗口对应的平均峰值相关能量确定目标窗口。
本实施例中,目标窗口包含目标对象,即调整后的估计位置为目标窗口的位置。具体的,由于平均峰值相关能量用于指示子窗口中的对象与滤波模板的相关性,因此选择各个子窗口中平均峰值相关能量最大的子窗口为目标窗口。
307、根据平方响应图置信度对预设学习率进行调整,以得到目标学习率。
本实施例中,目标学习率的调整是为了防止核相关滤波器中配置的目标模型被歪曲,可以根据平方响应图置信度的值调整学习率,即平方响应图置信度高时将目标模型的学习率调高,平方响应图置信度低时将目标模型的学习率调低,从而解决检测中的漂移问题。
具体的,可以首先获取针对于核相关滤波器配置的置信阈值;若平方响应图置信度大于置信阈值,则将预设学习率调高,以得到目标学习率;相应的,若平方响应图置信度小于或等于置信阈值,则将预设学习率调低,以得到目标学习率。从而保证在目标运动快、遮挡、运动模糊、尺度变化等场景也能保持较高的识别率。
308、根据目标学习率对核相关滤波器进行参数更新,以基于参数更新后的核相关滤波器结合目标窗口,对图像数据中第二图像帧中的目标对象的进行实时检测。
本实施例中,第二图像帧与第一图像帧相邻,即为下一帧;目标窗口用于指示滤波模板,该滤波模板用于第二图像帧进行核相关滤波器的相关性识别过程,从而实现目标对象的实时检测。
结合上述实施例,可以得到图5所示的过程,图5为本申请实施例提供的一种数据的处理方法的场景示意图;核相关滤波器显示在左上角的矩形中。通过对核相关滤波器进行检测失败检测(在帧中发生遮挡或任何其他问题的情况下)模块并进行自适应学习率策略。且通过波动情况分析得到多个线索的尺度处理机制进行窗口调整。而且相关响应图中的多个提示会被馈送到故障检测模块,并相应地调整学习率。
在一种可能的场景中,可以得到图6所示的检测结果,图6为本申请实施例提供的另一种数据的处理方法的场景示意图;图中为游戏场景,在该场景中物体较多、物体会存在遮挡、重叠、快速移动等情况,而采用本实施例后,可以得到该目标检测效果图,即上排图片表示输入的图像帧,下排为每帧图片对应的检测结果,可见无论是遮挡还是重叠,目标都能被准确识别出来。
结合上述实施例可知,通过获取图像数据中包含目标对象的第一图像帧;然后将第一图像帧输入核相关滤波器进行相关性处理,以得到第一图像帧对应于滤波模板的相关响应图,该相关响应图中的峰值用于指示目标对象的估计位置,该滤波模板用于指示目标对象;然后基于相关响应图指示的峰值分布确定平均峰值相关能量;并根据置信度公式确定相关响应图对应的平方响应图置信度;进一步的根据平均峰值相关能量指示的峰值波动信息对估计位置进行不同尺度的窗口采样,以得到多个子窗口;然后获取各个子窗口对应的平均峰值相关能量,以根据子窗口对应的平均峰值相关能量确定目标窗口,该目标窗口包含目标对象;并根据平方响应图置信度对预设学习率进行调整,以得到目标学习率;进而根据目标学习率对核相关滤波器进行参数更新,以基于参数更新后的核相关滤波器结合目标窗口对第二图像帧中的目标对象的进行实时检测,该第二图像帧与第一图像帧相邻,且目标窗口用于指示滤波模板。从而实现复杂场景中的对象检测过程,由于采用平均峰值相关能量对响应图的波动情况进行指示,并针对性的进行多尺度的窗口调整,且结合平方响应图置信度对检测的可靠性进行表征并进行动态学习率的配置,使得对于对象检测的过程可以应对遮挡或移动等复杂场景,提高了对图像数据中目标对象实时检测的准确性。
上述实施例介绍了对于目标对象进行实时检测的过程,该实时检测过程可以是游戏场景中的对象检测并进行自动交互,下面对该场景进行说明。请参阅图7,图7为本申请实施例提供的另一种数据的处理方法的流程图,本申请实施例至少包括以下步骤:
701、获取客户端发送的交互请求。
本实施例中,客户端即为游戏执行端,但用户需要进行智能模拟游戏时,可以提交交互请求。
702、响应于交互请求接收客户端实时发送的图像数据以及对象配置信息。
本实施例中,对象配置信息即为用户选择的智能模拟对象,通过对象确定,可以进行智能交互的过程。
703、根据对象配置信息确定目标对象,并基于图像数据中的游戏截图确定第一图像帧。
本实施例中,第一图像帧即为开启智能交互时的第一帧,即此时开始进行智能对象的控制。
704、将第一图像帧输入核相关滤波器以得到目标窗口。
本实施例中,检测过程参数图3所示实施例的步骤301-308,此处不作赘述。
705、获取针对于目标对象配置的规则信息。
本实施例中,规则信息即为游戏规则,对象如何移动,采用何种规则对战等。
706、基于规则信息对实时检测到的目标对象进行动作配置,以得到动作信息。
本实施例中,动作信息可以包括攻击(敌人)、释放技能、移动等动作等,从而完成对于目标对象的智能控制。
707、获取目标对象对应交互场景中的交互元素。
本实施例中,交互元素可以是物体或其他对象,若为其他对象,也可以采用上述方法进行智能控制。
708、基于动作信息与交互元素进行交互,以得到交互信息。
本实施例中,可以采用图8所示的交互模式,图8为本申请实施例提供的另一种数据的处理方法的场景示意图;即应用在多人在线战术竞技游戏(Multiplayer OnlineBattle Arena,MOBA)中,帮助自动化测试。即结合手机端和电脑端,见图8,主要识别和下发指令由电脑端的程序执行,手机端实现截图利用USB传输给电脑,电脑识别器读取图片并且结合算法进行目标跟中,识别出当前场景存的在各个目标后,通过预先配置的规则引擎下发指令比如攻击(敌人)、释放技能、移动等动作给手机客户端,实现AI自动玩游戏,帮助测试。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图9,图9为本申请实施例提供的一种数据的处理装置的结构示意图,数据的处理装置900包括:
获取单元901,用于获取图像数据中包含目标对象的第一图像帧;
处理单元902,用于将所述第一图像帧输入核相关滤波器进行相关性处理,以得到所述第一图像帧对应于滤波模板的相关响应图,所述相关响应图中的峰值用于指示所述目标对象的估计位置,所述相关响应图中的峰值分布用于指示峰值波动信息,所述滤波模板用于指示所述目标对象;
所述处理单元902,还用于基于所述相关响应图指示的峰值分布确定平均峰值相关能量;
所述处理单元902,还用于根据置信度公式确定所述相关响应图对应的平方响应图置信度;
所述处理单元902,还用于根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口;
检测单元903,用于获取各个所述子窗口对应的平均峰值相关能量,以根据所述子窗口对应的平均峰值相关能量确定目标窗口,所述目标窗口包含所述目标对象;
所述处理单元902,还用于根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率;
所述检测单元903,还用于根据所述目标学习率对所述核相关滤波器进行参数更新,以基于参数更新后的所述核相关滤波器结合所述目标窗口,对所述图像数据中第二图像帧中的所述目标对象的进行实时检测,所述第二图像帧与所述第一图像帧相邻。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取所述第一图像帧之前Z帧的参考峰值信息,Z为正整数;
所述处理单元902,具体用于基于所述相关响应图指示的峰值分布对峰值进行提取,以得到目标峰值信息;
所述处理单元902,具体用于对所述目标峰值信息与所述参考峰值信息进行平均计算,以得到峰值相关值;
所述处理单元902,具体用于获取所述相关响应图对应的响应范围;
所述处理单元902,具体用于基于所述目标峰值信息对所述响应范围内的峰值进行平均计算,以得到范围平均信息;
所述处理单元902,具体用于基于所述响应范围对所述参考峰值信息进行平均计算,以得到参考平均信息;
所述处理单元902,具体用于对所述范围平均信息与所述参考平均信息进行平均计算,以得到平均相关值;
所述处理单元902,具体用于整合所述峰值相关值和所述平均相关值,以得到所述平均峰值相关能量。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取所述第一图像帧对应的应用配置信息;
所述处理单元902,具体用于基于所述应用配置信息确定所述第一图像帧对应图像序列的帧率信息;
所述处理单元902,具体用于根据所述帧率信息进行范围参数配置,以得到所述相关响应图对应的响应范围。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取所述相关响应图中的极值峰值差异信息;
所述处理单元902,具体用于对所述相关响应图中各个图像元素对应的峰值进行均方计算,以得到均方值;
所述处理单元902,具体用于将所述极值峰值差异信息和所述均方值配置在所述置信度公式中进行计算,以确定所述相关响应图对应的所述平方响应图置信度。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取所述相关响应图中的极值能量差值;
所述处理单元902,具体用于确定所述极值能量差值与所述平均峰值相关能量中的所述峰值相关值对应的第一比值;
所述处理单元902,具体用于确定所述极值能量差值与所述平均峰值相关能量中的所述平均相关值对应的第二比值;
所述处理单元902,具体用于基于所述第一比值和所述第二比值,确定所述峰值波动信息;
所述处理单元902,具体用于获取针对于所述目标对象配置的波动阈值;
所述处理单元902,具体用于根据所述峰值波动信息中包含的所述第一比值、所述第二比值与所述波动阈值进行比较,若所述第一比值或所述第二比值小于所述波动阈值,则对所述估计位置进行不同尺度的窗口采样,以得到多个所述子窗口。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取针对目标对象配置的预设比例因子;
所述处理单元902,具体用于基于所述预设比例因子对所述估计位置对应的窗口进行不同尺度的缩放,以得到窗口参数信息;
所述处理单元902,具体用于根据所述窗口参数信息进行窗口采样,以得到多个所述子窗口。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取所述目标对象对应的交互场景信息;
所述处理单元902,具体用于基于所述交互场景信息确定所述目标对象对应的模型尺寸参数;
所述处理单元902,具体用于根据所述模型尺寸参数配置所述预设比例因子,以使得采样所得的子窗口接近所述模型尺寸参数对应的范围。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于若所述第一比值或所述第二比值大于所述波动阈值,则获取调整比例因子,所述调整比例因子对应的比例范围小于预设比例因子对应的比例范围;
所述处理单元902,具体用于基于所述调整比例因子对所述估计位置进行不同尺度的窗口采样,以得到多个调整窗口。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取多个所述子窗口与核相关滤波器中滤波模板的匹配度信息;
所述处理单元902,具体用于基于所述匹配度信息中指示的所述子窗口对于所述滤波模板的命中情况,对所述波动阈值进行调整;
所述处理单元902,具体用于基于调整后的所述波动阈值与所述第一比值、所述第二比值进行比较。
可选的,在本申请一些可能的实现方式中,所述处理单元902,具体用于获取针对于所述核相关滤波器配置的置信阈值;
所述处理单元902,具体用于若所述平方响应图置信度大于所述置信阈值,则将所述预设学习率调高,以得到所述目标学习率;
或;
所述处理单元902,具体用于若所述平方响应图置信度小于或等于所述置信阈值,则将所述预设学习率调低,以得到所述目标学习率。
可选的,在本申请一些可能的实现方式中,所述获取单元901,具体用于获取客户端发送的交互请求;
所述获取单元901,具体用于响应于所述交互请求接收所述客户端实时发送的所述图像数据以及对象配置信息;
所述获取单元901,具体用于根据所述对象配置信息确定所述目标对象,并基于所述图像数据中的游戏截图确定所述第一图像帧。
可选的,在本申请一些可能的实现方式中,所述获取单元901,具体用于获取针对于所述目标对象配置的规则信息;
所述获取单元901,具体用于基于所述规则信息对实时检测到的所述目标对象进行动作配置,以得到动作信息;
所述获取单元901,具体用于获取所述目标对象对应交互场景中的交互元素;
所述获取单元901,具体用于基于所述动作信息与所述交互元素进行交互,以得到交互信息。
通过获取图像数据中包含目标对象的第一图像帧;然后将第一图像帧输入核相关滤波器进行相关性处理,以得到第一图像帧对应于滤波模板的相关响应图,该相关响应图中的峰值用于指示目标对象的估计位置,该滤波模板用于指示目标对象;然后基于相关响应图指示的峰值分布确定平均峰值相关能量;并根据置信度公式确定相关响应图对应的平方响应图置信度;进一步的根据平均峰值相关能量指示的峰值波动信息对估计位置进行不同尺度的窗口采样,以得到多个子窗口;然后获取各个子窗口对应的平均峰值相关能量,以根据子窗口对应的平均峰值相关能量确定目标窗口,该目标窗口包含目标对象;并根据平方响应图置信度对预设学习率进行调整,以得到目标学习率;进而根据目标学习率对核相关滤波器进行参数更新,以基于参数更新后的核相关滤波器结合目标窗口对第二图像帧中的目标对象的进行实时检测,该第二图像帧与第一图像帧相邻,且目标窗口用于指示滤波模板。从而实现复杂场景中的对象检测过程,由于采用平均峰值相关能量对响应图的波动情况进行指示,并针对性的进行多尺度的窗口调整,且结合平方响应图置信度对检测的可靠性进行表征并进行动态学习率的配置,使得对于对象检测的过程可以应对遮挡或移动等复杂场景,提高了对图像数据中目标对象实时检测的准确性。
本申请实施例还提供了一种终端设备,如图10所示,是本申请实施例提供的另一种终端设备的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图10示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10,手机包括:射频(radio frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍:
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体检测。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器1080还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例还提供了一种服务器,请参阅图11,图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
上述实施例中由管理装置所执行的步骤可以基于该图11所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有数据的处理指令,当其在计算机上运行时,使得计算机执行如前述图3至图8所示实施例描述的方法中数据的处理装置所执行的步骤。
本申请实施例中还提供一种包括数据的处理指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图3至图8所示实施例描述的方法中数据的处理装置所执行的步骤。
本申请实施例还提供了一种数据的处理系统,所述数据的处理系统可以包含图9所描述实施例中的数据的处理装置,或图10所描述实施例中的终端设备,或者图11所描述的服务器。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,数据的处理装置,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种数据的处理方法,其特征在于,包括:
获取图像数据中包含目标对象的第一图像帧;
将所述第一图像帧输入核相关滤波器进行相关性处理,以得到所述第一图像帧对应于滤波模板的相关响应图,所述相关响应图中的峰值用于指示所述目标对象的估计位置,所述相关响应图中的峰值分布用于指示峰值波动信息,所述滤波模板用于指示所述目标对象;
获取所述第一图像帧之前Z帧的参考峰值信息,Z为正整数;
基于所述相关响应图指示的峰值分布对峰值进行提取,以得到目标峰值信息;
对所述目标峰值信息与所述参考峰值信息进行平均计算,以得到峰值相关值;
获取所述相关响应图对应的响应范围;
基于所述目标峰值信息对所述响应范围内的峰值进行平均计算,以得到范围平均信息;
基于所述响应范围对所述参考峰值信息进行平均计算,以得到参考平均信息;
对所述范围平均信息与所述参考平均信息进行平均计算,以得到平均相关值;
整合所述峰值相关值和所述平均相关值,以得到平均峰值相关能量;
根据置信度公式确定所述相关响应图对应的平方响应图置信度,所述平方响应图置信度为通过极值峰值差异与相关响应图中的均方值的比值确定的;
根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口;
获取各个所述子窗口对应的平均峰值相关能量,以根据所述子窗口对应的平均峰值相关能量确定目标窗口,所述目标窗口包含所述目标对象;
根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率;
根据所述目标学习率对所述核相关滤波器进行参数更新,以基于参数更新后的所述核相关滤波器结合所述目标窗口,对所述图像数据中第二图像帧中的所述目标对象的进行实时检测,所述第二图像帧与所述第一图像帧相邻。
2.根据权利要求1所述的方法,其特征在于,所述获取所述相关响应图对应的响应范围,包括:
获取所述第一图像帧对应的应用配置信息;
基于所述应用配置信息确定所述第一图像帧对应图像序列的帧率信息;
根据所述帧率信息进行范围参数配置,以得到所述相关响应图对应的响应范围。
3.根据权利要求1所述的方法,其特征在于,所述根据置信度公式确定所述相关响应图对应的平方响应图置信度,包括:
获取所述相关响应图中的极值峰值差异信息;
对所述相关响应图中各个图像元素对应的峰值进行均方计算,以得到均方值;
将所述极值峰值差异信息和所述均方值配置在所述置信度公式中进行计算,以确定所述相关响应图对应的所述平方响应图置信度。
4.根据权利要求1所述的方法,其特征在于,所述根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口,包括:
获取所述相关响应图中的极值能量差值;
确定所述极值能量差值与所述平均峰值相关能量中的所述峰值相关值对应的第一比值;
确定所述极值能量差值与所述平均峰值相关能量中的平均相关值对应的第二比值;
基于所述第一比值和所述第二比值,确定所述峰值波动信息;
获取针对于所述目标对象配置的波动阈值;
将所述峰值波动信息中包含的所述第一比值、所述第二比值与所述波动阈值进行比较,若所述第一比值或所述第二比值小于所述波动阈值,则对所述估计位置进行不同尺度的窗口采样,以得到多个所述子窗口。
5.根据权利要求4所述的方法,其特征在于,所述对所述估计位置进行不同尺度的窗口采样,以得到多个所述子窗口,包括:
获取针对目标对象配置的预设比例因子;
基于所述预设比例因子对所述估计位置对应的窗口进行不同尺度的缩放,以得到窗口参数信息;
根据所述窗口参数信息进行窗口采样,以得到多个所述子窗口。
6.根据权利要求5所述的方法,其特征在于,所述获取针对目标对象配置的预设比例因子,包括:
获取所述目标对象对应的交互场景信息;
基于所述交互场景信息确定所述目标对象对应的模型尺寸参数;
根据所述模型尺寸参数配置所述预设比例因子,以使得采样所得的子窗口接近所述模型尺寸参数对应的范围。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述第一比值或所述第二比值大于所述波动阈值,则获取调整比例因子,所述调整比例因子对应的比例范围小于预设比例因子对应的比例范围;
基于所述调整比例因子对所述估计位置进行不同尺度的窗口采样,以得到多个调整窗口。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取多个所述子窗口与核相关滤波器中滤波模板的匹配度信息;
基于所述匹配度信息中指示的所述子窗口对于所述滤波模板的命中情况,对所述波动阈值进行调整;
基于调整后的所述波动阈值与所述第一比值、所述第二比值进行比较。
9.根据权利要求1所述的方法,其特征在于,所述根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率,包括:
获取针对于所述核相关滤波器配置的置信阈值;
若所述平方响应图置信度大于所述置信阈值,则将所述预设学习率调高,以得到所述目标学习率;
或;
若所述平方响应图置信度小于或等于所述置信阈值,则将所述预设学习率调低,以得到所述目标学习率。
10.根据权利要求1所述的方法,其特征在于,所述获取图像数据中包含目标对象的第一图像帧,包括:
获取客户端发送的交互请求;
响应于所述交互请求接收所述客户端实时发送的所述图像数据以及对象配置信息;
根据所述对象配置信息确定所述目标对象,并基于所述图像数据中的游戏截图确定所述第一图像帧。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:
获取针对于所述目标对象配置的规则信息;
基于所述规则信息对实时检测到的所述目标对象进行动作配置,以得到动作信息;
获取所述目标对象对应交互场景中的交互元素;
基于所述动作信息与所述交互元素进行交互,以得到交互信息。
12.一种数据的处理装置,其特征在于,包括:
获取单元,用于获取图像数据中包含目标对象的第一图像帧;
处理单元,用于将所述第一图像帧输入核相关滤波器进行相关性处理,以得到所述第一图像帧对应于滤波模板的相关响应图,所述相关响应图中的峰值用于指示所述目标对象的估计位置,所述相关响应图中的峰值分布用于指示峰值波动信息,所述滤波模板用于指示所述目标对象;
所述处理单元,还用于获取所述第一图像帧之前Z帧的参考峰值信息,Z为正整数;基于所述相关响应图指示的峰值分布对峰值进行提取,以得到目标峰值信息;对所述目标峰值信息与所述参考峰值信息进行平均计算,以得到峰值相关值;获取所述相关响应图对应的响应范围;基于所述目标峰值信息对所述响应范围内的峰值进行平均计算,以得到范围平均信息;基于所述响应范围对所述参考峰值信息进行平均计算,以得到参考平均信息;对所述范围平均信息与所述参考平均信息进行平均计算,以得到平均相关值;整合所述峰值相关值和所述平均相关值,以得到平均峰值相关能量;
所述处理单元,还用于根据置信度公式确定所述相关响应图对应的平方响应图置信度,所述平方响应图置信度为通过极值峰值差异与相关响应图中的均方值的比值确定的;
所述处理单元,还用于根据所述平均峰值相关能量指示的峰值波动信息对所述估计位置进行不同尺度的窗口采样,以得到多个子窗口;
检测单元,用于获取各个所述子窗口对应的平均峰值相关能量,以根据所述子窗口对应的平均峰值相关能量确定目标窗口,所述目标窗口包含所述目标对象;
所述处理单元,还用于根据所述平方响应图置信度对预设学习率进行调整,以得到目标学习率;
所述检测单元,还用于根据所述目标学习率对所述核相关滤波器进行参数更新,以基于参数更新后的所述核相关滤波器结合所述目标窗口,对所述图像数据中第二图像帧中的所述目标对象的进行实时检测,所述第二图像帧与所述第一图像帧相邻。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行权利要求1至11任一项所述的数据的处理方法。
14.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令被处理器执行时实现权利要求1至11任一项所述的数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211662060.0A CN115641542B (zh) | 2022-12-23 | 2022-12-23 | 一种数据的处理方法、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211662060.0A CN115641542B (zh) | 2022-12-23 | 2022-12-23 | 一种数据的处理方法、装置以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115641542A CN115641542A (zh) | 2023-01-24 |
CN115641542B true CN115641542B (zh) | 2023-03-17 |
Family
ID=84949911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211662060.0A Active CN115641542B (zh) | 2022-12-23 | 2022-12-23 | 一种数据的处理方法、装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115641542B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1930842B1 (en) * | 2006-12-08 | 2010-07-28 | Sony Corporation | Face recognition with Gabor filters |
CN111582086A (zh) * | 2020-04-26 | 2020-08-25 | 湖南大学 | 基于多特征的疲劳驾驶识别方法及系统 |
-
2022
- 2022-12-23 CN CN202211662060.0A patent/CN115641542B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
Also Published As
Publication number | Publication date |
---|---|
CN115641542A (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476306B (zh) | 基于人工智能的物体检测方法、装置、设备及存储介质 | |
US10540772B2 (en) | Feature trackability ranking, systems and methods | |
CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
CN111444828A (zh) | 一种模型训练的方法、目标检测的方法、装置及存储介质 | |
CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN111672109B (zh) | 一种游戏地图生成的方法、游戏测试的方法以及相关装置 | |
CN111612822B (zh) | 对象跟踪方法、装置、计算机设备和存储介质 | |
CN109858333A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
JP2017523498A (ja) | 効率的なフォレストセンシングに基づくアイトラッキング | |
CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
CN111476271A (zh) | 图标识别的方法、装置、系统、计算机设备和存储介质 | |
CN117455989A (zh) | 室内场景slam追踪方法、装置、头戴式设备及介质 | |
CN112991555A (zh) | 数据展示方法、装置、设备以及存储介质 | |
CN115641542B (zh) | 一种数据的处理方法、装置以及存储介质 | |
CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
CN110097061B (zh) | 一种图像显示方法及装置 | |
CN112150464A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN111583329A (zh) | 增强现实眼镜显示方法、装置、电子设备和存储介质 | |
Feng et al. | HOSO: Histogram of surface orientation for RGB-D salient object detection | |
CN114565777A (zh) | 数据处理方法和装置 | |
CN111405175A (zh) | 摄像头控制方法、装置、计算机设备和存储介质 | |
CN111507944A (zh) | 皮肤光滑度的确定方法、装置和电子设备 | |
CN110490065A (zh) | 人脸识别方法及装置、存储介质、计算机设备 | |
CN112925949B (zh) | 视频帧数据采样方法、装置、计算机设备和存储介质 | |
CN111625099B (zh) | 一种动画展示控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |