CN117745849B - 图像处理方法、装置、电子设备及介质 - Google Patents
图像处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117745849B CN117745849B CN202310076417.5A CN202310076417A CN117745849B CN 117745849 B CN117745849 B CN 117745849B CN 202310076417 A CN202310076417 A CN 202310076417A CN 117745849 B CN117745849 B CN 117745849B
- Authority
- CN
- China
- Prior art keywords
- thermodynamic diagram
- value
- thermodynamic
- grouping
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请实施例公开了图像处理方法、装置、电子设备及介质,可应用于数据处理技术领域。其中方法包括:获取待处理热力图,将待处理热力图中的热力值最大的像素点确定为目标关键点,并根据待处理热力图的像素维度以目标关键点为中心确定M个编码分组区域;基于M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定每个编码分组区域的区域表征值;根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码。采用本申请实施例,能够将热力图处理为热力图编码,有助于抑制热力图中的热力值预测错误的区域,提升用于图像处理任务的热力图的准确性,并且,有助于减少热力图的传输数据量。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及图像处理方法、装置、电子设备及介质。
背景技术
在一些场景中,如人体姿态估计场景中,可以基于原始图像生成热力图,热力图中的每个像素的热力值可以用于表征像素所在位置为对应部位的概率。通常来说,在生成热力图时,可能由于用于生成热力图的神经网络的准确性不够,或者原始图像的内容比较复杂等,因此热力图中可能会存在热力值预测错误的区域。若将热力图直接用于下游的图像处理任务,则容易造成下游的图像处理任务的准确性受到影响,因此,如何提升用于下游的图像处理任务的热力图的准确性是一个亟待解决的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及介质,能够将热力图处理为热力图编码,有助于抑制热力图中的热力值预测错误的区域,提升用于图像处理任务的热力图的准确性,并且,有助于减少热力图的传输数据量。
一方面,本申请实施例公开了一种图像处理方法,所述方法包括:
获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;
根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
一方面,本申请实施例公开了一种图像处理装置,所述装置包括:
获取单元,用于获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
处理单元,用于将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
所述处理单元,还用于基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;
所述处理单元,还用于根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
一方面,本申请实施例提供了一种电子设备,电子设备包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于执行如下步骤:
获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;
根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序指令,计算机程序指令被处理器执行时,用于执行如下步骤:
获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;
根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时可实现上述一方面提供的方法。
采用本申请实施例,能够获取待处理热力图,并根据待处理热力图的像素维度以目标关键点为中心确定M个编码分组区域,然后根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码,热力图编码用于解码得到解码热力图并执行目标图像处理任务。在确定热力图编码时候是基于一个热力值最大的目标关键点为中心确定的编码分组区域,每个编码分组区域可以确定一个区域表征值,被错误预测热力值对区域表征值的影响较小,因通过将待处理热力图处理为热力图编码可以过滤掉热力值预测错误的区域,有助于抑制热力图中的热力值预测错误的区域,提升用于图像处理任务的热力图的准确性。另外,热力图编码是对待处理图像进行处理后的一组数据,相较于待处理热力图本身来说,数据量大大减少,则在执行目标图像处理任务时,可以不需要直接传输热力图,而是传输根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定热力图编码,有助于减少热力图的传输数据量。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种热力图的效果示意图;
图2是本申请实施例提供的一种图像处理方法的流程示意图;
图3是本申请实施例提供的一种最大分组距离值的效果示意图;
图4是本申请实施例提供的一种编码分组区域的效果示意图;
图5是本申请实施例提供的一种图像处理方法的流程示意图;
图6是本申请实施例提供的一种热力图处理过程的流程示意图;
图7是本申请实施例提供的一种图像裁剪过程的效果示意图;
图8是本申请实施例提供的一种图像处理装置的结构示意图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请实施例提出一种图像处理方案,能够获取待处理热力图,并根据待处理热力图的像素维度以目标关键点为中心确定M个编码分组区域,然后根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码,热力图编码用于解码得到解码热力图并执行目标图像处理任务。在确定热力图编码时候是基于一个热力值最大的目标关键点为中心确定的编码分组区域,每个编码分组区域可以确定一个区域表征值,被错误预测热力值对区域表征值的影响较小,因通过将待处理热力图处理为热力图编码可以过滤掉热力值预测错误的区域,有助于抑制热力图中的热力值预测错误的区域,提升用于图像处理任务的热力图的准确性。另外,热力图编码是对待处理图像进行处理后的一组数据,相较于待处理热力图本身来说,数据量大大减少,则在执行目标图像处理任务时,可以不需要直接传输热力图,而是传输根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定热力图编码,有助于减少热力图的传输数据量。
其中,热力图是数据在页面上密度、分布以及变化的体现,通过选择不同的颜色来对应不同的数据区间。本申请所涉及的热力图可以为在人体姿态估计方法中基于原始图像生成的。例如,基于热力图的人体姿态估计方法使用人物的坐标点标注数据生成K张(K为感兴趣的关键点个数,如脸部、手肘、膝盖等等)基于高斯分布的热力图,并将K张热力图作为网络的监督进行人体姿态估计网络的训练,人体姿态估计网络通过K张热力图分别生成K个关键点坐标作为人体姿态估计网络的预测结果。人体姿态估计网络生成的热力图常常和原始图片一起作为下游任务的训练。热力图中可以包括多个像素,也称为像素点,每个像素点对应一个热力值。在热力图中,若一个像素点的热力值越大,则表示该像素点为需要预测的关键部位的概率越大。
例如,请参见图1,图1是本申请实施例提供的一种热力图的效果示意图。如图1所示,热力图10a可以为基于目标图像进行目标关键部位进行识别时所生成的,该目标关键部位可以为左或右手肘、脸部、左或右膝盖等等部位,此处不做限制。该热力图中可以包括多个像素,如热力图10a中的每个小方格为一个像素,每个像素也可以表示为小方格中心的像素点,每个像素点(像素)有对应的热力值,热力值越大,则表示该像素点(像素)所在位置为目标关键部位的概率越大。可选的,在热力图中,一个像素点的热力值可以表示为像素点对应的灰度值,热力值越大,则像素点对应的灰度值越大,则热力图中像素点对应的像素的颜色越深,例如热力图10a中热力值最大的像素点可以为像素点100a。
需要进行说明的是,本申请所采集的所有用户数据(如含有人体姿态的图像数据)都是在用户同意并授权的情况下进行采集的,且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示信息,以提示用户当前正在搜集其相关数据,使得本申请仅仅在获取到用户对该提示信息发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示信息发出的确认操作),结束获取用户相关数据的相关步骤,即不获取用户的相关数据。
本申请的技术方案可运用在电子设备中,该电子设备可以是终端,也可以是服务器,或者也可以是用于进行图像处理的其他设备,本申请不做限定。可选的,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、智能音箱、智能家电等。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于上述的描述,本申请实施例提出一种图像处理方法。请参见图2,图2是本申请实施例提供的一种图像处理方法的流程示意图。该方法可以由上述的电子设备执行。该图像处理方法可以包括以下步骤。
S201、获取待处理热力图,待处理热力图中包括多个像素点,每个像素点对应一个热力值。
其中,该待处理热力图的相关描述可以参照上述热力图的相关描述,此处不做赘述。
可以理解的是,该待处理热力图可以为基于目标图像进行目标关键部位进行识别时所生成的。可选的,该待处理热力图可以基于上述的人体姿态估计网络生成,此处不做赘述。
S202、将待处理热力图中的热力值最大的像素点确定为目标关键点,并根据待处理热力图的像素维度以目标关键点为中心确定M个编码分组区域,M为正整数。
其中,该目标关键点可以为热力值最大的像素点,也就是为目标关键部位的概率最大的像素点。
在一种可能的实施方式中,根据待处理热力图的像素维度以目标关键点为中心确定M个编码分组区域,可以包括:获取M个分组距离值,M个分组距离值中的最大分组距离值是基于待处理热力图的像素维度进行确定的;M个分组距离值中任一个分组距离值表示为第i个分组距离值,M为正整数,i为0到M-1的整数;以目标关键点为圆心,并且以每个分组距离值为半径分别确定每个分组距离值对应的圆;将第i个分组距离值对应的圆与第i+1个分组距离值对应的圆之间的区域确定为第i个编码分组区域,得到M个编码分组区域。
其中,该分组距离值(也称分组距离)用于指示以距离目标关键点多少个像素为半径进行分组区域的划分。可选的,在一个实施例中,第i个分组距离值与第i+1个分组距离值之间的差值为目标差值,也就是说,目标差值可以为相邻两个分组距离值之间的差值,例如,目标差值可以为1、2等等,此处不做限制。
M个分组距离值中的最大分组距离值可以根据待处理热力图的像素维度进行确定。可以理解的是,在待处理热力图中以任一点为圆心并以该最大分组距离值为半径画圆时,所画得的圆能够覆盖整个热力图,也就是说,该最大分组距离值可以基于热力图的对角线的端点所指示的像素点之间的距离进行确定。
在一个实施例中,在以目标关键点为原点建立的坐标系下,任一像素点到目标关键点的距离可以根据以下公式(公式1)进行计算。
其中,d((x,y))表示坐标信息为(x,y)的像素点与为目标关键点的原点之间的距离,(x,y)表示像素点在以目标关键点为原点建立的坐标系下的x轴坐标值与y轴坐标值。可选的,公式1只是计算距离的一种特例,还可存在其他距离公式,如其中scale表示尺度变换系数。
可以理解的是,例如,请参见图3,图3是本申请实施例提供的一种最大分组距离值的效果示意图。若热力图的像素维度为H×W,即热力图的高度有H个像素点,宽度有W个像素点,则热力图中从最上的一个像素点到最下的一个像素点的距离为H-1(如图3中的31a所示),从最左的一个像素点到最右的一个像素点的距离为W-1(如图3中的32a所示)。因此,结合上述距离公式1,最大分组距离值可以为表示为相当于图3中的线段33a所示。可以理解的是,若任意相邻两个分组距离值之间的目标差值为1个像素,则生成的编码分组区域的数量M可以为dmax+1。
可选的,若根据热力图的像素维度直接计算得到的数值不为整数,则可以选取大于计算得到的数值,且与前一分组距离值之间的差值为目标差值的数值作为最大分组距离值。例如,任意相邻两个分组距离值之间的目标差值为1个像素,根据热力图的像素维度计算得到的数值为8.60,在8.60前的各个分组距离值可以为{0,1,2,3,4,5,6,7,8},则可以选取大于计算得到的数值,且与前一分组距离值(即8)之间的差值为目标差值(即1)的数值作为最大分组距离值,也就是最大分组距离值为9。
可以理解的是,在一个实施例中,分组距离值的大小与i的数值大小为正相关,也就是说,分组距离值越大,则i的取值越大。例如,在分组距离值为0时,i=0,即第0个分组距离的数值为0;在分组距离值为2时,可以i=1,即第1个分组距离的数值为2;在分组距离值为4时,可以i=2,即第2个分组距离的数值为4,以此类推。可以理解的是,若以目标关键点为圆心以数值为0的分组距离值确定对应的圆时,所确定的圆也就是目标关键点。
此处结合图示对确定M个编码分组区域的过程进行阐述,请参见图4,图4是本申请实施例提供的一种编码分组区域的效果示意图。如图4所示,首先可以获取M个分组距离值,相邻两个分组距离值之间的差值为1,例如,此处的M个分组距离值可以为{0,1,2,3,4......dmax}进而在待处理热力图中,可以以目标关键点41a为中心,各个分组距离值为半径分别确定对应的圆。可以理解的是,如图4中所确定的多个圆仅为一个示例,其实际可能会画更多的圆,以划分得到M个编码分组区域,M的取值可以基于热力图的像素维度进行确定。例如,图4中的42a所示的圆为以数值为12个像素点的分组距离值为半径所确定的圆,图4中的43a所示的圆为以数值为11个像素点的分组距离值为半径所确定的圆,则圆42a与圆43a之间的区域可以称为第11个编码分组区域。
S203、基于M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定每个编码分组区域的区域表征值。
其中,该区域表征值用于指示代表一个编码分组区域的热力值。
在一个实施例中,基于M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定每个编码分组区域的区域表征值,可以包括:在待处理热力图所对应的目标坐标系下,确定每个编码分组区域中包括的坐标点对应的像素数值;其中,属于待处理热力图中的像素点的坐标点对应的像素数值为该像素点的热力值,不属于待处理热力图中的像素点的坐标点对应的像素数值为零;根据每个编码分组区域中包含的坐标点对应的像素数值分别确定每个编码分组区域对应的统计数值,并将每个编码分组区域对应的统计数值分别作为每个编码分组区域的区域表征值;其中,统计数值为以下任一项:中位数、平均数、众数。
其中,该目标坐标系可以为基于待处理热力图所确定的坐标系,例如目标坐标系为以待处理热力图的角点(如左上角)为原点,以平行于待处理热力图的两边的直线为坐标轴所建立的坐标系,若一个坐标点的在目标坐标系下的坐标信息为(x,y),则该坐标点的坐标信息所指示的第一坐标值可以为x,第二坐标值可以为y。可以理解的是,在该目标坐标系下,坐标点的排列形式与热力图中的像素点的排列形式一致,每个编码分组区域中可以包括至少一个坐标点,其中一些坐标点属于待处理热力图中的像素点,一些不属于待处理热力图中的像素点。
可以理解的是,上述每个编码分组区域中包括的坐标点对应的像素数值可以通过以下公式(公式2)进行表示。
其中,φ((x,y))表示坐标点(x,y)对应的像素数值,F((x,y))表示取待处理热力图中(x,y)位置的热力值;H和W分别表示待处理热力图的高度和宽度,则0<=x<H,0<=y<W则表示坐标点(x,y)属于待处理热力图中的像素点,则其他的坐标点对应的像素数值为0。
其中,中位数可以用于指示一组数据按大小顺序排列时居于中间位置的数据,如可以为第j个编码分组区域中包含的全部坐标点对应的像素数值按大小顺序排列时居于中间位置的像素数值,也可以为第j个编码分组区域中包含的属于待处理热力图的像素点的坐标点对应的像素数值按大小顺序排列时居于中间位置的像素数值。平均数用于指示一组数据的平均值,如可以为第j个编码分组区域中包含的全部坐标点对应的像素数值的平均值,也可以为第j个编码分组区域中包含的属于待处理热力图的像素点的坐标点对应的像素数值的平均值。众数用于指示一组数据中出现次数最多的数据,如第j个编码分组区域中包含的全部坐标点对应的像素数值中出现次数最多的像素数值,也可以为第j个编码分组区域中包含的属于待处理热力图的像素点的坐标点对应的像素数值中出现次数最多的像素数值。
例如,若统计数值取中位数,则第j个编码分组区域的区域表征值可以表示为ζ(j)=median({φ((x,y))}for(x,y)∈ψj)。其中median()表示取中位数,φ((x,y))表示坐标点(x,y)对应的像素数值,坐标点(x,y)属于第j个编码分组区域的坐标点的集合ψj。
可以理解的是,根据每个编码分组区域中包含的坐标点对应的像素数值分别确定每个编码分组区域对应的统计数值,可以为根据每个编码分组区域中包含的全部坐标点对应的像素数值分别确定每个编码分组区域对应的统计数值,也可以为根据每个编码分组区域中包含的属于待处理热力图中的像素点的坐标点对应的像素数值分别确定每个编码分组区域对应的统计数值,此处不做限制。其中,根据每个编码分组区域中包含的属于待处理热力图中的像素点的坐标点对应的像素数值分别确定每个编码分组区域对应的统计数值,也就是根据每个编码分组区域中所包含的待处理热力图中的像素点的热力值分别确定每个编码分组区域对应的统计数值。可以理解的是,换句话说就是,若第j个编码分组区域中包含待处理热力图中的像素点,则可以根据第j个编码分组区域中包含的待处理热力图中的像素点的热力值确定第j个编码分组区域对应的统计数值,然后将第j个编码分组区域对应的统计数值作为第j个编码分组区域的区域表征值;若第j个编码分组区域中不包含待处理热力图中的像素点,则可以根据第j个编码分组区域中包含的坐标点的像素数值确定第j个编码分组区域对应的统计数值,由于不属于待处理热力图中的像素点的坐标点的像素数值为0,则在第j个编码分组区域中不包含待处理热力图中的像素点时,第j个编码分组区域的统计数值也就是0,进而第j个编码分组区域的区域表征值也就是0。
S204、根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码,热力图编码用于解码得到解码热力图并执行目标图像处理任务。
其中,该热力图编码可以为根据目标关键点的坐标信息和每个编码分组区域的区域表征值所确定的一组数据。可以理解的是,若直接对待处理热力图进行数据传输所需的数据传输量H×W=Ο(max(H,W)2),而在基于热力图编码进行数据传输时,所需要传输的数据量仅为热力图编码所指示的一组数据,大大减少了数据传输的数量,提升数据传输效率。可选的,在一种可能的实施方式中,热力图编码可以为包括第一热力图编码和第二热力图编码。
在一个实施例中,热力图编码包含第一热力图编码;M个编码分组区域中的每个编码分组区域关联有对应的分组序号,分组序号的取值为0到M-1的整数;则根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码,可以包括:按照每个编码分组区域的分组序号对每个编码分组区域的区域表征值进行排序,得到表征值序列;将表征值序列与目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到待处理热力图对应的第一热力图编码。
其中,可以理解的是,该分组序号可以相当于上述的j,按照每个编码分组区域的分组序号对每个编码分组区域的区域表征值进行排序,可以为按照分组序号从大到小的顺序进行排序,也可以为按照分组序号从小到大的顺序进行排序,或者也可以按照其他固定顺序进行排序,此处不做限制。目标关键点的坐标信息所指示的第一坐标值和第二坐标值可以为目标关键点的x轴坐标值和y轴坐标值。该目标关键点的坐标信息可以为在目标坐标系下坐标信息,例如,该目标坐标系可以为以待处理热力图的角点(如左上角)为原点,以平行于待处理热力图的两边的直线为坐标轴所建立的坐标系,若目标关键点的在目标坐标系下的坐标信息为(x0,y0),则目标关键点的坐标信息所指示的第一坐标值可以为x0,第二坐标值可以为y0。
将表征值序列与目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,可以为将目标关键点的坐标信息所指示的第一坐标值和第二坐标值放在表征值序列的前面进行组合,也可以为将目标关键点的坐标信息所指示的第一坐标值和第二坐标值放在表征值序列的后面进行组合,此处不做限制。
例如,目标关键点的坐标信息为(x0,y0),表征值序列为{ζ(0),ζ(1),ζ(2)...ζ(M)},则将目标关键点的坐标信息与表征值序列进行组合得到的第一热力图编码可以为:{x0,y0,ζ(0),ζ(1),ζ(2)...ζ(M)}。可选的,第一热力图编码还可以为:{ζ(0),ζ(1),ζ(2)...ζ(M),x0,y0,},此处不做限制。可以理解的是,若直接对待处理热力图进行数据传输所需的数据传输量H×W=Ο(max(H,W)2),而在基于第一热力图编码进行数据传输时,所需要传输的数据量可以为2+M=Ο(max(H,W)),则需要传输的数据量从平方量级降低为线性量级,大大减少了数据传输的数量,提升数据传输效率。
在一个实施例中,热力图编码包含第二热力图编码;M个编码分组区域中的每个编码分组区域关联有对应的分组序号,分组序号的取值为0到M-1的整数,则根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码,可以包括:对每个编码分组区域的区域表征值进行标准化处理,得到每个编码分组区域对应的标准化表征值;根据M个编码分组区域对应的标准化表征值与M个编码分组区域对应的分组序号确定目标方差;将目标方差、目标关键点的热力值、目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到待处理热力图对应的第二热力图编码。
其中,可以理解的是,各个编码分组区域的所对应的区域表征值可以近似满足高斯分布,则可以通过基于每个编码分组区域的表征值确定的方差对应的高斯分布来表征热力图上各个编码分组区域的热力值。可以理解的是,高斯分布中各个点的概率之和为1,则对各个区域表征值进行标准化处理,可以将0-M个编码分组区域对应的区域表征值之和调整为0.5。可以理解的是,确定目标方差可以基于高斯分布对应的方差公式进行计算。
将目标方差、目标关键点的热力值、目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,可以为将目标方差、目标关键点的热力值、目标关键点的坐标信息所指示的第一坐标值和第二坐标值以任意的顺序进行组合,此处不做限制。例如,目标关键点的坐标信息为(x0,y0),目标关键点的热力值为score,目标方差为σ,则组合得到的第二热力图编码可以为:{x0,y0,score,σ}。可选的,第二热力图编码也可以为:{score,σ,x0,y0},第二热力图编码还可以为{σ,score,x0,y0},等等,此处不做限制。若直接对待处理热力图进行数据传输所需的数据传输量H×W=Ο(max(H,W)2),而在基于第二热力图编码进行数据传输时,只需传输{x0,y0,score,σ}四个数据,需要传输的数据量降低为常数量级,进一步减少了数据传输的数量,提升数据传输效率。
在一个实施例中,若相邻分组距离值之间的目标差值为1,则根据上述计算最大分组距离值的公式可以计算得到dmax,则可以根据以下公式(公式3)对各个区域表征值进行表征化处理。
其中,pj可以为标准化表征值,j的取值可以为-dmax到dmax,则计算得到的标准化表征值可以包括pj的数值与p-j的数值相同。可以理解的是,此处计算j为负数的情况是为了表示热力图分布满足高斯分布,以便于计算目标方差,实际编码分组区域的划分过程中,是以热力值最大的目标关键点所在的编码分组区域对应的分组序号作为高斯分布的平均值的,0-(M-1)个编码分组区域对应的标准化表征值只占高斯分布的一半。
进一步的,可以基于标准化表征值计算得到目标方差。例如,可以根据以下公式(公式4)计算得到目标方差。
其中,σ表示目标方差,pj可以为标准化表征值,j的取值可以为-dmax到dmax。
可以理解的是,在确定了热力图编码后,后续需要基于热力图进行图像处理任务时,可以对热力图编码进行解码得到解码热力图,然后再基于解码热力图进行图像处理任务。该图像处理任务可以为对图像的智能裁剪任务,视频横转竖、banner(横幅广告)生产等下游业务。等等,此处不做限制。可以理解的是,在一些场景中,上述用于生成待处理热力图的人体姿态估计网络与下游的图像处理任务可以分离,则需要在生成热力图后将热力图传输至用于处理下游的图像处理任务的设备进行任务处理,因此,通过上述方法将待处理热力图可以处理为热力图编码,然后可以将热力图编码传输至用于处理下游的图像处理任务的设备,后续在进行图像处理任务时,可以很方便地基于热力图编码确定热力图,大大减少了热力图的数据传输量,减少数据传输造成的带宽消耗。
请参见图5,图5是本申请实施例提供的一种图像处理方法的流程示意图。该方法可以由上述的电子设备执行。该图像处理方法可以包括以下步骤。
S501、获取待处理热力图,待处理热力图中包括多个像素点,每个像素点对应一个热力值。
S502、将待处理热力图中的热力值最大的像素点确定为目标关键点,并根据待处理热力图的像素维度以目标关键点为中心确定M个编码分组区域。
S503、基于M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定每个编码分组区域的区域表征值。
S504、根据目标关键点的坐标信息与每个编码分组区域的区域表征值确定待处理热力图对应的热力图编码,热力图编码用于解码得到解码热力图并执行目标图像处理任务。
其中,步骤S501-S504可以参见步骤S201-S204的相关描述,此处不做赘述。
S505、根据热力图编码确定热力图编码对应的解码热力图,解码热力图与目标图像的像素维度相同。
其中,可以理解的是,该解码热力图可以为基于热力图编码进行解码得到的热力图。在一个实施例中,该解码热力图可以包括第一解码热力图和第二解码热力图。该第一解码热力图可以为基于第一热力图编码得到的解码热力图,该第二解码热力图可以为基于第二热力图编码得到的解码热力图。
在一个实施例中,解码热力图包括第一解码热力图,则根据热力图编码确定热力图编码对应的解码热力图,可以包括:当检测到针对第一热力图编码的解码指令时,获取第一初始解码热力图,第一初始解码热力图中包括多个像素点,第一初始解码热力图的像素维度与待处理热力图的像素维度相同;进一步的,根据第一热力图编码中目标关键点的坐标信息在第一初始解码热力图中确定解码关键点,并根据第一初始解码热力图的像素维度以解码关键点为中心确定M个解码分组区域,M个解码分组区域的生成方式与M个编码分组区域的生成方式相同,一个解码分组区域对应一个编码分组区域;进一步的,将表征值序列中的每个编码分组区域的区域表征值分别确定为对应的解码分组区域的区域表征值;进一步的,将第一初始解码热力图中的像素点的热力值确定为第一初始解码热力图中的像素点所属的解码分组区域对应的区域表征值,并将全部像素点均确定了热力值的第一初始解码热力图确定为第一解码热力图。
可以理解的是,该解码指令用于指示对热力图编码进行解码的指令。该解码指令可以为业务对象在需要基于热力图执行图像处理任务时触发。该第一初始解码热力图可以相当于未确定热力图值的一个初始化图像。该第一初始解码热力图可以的像素维度与待处理热力图的像素维度相同。例如,待处理热力图的像素维度为H×W,则第一初始解码热力图的像素维度也为H×W。
可以理解的是,在对第一热力图编码进行解码时,根据第一热力图编码中目标关键点的坐标信息在第一初始解码热力图中确定解码关键点,可以为基于在第一初始解码热力图对应的目标坐标系下目标关键点的坐标信息确定解码关键点。第一初始解码热力图对应的目标坐标系下与上述待处理热力图对应的目标坐标系的构建方式相同,例如,该第一初始解码热力图对应的目标坐标系也可以为以第一初始解码热力图的角点(如左上角)为原点,以平行于待处理热力图的两边的直线为坐标轴所建立的坐标系,若目标关键点的在目标坐标系下的坐标信息为(x0,y0),则将第一初始解码热力图中目标坐标下的坐标信息为(x0,y0)的像素点作为解码关键点。
根据第一初始解码热力图的像素维度以解码关键点为中心确定M个解码分组区域的方式与上述的以目标关键点为中心确定M个解码分组区域的方式相同,此处不做赘述。可以理解的是,解码分组区域与编码分组区域一一对应。例如,第0个解码分组区域对应于第0个编码分组区域,若第0个编码分组区域的区域表征值为ζ(0),则第0个解码分组区域的区域表征值为ζ(0);第1个解码分组区域对应于第1个编码分组区域,若第1个编码分组区域的区域表征值为ζ(1),则第1个解码分组区域的区域表征值为ζ(1),以此类推,可以得到每个解码分组区域对应的区域表征值。可以理解的是,在第一解码热力图中,任一解码分组区域中的像素点的热力值可以表示为fdec((xs,yt))=ζ(j)where((xs,yt))∈ψj,其中,fdec((xs,yt))表示第一解码热力图中坐标信息为(xs,yt)的像素点的热力值,ζ(j)表示第j个解码分组区域的区域表征值,ψj表示属于第j个解码分组区域的坐标点的集合,即第j个解码分组区域的像素点的热力值等于第j个解码分组区域的区域表征值。可以理解的是,若第一初始解码热力图的像素维度为H×W,则(xs,yt)h0≤xs<H,0≤yt<W。
例如,在第0个解码分组区域中可以包括解码关键点,则解码关键点的热力值为ζ(0);在第1个解码分组区域中可以包括像素点e1、e2、e3、e4,则像素点e1、e2、e3、e4对应的热力值均为ζ(1);在第2个解码分组区域中可以包括像素点e5、e6、e7、e8、e9、e10、e11、e12,则像素点e5、e6、e7、e8、e9、e10、e11、e12对应的热力值均为ζ(2),以此类推,可以对第一初始解码热力图中的各个像素点均确定其对应的热力值,然后将全部像素点均确定了热力值的第一初始解码热力图确定为第一解码热力图。
在一个实施例中,解码热力图包括第二解码热力图,则根据热力图编码确定热力图编码对应的解码热力图,可以包括:当检测到针对第二热力图编码的解码指令时,获取第二初始解码热力图,第二初始解码热力图中包括多个像素点,第二初始解码热力图的像素维度与待处理热力图的像素维度相同;进一步的,根据第二热力图编码中目标关键点的热力值与目标方差确定出第二初始解码热力图中每个像素点的热力值,并将全部像素点均确定了热力值的第二初始解码热力图确定为第二解码热力图。
其中,针对第二初始解码热力图相关描述可以参照上述第一初始解码热力图的相关描述,此处不做赘述。
可以理解的是,根据第二热力图编码中目标关键点的热力值与目标方差确定出每个解码分组区域的区域表征值,可以根据高斯分布的表达式进行确定。例如,可以基于以下公式(公
式5)在第二解码热力图中确定任一解码分组区域中的像素点的热力值。
其中,fdec((xs,yt))表示第二解码热力图中坐标信息为(xs,yt)的像素点的热力值,score为目标关键点的热力值,x0和y0表示目标关键点的坐标信息中的第一坐标值和第二坐标值,σ为目标方差。可以理解的是,若第一初始解码热力图的像素维度为H×W,则(xs,yt)h0≤xs<H,0≤yt<W。
可以理解的是,在基于上述过程确定的解码热力图都以目标关键点为中心逐渐向外扩散热力值逐渐降低,若在待处理热力图中出现其他被错误响应的热力值较高的像素点,则在通过对待处理热力图编码为热力图编码,再对热力图编码进行解码得到解码热力图的过程中,可以对出现其他被错误响应的热力值较高的像素点进行过滤。例如,在生成的第一热力图编码中,通过取统计值的方式,将错误响应的较高的热力值综合调整为一个较正常的热力值,则基于此解码得到的第二解码热力图中就不再包含该错误响应的较高的热力值。又如,在对第二热力图编码进行解码得到第二解码热力图中,可以使得解码得到的热力图满足以目标关键点为中心的高斯分布,从而对待处理热力图中错误响应的不满足高斯分布的热力值进行过滤,由此可以大大提升用于进行图像处理任务的热力图的准确性。
此处结合图示对整个热力图处理过程进行阐述,请参见图6,图6是本申请实施例提供的一种热力图处理过程的流程示意图。如图6所示,首先可以生成待处理热力图61,如可以基于上述的人体姿态估计网络生成。然后可以将待处理热力图划分为M个编码分组区域62,确定M个编码分组区域62的过程可以为以待处理热力图中的目标关键点为中心进行确定,具体确定方式可以参照上述描述,此处不做赘述。然后可以基于M个编码分组区域的区域表征值以及目标关键点的坐标信息确定待处理热力图的热力图编码63,然后在需要进行下游的图像处理任务时,可以对热力图编码63进行解码,得到解码热力图64。其中,热力图编码63中可以包括第一热力图编码63a以及第二热力图编码63b,该第一热力图编码63a可以为将目标关键点的坐标信息以及每个编码分组区域的区域代表值进行组合得到,该第二热力图编码63b可以为将基于每个编码分组区域的区域代表值确定的目标方差、目标关键点的坐标信息以及目标关键点的热力值进行组合得到,具体步骤参照上述描述。其中,解码热力图64中可以包括第一解码热力图64a以及第二解码热力图64b,该第一解码热力图可以为基于第一热力图编码63a进行解码得到的,该第二解码热力图可以为基于第二热力图编码63b进行解码得到的。
S506、响应于针对目标图像的图像裁剪指令,确定解码热力图中热力值大于或等于阈值的像素点,并基于热力值大于或等于阈值的像素点对目标图像进行裁剪处理,得到裁剪图像,裁剪图像中包含目标关键部位。
可以理解的是,上述目标图像处理任务包括图像裁剪任务,待处理热力图为基于目标图像进行目标关键部位识别时所生成的,待处理热力图中的像素点的热力值用于表征像素点所在位置为目标关键部位的概率。该目标关键部位可以为脸部、肩部、膝盖等等部位,此处不做限制。可以理解的是,如上述,热力图中的像素点对应的热力值越大,则表示该像素点所在位置为目标关键部位的概率越大,热力图中的像素点对应的热力值越小,则表示该像素点所在位置为目标关键部位的概率越小。
其中,该图像裁剪指令用于指示对目标图像进行智能化裁剪。可以理解的是,本申请可以融合解码热力图中所指示的关键部位,精确定位关键部位在目标图像中的位置,从而可以基于此智能化地裁剪完整保留该关键部位的图像,由此可以在一些场景中避免剪裁导致产出图片存在无首、主体残缺的失败样例。
可以理解的是,解码热力图中热力值大于或等于阈值的像素点,可以为解码热力图中为目标关键部位的可能性大于一定阈值的像素点。则基于热力值大于或等于阈值的像素点对目标图像进行裁剪处理,可以为基于解码热力图中热力值大于或等于阈值的像素点确定一个响应区域,然后基于该响应区域在目标图像中确定裁剪区域,该裁剪区域需完整包含该响应区域,进而基于裁剪区域对目标图像进行裁剪得到裁剪图像。
例如,请参见图7,图7是本申请实施例提供的一种图像裁剪过程的效果示意图。如图7所示,首先可以基于目标图像71生成的头部这一目标关键部位对应的待处理热力图,然后可以对待处理热力图进行编码得到热力图编码,再对基于热力图编码进行解码得到解码热力图,所得到的解码热力图如图7中的72所示。然后可以确定解码热力图中热力值大于或等于阈值的像素点,热力值大于或等于阈值的像素点所形成的响应区域可以如图7中的73a所示,然后可以基于响应区域73a确定完整包含该响应区域73a的裁剪区域73b,进而可以对目标图像进行裁剪得到裁剪区域73a内的图像,也就是裁剪得到裁剪图像74,可以看到,该裁剪图像74可以完整地保留人物头部这一关键部位。
请参见图8,图8是本申请实施例提供的一种图像处理装置的结构示意图。可选的,该图像处理装置可以设置于上述电子设备中。如图8所示,本实施例中所描述的图像处理装置可以包括:
获取单元801,用于获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
处理单元802,用于将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
所述处理单元802,还用于基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;
所述处理单元802,还用于根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
在一种实现方式中,所述处理单元802,具体用于:
获取M个分组距离值,所述M个分组距离值中的最大分组距离值是基于所述待处理热力图的像素维度进行确定的;所述M个分组距离值中任一个分组距离值表示为第i个分组距离值,M为正整数,i为0到M-1的整数;
以所述目标关键点为圆心,并且以每个分组距离值为半径分别确定所述每个分组距离值对应的圆;
将所述第i个分组距离值对应的圆与第i+1个分组距离值对应的圆之间的区域确定为第i个编码分组区域,得到所述M个编码分组区域。
在一种实现方式中,所述处理单元802,具体用于:
在所述待处理热力图所对应的目标坐标系下,确定所述每个编码分组区域中包括的坐标点对应的像素数值;其中,属于所述待处理热力图中的像素点的坐标点对应的像素数值为该像素点的热力值,不属于所述待处理热力图中的像素点的坐标点对应的像素数值为零;
根据所述每个编码分组区域中包含的坐标点对应的像素数值分别确定所述每个编码分组区域对应的统计数值,并将所述每个编码分组区域对应的统计数值分别作为所述每个编码分组区域的区域表征值;其中,所述统计数值为以下任一项:中位数、平均数、众数。
在一种实现方式中,所述热力图编码包含第一热力图编码;所述M个编码分组区域中的每个编码分组区域关联有对应的分组序号,所述分组序号的取值为0到M-1的整数;所述处理单元802,具体用于:
按照所述每个编码分组区域的分组序号对所述每个编码分组区域的区域表征值进行排序,得到表征值序列;
将所述表征值序列与所述目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到所述待处理热力图对应的第一热力图编码。
在一种实现方式中,所述解码热力图包括第一解码热力图,所述处理单元802,还用于:
当检测到针对所述第一热力图编码的解码指令时,获取第一初始解码热力图,所述第一初始解码热力图中包括多个像素点,所述第一初始解码热力图的像素维度与所述待处理热力图的像素维度相同;
根据所述第一热力图编码中所述目标关键点的坐标信息在所述第一初始解码热力图中确定解码关键点,并根据所述第一初始解码热力图的像素维度以所述解码关键点为中心确定M个解码分组区域,所述M个解码分组区域的生成方式与所述M个编码分组区域的生成方式相同,一个解码分组区域对应一个编码分组区域;
将所述表征值序列中的每个编码分组区域的区域表征值分别确定为对应的解码分组区域的区域表征值;
将所述第一初始解码热力图中的像素点的热力值确定为所述第一初始解码热力图中的像素点所属的解码分组区域对应的区域表征值,并将全部像素点均确定了热力值的第一初始解码热力图确定为所述第一解码热力图。
在一种实现方式中,所述热力图编码包含第二热力图编码;所述M个编码分组区域中的每个编码分组区域关联有对应的分组序号,所述分组序号的取值为0到M-1的整数;所述处理单元802,具体用于:
对所述每个编码分组区域的区域表征值进行标准化处理,得到所述每个编码分组区域对应的标准化表征值;
根据所述M个编码分组区域对应的标准化表征值与所述M个编码分组区域对应的分组序号确定目标方差;
将所述目标方差、所述目标关键点的热力值、所述目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到所述待处理热力图对应的第二热力图编码。
在一种实现方式中,所述解码热力图包括第二解码热力图,所述处理单元802,还用于:
当检测到针对所述第二热力图编码的解码指令时,获取第二初始解码热力图,所述第二初始解码热力图中包括多个像素点,所述第二初始解码热力图的像素维度与所述待处理热力图的像素维度相同;
根据所述第二热力图编码中所述目标关键点的热力值与所述目标方差确定出所述第二初始解码热力图中每个像素点的热力值,并将全部像素点均确定了热力值的第二初始解码热力图确定为所述第二解码热力图。
在一种实现方式中,所述目标图像处理任务包括图像裁剪任务,所述待处理热力图为基于目标图像进行目标关键部位识别时所生成的,所述待处理热力图中的像素点的热力值用于表征像素点所在位置为所述目标关键部位的概率;所述处理单元802,还用于:
根据所述热力图编码确定所述热力图编码对应的解码热力图,所述解码热力图与所述目标图像的像素维度相同;
响应于针对所述目标图像的图像裁剪指令,确定所述解码热力图中热力值大于或等于阈值的像素点,并基于热力值大于或等于阈值的像素点对所述目标图像进行裁剪处理,得到裁剪图像,所述裁剪图像中包含所述目标关键部位。
请参见图9,图9是本申请实施例提供的一种电子设备的结构示意图。本实施例中所描述的电子设备,包括:处理器901、存储器902。可选的,该电子设备还可包括网络接口或供电模块等结构。上述处理器901、存储器902之间可以交互数据。
上述处理器901可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述网络接口可以包括输入设备和/或输出设备,例如该输入设备是可以是控制面板、麦克风、接收器等,输出设备可以是显示屏、发送器等,此处不一一列举。
上述存储器902可以包括只读存储器和随机存取存储器,并向处理器901提供程序指令和数据。存储器902的一部分还可以包括非易失性随机存取存储器。其中,所述处理器901调用所述程序指令时用于执行:
获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;
根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
在一种实现方式中,所述处理器901,具体用于:
获取M个分组距离值,所述M个分组距离值中的最大分组距离值是基于所述待处理热力图的像素维度进行确定的;所述M个分组距离值中任一个分组距离值表示为第i个分组距离值,M为正整数,i为0到M-1的整数;
以所述目标关键点为圆心,并且以每个分组距离值为半径分别确定所述每个分组距离值对应的圆;
将所述第i个分组距离值对应的圆与第i+1个分组距离值对应的圆之间的区域确定为第i个编码分组区域,得到所述M个编码分组区域。
在一种实现方式中,所述处理器901,具体用于:
在所述待处理热力图所对应的目标坐标系下,确定所述每个编码分组区域中包括的坐标点对应的像素数值;其中,属于所述待处理热力图中的像素点的坐标点对应的像素数值为该像素点的热力值,不属于所述待处理热力图中的像素点的坐标点对应的像素数值为零;
根据所述每个编码分组区域中包含的坐标点对应的像素数值分别确定所述每个编码分组区域对应的统计数值,并将所述每个编码分组区域对应的统计数值分别作为所述每个编码分组区域的区域表征值;其中,所述统计数值为以下任一项:中位数、平均数、众数。在一种实现方式中,所述热力图编码包含第一热力图编码;所述M个编码分组区域中的每个编码分组区域关联有对应的分组序号,所述分组序号的取值为0到M-1的整数;所述处理器901,具体用于:
按照所述每个编码分组区域的分组序号对所述每个编码分组区域的区域表征值进行排序,得到表征值序列;
将所述表征值序列与所述目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到所述待处理热力图对应的第一热力图编码。
在一种实现方式中,所述解码热力图包括第一解码热力图,所述处理器901,还用于:
当检测到针对所述第一热力图编码的解码指令时,获取第一初始解码热力图,所述第一初始解码热力图中包括多个像素点,所述第一初始解码热力图的像素维度与所述待处理热力图的像素维度相同;
根据所述第一热力图编码中所述目标关键点的坐标信息在所述第一初始解码热力图中确定解码关键点,并根据所述第一初始解码热力图的像素维度以所述解码关键点为中心确定M个解码分组区域,所述M个解码分组区域的生成方式与所述M个编码分组区域的生成方式相同,一个解码分组区域对应一个编码分组区域;
将所述表征值序列中的每个编码分组区域的区域表征值分别确定为对应的解码分组区域的区域表征值;
将所述第一初始解码热力图中的像素点的热力值确定为所述第一初始解码热力图中的像素点所属的解码分组区域对应的区域表征值,并将全部像素点均确定了热力值的第一初始解码热力图确定为所述第一解码热力图。
在一种实现方式中,所述热力图编码包含第二热力图编码;所述M个编码分组区域中的每个编码分组区域关联有对应的分组序号,所述分组序号的取值为0到M-1的整数;所述处理器901,具体用于:
对所述每个编码分组区域的区域表征值进行标准化处理,得到所述每个编码分组区域对应的标准化表征值;
根据所述M个编码分组区域对应的标准化表征值与所述M个编码分组区域对应的分组序号确定目标方差;
将所述目标方差、所述目标关键点的热力值、所述目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到所述待处理热力图对应的第二热力图编码。
在一种实现方式中,所述解码热力图包括第二解码热力图,所述处理器901,还用于:
当检测到针对所述第二热力图编码的解码指令时,获取第二初始解码热力图,所述第二初始解码热力图中包括多个像素点,所述第二初始解码热力图的像素维度与所述待处理热力图的像素维度相同;
根据所述第二热力图编码中所述目标关键点的热力值与所述目标方差确定出所述第二初始解码热力图中每个像素点的热力值,并将全部像素点均确定了热力值的第二初始解码热力图确定为所述第二解码热力图。
在一种实现方式中,所述目标图像处理任务包括图像裁剪任务,所述待处理热力图为基于目标图像进行目标关键部位识别时所生成的,所述待处理热力图中的像素点的热力值用于表征像素点所在位置为所述目标关键部位的概率;所述处理器901,还用于:
根据所述热力图编码确定所述热力图编码对应的解码热力图,所述解码热力图与所述目标图像的像素维度相同;
响应于针对所述目标图像的图像裁剪指令,确定所述解码热力图中热力值大于或等于阈值的像素点,并基于热力值大于或等于阈值的像素点对所述目标图像进行裁剪处理,得到裁剪图像,所述裁剪图像中包含所述目标关键部位。
可选的,该程序指令被处理器执行时还可实现上述实施例中方法的其他步骤,这里不再赘述。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述方法,比如执行上述电子设备执行的方法,此处不赘述。
可选的,本申请涉及的存储介质如计算机可读存储介质可以是非易失性的,也可以是易失性的。
可选的,该计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时可实现上述方法中的部分或全部步骤。例如,该计算机指令存储在计算机可读存储介质中。计算机设备(即上述的电子设备)的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法的实施例中所执行的步骤。例如,该计算机设备可以为终端,或者可以为服务器。
以上对本申请实施例所提供的一种图像处理方法、装置、电子设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;所述基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值,包括:根据所述每个编码分组区域中包含的像素点对应的热力值分别确定所述每个编码分组区域对应的统计数值,并将所述每个编码分组区域对应的统计数值分别作为所述每个编码分组区域的区域表征值;
根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,包括:
获取M个分组距离值,所述M个分组距离值中的最大分组距离值是基于所述待处理热力图的像素维度进行确定的;所述M个分组距离值中任一个分组距离值表示为第i个分组距离值,M为正整数,i为0到M-1的整数;
以所述目标关键点为圆心,并且以每个分组距离值为半径分别确定所述每个分组距离值对应的圆;
将所述第i个分组距离值对应的圆与第i+1个分组距离值对应的圆之间的区域确定为第i个编码分组区域,得到所述M个编码分组区域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述每个编码分组区域中包含的像素点对应的热力值分别确定所述每个编码分组区域对应的统计数值,包括:
在所述待处理热力图所对应的目标坐标系下,确定所述每个编码分组区域中包括的坐标点对应的像素数值;其中,属于所述待处理热力图中的像素点的坐标点对应的像素数值为该像素点的热力值,不属于所述待处理热力图中的像素点的坐标点对应的像素数值为零;
根据所述每个编码分组区域中包含的坐标点对应的像素数值分别确定所述每个编码分组区域对应的所述统计数值,其中,所述统计数值为以下任一项:中位数、平均数、众数。
4.根据权利要求1所述的方法,其特征在于,所述热力图编码包含第一热力图编码;所述M个编码分组区域中的每个编码分组区域关联有对应的分组序号,所述分组序号的取值为0到M-1的整数;所述根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,包括:
按照所述每个编码分组区域的分组序号对所述每个编码分组区域的区域表征值进行排序,得到表征值序列;
将所述表征值序列与所述目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到所述待处理热力图对应的第一热力图编码。
5.根据权利要求4所述的方法,其特征在于,所述解码热力图包括第一解码热力图,所述方法还包括:
当检测到针对所述第一热力图编码的解码指令时,获取第一初始解码热力图,所述第一初始解码热力图中包括多个像素点,所述第一初始解码热力图的像素维度与所述待处理热力图的像素维度相同;
根据所述第一热力图编码中所述目标关键点的坐标信息在所述第一初始解码热力图中确定解码关键点,并根据所述第一初始解码热力图的像素维度以所述解码关键点为中心确定M个解码分组区域,所述M个解码分组区域的生成方式与所述M个编码分组区域的生成方式相同,一个解码分组区域对应一个编码分组区域;
将所述表征值序列中的每个编码分组区域的区域表征值分别确定为对应的解码分组区域的区域表征值;
将所述第一初始解码热力图中的像素点的热力值确定为所述第一初始解码热力图中的像素点所属的解码分组区域对应的区域表征值,并将全部像素点均确定了热力值的第一初始解码热力图确定为所述第一解码热力图。
6.根据权利要求1所述的方法,其特征在于,所述热力图编码包含第二热力图编码;所述M个编码分组区域中的每个编码分组区域关联有对应的分组序号,所述分组序号的取值为0到M-1的整数;所述根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,包括:
对所述每个编码分组区域的区域表征值进行标准化处理,得到所述每个编码分组区域对应的标准化表征值;
根据所述M个编码分组区域对应的标准化表征值与所述M个编码分组区域对应的分组序号确定目标方差;
将所述目标方差、所述目标关键点的热力值、所述目标关键点的坐标信息所指示的第一坐标值和第二坐标值进行组合,得到所述待处理热力图对应的第二热力图编码。
7.根据权利要求6所述的方法,其特征在于,所述解码热力图包括第二解码热力图,所述方法还包括:
当检测到针对所述第二热力图编码的解码指令时,获取第二初始解码热力图,所述第二初始解码热力图中包括多个像素点,所述第二初始解码热力图的像素维度与所述待处理热力图的像素维度相同;
根据所述第二热力图编码中所述目标关键点的热力值与所述目标方差确定出所述第二初始解码热力图中每个像素点的热力值,并将全部像素点均确定了热力值的第二初始解码热力图确定为所述第二解码热力图。
8.根据权利要求1所述的方法,其特征在于,所述目标图像处理任务包括图像裁剪任务,所述待处理热力图为基于目标图像进行目标关键部位识别时所生成的,所述待处理热力图中的像素点的热力值用于表征像素点所在位置为所述目标关键部位的概率;所述方法还包括:
根据所述热力图编码确定所述热力图编码对应的解码热力图,所述解码热力图与所述目标图像的像素维度相同;
响应于针对所述目标图像的图像裁剪指令,确定所述解码热力图中热力值大于或等于阈值的像素点,并基于热力值大于或等于阈值的像素点对所述目标图像进行裁剪处理,得到裁剪图像,所述裁剪图像中包含所述目标关键部位。
9.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取待处理热力图,所述待处理热力图中包括多个像素点,每个像素点对应一个热力值;
处理单元,用于将所述待处理热力图中的热力值最大的像素点确定为目标关键点,并根据所述待处理热力图的像素维度以所述目标关键点为中心确定M个编码分组区域,M为正整数;
所述处理单元,还用于基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值;所述基于所述M个编码分组区域中每个编码分组区域包含的像素点对应的热力值分别确定所述每个编码分组区域的区域表征值,包括:根据所述每个编码分组区域中包含的像素点对应的热力值分别确定所述每个编码分组区域对应的统计数值,并将所述每个编码分组区域对应的统计数值分别作为所述每个编码分组区域的区域表征值;
所述处理单元,还用于根据所述目标关键点的坐标信息与所述每个编码分组区域的区域表征值确定所述待处理热力图对应的热力图编码,所述热力图编码用于解码得到解码热力图并执行目标图像处理任务。
10.一种电子设备,其特征在于,包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310076417.5A CN117745849B (zh) | 2023-01-17 | 2023-01-17 | 图像处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310076417.5A CN117745849B (zh) | 2023-01-17 | 2023-01-17 | 图像处理方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117745849A CN117745849A (zh) | 2024-03-22 |
| CN117745849B true CN117745849B (zh) | 2024-12-24 |
Family
ID=90276344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310076417.5A Active CN117745849B (zh) | 2023-01-17 | 2023-01-17 | 图像处理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745849B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516643A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种基于联合热力图的人脸3d关键点检测方法及系统 |
| CN111291729A (zh) * | 2020-03-26 | 2020-06-16 | 北京百度网讯科技有限公司 | 一种人体姿态估计方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785582B (zh) * | 2021-01-29 | 2024-03-22 | 北京百度网讯科技有限公司 | 热力图生成模型的训练方法、装置、电子设备和存储介质 |
| CN114241524B (zh) * | 2021-12-23 | 2025-04-22 | 北京邮电大学 | 人体姿态估计方法、装置、电子设备及可读存储介质 |
-
2023
- 2023-01-17 CN CN202310076417.5A patent/CN117745849B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516643A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种基于联合热力图的人脸3d关键点检测方法及系统 |
| CN111291729A (zh) * | 2020-03-26 | 2020-06-16 | 北京百度网讯科技有限公司 | 一种人体姿态估计方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117745849A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348294B (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
| CN112200081B (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
| CN113971732B (zh) | 小目标检测方法、装置、可读存储介质及电子设备 | |
| CN114005012A (zh) | 多模态预训练模型的训练方法、装置、设备及存储介质 | |
| CN108366052B (zh) | 验证短信的处理方法及系统 | |
| US11734341B2 (en) | Information processing method, related device, and computer storage medium | |
| CN114241499B (zh) | 表格图片识别方法、装置、设备和可读存储介质 | |
| CN111741329B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN114332884B (zh) | 文档元素的识别方法、装置、设备及存储介质 | |
| CN118898240B (zh) | 一种视觉问答处理方法 | |
| CN111488732B (zh) | 一种变形关键词检测方法、系统及相关设备 | |
| CN116467603A (zh) | 模型训练方法、装置及设备 | |
| CN115129933A (zh) | 视频文本提取方法、装置、设备、介质及计算机程序产品 | |
| CN116311214B (zh) | 车牌识别方法和装置 | |
| CN111145202B (zh) | 模型生成方法、图像处理方法、装置、设备及存储介质 | |
| CN117496521A (zh) | 一种表格关键信息抽取方法、系统、装置及可读存储介质 | |
| CN113379592A (zh) | 图片中敏感区域的处理方法、装置和电子设备 | |
| CN111539435A (zh) | 语义分割模型构建方法及图像分割方法、设备、存储介质 | |
| CN117745849B (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN113139472A (zh) | 计算题批改方法、装置、可读存储介质及电子设备 | |
| CN114329030A (zh) | 一种信息处理方法、装置、计算机设备和存储介质 | |
| CN113158838A (zh) | 基于全尺寸深度图监督的人脸表示攻击检测方法 | |
| EP3709666A1 (en) | Method for fitting target object in video frame, system, and device | |
| CN107862328A (zh) | 信息元集合生成方法及基于规则引擎的规则执行方法 | |
| CN115905531A (zh) | 基于人工智能的文本分类方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |