CN116051364B - 一种红外图像处理方法及存储介质 - Google Patents

Abstract

本申请涉及一般的图像数据处理或产生技术领域，特别是涉及一种红外图像处理方法及存储介质。所述方法包括以下步骤：获取红外图像中人体的关键点KP和边缘点EP；获取映射矩阵或形变网络；遍历KP、EP和FP，得到C＝{c₁，c₂，…，c_N+M+R}；遍历C，如果INT(c_k)＝INT(c_l)，则将P_l追加到集合L_k，L_k的初始化只包括P_k；遍历C，如果L_k只包括P_k，则将红外图像中P_k的像素值赋予标准3D人体模型中的NP_k；如果L_k不只包括P_k，则将V_k＝∑^nk _b＝1(w_b*V_b)赋予标准3D人体模型中的NP_k。本发明改善了基于二维红外图像得到的标准3D人体模型中存在的形变问题。

Description

一种红外图像处理方法及存储介质

技术领域

本发明涉及一般的图像数据处理或产生技术领域，特别是涉及一种红外图像处理方法及存储介质。

背景技术

现有技术中红外图像多以二维图像的形式被储存和查看，由此，红外图像中的人体也是以二维形式展现在用户面前。如何实现二维红外图像中二维人体图像向三维人体模型的转换，是现有技术中的难点。目前，已有人提出了将红外图像中人体区域按照预设规则进行分块后映射在标准3D人体模型的方法，其考虑到对红外图像中人体区域进行分块后与标准3D人体模型中对应块的面积可能不相等，因此还包括在映射之前对红外图像中人体区域的分块区域进行拉伸或缩放的步骤。例如，当红外图像中人体区域的腹部区域面积大于标准3D人体模型中的腹部区域面积时，对红外图像中人体区域的腹部区域进行拉伸后映射在标准3D人体模型中的腹部区域。上述这种方法得到的标准3D人体模型中会存在形变问题。如何改善基于二维红外图像得到的标准3D人体模型中存在的形变问题，是亟待解决的问题。

发明内容

本发明目的在于，提供一种红外图像处理方法及存储介质，改善了基于二维红外图像得到的标准3D人体模型中存在的形变问题。

根据本发明的第一方面，提供了一种红外图像处理方法，包括以下步骤：

S100，获取红外图像中人体的关键点KP＝(kp₁，kp₂，…，kp_N)，kp_i为红外图像中人体的第i个关键点，i的取值范围是1到N，N为红外图像中人体的关键点的总数量。

S200，获取红外图像中人体的边缘点EP＝(ep₁，ep₂，…，ep_M)，ep_j为红外图像中人体的第j个边缘点，j的取值范围是1到M，M为红外图像中人体的边缘点的总数量。

S300，获取红外图像向标准3D人体模型转换时的映射矩阵或形变网络，所述映射矩阵或形变网络根据KP和EP在红外图像中的坐标，以及标准3D人体模型中与KP和EP对应的点的坐标得到。

S400，获取红外图像中人体的非关键点和非边缘点的像素点FP＝(fp₁，fp₂，…，fp_R)，fp_r为红外图像中人体的第r个非关键点和非边缘点的像素点，r的取值范围为1到R，R为红外图像中人体的非关键点和非边缘点的像素点的总数量。

S500，遍历KP、EP和FP，将kpc_i＝(kpx_i，kpy_i，kpz_i)、epc_j＝(epx_j，epy_j，epz_j)和fpc_r＝(fpx_r，fpy_r，fpz_r)追加到C，得到C＝{c₁，c₂，…，c_N+M+R}，c_k＝(x_k，y_k，z_k)，kpx_i、epx_j、fpx_r和x_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的X轴坐标，kpy_i、epy_j、fpy_r和y_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的Y轴坐标，kpz_i、epz_j、fpz_r和z_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的Z轴坐标，P_k为红外图像中第k个被追加到C的点，C的初始化为Null。

S600，遍历C，如果INT(c_k)＝INT(c_l)，则将P_l追加到集合L_k，L_k的初始化只包括P_k；c_l＝(x_l，y_l，z_l)，l＝1，2，…，N+M+R，且l≠k，P_l为红外图像中第l个被追加到C的点，x_l、y_l和z_l分别为P_l经映射矩阵或形变网络进行坐标转换后的X、Y和Z轴坐标，INT为取整函数。

S700，遍历C，如果L_k只包括P_k，则将红外图像中P_k的像素值赋予标准3D人体模型中的NP_k；如果L_k不只包括P_k，则将V_k＝∑^nk _b＝1(w_b*V_b)赋予标准3D人体模型中的NP_k，n_k为L_k中点的总数量，w_b为P_b的权重，∑^nk _b＝1w_b＝1，V_b为红外图像中P_b的像素值，P_b为L_k中的第b个点，NP_k为X轴坐标为INT(x_k)、Y轴坐标为INT(y_k)且Z轴坐标为INT(z_k)的点。

本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的红外图像处理方法及存储介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

本发明获取了红外图像中人体的关键点和边缘点，基于这些关键点和边缘点实现了二维红外图像中人体向标准3D人体模型的转换，其中，可基于边缘点改善得到的标准3D人体模型中人体的边缘形变的问题，可基于关键点改善得到的标准3D人体模型中人体的内部形变的问题，相较于现有对人体区域直接进行拉伸或缩放后映射在标准3D人体模型的方法，本发明能够改善基于二维红外图像得到的标准3D人体模型中存在的形变问题。而且，本发明在转换的过程中，考虑了二维红外图像中多个点可能对应标准3D人体模型中同一点的情况，并针对此情况提出了解决办法，提高了构建得到的人体三维模型的精确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的红外图像处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的第一方面，提供了一种红外图像处理方法，如图1所示，包括以下步骤：

S100，获取红外图像中人体的关键点KP＝(kp₁，kp₂，…，kp_N)，kp_i为红外图像中人体的第i个关键点，i的取值范围是1到N，N为红外图像中人体的关键点的总数量。

根据本发明，获取红外图像中人体的关键点KP的方法包括两种，第一种是基于相同的视角获取红外图像对应的可见光图像，然后利用第一关键点检测方法识别可见光图像中人体的关键点；由于可见光图像和红外图像是基于相同视角下拍摄的，因此可将光图像中人体的关键点的坐标与红外图像中人体的关键点的坐标相同，由此，在得到可见光图像中人体的关键点之后就可以得到红外图像中人体的关键点。本领域技术人员知悉，利用现有技术中任意的第一关键点检测方法识别可见光图像中的关键点均落入本发明的保护范围。可选的，现有技术中的关键点检测方法是基于第一卷积神经网络的关键点检测方法。

第二种是利用第二关键点检测方法识别红外图像中人体的关键点。可选的，第二关键点检测方法是基于第二卷积神经网络的关键点检测方法。根据本发明，第二卷积神经网络为经训练的卷积神经网络，第二卷积神经网络在进行训练时利用的样本是红外图像，第二卷积神经网络具备识别红外图像中人体关键点的功能。

需要说明的是，本发明获取的红外图像中的人体为同一个人的人体。例如，一个具体的场景是：一个人进入人体仓中进行图像拍摄。

S200，获取红外图像中人体的边缘点EP＝(ep₁，ep₂，…，ep_M)，ep_j为红外图像中人体的第j个边缘点，j的取值范围是1到M，M为红外图像中人体的边缘点的总数量。

根据本发明，利用边缘检测算法获取红外图像中人体的边缘点EP。本领域技术人员知悉，利用现有技术中任意的边缘检测算法获取红外图像中人体的边缘点均落入本发明的保护范围。

S300，获取红外图像向标准3D人体模型转换时的映射矩阵或形变网络，所述映射矩阵或形变网络根据KP和EP在红外图像中的坐标，以及标准3D人体模型中与KP和EP对应的点的坐标得到。

本发明的目的在于根据红外图像中人体的关键点和边缘点构建对应的标准3D人体模型。应当理解的是，标准3D人体模型是预先构建好的，可选的，标准3D人体模型为标准3D人体点云模型，其中任意点的坐标是已知的，其中哪些点是与KP对应的关键点是已知的，哪些点是与EP对应的边缘点也是已知的，未知的只是标准3D人体模型中各点的像素值。应当理解的是，红外图像中某点与标准3D人体模型中某点对应指的是两点代表的是人体的同一位置，例如，红外图像中人体鼻子关键点与标准3D人体模型中人体鼻子关键点对应，红外图像中神阙穴所在位置的关键点与标准3D人体模型中神阙穴所在位置的关键点对应，红外图像中人体下颚边缘点与标准3D人体模型中人体下颚边缘点对应。

可选的，获取标准3D人体模型中EP对应的点的方法包括：

S310，获取标准3D人体模型中人体的初始边缘点PNEP＝(pnep₁，pnep₂，…，pnep_M0)，pnep_f为PNEP中第f个初始边缘点，f的取值范围为1到M0，M0为PNEP中初始边缘点的总数量。

需要说明的是，标准3D人体模型中人体的初始边缘点PNEP为用户输入的与红外图像具有相同拍摄视角的边缘点，例如，红外图像是从人体的正面拍摄的，那么PNEP为用户输入的人体的正面视角下的边缘点。

S320，获取红外图像向标准3D人体模型转换时的映射矩阵，红外图像向标准3D人体模型转换时的映射矩阵根据KP在红外图像中的坐标和标准3D人体模型中KP对应的点的坐标得到。

本领域技术人员知悉，利用现有技术中任意获取映射矩阵的方法获取本发明红外图像向标准3D人体模型转换时的映射矩阵均落入本发明的保护范围。

S330，获取NEP’＝(nep’₁，nep’₂，…，nep’_M)，nep’_j为利用所述红外图像向标准3D人体模型转换时的映射矩阵将ep_j进行转换后得到的边缘点。

S340，遍历NEP’，获取NEP＝(nep₁，nep₂，…，nep_M)，nep_j为PNEP中与nep’_j距离最近的初始边缘点。

根据本发明，遍历PNEP，获取pnep_f与nep’_j的距离，将PNEP中与nep’_j距离最近的pnep_f作为nep_j。本领域技术人员知悉，利用现有技术中任意计算两个三维坐标点之间距离的方法获取本发明pnep_f与nep’_j距离均落入本发明的保护范围。

根据本发明，在得到了人体的多个位置分别在红外图像中的坐标和标准3D人体模型中的坐标后，根据同一位置在红外图像和标准3D人体模型中的坐标之间的对应关系即可获取映射矩阵或形变网络，该映射矩阵或形变网络即可实现红外图像中二维坐标系到标准3D人体模型中三维坐标系的转换。本领域技术人员知悉，利用现有技术中任意获取映射矩阵或形变网络的方法获取本发明的映射矩阵或形变网络均落入本发明的保护范围。

S400，获取红外图像中人体的非关键点和非边缘点的像素点FP＝(fp₁，fp₂，…，fp_R)，fp_r为红外图像中人体的第r个非关键点和非边缘点的像素点，r的取值范围为1到R，R为红外图像中人体的非关键点和非边缘点的像素点的总数量。

应当理解的是，红外图像中人体除了包括关键点和边缘点之外，还包括既不是关键点，也不是边缘点的像素点，本发明将这样的像素点称之为非关键点和非边缘点。

S500，遍历KP、EP和FP，将kpc_i＝(kpx_i，kpy_i，kpz_i)、epc_j＝(epx_j，epy_j，epz_j)和fpc_r＝(fpx_r，fpy_r，fpz_r)追加到C，得到C＝{c₁，c₂，…，c_N+M+R}，c_k＝(x_k，y_k，z_k)，kpx_i、epx_j、fpx_r和x_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的X轴坐标，kpy_i、epy_j、fpy_r和y_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的Y轴坐标，kpz_i、epz_j、fpz_r和z_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的Z轴坐标，P_k为红外图像中第k个被追加到C的点，C的初始化为Null。

S600，遍历C，如果INT(c_k)＝INT(c_l)，则将P_l追加到集合L_k，L_k的初始化只包括P_k；c_l＝(x_l，y_l，z_l)，l＝1，2，…，N+M+R，且l≠k，P_l为红外图像中第l个被追加到C的点，x_l、y_l和z_l分别为P_l经映射矩阵或形变网络进行坐标转换后的X、Y和Z轴坐标，INT为取整函数。

根据本发明，红外图像中人体的像素点的二维坐标是整数，标准3D人体模型中点的坐标也为整数，但是可能存在红外图像中像素点经坐标转换后的三维坐标不是整数，以及红外图像中多个点经坐标转换后得到的三维坐标取整后为相同整数的情况。鉴于此，本发明对红外图像中被追加到C中各点转换后的三维坐标进行了是否满足INT(c_k)＝INT(c_l)的判断，以根据不同的判断结果进行不同的处理，提高构建得到的人体三维模型的精确性。

应当理解的是，INT(c_k)＝INT(c_l)即INT(x_k)＝INT(x_l)，INT(y_k)＝INT(y_l)且INT(z_k)＝INT(z_l)。红外图像中满足INT(c_k)＝INT(c_l)的P_l有可能不存在，此种情况下L_k只包括P_k；也可能存在一个，或二个以上，这种情况下L_k不只包括P_k，还包括所有满足INT(c_k)＝INT(c_l)的P_l。

S700，遍历C，如果L_k只包括P_k，则将红外图像中P_k的像素值赋予标准3D人体模型中的NP_k；如果L_k不只包括P_k，则将V_k＝∑^nk _b＝1(w_b*V_b)赋予标准3D人体模型中的NP_k，n_k为L_k中点的总数量，w_b为P_b的权重，∑^nk _b＝1w_b＝1，V_b为红外图像中P_b的像素值，P_b为L_k中的第b个点，NP_k为X轴坐标为INT(x_k)、Y轴坐标为INT(y_k)且Z轴坐标为INT(z_k)的点。

可选的，将L_k中各点的像素值的均值作为标准3D人体模型中的NP_k的像素值，也即w_b＝1/nk。该种实施方式的计算方法较为简单，能够提高计算速度。

优选的，根据L_k中各点经映射矩阵或形变网络进行坐标转换后的三维坐标与标准3D人体模型中的NP_k的三维坐标的差异值的大小为L_k中对应点分配权重，其中与标准3D人体模型中的NP_k的三维坐标的差异值越小的点被分配的权重越大，与标准3D人体模型中的NP_k的三维坐标的差异值越大的点被分配的权重越小，也即w_b与d_b成负相关关系，d_b＝((x_b-INT(x_k))²+(y_b-INT(y_k))²+(z_b-INT(z_k))²)^1/2，x_b、y_b和z_b分别为红外图像中P_b经映射矩阵或形变网络进行坐标转换后的X、Y和Z轴坐标。按照上述负相关关系为L_k中各点分配权重，使得标准3D人体模型中NP_k的像素值更多地参考了红外图像中坐标转换后距离其较近点的像素值，进而提高了构建得到的人体三维模型的精确性。

更优选的，w_b＝(1-d_b/∑^nk _b＝1d_b)/(nk-1)。经小规模试验表明，当w_b＝(1-d_b/∑^nk _{b＝ 1}d_b)/(nk-1)时，构建得到的人体三维模型的精确性较高。

作为本发明的一个实施例，红外图像中第q1个被追加到C的像素点P_q1经映射矩阵或形变网络进行坐标转换后的坐标c_q1＝(20.1，10.9，80.4)，c_q1与标准3D人体模型中坐标(20，10，80)的差异值d₁＝0.99，红外图像中P_q1的像素值为V₁；红外图像中第q2个被追加到C的像素点P_q2经映射矩阵或形变网络进行坐标转换后的坐标c_q2＝(20.6，10.3，80.1)，c_q2与标准3D人体模型中坐标(20，10，80)的差异值d₂＝0.69，红外图像中P_q2的像素值为V₂；红外图像中第q3个被追加到C的像素点P_q3经映射矩阵或形变网络进行坐标转换后的坐标c_q3＝(20.9，10.2，80.7)，c_q3与标准3D人体模型中坐标(20，10，80)的差异值d₃＝1.16，红外图像中P_q3的像素值为V₃。那么，在获取标准3D人体模型中坐标为(20，10，80)的点的像素值时，红外图像中P_q1的权重为w₁＝0.32，红外图像中P_q2的权重为w₂＝0.38，红外图像中P_q3的权重为w₃＝0.3，由此计算得到标准3D人体模型中坐标为(20，10，80)的点的像素值为0.32V₁+0.38V₂+0.3V₃。

本发明实施例还提供了一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行本发明实施例所述的方法。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。

Claims (8)

1.一种红外图像处理方法，其特征在于，包括以下步骤：

S100，获取红外图像中人体的关键点KP＝(kp₁，kp₂，…，kp_N)，kp_i为红外图像中人体的第i个关键点，i的取值范围是1到N，N为红外图像中人体的关键点的总数量；

S200，获取红外图像中人体的边缘点EP＝(ep₁，ep₂，…，ep_M)，ep_j为红外图像中人体的第j个边缘点，j的取值范围是1到M，M为红外图像中人体的边缘点的总数量；

S300，获取红外图像向标准3D人体模型转换时的映射矩阵或形变网络，所述映射矩阵或形变网络根据KP和EP在红外图像中的坐标，以及标准3D人体模型中与KP和EP对应的点的坐标得到；

S400，获取红外图像中人体的非关键点和非边缘点的像素点FP＝(fp₁，fp₂，…，fp_R)，fp_r为红外图像中人体的第r个非关键点和非边缘点的像素点，r的取值范围为1到R，R为红外图像中人体的非关键点和非边缘点的像素点的总数量；

S500，遍历KP、EP和FP，将kpc_i＝(kpx_i，kpy_i，kpz_i)、epc_j＝(epx_j，epy_j，epz_j)和fpc_r＝(fpx_r，fpy_r，fpz_r)追加到C，得到C＝{c₁，c₂，…，c_N+M+R}，c_k＝(x_k，y_k，z_k)，kpx_i、epx_j、fpx_r和x_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的X轴坐标，kpy_i、epy_j、fpy_r和y_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的Y轴坐标，kpz_i、epz_j、fpz_r和z_k分别为kp_i、ep_j、fp_r和P_k经映射矩阵或形变网络进行坐标转换后的Z轴坐标，P_k为红外图像中第k个被追加到C的点，C的初始化为Null；

S600，遍历C，如果INT(c_k)＝INT(c_l)，则将P_l追加到集合L_k，L_k的初始化只包括P_k；c_l＝(x_l，y_l，z_l)，l＝1，2，…，N+M+R，且l≠k，P_l为红外图像中第l个被追加到C的点，x_l、y_l和z_l分别为P_l经映射矩阵或形变网络进行坐标转换后的X、Y和Z轴坐标，INT为取整函数；

S700，遍历C，如果L_k只包括P_k，则将红外图像中P_k的像素值赋予标准3D人体模型中的NP_k；如果L_k不只包括P_k，则将V_k＝∑^nk _b＝1(w_b*V_b)赋予标准3D人体模型中的NP_k，nk为L_k中点的总数量，w_b为P_b的权重，∑^nk _b＝1w_b＝1，V_b为红外图像中P_b的像素值，P_b为L_k中的第b个点，NP_k为X轴坐标为INT(x_k)、Y轴坐标为INT(y_k)且Z轴坐标为INT(z_k)的点。

2.根据权利要求1所述的方法，其特征在于，S700中，w_b＝1/nk。

3.根据权利要求1所述的方法，其特征在于，S700中，w_b与d_b成负相关关系，d_b＝((x_b-INT(x_k))²+(y_b-INT(y_k))²+(z_b-INT(z_k))²)^1/2，x_b、y_b和z_b分别为红外图像中P_b经映射矩阵或形变网络进行坐标转换后的X、Y和Z轴坐标。

4.根据权利要求3所述的方法，其特征在于，S700中，w_b＝(1-d_b/∑^nk _b＝1d_b)/(nk-1)。

5.根据权利要求1所述的方法，其特征在于，S100中，利用第一卷积神经网络识别可见光图像中的关键点，得到红外图像中人体的关键点KP，所述可见光图像与所述红外图像具有相同的拍摄视角。

6.根据权利要求1所述的方法，其特征在于，S100中，利用第二卷积神经网络识别红外图像中的关键点，得到红外图像中人体的关键点KP。

7.根据权利要求1所述的方法，其特征在于，S200中，利用边缘检测算法获取红外图像中人体的边缘点EP。

8.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项的所述方法。