CN116052209B - 一种红外图像和标准3d人体模型的处理方法及存储介质 - Google Patents

Abstract

本申请涉及一般的图像数据处理或产生技术领域，特别是涉及一种红外图像和标准3D人体模型的处理方法及存储介质。所述方法包括以下步骤：获取红外图像中人体的关键点KP和边缘点EP，以及标准3D人体模型中人体的关键点NKP和边缘点NEP；获取标准3D人体模型向红外图像转换时的第一映射矩阵；获取标准3D人体模型中的目标区域NTS；获取红外图像中与NTS对应的A；在所述红外图像上呈现A的凸包。本发明提高了识别红外图像中人体的特定区域的效率。

Description

一种红外图像和标准3D人体模型的处理方法及存储介质

技术领域

本发明涉及一般的图像数据处理或产生技术领域，特别是涉及一种红外图像和标准3D人体模型的处理方法及存储介质。

背景技术

热成像技术利用自然界物体不同部位红外热辐射强度的不同来形成图像，医学上基于采集的红外图像中人体的特定区域的像素值(即温度信息)可以分析人体的健康状况，比如基于红外图像中人体的心脏区域的像素值可以分析人体的心脏的健康状况。由于不同红外图像上人体的差异，往往导致用户直接识别红外图像中人体的特定区域的过程比较慢，用户的工作量比较大。如何自动识别红外图像中人体的特定区域，以提高识别红外图像中人体的特定区域的效率，是亟待解决的问题。

发明内容

本发明目的在于，提供一种红外图像和标准3D人体模型的处理方法及存储介质，以提高识别红外图像中人体的特定区域的效率。

根据本发明的第一方面，提供了一种红外图像和标准3D人体模型的处理方法，包括以下步骤：

S100，获取红外图像中人体的关键点KP＝(kp₁，kp₂，…，kp_N)，kp_i为红外图像中人体的第i个关键点，i的取值范围是1到N，N为红外图像中人体的关键点的总数量。

S200，获取红外图像中人体的边缘点EP＝(ep₁，ep₂，…，ep_M)，ep_j为红外图像中人体的第j个边缘点，j的取值范围是1到M，M为红外图像中人体的边缘点的总数量。

S300，获取标准3D人体模型中人体的关键点NKP＝(nkp₁，nkp₂，…，nkp_N)，nkp_i为标准3D人体模型中与kp_i对应的关键点。

S400，获取标准3D人体模型中人体的边缘点NEP＝(nep₁，nep₂，…，nep_M)，nep_j为标准3D人体模型中与ep_j对应的边缘点。

S500，获取标准3D人体模型向红外图像转换时的第一映射矩阵，所述第一映射矩阵根据KP和EP在红外图像中的坐标，以及NKP和NEP在标准3D人体模型中的坐标得到。

S600，获取标准3D人体模型中的目标区域NTS＝(nts₁，nts₂，…，nts_Q)，nts_r为目标区域中的第r个点，r的取值范围为1到Q，Q为目标区域中的点的总数量。

S700，遍历NTS，获取B＝((x₁,y₁)，(x₂,y₂)，…，(x_Q,y_Q))，x_r＝round(xts_r)和y_r＝round(yts_r)，xts_r为利用所述第一映射矩阵将nts_r进行转换后得到的横坐标，yts_r为利用所述第一映射矩阵将nts_r进行转换后得到的纵坐标，round为取整。

S800，遍历B和红外图像中的像素点P＝(p₁，p₂，…，p_T)，如果xp_k＝x_r且yp_k＝y_r，则将p_k追加到A，p_k为P中第k个像素点，xp_k和yp_k分别为p_k的横坐标和纵坐标，k的取值范围是1到T，T为P中像素点的总数量，A的初始化为Null。

S900，在所述红外图像上呈现A的凸包。

本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的红外图像和标准3D人体模型的处理方法及存储介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

本发明获取了红外图像中人体的关键点和边缘点，以及标准3D人体模型中对应的人体的关键点和边缘点，基于这些关键点和边缘点实现了标准3D人体模型向二维红外图像中人体的转换，而且，基于边缘点和关键点得到的第一映射矩阵可以改善标准3D人体模型向二维红外图像中人体进行转换时的边缘形变和内部形变的问题。在获取了上述能够改善转换时形变问题的第一映射矩阵的基础上，本发明基于标准3D人体模型中目标区域得到了二维红外图像中人体的对应区域，并在二维红外图像中对人体的对应区域进行呈现，由此本发明实现了自动识别红外图像上人体的特定区域，提高了识别红外图像中人体的特定区域的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的红外图像和标准3D人体模型的处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的第一方面，提供了一种红外图像和标准3D人体模型的处理方法，如图1所示，包括以下步骤：

S100，获取红外图像中人体的关键点KP＝(kp₁，kp₂，…，kp_N)，kp_i为红外图像中人体的第i个关键点，i的取值范围是1到N，N为红外图像中人体的关键点的总数量。

根据本发明，获取红外图像中人体的关键点KP的方法包括两种，第一种是基于相同的视角获取红外图像对应的可见光图像，然后利用第一关键点检测方法识别可见光图像中人体的关键点；由于可见光图像和红外图像是基于相同视角下拍摄的，因此可将光图像中人体的关键点的坐标与红外图像中人体的关键点的坐标相同，由此，在得到可见光图像中人体的关键点之后就可以得到红外图像中人体的关键点。本领域技术人员知悉，利用现有技术中任意的第一关键点检测方法识别可见光图像中的关键点均落入本发明的保护范围。可选的，现有技术中的关键点检测方法是基于第一卷积神经网络的关键点检测方法。

第二种是利用第二关键点检测方法识别红外图像中人体的关键点。可选的，第二关键点检测方法是基于第二卷积神经网络的关键点检测方法。根据本发明，第二卷积神经网络为经训练的卷积神经网络，第二卷积神经网络在进行训练时利用的样本是红外图像，第二卷积神经网络具备识别红外图像中人体关键点的功能。

需要说明的是，本发明获取的红外图像中的人体为同一个人的人体。

S200，获取红外图像中人体的边缘点EP＝(ep₁，ep₂，…，ep_M)，ep_j为红外图像中人体的第j个边缘点，j的取值范围是1到M，M为红外图像中人体的边缘点的总数量。

根据本发明，利用边缘检测算法获取红外图像中人体的边缘点EP。本领域技术人员知悉，利用现有技术中任意的边缘检测算法获取红外图像中人体的边缘点均落入本发明的保护范围。

S300，获取标准3D人体模型中人体的关键点NKP＝(nkp₁，nkp₂，…，nkp_N)，nkp_i为标准3D人体模型中与kp_i对应的关键点。

根据本发明，标准3D人体模型是预先构建好的，可选的，标准3D人体模型为标准3D人体点云模型，其中任意点的坐标是已知的，其中哪些点是与KP对应的关键点是已知的。应当理解的是，标准3D人体模型中某关键点与红外图像中某关键点对应指的是两关键点代表的是人体的同一关键点，比如，均为人体的鼻子关键点或者神阙穴所在位置的关键点。

可选的，KP为现有具有ResNet-50-FPN结构的Keypoint R-CNN网络模型可以识别的17个人体关键点，包括鼻子、左眼、右眼、左耳，右耳，左肩和右肩等。

可选的，KP为用户输入或计算机自动识别的穴位所在红外图像中位置的关键点，相应的，NKP为标准3D人体模型中与KP对应的穴位所在位置的关键点。根据本发明，穴位关键点是相对容易识别和能够准确识别的点，由此，S500得到的第一映射矩阵更加准确，更有利于准确识别红外图像中与3D人体模型中的目标区域对应的区域。

S400，获取标准3D人体模型中人体的边缘点NEP＝(nep₁，nep₂，…，nep_M)，nep_j为标准3D人体模型中与ep_j对应的边缘点。

根据本发明，标准3D人体模型是预先构建好的，可选的，标准3D人体模型为标准3D人体点云模型，其中任意点的坐标是已知的，其中哪些点是与EP对应的边缘点是已知的。应当理解的是，标准3D人体模型中某边缘点与红外图像中某边缘点对应指的是两边缘点代表的是人体的同一边缘点，比如，均为人体的下颚边缘点。

可选的，获取标准3D人体模型中人体的边缘点NEP的方法包括：

S410，获取标准3D人体模型中人体的初始边缘点PNEP＝(pnep₁，pnep₂，…，pnep_M0)，pnep_f为PNEP中第f个初始边缘点，f的取值范围为1到M0，M0为PNEP中初始边缘点的总数量。

需要说明的是，标准3D人体模型中人体的初始边缘点PNEP为用户输入的与红外图像具有相同拍摄视角的边缘点，例如，红外图像是从人体的正面拍摄的，那么PNEP为用户输入的人体的正面视角下的边缘点。

S420，获取红外图像向标准3D人体模型转换时的第二映射矩阵，所述第二映射矩阵根据KP在红外图像中的坐标和NKP在标准3D人体模型中的坐标得到。

本领域技术人员知悉，利用现有技术中任意获取映射矩阵的方法获取本发明的第二映射矩阵均落入本发明的保护范围。

S430，获取NEP’＝(nep’₁，nep’₂，…，nep’_M)，nep’_j为利用所述第二映射矩阵将ep_j进行转换后得到的边缘点。

S440，遍历NEP’，获取NEP＝(nep₁，nep₂，…，nep_M)，nep_j为PNEP中与nep’_j距离最近的初始边缘点。

根据本发明，遍历PNEP，获取pnep_f与nep’_j的距离，将PNEP中与nep’_j距离最近的pnep_f作为nep_j。本领域技术人员知悉，利用现有技术中任意计算两个三维坐标点之间距离的方法获取本发明pnep_f与nep’_j距离均落入本发明的保护范围。

S500，获取标准3D人体模型向红外图像转换时的第一映射矩阵，所述第一映射矩阵根据KP和EP在红外图像中的坐标，以及NKP和NEP在标准3D人体模型中的坐标得到。

根据本发明，在得到了人体的多个位置分别在红外图像中的坐标和标准3D人体模型中的坐标后，根据同一位置在红外图像和标准3D人体模型中的坐标之间的对应关系即可获取第一映射矩阵，该第一映射矩阵即可实现标准3D人体模型中三维坐标系到红外图像中二维坐标系的转换。本领域技术人员知悉，利用现有技术中任意获取映射矩阵的方法获取本发明的第一映射矩阵均落入本发明的保护范围。

优选的，本发明获取标准3D人体模型向红外图像转换时的第一映射矩阵的方法包括：

S510，根据KP和EP在红外图像中的坐标，以及NKP和NEP在标准3D人体模型中的坐标得到初始映射矩阵。

S520，利用所述初始映射矩阵对NKP进行转换得到KP¹＝(kp¹ ₁，kp¹ ₂，…，kp¹ _N)，kp¹ _i为利用所述初始映射矩阵对nkp_i进行转换得到像素点。

S530，遍历KP¹和KP，如果kp¹ _i与kp_i的距离大于设定距离，则将KP中kp_i剔除，得到更新后的KP。

S540，利用所述初始映射矩阵对NEP进行转换得到EP¹＝(ep¹ ₁，ep¹ ₂，…，ep¹ _N)，ep¹ _i为利用所述初始映射矩阵对nep_i进行转换得到像素点。

S550，遍历EP¹和EP，如果ep¹ _j与ep_j的距离大于设定距离，则将EP中ep_j剔除，得到更新后的EP。

S560，获取标准3D人体模型中与更新后的KP对应的人体的关键点，以及获取标准3D人体模型中与更新后的EP对应的人体的边缘点。

S570，根据更新后的KP和更新后的EP在红外图像中的坐标，以及更新后的KP对应的人体的关键点和更新后的EP对应的人体的边缘点在标准3D人体模型中的坐标得到更新后的映射矩阵。

S580，利用更新后的映射矩阵执行步骤S520-S570，以此循环，直至更新后的KP和更新后的EP不再更新或者循环次数达到设定次数，将不再更新的映射矩阵记为第一映射矩阵。

根据本发明，S530和S550中剔除的是一些可能识别不准确的关键点和边缘点，由此按照本发明上述方法获取的第一映射矩阵更为准确，有利于更准确地获取S800中的A。

S600，获取标准3D人体模型中的目标区域NTS＝(nts₁，nts₂，…，nts_Q)，nts_r为目标区域中的第r个点，r的取值范围为1到Q，Q为目标区域中的点的总数量。

本发明的目的在于识别红外图像中人体的特定区域，即识别红外图像中与标准3D人体模型的目标区域相对应的区域。应当理解的是，若想要识别红外图像中的心脏区域，那么标准3D人体模型的目标区域为心脏区域。

S700，遍历NTS，获取B＝((x₁,y₁)，(x₂,y₂)，…，(x_Q,y_Q))，x_r＝round(xts_r)和y_r＝round(yts_r)，xts_r为利用所述第一映射矩阵将nts_r进行转换后得到的横坐标，yts_r为利用所述第一映射矩阵将nts_r进行转换后得到的纵坐标，round为取整。

根据本发明，红外图像中人体的像素点的二维坐标是整数，标准3D人体模型中点的坐标也为整数，但是可能存在标准3D人体模型中点经坐标转换后的二维坐标不是整数的情况。鉴于此，本发明对NTS转换后的二维坐标进行了取整处理，以使取整处理后的坐标能够与红外图像中坐标匹配。

S800，遍历B和红外图像中的像素点P＝(p₁，p₂，…，p_T)，如果xp_k＝x_r且yp_k＝y_r，则将p_k追加到A，p_k为P中第k个像素点，xp_k和yp_k分别为p_k的横坐标和纵坐标，k的取值范围是1到T，T为P中像素点的总数量，A的初始化为Null。

根据本发明，A即是红外图像中与标准3D人体模型中目标区域对应的区域的像素点的集合。由此，本发明得到了红外图像中与标准3D人体模型中目标区域对应的区域。

S900，在所述红外图像上呈现A的凸包。

根据本发明，在所述红外图像上呈现A的凸包的方法包括：

S910，遍历A＝(p_a,1，p_a,2，…，p_a,E)，获取A中纵坐标最小的像素点p_y,min＝(x’，y’)，p_a,e为第e个追加到A中的像素点，e的取值范围为1到E，E为A中像素点的总数量；所述红外图像中沿向上方向为纵轴正方向。

根据本发明，p_y,min为A中在红外图像中位置最低的像素点。如果出现了A中纵坐标最小的像素点有2个以上的情况，从中任选一个像素点作为p_y,min即可。

S920，遍历A，如果p_a,e≠p_y,min，则将J_e追加到J，J_e为a_e与红外图像的横轴之间的角度，a_e为以p_y,min为起点，以p_a,e为终点的向量，J的初始化为Null。

根据本发明，J_e的值域范围为：[0,π]。

S930，遍历J，如果存在J_e1＝J_e2且d_e1<d_e2，则保留J中p_a,e2对应的J_e2，剔除J中p_a,e1对应的J_e1，得到更新后的J；J_e1为a_e1与红外图像的横轴的角度，a_e1为以p_y,min为起点，以p_a,e1为终点的向量，p_a,e1为第e1个追加到A中的像素点，d_e1为p_a,e1与p_y,min的距离；J_e2为a_e2与红外图像的横轴的角度，a_e2为以p_y,min为起点，以p_a,e2为终点的向量，p_a,e2为第e2个追加到A中的像素点，d_e2为p_a,e2与p_y,min的距离。

应当理解的是，如果J中存在3个以上像素点对应的角度相同的情况，那么更新后的J中也只保留与p_y,min的距离最大的像素点对应的角度，具体可通过不断重复S930直至更新后的J中不再存在像素点对应的角度相同的情况实现，然后再执行S940。

本领域技术人员知悉，利用现有技术中任意计算两点之间距离的方法获取本发明的d_e1和d_e2均落入本发明的保护范围。作为现有技术中的一种计算两点之间距离的方法，d_e1＝(x_e1-x’)²+(y_e1-y’)²，x_e1和y_e1分别为p_a,e1的横坐标和纵坐标；d_e2＝(x_e2-x’)²+(y_e2-y’)²，x_e2和y_e2分别为p_a,e2的横坐标和纵坐标。

S940，将更新后的J对应的像素点和p_y,min的像素值替换为预设像素值。

应当理解的是，如果A中某像素点对应的角度在更新后的J中，那么A中该像素点即属于更新后的J对应的像素点。可选的，预设像素值为指示黑色或白色或红色的像素值。由此，本发明实现了在二维红外图像中对与标准3D人体模型中目标区域对应的区域的呈现。

本发明实施例还提供了一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行本发明实施例所述的方法。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种红外图像和标准3D人体模型的处理方法，其特征在于，包括以下步骤：

S100，获取红外图像中人体的关键点KP＝(kp₁，kp₂，…，kp_N)，kp_i为红外图像中人体的第i个关键点，i的取值范围是1到N，N为红外图像中人体的关键点的总数量；

S200，获取红外图像中人体的边缘点EP＝(ep₁，ep₂，…，ep_M)，ep_j为红外图像中人体的第j个边缘点，j的取值范围是1到M，M为红外图像中人体的边缘点的总数量；

S300，获取标准3D人体模型中人体的关键点NKP＝(nkp₁，nkp₂，…，nkp_N)，nkp_i为标准3D人体模型中与kp_i对应的关键点；

S400，获取标准3D人体模型中人体的边缘点NEP＝(nep₁，nep₂，…，nep_M)，nep_j为标准3D人体模型中与ep_j对应的边缘点；

S500，获取标准3D人体模型向红外图像转换时的第一映射矩阵，所述第一映射矩阵根据KP和EP在红外图像中的坐标，以及NKP和NEP在标准3D人体模型中的坐标得到；

S600，获取标准3D人体模型中的目标区域NTS＝(nts₁，nts₂，…，nts_Q)，nts_r为目标区域中的第r个点，r的取值范围为1到Q，Q为目标区域中的点的总数量；

S700，遍历NTS，获取B＝((x₁,y₁)，(x₂,y₂)，…，(x_Q,y_Q))，x_r＝round(xts_r)和y_r＝round(yts_r)，xts_r为利用所述第一映射矩阵将nts_r进行转换后得到的横坐标，yts_r为利用所述第一映射矩阵将nts_r进行转换后得到的纵坐标，round为取整；

S800，遍历B和红外图像中的像素点P＝(p₁，p₂，…，p_T)，如果xp_k＝x_r且yp_k＝y_r，则将p_k追加到A，p_k为P中第k个像素点，xp_k和yp_k分别为p_k的横坐标和纵坐标，k的取值范围是1到T，T为P中像素点的总数量，A的初始化为Null；

S900，在所述红外图像上呈现A的凸包。

2.根据权利要求1所述的方法，其特征在于，S900中，在所述红外图像上呈现A的凸包的方法包括：

S910，遍历A＝(p_a,1，p_a,2，…，p_a,E)，获取A中纵坐标最小的像素点p_y,min＝(x’，y’)，p_a,e为第e个追加到A中的像素点，e的取值范围为1到E，E为A中像素点的总数量；所述红外图像中沿向上方向为纵轴正方向；

S920，遍历A，如果p_a,e≠p_y,min，则将J_e追加到J，J_e为a_e与红外图像的横轴之间的角度，a_e为以p_y,min为起点，以p_a,e为终点的向量，J的初始化为Null；

S930，遍历J，如果存在J_e1＝J_e2且d_e1<d_e2，则保留J中p_a,e2对应的J_e2，剔除J中p_a,e1对应的J_e1，得到更新后的J；J_e1为a_e1与红外图像的横轴的角度，a_e1为以p_y,min为起点，以p_a,e1为终点的向量，p_a,e1为第e1个追加到A中的像素点，d_e1为p_a,e1与p_y,min的距离；J_e2为a_e2与红外图像的横轴的角度，a_e2为以p_y,min为起点，以p_a,e2为终点的向量，p_a,e2为第e2个追加到A中的像素点，d_e2为p_a,e2与p_y,min的距离；

S940，将更新后的J对应的像素点和p_y,min的像素值替换为预设像素值。

3.根据权利要求2所述的方法，其特征在于，d_e1＝(x_e1-x’)²+(y_e1-y’)²，x_e1和y_e1分别为p_a,e1的横坐标和纵坐标；d_e2＝(x_e2-x’)²+(y_e2-y’)²，x_e2和y_e2分别为p_a,e2的横坐标和纵坐标。

4.根据权利要求1所述的方法，其特征在于，S400中，获取标准3D人体模型中人体的边缘点NEP的方法包括：

S410，获取标准3D人体模型中人体的初始边缘点PNEP＝(pnep₁，pnep₂，…，pnep_M0)，pnep_f为PNEP中第f个初始边缘点，f的取值范围为1到M0，M0为PNEP中初始边缘点的总数量；

S420，获取红外图像向标准3D人体模型转换时的第二映射矩阵，所述第二映射矩阵根据KP在红外图像中的坐标和NKP在标准3D人体模型中的坐标得到；

S430，获取NEP’＝(nep’₁，nep’₂，…，nep’_M)，nep’_j为利用所述第二映射矩阵将ep_j进行转换后得到的边缘点；

S440，遍历NEP’，获取NEP＝(nep₁，nep₂，…，nep_M)，nep_j为PNEP中与nep’_j距离最近的初始边缘点。

5.根据权利要求1所述的方法，其特征在于，KP为用户输入或计算机自动识别的穴位所在红外图像中位置的关键点。

6.根据权利要求1所述的方法，其特征在于，目标区域为用户输入或计算机自动识别的心脏区域。

7.根据权利要求1所述的方法，其特征在于，S100中，利用第一卷积神经网络识别可见光图像中的关键点，得到红外图像中人体的关键点KP，所述可见光图像与所述红外图像具有相同的拍摄视角。

8.根据权利要求1所述的方法，其特征在于，S100中，利用第二卷积神经网络识别红外图像中的关键点，得到红外图像中人体的关键点KP。

9.根据权利要求1所述的方法，其特征在于，S200中，利用边缘检测算法获取红外图像中人体的边缘点EP。

10.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-9中任意一项的所述方法。