CN109242773A - 一种热红外图像的拼接方法及部位划分方法 - Google Patents
一种热红外图像的拼接方法及部位划分方法 Download PDFInfo
- Publication number
- CN109242773A CN109242773A CN201810993095.XA CN201810993095A CN109242773A CN 109242773 A CN109242773 A CN 109242773A CN 201810993095 A CN201810993095 A CN 201810993095A CN 109242773 A CN109242773 A CN 109242773A
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- thermal infrared
- lower half
- infrared images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005304 joining Methods 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 4
- 210000000746 body region Anatomy 0.000 claims 1
- 230000000630 rising effect Effects 0.000 claims 1
- 230000036760 body temperature Effects 0.000 abstract description 6
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004451 qualitative analysis Methods 0.000 abstract description 2
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 210000000707 wrist Anatomy 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 210000003423 ankle Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000002683 foot Anatomy 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种热红外图像的拼接方法及部位划分方法。其中，热红外图像的拼接方法，包括如下步骤：S1、对人体上、下半身的热红外图像进行局部阈值分割，得到人体上、下半身的二值图像；S2、利用二值模板对人体上、下半身的二值图像进行匹配，并利用灰度模板对人体上、下半身的灰度图像进行对齐和拼接，得到人体热红外图像。本发明热红外图像的拼接方法，拼接的图像效果好，能有效支持人体温度分布的定量及定性分析，为医疗提供智能化辅助诊断的依据。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种热红外图像的拼接方法及部位划分方法。
背景技术
人体医学热红外图像由红外相机采集，相机能接收7～14μm范围内的红外辐射。根据斯特藩-玻尔兹曼(Stefan-Boltzmann)定律，一个黑体表面单位面积在单位时间内辐射出的总能量(称为物体的辐射度或能量通量密度)与黑体本身的热力学温度(又称绝对温度)的四次方成正比。因此，红外相机在经过标定后，所采集的图像能够定量地反映温度分布。人体细胞呼吸产生热量，皮肤通过传导、对流和辐射向外传递热量，体内的产热和体外热量散失互相平衡；人体在健康情况下体表温度分布趋于平衡，并具有较好的左右对称性；如果某器官发生病变，新陈代谢和血液流动出现问题，会导致局部区域温度偏高或偏低。因此，红外热图像分析可为人体健康状况提供有效的辅助诊断依据。
人体红外热图像一般在密闭舱体空间利用一个红外相机采集，该密闭空间内的温度通过空调调节，环境温度控制在22～25℃范围内。由于需要获取人体在各个角度下的红外图像，为此人静止站立在地面转台上，并按照系统提示做出双手抱头和下垂等动作。由于舱体空间的限制，红外相机只能通过上下移动分别采集人体的上半身和下半身图像。为节省采集时间，系统先采集各种手臂姿势下的上半身图像，然后将相机下降一定高度后，采集各种手臂姿势下的下半身图像。红外相机通过移动采集人体的上、下半身图像，两幅半身图像之间存在重叠区域。但是，由于采集时间较长，且在此过程中人体姿势有调整，人体两幅半身图像中存在水平偏移，同时手臂姿态也存在一些差异。为了对全身人体红外图像进行温度分析，需要对上、下半身图像做全身拼接以及部位划分预处理。
图像拼接与图像配准问题相关，在可见光场景图像中往往含有丰富纹理信息，可以通过SIFT或SURF等特征点检测进行图像配准。然而，人体红外图像分辨率有限，对比度低，没有明显纹理，因此无法采用特征点检测方法。
另外，人体的部位划分以图像分割为前提，图像分割(二值化)的目标是将红外图像像素划分成人体和背景两类。考虑红外图像人体温度高于环境温度的特点，采用阈值分割方法比较合适，其优点是计算简单、运算效率高。最大类间方差算法是一种普遍采用的图像分割方法，设阈值T将图像像素分为两类，每类的灰度平均值分别为μ0和μ1，概率分别为ω0和ω1，则在该阈值T下的类间方差为：
σ2(T)＝ω0(μ0-μ)2+ω1(μ1-μ)2 (1)
其中μ＝ω0μ0+ω1μ1。类间方差σ2(T)度量了背景和目标之间的差异，最佳阈值T*需要使得类间方差最大化，即：
然而，红外图像中的人体温度分布并不单一，背景温度在水平方向相似，而在垂直方向存在渐变，全局阈值并不适用。
发明内容
基于现有技术中存在的上述不足，本发明提供一种热红外图像的拼接方法及部位划分方法。
为了达到上述发明目的，本发明采用以下技术方案：
一种热红外图像的拼接方法，包括如下步骤：
S1、对人体上、下半身的热红外图像进行局部阈值分割，得到人体上、下半身的二值图像；
S2、利用二值模板对人体上、下半身的二值图像进行匹配，并利用灰度模板对人体上、下半身的灰度图像进行对齐和拼接，得到人体热红外图像。
作为优选方案，所述步骤S2包括：
S21、在人体上、下半身的二值图像中分别确定上、下半身的重叠区域的起始图像行；
S22、消除上、下半身的灰度图像之间的水平偏移；
S23、通过匹配特征点进行手臂配准。
作为优选方案，所述步骤S21包括：根据手部和躯干区域的水平长度匹配规则，在二值图像中确定上、下半身的重叠区域的起始图像行。
作为优选方案，所述二值模板利用人体腰部以及手臂的宽度，在上、下半身的二值图像中分别进行逐行扫描，并分别计算每一行左臂、腰部、右臂线段宽度，接着在上半身的二值图像中搜索与下半身的二值图像最相似的区域或在下半身的二值图像中搜索与上半身的二值图像最相似的区域，实现上、下半身的灰度图像的竖直方向对齐。
作为优选方案，所述步骤S22包括：按照躯干配准有限规则，通过灰度模板匹配消除上、下半身图像之间的水平偏移。
作为优选方案，所述步骤S23包括：在上、下半身的二值图像中确定腰部的边缘点和手臂的边缘点作为特征点进行匹配，通过几何映射将下半身的灰度图像的手臂像素映射至与上半身的灰度图像一致的位置或通过几何映射将上半身的灰度图像的手臂像素映射至与下半身的灰度图像一致的位置。
作为优选方案，所述对人体上、下半身的热红外图像进行局部阈值分割，包括：对人体上、下半身的热红外图像的每行像素k确定相应的阈值，k为正整数，表示第k行。
本发明还提供一种如上任一方案所述拼接方法得到的人体热红外图像的部位划分方法，包括如下步骤：
S10、对人体热红外图像的二值图像进行水平扫描或者竖直扫描以得到区域轮廓线；
S20、对区域轮廓线梯度进行极值点检测以得到区域划分的关键点；
S30、利用关键点将人体划分为若干区域。
作为优选方案，所述步骤S10包括：以人体的中轴线作为起始位置，分别向左右两侧扫描白色像素，计算白色像素结束的边界距离曲线以获取人体侧面的轮廓信息；还以人体的下半身的二值图像的起始行作为起始位置，竖直向下扫描白色像素，计算白色像素结束的边界距离曲线以获取人体腿部的轮廓信息。
作为优选方案，所述关键点包括脖子端点、腋窝点和裆部点，脖子端点为头部轮廓线与肩部轮廓线交界处的极小值点，腋窝点为轮廓曲线迅速下降点，裆部点为腿部内侧轮廓线交界处的极小值点。函数极小值点可以通过导数过零点计算，曲线迅速下降点可以通过切线斜率计算，利用梯度域求解较为简单。
作为优选方案，所述步骤30包括：采用形态学腐蚀操作对人体的手部和脚部进行划分。由于手腕和脚腕宽度较小，采用形态学腐蚀操作，可以将手部或者脚部与人体分离。不断地进行腐蚀操作，当白色区域第一次出现断裂，获得手腕或脚腕关键点位置。最后确定分割线斜率，分割手腕或脚腕。
本发明与现有技术相比，有益效果是：针对现有的人体红外图像数据，提出的上、下半身热红外图像的拼接以及人体部位划分两种预处理方法，充分利用了人体热红外图像的灰度特性和轮廓特性，图像的拼接及部位划分效果好，能有效支持人体温度分布的定量及定性分析，为医疗提供智能化辅助诊断的依据。
附图说明
图1是红外图像采集系统和人体红外图像，其中，(a)舱体和工作台，(b)上半身灰度和伪彩色图像，(c)下半身灰度和伪彩色图像；
图2是本发明实施例的人体热红外图像的预处理方法流程图；
图3是图像分割结果对比图，其中，(a)原图，(b)本发明实施例的局部阈值算法，(c)全局阈值算法，(d)参考文献提出的自适应阈值算法；
图4是模板匹配过程图，(a)上下半身图像，(b)二值模板匹配，(c)灰度模板匹配，(d)图像拼接结果；(e)图像融合结果；
图5是本发明实施例的部位划分方法的过程示意图，(a)原图，(b)二值图及关键点，(c)部位划分初步结果，(d)区域划分最终结果；
图6是本发明实施例的寻找关键点的曲线分析示例，(a)二值图像的中轴线至边界扫描示意图，(b)中轴线至边界的距离图，(c)中轴线至边界的距离梯度图；
图7是本发明实施例的手部划分过程示意图及最终划分结果；
图8是三组样本的图像拼接及区域划分结果。
图9是某男性人体的区域温度统计示例图。
图10是某女性人体的区域温度统计示例图。
具体实施方式
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
人体红外热图像一般在图1(a)所示的密闭舱体空间利用一个红外相机采集，采集的上下半身灰度和伪彩色图像如图1(b)、(c)所示。在灰度图像中，像素亮度越大意味着温度越高。在伪彩色图像中，温度高低分别用红色和蓝色表示，有助于医生对人体温度分布的直观可视化。
参见图2，本发明实施例的热红外图像的拼接方法，包括以下几个步骤：
S1、根据图像采集的环境特性，对人体的上、下半身的热红外图像进行水平带状区域的局部阈值分割，得到人体上、下半身的二值图像。其中，局部阈值分割算法的基本思路是对每行像素k确定相应的阈值，k为正整数，表示第k行。优选地，为了提高局部阈值估计的鲁棒性，将与第k行相邻的上下各K行像素组成局部区域，根据公式：确定该行的阈值大量实际图像测试表明，当10≤K≤40时，阈值的估计值都比较稳定。不失一般性地，本实施例取K＝25。图3表明本实施例提出的局部阈值算法能有效划分人体和背景像素，而全局阈值由于受到背景温度影响，在手指和脚掌部分存在误分割。由于红外图像的特殊性，文献【Bradley D,Roth G.Adaptivethresholding using the integral image[J].Journal of graphics tools,2007,12(2):13-21.】提出的自适应阈值方法并不能取得满意的图像分割结果。
S2、利用二值模板和灰度模板对人体上、下半身的图像进行对齐和拼接，得到人体热红外图像。具体地，该步骤包括：
S21、在人体上、下半身的二值图像中分别确定上、下半身的重叠区域的起始图像行；根据手部和躯干区域的水平长度匹配原则，在二值图像中确定上下半身的重叠区域起始图像行。红外相机通过移动采集人体的上、下半身的热红外图像，两幅半身热红外图像之间存在重叠区域。二值模板匹配利用的信息是人体腰部以及手臂的宽度，实现上、下半身图像的竖直方向对齐。设上半身红外图像为搜索图像S，截取下半身图像起始N(本实施例取N＝10)行子图像为模板图像T。为了计算腰部和手臂的宽度，对上、下半身的热红外图像进行步骤S1所述的局部阈值分割，分别得到二值图像。如图4(b)所示，在上、下半身的二值图像中分别进行逐行扫描，并分别计算每一行左臂、腰部、右臂线段宽度，接着在上半身的二值图像中搜索与下半身的模板图像最相似的区域，实现上、下半身的灰度图像的竖直方向对齐；具体地，令第i行上的左臂、腰部、右臂线段宽度为和组成向量并进一步组成矩阵L＝(l1，l2，...，lN)T，其包含了N行图像的宽度信息。
在上半身的二值图像中搜索与模板二值图像最相似的区域。将第k行作为起始行，同样取N行子图像，计算其与模板二值图像的相似度，遍历k值最小化相似度求得匹配的起始行k*，即
其中为Frobenius范数。
S22、消除上、下半身图像之间的水平偏移；具体地，按照躯干配准有限原则，通过灰度模板匹配消除半身图像之间的水平偏移。基于步骤S21的二值图像的匹配，保证了两幅图像竖直方向对齐，手臂宽度和腰部宽度最为接近。因上下半身图像还存在水平位移，采用灰度模板匹配方法继续处理。为了对齐腰部区域，手臂部分像素暂不考虑，实际计算区域如图4(c)中的红色区域所示。设S′j是上半身灰度图像S水平位移距离j得到的平移图像，则最佳位移j*通过最小化S′j与灰度模板T之间的差异来求出：
式中，Ω为平移图像与模板图像直接的重叠区域，|Ω|为重叠区域Ω中的像素数量，m为重叠区域中的像素位置。然后将上半身图像水平位移j*得到最佳的平移图像，腰部区域实现对齐。
S23、通过匹配特征点进行手臂配准，包括：在上、下半身的二值图像中确定腰部的边缘点和手臂的边缘点作为特征点进行匹配，通过几何映射将下半身的灰度图像的手臂像素映射至与上半身的灰度图像一致的位置或通过几何映射将上半身的灰度图像的手臂像素映射至与下半身的灰度图像一致的位置。如图4(d)所示，在二值图像上确定腰部的边缘点和手臂的边缘点作为匹配的特征点，通过几何映射将下半身图像的全部像素映射到和上半身图像一致的位置。具体步骤是：首先通过三次样条插值对匹配点所在行(即下半身的第一行)的所有像素进行位置映射；然后固定下半身图像最后一行位置不变，采用线性插值建立整幅图像的映射变换。
优选地，本实施例的拼接方法还可以包括：对拼接后的全身图像进行加权融合。由于经过对齐的两幅图像可能存在亮度差异，差异产生的原因是红外相机上下移动后，同一人体位置的辐射在红外传感器不同位置成像，当传感器各单元响应特性存在不一致时，直接进行图像拼接可能会在匹配行引入一条明暗交界线。本实施例通过对重叠的N行(取N＝10)像素进行加权融合方式来解决这个问题。加权矩阵W中各元素Wi，j＝cos(π/2×j/N)，每一行元素的三角函数值相等。设上、下半身重叠区域图像分别为I1和I2，融合图像为
式中，表示矩阵中对应元素相乘，矩阵1中所有元素值都为1。经加权融合后的上下半身图像拼接结果如图4(e)所示。
作为优选实施例，还可以设下半身红外图像为搜索图像S，截取上半身图像起始N(本实施例取N＝10)行子图像为模板图像T。为了计算腰部和手臂的宽度，对上、下半身的热红外图像进行步骤S1所述的局部阈值分割，分别得到二值图像；在上、下半身的二值图像中分别进行逐行扫描，并分别计算每一行左臂、腰部、右臂线段宽度，接着在下半身的二值图像中搜索与上半身的模板图像最相似的区域，实现上、下半身的灰度图像的竖直方向对齐。
本发明实施例还提供一种人体热红外图像的部位划分方法，基于本发明拼接后的全身图像，参见图2、图5，该方法包括以下几个步骤：
S10、对人体热红外图像的二值图像进行水平扫描或者竖直扫描以得到区域轮廓线；具体地，通过对人体图像的左右人体区域扫描得到区域轮廓线，其中，以上半身图像为例分析关键点的位置定位。首先利用对称性计算人体的中轴线，从人体的中轴线出发，分别向左右两边扫描白色像素，计算白色像素结束的边界距离曲线d(x)。图6(a)给出了左侧扫描的一个示例。为了消除距离曲线上的量化台阶及可能存在的毛刺，对距离数据进行高斯平滑得到dσ(x)，其中，σ为高斯平滑的标准差，本实施例取σ＝1。距离曲线如图6(b)所示，其相当于将人体的轮廓线(部分手臂除外)旋转了90度。
S20、对区域轮廓线梯度进行极值点检测以得到区域划分的关键点；关键点包括脖子端点、腋窝点和裆部点，脖子端点(横坐标为)为头部轮廓线与肩部轮廓线交界处的极小值点，腋窝点(横坐标为)为距离曲线迅速下降点。函数极小值点可以通过导数过零点计算，曲线迅速下降点可以通过切线斜率计算。为了计算这两个关键点位置，对距离曲线求梯度值梯度曲线如图6(c)。脖子端点对应的导数(梯度)为零。另外，在该点右侧由于肩部轮廓曲线不断上升，存在一个极大值，其横坐标为xmax。由以上两个条件可以确定脖子端点的位置
在梯度域中确定腋窝点则较为简单，取梯度极小值对应的点即可。
裆部关键点定位在通过竖直方向扫描计算得到，具体与上述过程类似，不再赘述。
S30、利用关键点将人体划分为若干区域。具体地，将人体分割成头部、躯干、四肢等区域，可以对这些区域进行温度统计分析。如图6(c)所示，脖子两侧端点通过弧线相连，该弧线为脖子端点的三次多项式曲线，分隔头部与上半身。腋窝点向上以斜率k1划线，分割手臂与上半身，本实施例取经验值k1＝3k，其中k为该侧脖子端点与腋窝点连线的斜率。裆部点向上以斜率k2划线，分割腿部与上半身，本实施例取k2＝±0.5。
接着以手腕和脚腕为分界线，进行手部和脚部的划分。由于手腕和脚腕宽度较小，采用形态学腐蚀操作，可以将手部或者脚部与人体分离。如图7(a)所示，首先利用形态学开操作去除手指部分，保证手腕处的宽度最小。然后不断地进行腐蚀操作，其过程如图7(b)、7(c)、7(d)所示，当白色区域第一次出现断裂，手臂连通域的最上方红点即为手腕关键点。为了确定手腕分割线斜率，首先提取手臂骨架，然后通过关键点画一条与骨架垂直的线，即为区域分割线，如图7(e)、7(f)、7(g)所示。最后将人体躯干区域按传统中医的上中下“三焦”概念按比例分成如图7(h)所示的六个区域。
图8展示了三组样本的图像处理结果。可以看到，三组红外图像均获得了较好的图像拼接及区域划分结果。图8(a)上下半身图像存在手臂位置偏移的情况，拼接后获得了理想的对齐结果；图8(b)下半身图像左手臂与身体贴合，而拼接和区域划分结果没有受此影响；图8(c)展示了一组女性红外人体图像处理结果，验证了本发明提出的图像预处理算法同样适用于女性。
进一步的，通过人体红外图像的区域分割，进行人体部位温度统计分析。图9和图10展示了两组图像的温度分析结果，每组从左到右依次为上下半身灰度图像、全身伪彩色图像、区域平均温度伪彩色图像、区域温度统计表。可以直观地发现，图9中人体的左右腿部温度差异较大，头部温度低于躯干上部温度。图10中人体的上半身左右区域温度差异较大，头部为整个人体最高温度区域。这些区域温度统计可以为医生疾病诊断提供辅助信息。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。
Claims (10)
1.一种热红外图像的拼接方法，其特征在于，包括如下步骤：
S1、对人体上、下半身的热红外图像进行局部阈值分割，得到人体上、下半身的二值图像；
S2、利用二值模板对人体上、下半身的二值图像进行匹配，并利用灰度模板对人体上、下半身的灰度图像进行对齐和拼接，得到人体热红外图像。
2.根据权利要求1所述的一种热红外图像的拼接方法，其特征在于，所述步骤S2包括：
S21、在人体上、下半身的二值图像中分别确定上、下半身的重叠区域的起始图像行；
S22、消除上、下半身的灰度图像之间的水平偏移；
S23、通过匹配特征点进行手臂配准。
3.根据权利要求2所述的一种热红外图像的拼接方法，其特征在于，所述步骤S21包括：根据手部和躯干区域的水平长度匹配规则，在二值图像中确定上、下半身的重叠区域的起始图像行。
4.根据权利要求3所述的一种热红外图像的拼接方法，其特征在于，所述二值模板利用人体腰部以及手臂的宽度，在上、下半身的二值图像中分别进行逐行扫描，并分别计算每一行左臂、腰部、右臂线段宽度，接着在上半身的二值图像中搜索与下半身的二值图像最相似的区域或在下半身的二值图像中搜索与上半身的二值图像最相似的区域，实现上、下半身的灰度图像的竖直方向对齐。
5.根据权利要求2所述的一种热红外图像的拼接方法，其特征在于，所述步骤S22包括：按照躯干配准有限规则，通过灰度模板匹配消除上、下半身的灰度图像之间的水平偏移。
6.根据权利要求2所述的一种热红外图像的拼接方法，其特征在于，所述步骤S23包括：在上、下半身的二值图像中确定腰部的边缘点和手臂的边缘点作为特征点进行匹配，通过几何映射将下半身的灰度图像的手臂像素映射至与上半身的灰度图像一致的位置或通过几何映射将上半身的灰度图像的手臂像素映射至与下半身的灰度图像一致的位置。
7.根据权利要求1-6任一项所述的一种热红外图像的拼接方法，其特征在于，所述对人体上、下半身的热红外图像进行局部阈值分割，包括：对人体上、下半身的热红外图像的每行像素k确定相应的阈值，k为正整数，表示第k行。
8.一种如权利要求1-7任一项所述拼接方法得到的人体热红外图像的部位划分方法，其特征在于，包括如下步骤：
S10、对人体热红外图像的二值图像进行水平扫描或者竖直扫描以得到区域轮廓线；
S20、对区域轮廓线梯度进行极值点检测以得到区域划分的关键点；
S30、利用关键点将人体划分为若干区域。
9.根据权利要求8所述的部位划分方法，其特征在于，所述步骤S10包括：以人体的中轴线作为起始位置，分别向左右两侧扫描白色像素，计算白色像素结束的边界距离曲线以获取人体侧面的轮廓信息；还以人体的下半身的二值图像的起始行作为起始位置，竖直向下扫描白色像素，计算白色像素结束的边界距离曲线以获取人体腿部的轮廓信息。
10.根据权利要求8所述的部位划分方法，其特征在于，所述步骤30包括：采用形态学腐蚀操作对人体的手部和脚部进行划分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810993095.XA CN109242773B (zh) | 2018-08-29 | 2018-08-29 | 一种热红外图像的拼接方法及部位划分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810993095.XA CN109242773B (zh) | 2018-08-29 | 2018-08-29 | 一种热红外图像的拼接方法及部位划分方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109242773A true CN109242773A (zh) | 2019-01-18 |
| CN109242773B CN109242773B (zh) | 2023-06-09 |
Family
ID=65068686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810993095.XA Active CN109242773B (zh) | 2018-08-29 | 2018-08-29 | 一种热红外图像的拼接方法及部位划分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242773B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111538970A (zh) * | 2020-07-08 | 2020-08-14 | 德能森智能科技（成都）有限公司 | 一种基于智能化物联网的云平台系统 |
| CN111798560A (zh) * | 2020-06-09 | 2020-10-20 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
| CN111986168A (zh) * | 2020-08-07 | 2020-11-24 | 中国农业大学 | T形分支的双耳根检测与最佳耳根测温帧检测方法及系统 |
| CN112581426A (zh) * | 2020-11-06 | 2021-03-30 | 上海达适医疗科技有限公司 | 一种红外热成像图像的左右腿识别方法 |
| CN112648935A (zh) * | 2020-12-14 | 2021-04-13 | 杭州思锐迪科技有限公司 | 一种图像处理方法、装置和三维扫描系统 |
| CN113974420A (zh) * | 2021-10-29 | 2022-01-28 | 添可智能科技有限公司 | 智能烹饪设备控制方法及智能烹饪设备 |
| CN114119722A (zh) * | 2020-08-26 | 2022-03-01 | 武汉高德智感科技有限公司 | 一种黑体光标自动定位方法及装置 |
| WO2022061899A1 (zh) * | 2020-09-28 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 红外图像处理方法、装置及红外相机 |
| CN114565612A (zh) * | 2022-04-29 | 2022-05-31 | 惠州威尔高电子有限公司 | 一种基于图像对比的pcb板u型槽加工异常检测方法 |
| CN115381440A (zh) * | 2022-09-30 | 2022-11-25 | 广东工业大学 | 一种床边跌倒检测方法 |
| CN115471874A (zh) * | 2022-10-28 | 2022-12-13 | 山东新众通信息科技有限公司 | 基于监控视频的施工现场危险行为识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252700A (zh) * | 2014-09-18 | 2014-12-31 | 电子科技大学 | 一种红外图像的直方图均衡化方法 |
| CN106530219A (zh) * | 2016-11-07 | 2017-03-22 | 青岛海信移动通信技术股份有限公司 | 图像拼接方法及装置 |
| CN107403410A (zh) * | 2017-07-25 | 2017-11-28 | 北京华新创科信息技术有限公司 | 一种热红外图像的拼接方法 |
-
2018
- 2018-08-29 CN CN201810993095.XA patent/CN109242773B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252700A (zh) * | 2014-09-18 | 2014-12-31 | 电子科技大学 | 一种红外图像的直方图均衡化方法 |
| CN106530219A (zh) * | 2016-11-07 | 2017-03-22 | 青岛海信移动通信技术股份有限公司 | 图像拼接方法及装置 |
| CN107403410A (zh) * | 2017-07-25 | 2017-11-28 | 北京华新创科信息技术有限公司 | 一种热红外图像的拼接方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798560A (zh) * | 2020-06-09 | 2020-10-20 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
| CN111798560B (zh) * | 2020-06-09 | 2023-09-01 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
| CN111538970A (zh) * | 2020-07-08 | 2020-08-14 | 德能森智能科技（成都）有限公司 | 一种基于智能化物联网的云平台系统 |
| CN112347449A (zh) * | 2020-07-08 | 2021-02-09 | 德能森智能科技（成都）有限公司 | 一种不涉及隐私的云平台管理系统 |
| CN111986168A (zh) * | 2020-08-07 | 2020-11-24 | 中国农业大学 | T形分支的双耳根检测与最佳耳根测温帧检测方法及系统 |
| CN111986168B (zh) * | 2020-08-07 | 2024-03-15 | 中国农业大学 | T形分支的双耳根检测与最佳耳根测温帧检测方法及系统 |
| CN114119722B (zh) * | 2020-08-26 | 2022-12-13 | 武汉高德智感科技有限公司 | 一种黑体光标自动定位方法及装置 |
| CN114119722A (zh) * | 2020-08-26 | 2022-03-01 | 武汉高德智感科技有限公司 | 一种黑体光标自动定位方法及装置 |
| WO2022061899A1 (zh) * | 2020-09-28 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 红外图像处理方法、装置及红外相机 |
| CN112581426A (zh) * | 2020-11-06 | 2021-03-30 | 上海达适医疗科技有限公司 | 一种红外热成像图像的左右腿识别方法 |
| CN112648935A (zh) * | 2020-12-14 | 2021-04-13 | 杭州思锐迪科技有限公司 | 一种图像处理方法、装置和三维扫描系统 |
| CN113974420A (zh) * | 2021-10-29 | 2022-01-28 | 添可智能科技有限公司 | 智能烹饪设备控制方法及智能烹饪设备 |
| CN113974420B (zh) * | 2021-10-29 | 2023-02-17 | 添可智能科技有限公司 | 智能烹饪设备控制方法及智能烹饪设备 |
| CN114565612A (zh) * | 2022-04-29 | 2022-05-31 | 惠州威尔高电子有限公司 | 一种基于图像对比的pcb板u型槽加工异常检测方法 |
| CN114565612B (zh) * | 2022-04-29 | 2022-07-05 | 惠州威尔高电子有限公司 | 一种基于图像对比的pcb板u型槽加工异常检测方法 |
| CN115381440A (zh) * | 2022-09-30 | 2022-11-25 | 广东工业大学 | 一种床边跌倒检测方法 |
| CN115381440B (zh) * | 2022-09-30 | 2023-05-23 | 广东工业大学 | 一种床边跌倒检测方法 |
| CN115471874A (zh) * | 2022-10-28 | 2022-12-13 | 山东新众通信息科技有限公司 | 基于监控视频的施工现场危险行为识别方法 |
| CN115471874B (zh) * | 2022-10-28 | 2023-02-07 | 山东新众通信息科技有限公司 | 基于监控视频的施工现场危险行为识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109242773B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242773A (zh) | 一种热红外图像的拼接方法及部位划分方法 | |
| Ma et al. | Infrared and visible image fusion via gradient transfer and total variation minimization | |
| CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
| CN106384383B (zh) | 一种基于fast和freak特征匹配算法的rgb-d和slam场景重建方法 | |
| CN106022213B (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| CN109758355B (zh) | 一种基于人体穴位二维图像处理和三维立体定位方法 | |
| CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| CN106056092A (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
| CN107967687B (zh) | 一种获取目标物行走姿态的方法与系统 | |
| CN110930374A (zh) | 一种基于双深度相机的腧穴定位方法 | |
| CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
| CN106709931B (zh) | 一种脸谱映射至人脸的方法、脸谱映射装置 | |
| CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
| CN107563323A (zh) | 一种视频人脸特征点定位方法 | |
| CN111881888A (zh) | 基于姿态识别的智能桌控制方法及装置 | |
| US20030235337A1 (en) | Non-rigid image registration using distance functions | |
| CN107230224A (zh) | 三维虚拟服装模型制作方法及装置 | |
| CN109753857A (zh) | 一种基于光度立体视觉成像的三维人脸识别装置及系统 | |
| CN112329699A (zh) | 一种像素级精度的人眼注视点定位方法 | |
| CN110287894A (zh) | 一种针对超广角视频的手势识别方法及系统 | |
| CN108010082A (zh) | 一种几何匹配的方法 | |
| CN110782428A (zh) | 一种用于构建临床脑部ct图像roi模板的方法及系统 | |
| CN108470178A (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| CN109285183A (zh) | 一种基于运动区域图像清晰度的多模视频图像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |