CN105354842A - 一种基于稳定区域的轮廓关键点配准与标识方法 - Google Patents

Abstract

本发明公开了一种基于稳定区域的轮廓关键点配准与标识方法，属于图像自动检测技术领域。本发明包括：采用基于直方图统计的最大稳定区域检测方法，检测机体图像的外轮廓；采用外轮廓几何不变显著点检测和区域配准方法，检测和配准各肢体区域；采用区域轮廓的配准参数估计和位置映射的方法，实现人体内部各组织和器官区域的定位和分割。本发明结合基于直方图统计的自适应阈值分割、最大稳定区域检测、区域轮廓配准和组织位置映射方法，大大地降低了最稳定区域检测的复杂度，同时增强了图像匹配算法的稳定性，提高了机体组织定位的精确性。在不同图像集上的测试结果表明，本发明的机体组织配准与定位比现有方法更加稳定、精确。

Description

一种基于稳定区域的轮廓关键点配准与标识方法

技术领域

本发明属于图像自动检测技术领域，更具体地，涉及一种基于稳定区域的轮廓关键点配准与标识方法。

背景技术

图像配准是目标检测与识别的一个非常重要的研究课题，广泛应用于医学影像疾病检测、故障图像检测和匹配导航等领域。在B超、CT、MRI、PET、SPECT以及IR等不同成像机理的医学评估图像中，除了受尺度、视点、环境、形态非线性形变等变化因素影响外，机体组织还对不同电磁信号的衰减、辐射、传导、扩散、密度等光电传感器特性也存在很大差异，同一人的不同观测图像之间存在显著的差异，这就使图像配准变得异常困难。

为了解决上述难点，基于共性稳定特征的图像配准方法是一种行之有效的方法。目前，大多数的共性不变特征检测方法都是根据共性不变特征进行关键部位检测。现有的共性不变特征检测方法可分为两类：相似变换不变和仿射变换不变。在共性不变特征检测方法中，最典型的是SIFT(Scale-InvariantFeatureTransform)不变特征和基于随机树分类器的检测方法。SIFT是Lowe提出的一种多尺度高斯差分灰度图像共性不变特征关键点检测方法，其中每个关键点对应于一个共性不变特征向量。Lepetit与Fua提出的基于随机树分类器的方法就是为参考图像中每个共性不变特征关键点训练一个随机树分类器，然后，利用这组分类器检测未知图像中对应的共性特征不变关键点，从而实现图像匹配或目标检测。此外，仿射变换不变的共性不变特征检测方法较多，Mikolajczyk等综述了相关研究成果，并给出了六种不同共性不变特征检测方法的性能比较。

在不同成像机理医学影像的疾病检测中(例如CT、MRI、B超和PET等)，虽然局部区域是纹理分布比较均匀的同质区域，但不同成像机理的医学检查图像之间存在很大的差异，其共性不变特征是机体、组织与器官的边界。此时，基于局部纹理不变特征的检测方法很难获得较好的配准效果，而MSER(MaximallyStableExtremalRegions,最大稳定极值区域)检测却能很好地检测局部灰度均匀而边缘显著的稳定区域。在相机内外参数、外部成像环境、外部形态非线性形变以及不同光电传感器特性等不同的情况下，MSER在稳定区域与边界提取方面综合性能较好。

但在利用稳定区域与边界进行图像配准时，存在以下几个需要解决的问题：(1)机体内组织的个数较多而且面积较大，稳定区域提取与计算的时间复杂度高；(2)人体各肢体区域的非刚性连接，导致机体内组织间存在非线性的几何畸变；(3)不同成像机理的组织纹理分布特征都存在很大的差异，导致机体组织的定位不准确。

因此，如何解决同一个人的不同成像机理医学影像之间存在显著的差异带来的组织辨识和定位困难(通常由于在医学影像获取过程中相机内外参数、外部成像环境、目标非线性形变以及光电传感器特性等因素不同造成)，提高组织图像辨识和定位的稳定性和实时性是亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于稳定区域的轮廓关键点配准与标识方法，其目的在于实现机体组织区域的分割和定位，解决相机内外参数、外部成像环境、目标非线性形变以及光电传感器特性等因素变化条件下机体组织区域配准和标识的稳定性和和实时性。

本发明提供一种基于稳定区域的轮廓关键点配准与标识方法，包括以下步骤：

步骤1统计人体红外图像各灰度出现的数目，得到所述人体红外图像的灰度统计直方图，并采用低通滤波方法滤除所述灰度统计直方图的毛刺；

步骤2采用直方图极大值点的分割门限区间估计方法，计算所述灰度统计直方图最稳定区域检测的最优搜索区间，包括以下子步骤：

(2-1)对于任意灰度x，如果满足h(x-1)＜h(x)≤h(x+1),则将x作为一个直方图极大值点y，从大到小搜索所有灰度x，得到直方图极大值点序列y_i，i＝0，1，...，N_y-1，N_y为极大值点的数目，然后，计算h(x)的全局最大值h_max和对应的灰度y_max，并取T₁＝h_max/3；

(2-2)对于直方图极大值点序列y_i，从左到右进行搜索，如果h(y_i-1)＜h(y_i)≤h(y_i+1)，且h(y_i)大于T₁，则y_i作为直方图左最大值点y_L；

(2-3)对于直方图极大值点序列y_i，从右到左进行搜索，如果h(y_i-1)＜h(y_i)≤h(y_i+1)，且h(y_i)大于T₁，则y_i作为直方图右最大值点y_R；

(2-4)对于直方图极大值点序列y_i，计算y_L与y_R之间的h(y_i)的最小值，其对应的灰度作为最小谷点g_opt；

(2-5)对于y_L与g_opt间的直方图极大值点序列y_i，计算h(y_i)的最大值,其对应的灰度记为y_Lopt；

(2-6)对于g_opt与y_R间的直方图极大值点序列y_i，计算h(y_i)的最大值,其对应的灰度记为y_Ropt，以[y_Lopt,y_Ropt]作为所述最优搜索区间；

步骤3采用基于门限区间内最优门限的最稳定区域检测方法，提取最大稳定区域的外轮廓；

步骤4以所述最大稳定区域的外轮廓为初始轮廓，采用基于梯度强度和几何光滑性约束的外轮廓修正方法，自适应地修正所述初始轮廓；

步骤5采用外轮廓几何不变显著点检测和区域配准方法，检测和配准人体各肢体区域；

步骤6采用区域轮廓的配准参数估计和位置映射的方法，实现人体内部各组织和器官区域的定位和分割。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明结合基于直方图统计的自适应阈值分割、最大稳定区域检测、区域轮廓配准和组织位置映射方法，大大地降低了最稳定区域检测的复杂度，同时增强了图像匹配算法的稳定性，提高了机体组织定位的精确性。在不同图像集上的测试结果表明，本发明提供方法的机体组织配准与定位比现有方法更加稳定、精确。

附图说明

图1为本发明基于稳定区的域的轮廓关键点配准与标识方法流程图；

图2为本发明红外图像灰度直方图统计示意图；

图3为本发明人体图像轮廓抽取结果图；

图4为本发明人体各肢体区域分割示意图；

图5为本发明人体各组织位置示意图；

图6为本发明人体肢体区域定位结果图；

图7为本发明人体组织位置映射结果图；

图8为本发明非人体图像稳定区域检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供一种基于稳定区域的轮廓关键点配准与标识方法，首先采用基于直方图统计的最大稳定区域检测方法检测机体红外图像的外轮廓，减小最稳定区域检测的复杂度，提高人体区域检测的稳定性；然后采用外轮廓几何不变显著点检测和区域配准方法，检测和配准人体各肢体区域，解决人体非线性形变校正难题，提高非刚性连接的各肢体区域内部组织定位的稳定性和精确性；最后采用区域轮廓的配准参数估计和位置映射的方法，实现人体内部各组织和器官区域的定位和分割，在尺度和视点变化条件下，提高机体组织定位的稳定性和精确性。

图1所示为本发明基于稳定区域的轮廓关键点配准与标识方法的流程图，具体包括以下步骤：

步骤1统计人体红外图像各灰度出现的数目，对人体红外图像直方图进行估计，并采用低通滤波方法滤除统计直方图的毛刺，提高峰谷点检测的稳定性。

图2所示为本发明红外图像灰度直方图统计示意图，在受控环境条件下，人体与背景是具有较大温差的两个最大区域，其红外图像直方图呈现出明显的双峰性。但由于人体内部各组织代谢功能差异和可能存在的代谢功能异常，其红外图像的直方图会出现较多的毛刺。为了提高机体外轮廓提取处理对人体和背景环境变化的适应性和实时性，本发明先统计红外图像各灰度出现的数目，得到红外图像灰度x的统计直方图h(x)，并采用低通滤波方法，滤除统计直方图的毛刺，提高峰谷点检测的稳定性。

步骤2采用直方图极大值点的分割门限区间估计方法，计算上述灰度统计直方图最稳定区域检测的最优搜索区间，增强分割门限对人体和背景环境变化的适应性，减少最稳定区域检测的计算复杂性。具体包括以下子步骤：

(2-1)直方图极大值点序列计算：

对于任意灰度x，如果满足h(x-1)＜h(x)≤h(x+1),则将x作为一个直方图极大值点y。从大到小搜索所有灰度x，得到直方图极大值点序列y_i，i＝0，1，...，N_y-1，N_y为极大值点的数目，然后，计算h(x)的全局最大值h_max和对应的灰度y_max，并取T₁＝h_max/3；

(2-2)搜索直方图左最大值点y_L：

对于直方图极大值点序列y_i，从左边到右搜索，如果h(y_i-1)＜h(y_i)≤h(y_i+1)，而且，h(y_i)大于T₁，则y_i作为直方图左最大值点y_L；

(2-3)搜索直方图右最大值点y_R：

对于直方图极大值点序列y_i，从右到左搜索，如果h(y_i-1)＜h(y_i)≤h(y_i+1)，而且，h(y_i)大于T₁，则y_i作为直方图右最大值点y_R；

(2-4)对于直方图极大值点序列y_i，计算y_L与y_R之间的h(y_i)的最小值，其对应的灰度作为最小谷点g_opt；

(2-5)对于y_L与g_opt间的直方图极大值点序列y_i，计算h(y_i)的最大值,其对应的灰度记为y_Lopt；

(2-6)对于g_opt与y_R间的直方图极大值点序列y_i，计算h(y_i)的最大值,其对应的灰度记为y_Ropt，以[y_Lopt,y_Ropt]作为最优搜索区间。

上述直方图峰谷点检测方法增强了分割门限区间估计对人体和背景环境变化的适应性，减少了最稳定区域检测的计算复杂性。

步骤3采用基于门限区间内最优门限的最稳定区域检测方法，提取最大稳定区域的外轮廓，提高了最稳定区域检测的实时性。

由于最小区域分割稳定性条件等价于[t-Δ,t+Δ]区间直方图h(t)下面的面积S_[t-Δ,t+Δ]最小。本发明首先对[y_Lopt,y_Ropt]内所有的t，计算[t-Δ,t+Δ]区间内直方图h(t)下面面积S_[t-Δ,t+Δ]的最小值，其对应的灰度t作为最优分割门限t_opt，然后，以t_opt作为门限，分割人体红外图像，再通过二值图的轮廓跟踪提取最大稳定区域的外轮廓，该方法提高了红外图像分割的精确性和实时性。

步骤4在最大稳定区域提取的基础上，本发明根据人体与背景红外图像对比度高和人体外轮廓光滑等特性，以步骤3得到的最大稳定区域的外轮廓为初始轮廓，采用基于梯度强度和几何光滑性约束的外轮廓修正方法，自适应地修正初始轮廓，加快了外轮廓提取的收敛速度和稳定性。

如图3所示，与Otsu、Canny和ACM等方法相比，本发明提高了机体最稳定区域分割与提取的精度、速度和适应性。

步骤5采用外轮廓几何不变显著点检测和区域配准方法，检测和配准头部、颈部、手部、躯干和脚部等各肢体区域，解决人体非线性形变校正难题，提高非刚性连接的各肢体区域内部组织定位的稳定性和精确性。具体包括以下子步骤：

(5-1)利用多尺度旋转值最小LBP不变特征极小值关键点检测方法，提取人体红外图像几何不变轮廓关键点特征，提高人体轮廓点特征检测对几何变化的适应性，具体包括以下子步骤：

(5-1-1)对步骤4修正后轮廓的所有轮廓点位置，计算各点LBP特征串；

(5-1-2)对各LBP特征串，计算LBP旋转最小值RLBP；

(5-1-3)对各RLBP特征串，检测局部极小值关键点作为人体轮廓的关键点串；

(5-2)针对标准的人体红外图像和待检测的人体红外图像，利用上述方法检测人体轮廓的关键点串，分别作为人体参考轮廓的关键点串和待检测轮廓的关键点串。其中，人体参考轮廓的关键点串记为r_j，j＝1,2,…,M，M表示参考轮廓的关键点个数，步骤(5-1)得到的待检测轮廓的关键点串序列为p_i,i＝1,2,…N，N表示待检测轮廓的关键点个数。本发明利用基于关键点不变特征的串最优匹配，实现参考轮廓和待检测轮廓的对准和肢体区域分割。假设r_j与p_i配准的关键点对序列记为pp(k)，其相似度门限记为T₂(在本发明实施例中取为10)，配准的关键点数目门限记为N_opt。具体计算步骤如下：

(5-2-1)首先，令k＝0，从r_j序列中取第一个关键点，并从p_i序列中依次取一个关键点，若|r_j-p_i|≤T₂，则pp(k)＝{i，i)，k＝k+1；

(5-2-1)然后，从r_j序列中取下一个关键点，并在p_i序列中i之后依次取下一个关键点，若||r_j-p_i|≤T₂，则pp(k)＝{i，i)，k＝k+1；

(5-2-3)搜索完r_j序列中所有的点，得到配准的关键点对序列记为pp(k)；

(5-2-4)如果k≥N_opt，则匹配完成；如果k＜N_opt，则将r_j序列中当前搜索的起始点的下一个点作为起始点，再执行步骤(5-2-1)。

如图4-6所示，本发明采用基于轮廓关键点不变特征松弛匹配的区域配准方法，匹配和定位人体各肢体区域，提高非刚性连接各肢体区域几何配准的精确性。

步骤6由于人体红外图像不仅存在肥、胖、高、矮等个体差异，而且，头部、颈部、手部、躯干和脚部等各组织区域之间的连接是非刚性的，人体红外图像中各组织区域解剖结构映射是非线性的。尽管人体组织区域解剖结构映射是非线性的，但人各肢体区域内部解剖结构却具有一定的稳定性。基于此特点，本发明采用区域轮廓的配准参数估计和位置映射的方法，实现人体内部各组织和器官区域的定位和分割，为红外异常部位定位和标识提供人体组织和器官的解剖结构信息，可提高机体代谢热异常功能医学图像评估的精确性和智能性。具体包括以下子步骤：

(6-1)采用区域轮廓的配准参数估计方法，提取各肢体区域的几何形变参数，解决人体形态非线性形变时的配置与校准问题。

在关键控制点局部，利用关键控制点串最优匹配确定对准的轮廓，获取轮廓控制点集，并建立区域内部位置映射联立方程组如下所示，然后，再利用摄像机成像原理和最小二乘法，估计区域内部的位置映射参数A_i,i＝1,2,....,9(最少需5个轮廓控制点)：

$\left\{\begin{array}{c}{A}_{1}x+A_{2}y+A_3-A_{7}Xx-A_{8}Xy-A_{9}X=0\\ A_{4}x+A_{5}y+A_6-A_{7}Yx-A_{8}Yy-A_{9}Y=0\end{array}\right.;$

(6-2)采用基于关键控制点的组织位置映射方法，配准和定位人体内部各组织和器官区域。由于人体各肢体的非刚性连接，人体内部组织呈现出不一致的非线性几何变化，因此，本发明利用各肢体区域内的组织位置映射参数，进行组织位置映射，获取机体组织分布的区域模板：

$\left\{\begin{array}{c}X=\frac{A_{1}x+A_{2}y+A_3}{A_{7}x+A_{8}y+A_9}\\ Y=\frac{A_{4}x+A_{5}y+A_6}{A_{7}x+A_{8}y+A_9}\end{array}\right..$

上述基于区域关键控制点的组织位置映射方法，提高了人体形态非线性形变时肢体内部组织的配准与定位精度。

如图8所示，实验结果表明，本发明区域轮廓的配准参数估计和组织位置映射的方法，实现人体内部各组织和器官区域的定位和分割，提高了不同尺度、视点和人体形态非线性变化条件下，机体组织定位的稳定性和精确性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于稳定区域的轮廓关键点配准与标识方法，其特征在于，包括：

步骤1统计人体红外图像各灰度出现的数目，得到所述人体红外图像的灰度统计直方图，并采用低通滤波方法滤除所述灰度统计直方图的毛刺；

步骤2采用直方图极大值点的分割门限区间估计方法，计算所述灰度统计直方图最稳定区域检测的最优搜索区间，包括以下子步骤：

(2-1)对于任意灰度x，如果满足h(x-1)＜h(x)≤h(x+1)，则将x作为一个直方图极大值点y，从大到小搜索所有灰度x，得到直方图极大值点序列y_i，i＝0，1，...，N_y-1，N_y为极大值点的数目，然后，计算h(x)的全局最大值h_max和对应的灰度y_max，并取T₁＝h_max/3；

(2-2)对于直方图极大值点序列y_i，从左到右进行搜索，如果h(y_i-1)＜h(y_i)≤h(y_i+1)，且h(y_i)大于T₁，则y_i作为直方图左最大值点y_L；

(2-3)对于直方图极大值点序列y_i，从右到左进行搜索，如果h(y_i-1)＜h(y_i)≤h(y_i+1)，且h(y_i)大于T₁，则y_i作为直方图右最大值点y_R；

(2-4)对于直方图极大值点序列y_i，计算y_L与y_R之间的h(y_i)的最小值，其对应的灰度作为最小谷点g_opt；

(2-5)对于y_L与g_opt间的直方图极大值点序列y_i，计算h(y_i)的最大值，其对应的灰度记为y_Lopt；

(2-6)对于g_opt与y_R间的直方图极大值点序列y_i，计算h(y_i)的最大值，其对应的灰度记为y_Ropt，以[t_Lopt，y_Ropt]作为所述最优搜索区间；

步骤3采用基于门限区间内最优门限的最稳定区域检测方法，提取最大稳定区域的外轮廓；

步骤4以所述最大稳定区域的外轮廓为初始轮廓，采用基于梯度强度和几何光滑性约束的外轮廓修正方法，自适应地修正所述初始轮廓；

步骤5采用外轮廓几何不变显著点检测和区域配准方法，检测和配准人体各肢体区域；

步骤6采用区域轮廓的配准参数估计和位置映射的方法，实现人体内部各组织和器官区域的定位和分割。

2.如权利要求1所述的方法，其特征在于，所述步骤3中对所述最优搜索区间[y_Lopt，y_Ropt]内所有的t，计算[t-Δ，t+Δ]区间内直方图h(t)下面面积S_{[t-Δ，t+Δ]}的最小值，其对应的灰度t作为最优分割门限t_opt，然后以所述最优分割门限t_opt作为门限，分割所述人体红外图像，再通过二值图的轮廓跟踪提取所述最大稳定区域的外轮廓。

3.如权利要求1或2所述的方法，其特征在于，所述步骤5包括以下子步骤：

(5-1)利用多尺度旋转值最小LBP不变特征极小值关键点检测方法，提取所述人体红外图像几何不变轮廓关键点特征；

(5-2)记标准人体红外图像的人体参考轮廓的关键点串序列为r_j，j＝1，2，…，M，M表示参考轮廓的关键点个数，记所述步骤(5-1)得到的待检测轮廓的关键点串序列为p_i，i＝1，2，…N，N表示待检测轮廓的关键点个数，利用基于关键点不变特征的串最优匹配，实现参考轮廓和待检测轮廓的对准和肢体区域分割。

4.如权利要求3所述的方法，其特征在于，所述步骤(5-1)包括以下子步骤：

(5-1-1)对所述步骤4修正后轮廓的所有轮廓点位置，计算各点LBP特征串；

(5-1-2)对所述各点LBP特征串，计算LBP旋转最小值RLBP；

(5-1-3)对所述各RLBP特征串，检测局部极小值关键点作为待检测的人体轮廓的关键点串。

5.如权利要求3所述的方法，其特征在于，所述步骤(5-2)包括以下子步骤：

(5-2-1)令k＝0，从所述人体参考轮廓的关键点串序列r_j序列中取第一个关键点，并从所述待检测轮廓的关键点串序列p_i序列中依次取一个关键点，若|r_j-p_i|≤T₂，则pp(k)＝{i，i)，k＝k+1，其中，r_j与p_i配准的关键点对序列记为pp(k)，T₂表示其相似度门限；

(5-2-1)从r_j序列中取下一个关键点，并在p_i序列中i之后依次取下一个关键点，若||r_j-p_i|≤T₂，则pp(k)＝{i，i)，k＝k+1；

(5-2-3)搜索完r_j序列中所有的点，得到配准的关键点对序列pp(k)；

(5-2-4)如果k≥N_opt，则匹配完成；如果k＜N_opt，则将r_j序列中当前搜索的起始点的下一个点作为起始点，再执行步骤(5-2-1)，其中N_opt表示配准的关键点数目门限。

6.如权利要求1或2所述的方法，其特征在于，所述步骤6包括以下子步骤：

(6-1)采用区域轮廓的配准参数估计方法，提取各肢体区域的几何形变参数，利用关键控制点串最优匹配确定对准的轮廓，获取轮廓控制点集，并建立区域内部位置映射联立方程组如下所示，然后，再利用摄像机成像原理和最小二乘法，估计区域内部的位置映射参数A_i，i＝1，2，....，9：

$\left\{\begin{array}{c}{A}_{1}x+A_{2}y+A_3-A_{7}Xx-A_{8}Xy-A_{9}X=0\\ A_{4}x+A_{5}y+A_6-A_{7}Yx-A_{8}Yy-A_{9}Y=0\end{array}\right.;$

(6-2)采用基于关键控制点的组织位置映射方法，配准和定位人体内部各组织和器官区域，利用各肢体区域内的组织位置映射参数，进行组织位置映射，获取机体组织分布的区域模板：

$\left\{\begin{array}{c}X=\frac{A_{1}x+A_{2}y+A_3}{A_{7}x+A_{8}y+A_9}\\ Y=\frac{A_{4}x+A_{5}y+A_6}{A_{7}x+A_{8}y+A_9}\end{array}\right..$