CN104616321A - 一种基于尺度不变特征变换的行李图像运动行为描述方法 - Google Patents

Abstract

本发明公开了一种基于尺度不变特征变换的行李图像运动行为描述方法，包括：单帧图像行李检测算法和基于尺度不变特征变换将单帧图像中的行李位置综合为整个行李图像运动行为模型两个步骤；本发明的优点是克服了由于激活相关图像处理功能后所导致的行李图像尺寸、颜色、位置发生变化对行李运动描述的影响，能够准确提取行李图像从出现到消失过程中任意时刻在屏幕上位置；采用行李外接矩形描述行李位置以便于行李图像运动行为模型的描述；本发明实现了在各类图像处理操作对行李图像的影响下仍然能够找到两帧图像间同一行李图像的共同特征，使行李图像运动描述成为可能。

Description

一种基于尺度不变特征变换的行李图像运动行为描述方法

技术领域

本发明涉及一种基于尺度不变特征变换的行李图像运动行为描述方法，属于图像处理、机器视觉技术领域。

背景技术

目前，安检工作行为评估是近些年来业界提出的一个全新研究领域。其中，最具吸引力的是图像判读岗位工作行为评估。因为该岗位是安检系统的关键岗位，肩负着安检工作最核心的任务。图像判读岗位工作质量低下、安全警惕性不足是导致多起飞行器恐怖袭击事件的重要原因之一。

例如，申请号为CN201310166191.4的专利公开了一种图像描述方法和装置，用以减小针对内容相同但颜色变化较大的图像的描述的误差。提供的图像描述方法包括：将图像从蓝绿红BGR颜色空间转换到高斯颜色空间，并将所述图像从所述高斯颜色空间转换到光反射不变颜色空间；其中，将所述图像从所述高斯颜色空间转换到光反射不变颜色空间的处理包括：对于所述图像上的每个像素点，根据所述像素点在高斯颜色空间的第一系数和第二系数，确定所述像素点在所述光反射不变颜色空间对应的颜色通道,实现了减小针对内容相同但颜色变化较大的图像的描述的误差。

例如，申请号为CN201210251160.4的专利公开了基于纹理聚类的电力塔杆图像描述方法。先从训练样本中生成码本，然后用这些码本与测试图像做卷积生成相关面，再从相关面中选取与码本相似度最大的那些组成电力塔杆的原型分配图，并把原型分配图表示成直方图，即张量，最后，把张量量化成固定大小的可以用在分类器中的相关面集描述子。以各类架空电力线路巡检所得的含有电力塔杆的真实图像为实验数据，验证了该发明适用于丰富纹理中的电力杆塔描述，描述准确且计算复杂度较低。

例如，申请号为CN201410491596.X的专利公开了一种基于词袋模型的图像描述方法及系统。该方法及系统是在现有技术基础上应用模糊理论，在得到距离集合后，利用高斯隶属度函数为每一视觉单词分配不同的隶属度，以将距离集合转换为模糊集合，之后用具有不同隶属度的视觉单词对特征点进行编码，从而有效降低传统方法引起的信息丢失问题，进而提高图像描述的准确度。

图像判读岗位工作行为评估的前提和基础是岗位人员工作行为的量化描述。只有确切记录下工作行为过程并准确复现，才能够有依据地对岗位人员工作质量进行评估与管控。图像判读是一种典型的人机协作过程，即人员通过观察X射线设备显示屏上呈现的行李图像(以下简称行李图像)的动态运行过程，即时做出判断。对此过程进行量化描述的有效方法是关注区域分析，因为岗位人员主要依赖视觉进行决策，只要记录下其关注过的图像区域并对关注行为进行分析，即能为工作行为评估提供确凿的依据。关注区域分析涉及了两方面的行为量化描述与复现需求：一方面是人员的视觉行为；另一方面则是显示屏上行李图像的运动行为。只有这两方面的行为准确融合，即视线落点与行李图像在时、空二维精确配准，才能真实复现岗位人员的决策过程。因此，目前传统的方法不能实现行李图像运动行为的量化描述与复现。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的基于尺度不变特征变换的行李图像运动行为描述方法；本发明是一种基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)的行李图像运动行为模型并能用于精确描述行李图像随时间的运动情况，本发明能够实现行李图像运动行为的量化描述与复现，本发明的核心是构建行李图像运动行为模型，即在一幅行李图像从进入到离开屏幕的过程中准确跟踪其任意时刻在屏幕上的位置并为实现图像判读岗位行为评估奠定基础。本发明是能准确还原行李图像的运动行为的一种方法。

本发明的一种基于尺度不变特征变换的行李图像运动行为描述方法包括：单帧图像行李检测算法和基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)将单帧图像中的行李位置综合为整个行李图像运动行为模型两个步骤。

本发明所述的单帧图像行李检测算法是：定位X射线设备输出的单帧图像中行李的位置，由于行李的形状各有不同，采用分层投影算法得到行李的外接矩形位置表示行李位置，所述采用分层投影算法得到行李的外接矩形包含同一行李全部像素的最小矩形。

所述单帧图像行李检测算法包括以下步骤：

(1)得到单帧图像的二值化描述；

(2)将二值图像向水平方向投影，得到水平方向的直方图，按照水平投影将整个图像分为若干个子图像；

(3)将每个子图像向垂直方向投影，得到每个子图像垂直方向的直方图；

(4)进而得到了每个行李外接矩形的水平及垂直位置。

本发明所述的基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)将单帧图像中的行李位置综合为整个行李图像运动行为模型是：提取同一行李在不同帧中的位置，得到对该行李图像从出现到消失过程的描述，由于可能存在加亮、放大图像处理操作，选择局部纹理描述行李，通过计算行李在相邻帧之间的位移量、放大或缩小信息，将同一行李各个时刻的位置序列作为行李图像运动行为模型。

所述基于尺度不变特征变换将单帧图像中的行李位置综合为整个行李图像运动行为模型包括以下步骤：

(1)计算当前帧的尺度不变特征变换(SIFT)特征点及对应的特征描述子，通过比较当前帧与前一帧图像，得到仿射矩阵；

(2)根据仿射矩阵判断可能存在的各类图像处理操作，得到不同时刻同一行李图像的位置。

所述单帧图像行李检测算法通过分层投影算法得到单帧图像中的行李图像外接矩形位置，其具体步骤为：

步骤1：采用Canny算子对X射线设备输出的单帧图像进行边缘提取，得到单帧图像的二值化描述；

步骤2：将二值图像向水平方向投影，得到水平方向的直方图，水平方向的直方图中的非零段即代表行李外接矩形的水平位置，按照水平投影的非零段将整个图像分为若干个行李的子图像；

步骤3：将每个子图像向垂直方向投影，得到每个子图像垂直方向的直方图；

步骤4：进而得到了每个行李外接矩形的水平及垂直位置。

所述单帧图像行李检测算法，对行李运动做如下定义：

基本单元：行李在某时刻的位置，P_t ⁿ(n为行李编号，t为时刻)为，

P_t ⁿ＝[t，sp，fp]   (1)

其中，t为时间参数，sp和fp为行李外接矩形的左上角和右下角坐标值。

行李生命周期：行李从出现到消失的全过程，由若干个基本单元构成，即：

$P^n=[P_{t_0}^n,P_{t_1}^n,...,P_{t_m}^n]---\left(2\right)$

其中，n为行李编号，t₀,t₁,...,t_m为行李从出现到消失的若干时间点，t_i+1-t_i为行李图像采样周期。

行李序列：包含若干个行李，由若干个行李生命周期构成，即：

P＝[P⁰,P¹,...,P^N]   (3)

(1)计算当前帧的SIFT特征点及对应的特征描述子，通过比较当前帧与前一帧图像，得到仿射矩阵H∈R^3×3；

(2)根据仿射矩阵H判断可能存在的各类图像处理操作，得到不同时刻同一行李图像的位置，将各个时刻的行李位置P_t ⁿ组合成行李的生命周期Pⁿ。

本发明的优点是克服了由于激活相关图像处理功能后所导致的行李图像尺寸、颜色、位置发生变化对行李运动描述的影响，能够准确提取行李图像从出现到消失过程中任意时刻在屏幕上位置；采用行李外接矩形描述行李位置以便于行李图像运动行为模型的描述；本发明实现了在各类图像处理操作对行李图像的影响下仍然能够找到两帧图像间同一行李图像的共同特征，使行李图像运动描述成为可能。

附图说明

图1是本发明所述基于尺度不变特征变换的行李图像运动行为描述方法的流程图。

具体实施方式

下面结合附图对本发明的实施方式进行详细描述。如图1所示，本发明的一种基于尺度不变特征变换的行李图像运动行为描述方法包括：单帧图像行李检测算法和基于尺度不变特征变换(Scale-InvariantFeature Transform，SIFT)将单帧图像中的行李位置综合为整个行李图像运动行为模型两个步骤。

本发明所述的单帧图像行李检测算法是：定位X射线设备输出的单帧图像中行李的位置，由于行李的形状各有不同，采用分层投影算法得到行李的外接矩形位置表示行李位置，所述采用分层投影算法得到行李的外接矩形包含同一行李全部像素的最小矩形。

所述单帧图像行李检测算法包括以下步骤：

(1)得到单帧图像的二值化描述；

(2)将二值图像向水平方向投影，得到水平方向的直方图，按照水平投影将整个图像分为若干个子图像；

(3)将每个子图像向垂直方向投影，得到每个子图像垂直方向的直方图；

(4)进而得到了每个行李外接矩形的水平及垂直位置。

本发明所述的基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)将单帧图像中的行李位置综合为整个行李图像运动行为模型是：提取同一行李在不同帧中的位置，得到对该行李图像从出现到消失过程的描述，由于可能存在加亮、放大图像处理操作，选择局部纹理描述行李，通过计算行李在相邻帧之间的位移量、放大或缩小信息，将同一行李各个时刻的位置序列作为行李图像运动行为模型。

所述基于尺度不变特征变换将单帧图像中的行李位置综合为整个行李图像运动行为模型包括以下步骤：

(1)计算当前帧的尺度不变特征变换(SIFT)特征点及对应的特征描述子，通过比较当前帧与前一帧图像，得到仿射矩阵；

(2)根据仿射矩阵判断可能存在的各类图像处理操作，得到不同时刻同一行李图像的位置。

其中：所述的关于单帧图像行李检测算法，其求解步骤如下：

步骤1：采用Canny算子对X射线设备输出的单帧图像进行边缘提取，得到单帧图像的二值化描述；

步骤2：将二值图像向水平方向投影，得到水平方向的直方图，水平方向的直方图中的非零段即代表行李外接矩形的水平位置，按照水平投影的非零段将整个图像分为若干个行李的水平子图像；

步骤3：将每个水平子图像向垂直方向投影，得到每个子图像垂直方向的直方图；

步骤4：进而得到了每个行李外接矩形的水平及垂直位置。

其中：所述的基于尺度不变特征变换将单帧图像行李位置综合为整个行李图像运动行为模型，其具体步骤如下：

步骤1：计算当前帧的SIFT特征点及对应的特征描述子，通过比较当前帧与前一帧图像，得到仿射矩阵H∈R^3×3，假设前幅图像中存在特征点(x_i,y_i)，该特征点在后幅图像中的对应位置为(x′_i,y′_i)，(x_i,y_i)与(x′_i,y′_i)称为一个特征点对，则：

$H\·\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)=\left(\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right),H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]---\left(4\right)$

由两幅图像中的所有特征点对，计算矩阵H的目标函数为：

$\min \left\{\underset{i}{\mathrm{\Σ}}((x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})+(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}))\right\}---\left(5\right)$

根据实际的行李运行情况，H应满足如下约束：

当不存在缩放的情况下，垂直位移应该几乎为零，即当h₁₁≈1，h₁₂≈0，h₂₁≈0，h₂₂≈1时，h₂₃≈0；

两帧图像之间只存在等比例的缩放，不存在旋转情况，即h₁₂≈0，h₂₁≈0，并且h₁₁≈h₂₂

步骤2：根据仿射矩阵H判断可能存在的各类图像处理操作，得到不同时刻同一行李图像的位置。

对于各类图像处理的检测方法为：

缩放：当h₁₁≈h₂₂，并且h₁₂≈h₂₁≈0时，h₁₁即为放大倍数，如果h₁₁≈1，则为正常大小；

回拉：正常行包运动过程中帧间位移量较小，当存在回拉操作时，位移量变大，通过水平位移直接判断是否存在回拉操作；

加亮：加亮操作会导致行李图像的边缘淡化，整个行李的尺寸缩小，但由于行李的整体纹理未受影响，依然能够得到仿射矩阵；

反色：反色操作只影响图像的色彩映射表，并不影响行李的纹理结构，通过对背景颜色进行归一化，对SIFT特征提取的影响较小；

放大镜：放大镜操作会引起行李的局部尺寸变化，但只影响放大的行李局部区域，对整体的特征匹配影响较小；

消失行李判定：根据仿射矩阵计算行李的位移量，当行李的外接矩形超出屏幕范围时，则判定该行李已经移出屏幕。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。

Claims (4)

1.一种基于尺度不变特征变换的行李图像运动行为描述方法，其特征在于：包括单帧图像行李检测算法和基于尺度不变特征变换将单帧图像中的行李位置综合为整个行李图像运动行为模型两个步骤。

2.根据权利要求1所述的一种基于尺度不变特征变换的行李图像运动行为描述方法，其特征在于，所述单帧图像行李检测算法包括以下步骤：

(1)得到单帧图像的二值化描述；

(2)将二值图像向水平方向投影，得到水平方向的直方图，按照水平投影将整个图像分为若干个子图像；

(3)将每个子图像向垂直方向投影，得到每个子图像垂直方向的直方图；

(4)进而得到了每个行李外接矩形的水平及垂直位置。

3.根据权利要求1或2任意一项所述的一种基于尺度不变特征变换的行李图像运动行为描述方法，其特征在于，所述所述单帧图像行李检测算法通过分层投影算法得到单帧图像中的行李图像外接矩形位置，其具体步骤为：

步骤1：采用Canny算子对X射线设备输出的单帧图像进行边缘提取，得到单帧图像的二值化描述；

步骤2：将二值图像向水平方向投影，得到水平方向的直方图，水平方向的直方图中的非零段即代表行李外接矩形的水平位置，按照水平投影的非零段将整个图像分为若干个行李的子图像；

步骤3：将每个子图像向垂直方向投影，得到每个子图像垂直方向的直方图；

步骤4：进而得到了每个行李外接矩形的水平及垂直位置；

所述单帧图像行李检测算法，对行李运动做如下定义：

基本单元：行李在某时刻的位置，(n为行李编号，t为时刻)为，

$P_t^n=[t,\mathrm{sp},\mathrm{fp}]---\left(1\right)$

其中，t为时间参数，sp和fp为行李外接矩形的左上角和右下角坐标值；

行李生命周期：行李从出现到消失的全过程，由若干个基本单元构成，即：

$P^n=[P_{t_0}^n,P_{t_1}^n,...,P_{t_m}^n]---\left(2\right)$

其中，n为行李编号，t₀,t₁,...,t_m为行李从出现到消失的若干时间点，t_i+1-t_i为行李图像采样周期；

行李序列：包含若干个行李，由若干个行李生命周期构成，即：

P＝[P⁰,P¹,...,P^N]    (3)

(1)计算当前帧的SIFT特征点及对应的特征描述子，通过比较当前帧与前一帧图像，得到仿射矩阵H∈R^3×3；

(2)根据仿射矩阵H判断可能存在的各类图像处理操作，得到不同时刻同一行李图像的位置，将各个时刻的行李位置组合成行李的生命周期Pⁿ。

4.根据权利要求1所述的一种基于尺度不变特征变换的行李图像运动行为描述方法，其特征在于，所述基于尺度不变特征变换将单帧图像中的行李位置综合为整个行李图像运动行为模型包括以下步骤：

(1)计算当前帧的SIFT特征点及对应的特征描述子，通过比较当前帧与前一帧图像，得到仿射矩阵；

(2)根据仿射矩阵判断可能存在的各类图像处理操作，得到不同时刻同一行李图像的位置。