CN104567758B - 立体成像系统及其方法 - Google Patents

Abstract

公开了一种立体成像系统及其方法。该系统包括：射线源，发出多个射线扇束；多列探测器，分别以预定的角度与所述射线源相对设置，当被检查物体沿着与所述射线扇束相交的方向运动时，所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像；重建装置，将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建。利用具有一定角度的多列线性探测器采集到的透射图像，进行三维重构，恢复透射图像丢失的深度信息，使被透射物品在不同视角上呈现一定的立体效果，便于更好地进行图像分析。

Description

立体成像系统及其方法

技术领域

本申请涉及辐射成像领域，具体涉及一种单源多探测器的立体成像系统及其方法。

背景技术

安全检查在反恐、打击贩毒走私等领域有十分重要的意义。世界各国对公共场所的安全检查也越来越重视，对海关集装箱、行李物品等的检查要求也越来越高。

目前安全检查以辐射成像系统为主流，对采用线性探测器成像的普通透射图像而言，获取到得数据为二维图像，检测图像存在物质深度信息丢失，图像信息投影重叠严重，影响人们对物体形状的辨认和识别。

发明内容

针对现有技术中的一个或多个问题，提出了一种立体成像系统及其方法。

在本发明的一个方面，提出了一种立体成像系统，包括：射线源，发出多个射线扇束；多列探测器，分别以预定的角度与所述射线源相对设置，当被检查物体沿着与所述射线扇束相交的方向运动时，所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像；重建装置，将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建。

在本发明的另一方面，提出了一种立体成像系统的方法，所述系统包括射线源和分别以预定的角度与所述射线源相对设置的多列探测器，所述方法包括步骤：从射线源发出多个射线扇束；当被检查物体沿着与所述射线扇束相交的方向运动时，所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像；将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建。

利用具有一定角度的多列线性探测器采集到的透射图像，进行三维重构，恢复透射图像丢失的深度信息，使被透射物品在不同视角上呈现一定的立体效果，便于更好地进行图像分析。

附图说明

下面的附图表明了本发明的实施方式。这些附图和实施方式以非限制性、非穷举性的方式提供了本发明的一些实施例，其中：

图1示出了根据本发明实施例的图像获取系统的俯视图；

图2示出了根据本发明实施例的图像获取系统的侧视图；

图3是描述深度信息求取过程的示意图；

图4是描述探测器列方向上布局示意图；

图5是描述列方向几何校正原理的示意图；

图6示出了集装箱卡车的示意图；

图7示出了箱体识别及建模的过程；

图8示出了车体建模的过程；

图9示出了根据本发明实施例的技术实现的三维重建效果的示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

三维图像在现实生活中有着广泛的应用，相比二维图像，它能更好的描述现实场景，可以获得更加生动的视觉效果。在辐射成像领域，CT成像可以很好的重建物体三维结构，但是三维CT成像又存在扫描设备结构复杂，测量时间耗时较长等缺点。因此，针对透视图像利用多个视角解决立体成像问题，除了具有很好的学术价值外，也有很好的应用价值：辐射图像多视角立体成像技术可以给出一个近似三维的图像，利用小角度转动或者利用三维显示终端展示，给查验人员立体感知，提升用户体验。

针对上述问题，在本发明的实施例中，利用具有一定角度的多列线性探测器采集到的透射图像，进行三维重构，恢复透射图像丢失的深度信息，使被透射物品在不同视角上呈现一定的立体效果，便于更好地进行图像分析。例如，在集装箱安检领域，能够在不开箱的情况下，利用X射线对集装箱进行扫描，然后恢复其部分三维信息，利用这部分信息以全新的展示方式，给用户以新的看图辅助和体验。

根据本发明的实施例，提出了一种立体成像系统，包括射线源、多列探测器和诸如计算机之类的重建装置。射线源发出多个射线扇束。多列探测器，分别以预定的角度与所述射线源相对设置，当被检查物体沿着与所述射线扇束相交的方向运动时，所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像。重建装置，将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建。

图1给出了图像获取系统俯视图，图中以三个视角为例，在实际应用中可以根据现实需求适当增加视角。射线源110到左中右三列探测器120、130、140的射线扇束形成预定的张角，例如左探测器列与中探测器列之间成角度θ，右探测器列与中探测器列之间同样成角度θ，通过扫描得到不同角度下的三幅图像。中间的射线在X射线的主束方向，左右射线对称分布在主束方向两侧。本发明的实施例以三个视角为例，在X射线主束方向的两侧可以对称的增加成对视角来构成图像采集系统。

图2给出图像获取系统的侧视图，该成像系统主要包括射线源110、准直装置(未示出)、数据采集系统(未示出)等。当被检测的物体以一定的速度经过检测区域时，可同时产生与探测器列的数目相对应的多幅图像，也就是图像的数目和探测器列数目相同。在这种成像模型中，可以建立适当的参考坐标系，对获取的多视角图进行三维重建和多视角查看。

图3展示了利用两个视角图求取深度信息的原理。不同深度的物体在两幅图像中会有一定的位置差，通过这个位置差即可提取深度信息。设有不同深度的A，B两点，在右探测器扫描图像中B在A右，在左探测器扫描图像中B在A左，两点的相对位置差为L，由L和张角α可以得到A，B两点深度差H：

当射线束夹角α很小时

即物体的相对深度与物体在左右两幅图像中的相对位置差成正比。

对获取的多幅不同视角图任意两幅组合可以求解出图像上物体的深度信息，并对求解出的三维信息叠加融合，这样可以最大限度的恢复三维信息。本发明以三个视角为例，同时可以采集三幅图像，左图、中图和右图，两两组合则有三种组合方式。对于左、右视图两幅图像组合的情况，以其中一幅图像的坐标系为参考坐标系，三维坐标可以利用以下公式求解：

其中v是物体通过采集区域的速度，f为射线发生频率，α是两个视角的夹角，Δx分别为同一特征点在不同视图上位置的差异。X射线源到探测器所在平面的距离为L。以左视角图为参考图，利用求解出的深度信息z对x，y坐标修正如下：

其中x_i，y_i为图像上点坐标，dy为y方向的分辨率，对于其他的图像组合方式可以利用类似的求解方法求解，但坐标求取和修正公式需要适当调整。

另外，在探测器列方向上存在几何畸变，这就需要在探测器列方向上进行几何校正，下文详细介绍存在几何畸变的原因及校正方案。

在图像获取过程中，由于设备的位置和张角等参数相对固定，类似光学图像中的标定步骤可以不必考虑。只需要选择适当的参考坐标系即可。

根据本发明的一些实施例，采用以下算法来获取两个视图的点点匹配：首先利用传统的特征提取、匹配方法，建立两个视图特征点的对应；然后以特征点为中心建立希尔伯特核，叠加建立希尔伯特空间，利用空间平滑性约束迭代求取一个平滑的空间向量场。这个空间向量场就代表了这两幅图像上点点对应关系。

另外，SIFT flow算法也可以很好的求解出两幅图之间的点点对应关系。SIFTflow算法的基本原理是：首先对图像上的每个像素计算SIFT特征向量，即Dense SIFT，然后利用流估计算法来匹配SIFT向量描述。但是，SIFT Flow将待匹配图像的所有像素等同对待，忽略了图像像素的差异性。对于一张图片来说，每个像素的信息量是不同的，图片中突出的物体像素信息量大，而背景(如纯黑色的背景)则信息量小。由于等同对待，几乎不含信息或含信息量少的像素的匹配值则会影响重要像素的匹配值，相当于给匹配过程引入了干扰，造成整体结果的不准确。因此，本专利使用了改进的能量函数，该能量函数增加了信息量大的区域的影响比重，减弱了背景区域的影响比重，屏蔽了背景区域对匹配过程的影响，为得到更加准确的匹配结果创造条件。此外，利用Belief propagation算法来优化目标函数。这样可以求得一个最优的flow field。这个最优的流场就是两幅图像之间的对应关系。

针对探测器列方向上存在几何畸变，由于X射线的辐射状特征，线性探测器按照扇形(弧形)排布，可以适应X射线的特征，减少几何畸变。可见，探测器使用扇形(弧形)排布是最优的选择。但是，在实际应用中探测器的排布受机械结构和空间的影响，有时只能采用近似扇形(弧形)排布，图4给出了探测器排布的一种示例。探测器可以线形安装在竖直臂架上或者线形安装在横臂架上，也可以都安装，即L形臂架。例如，L形探测器列包括多个探测器模块131、132和133等，接收射线源110发出的射线束。并且，两个臂架的角度可以适当调整。在实际应用中，可以根据机械结构要求，选择合适的排布方式，本发明实施例中采用L形臂架。这种近似扇形(弧形)的排布方式，扇形的半径不同，虽然减少了探测器列方向上的几何畸变，但是无法消除。这种几何畸变会严重影响三维重建的效果，需要在重建的过程中进行几何校正处理。

图5给出了几何校正的原理，设探测器列方向尺寸为S，探测笔的个数为N，则X射线主束方向上的分辨率为且认为是标准分辨率。射线源O到射线主束方向探测器模块距离，即扇形半径为D，其他模块距离变化为ΔD，不同模块的ΔD可以根据探测器布局图获得。那么该模块的相对X射线主束方向模块的尺寸S1为则该模块的分辨率为

根据分辨率的不同，利用图像差值的方法实现探测器列方向上几何校正。

图6展示了待检的集装箱卡车，本发明实施例中采集的三幅视图中的一幅。

对于待检的集装箱卡车，集装箱内货物是感兴趣的内容，而且集装箱本身是一个规则的立方体，通过对箱体三维建模，可以完美恢复箱体三维信息。得到的三维信息还可以作为箱体内货物三维重建的参考。图7展示了箱体位置识别及建模的流程，详细说明如下：

在步骤S110，消除剂量不稳定的影响

利用先验信息，消除剂量不稳定对算法的影响

U_x＝-log(I/α)

其中α为图像当前列的空气值(采集区域只有空气时采集的图像)，I为当前列某探测器笔的读数，转换后的图像灰度值Ux对剂量不稳定现象不敏感。

在步骤S120，寻找顶部边缘

例如，利用形态学的方法，求解形态学梯度，利用Hough变换进行集装箱上边缘的检测。如果没有，则在步骤S150返回错误。

在步骤S140，去掉车体头部，只保留箱体部分

检测集装箱卡车底盘的上边缘部分，处理方法和集装箱上边缘的处理方法相同。

然后，确定箱体的具体位置

有了箱体上边缘和车辆底盘的上边缘，就得到了箱体的具体位置和尺寸。

在步骤S160，箱体建模

利用监测出来的箱体位置和尺寸，确定集装箱的类型并在模板库中选择适当的三维模型，在三维重建时导入。

在安检过程中，对于待检的集装箱卡车，卡车部分很多时候都不是检查的重点，三维重建的时候可以利用建模的方法快速、有效恢复其三维信息。首先要识别卡车的位置和尺寸并作为特征，然后在模板库寻找最合适的卡车三维模板。

图8展示了车体识别及建模的流程。本发明中以边缘信息作为主要依据，判断图像中车辆位置，在箱体识别的前提下，识别卡车的型号和车头位置。在检测车辆位置时，为得到鲁棒的结果，处理方式分三步为：预处理去除条纹，得到背景变化平缓的图像；对图像求梯度，并量化梯度图，去掉小梯度波动影响；在二值量化梯度图中，求水平、垂直投影的最大连续区域，即车辆位置。

在步骤S210，预处理去除条纹方法：在水平、竖直方向分别去条纹。以水平为例，先求图像在垂直方向的投影序列Projection。对于Projection进行中值滤波，滤波前后差值大的即判断为条纹，将这一行的值代替为最近一行非条纹图像行的值。

在步骤S220，求梯度方法为：对图像进行量化，量化后求梯度。

求车辆位置：对梯度图求水平、竖直方向投影，分别检测减掉最小值后(即去掉可能还存在的条纹影响)的最大连续区域。这个区域就是车辆位置。

在步骤S230，利用前述的方法进行箱体识别。

在步骤S240，在箱体建模的前提下，通过识别车体，从而判断出车体的位置和朝向。在三维重建时，可以利用模板库中车的三维模型来代替车体部分的重建。

安检行业中，透视图像的立体重建，目的是为了辅助查验，并不需要精确测量。所以本发明更关注于利用透视图像的深度信息对透视图像进行立体化，目的是将重叠在一起的物体透视影像分层显示出来。基于此，可以利用两种方式来展示立体效果：第一，利用OpenGL等三维展示工具，开发三维展示软件，利用不同角度旋转来展示三维效果；第二，利用硬件展示终端，本发明中使用裸眼3D显示器展示三维数据。图9描述了利用OpenGL软件包展示出来的三维重建效果。

利用上述实施例的方法，基于多视角透视图像求取二维图像的深度信息，将二维透视图像立体化，提供一种辅助检查方案。此外，利用建模技术实现集装箱的三维建模，提升三维重建的精度。第三，利用建模技术实现卡车的三维建模，提高三维展示效果。

再者，利用展示软件，可以不同角度展示三维效果，结合硬件展示终端，提高三维展示效果。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (9)

1.一种立体成像系统，包括：

射线源，发出多个射线扇束；

多个线性探测器阵列，分别以预定的角度与所述射线源相对设置，当被检查物体沿着与所述射线扇束相交的方向运动时，所述多个线性探测器阵列分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像；

重建装置，将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建，

其中，所述多个线性探测器阵列均为L形臂架，所述重建装置利用下式对线性探测器阵列方向上的分辨率进行校正：

其中，S表示沿着线性探测器阵列的方向的尺寸，N表示线性探测器阵列中探测模块的个数，D表示射线源到射线主束方向探测器模块距离，ΔD表示其他探测器模块相对于主束方向探测器模块的距离变化。

2.如权利要求1所述的立体成像系统，其中，所述重建装置基于不同深度的物体在两幅图像之间的位置差来计算深度信息。

3.如权利要求1所述的立体成像系统，其中，所述重建装置利用计算的深度信息z对x和y坐标进行校正。

4.如权利要求1所述的立体成像系统，其中，所述重建装置如下计算深度信息：

设有不同深度的A，B两点，在右探测器扫描图像中B在A右，在左探测器扫描图像中B在A左，两点的相对位置差为L，由L和张角α可以得到A，B两点深度差H：

5.如权利要求1所述的立体成像系统，其中，所述重建装置基于多幅透射图像中的一幅透射图像来识别箱体，确定箱体的位置，并且对所述箱体进行三维建模。

6.一种立体成像系统的方法，所述系统包括射线源和分别以预定的角度与所述射线源相对设置的多个线性探测器阵列，所述方法包括步骤：

从射线源发出多个射线扇束；

当被检查物体沿着与所述射线扇束相交的方向运动时，所述多个线性探测器阵列分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像；

将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建，

其中，所述多个线性探测器阵列均为L形臂架，利用下式对线性探测器阵列方向上的分辨率进行校正：

其中，S表示沿着线性探测器阵列的方向的尺寸，N表示线性探测器阵列中探测模块的个数，D表示射线源到射线主束方向探测器模块距离，ΔD表示其他探测器模块相对于主束方向探测器模块的距离变化。

7.如权利要求6所述的方法，其中，基于不同深度的物体在两幅图像之间的位置差来计算深度信息。

8.如权利要求6所述的方法，其中，利用计算的深度信息z对x和y坐标进行校正。

9.如权利要求6所述的方法，其中，如下计算深度信息：

设有不同深度的A，B两点，在右探测器扫描图像中B在A右，在左探测器扫描图像中B在A左，两点的相对位置差为L，由L和张角α可以得到A，B两点深度差H：