CN116188385A - 三维ct图像中目标对象剥离方法、装置和安检ct系统 - Google Patents
三维ct图像中目标对象剥离方法、装置和安检ct系统 Download PDFInfo
- Publication number
- CN116188385A CN116188385A CN202211705003.6A CN202211705003A CN116188385A CN 116188385 A CN116188385 A CN 116188385A CN 202211705003 A CN202211705003 A CN 202211705003A CN 116188385 A CN116188385 A CN 116188385A
- Authority
- CN
- China
- Prior art keywords
- target object
- determining
- point cloud
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
提供了一种三维CT图像中目标对象剥离方法,涉及安全检查领域。该方法包括:基于CT数据获取点云数据,其中,所述CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2;根据所述点云数据确定所述N个待检对象中的目标对象区域;从三维CT图像中剥离所述目标对象区域。能够实现目标对象区域的单独判图,或是剔除目标对象干扰后的判图,有助于提升判图员的工作效率和查验准确性。本公开还提供了一种三维CT图像中目标对象剥离装置、设备、存储介质和程序产品。
Description
技术领域
本公开涉及安全检查技术领域,更具体地涉及一种三维CT图像中目标对象剥离方法、装置和安检CT系统、介质和程序产品。
背景技术
CT(Computed Tomography),即电子计算机断层扫描,它是利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位或物品作断面扫描,通过重建物体断层的衰减系数图像,得到物体内部结构与物理信息,连续扫描后得到的若干连续切片可形成三维CT图像。可用于多种疾病的检查,也可以用于对公共场所的安全检查。
三维CT图像可以在显示器上显示出来,帮助判图员进行判别。然而,三维CT图像中一般包括多个被扫描对象,各个对象的纹理复杂程度不同,且相互堆叠,判图员可能受到干扰导致判别时间较长,甚至判图结果不准确。
发明内容
鉴于上述问题,本公开提供了一种可以安检过程中自动剥离目标对象的三维CT图像中目标对象剥离方法、装置和安检CT系统、介质和程序产品。
本公开实施例的一个方面提供了一种三维CT图像中目标对象剥离方法,包括:基于CT数据获取点云数据,其中,所述CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2;根据所述点云数据确定所述N个待检对象中的目标对象区域;从三维CT图像中剥离所述目标对象区域,其中,所述三维CT图像根据所述CT数据生成。
在一些实施例中,在剥离所述目标对象区域之后,还包括:将剥离前的所述三维CT图像、剥离后的所述三维CT图像和所述目标对象的三维CT图像中至少一种图像展示在安检判图界面。
在一些实施例中,所述根据所述点云数据确定所述N个待检对象中的目标对象区域包括:根据第一先验规则和所述点云数据确定目标对象的局部轮廓和尺寸,其中,所述目标对象在使用状态或非使用状态下具有固定形状,所述第一先验规则根据所述目标对象的固定形状获得;根据所述目标对象的局部轮廓和尺寸,基于所述点云数据确定目标对象区域。
在一些实施例中,所述目标对象的局部轮廓包括第一表面,所述确定目标对象的局部轮廓和尺寸包括:根据第一先验规则和所述点云数据确定所述第一表面,所述第一先验规则包括所述第一表面的形状规则;确定所述第一表面轴向的所述目标对象的尺寸。
在一些实施例中,在所述基于CT数据获取点云数据之前,还包括:通过多渲染目标技术基于所述CT数据获得直接体绘制结果、第一击中位置和所述第一击中位置的法向量;其中,所述第一击中位置和所述第一击中位置的法向量用于获取所述点云数据,所述直接体绘制结果用于获取所述目标对象的局部轮廓和尺寸。
在一些实施例中,所述根据第一先验规则和所述点云数据确定目标对象的局部轮廓和尺寸包括:通过超体聚类算法对所述点云数据进行过分割,获得点云簇数据;根据所述第一先验规则从所述点云簇数据确定所述目标对象的局部轮廓和尺寸。
在一些实施例中,所述N个待检对象包括行李箱和所述行李箱内的N-1个待检对象,所述目标对象包括便携式电子设备。
在一些实施例中,所述根据第一先验规则和所述点云数据确定所述第一表面包括:基于所述点云数据确定所述便携式电子设备的M个候选表面,M大于或等于1;根据所述第一先验规则从所述M个候选表面中确定所述第一表面。
在一些实施例中,所述根据所述第一先验规则从所述M个候选表面中确定所述第一表面包括:从所述M个候选表面中确定最大候选表面,以及与所述最大候选表面的点云数量在预定范围内的m个候选表面,m大于或等于0,且小于或等于M-1;根据所述第一先验规则对所述最大候选表面和所述m个候选表面进行投票,确定所述第一表面。
在一些实施例中,所述确定所述第一表面轴向的所述目标对象的尺寸包括:对所述第一表面进行方向修正和/或范围修正,获得第二表面;确定在所述第二表面轴向的所述目标对象的尺寸。
在一些实施例中,所述目标对象的尺寸包括所述便携式电子设备的厚度,所述确定在所述第二表面轴向的所述目标对象的尺寸包括:根据所述第二表面确定第三表面和第四表面,其中,所述第三表面和所述第四表面相交且分别垂直于所述第二表面;根据所述第三表面和第四表面确定所述厚度。
在一些实施例中,所述根据所述第三表面和第四表面获得确定厚度数据包括:沿第一方向拼接所述第三表面和第四表面,获得第五表面,所述第一方向平行于所述第二表面;基于所述第五表面在所述第一方向的投影获得直方图;根据预定范围内的所述直方图确定所述厚度。
在一些实施例中,在基于所述点云数据确定所述便携式电子设备的M个候选表面之前,还包括:根据第二先验规则和所述点云数据确定所述行李箱的拉杆区域和/或边框区域,其中,所述第二先验规则根据所述行李箱的固定形状获得;从所述点云数据中剔除所述拉杆区域和/或边框区域。
在一些实施例中,所述确定所述行李箱的拉杆区域和/或边框区域包括:获取所述点云数据垂直于第一坐标轴的第一投影图像,其中,所述第一坐标轴平行于所述行李箱的拉杆方向;根据所述第二先验规则,从所述第一投影图像的水平投影确定所述拉杆区域,和/或从所述第一投影图像的垂直投影确定所述边框区域。
在一些实施例中,确定所述行李箱的拉杆区域包括:对所述水平投影生成的直方图进行搜索,确定S个第一波峰位置,S大于或等于1;根据所述第二先验规则从所述S个第一波峰位置中确定目标波峰位置,其中,所述第二先验规则包括所述拉杆区域在所述行李箱的先验位置信息;搜索所述目标波峰位置对应的第一波谷位置,作为所述拉杆区域的起始位置。
在一些实施例中,所述确定所述行李箱的边框区域包括:对所述垂直投影生成的直方图进行搜索,确定左右两端的两个第二波峰位置;搜索左右两端的第二波峰位置各自对应的第二波谷位置,作为所述边框区域在左右两端的起始位置。
在一些实施例中,所述确定所述行李箱的拉杆区域还包括:将所述拉杆区域的点云数据垂直于第二坐标轴投影,获得第二投影图像,其中,所述第二坐标轴垂直于所述行李箱的拉杆方向,所述行李箱的至少两根拉杆在所述第二投影图像中的投影相平行;根据所述第二先验规则,从所述第二投影图像的垂直投影确定所述拉杆区域。
在一些实施例中,若从所述M个候选表面中确定出多个所述第一表面,还包括:确定每个所述第一表面轴向的所述目标对象的尺寸;和/或确定每个所述第一表面对应的目标对象区域。
在一些实施例中,若根据所述点云数据确定多个所述目标对象区域,各个目标对象的种类相同或不同,所述从三维CT图像中剥离所述目标对象区域包括:从所述三维CT图像中依次剥离多个所述目标对象区域。
本公开实施例的另一方面提供了一种三维CT图像中目标对象剥离装置,包括:点云数据模块,用于基于CT数据获取点云数据,其中,所述CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2;区域确定模块,用于根据所述点云数据确定所述N个待检对象中的目标对象区域;目标剥离模块,用于从三维CT图像中剥离所述目标对象区域,其中,所述三维CT图像根据所述CT数据生成。
在一些实施例中,所述三维CT图像中目标对象剥离装置包括分别用于执行如上所述任意一项所述的方法的各个步骤的模块。
本公开实施例的另一方面提供了一种安检CT系统,包括CT扫描设备和电子设备。CT扫描设备被配置为通过对N个待检对象进行计算机断层扫描获得CT数据,N大于或等于2;电子设备包括:存储器,存储来自所述CT扫描设备的所述CT数据,和/或一个或多个程序;一个或多个处理器;其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求如上所述的方法。
本公开实施例的另一方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行如上所述的方法。
本公开实施例的另一方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上所述的方法。
上述一个或多个实施例具有如下有益效果:在安检过程中自动识别CT数据内可能存在的一个或多个目标对象,根据所述点云数据确定目标对象区域并从三维CT图像中剥离,实现目标对象区域的单独判图,或是剔除目标对象干扰后的判图,有助于提升判图员的工作效率和查验准确性。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的安检CT系统的应用场景图;
图2示意性示出了根据本公开实施例的三维CT图像中目标对象剥离方法的流程图;
图3示意性示出了根据本公开实施例的安检判图界面示意图;
图4示意性示出了根据本公开实施例的确定目标对象区域的流程图;
图5是描述记录光线投射中第一次击中体数据中的非透明区域的位置的示意图;
图6示意性示出了根据本公开实施例的点云提取流程图;
图7示意性示出了根据本公开实施例的剔除拉杆区域和/或边框区域的流程图;
图8示意性示出了根据本公开实施例的摆正图像的示意图;
图9示意性示出了根据本公开实施例的聚类流程图;
图10示意性示出了根据本公开实施例的聚类效果图;
图11示意性示出了根据本公开实施例的确定第一表面的流程图;
图12示意性示出了根据本公开实施例的确定尺寸的流程图;
图13示意性示出了根据本公开实施例的修正示意图;
图14示意性示出了根据本公开实施例的厚度示意图;
图15示意性示出了根据本公开实施例的三维CT图像中目标对象剥离装置的结构框图;以及
图16示意性示出了根据本公开实施例的适于实现三维CT图像中目标对象剥离方法的电子设备的方框图。
具体实施方式
首先对本公开一些实施例中涉及的技术术语释义如下:
“OBB”,Oriented Bounding Box,定向包围盒。根据物体本身的几何形状来决定包围的大小和方向,包围盒无需和坐标轴垂直。
“DVR”,Direct Volume Rendering,直接体绘制。基于发射、吸收、散射等物理学规律,直接获得CT数据的三维表现。
“FHP”,First Hit Position,第一击中位置。在光线投射过程中,光线第一次击中体数据不透明体素的位置。
“FHN”,First Hit Normal,第一击中位置的法向量。在光线投射过程中,光线第一次击中体数据不透明体素位置处的法线向量。
“点云数据”包括在一个三维坐标系统中的一组向量的集合。例如每个像素点在三维CT图像中的三维坐标值以及CT值。
“多渲染目标技术”(Multiple Render Targets,MRT)允许程序同时渲染到多个颜色缓冲,向不同的颜色缓冲中送入渲染结果的不同方面,如不同rgba色彩通道的值深度值等。其作用就是将每像素的数据保存到不同的缓冲区当中。这样的好处就是这些缓冲区数据由此可以成为照片级光照效果着色器的参数。
“超体聚类算法”是一种来自图像的分割方法超体(super voxel)是一种集合,集合的元素是“体”。与体素滤波器中的体类似,其本质是一个个的小方块。超体聚类的目的并不是分割出某种特定物体,其对点云实施过分割(over segmentation),将场景点云化成很多小块,并研究每个小块之间的关系。
“便携式电子设备”泛指可随身携带的,以电力为能源并能够手持的电子设备。例如:笔记本电脑、平板电脑、电子书、手机、视频播放器和电子游戏机等。
“直方图”指投影直方图,是使用图像在既定方向上的投影的方法,例如,在垂直或水平方向上。这些投影意味着每列或每行中属于对象的像素数目。
“PCA”(Principal Component Analysis)即主成分分析技术,又称主分量分析技术,旨在利用降维的思想,把多指标转化为少数几个综合指标,用于高维数据的降维,可用于提取数据的主要特征分量。
“Canny”是一种多级边缘检测算法。该算法的思想是:检测到的边缘要尽可能跟实际的边缘接近,并尽可能的多,同时,要尽量降低噪声对边缘检测的干扰。
“Hough”变换的基本原理在于利用点与线的对偶性,即在原始图像坐标系下的一个点对应了参数坐标系中的一条直线,同样参数坐标系的一条直线对应了原始坐标系下的一个点。
“RANSAC”为Random Sample Consensus的缩写,它是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
相关技术中,可以在显示设备上显示三维CT图像。然后接收判图员通过诸如鼠标之类的输入装置在某视角下对三维CT图像的至少一个区域的选择。接下来,基于选择产生深度方向上的至少一个三维物体的集合,并且从集合中确定判图员想要标记的目标物体。可以令判图员从一个视角上进行选择以标记三维目标物体,能够方便判图员迅速标记CT图像中的嫌疑物。但是判图员始终面对的是整体的一幅三维CT图像,仍然会受到各个对象纹理之间的影响,对人工输入操作依赖较大。
针对相关技术中判图员判别三维CT图像过程中可能受到干扰导致判别时间较长,甚至判别结果不准确的问题,本公开实施例提供了一种三维CT图像中目标对象剥离方法。该方法包括:基于CT数据获取点云数据,其中,CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2。根据点云数据确定N个待检对象中的目标对象区域。从三维CT图像中剥离目标对象区域。
根据本公开的实施例,在安检过程中可以自动识别CT数据内可能存在的一个或多个目标对象,根据点云数据确定目标对象区域并从三维CT图像中剥离,实现目标对象区域的单独判图,或是剔除目标对象干扰后的判图,有助于提升判图员的工作效率和查验准确性。
可以理解的是,本公开实施例提供的三维CT图像中目标对象剥离方法、装置和安检CT系统、介质和程序产品可以应用在医学检查领域、工业检测领域和安全检查领域等领域。优选地,本公开实施例以安全检查领域为例进一步描述,如应用于安保、航空运输、港湾运输、大型货物集装箱等安检场景中。
图1示意性示出了根据本公开实施例的安检CT系统的应用场景图。
如图1所示,根据本公开实施例的安检CT系统包括CT扫描设备和电子设备60。CT扫描设备包括:机架20、承载机构40、控制器50等。机架20包括发出检查用X射线的射线源10,诸如X光机,以及探测和采集装置30。承载机构40承载被检查行李70穿过机架20的射线源10与探测和采集装置30之间的扫描区域,同时机架20围绕被检查行李70的前进方向转动,从而由射线源10发出的射线能够透过被检查行李70,对被检查行李70进行CT扫描。
探测和采集装置30例如是具有整体模块结构的探测器及数据采集器,例如平板探测器,用于探测透射被检物品的射线,获得模拟信号,并且将模拟信号转换成数字信号,从而输出被检查行李70针对X射线的投影数据。控制器50用于控制整个系统的各个部分同步工作。
在一些实施例中,CT扫描设备被配置为通过对N个待检对象进行计算机断层扫描获得CT数据,N大于或等于2。电子设备60被配置为接收CT数据,对数据进行处理并重建CT图像,并可以执行本公开实施例提供的三维CT图像中目标对象剥离方法,或安装三维CT图像中目标对象剥离装置。
如图1所示,射线源10置于可放置被检查行李70的一侧,探测和采集装置30置于被检查行李70的另一侧,包括探测器和数据采集器,用于获取被检查行李70的多角度投影数据。数据采集器中包括数据放大成形电路,它可工作于(电流)积分方式或脉冲(计数)方式。探测和采集装置30的数据输出电缆与控制器50和计算机数据处理器60连接,根据触发命令将采集的数据存储在电子设备60中。
探测和采集装置30获得的CT数据存储在计算机60中进行CT断层图像重建,从而获得被检查行李70的断层图像数据。然后电子设备60例如通过执行软件来从断层图像数据得到被检查行李70的三维CT图像、剥离的目标对象的CT图像或剥离目标对象后的三维CT图像,方便判图员进行安全检查。
在一些实施例中,上述的CT成像系统也可以是双能CT系统,也就是机架20的X射线源10能够发出高能和低能两种射线,探测和采集装置30探测到不同能量水平下的投影数据后,由电子设备60进行双能CT重建,得到被检查行李70的各个断层的等效原子序数和电子密度数据。
电子设备60可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
应该理解,图1中的电子设备和CT扫描设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的电子设备和CT扫描设备,例如电子设备和CT扫描设备是一一对应的关系,又例如多台CT扫描设备连接同一电子设备,又例如多台电子设备连接同一CT扫描设备。
以下将基于图1描述的场景,通过图2~图14对本公开实施例的三维CT图像中目标对象剥离方法进行详细描述。
图2示意性示出了根据本公开实施例的三维CT图像中目标对象剥离方法的流程图。
如图2所示,该实施例的三维CT图像中目标对象剥离方法包括操作S210~操作S230。
在操作S210,基于CT数据获取点云数据,其中,CT数据通过安检设备(如CT扫描设备)对N个待检对象进行计算机断层扫描获得,N大于或等于2。
在一些实施例中,例如使用3D SLICER软件把CT图像DICOM数据转换成STL数据,然后STL转点云,或者用MESHLAB软件导入STL数据后再保存为点云。在另一些实施例中,可以将三维CT图像中二值化处理,并获取各像素点的坐标信息,以获得点云数据。在另一些实施例中,可以利用多渲染目标技术获取点云数据。
在一些实施例中,N个待检对象包括行李箱和行李箱内的N-1个待检对象,目标对象包括便携式电子设备。尤其说明的是,本公开的实施例所针对的目标对象可以不仅限于便携式电子设备,可以对在使用状态或非使用状态下具有固定形状,且可以提取出具有共性的先验知识的任何对象进行剥离。
在操作S220,根据点云数据确定N个待检对象中的目标对象区域。
示例性地,可以先将点云数据映射到二维平面中然后进行目标检测,基于点云数据获取目标对象的点云区域。其中,目标检测的过程可以利用人工智能模型(如深度学习模型)实现,也可以基于目标对象的先验知识对二维平面的投影图像处理和识别来实现。
在操作S230,从三维CT图像中剥离目标对象区域,其中,三维CT图像根据CT数据生成。
在一些实施例中,可以将目标对象区域的点云数据进行重建得到目标对象的三维CT图像,并可以将非目标对象区域的点云数据进行重建得到剥离后的三维CT图像。
在另一些实施例中,可以根据目标对象区域的点云数据映射到三维CT图像中的各个像素点,并将该些像素点剥离,单独生成目标对象的三维CT图像。剩余非目标对象区域的像素点形成剥离后的三维CT图像。
根据本公开的实施例,在安检过程中自动识别CT数据内可能存在的一个或多个目标对象,根据点云数据确定目标对象区域并从三维CT图像中剥离,实现目标对象区域的单独判图,或是剔除目标对象干扰后的判图,有助于提升判图员的工作效率和查验准确性。
图3示意性示出了根据本公开实施例的安检判图界面示意图。
在一些实施例中,如图3所示,在剥离目标对象区域之后,还包括:将剥离前的三维CT图像(图3(a))、剥离后的三维CT图像(图3(b))和目标对象的三维CT图像(图3(c))中至少一种图像展示在安检判图界面。
参照图3,目标对象为非使用状态下的笔记本电脑。如笔记本电脑等便携式电子设备包括复杂的电子原件,得到的三维CT图像中笔记本电脑的纹理较为复杂。具体而言,如果仅给判图员展示图3(a),则判图员所要面对的图像纹理过于复杂,笔记本电脑区域会对判图员判断其他对象造成干扰,同样地,由于笔记本电脑与其他物品放置在一起,判图员也无法对笔记本电脑本身进行有效判断,例如判断笔记本电脑的夹层中是否有违禁品。
根据本公开的实施例,在扫描行李过程中,自动识别CT数据内可能存在的笔记本。实现笔记本区域的单独判图(图3(c)),箱体数据剔除笔记本干扰后的判图(图3(b)),有助于提升安检人员的工作效率和查验准确性。
图4示意性示出了根据本公开实施例的确定目标对象区域的流程图。
如图4所示,在操作S220确定目标对象区域操作S410~操作S420。
在操作S410,根据第一先验规则和点云数据确定目标对象的局部轮廓和尺寸,其中,目标对象在使用状态或非使用状态下具有固定形状,第一先验规则根据目标对象的固定形状获得。
示例性地,在目标对象为便携式电子设备时,通常各类便携式电子设备在使用状态或非使用状态下具有固定形状。例如在非使用状态折叠笔记本电脑时各个厂家的产品形状是类似的,长宽比也可能是类似的(具体尺寸可能不同),例如屏幕为13寸、14寸或16寸的笔记本电脑中,相同大小的显示屏幕,具有类似的形状。又例如平板电脑无论使用或非使用状态下的形状皆一致,而各个厂家的产品形状是类似的,长宽比也是类似的。
可以通过各类目标对象的固定形状获取通用的形状规则,例如折叠后的笔记本,或者平板电脑通常呈矩形,而长宽比通常在一定尺寸范围之内。因此,第一先验规则包括同一类目标对象(如笔记本电脑)的多条形状规则。电子设备60中可以预先存有各类目标对象(如平板类和笔记本类)的第一先验规则。
在一些实施例中,目标对象的局部轮廓包括第一表面,确定目标对象的局部轮廓和尺寸包括:根据第一先验规则和点云数据确定第一表面,第一先验规则包括第一表面的形状规则。确定第一表面轴向的目标对象的尺寸。
示例性地,如平板电脑的产品外观形状为近似长方体或正方体的薄板状。在目标对象为平板电脑时,其全部轮廓为薄板轮廓,而局部轮廓可以为平板电脑的其中一个平面,其尺寸则为该平面轮廓轴向的厚度。在一些实施例中,若目标对象的某个表面为曲面,也可以自动识别其作为第一表面。
在操作S420,根据目标对象的局部轮廓和尺寸,基于点云数据确定目标对象区域。
示例性地,局部轮廓和尺寸相关联以用于确定目标对象区域。例如可以是平板电脑的一个平面及其轴向尺寸,可以是平板电脑的两个相平行的平面及平面之间的尺寸,可以是平板电脑的两个相垂直的平面及各自轴向尺寸。另外,还可以是平板电脑的两个以上平面及相关尺寸。
根据本公开的实施例,可以仅识别目标对象的局部轮廓和尺寸(如某表面及其轴向的目标对象的尺寸),即可确定出目标对象区域,提高了图像处理效率。
在一些实施例中,在基于CT数据获取点云数据之前,还包括:通过多渲染目标技术基于CT数据获得直接体绘制结果、第一击中位置和第一击中位置的法向量。其中,第一击中位置和第一击中位置的法向量用于获取点云数据,直接体绘制结果用于获取目标对象的局部轮廓和尺寸。
图5是描述记录光线投射中第一次击中体数据中的非透明区域的位置的示意图。图6示意性示出了根据本公开实施例的点云提取流程图。
参照图5,在光线投射过程中,记录光线第一次击中体数据非透明区域的位置,同时计算这个位置的法线向量。例如,射入点处的法线向量使用该体素位置的梯度估算。
如图6所示,在光线投射过程中,使用多渲染目标技术,同时获得CT数据体绘制的DVR、FHP和FHN结果。其中DVR结果用于前台的显示输出。FHP和FHN结果存储在显存中,用于抽取点云。
在光线投射过程中(例如沿视线方向投射光线),使用CT数据的实际包围盒作为体纹理的载体,体纹理通过纹理坐标和包围盒进行对应,然后由视点向模型上的点引射线,该射线穿越包围盒空间等价于射线穿越了体纹理,计算纹理采样坐标,进行体纹理采样。在光线穿越图像序列的过程中,根据设定的步长值进行采样,获取颜色和透明度信息。依据光线吸收模型将颜色值进行累加,获得的就是体渲染的直接体绘制结果(简称为DVR),输出到前台进行显示。
在颜色累加的同时,对于每一条投射光线,记录当前光线第一次击中体数据非透明区域的位置,存储在一张纹理中,如图5。此坐标值位于体纹理坐标系下,记为(xh,yh,zh),其中0≤xh≤1,0≤yh≤1,0≤zh≤1,分别存储在FHP纹理对应像素的RGB通道中。查询对应体素位置的原子序数值,存储在FHP纹理对应像素的A通道中。在该体素位置,同时计算法线向量,射入点处的法线向量使用该体素位置的梯度估算。(xh,yh,zh)处的灰度值记为f(xh,yh,zh),使用如下中心差分法计算梯度:
使用可编程着色器的渲染管线,常规的做法只能获得一个像素的一组输出(存储在颜色缓冲器中)。但现在希望进行一次渲染流程,同时获得DVR,FHP和FHN三组输出。使用多渲染目标技术,可以使着色器在单帧中同时输出多个渲染目标,将这些渲染目标以FBO的形式进行保存。
图7示意性示出了根据本公开实施例的剔除拉杆区域和/或边框区域的流程图。图8示意性示出了根据本公开实施例的摆正图像的示意图。
如图7所示,该实施例剔除拉杆区域和/或边框区域包括操作S710~操作S720。
在操作S710,根据第二先验规则和点云数据确定行李箱的拉杆区域和/或边框区域,其中,第二先验规则根据行李箱的固定形状获得。
示例性地,行李箱体包括具有拉杆和/或滚轮的拉杆箱。拉杆箱也有单管拉杆及双管拉杆之分。例如机场安检中可以登机的20寸及20寸以下的双管拉杆箱(仅为示例)。
示例性地,行李箱的形状通常为长方体,而拉杆的位置通常在行李箱的一侧,而例如机场安检中通常拉杆方向会与安检通道的移动方向平行。因此,第二先验规则可以包括拉杆在行李箱内部的位置,拉杆在拉出后与箱体之间的位置和箱体的形状信息等。
在操作S720,从点云数据中剔除拉杆区域和/或边框区域。
根据本公开的实施例,一方面,拉杆区域和/或边框区域与箱内待检物会形成部分或完全遮挡、重叠的关系。此外,金属拉杆经过X射线成像后,通常呈现区域灰度较低,边缘梯度较高等特点,与违禁品的材料灰度特性极为相似。而拉杆区域和边框区域可能对判图员而言是无需判断的区域,但是却会遮挡其他物品,导致CT图像的纹理更为复杂。因此剔除后可以降低判图难度。另一方面,在目标对象的第一表面自动识别过程中,由于双管拉杆包括两个平行的杆,极易被识别为第一表面而导致对目标对象区域识别错误,边框区域由于矩形形状也易被错误识别。剔除后可以提高对目标对象区域自动识别的准确率。
在一些实施例中,确定行李箱的拉杆区域和/或边框区域包括:可以利用各类尺寸行李箱的第二先验规则制作各个行李箱模板,获取行李箱点云数据后与多个行李箱模板进行匹配,并根据匹配到的行李箱模板确定拉杆区域和/或边框区域。
在另一些实施例中,确定行李箱的拉杆区域和/或边框区域包括:可以首先对行李箱图像进行走轮识别,然后根据识别出的轴承坐标对原图像进行仿射变换,利用直线检测算子对图像中的直线进行检测,识别出拉杆直线,对拉杆直线进行积分投影,通过投影值确定拉杆坐标,识别出拉杆区域。接着可以对行李箱图像进行轮廓识别,根据拉杆区域、走轮区域和边框区域之间的关系,从轮廓中确定边框区域。
在另一些实施例中,确定行李箱的拉杆区域和/或边框区域包括:获取点云数据垂直于第一坐标轴的第一投影图像,其中,第一坐标轴平行于行李箱的拉杆方向。根据第二先验规则,从第一投影图像的水平投影确定拉杆区域,和/或从第一投影图像的垂直投影确定边框区域。
示例性地,参照图1,第一坐标轴可以为z轴。由于拉杆方向与安检通道平行,则其平行于z轴,第一投影图像可以显示出拉杆区域的垂直投影。
示例性地,首先沿z轴投影点云得到第一投影图像。接着,使用阈值函数处理(如二值化阈值处理)投影图像。接着闭运算做形态学处理,并再次阈值化。然后将处理后的图像分别在水平和竖直方向做投影。其中,水平投影是指二维图像按列向x轴方向积分投影;垂直投影是指二维图象按行向y轴方向积分投影;投影的结果可以看成是一维图像(一维数组)。
根据本公开的实施例,利用点云数据得到二维投影图像后,利用先验信息确定拉杆区域和/或边框区域并剔除掉,可以减少数据处理量,提高效率和准确率。
在一些实施例中,确定行李箱的拉杆区域包括:对水平投影生成的直方图进行搜索,确定S个第一波峰位置,S大于或等于1。根据第二先验规则从S个第一波峰位置中确定目标波峰位置,其中,第二先验规则包括拉杆区域在行李箱的先验位置信息。搜索目标波峰位置对应的第一波谷位置,作为拉杆区域的起始位置。
示例性地,对水平投影生成的直方图进行搜索并统计波峰位置。根据拉杆在箱体的位置先验,对候选位置进行筛选,举例而言,在X轴的直方图上分别沿横轴由左向右,中间向左,中间向右,由右向左进行扫描确定S个第一波峰位置,根据拉杆在箱体的位置先验,确定目标波峰位置。最后搜索该区域波峰对应的波谷位置,作为拉杆区域的起始位置。
示例性地,拉杆在箱体的位置先验:例如拉杆主要为双拉杆,形如矩形,且分别位于箱体主轴线两侧。拉杆区域的起始位置用于确定拉杆区域在点云数据中的大概范围。
在一些实施例中,确定行李箱的边框区域包括:对垂直投影生成的直方图进行搜索,确定左右两端的两个第二波峰位置。搜索左右两端的第二波峰位置各自对应的第二波谷位置,作为边框区域的起始位置,用于确定边框区域在点云数据中的大概范围。
示例性地,边框区域的投影会具有较多的有效像素点数,易形成直方图中的波峰位置,因此对垂直投影生成的直方图搜索位于左右两端的两个波峰,搜索波峰对应的波谷位置,作为箱体边框的起始位置。
在另一些实施例中,确定出拉杆区域的大概范围之后,还可以进一步确认更精细的拉杆区域范围。首先将拉杆区域的点云数据垂直于第二坐标轴投影,获得第二投影图像,其中,第二坐标轴垂直于行李箱的拉杆方向,行李箱的至少两根拉杆在第二投影图像中的投影相平行;然后根据第二先验规则,从第二投影图像的垂直投影确定拉杆区域。
示例性地,第二投影图像参照图8中上半部分810,将拉杆区域的点云沿y轴投影,由于拉杆其垂直于y轴,第二投影图像可以显示出直线形状的拉杆。对第二投影图像形态学闭运算后二值化,提取轮廓,以减少PCA的数据规模。对轮廓图像作PCA,使用PCA获得的主轴方向(如x轴)旋转图像。对旋转后的图像再次形态学闭运算。使用Canny提取边缘,优先拼接长轴方向上的像素。使用概率Hough变换提取直线,根据平行度、距离配对后,获得最可能的拉杆方向。如图8所示,使用新的拉杆方向旋转图像,并作垂直投影(图8下半部分820),对获得的直方图做判断,最终决定是否需要作为拉杆区域进行剔除。例如绕x轴旋转+5°和-5°,图8下半部分820中显示波峰最高的作为最终摆正图像,并以此确认对应的拉杆区域进行剔除。
根据本公开的实施例,在自动识别拉杆区域过程中,若识别区域有角度偏差则可能会剔除掉其他对象,导致给判图员无法有效判图,再次确认可以提高识别准确率。
可以理解的是,行李箱的边框区域也可以如上对拉杆区域的再次确认流程,对边框区域的点云数据进一步确定,在此不做赘述。
图9示意性示出了根据本公开实施例的聚类流程图。图10示意性示出了根据本公开实施例的聚类效果图。
如图9所示,在操作S410确定目标对象的局部轮廓和尺寸包括操作S910~操作S930。
在操作S910,通过超体聚类算法对点云数据(图10中左侧1010)进行过分割,获得点云簇数据(图10中右侧1020)。
示例性地,可以对剔除拉杆区域和/或边框区域后的点云数据进行过分割,也可以对未剔除拉杆区域和/或边框区域的点云数据进行过分割。
过分割本质上是对局部的一种总结,纹理、材质、颜色类似的部分会被自动的分割成一块(点云簇),有利于后续识别工作。
在操作S920,根据第一先验规则从点云簇数据确定目标对象的局部轮廓和尺寸。
根据本公开的实施例,在安检场景中,基本上每个行李从放入安检通道到离开安检通道的时间既是CT图像的绘制、图像处理以及对三维图像的人机交互(判图)的时间。由于原始的点云量太多,若直接进行图像处理会导致速度变慢,对聚类后的点云簇数据进行处理,减少了数据规模,提高了计算速度和安检效率。
下面以对剔除拉杆区域和/或边框区域后的点云数据进行过分割,将聚类后的点云簇数据作为处理对象,目标对象为笔记本电脑举例,进一步说明确定目标对象的局部轮廓和尺寸。可以理解的是,本公开实施例不仅限于对聚类后的点云簇数据处理,也可以对原始的点云数据进行处理。
图11示意性示出了根据本公开实施例的确定第一表面的流程图。
如图11所示,该实施例的确定第一表面包括操作S1110~操作S1120。
在操作S1110,基于点云数据确定便携式电子设备的M个候选表面,M大于或等于1。
示例性地,RANSAC从样本(点云簇)中随机抽选出一个样本子集,使用最小方差估计法对这个子集计算模型参数,然后计算所有样本与该模型的偏差,再使用一个预先设定好的阈值与偏差比较,当偏差小于阈值时,该样本点属于模型内样本点,否则为模型外样本点。记录下当前的模型内样本点的个数,然后重复这一过程,每一次重复都记录当前最佳的模型参数,所谓最佳就是模型内样本点的个数最多。每次迭代的末尾都会根据期望的误差率、最多的局内点、总样本个数、当前迭代次数,计算一个迭代结束评判因子,据此决定是否迭代结束。迭代结束后,最佳模型参数就是最终的模型参数估计值。
可以利用RANSAC算法对各个点云簇数据进行如上处理过程,多次迭代后可以获得笔记本电脑的M个候选表面。
在操作S1120,根据第一先验规则从M个候选表面中确定第一表面。
示例性地,可以对M个候选表面进行简单的尺寸和角度筛选,剔除明显的错误平面(例如明显不符合第一先验规则)。
在一些实施例中,操作S1120包括:从M个候选表面中确定最大候选表面,以及与最大候选表面的点云数量在预定范围内的m个候选表面,m大于或等于0,且小于或等于M-1。根据第一先验规则对最大候选表面和m个候选表面进行投票,确定第一表面。
首先找到最大的平面,并记录相关信息:将该平面对应的点簇沿平面法向投影。提取投影图像的凸包,并对凸包计算OBB包围盒。对投影图像做形态学闭运算,统计非零像素,结合OBB包围盒,计算占空比(如非零像素的面积比)。
然后遍历其他候选平面。找出点数和最大平面相差小于10%的平面,重复上述计算占空比的步骤。对这些点数较多的平面进行投票处理,对于每个待投票表面,包括以下至少一项投票指标:对应定向包围盒的长宽比、定向包围盒的短边长度和非零像素的占空比。例如投票规则包括:OBB包围盒的长宽比,比值小的得一票。OBB包围盒短边的长度,长者得一票。占空比大者得一票。
最后对尺寸做筛选,根据第一先验规则中笔记本电脑的形状先验,筛选准则为长宽比需要小于2.5且长边需要大于10cm(仅为示例)。最终确定出第一表面。
图12示意性示出了根据本公开实施例的确定尺寸的流程图。图13示意性示出了根据本公开实施例的修正示意图。图14示意性示出了根据本公开实施例的厚度示意图。
如图12所示,确定第一表面轴向的目标对象的尺寸包括操作S1210~操作S1220。
在操作S1210,对第一表面进行方向修正和/或范围修正,获得第二表面。
示例性地,方向修正和/或范围修正的过程如下:
(1)获得主平面(即第一表面)的灰度切片,阈值化后再进行闭运算。
(2)提取轮廓,并去掉面积小于预设阈值的小区域。
(3)寻找图像轮廓的凸性缺陷点。将缺陷点配对。去除成对的缺陷点之间的轮廓,并重新连接该对缺陷点。在新的轮廓上重复上述步骤。
(4)对去除凸性缺陷后的结果计算最小区域的有界矩形区域;旋转切片的同时,修正平面的相关轴向(主要是垂直于法向的x轴和y轴)和平面的范围,图13中线框1310为修正前的第一表面,线框1320为修正后的第二表面。
在操作S1220,确定在第二表面轴向的目标对象的尺寸。
根据本公开的实施例,对第一表面进行修正,能够有效提高目标对象区域的准确性。另外,若第一表面范围有误差,也会导致剥离后的效果较差,影响判图员的判图结果。
在一些实施例中,目标对象的尺寸包括便携式电子设备的厚度,确定在第二表面轴向的目标对象的尺寸包括:根据第二表面确定第三表面和第四表面,其中,第三表面和第四表面相交且分别垂直于第二表面。根据第三表面和第四表面确定厚度。
在一些实施例中,根据第三表面和第四表面获得确定厚度数据包括:沿第一方向拼接第三表面和第四表面,获得第五表面,第一方向平行于第二表面。基于第五表面在第一方向的投影获得直方图。根据预定范围内的直方图确定厚度。
示例性地,使用修正后的轴向(第二表面轴向),取两个侧平面(第三表面和第四表面),沿水平方向(即第一方向)拼接后阈值化,水平投影获得直方图。统计直方图的有效范围,获得最终的笔记本电脑厚度,如图14两直线间的区域即为找到的笔记本电脑厚度。
在一些实施例中,若操作S1120从M个候选表面中确定出多个第一表面,还包括:确定每个第一表面轴向的目标对象的尺寸。和/或确定每个第一表面对应的目标对象区域。
根据本公开的实施例,若行李箱中存在多个笔记本电脑,则可以依次确定出多个第一表面,并执行如上一个或多个实施例依次确定各自的局部轮廓和尺寸。在确定出每个笔记本电脑的区域后,分别从三维CT图像中剥离出来,进一步提高判图便利性。
在一些实施例中,根据点云数据确定多个目标对象区域,各个目标对象的种类相同或不同,从三维CT图像中剥离目标对象区域包括:从三维CT图像中依次剥离多个目标对象区域。
示例性地,可以预先在电子设备中的判图系统输入多类目标对象,以及各类目标对象的先验规则。在行李箱中存在多个目标对象的情况下,对每个目标对象执行上文描述的一个或多个方法步骤,例如按照沿z轴的放置顺序,依次剥离当前最上层的目标对象区域。
根据本公开的实施例,可以对多个不同类别或相同类别的目标对象进行剥离,减小相互之间的纹理干扰,进一步提高判图便利性。
基于上述三维CT图像中目标对象剥离方法,本公开还提供了一种三维CT图像中目标对象剥离装置。以下将结合图15对该装置进行详细描述。
图15示意性示出了根据本公开实施例的三维CT图像中目标对象剥离装置的结构框图。
如图15所示,该实施例的三维CT图像中目标对象剥离装置1500包括点云数据模块1510、区域确定模块1520和目标剥离模块1530。
点云数据模块1510可以执行操作S210,用于基于CT数据获取点云数据,其中,CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2。
在一些实施例中,点云数据模块1510还用于在基于CT数据获取点云数据之前,通过多渲染目标技术基于CT数据获得直接体绘制结果、第一击中位置和第一击中位置的法向量。
区域确定模块1520可以执行操作S220,用于根据点云数据确定N个待检对象中的目标对象区域。
在一些实施例中,区域确定模块1520还可以执行操作S410~操作S420,操作S710~操作S720,操作S910~操作S920,操作S1110~操作S1120,操作S1210~操作S1220,在此不做赘述。
在一些实施例中,区域确定模块1520还用于从M个候选表面中确定最大候选表面,以及与最大候选表面的点云数量在预定范围内的m个候选表面。根据第一先验规则对最大候选表面和m个候选表面进行投票,确定第一表面。
在一些实施例中,区域确定模块1520还用于根据第一先验规则和点云数据确定第一表面。确定第一表面轴向的目标对象的尺寸。
在一些实施例中,区域确定模块1520还用于根据第二表面确定第三表面和第四表面。根据第三表面和第四表面确定厚度。
在一些实施例中,区域确定模块1520还用于沿第一方向拼接第三表面和第四表面,获得第五表面。基于第五表面在第一方向的投影获得直方图。根据预定范围内的直方图确定厚度。
在一些实施例中,区域确定模块1520还用于在基于点云数据确定便携式电子设备的M个候选表面之前,根据第二先验规则和点云数据确定行李箱的拉杆区域和/或边框区域。从点云数据中剔除拉杆区域和/或边框区域。
在一些实施例中,区域确定模块1520还用于获取点云数据垂直于第一坐标轴的第一投影图像。根据第二先验规则,从第一投影图像的水平投影确定拉杆区域,和/或从第一投影图像的垂直投影确定边框区域。
在一些实施例中,区域确定模块1520还用于对水平投影生成的直方图进行搜索,确定S个第一波峰位置。根据第二先验规则从S个第一波峰位置中确定目标波峰位置。搜索目标波峰位置对应的第一波谷位置,作为拉杆区域的起始位置。
在一些实施例中,区域确定模块1520还用于对垂直投影生成的直方图进行搜索,确定左右两端的两个第二波峰位置。搜索左右两端的第二波峰位置各自对应的第二波谷位置,作为边框区域在左右两端的起始位置。
在一些实施例中,区域确定模块1520还用于将拉杆区域的点云数据垂直于第二坐标轴投影,获得第二投影图像,其中,第二坐标轴垂直于行李箱的拉杆方向,行李箱的至少两根拉杆在第二投影图像中的投影相平行;根据第二先验规则,从第二投影图像的垂直投影确定拉杆区域。
在一些实施例中,若从M个候选表面中确定出多个第一表面,区域确定模块1520还用于确定每个第一表面轴向的目标对象的尺寸。和/或确定每个第一表面对应的目标对象区域。
目标剥离模块1530可以执行操作S230,用于从三维CT图像中剥离目标对象区域,其中,三维CT图像根据CT数据生成。
在一些实施例中,若根据点云数据确定多个目标对象区域,各个目标对象的种类相同或不同,目标剥离模块1530还用于从三维CT图像中依次剥离多个目标对象区域。
在一些实施例中,目标对象剥离装置1500还可以包括显示模块,用于在剥离目标对象区域之后,将剥离前的三维CT图像、剥离后的三维CT图像和目标对象的三维CT图像中至少一种图像展示在安检判图界面。
需要说明的是,目标对象剥离装置1500包括分别用于执行如上描述的任意一个实施例的各个步骤的模块。装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似,在此不再赘述。
根据本公开的实施例,点云数据模块1510、区域确定模块1520和目标剥离模块1530中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。
根据本公开的实施例,点云数据模块1510、区域确定模块1520和目标剥离模块1530中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,点云数据模块1510、区域确定模块1520和目标剥离模块1530中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图16示意性示出了根据本公开实施例的适于实现三维CT图像中目标对象剥离方法的电子设备的方框图。
如图16所示,根据本公开实施例的电子设备1600包括处理器1601,其可以根据存储在只读存储器(ROM)1602中的程序或者从存储部分1608加载到随机访问存储器(RAM)1603中的程序而执行各种适当的动作和处理。处理器1601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1601还可以包括用于缓存用途的板载存储器。处理器1601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1603中,存储有电子设备1600操作所需的各种程序和数据和CT安检设备扫描得到的CT数据。处理器1601、ROM 1602以及RAM 1603通过总线1604彼此相连。处理器1601通过执行ROM1602和/或RAM 1603中的程序来执行根据本公开实施例的一个或多个方法流程的各种操作。需要注意,程序也可以存储在除ROM 1602和RAM 1603以外的一个或多个存储器中。处理器1601也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备1600还可以包括输入/输出(I/O)接口1605,输入/输出(I/O)接口1605也连接至总线1604。电子设备1600还可以包括连接至I/O接口1605的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1606。包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1607。包括硬盘等的存储部分1608。以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质1611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1610上,以便于从其上读出的计算机程序根据需要被安装入存储部分1608。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的。也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1602和/或RAM 1603和/或ROM 1602和RAM 1603以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的方法。
在该计算机程序被处理器1601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1609被下载和安装,和/或从可拆卸介质1611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1609从网络上被下载和安装,和/或从可拆卸介质1611被安装。在该计算机程序被处理器1601执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (23)
1.一种三维CT图像中目标对象剥离方法,包括:
基于CT数据获取点云数据,其中,所述CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2;
根据所述点云数据确定所述N个待检对象中的目标对象区域;
从三维CT图像中剥离所述目标对象区域,其中,所述三维CT图像根据所述CT数据生成。
2.根据权利要求1所述的方法,其中,在剥离所述目标对象区域之后,还包括:
将剥离前的所述三维CT图像、剥离后的所述三维CT图像和所述目标对象的三维CT图像中至少一种图像展示在安检判图界面。
3.根据权利要求2所述的方法,其中,所述根据所述点云数据确定所述N个待检对象中的目标对象区域包括:
根据第一先验规则和所述点云数据确定目标对象的局部轮廓和尺寸,其中,所述目标对象在使用状态或非使用状态下具有固定形状,所述第一先验规则根据所述目标对象的固定形状获得;
根据所述目标对象的局部轮廓和尺寸,基于所述点云数据确定目标对象区域。
4.根据权利要求3所述的方法,其中,所述目标对象的局部轮廓包括第一表面,所述确定目标对象的局部轮廓和尺寸包括:
根据第一先验规则和所述点云数据确定所述第一表面,所述第一先验规则包括所述第一表面的形状规则;
确定所述第一表面轴向的所述目标对象的尺寸。
5.根据权利要求4所述的方法,其中,在基于CT数据获取点云数据之前,还包括:
通过多渲染目标技术基于所述CT数据获得直接体绘制结果、第一击中位置和所述第一击中位置的法向量;
其中,所述第一击中位置和所述第一击中位置的法向量用于获取所述点云数据,所述直接体绘制结果用于获取所述目标对象的局部轮廓和尺寸。
6.根据权利要求5所述的方法,其中,所述根据第一先验规则和所述点云数据确定目标对象的局部轮廓和尺寸包括:
通过超体聚类算法对所述点云数据进行过分割,获得点云簇数据;
根据所述第一先验规则从所述点云簇数据确定所述目标对象的局部轮廓和尺寸。
7.根据权利要求4~6任一项所述的方法,其中,所述N个待检对象包括行李箱和所述行李箱内的N一1个待检对象,所述目标对象包括便携式电子设备。
8.根据权利要求7所述的方法,其中,所述根据第一先验规则和所述点云数据确定所述第一表面包括:
基于所述点云数据确定所述便携式电子设备的M个候选表面,M大于或等于1;
根据所述第一先验规则从所述M个候选表面中确定所述第一表面。
9.根据权利要求8所述的方法,其中,所述根据所述第一先验规则从所述M个候选表面中确定所述第一表面包括:
从所述M个候选表面中确定最大候选表面,以及与所述最大候选表面的点云数量在预定范围内的m个候选表面,m大于或等于0,且小于或等于M-1;
根据所述第一先验规则对所述最大候选表面和所述m个候选表面进行投票,确定所述第一表面。
10.根据权利要求8所述的方法,其中,所述确定所述第一表面轴向的所述目标对象的尺寸包括:
对所述第一表面进行方向修正和/或范围修正,获得第二表面;
确定在所述第二表面轴向的所述目标对象的尺寸。
11.根据权利要求10所述的方法,其中,所述目标对象的尺寸包括所述便携式电子设备的厚度,所述确定在所述第二表面轴向的所述目标对象的尺寸包括:
根据所述第二表面确定第三表面和第四表面,其中,所述第三表面和所述第四表面相交且分别垂直于所述第二表面;
根据所述第三表面和第四表面确定所述厚度。
12.根据权利要求11所述的方法,其中,所述根据所述第三表面和第四表面获得确定厚度数据包括:
沿第一方向拼接所述第三表面和第四表面,获得第五表面,所述第一方向平行于所述第二表面;
基于所述第五表面在所述第一方向的投影获得直方图;
根据预定范围内的所述直方图确定所述厚度。
13.根据权利要求8所述的方法,其中,在基于所述点云数据确定所述便携式电子设备的M个候选表面之前,还包括:
根据第二先验规则和所述点云数据确定所述行李箱的拉杆区域和/或边框区域,其中,所述第二先验规则根据所述行李箱的固定形状获得;
从所述点云数据中剔除所述拉杆区域和/或边框区域。
14.根据权利要求13所述的方法,其中,所述确定所述行李箱的拉杆区域和/或边框区域包括:
获取所述点云数据垂直于第一坐标轴的第一投影图像,其中,所述第一坐标轴平行于所述行李箱的拉杆方向;
根据所述第二先验规则,从所述第一投影图像的水平投影确定所述拉杆区域,和/或从所述第一投影图像的垂直投影确定所述边框区域。
15.根据权利要求14所述的方法,其中,所述确定所述行李箱的拉杆区域包括:
对所述水平投影生成的直方图进行搜索,确定S个第一波峰位置,S大于或等于1;
根据所述第二先验规则从所述S个第一波峰位置中确定目标波峰位置,其中,所述第二先验规则包括所述拉杆区域在所述行李箱的先验位置信息;
搜索所述目标波峰位置对应的第一波谷位置,作为所述拉杆区域的起始位置。
16.根据权利要求14或15所述的方法,其中,所述确定所述行李箱的边框区域包括:
对所述垂直投影生成的直方图进行搜索,确定左右两端的两个第二波峰位置;
搜索左右两端的第二波峰位置各自对应的第二波谷位置,作为所述边框区域在左右两端的起始位置。
17.根据权利要求13~15任一项所述的方法,其中,所述确定所述行李箱的拉杆区域还包括:
将所述拉杆区域的点云数据垂直于第二坐标轴投影,获得第二投影图像,其中,所述第二坐标轴垂直于所述行李箱的拉杆方向,所述行李箱的至少两根拉杆在所述第二投影图像中的投影相平行;
根据所述第二先验规则,从所述第二投影图像的垂直投影确定所述拉杆区域。
18.根据权利要求8所述的方法,其中,若从所述M个候选表面中确定出多个所述第一表面,还包括:
确定每个所述第一表面轴向的所述目标对象的尺寸;和/或
确定每个所述第一表面对应的目标对象区域。
19.根据权利要求1所述的方法,其中,若根据所述点云数据确定多个所述目标对象区域,各个目标对象的种类相同或不同,所述从三维CT图像中剥离所述目标对象区域包括:
从所述三维CT图像中依次剥离多个所述目标对象区域。
20.一种三维CT图像中目标对象剥离装置,包括:
点云数据模块,用于基于CT数据获取点云数据,其中,所述CT数据通过安检设备对N个待检对象进行计算机断层扫描获得,N大于或等于2;
区域确定模块,用于根据所述点云数据确定所述N个待检对象中的目标对象区域;
目标剥离模块,用于从三维CT图像中剥离所述目标对象区域,其中,所述三维CT图像根据所述CT数据生成。
21.一种安检CT系统,包括:
CT扫描设备,被配置为通过对N个待检对象进行计算机断层扫描获得CT数据,N大于或等于2;
电子设备,包括:
存储器,存储来自所述CT扫描设备的所述CT数据,和/或一个或多个程序;
一个或多个处理器;
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~19中任一项所述的方法。
22.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~19中任一项所述的方法。
23.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~19中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211705003.6A CN116188385A (zh) | 2022-12-28 | 2022-12-28 | 三维ct图像中目标对象剥离方法、装置和安检ct系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211705003.6A CN116188385A (zh) | 2022-12-28 | 2022-12-28 | 三维ct图像中目标对象剥离方法、装置和安检ct系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116188385A true CN116188385A (zh) | 2023-05-30 |
Family
ID=86441454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211705003.6A Pending CN116188385A (zh) | 2022-12-28 | 2022-12-28 | 三维ct图像中目标对象剥离方法、装置和安检ct系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116188385A (zh) |
-
2022
- 2022-12-28 CN CN202211705003.6A patent/CN116188385A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10102641B2 (en) | Methods for extracting shape feature, inspection methods and apparatuses | |
Rogers et al. | Automated x-ray image analysis for cargo security: Critical review and future promise | |
US10043280B2 (en) | Method and system for image segmentation | |
US8059900B2 (en) | Method and apparatus to facilitate visualization and detection of anatomical shapes using post-processing of 3D shape filtering | |
US20110182495A1 (en) | System and method for automatic defect recognition of an inspection image | |
WO2015067208A1 (zh) | 检查方法和设备 | |
US20150332448A1 (en) | Object detection methods, display methods and apparatuses | |
US20140185742A1 (en) | 3-dimensional model creation methods and apparatuses | |
US7949162B2 (en) | System and method for solid component evaluation in mixed ground glass nodules | |
US8180138B2 (en) | Method and system for inspection of containers | |
US20140010437A1 (en) | Compound object separation | |
Rogers et al. | A deep learning framework for the automated inspection of complex dual-energy x-ray cargo imagery | |
US9898678B2 (en) | Compound object separation | |
EP2430396A2 (en) | Systems and methods for automated, rapid detection of high-atomic-number materials | |
US8090169B2 (en) | System and method for detecting items of interest through mass estimation | |
US20180247450A1 (en) | A computer-implemented method and a system for creating a three-dimensional mineral model of a sample of a heterogenous medium | |
CN104658034A (zh) | Ct图像数据的融合绘制方法 | |
US8774496B2 (en) | Compound object separation | |
US10663413B2 (en) | Inspection devices and methods for inspecting a container | |
US9633428B2 (en) | Automatic occlusion region identification using radiation imaging modality | |
CN116188385A (zh) | 三维ct图像中目标对象剥离方法、装置和安检ct系统 | |
Xu et al. | Hierarchical matching for automatic detection of masses in mammograms | |
WO2024140486A1 (zh) | 三维ct图像中目标对象剥离方法、装置和安检ct系统 | |
US8953902B2 (en) | Systems and methods for thin object imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |