CN112233227A - 一种ct投影图生成方法和装置 - Google Patents
一种ct投影图生成方法和装置 Download PDFInfo
- Publication number
- CN112233227A CN112233227A CN202011125433.1A CN202011125433A CN112233227A CN 112233227 A CN112233227 A CN 112233227A CN 202011125433 A CN202011125433 A CN 202011125433A CN 112233227 A CN112233227 A CN 112233227A
- Authority
- CN
- China
- Prior art keywords
- projection
- angles
- angle
- generator
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000000295 complement effect Effects 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000010586 diagram Methods 0.000 claims abstract description 42
- 238000007689 inspection Methods 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种CT投影图生成方法和装置，属于射线图像生成技术领域，解决了现有X射线图像投射到二维图像上互相重叠，难以分辨包裹内部的危险违禁品的问题。方法包括获取图像样本库；构建生成式对抗网络，并通过图像样本库的训练样本对生成式对抗网络进行训练；构建DR安检设备，包括拍摄装置和训练后的生成器；通过拍摄装置拍摄待检对象多个角度的DR投影图；基于多个角度的DR投影图，通过训练后的生成器生成不同于多个角度的多幅不同角度的补间DR投影图；以及基于多个角度的DR投影图和多幅不同角度的补间DR投影图，生成待检对象与多个角度和多幅不同角度对应的CT投影图。获得三维重建体数据以部分模拟CT，使表达的图像信息更加全面和完善。
Description
技术领域
本发明涉及射线图像生成技术领域，尤其涉及一种CT投影图生成方法和装置。
背景技术
X射线辐射成像技术是各国广泛使用的安检系统中的主流技术，尤其是在机场、车站、海关、码头、展览会馆等公共场所，都采用了X射线安检机对旅客行李物品、货物集装箱等进行严格检查。在X射线安检设备中，双视角乃至多视角的安检系统在违禁品可以多角度准确判断被检测物体因而更受到青睐使用。
安检CT由于其穿透强、多角度、高精度等特点使其成为机场等重点安防领域的核心安检设备，但安检CT市场价格昂贵，机型庞大移动也不方便。如何通过多视角X射线安检机数据部分模拟CT的技术效果成为了新的技术需求。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种CT投影图生成方法和装置，用以解决现有安检CT市场价格昂贵、机型庞大移动不便，X射线图像投射到二维图像上互相重叠，难以分辨包裹内部的危险违禁品的问题。
一方面，本发明实施例提供了一种CT投影图生成方法，包括：获取图像样本库；构建生成式对抗网络，并通过所述图像样本库的训练样本对所述生成式对抗网络进行训练，其中，所述生成式对抗网络包括生成器和判别器，以及在训练过程中通过所述判别器调整所述生成器的权重；构建DR安检设备，构建后的所述DR安检设备包括拍摄装置和训练后的生成器；通过所述拍摄装置拍摄待检对象多个角度的DR投影图；基于所述多个角度的DR投影图，通过训练后的生成器生成不同于所述多个角度的多幅不同角度的补间DR投影图；以及基于所述多个角度的DR投影图和所述多幅不同角度的补间DR投影图，生成待检对象与所述多个角度和所述多幅不同角度对应的CT投影图。
上述技术方案的有益效果如下：根据本发明实施例的CT投影图生成方法利用生成式对抗网络，对于稀疏角度的二维投影图像进行补间，形成更多的二维投影图，在三维空间中通过重建算法获得三维重建体数据以部分模拟CT的技术效果，相比于安检CT，价格便宜、部署移动便捷；相比于普通X射线安检机，能够表达的图像信息更加全面和完善。
基于上述方法的进一步改进，获取图像样本库包括：通过DR安检设备对待检测样本对象进行扫描拍摄，并获得多个角度的DR投影图样本；通过CT安检设备对待检测样本对象进行扫描拍摄，并获得360度CT投影图样本；以及对所述训练样本设置对应标签，其中，所述训练样本包括所述多个角度的DR投影图样本和所述360度CT投影图样本。
基于上述方法的进一步改进，对所述训练样本设置对应标签包括：对于所述训练样本中的每幅投影图，设置所述待检测对象的类别，其中，所述待检测对象的类别包括刀具、毒品和枪支；设置投影图类型，其中，所述投影图类型包括DR投影图和CT投影图；以及设置投影图地址和名称。
基于上述方法的进一步改进，所述生成式对抗网络包括：多个编解码网络，用于将输入的所述多个角度的DR投影图进行编码，并映射到不同角度投影图的特征空间并输出；融合网络，用于融合所述多个编解码网络的输出信息，以生成三维重建体不同角度的补间DR投影图。
基于上述方法的进一步改进，所述DR投影图的多个角度为大于等于2的整数个角度。
基于上述方法的进一步改进，当所述DR投影图的多个角度为2个角度时，通过所述图像样本库的训练样本对所述生成式对抗网络进行训练包括：基于第一角度和第二角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图。
基于上述方法的进一步改进，所述多幅不同角度的补间DR投影图包括第三角度的补间DR投影图和其余多幅不同角度的补间DR投影图；基于第一角度和第二角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图包括：将第一角度的DR投影图样本和第二角度的DR投影图样本分别输入所述生成器的第一输入端和第二输入端；生成并经由所述生成器的输出端输出第三角度的补间DR投影图；执行以下循环步骤以生成其余多幅不同角度的补间DR投影图：通过输出的补间DR投影图替换所述第一输入端或者所述第二输入端处输入的DR投影图；以及生成并经由所述生成器的输出端输出第2n个角度的补间DR投影图或第2n+1个角度的补间DR投影图，其中，n为大于等于2的整数。
基于上述方法的进一步改进，在训练过程中通过所述判别器调整所述生成器的权重包括：在所述判别器中，基于所述第一角度的投影图样本、所述第二角度的DR投影图样本、生成的第三角度的补间DR投影图和生成的其余所述多幅不同角度的补间DR投影图生成对应角度的CT投影图；将生成的对应角度的CT投影图与所述训练样本中的对应角度CT投影图进行比较并获得差值，并根据所述差值判断生成的对应角度的CT投影图的真假；若生成的对应角度的CT投影图为真时，将所述差值反向传播至所述生成器，以调整所述生成器的权重。
基于上述方法的进一步改进，基于所述多个角度的DR投影图，通过训练后的生成器生成不同于所述多个角度的多幅不同角度的补间DR投影图包括：在安检过程中，采用与在训练过程中通过生成器生成多幅不同角度的补间DR投影图相同的方式，通过训练后的生成器生成多幅不同角度的补间DR投影图。
另一方面，本发明实施例提供了一种CT投影图生成装置，包括：样本库获取模块，用于获取图像样本库；生成式对抗网络构建模块，用于构建生成式对抗网络，并通过所述图像样本库的训练样本对所述生成式对抗网络进行训练，其中，所述生成式对抗网络包括生成器和判别器，以及在训练过程中通过所述判别器调整所述生成器的权重；安检设备构建模块，用于构建DR安检设备，构建后的所述DR安检设备包括拍摄装置和训练后的生成器；DR投影图获取模块，用于通过所述拍摄装置拍摄待检对象多个角度的DR投影图；投影图补间模块，用于基于所述多个角度的DR投影图，通过训练后的生成器生成不同于所述多个角度的多幅不同角度的补间DR投影图；以及CT投影图生成模块，用于基于所述多个角度的DR投影图和所述多幅不同角度的补间DR投影图，生成待检对象与所述多个角度和所述多幅不同角度对应的CT投影图。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明充分利用了海量的训练样本数据，能够有效地利用多角度X射线图像大量重要的特征信息，对于生成投影角度补间图像，重建三维体数据有着显著的帮助。
2、本发明利用生成式对抗网络，对于稀疏角度的二维投影图像进行补间，形成更多的二维投影图，在三维空间中通过重建算法获得三维重建体数据以部分模拟CT的技术效果，相比于安检CT，价格便宜、部署移动便捷；相比于普通X射线安检机，能够表达的图像信息更加全面和完善。
3、本发明采用特征网络进行X射线图像的特征提取，通过共享网络结构降低了网络模型的复杂度，减少了权值的数量。避免了传统算法中复杂的特征提取和数据重建过程。
4、本发明采用融合网络进行X射线图像的特征融合，融合网络是为识别二维X射线图像而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
5、本发明基于图形处理器进行计算处理，训练和测试速度比基于CPU的计算有大幅度的提高。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的CT投影图生成方法的流程图；
图2示出了本发明提出的生成式对抗网络的结构示意图，包括特征网络和融合网络；
图3示出了本发明提出的基于生成式对抗网络的CT投影图生成方法的流程图；
图4A和图4B分别为X射线图像的顶视角和侧视角，图4C为将图4A和图4B两个视角的X射线图像通过本发明提出的方法生成的对应角度的三维CT重建投影图像信息。
图5为根据本发明实施例的CT投影图生成装置的框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种CT投影图生成方法。参考图1，CT投影图生成方法，包括：步骤S102，获取图像样本库；步骤S104，构建生成式对抗网络，并通过图像样本库的训练样本对生成式对抗网络进行训练，其中，生成式对抗网络包括生成器和判别器，以及在训练过程中通过判别器调整生成器的权重；步骤S106，构建DR安检设备，构建后的DR安检设备包括拍摄装置和训练后的生成器；步骤S108，通过拍摄装置拍摄待检对象多个角度的DR投影图；步骤S110，基于多个角度的DR投影图，通过训练后的生成器生成不同于多个角度的多幅不同角度的补间DR投影图；以及步骤S112，基于多个角度的DR投影图和多幅不同角度的补间DR投影图，生成待检对象与多个角度和多幅不同角度对应的CT投影图。
与现有技术相比，本实施例提供的CT投影图生成方法利用生成式对抗网络，对于稀疏角度的二维投影图像进行补间，形成更多的二维投影图，在三维空间中通过重建算法获得三维重建体数据以部分模拟CT的技术效果，相比于安检CT，价格便宜、部署移动便捷；相比于普通X射线安检机，能够表达的图像信息更加全面和完善。
CT投影图生成方法包括：步骤S102，获取图像样本库。具体地，获取图像样本库包括：通过DR安检设备对待检测对象进行扫描拍摄，并获得多个角度的DR投影图样本；通过CT安检设备对待检测对象进行扫描拍摄，并获得360度CT投影图样本；以及对训练样本设置对应标签，其中，训练样本包括多个角度的DR投影图样本和360度CT投影图样本。对训练样本设置对应标签包括：对于训练样本中的每幅投影图，设置待检测对象的类别，其中，待检测对象的类别包括刀具、毒品和枪支；设置投影图类型，其中，投影图类型包括DR投影图和CT投影图；以及设置投影图地址和名称，以便于在生成式对抗网络后续训练过程中，能够快速查找或定位DR投影图和CT投影图。
在获取图像样本库之后，进入步骤S104，构建生成式对抗网络，并通过图像样本库的训练样本对生成式对抗网络进行训练，其中，生成式对抗网络包括生成器和判别器(又称鉴别器)，以及在训练过程中通过判别器调整生成器的权重。参考图2，生成式对抗网络包括：多个编解码网络，即，图2中的特征网络，用于分别将输入的多个角度的DR投影图进行编码，并映射到不同角度投影图的特征空间并输出，其中，编解码网络的数量与DR投影图的角度数量相对应；融合网络，用于融合多个编解码网络的输出信息，以生成三维重建体不同角度的补间DR投影图。DR投影图的多个角度为大于等于2的整数个角度。
在一个实施例中，当DR投影图的多个角度为2个角度时，通过图像样本库的训练样本对生成式对抗网络进行训练包括：基于第一角度和第二角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图。具体地，多幅不同角度的补间DR投影图包括第三角度的补间DR投影图和其余多幅不同角度的补间DR投影图；基于第一角度和第二角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图包括：将第一角度的DR投影图样本和第二角度的DR投影图样本分别输入生成器的第一输入端和第二输入端；生成并经由生成器的输出端输出第三角度的补间DR投影图；执行以下循环步骤以生成其余多幅不同角度的补间DR投影图：通过输出的补间DR投影图替换第一输入端或者第二输入端处输入的DR投影图；以及生成并经由生成器的输出端输出第2n个角度的补间DR投影图或第2n+1个角度的补间DR投影图，其中，n为大于等于2的整数。在训练过程中通过判别器调整生成器的权重包括：在判别器中，基于第一角度的投影图样本、第二角度的DR投影图样本、生成的第三角度的补间DR投影图和生成的其余多幅不同角度的补间DR投影图生成对应角度的CT投影图；将生成的对应角度的CT投影图与训练样本中的对应角度CT投影图进行比较并获得差值，并根据差值判断生成的对应角度的CT投影图的真假；若生成的对应角度的CT投影图为真时，将差值反向传播至生成器，以调整生成器的权重。
在另一实施例中，当DR投影图的多个角度为3个角度时，通过图像样本库的训练样本对生成式对抗网络进行训练包括：基于第一角度、第二角度和第三角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图。具体地，多幅不同角度的补间DR投影图包括第四角度的补间DR投影图和其余多幅不同角度的补间DR投影图；基于第一角度、第二角度和第三角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图包括：将第一角度的DR投影图样本、第二角度的DR投影图样本和第三角度的DR投影图样本分别输入生成器的第一输入端、第二输入端和第三输入端；生成并经由生成器的输出端输出第四角度的补间DR投影图；执行以下循环步骤以生成其余多幅不同角度的补间DR投影图：通过输出的补间DR投影图替换第一输入端、第二输入端或者第三输入端处输入的DR投影图；以及生成并经由生成器的输出端输出第2m+1个角度的补间DR投影图或第2m+2个角度的补间DR投影图，其中，m为大于等于2的整数。在训练过程中通过判别器调整生成器的权重包括：在判别器中，基于第一角度的投影图样本、第二角度的DR投影图样本第三角度的DR投影图样本、生成的第四角度的补间DR投影图和生成的其余多幅不同角度的补间DR投影图生成对应角度的CT投影图；将生成的对应角度的CT投影图与训练样本中的对应角度CT投影图进行比较并获得差值，并根据差值判断生成的对应角度的CT投影图的真假；若生成的对应角度的CT投影图为真时，将差值反向传播至生成器，以调整生成器的权重。当DR投影图的多个角度为4个以上的角度时，以与以上2个角度或3个角度相同的方式，通过图像样本库的训练样本对生成式对抗网络进行训练。
生成式对抗网络(GAN，Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一，被广泛用于生成新的数据，并且在图像生成方面取得重大突破。相较于传统方法，使用生成式对抗网络可以生成更加逼真高效的不同视角安检X射线图像，从而有助于进一步模拟CT的技术功能。
在生成式对抗网络训练完成之后，进入步骤S106，构建DR安检设备，安检设备包括拍摄装置和训练后的生成器。拍摄装置对待检测对象进行扫描拍摄，并获得多个角度的DR投影图，例如，两个或更多个角度的DR投影图。DR安检设备包括训练后的生成器，但不包括判别器。
在构建DR安检设备之后，进入步骤S108，通过拍摄装置拍摄待检对象多个角度的DR投影图。通过构建的DR安检设备中的拍摄装置对待检测对象进行扫描拍摄，并获得多个角度的DR投影图。
在拍摄待检对象多个角度的DR投影图之后，进入步骤S110，基于多个角度的DR投影图，通过训练后的生成器生成不同于多个角度的多幅不同角度的补间DR投影图。在安检过程中，采用与在训练过程中通过生成器生成多幅不同角度的补间DR投影图相同的方式，通过训练后的生成器生成多幅不同角度的补间DR投影图。DR投影图的多个角度为大于等于2的整数个角度。
在一个实施例中，当DR投影图的多个角度为2个角度时，基于第一角度和第二角度的DR投影图，通过训练后的生成器生成多幅不同角度的补间DR投影图包括：将第一角度的DR投影图样本和第二角度的DR投影图分别输入生成器的第一输入端和第二输入端；生成并经由训练后的生成器的输出端输出第三角度的补间DR投影图；执行以下循环步骤以生成多幅不同角度的投影图：通过输出的投影图替换第一输入端或者第二输入端处输入的DR投影图；以及生成并经由训练后的生成器的输出端输出第2n个角度的补间DR投影图或第2n+1个角度的补间DR投影图，其中，n为大于等于2的整数。
在另一个实施例中，当DR投影图的多个角度为3个角度时，基于第一角度、第二角度和第三角度的DR投影图，通过训练后的生成器生成多幅不同角度的补间DR投影图包括：将第一角度的DR投影图、第二角度的DR投影图和第三角度的DR投影图分别输入生成器的第一输入端、第二输入端和第三输入端；生成并经由训练后的生成器的输出端输出第四角度的补间DR投影图；执行以下循环步骤以生成多幅不同角度的投影图：通过输出的补间DR投影图替换第一输入端、第二输入端或者第三输入端处输入的DR投影图；以及及生成并经由生成器的输出端输出第2m+1个角度的补间DR投影图或第2m+2个角度的补间DR投影图，其中，m为大于等于2的整数。当DR投影图的多个角度为4个以上的角度时，以与以上2个角度或3个角度相同的方式，通过训练后的生成器生成多幅不同角度的补间DR投影图。
在生成不同于多个角度的多幅不同角度的补间DR投影图之后，进入步骤S112，基于多个角度的DR投影图和多幅不同角度的补间DR投影图，生成对应的CT投影图。在实施例中，当DR投影图的多个角度为2个角度时，基于第一角度的DR投影图、第二角度的DR投影图、训练后的生成器的输出端输出的第三角度的补间DR投影图、第2n个角度的补间DR投影图和第2n+1个角度的补间DR投影图，生成对应的CT投影图。
下文中，参考图2至4c以具体实例的方式，对CT投影图生成方法进行详细描述。
利用生成对抗网络，对于稀疏角度的二维投影图像进行补间，形成更多的二维投影图，例如，可以是2个、3个或4个角度的二维投影图像获得更多的二维投影图，在三维空间中通过重建算法获得三维重建体数据以部分模拟CT的技术效果。参考图3，CT投影图生成方法包括以下步骤：
1、通过CT及DR安检设备对不同类别的违禁品进行扫描拍摄，对不同类别的训练样本设置对应标签，构建射线图像样本库，其中图像样本库数据包括但不限于：CT三维重建不同角度的投影图、对应的多个角度的X射线图像。以类别A为例，类别A包括多个训练样本,每个训练样本中包含:不同角度的CT投影图；对应角度X射线图像；CT投影图的地址、名称，X射线图像的地址、名称，当前图像中包含的类别A的坐标信息的标签文本文件。
2、选择合适的生成对抗网络，输入训练样本训练构建得到合适的生成器和判别器。例如，如图2所示：多个角度的射线图像通过特征提取网络中的卷积层、池化层、全连接等结构提取各角度射线图像的特征；将两个解码器提取的特征转换到相同的坐标空间，得到相同的特征结构，随后求均值即是融合后的特征；将融合特征通过reshape、反卷积等操作生成CT投影图；通过鉴别器判断生成CT投影图与样本标签对应角度的真实CT投影图是否真假，并将结果进行反向传播，重复训练过程。
3、使用训练后的生成器输入多角度二维X射线图像可以通过训练后的鉴别器产生与真实三维重建体不同角度投影图不可区分的样本。
4、通过重建算法将步骤3中得到的多张不同角度的投影图生成伪三维重建体数据。
进一步地，所述X射线图像的多个角度大于等于2。
进一步地，所述的生成网络包括但不限于：LSGAN(Least Squares GenerativeAdversarial Networks，最小二乘生成对抗网络)、WGAN(Wasserstein GAN)、CGAN(Conditional generative adversarial network,条件生成对抗式网络)、infoGAN(Interpretable representation learning by information maximizing GAN)、EBGAN(Energy-based GAN)、BEGAN等。
进一步地，所述构建合适的判别器包括但不限于：PatchGANs、3DPatch等CNN判别器。
进一步地，参考图2，在本发明所述的生成对抗网络结构包括以下部分：
1、特征网络。输入多视角二维X射线图像，将所述特征网络用于学习输入的多角度二维X射线的特征映射到对应三维重建不同角度投影图的特征空间。例如，参考图4A和图4B，顶视角和侧视角的X射线图像分别作为两个特征网络的输入。
2、融合网络，用于融合所述两个编解码网络的信息来重建三维重建体不同角度投影图。
3、所述特征网络包括卷积压缩、池化降采样、摊平、全连接、变形等步骤，将输入图像的不同维度的信息进行编码连接映射到对应三维CT不同角度投影图的特征空间。
4、两个特征网络，而第三个融合网络用于融合提取的信息并输出重建后的三维CT投影图。假设双平面X射线在可忽略的时间间隔内被捕获，即不会引起数据偏移，我们可以将提取的特征转换到相同的坐标空间后直接求平均值，两个解码器输出之间的任何结构不一致将被融合网络捕获并反向传播到两个网络。例如，参考图4C，如果两个解码器输出的特征结构不一致，可以将两个解码器提取的特征转换到相同的坐标空间，得到相同的特征结构，随后求均值即是融合后的特征。
5、具有相同架构的两个特征网络并行工作于分别作用于两个角度的二维X射线图像，并行地从每个视角X射线图中提取特征，将提取到的特征进行特征融合，将上述特征输入到融合网络通过反卷积解码对应角度的三维CT投影图像信息。
进一步地，所述重建算法包括：滤波反投影(FBP)和迭代重建算法。
本发明的另一个具体实施例，公开了一种CT投影图生成装置。参考图5，CT投影图生成装置，包括：样本库获取模块502，用于获取图像样本库；生成式对抗网络构建模块504，用于构建生成式对抗网络，并通过图像样本库的训练样本对生成式对抗网络进行训练，其中，生成式对抗网络包括生成器和判别器，以及在训练过程中通过判别器调整生成器的权重；安检设备构建模块506，用于构建DR安检设备，构建后的DR安检设备包括拍摄装置和训练后的生成器；DR投影图获取模块508，用于通过拍摄装置拍摄待检对象多个角度的DR投影图；投影图补间模块510，用于基于多个角度的DR投影图，通过训练后的生成器生成不同于多个角度的多幅不同角度的补间DR投影图；以及CT投影图生成模块512，用于基于多个角度的DR投影图和多幅不同角度的补间DR投影图，生成待检对象与多个角度和多幅不同角度对应的CT投影图。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明充分利用了海量的训练样本数据，能够有效地利用多角度X射线图像大量重要的特征信息，对于生成投影角度补间图像，重建三维体数据有着显著的帮助。
2、本发明利用生成式对抗网络，对于稀疏角度的二维投影图像进行补间，形成更多的二维投影图，在三维空间中通过重建算法获得三维重建体数据以部分模拟CT的技术效果，相比于安检CT，价格便宜、部署移动便捷；相比于普通X射线安检机，能够表达的图像信息更加全面和完善。
3、本发明采用特征网络进行X射线图像的特征提取，通过共享网络结构降低了网络模型的复杂度，减少了权值的数量。避免了传统算法中复杂的特征提取和数据重建过程。
4、本发明采用融合网络进行X射线图像的特征融合，融合网络是为识别二维X射线图像而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
5、本发明基于图形处理器进行计算处理，训练和测试速度比基于CPU的计算有大幅度的提高。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种CT投影图生成方法，其特征在于，包括：
获取图像样本库；
构建生成式对抗网络，并通过所述图像样本库的训练样本对所述生成式对抗网络进行训练，其中，所述生成式对抗网络包括生成器和判别器，以及在训练过程中通过所述判别器调整所述生成器的权重；
构建DR安检设备，构建后的所述DR安检设备包括拍摄装置和训练后的生成器；
通过所述拍摄装置拍摄待检对象多个角度的DR投影图；
基于所述多个角度的DR投影图，通过训练后的生成器生成不同于所述多个角度的多幅不同角度的补间DR投影图；以及
基于所述多个角度的DR投影图和所述多幅不同角度的补间DR投影图，生成待检对象与所述多个角度和所述多幅不同角度对应的CT投影图。
2.根据权利要求1所述的CT投影图生成方法，其特征在于，获取图像样本库包括：
通过DR安检设备对待检测样本对象进行扫描拍摄，并获得多个角度的DR投影图样本；
通过CT安检设备对待检测样本对象进行扫描拍摄，并获得360度CT投影图样本；以及
对所述训练样本设置对应标签，其中，所述训练样本包括所述多个角度的DR投影图样本和所述360度CT投影图样本。
3.根据权利要求2所述的CT投影图生成方法，其特征在于，对所述训练样本设置对应标签包括：对于所述训练样本中的每幅投影图，
设置所述待检测对象的类别，其中，所述待检测对象的类别包括刀具、毒品和枪支；
设置投影图类型，其中，所述投影图类型包括DR投影图和CT投影图；以及
设置投影图地址和名称。
4.根据权利要求1所述的CT投影图生成方法，其特征在于，所述生成式对抗网络包括：
多个编解码网络，用于将输入的所述多个角度的DR投影图进行编码，并映射到不同角度投影图的特征空间并输出；
融合网络，用于融合所述多个编解码网络的输出信息，以生成三维重建体不同角度的补间DR投影图。
5.根据权利要求1所述的CT投影图生成方法，其特征在于，所述DR投影图的多个角度为大于等于2的整数个角度。
6.根据权利要求5所述的CT投影图生成方法，其特征在于，当所述DR投影图的多个角度为2个角度时，通过所述图像样本库的训练样本对所述生成式对抗网络进行训练包括：
基于第一角度和第二角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图。
7.根据权利要求6所述的CT投影图生成方法，其特征在于，所述多幅不同角度的补间DR投影图包括第三角度的补间DR投影图和其余多幅不同角度的补间DR投影图；基于第一角度和第二角度的DR投影图样本，通过生成器生成多幅不同角度的补间DR投影图包括：
将第一角度的DR投影图样本和第二角度的DR投影图样本分别输入所述生成器的第一输入端和第二输入端；
生成并经由所述生成器的输出端输出第三角度的补间DR投影图；
执行以下循环步骤以生成其余多幅不同角度的补间DR投影图：
通过输出的补间DR投影图替换所述第一输入端或者所述第二输入端处输入的DR投影图；以及
生成并经由所述生成器的输出端输出第2n个角度的补间DR投影图或第2n+1个角度的补间DR投影图，其中，n为大于等于2的整数。
8.根据权利要求7所述的CT投影图生成方法，其特征在于，在训练过程中通过所述判别器调整所述生成器的权重包括：
在所述判别器中，基于所述第一角度的投影图样本、所述第二角度的DR投影图样本、生成的第三角度的补间DR投影图和生成的其余所述多幅不同角度的补间DR投影图生成对应角度的CT投影图；
将生成的对应角度的CT投影图与所述训练样本中的对应角度CT投影图进行比较并获得差值，并根据所述差值判断生成的对应角度的CT投影图的真假；
若生成的对应角度的CT投影图为真时，将所述差值反向传播至所述生成器，以调整所述生成器的权重。
9.根据权利要求6或7所述的CT投影图生成方法，其特征在于，基于所述多个角度的DR投影图，通过训练后的生成器生成不同于所述多个角度的多幅不同角度的补间DR投影图包括：
在安检过程中，采用与在训练过程中通过生成器生成多幅不同角度的补间DR投影图相同的方式，通过训练后的生成器生成多幅不同角度的补间DR投影图。
10.一种CT投影图生成装置，其特征在于，包括：
样本库获取模块，用于获取图像样本库；
生成式对抗网络构建模块，用于构建生成式对抗网络，并通过所述图像样本库的训练样本对所述生成式对抗网络进行训练，其中，所述生成式对抗网络包括生成器和判别器，以及在训练过程中通过所述判别器调整所述生成器的权重；
安检设备构建模块，用于构建DR安检设备，构建后的所述DR安检设备包括拍摄装置和训练后的生成器；
DR投影图获取模块，用于通过所述拍摄装置拍摄待检对象多个角度的DR投影图；
投影图补间模块，用于基于所述多个角度的DR投影图，通过训练后的生成器生成不同于所述多个角度的多幅不同角度的补间DR投影图；以及
CT投影图生成模块，用于基于所述多个角度的DR投影图和所述多幅不同角度的补间DR投影图，生成待检对象与所述多个角度和所述多幅不同角度对应的CT投影图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011125433.1A CN112233227A (zh) | 2020-10-20 | 2020-10-20 | 一种ct投影图生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011125433.1A CN112233227A (zh) | 2020-10-20 | 2020-10-20 | 一种ct投影图生成方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112233227A true CN112233227A (zh) | 2021-01-15 |
Family
ID=74118575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011125433.1A Pending CN112233227A (zh) | 2020-10-20 | 2020-10-20 | 一种ct投影图生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233227A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581605A (zh) * | 2022-02-22 | 2022-06-03 | 清华大学 | 工件的扫描图像生成方法、装置、设备及计算机存储介质 |
| CN116843825A (zh) * | 2023-06-01 | 2023-10-03 | 中国机械总院集团沈阳铸造研究所有限公司 | 一种渐进式cbct稀疏视角重建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146988A (zh) * | 2018-06-27 | 2019-01-04 | 南京邮电大学 | 基于vaegan的非完全投影ct图像重建方法 |
| US20190216409A1 (en) * | 2018-01-15 | 2019-07-18 | Siemens Healthcare Gmbh | Method and System for 3D Reconstruction of X-ray CT Volume and Segmentation Mask from a Few X-ray Radiographs |
| CN110163179A (zh) * | 2019-05-29 | 2019-08-23 | 浙江啄云智能科技有限公司 | 一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质 |
| CN110533606A (zh) * | 2019-07-30 | 2019-12-03 | 中国民航大学 | 基于生成式对抗网络的安检x光违禁品图像数据增强方法 |
-
2020
- 2020-10-20 CN CN202011125433.1A patent/CN112233227A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190216409A1 (en) * | 2018-01-15 | 2019-07-18 | Siemens Healthcare Gmbh | Method and System for 3D Reconstruction of X-ray CT Volume and Segmentation Mask from a Few X-ray Radiographs |
| CN109146988A (zh) * | 2018-06-27 | 2019-01-04 | 南京邮电大学 | 基于vaegan的非完全投影ct图像重建方法 |
| CN110163179A (zh) * | 2019-05-29 | 2019-08-23 | 浙江啄云智能科技有限公司 | 一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质 |
| CN110533606A (zh) * | 2019-07-30 | 2019-12-03 | 中国民航大学 | 基于生成式对抗网络的安检x光违禁品图像数据增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 梁宁宁;李子恒;王林元;蔡爱龙;李磊;闫镔;: "一种基于GAN网络投影补全的有限角度CT重建算法", 中国体视学与图像分析, no. 01, pages 3 - 5 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581605A (zh) * | 2022-02-22 | 2022-06-03 | 清华大学 | 工件的扫描图像生成方法、装置、设备及计算机存储介质 |
| CN116843825A (zh) * | 2023-06-01 | 2023-10-03 | 中国机械总院集团沈阳铸造研究所有限公司 | 一种渐进式cbct稀疏视角重建方法 |
| CN116843825B (zh) * | 2023-06-01 | 2024-04-05 | 中国机械总院集团沈阳铸造研究所有限公司 | 一种渐进式cbct稀疏视角重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Learning shape priors for single-view 3d completion and reconstruction | |
| Yang et al. | 3d object reconstruction from a single depth view with adversarial learning | |
| Lee et al. | AnoViT: Unsupervised anomaly detection and localization with vision transformer-based encoder-decoder | |
| CN112233227A (zh) | 一种ct投影图生成方法和装置 | |
| Liu et al. | CycleGAN-based realistic image dataset generation for forward-looking sonar | |
| Noh et al. | Unsupervised change detection based on image reconstruction loss | |
| CN115019182A (zh) | 遥感图像目标细粒度识别方法、系统、设备及存储介质 | |
| Wang et al. | Deep single-view 3D object reconstruction with visual hull embedding | |
| Condorelli et al. | A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images | |
| CN110533582A (zh) | 一种基于生成式对抗网络的安检x光违禁品图像合成方法 | |
| Prabhudesai et al. | Disentangling 3d prototypical networks for few-shot concept learning | |
| Li et al. | Three-dimensional multiscale fusion for porous media on microtomography images of different resolutions | |
| Cheng et al. | Dual-IRT-GAN: A defect-aware deep adversarial network to perform super-resolution tasks in infrared thermographic inspection | |
| Jiang | MFCT-GAN: multi-information network to reconstruct CT volumes for security screening | |
| Xu et al. | A data augmentation strategy combining a modified pix2pix model and the copy-paste operator for solid waste detection with remote sensing images | |
| Wolfe et al. | Machine learning for detection of 3D features using sparse x-ray tomographic reconstruction | |
| Ren et al. | Towards Efficient Video Detection Object Super‐Resolution with Deep Fusion Network for Public Safety | |
| Ferreira et al. | GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy | |
| Grau et al. | Occlusion fields: An implicit representation for non-line-of-sight surface reconstruction | |
| CN116993926B (zh) | 单视图人体三维重建方法 | |
| CN117475105A (zh) | 一种基于单目图像的开放世界三维场景重建及感知方法 | |
| CN115797970A (zh) | 基于YOLOv5模型的密集行人目标检测方法及系统 | |
| CN114898221A (zh) | 一种杆塔倾斜检测方法、装置、电子设备及介质 | |
| Ma et al. | MHGAN: A multi-headed generative adversarial network for underwater sonar image super-resolution | |
| Ma et al. | Deep facade parsing with occlusions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |