CN112001873A - 一种基于集装箱x射线图像的数据生成方法 - Google Patents

一种基于集装箱x射线图像的数据生成方法 Download PDF

Info

Publication number
CN112001873A
CN112001873A CN202010875037.4A CN202010875037A CN112001873A CN 112001873 A CN112001873 A CN 112001873A CN 202010875037 A CN202010875037 A CN 202010875037A CN 112001873 A CN112001873 A CN 112001873A
Authority
CN
China
Prior art keywords
image
ray
fusion
algorithm
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010875037.4A
Other languages
English (en)
Other versions
CN112001873B (zh
Inventor
陈兵
唐凯
莫奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cgn Begood Technology Co ltd
Original Assignee
Cgn Begood Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cgn Begood Technology Co ltd filed Critical Cgn Begood Technology Co ltd
Priority to CN202010875037.4A priority Critical patent/CN112001873B/zh
Publication of CN112001873A publication Critical patent/CN112001873A/zh
Application granted granted Critical
Publication of CN112001873B publication Critical patent/CN112001873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开一种基于集装箱X射线图像的数据生成方法，该方法主要包括安检机采集目标图像与集装箱背景图像融合生成方法、网络爬取目标图像与集装箱背景图像融合方法、对抗生成网络的集装箱图像直接生成方法。本发明的优点在于：能够极大可能的在多个方向上扩大、增强X射线透射的集装箱领域深度学习的数据集数量，更有利于集装箱透射领域的相关智能识别。

Description

一种基于集装箱X射线图像的数据生成方法
技术领域
本发明涉及X射线成像领域中的图像生成技术，它是对X射线图像进行检测并获取轮廓信息，再结合图像融合，实现复杂物品图像生成的方法。尤其涉及大型集装箱关于深度学习智能识别方向X射线成像数据集的生成技术。
背景技术
随着全球贸易国际化的程度愈来愈深，各个国家对贸易过程中的货物运输管控程度愈来愈强，边境、海关需要对货物的运输进行严格的管控。伴随而来的是对运输中的集装箱进行货物管控，需要大量的人力来进行集装箱货物管控排查，仅仅使用人力来进行集装箱货物排查已经难以跟上大规模、大批量的集装箱货物管控。伴随着人工智能的发展，使用智能辅助识别集装箱货物能够极大的加快贸易的效率，节省人力成本。集装箱X射线图像货物识别的人工智能辅助需要使用大批量目标货物的集装箱X射线图像的数据集进行人工智能训练学习，同时大批量的目标货物的集装箱X射线图像获取困难。
因此，集装箱X射线图像的数据生成成为一种重要的获取需识别目标货物的集装箱X射线图像的数据集的一种重要方法。
发明内容
本发明的目的在于提供一种基于集装箱X射线图像的数据生成方法，该方法通过利用简单背景下的X射线图像和实际物品图像，从不同的角度进行图像的融合，从而为基于X射线图像智能识别的训练提供有效数据。
本发明的技术方案为：一种基于集装箱X射线图像的数据生成方法，整个方法主要包括两个部分，第一部分未前期准备阶段，主要功能是实现算法；第二部分是数据生成阶段，主要功能是通过前期算法实现数据的生成；其步骤如下：
前期准备阶段：
A、购买一定量的物品，针对这些物品同时采用小型X射线和采用人工拍照和摄像头自动采集的两种方式通过不同方向和角度的图像采集，实现物品的小型X射线图像和真实彩色图像的配对采集；
B、将A获取的小型X射线图像整合，建立风格迁移数据集；同时提取A中配对的物品小型X射线图像与真实彩色图像，通过输入未真实彩色图像，输出小型X射线图像的方式，建立生成对抗数据集；
C、使用步骤B的风格迁移数据集，针对风格迁移深度学习算法进行模型调优及训练，形成风格迁移模型；
D、使用步骤C的生成对抗数据集，针对生成对抗模型(GAN)进行训练，并最终提取生成对抗模型中的生成模型，形成生成模型。
数据生成阶段：
A1、采用大型X射线成像设备采集一张(或多张)背景简单的X射线图像作为系统初始参考图像，通过边缘提取算法或智能车厢与车体分离算法提取车厢位置，记录该信息；
B1、针对所需物品，进行分类，将物品分为常见物品(市面上容易获取物品，如：烟、酒)和不常见物品(市面上难获得的物品，如：枪支、弹药、毒品)两类；
C1、针对常见物品，同时采用小型X射线安检机通过不同方向和角度的目标的图像采集获得X射线图像，和通过人工拍照和摄像头自动采集的方式按照与小型X射线图像的方向和角度获取物品的真实彩色图像；
D1、针对不常见物品，通过网络开放数据集获得物品的真实彩色图像；
E、针对步骤C1中的物品真实彩色图像，通过前期获得的风格迁移算法实现彩色图像到X射线图像的风格迁移，最终通过彩色图像获得小型X射线图像；
F1、针对步骤D1中的物品真实彩色图像，通过前期获得的生成算法实现彩色图像到X射线图像的数据生成，最终通过彩色图像获得小型X射线图像；
G1、将步骤C1、E1、F1中获得的小型X射线图像通过图像边缘分割算法实现物品外形提取；然后通过一定比率进行外形放缩，以满足物品X射线图像在生成图像中的比率正常；最后将放缩后的图像与A1中采集图片进行基于像素点的图像融合，从而实现图像生成。
步骤A1中，车厢位置的提取算法采用以下二种方式获得，方法一：(1.1)车体位置定位，定位图形高斯模糊，模糊图像分区样本最大化阈值0.9进行外部空白边切除；(1.2)定位区块图片两方向梯度化，取值10像素点进灰度梯度化分析；(1.3)区间灰度导数提升1.25倍，并在区域30像素灰度导数下降，确认为梯度化特征点；(1.4)遍历全图特征点，对水平方向和垂直方向条形区域中特性点极大值，进行归一化。计算极大值大于0.75值的特征区域；(1.5)对特征区域进行密度合并，密度设置区域中仅保留最大值。最大值为集装箱车厢边缘；输出该区域的(x_min,y_min,x_max,y_max)。
步骤A1中，车厢位置的提取算法采用的获得方式二：(2.1)收集大量大型X图像数据，建立图像数据；(2.2)采用labelimg软件对车厢部分进行矩形标注，从而得到基于车厢位置的xml文件；(2.3)采用图像识别算法，通过图像和xml文件的配对形成输入和输出的训练数据，从而实现高准确率的车厢目标识别模型；(2.4)针对实际采集的大型X图像数据，采用(2.3)获得的车厢目标识别模型进行的车厢识别,输出车厢识别区域的(x_min,y_min,x_max,y_max)。
步骤G1中的图像外形提取算法由以下方法获得：(G1.1.1)针对X射线图像进行高斯去噪，降低所需区域外其它区域点的噪点；(G1.1.2)图像灰度化，将彩色图像转为灰度图；(G1.1.3)通过canny边缘检测算法，实现图像的边缘检测；(G1.1.4)边缘检测图像按照一定的方框大小(一般为(10，10))依次进行图像膨胀、腐蚀、膨胀操作，实现识别区域的融合及消退；(G1.1.5)采用物体轮廓识别算法识别有效区域；(G1.1.6)选择(G1.1.5)中所有有效区域的最多像素点，如果该像素点大小大于预定阈值(该阈值与设备有关，一般设定为整个图片的1/10)即为最终输出；如果小于该预定阈值，则修改(G1.1.4)中的方框大小(变为(20，20))，重复(G1.1.4)和(G1.1.5)，如果没有大于阈值输出则将最多像素点区域输出。
步骤G1中的图像放缩算法由以下方法获得：(G1.2.1)通过步骤A1获得的箱体数据，由于集装箱箱体高度比较确定，因此可以建立箱体高度与实际物品高度的关系，从而获得像素点与实际高度的比率系数σ：σ＝h/r，其中h为箱体实际高度，r为箱体像素点；(G1.2.2)针对实际物品，确定实际物品的特征长度L，然后通过L/σ获得实际物品的缩放大小；(G1.2.3)通过(G1.2.2)中的缩放大小将提取的外形进行缩放，从而实现物品在真实情况下的大小比率。
步骤G中的图像融合算法由以下方法获得：(G1.3.1)通过图像缩放确定物品的图像大小，确定图像的宽w和高h；(G1.3.2)确定融合位置：在步骤A获得的大型X射线图像，在车厢区域(xmin，ymin，xmax，ymax)，并在
Figure BDA0002652384500000031
的区域随机获取选择关键点，作为融合的中心点；(G1.3.3)在融合中心点针对大型X射线图像和物品X射线图像进行像素融合，具体融合如下公式：x＝αx0+βx1，其中x0为大型X射线图像该像素点的像素值，x1为物品X射线图像的像素值，α、β为融合比率，根据不同的模型方式确定具体的参数，其中:
当融合为步骤A和步骤C获取图片融合时：α＝1.0，β＝1.0；
当融合为步骤A和步骤E获取图片融合时：α＝1.0，β＝0.8；
当融合为步骤A和步骤F获取图片融合时：α＝1.0，β＝0.95；
同时为了保障像素不会溢出，采用最高像素进行限制，其中最高像素为a(8位图时a＝256，16位图时a＝65535)，得到：x＝min(x，a)。
本发明的优点在于：本发明引入图像融合算法，根据不同需求，建立图像融合方式，从而降低了大型X射线图像获取的成本。本发明能够建立常规图像与X射线图像转换的风格迁移和生成对抗算法，实现图像的有效转换，避免了数据采集难、时间效率低的需求，危险品、禁限品以及毒品这类不常见、难获得物品提供有效的数据来源；本发明能够动态的追踪厢体区域，因此避免了因不同车体而出现异于实际情况的物品位置，为生成图像的后续使用提供可靠保障。
附图说明
图1是生成模型和风格迁移模型实现的方法流程框图；
图2是基于常见物品X射线采集图像的大型X射线图像数据生成方法的流程框图；
图3是基于常见物品彩色图像的大型X射线图像的数据生成方法的流程框图；
图4是基于不常见物品彩色图像的大型X射线图像的数据生成方法的流程框图；
图5是不同物品的大型X射线图像生成方法的流程框图。
具体实施方式
实施例1
本实施例主要为建立风格迁移算法和基于生成对抗网络的生成算法，具体设计思路如图1所示：
a1)购买一定量的物品，针对这些物品同时采用小型X射线和采用人工拍照和摄像头自动采集的两种方式通过不同方向和角度的图像采集，实现物品的小型X射线图像和真实彩色图像的配对采集；
b1)将a1获取的小型X射线图像进行整合，建立风格迁移数据集；
提取a1中配对的物品小型X射线图像与真实彩色图像，通过输入未真实彩色图像，输出小型X射线图像的方式，建立生成对抗数据集；
c1)使用步骤b1的风格迁移数据集，针对风格迁移深度学习算法进行模型调优及训练，形成风格迁移模型；
d1)使用步骤c1的生成对抗数据集，针对生成对抗模型(GAN)进行训练，并最终提取生成对抗模型中的生成模型，形成生成模型。
实施例2
本实施例主要基于常见物品X射线采集图像的大型X射线图像数据生成方法，具体设计思路如图2所示：
a2)采用大型X射线成像设备采集一张(或多张)背景简单的X射线图像作为系统初始参考图像，通过边缘提取算法或智能车厢与车体分离算法提取车厢位置，记录该信息；
b2)采用小型X射线安检机进行不同方向和角度的目标采图获得X射线图像；
c2)将步骤b2中获得的小型X射线图像通过图像边缘分割算法实现物品外形提取；然后通过一定比率进行外形放缩，以满足物品X射线图像在生成图像中的比率正常；最后将放缩后的图像与A中采集图片进行基于像素点的图像融合，从而实现图像生成。
步骤a2中，车厢位置的提取算法采用以下两种方式获得：
方式一：
(a2.1.1)车体位置定位，定位图形高斯模糊，模糊图像分区样本最大化
阈值0.9进行外部空白边切除；
(a2.1.2)定位区块图片两方向梯度化，取值10像素点进灰度梯度化分析。
(a2.1.3)区间灰度导数提升1.25倍，并在区域30像素灰度导数下降。确认为梯度化特征点。
(a2.1.4)遍历全图特征点，对水平方向和垂直方向条形区域中特性点极大值，进行归一化。计算极大值大于0.75值的特征区域。
(a2.1.5)对特征区域进行密度合并，密度设置区域中仅保留最大值。最大值为集装箱车箱边缘；输出该区域的(xmin，ymin，xmax，ymax)
方式二：
(a2.2.1)收集大量大型X图像数据，建立图像数据；
(a2.2.2)采用labelimg软件对车厢部分进行矩形标注，从而得到基于车厢位置的xml文件；
(a2.2.3)采用图像识别算法，通过图像和xml文件的配对形成输入和输出的训练数据，从而实现高准确率的车厢目标识别模型；
(a2.2.4)针对实际采集的大型X图像数据，采用(a2.2.3)获得的车厢目标识别模型进行的车厢识别,输出车厢识别区域的(xmin，ymin，xmax，ymax)。
步骤C中的图像外形提取算法由以下方法获得：
(1)针对X射线图像进行高斯去噪，降低所需区域外其它区域点的噪点；
(2)图像灰度化，将彩色图像转为灰度图；
(3)通过canny边缘检测算法，实现图像的边缘检测；
(4)边缘检测图像按照一定的方框大小(一般为(10，10))依次进行图像膨胀、腐蚀、膨胀操作，实现识别区域的融合及消退；
(5)采用物体轮廓识别算法识别有效区域；
(6)选择(5)中所有有效区域的最多像素点，如果该像素点大小大于预定阈值(该阈值与设备有关，一般设定为整个图片的1/10)即为最终输出；如果小于该预定阈值，则修改(4)中的方框大小(变为(20，20))，重复(4)和(5)，如果没有大于阈值输出则将最多像素点区域输出。
步骤C中的图像放缩算法由以下方法获得：
(1)通过步骤A1获得的箱体数据，由于集装箱箱体高度比较确定，因此可以建立箱体高度与实际物品高度的关系，从而获得像素点与实际高度的比率系数σ：
σ＝h/r
其中h为箱体实际高度，r为箱体像素点；
(2)针对实际物品，确定实际物品的特征长度L，然后通过L/σ获得实际物品的缩放大小；
(3)通过(2)中的缩放大小将提取的外形进行缩放，从而实现物品在真实情况下的大小比率。
步骤C中的图像融合算法由以下方法获得：
(1)通过图像缩放确定物品的图像大小，确定图像的宽w和高h；
(2)确定融合位置：在步骤A1获得的大型X射线图像，在车厢区域(xmin，ymin，xmax，ymax)，并在
Figure BDA0002652384500000061
的区域随机获取选择关键点，作为融合的中心点；
(3)在融合中心点针对大型X射线图像和物品X射线图像进行像素融合，具体融合如下公式：
x＝αx0+βx1
其中x0为大型X射线图像该像素点的像素值，x1为物品X射线图像的像素值。α、β为融合比率，其中α＝1.0，β＝1.0；同时为了保障像素不会溢出，采用最高像素进行限制，其中最高像素为a(8位图时a＝256，16位图时a＝65535)，得到：x＝min(x，a)。
实施例3
本实施例主要基于常见物品彩色图像的大型X射线图像的数据生成方法，具体思路如图3所示：
A3、采用大型X射线成像设备采集一张(或多张)背景简单的X射线图像作为系统初始参考图像，通过边缘提取算法或智能车厢与车体分离算法提取车厢位置，记录该信息；
B3、针对物品，通过人工拍照或摄像头自动采集的方式按照与小型X射线图像的方向和角度获取物品的真实彩色图像；
C3、使用步骤B3中获取的图像，通过实施例1中获得的风格迁移算法实现彩色图像到X射线图像的风格迁移，最终通过彩色图像获得小型X射线图像；
D3、将步骤C3中获得的小型X射线图像通过图像边缘分割算法实现物品外形提取；然后通过一定比率进行外形放缩，以满足物品X射线图像在生成图像中的比率正常；最后将放缩后的图像与A3中采集图片进行基于像素点的图像融合，从而实现图像生成。
步骤A3中，车厢位置的提取算法参见实施例一相关内容：
步骤D3中的图像外形提取算法参见实施例一相关内容：
步骤D3中的图像放缩算法参见实施例一相关内容：
步骤D3中的图像融合算法由以下方法获得：
(1)通过图像缩放确定物品的图像大小，确定图像的宽w和高h；
(2)确定融合位置：在步骤A获得的大型X射线图像，在车厢区域(xmin，ymin，xmax，ymax)，并在
Figure BDA0002652384500000071
的区域随机获取选择关键点，作为融合的中心点；
(3)在融合中心点针对大型X射线图像和物品X射线图像进行像素融合，具体融合如下公式：
x＝αx0+βx1
其中x0为大型X射线图像该像素点的像素值，x1为物品X射线图像的像素值。
α、β为融合比率，其中α＝1.0，β＝0.8
同时为了保障像素不会溢出，采用最高像素进行限制，其中最高像素为a(8位图时a＝256，16位图时a＝65535)，得到：
x＝min(x，a)
实施例4
本实施例主要基于不常见物品彩色图像的大型X射线图像的数据生成方法，具体思路如图4所示：
A4、采用大型X射线成像设备采集一张(或多张)背景简单的X射线图像作为系统初始参考图像，通过边缘提取算法或智能车厢与车体分离算法提取车厢位置，记录该信息；
B4、针对物品，通过网络开放数据集获得物品的真实彩色图像；
C4、针对步骤B4中的物品真实彩色图像，通过实施例1获得的生成算法实现彩色图像到X射线图像的数据生成，最终通过彩色图像获得小型X射线图像；D4、将步骤C4中获得的小型X射线图像通过图像边缘分割算法实现物品外形提取；然后通过一定比率进行外形放缩，以满足物品X射线图像在生成图像中的比率正常；最后将放缩后的图像与A4中采集图片进行基于像素点的图像融合，从而实现图像生成。
步骤A4中，车厢位置的提取算法参见实施例一相关内容：
步骤D4中的图像外形提取算法参见实施例一相关内容：
步骤D4中的图像放缩算法参见实施例一相关内容：
步骤D4中的图像融合算法由以下方法获得：
(1)通过图像缩放确定物品的图像大小，确定图像的宽w和高h；
(2)确定融合位置：在步骤A获得的大型X射线图像，在车厢区域(xmin，ymin，xmax，ymax)，并在
Figure BDA0002652384500000072
的区域随机获取选择关键点，作为融合的中心点；
(3)在融合中心点针对大型X射线图像和物品X射线图像进行像素融合，具体融合如下公式：
x＝αx0+βx1
其中x0为大型X射线图像该像素点的像素值，x1为物品X射线图像的像素值。α、β为融合比率，具体为α＝1.0，β＝0.95；同时为了保障像素不会溢出，采用最高像素进行限制，其中最高像素为a(8位图时a＝256，16位图时a＝65535)，得到：x＝min(x，a)。
实施例5
本实施例主要针对不同物品的大型X射线图像生成方法，整体设计思路如图5所示：
A5、采用大型X射线成像设备采集一张(或多张)背景简单的X射线图像作为系统初始参考图像，通过边缘提取算法或智能车厢与车体分离算法提取车厢位置，记录该信息；
B5、针对所需物品，进行分类，将物品分为常见物品(市面上容易获取物品，如：烟、酒)和不常见物品(市面上难获得的物品，如：枪支、弹药、毒品)两类；
C5、针对常见物品，能够采用小型X射线安检机进行不同方向和角度的目标图像采集获得X射线图像；如果不能有效获得小型X射线图像的物品，通过人工拍照和摄像头自动采集的方式获取物品的彩色图像，使用风格迁移深度学习模型，实现彩色图像到X射线图像的风格迁移，最终通过彩色图像获得X射线图像；针对不常见物品，采用通过网络开放数据集获得物品的彩色图像，使用生成对抗模型(GAN)，实现物品的彩色图像到X射线图像的自动生成，最终通过彩色图像获得X射线图像；
D5、将步骤C中获得的小型X射线图像通过图像边缘分割算法实现物品外形提取；然后通过一定比率进行外形放缩，以满足物品X射线图像在生成图像中的比率正常；最后将放缩后的图像与A中采集图片进行基于像素点的图像融合，从而实现图像生成。
步骤A5中，车厢位置的提取算法参见实施例一相关内容：
步骤D5中的图像外形提取算法参见实施例一相关内容：
步骤D5中的图像放缩算法参见实施例一相关内容：
步骤D5中的图像融合算法由以下方法获得：
(1)通过图像缩放确定物品的图像大小，确定图像的宽w和高h；
(2)确定融合位置：在步骤A获得的大型X射线图像，在车厢区域(xmin，ymin，xmax，ymax)，并在
Figure BDA0002652384500000081
的区域随机获取选择关键点，作为融合的中心点；
(3)在融合中心点针对大型X射线图像和物品X射线图像进行像素融合，具体融合如下公式：
x＝αx0+βx1
其中x0为大型X射线图像该像素点的像素值，x1为物品X射线图像的像素值。α、β为融合比率，根据不同的模型方式确定具体的参数。
其中:当步骤C为常见物品小型X射线图像时：α＝1.0，β＝1.0；
当步骤C为常见物品彩色图像时：α＝1.0，β＝0.8；
当步骤C为不常见物品时：α＝1.0，β＝0.95；
同时为了保障像素不会溢出，采用最高像素进行限制，其中最高像素为a(8位图时a＝256，16位图时a＝65535)，得到：x＝min(x，a)。

Claims (6)

1.一种基于集装箱X射线图像的数据生成方法，其特征在于：该方法包括两个部分，第一部分未前期准备阶段，主要功能是实现算法；第二部分是数据生成阶段，主要功能是通过前期算法实现数据的生成；其步骤如下：
前期准备阶段：
A、购买一定量的物品，针对这些物品同时采用小型X射线和采用人工拍照和摄像头自动采集的两种方式通过不同方向和角度的图像采集，实现物品的小型X射线图像和真实彩色图像的配对采集；
B、将A获取的小型X射线图像整合，建立风格迁移数据集；同时提取A中配对的物品小型X射线图像与真实彩色图像，通过输入未真实彩色图像，输出小型X射线图像的方式，建立生成对抗数据集；
C、使用步骤B的风格迁移数据集，针对风格迁移深度学习算法进行模型调优及训练，形成风格迁移模型；
D、使用步骤C的生成对抗数据集，针对生成对抗模型(GAN)进行训练，并最终提取生成对抗模型中的生成模型，形成生成模型；
数据生成阶段：
A1、采用大型X射线成像设备采集一张(或多张)背景简单的X射线图像作为系统初始参考图像，通过边缘提取算法或智能车厢与车体分离算法提取车厢位置，记录该信息；
B1、针对所需物品，进行分类，将物品分为常见物品(市面上容易获取物品，如：烟、酒)和不常见物品(市面上难获得的物品，如：枪支、弹药、毒品)两类；
C1、针对常见物品，同时采用小型X射线安检机通过不同方向和角度的目标的图像采集获得X射线图像，和通过人工拍照和摄像头自动采集的方式按照与小型X射线图像的方向和角度获取物品的真实彩色图像；
D1、针对不常见物品，通过网络开放数据集获得物品的真实彩色图像；
E、针对步骤C1中的物品真实彩色图像，通过前期获得的风格迁移算法实现彩色图像到X射线图像的风格迁移，最终通过彩色图像获得小型X射线图像；
F1、针对步骤D1中的物品真实彩色图像，通过前期获得的生成算法实现彩色图像到X射线图像的数据生成，最终通过彩色图像获得小型X射线图像；
G1、将步骤C1、E1、F1中获得的小型X射线图像通过图像边缘分割算法实现物品外形提取；然后通过一定比率进行外形放缩，以满足物品X射线图像在生成图像中的比率正常；最后将放缩后的图像与A1中采集图片进行基于像素点的图像融合，从而实现图像生成。
2.根据权利要求1所述基于集装箱X射线图像的数据生成方法，其特征在于：步骤A1中，车厢位置的提取算法采用以下方式获得：
(1.1)车体位置定位，定位图形高斯模糊，模糊图像分区样本最大化阈值0.9进行外部空白边切除；
(1.2)定位区块图片两方向梯度化，取值10像素点进灰度梯度化分析；
(1.3)区间灰度导数提升1.25倍，并在区域30像素灰度导数下降，确认为梯度化特征点；
(1.4)遍历全图特征点，对水平方向和垂直方向条形区域中特性点极大值，进行归一化；计算极大值大于0.75值的特征区域；
(1.5)对特征区域进行密度合并，密度设置区域中仅保留最大值；最大值为集装箱车厢边缘；输出该区域的(x_min,y_min,x_max,y_max)。
3.根据权利要求1所述基于集装箱X射线图像的数据生成方法，其特征在于：步骤A1中，车厢位置的提取算法采用的获得方式二：(2.1)收集大量大型X图像数据，建立图像数据；
(2.2)采用labelimg软件对车厢部分进行矩形标注，从而得到基于车厢位置的xml文件；
(2.3)采用图像识别算法，通过图像和xml文件的配对形成输入和输出的训练数据，从而实现高准确率的车厢目标识别模型；
(2.4)针对实际采集的大型X图像数据，采用(2.3)获得的车厢目标识别模型进行的车厢识别,输出车厢识别区域的(x_min,y_min,x_max,y_max)。
4.根据权利要求1所述基于集装箱X射线图像的数据生成方法，其特征在于：步骤G1中的图像外形提取算法由以下方法获得：
(G1.1.1)针对X射线图像进行高斯去噪，降低所需区域外其它区域点的噪点；
(G1.1.2)图像灰度化，将彩色图像转为灰度图；
(G1.1.3)通过canny边缘检测算法，实现图像的边缘检测；
(G1.1.4)边缘检测图像按照一定的方框大小(一般为(10，10))依次进行图像膨胀、腐蚀、膨胀操作，实现识别区域的融合及消退；
(G1.1.5)采用物体轮廓识别算法识别有效区域；
(G1.1.6)选择(G1.1.5)中所有有效区域的最多像素点，如果该像素点大小大于预定阈值(该阈值与设备有关，一般设定为整个图片的1/10)即为最终输出；如果小于该预定阈值，则修改(G1.1.4)中的方框大小(变为(20，20))，重复(G1.1.4)和(G1.1.5)，如果没有大于阈值输出则将最多像素点区域输出。
5.根据权利要求1所述基于集装箱X射线图像的数据生成方法，其特征在于：步骤G1中的图像放缩算法由以下方法获得：
(G1.2.1)通过步骤A1获得的箱体数据，由于集装箱箱体高度比较确定，因此可以建立箱体高度与实际物品高度的关系，从而获得像素点与实际高度的比率系数σ：
σ＝h/r
其中h为箱体实际高度，r为箱体像素点
(G1.2.2)针对实际物品，确定实际物品的特征长度L，然后通过L/σ获得实际物品的缩放大小；
(G2.3)通过(G1.2.2)中的缩放大小将提取的外形进行缩放，从而实现物品在真实情况下的大小比率。
6.根据权利要求1所述基于集装箱X射线图像的数据生成方法，其特征在于：步骤G中的图像融合算法由以下方法获得：
(G1.3.1)通过图像缩放确定物品的图像大小，确定图像的宽w和高h；
(G1.3.2)确定融合位置：在步骤A获得的大型X射线图像，在车厢区域(xmin，ymin，xmax，ymax)，并在
Figure FDA0002652384490000031
的区域随机获取选择关键点，作为融合的中心点；
(G1.3.3)在融合中心点针对大型X射线图像和物品X射线图像进行像素融合，具体融合如下公式：
x＝αx0+βx1
其中x0为大型X射线图像该像素点的像素值，x1为物品X射线图像的像素值；
α、β为融合比率，根据不同的模型方式确定具体的参数，
其中:当融合为步骤A和步骤C获取图片融合时：α＝1.0，β＝1.0；
当融合为步骤A和步骤E获取图片融合时：α＝1.0，β＝0.8；
当融合为步骤A和步骤F获取图片融合时：α＝1.0，β＝0.95
同时为了保障像素不会溢出，采用最高像素进行限制，其中最高像素为a(8位图时a＝256，16位图时a＝65535)，得到：x＝min(x，a)。
CN202010875037.4A 2020-08-27 2020-08-27 一种基于集装箱x射线图像的数据生成方法 Active CN112001873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010875037.4A CN112001873B (zh) 2020-08-27 2020-08-27 一种基于集装箱x射线图像的数据生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010875037.4A CN112001873B (zh) 2020-08-27 2020-08-27 一种基于集装箱x射线图像的数据生成方法

Publications (2)

Publication Number Publication Date
CN112001873A true CN112001873A (zh) 2020-11-27
CN112001873B CN112001873B (zh) 2024-05-24

Family

ID=73470477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010875037.4A Active CN112001873B (zh) 2020-08-27 2020-08-27 一种基于集装箱x射线图像的数据生成方法

Country Status (1)

Country Link
CN (1) CN112001873B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113303905A (zh) * 2021-05-26 2021-08-27 中南大学湘雅二医院 一种基于视频影像反馈的介入手术操作模拟方法
CN113409239A (zh) * 2020-12-04 2021-09-17 中广核贝谷科技有限公司 一种基于辐射成像的集装箱空箱检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533606A (zh) * 2019-07-30 2019-12-03 中国民航大学 基于生成式对抗网络的安检x光违禁品图像数据增强方法
CN110533582A (zh) * 2019-08-15 2019-12-03 中国民航大学 一种基于生成式对抗网络的安检x光违禁品图像合成方法
CN110648300A (zh) * 2019-09-09 2020-01-03 深圳码隆科技有限公司 图像数据合成方法、装置、计算机设备和存储介质
US20200069271A1 (en) * 2018-08-28 2020-03-05 King Fahd University Of Petroleum And Minerals X-ray system and method for generating x-ray image in color
CN110910467A (zh) * 2019-12-03 2020-03-24 浙江啄云智能科技有限公司 一种x射线图像样本生成方法、系统及用途
CN111145177A (zh) * 2020-04-08 2020-05-12 浙江啄云智能科技有限公司 图像样本生成方法、特定场景目标检测方法及其系统
CN111242905A (zh) * 2020-01-06 2020-06-05 科大讯飞(苏州)科技有限公司 一种x光样本图像的生成方法、生成设备和存储装置
CN111382775A (zh) * 2018-12-29 2020-07-07 清华大学 用于x射线图像处理的生成对抗网络及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200069271A1 (en) * 2018-08-28 2020-03-05 King Fahd University Of Petroleum And Minerals X-ray system and method for generating x-ray image in color
CN111382775A (zh) * 2018-12-29 2020-07-07 清华大学 用于x射线图像处理的生成对抗网络及其方法
CN110533606A (zh) * 2019-07-30 2019-12-03 中国民航大学 基于生成式对抗网络的安检x光违禁品图像数据增强方法
CN110533582A (zh) * 2019-08-15 2019-12-03 中国民航大学 一种基于生成式对抗网络的安检x光违禁品图像合成方法
CN110648300A (zh) * 2019-09-09 2020-01-03 深圳码隆科技有限公司 图像数据合成方法、装置、计算机设备和存储介质
CN110910467A (zh) * 2019-12-03 2020-03-24 浙江啄云智能科技有限公司 一种x射线图像样本生成方法、系统及用途
CN111242905A (zh) * 2020-01-06 2020-06-05 科大讯飞(苏州)科技有限公司 一种x光样本图像的生成方法、生成设备和存储装置
CN111145177A (zh) * 2020-04-08 2020-05-12 浙江啄云智能科技有限公司 图像样本生成方法、特定场景目标检测方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUSTAFA HAIDERBHAI ET AL.: "pix2xray converting RGB images into X-rays using generative adversarial networks", INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY, 27 April 2020 (2020-04-27) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409239A (zh) * 2020-12-04 2021-09-17 中广核贝谷科技有限公司 一种基于辐射成像的集装箱空箱检测方法
CN113409239B (zh) * 2020-12-04 2022-07-19 中广核贝谷科技有限公司 一种基于辐射成像的集装箱空箱检测方法
CN113303905A (zh) * 2021-05-26 2021-08-27 中南大学湘雅二医院 一种基于视频影像反馈的介入手术操作模拟方法

Also Published As

Publication number Publication date
CN112001873B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN108898610B (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
CN107301383B (zh) 一种基于Fast R-CNN的路面交通标志识别方法
JP6400117B2 (ja) 交通標識を認識する方法及び装置
CN111539957B (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
CN110766020A (zh) 一种面向多语种自然场景文本检测与识别的系统及方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
Shin et al. Data augmentation method of object detection for deep learning in maritime image
CN104881662A (zh) 一种单幅图像行人检测方法
CN112001873A (zh) 一种基于集装箱x射线图像的数据生成方法
CN107256633B (zh) 一种基于单目摄像头三维估计的车型分类方法
Zhou et al. Building segmentation from airborne VHR images using Mask R-CNN
CN113066050A (zh) 一种基于视觉的空投货台航向姿态解算方法
CN107705295B (zh) 一种基于稳健主成分分析法的图像差异检测方法
CN108509826A (zh) 一种遥感影像的道路识别方法及其系统
Kim et al. Vehicle color recognition via representative color region extraction and convolutional neural network
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
Kheder et al. Transfer learning based traffic light detection and recognition using CNN inception-V3 model
Bala et al. Image simulation for automatic license plate recognition
CN107704864A (zh) 基于图像对象性语义检测的显著目标检测方法
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置
Büschenfeld et al. Edge preserving land cover classification refinement using mean shift segmentation
Huang et al. An efficient method of license plate location in natural-scene image
Zhao et al. Onboard smart surveillance for micro-uav swarm: an experimental study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant