CN113960687A - X射线图像处理装置及x射线图像处理方法 - Google Patents
X射线图像处理装置及x射线图像处理方法 Download PDFInfo
- Publication number
- CN113960687A CN113960687A CN202110137234.0A CN202110137234A CN113960687A CN 113960687 A CN113960687 A CN 113960687A CN 202110137234 A CN202110137234 A CN 202110137234A CN 113960687 A CN113960687 A CN 113960687A
- Authority
- CN
- China
- Prior art keywords
- article
- ray
- ray image
- image processing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000010354 integration Effects 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000007689 inspection Methods 0.000 abstract description 32
- 238000000034 method Methods 0.000 description 63
- 230000005540 biological transmission Effects 0.000 description 32
- 239000000463 material Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
- G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
- G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
提供在能够进行从多个方向的拍摄的X射线检查装置中能够使禁止物品的识别精度提高的X射线图像处理装置及X射线图像处理方法。X射线图像处理装置具有：X射线图像取得部，取得将物品从多个方向拍摄的多个X射线图像；物品识别部，对于多个X射线图像，使用对物品的第1面进行学习而得到的学习模型，识别出物品；识别结果整合部，整合对多个X射线图像的识别结果；以及画面生成部，基于整合后的识别结果，生成画面信息。
Description
技术领域
本发明涉及X射线图像处理装置及X射线图像处理方法。
背景技术
在机场或大规模事件会场等，在随身行李检查中利用X射线随身行李检查装置。X射线随身行李检查装置通常生成表示X射线的透射量的灰度图像或判定材质而按每个材质进行了上色的彩色图像。并且，通常的运用是，检查员以目视检查图像来确认有无危险品，如果检查员发现危险品则将行李打开检查。
为了确认在X射线图像中是否包含危险品，需要受过高度的训练的检查员。因此，从事前的训练及成本的观点来看，例如在大规模事件时临时性地大量确保检查员是困难的。所以，为了多少减轻检查员的负荷，进行了想要使危险品的发现自动化的尝试。
作为使图像识别自动化的一个对策，可以举出利用基于AI(人工智能)的深度学习的图像识别技术。深度学习在影像解析的用途等中被广泛使用，得到较高的识别精度，因而其普及不断推进。例如，在专利文献1中，公开了通过将材质的密度与形状识别结果组合来得到较高的识别精度的方法。
专利文献1：日本特开2018－4363号公报
专利文献1所记载的技术以由X射线检查装置从1个方向拍摄的图像为识别对象。即，对于1个拍摄方向得到1个识别结果，所以在有多个拍摄方向的情况下，得到与拍摄方向的数量相应的识别结果。因此，检查员必须确认多个识别结果，有检查员的确认时间增加的问题。此外，从1个方向拍摄的图像其信息量较少，与能够将物品以3D(三维)拍摄的CT方式相比，有识别精度较低的问题。
另一方面，能够从两个方向拍摄的X射线检查装置由于比CT方式便宜而正在普及。对能够从两个方向拍摄的X射线检查装置而言，即使是例如刀那样厚度较薄的物品，通过将该物品从两个方向拍摄，也能够根据从某个方向拍摄的图像，明确地判别刀的形状。因此，通过从两个方向确认物品，与从1个方向确认物品的情况相比可以期待防止看漏。在使用AI的禁止物品的识别中，也可以想到在将两个方向的识别结果整合后提示最终的识别结果更为好。
发明内容
本发明的目的是提供在能够进行从多个方向的拍摄的X射线检查装置中能够使禁止物品的识别精度提高的X射线图像处理装置及X射线图像处理方法。
为了解决上述课题，本发明的代表性的X射线图像处理装置之一具有：X射线图像取得部，取得将物品从多个方向拍摄的多个X射线图像；物品识别部，对于多个X射线图像，使用对物品的第1面进行学习而得到的学习模型，识别出物品；识别结果整合部，整合对多个X射线图像的识别结果；以及画面生成部，基于整合后的识别结果，生成画面信息。
发明效果
根据本发明，能够提供在能够进行从多个方向的拍摄的X射线检查装置中能够使禁止物品的识别精度提高的X射线图像处理装置及X射线图像处理方法。
上述以外的课题、结构及效果通过以下的实施方式的说明会变得更加清楚。
附图说明
图1是X射线检查装置的结构图。
图2是X射线图像处理装置102的功能结构图。
图3是表示进行物品的识别和显示的处理动作的流程图。
图4是表示将图像数据按每个行李单位进行分割的例子的图。
图5是表示物品的正面和侧面的图像的例子的图。
图6是表示画面生成的例子的图。
图7是表示画面生成的例子的图。
图8是表示画面生成的例子的图。
标号说明
100：X射线检查装置
101：装置主体
102：X射线图像处理装置
103：显示部
104：输入部
201：CPU
202：主存储器
205：通信部
210：存储部
211：OS
212：X射线图像取得程序
213：物品识别程序
214：识别结果整合程序
215：画面生成程序
216：校准程序
217：物品学习程序
218：X射线图像数据
219：学习模型
具体实施方式
以下，对本发明的X射线图像处理装置及X射线图像处理方法的优选的实施方式进行说明。
在本发明中，物品的“正面”是指从在通常的检查员确认时容易判别物品的方向看到的面，物品的“侧面”是指从与看到正面的方向垂直的方向看到的面。
[实施例]
图1是具有X射线图像处理装置的X射线检查装置的结构图。
X射线检查装置100例如是在机场的安检中作为随身行李检查装置而被广泛使用的装置，具有X射线装置主体(以下称作装置主体)101、X射线图像处理装置102、显示部103和输入部104。X射线图像处理装置102例如是个人计算机(PC)。显示部103在显示从两个方向拍摄的图像的情况、或显示彩色图像和灰度图像的情况下等，也有由两个以上的显示器构成的情况。
装置主体101具有照射X射线的照射机构、和拍摄随身行李等对象物并计测X射线的透射量的X射线拍摄机构，输出X射线透射量的数据(以下，有简单称作“透射量数据”或“透射量”的情况)。X射线图像处理装置102基于装置主体101拍摄的X射线图像的物品识别结果，判定随身行李是否安全。本实施例的X射线图像处理装置具有学习功能，能够使用所累积的物品信息来学习图像识别用的模型。显示部103是显示X射线图像的显示终端，检查员能够以目视确认显示在画面上的X射线图像。
装置主体101具有具备输送行李的带式输送机的输送机构，输送机构由控制部控制，能够使带式输送机驱动、停止。X射线图像处理装置102在物品识别的结果判定为危险的随身行李(警报对象物)的情况下，将设置在装置主体101或装置主体101附近的显示灯点亮，向检查员通知物品是警报对象物。另外，在是警报对象物的通知中，也可以使用显示部103或X射线图像处理装置102的声音输出部。
在本实施例的输送机构中，配置有测量X射线的透射量的两种X射线传感器(以下简单称作“传感器”)，取得两种数据。即，一个传感器取得较低能量的数据，另一个传感器取得较高能量的数据。X射线图像处理装置102基于由两个传感器取得的高能量的数据与低能量的数据的差分，判定对象物的材质。X射线传感器只要能够取得能够判断材质的X射线数据就可以，X射线传感器的检测方式没有限制。例如既可以使用后方散射式的材质判定传感器等，也可以是其他的传感器。进而，在本实施例的X射线检查装置中，在行李经过的区域的侧面(垂直面)和顶棚面(水平面)等多个部位分别安装有上述传感器的组(两种X射线传感器)。例如在能够从两个方向拍摄的X射线检查装置中，能够从上方和侧方的两个方向同时拍摄行李。通常，作为传感器而使用线传感器。在这样的情况下，为了避免多个X射线的光源的干涉，也有将第一传感器的组和第二传感器的组相对于行李进行方向的位置稍稍错开而设置的情况。
图2是X射线图像处理装置102的功能结构图。
X射线图像处理装置102是具有处理部(CPU：Central Processing Unit)201、主存储器202、连接显示部103的显示接口(I/F)部203、连接输入部104的输入接口(I/F)部204、通信部205、存储部210的信息处理装置。
处理部201执行程序而实现规定的功能或动作。存储部210保存有X射线图像取得程序212、物品识别程序213、识别结果整合程序214、画面生成程序215、校准程序216、物品学习程序217、X射线图像数据218、学习模型219。
这里，X射线图像取得程序212从专用的接口或VGA端子等通用的画面输出端子取得由装置主体101拍摄的X射线的透射量数据。另外，在机场的安检处等使用的X射线检查装置的情况下，通常将从两个方向拍摄的图像显示在独立的两个画面上的情况较多。在此情况下，也可以从多个输入端子取得X射线的透射量数据。关于由X射线图像取得程序212进行的动作的详细情况在后面叙述。
物品识别程序213以对根据装置主体101拍摄的两种X射线传感器的透射量数据生成的行李的材质信息和物品的密度信息进行了可视化的彩色图像、或对两种X射线传感器中的某个传感器的透射量数据进行了变换的灰度图像为对象，使用深度学习的分割(segmentation)技术，以像素单位识别包含在图像内的物品。关于由物品识别程序213进行的动作的详细情况在后面叙述。
识别结果整合程序214整合从两个方向拍摄的两个图像的识别结果，高精度地识别物品。此外，在使向检查员提示的画面为1个的情况下，在从两个方向拍摄的两个图像中选择向检查员提示的图像。关于识别结果整合程序214的动作的详细情况在后面叙述。
画面生成程序215基于由识别结果整合程序214整合的识别结果，生成要在检查员终端的监视器上显示的画面信息，在显示部103上显示所生成的画面信息。关于画面生成程序215的动作的详细情况在后面叙述。
校准程序216调整图像的位置，以将从多个方向拍摄的多个图像的位置建立对应。关于校准程序216的动作的详细情况在后面叙述。
物品学习程序217以被输入的彩色图像或灰度图像为对象，使用深度学习的分割处理等实施学习，生成学习模型219。
X射线图像数据218中登记根据由两种传感器计测的X射线透射量数据生成的、表示材质信息和密度信息的彩色图像或灰度图像。针对彩色图像，根据两种传感器的X射线透射量数据的差分判定物品的材质，例如登记材质信息为颜色、透射量为浓度(密度较大的部分较浓，密度较小的部分较淡)的彩色图像。另外，在传感器被设置为两个方向的拍摄用的情况下，通过1次摄影拍摄来自不同朝向的两个图像，向X射线图像数据218登记。
另外，被存储在存储部210中的上述的X射线图像取得程序212、物品识别程序213、识别结果整合程序214、画面生成程序215、校准程序216、物品学习程序217如果被处理部201执行，则分别实现作为X射线图像取得部212′、物品识别部213′、识别结果整合部214′、画面生成部215′、校准部216′、物品学习部217′的功能。
X射线图像数据218是由X射线检查装置100拍摄的行李的彩色图像或灰度图像。在X射线检查装置100例如是能够从垂直方向和水平方向的两个方向拍摄的装置的情况下，对于1个行李，将垂直方向和水平方向的两个图像与行李ID一起记录到X射线图像数据218的保存区域中。
学习模型219中记录有由物品学习程序217学习的模型的参数信息。另外，作为学习模型，也可以使用对于一个物品在正面及侧面等各种方向学习的学习模型。但是，在本实施例中，对于适用了学习模型的物品的图像，不仅能够判别物品是什么，还能够判别是物品的正面和侧面的哪一个，所以作为在本实施例中使用的学习模型，例如关于智能电话，也可以使用将正面的图像和侧面的图像学习为不同物品的图像的学习模型。
通过使用这样的学习模型，在如智能电话那样正面和侧面的观感较大地不同的情况下，通过将正面和侧面学习为不同的物品，能够构建更可靠地反映了正面和侧面的识别的学习模型。
接着，参照图3，对进行物品的识别和显示的处理动作进行说明。该处理动作是使用X射线检查装置100的检查业务时的处理动作。
(S301)
首先，X射线图像取得程序212取得由X射线的传感器取得的作为透射量数据的RAW数据或对透射量数据进行了图像化的X射线图像(在显示器上显示的画面信号)。这里，在输入为高低两种能量的RAW数据的情况下，根据高低两种能量的透射量数据的差分信息，判定图像的像素单位的材质。材质的判定例如可以使用在该领域中周知的根据高低两种能量的透射量的差分信息，分类为金属、无机物、有机物、其他这4种的方法。并且，使用材质信息和高低两种能量中的某一个的X射线透射量，生成材质信息为颜色、透射量为浓度(密度较大的部分较浓，密度较小的部分较淡)的彩色图像。
这里，在从装置主体101取得的图像数据没有按每个拍摄对象的行李分割的情况下，即在一个图像数据中拍摄有多个行李的情况下，通过以下所示的第1分割方法至第3分割方法将图像数据分割为行李单位。
第1分割方法是从装置主体101的VGA输出端子等向显示器输入要显示的画面信号的情况下的方法。首先，取得画面信号，利用帧图像的变化程度，判定行李的显示内容是否变化。如果行李的拍摄结束，则在画面上行李被静止显示。如果将透射量为阈值以下的较浓的部分设为行李区，则能够根据行李区是否变化来确定行李的拍摄的结束及拍摄结束时的行李区。
在图4中表示第2分割方法的例子。取得画面信号或RAW数据，按每一定的线数或每一定时间求出透射量的积分值。将透射量较小的(＝较浓的)部分判定为有行李，将透射量较大的(＝较淡的)部分判定为无行李，从而以行李单位将图像分割。如果用1条线进行判定，则有可能因噪声等而误判定，所以也可以在取移动平均的透射量的积分值为阈值以下的情况下判定为有行李，在阈值以上的情况下判定为无行李。此外，由于有在行李的中途包含较淡的部分的情况，所以关于较淡的部分，也可以在连续一定量的情况下判定为是行李与行李之间的空间。图4的曲线图中，透射量越小(＝越浓)被标绘到越靠上，透射量越大(＝越淡)被标绘到越靠下，数字表示是第几条线。
第3分割方法是使用设置在X射线检查装置的行李投入口处的行李检测传感器的方法。在通常的X射线检查装置中，例如在被行李遮蔽光线的位置处设置有能够检测遮蔽的传感器。通过对传感器检测到行李的时刻加上从传感器检测到行李的时间点到行李的前端到达线传感器为止的时间，能够取得行李开始点的时刻(拍摄开始时刻)。此外，通过对传感器检测不到行李的时刻加上从传感器检测不到行李的时间点到行李的末端到达线传感器为止的时间，能够取得行李结束点的时刻(拍摄结束时刻)。通过取得行李开始点的时刻和行李结束点的时刻，如果输入是画面信号，则能够根据行李结束点的时刻的画面和拍摄时间的信息来确定行李区域。如果输入是RAW数据，则能够将从开始时刻到结束时刻为止的RAW数据作为1个行李的RAW数据而生成行李区域的图像。
在能够从两个方向拍摄的X射线检查装置中，将上述的分割方法适用于例如从垂直方向拍摄的图像和从水平方向拍摄的图像。
(S302)
接着，校准程序216对于由X射线图像取得程序212取得的两个方向的拍摄图像进行相对于行李的进行方向的位置的对应建立。例如，在由X射线图像取得程序212取得了两个方向的两张X射线图像的情况下，根据拍摄方向而物品的模样不同或线传感器的位置不同，所以在原样下两张图像的像素单位的位置关系的对应不明确的情况较多。通常在检查员目视确认检查装置的图像的情况、或对每1张图像适用基于AI的物品识别的情况下，不需要将两张图像以像素单位建立对应，所以也有将在检查员终端上显示的两个方向两个画面的图像相应于线传感器的间隔错开而显示的情况。所以，使用校准程序216，通过以下所示的第1校准方法至第3校准方法，实施两张图像的像素间的对应建立。
第1校准方法是使用线传感器间的时间间隔的方法。例如，在使用RAW数据的方式的情况下，从两个线传感器输入的数据中有一定的时间的偏移。所以，通过将数据的输入时刻相应于线传感器间的时间间隔而调整，以线单位使时刻同步，由此进行像素间的对应建立。
第2校准方法是以画面信号为输入、在取得X射线图像的步骤(S301)中使用第1图像分割方法或第2图像分割方法的情况下的校准方法。在使用基于透射量的大小(浓淡)的图像分割方法的情况下，从两个方向拍摄的图像由于透射量的分布分别不同，所以并不一定是相同的位置被判定为开始点、结束点。此外，在仅将行李区域切出的图像分割方法的情况下，可以想到不仅关于行李的进行方向，关于与进行方向垂直的方向也将余白即透射量较大的部分删除这样的运用，所以从两个方向拍摄并以行李单位切出的图像其分辨率及纵横比都不同。
所以，关于行李的进行方向，使用两个线传感器的时间间隔、以及两个图像的拍摄开始时刻和拍摄结束时刻进行对应建立。匹配于拍摄开始时刻较早的图像，对拍摄开始时刻较晚的图像追加余白图像，匹配于拍摄结束时刻较晚的图像，对拍摄结束时刻较早的图像追加余白图像。另外，关于与行李的进行方向垂直的方向，由于在垂直方向和水平方向上行李的尺寸也不同，像素单位的对应建立较困难，所以图像的尺寸也可以不同。即，通过校准调整后的图像保证了在行李的进行方向上必定是相同的物品被拍摄在相同的位置。
第3校准方法是通过在装置利用开始时拍摄具有特定的样式的样本行李来计测在第1校准方法或第2校准方法中使用的线传感器间的时间间隔的方法。在该样本行李中，包含用铅墨等制作的能够在X射线图像中判别的样式等、当进行了拍摄时能够确定位置的部分。能够根据先拍摄的图像的样式的拍摄时刻与在后拍摄的图像的样式的拍摄时刻的差分来计测线传感器间的时间间隔。即使线传感器间的距离是固定的，在带式输送机前进速度发生了误差的情况下，也有可能通过在装置的初期导入时设定的时间间隔不能进行正确的位置的对应建立。因此，通过定期地使用第3校准方法修正误差，能够实现正确的对应建立。
通过实施校准，能够将从两个方向拍摄的两张图像在行李的进行方向上对准位置来显示。此外，能够使用AI整合性地识别从两个方向拍摄的两张图像。
另外，所取得的X射线图像数据在接下来的进行物品识别的步骤S303或检查员参照过去的图像数据时被使用，所以被登记到X射线图像数据218中。
(S303)
接着，物品识别程序213从X射线图像数据218中取得在步骤S302中取得的两个方向的两张图像，使用学习模型219及深度学习的分割处理，以像素单位识别物品。这里，在物品的识别中，可以使用作为OSS(开源软件)库被广泛周知的“Fully ConvolutionalInstance－aware Semantic Segmentation”或“Mask R－CNN”等库。另外，只要能够以像素单位确定物品，识别的方式没有限制。
这里，由于有两个方向的两张图像，所以物品的识别对从第1方向拍摄的图像和从第2方向拍摄的图像的两个图像进行。例如，在第1方向上拍摄了智能电话的正面的情况下，在第2方向上拍摄智能电话的侧面。在智能电话的情况下，拍摄了正面的图像容易被判别为是智能电话，但拍摄了侧面的图像难以被判别为是智能电话。此外，在拍摄的方向上有物品的重叠的情况下也难以判别物品。像这样，有仅一方的图像能够得到识别结果的情况，所以拍摄的两张图像的识别结果不同的情况较多。
另外，在进行物品的识别时，通过使用将正面的模型和侧面的模型作为不同模型进行了学习的模型，能够在识别时同时判别是接近于物品的正面还是接近于侧面。这里，当为从对应于正面与侧面的中间的角度进行的拍摄的情况下，可以选择物品的正面和侧面中的更接近一方。此外，对于使用将正面和侧面一起学习的学习模型识别的结果，也可以使用基于物品的面积或事前准备的正面和侧面的样本图像的模板匹配得到的类似程度等其他的方法来判别是正面还是侧面。即，在识别时既可以如智能电话(正面)或智能电话(侧面)那样进行判别，也可以对于使用将正面和侧面一起学习的学习模型识别的结果，判别是正面还是侧面。
另外，在本实施例的说明中，为了使说明容易理解，以两个方向进行说明，但根据物品，也有在从3个以上方向的拍摄中分别呈现不同的模样的物品。在3个以上方向中呈现不同的模样的情况下，也可以追加两个方向以外的方向。
此外，学习模型219准备了用彩色图像进行了学习的学习模型和用灰度图像进行了学习的学习模型，在物品的重叠较大的情况下，即在图像的较浓的部分的面积比阈值大的情况下等，也能够使用利用灰度图像进行了学习的学习模型进行识别。由此，能够避免因物品的重叠带来的表示材质的种类的颜色的变化的影响。
(S304)
接着，识别结果整合程序214对于在识别物品的步骤S303中取得的两个方向的识别结果，通过以下所示的第1整合方法至第3整合方法进行合并或选择识别结果的整合处理。在进行物品识别的步骤中，能够与物品的识别结果一起得到识别结果的可靠度。即，能得到对于两个方向的图像分别使用物品的正面的学习模型和物品的侧面的学习模型尝试了识别的情况下的各自的识别结果和识别结果的可靠度。使用得到的识别结果和识别结果的可靠度进行整合处理。
第1整合方法是当能够在两个方向的图像的相对于行进方向相同的位置识别出物品的正面和物品的侧面的情况下确定出物品的整合方法。如果设为仅当在两个方向的一方能够识别出物品的正面、在另一方能够识别出物品的侧面的情况下识别出物品，则能够抑制过剩检测(将不是禁止物品的物品判定为禁止物品)。此外，为了抑制检测遗漏，只要将采用各个方向的识别结果的可靠度的阈值降低就可以。这样也能够基于两个方向上的识别进行判断，所以也能够抑制过剩检测。因此，有能够在抑制检测遗漏的同时也抑制过剩检测的效果。即，在两个方向拍摄的X射线检查装置中，通常按每一个方向进行物品识别，但通过使用本整合方法，能够进行考虑到物品的3D形状的识别。
另外，在某个方向的图像中铅等X射线遮蔽物等透射量较小的部分的比例为阈值以上的情况下，判断为在该图像中没有拍摄到物品。并且，提高另一个方向的可靠度的阈值，采用来自另一个方向的识别结果。因而，在两个方向双方拍摄到物品的情况下，将两个方向的识别结果进行整合，在某个方向上因遮蔽X射线的物品等而没有拍摄到物品的情况下，采用另一个方向的识别结果。
第2整合方法是在某个方向的图像中能够识别出物品的正面和物品的侧面中的某一个的情况下确定出物品的整合方法。由于不是如第1整合方法那样仅当在两个方向中的一方能够识别出物品的正面、在另一方能够识别出物品的侧面的情况下识别出物品，所以与第1整合方法相比过剩检测变多，但能够防止禁止物品的检测遗漏。例如，如在图5中表示例子那样，在拍摄有正面的方向的图像中能够识别为智能电话、但在拍摄有侧面的方向的图像中不能识别为智能电话的情况下，也识别为智能电话。并且，在拍摄有侧面的方向的图像中，也在相对于行进方向与拍摄有正面的方向的图像相同的位置追加有智能电话这样的识别结果。关于与行李的进行方向垂直的方向，由于难以进行正确的对应建立，所以表示有可能有物品的范围。由此，有当检查员看见时关于侧面的图像也能够抑制看漏的效果。
第3整合方法是在两个方向的图像中选择以接近于正面的状态拍摄有禁止物品的方向的图像的方法。即，在两个方向的图像中，选择关于物品的正面的识别结果的可靠度较大的图像。在检查员确认的监视器是1台的情况下，必须选择要显示的图像。在此情况下，优选的是提示更鲜明地拍摄有禁止物品的图像。因此，选择拍摄有更多禁止物品的图像或拍摄有禁止物品的正面的图像。以禁止物品的数量和正面中的哪个为优先进行选择依赖于运用条件，所以可以事前设定。由此，有即使检查员确认的监视器是1台、也能够尽可能确认出禁止物品的效果。另外，也可以与第2整合方法组合，当有仅在没有选择的图像中识别出的禁止物品的情况下，如图5的虚线那样对所选择的图像追加有可能包含禁止物品的区域。
另外，第1整合方法至第3整合方法既可以将多个整合方法组合使用，也可以单独使用，也可以与第1整合方法至第3整合方法以外的方法组合使用。
(S305)
接着，在画面生成程序215在步骤S304的识别结果整合的结果中包含有禁止物品的情况下，在显示部103上显示将相应的部分高亮显示的图像。另外，在不包含禁止物品的情况下，只要将所拍摄的图像原样显示就可以。
在步骤S305中，使用步骤S304的识别结果整合的结果，通过以下所示的第1画面生成方法至第3画面生成方法生成画面的显示数据，进行画面显示。
第1画面生成方法如在图6中表示例子那样，是选择并显示拍摄有禁止物品的正面的方向的图像的画面生成方法。在包含有多个物品的情况下，以作为禁止物品的优先级、禁止物品被识别出的数量等事前决定的条件，选择并显示应优先的方向的图像。通常，在1个画面中确认基于AI的识别结果的情况下，与显示多个图像相比，显示1个图像更能够减轻检查员的目视负荷。因此，以检查的观点显示应确认的图像，关于在该图像中没有识别出的物品，只要使用步骤S304的识别结果整合的第2整合方法在确认的图像中可靠地显示可能包含禁止物品的区域就可以。
第2画面生成方法如图7所示，是将在两个方向上拍摄的图像以成为1个画面1个方向的方式显示在两个画面上的画面生成方法。关于要显示的两个画面的两个图像，优选的是使用步骤S304的识别结果整合的第2整合方法，使得不会仅在一个画面中出现显示警报的物品。由此，能够抑制检查员因仅确认一个画面而忘记另一个画面的确认造成的检查遗漏。
第3画面生成方法如图8所示，是在1个画面的上下或左右将在步骤S302的校准中进行了对位的两张图像与识别结果一起显示的方法。由于检查员能够在关于行李的进行方向而位置对齐的图像中确认有无禁止物品，所以检查员能够将两个方向的识别结果整合来判断或确定禁止物品。
另外，基于第1画面显示方法至第3画面生成方法的画面，既可以与装置主体101输出的标准画面分开而另行提供，也可以作为标准画面的替代而提供。此外，X射线图像的显示方法，既可以是在标准画面中使用的画面与行李的拍摄同步滚动的方法，也可以是图像按每个行李而切换的方法。此外，也可以根据如下这样的识别结果，用颜色或声音等变更警报的方式，上述识别结果为：因识别出了物品的正面和物品的侧面双方而判断为是禁止物品的概率高，或由于仅识别出了物品的正面和物品的侧面中的一方、所以可能不是禁止物品、但为了慎重起见判断为最好进行确认等。
另外，作为其他的显示方法，也可以通过不让看到清楚地拍摄有禁止物品的方向来提高检查员的紧张感，并在将该图像误判断为没有问题的情况下将清楚地拍摄有禁止物品的图像与警报一起提示，用于检查员的训练。
此外，在仅在1个方向上判定为禁止物品的情况下，能够用画面或声音等输出促使检查员变更方向重新拍摄的信息。并且，对最初拍摄的两个方向的图像加上重新拍摄的两个方向的图像，用4个方向的图像进行判别，在至少两个方向的图像中识别出物品的不同的面的情况下，能够确定为禁止物品。
(S306)
接着，在检查结束即拍摄结束的情况下，结束将拍摄的X射线图像识别并向检查员提示的步骤S301至步骤S305的处理，在继续检查的情况下，继续进行步骤S301至步骤S305的处理。
(S307)
接着，使用在运用中储存的X射线图像，从连接在输入I/F上的鼠标及键盘等接受是否生成或更新学习模型的指示，在不进行生成或更新的情况下结束整体的处理。
(S308)
接着，由物品学习程序217读出X射线图像数据218，进行物品的学习，将所生成的学习模型登记到学习模型219中。
物品的学习与进行物品的识别的步骤同样，可以使用作为OSS(开源软件)库被广泛周知的“Fully Convolutional Instance－aware Semantic Segmentation”或“MaskR－CNN”等库。
另外，在进行物品的学习之前，需要物品的轮廓信息和用来识别物品的正解信息，但在本实施例中，给出正解的方法没有限定。只要使用以手工将物品的区域包围、选择物品名等通用的方法就可以。
另外，也可以将在步骤S303中识别出的结果作为物品的候选区域来提示，使由手工进行的给出正解的作业高效化。例如，在仅1个方向能够判别出物品的情况下，通过将另一方的有可能拍摄有相同物品的部位向给出正解的作业者提示，能够防止给出正解的遗漏。将已学习的学习模型登记到学习模型219中，结束处理。
根据本实施例，通过将在两个方向拍摄的图像的识别结果整合，能够在提高物品的识别精度的同时，作为向检查员显示的图像而提示容易看到物品的方向的图像，所以有能够在抑制检查遗漏的同时提高检查效率的效果。此外，即使是1个画面的显示，也能够将需要的信息整合而显示，所以有显示部的设置空间的削减及装置台数的削减等的效果。
另外，在本实施例中，主要示出了在两个方向拍摄的例子，但只要在多个方向拍摄就可以。
此外，在本实施例中，示出了使用X射线拍摄物品的例子，但只要是能够透射物品而拍摄的电磁波，例如也可以使用太赫兹(terahertz)波等其他电磁波。
例如，将X射线改为电磁波的以下这样的结构也起到能够提供在能够进行从多个方向的拍摄的电磁波检查装置中能够使禁止物品的识别精度提高的电磁波图像处理装置及电磁波图像处理方法这样的同样的效果。
一种电磁波图像处理装置，具有：电磁波图像取得部，取得将物品从多个方向拍摄的多个电磁波图像；物品识别部，对于多个电磁波图像，使用对物品的第1面进行学习而得到的学习模型，识别出物品；识别结果整合部，整合对多个电磁波图像的识别结果；以及画面生成部，基于整合后的识别结果，生成画面信息。
一种电磁波图像处理方法，是电磁波图像处理装置的电磁波图像处理方法，具有：电磁波图像取得步骤，取得将物品从多个方向拍摄的多个电磁波图像；物品识别步骤，对于多个电磁波图像，使用对物品的第1面进行学习而得到的学习模型，识别出物品；识别结果整合步骤，整合对多个电磁波图像的识别结果；以及画面生成步骤，基于整合后的识别结果，生成画面信息。
此外，在本实施例中，示出了X射线装置主体101和X射线图像处理装置102是分体的例子，但X射线图像处理装置也可以内置在X射线装置主体中。
此外，本发明并不限定于上述实施例，而包含各种各样的变形例。例如，上述的实施例是为了容易理解地说明本发明而详细说明的，并不限定于必定具备所说明的全部结构。此外，关于实施例的结构的一部分，能够进行其他结构的追加、删除、替换。
Claims (14)
1.一种X射线图像处理装置，其特征在于，具有：
X射线图像取得部，取得将物品从多个方向拍摄的多个X射线图像；
物品识别部，对于上述多个X射线图像，使用对物品的第1面进行学习而得到的学习模型，识别出物品；
识别结果整合部，整合对上述多个X射线图像的识别结果；以及
画面生成部，基于整合后的识别结果，生成画面信息。
2.如权利要求1所述的X射线图像处理装置，其特征在于，
上述物品识别部使用对上述物品的第1面进行学习而得到的学习模型、以及对上述物品的与第1面不同的第2面进行学习而得到的学习模型，识别出物品。
3.如权利要求1或2所述的X射线图像处理装置，其特征在于，
上述识别结果整合部从上述多个X射线图像中选择针对上述物品的第1面的识别结果的可靠度最大的X射线图像。
4.如权利要求1或2所述的X射线图像处理装置，其特征在于，
上述识别结果整合部在上述多个X射线图像的一个中能够识别出上述物品的第1面、在上述多个X射线图像的另一个中能够识别出上述物品的第2面的情况下，识别出上述物品。
5.如权利要求1或2所述的X射线图像处理装置，其特征在于，
上述识别结果整合部在上述多个X射线图像的一个中能够识别出上述物品的第1面或上述物品的第2面的情况下，识别出上述物品。
6.如权利要求1或2所述的X射线图像处理装置，其特征在于，
上述画面生成部在上述多个X射线图像中仅对于一部分X射线图像识别出危险品的情况下，对其余的X射线图像的与上述危险品对应的部分，追加表示有可能包含危险品的区域的显示。
7.如权利要求1或2所述的X射线图像处理装置，其特征在于，
具有调整上述多个X射线图像的尺寸或显示位置的校准部。
8.一种X射线图像处理方法，是X射线图像处理装置的X射线图像处理方法，其特征在于，具有：
X射线图像取得步骤，取得将物品从多个方向拍摄的多个X射线图像；
物品识别步骤，对于上述多个X射线图像，使用对物品的第1面进行学习而得到的学习模型，识别出物品；
识别结果整合步骤，整合对上述多个X射线图像的识别结果；以及
画面生成步骤，基于整合后的识别结果，生成画面信息。
9.如权利要求8所述的X射线图像处理方法，其特征在于，
上述物品识别步骤中，使用对上述物品的第1面进行学习而得到的学习模型、以及对上述物品的与第1面不同的第2面进行学习而得到的学习模型，识别出物品。
10.如权利要求8或9所述的X射线图像处理方法，其特征在于，
上述识别结果整合步骤中，从上述多个X射线图像中选择针对上述物品的第1面的识别结果的可靠度最大的X射线图像。
11.如权利要求8或9所述的X射线图像处理方法，其特征在于，
上述识别结果整合步骤中，在上述多个X射线图像的一个中能够识别出上述物品的第1面、在上述多个X射线图像的另一个中能够识别出上述物品的第2面的情况下，识别出上述物品。
12.如权利要求8或9所述的X射线图像处理方法，其特征在于，
上述识别结果整合步骤中，在上述多个X射线图像的一个中能够识别出上述物品的第1面或上述物品的第2面的情况下，识别出上述物品。
13.如权利要求8或9所述的X射线图像处理方法，其特征在于，
上述画面生成步骤中，在上述多个X射线图像中仅对于一部分X射线图像识别出危险品的情况下，对其余的X射线图像的与上述危险品对应的部分，追加表示有可能包含危险品的区域的显示。
14.如权利要求8或9所述的X射线图像处理方法，其特征在于，
具有调整上述多个X射线图像的尺寸或显示位置的校准步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020115632A JP7422023B2 (ja) | 2020-07-03 | 2020-07-03 | Ｘ線画像処理装置およびｘ線画像処理方法 |
| JP2020-115632 | 2020-07-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113960687A true CN113960687A (zh) | 2022-01-21 |
| CN113960687B CN113960687B (zh) | 2024-08-27 |
Family
ID=79459397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110137234.0A Active CN113960687B (zh) | 2020-07-03 | 2021-02-01 | X射线图像处理装置及x射线图像处理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7422023B2 (zh) |
| CN (1) | CN113960687B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7517747B1 (ja) | 2023-05-24 | 2024-07-17 | 株式会社桑原 | 服飾・雑貨用異物検知装置および異物検知システム |
| CN117455956A (zh) * | 2023-12-22 | 2024-01-26 | 天津众合智控科技有限公司 | 一种基于ai技术的人包关联追踪方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05133909A (ja) * | 1991-11-15 | 1993-05-28 | Toshiba Corp | 散乱放射線検査装置 |
| US5379334A (en) * | 1992-07-20 | 1995-01-03 | Heimann Systems Gmbh & Co. Kg | Object testing system |
| JPH10267867A (ja) * | 1997-03-25 | 1998-10-09 | Hitachi Medical Corp | Ｘ線検査装置 |
| CN101387610A (zh) * | 2008-10-14 | 2009-03-18 | 重庆大学 | 双源双能量直线式安检ct装置及其检测方法 |
| CN101509880A (zh) * | 2009-03-25 | 2009-08-19 | 公安部第一研究所 | 一种应用x射线的多效应探测融合技术的安全检查系统 |
| CN104165896A (zh) * | 2014-08-18 | 2014-11-26 | 公安部第一研究所 | 一种液态物品安全检查的方法与装置 |
| CN104345350A (zh) * | 2013-07-23 | 2015-02-11 | 清华大学 | 人体安全检查方法和人体安全检查系统 |
| CN107871122A (zh) * | 2017-11-14 | 2018-04-03 | 深圳码隆科技有限公司 | 安检检测方法、装置、系统及电子设备 |
| CN108303747A (zh) * | 2017-01-12 | 2018-07-20 | 清华大学 | 检查设备和检测枪支的方法 |
| CN108802840A (zh) * | 2018-05-31 | 2018-11-13 | 北京迈格斯智能科技有限公司 | 基于人工智能深度学习的自动识别物体的方法及其装置 |
| US20180336672A1 (en) * | 2017-05-22 | 2018-11-22 | L-3 Security & Detection Systems, Inc. | Systems and methods for image processing |
| CN108875805A (zh) * | 2018-05-31 | 2018-11-23 | 北京迈格斯智能科技有限公司 | 基于深度学习的利用检测识别一体化提高检测精度的方法 |
| CN208902891U (zh) * | 2018-11-02 | 2019-05-24 | 北京中集博源机电设备有限公司 | 一种自适应物流输送线双视角智能安检装置 |
| CN110133740A (zh) * | 2019-04-29 | 2019-08-16 | 公安部第一研究所 | 一种双视角智能化x射线安检设备 |
| CN110133739A (zh) * | 2019-04-04 | 2019-08-16 | 南京全设智能科技有限公司 | 一种x射线安检设备及其自动识图方法 |
| CN110850493A (zh) * | 2019-10-24 | 2020-02-28 | 武汉艾崴科技有限公司 | 一种扫描成像机器视觉判图的线阵列高速安检机 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6367552A (ja) * | 1986-09-10 | 1988-03-26 | Hitachi Medical Corp | Ｘ線検査装置 |
| JPH07223482A (ja) * | 1993-06-22 | 1995-08-22 | Ishikawajima Harima Heavy Ind Co Ltd | Ｘ線検査車両及び装置 |
| US6088423A (en) * | 1998-06-05 | 2000-07-11 | Vivid Technologies, Inc. | Multiview x-ray based system for detecting contraband such as in baggage |
| US6567496B1 (en) * | 1999-10-14 | 2003-05-20 | Sychev Boris S | Cargo inspection apparatus and process |
| US20050058242A1 (en) * | 2003-09-15 | 2005-03-17 | Peschmann Kristian R. | Methods and systems for the rapid detection of concealed objects |
| US8137976B2 (en) * | 2006-07-12 | 2012-03-20 | Varian Medical Systems, Inc. | Dual angle radiation scanning of objects |
| CN110286414A (zh) * | 2014-12-17 | 2019-09-27 | 同方威视技术股份有限公司 | 拖挂式多视角物品检查系统及其使用方法 |
-
2020
- 2020-07-03 JP JP2020115632A patent/JP7422023B2/ja active Active
-
2021
- 2021-02-01 CN CN202110137234.0A patent/CN113960687B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05133909A (ja) * | 1991-11-15 | 1993-05-28 | Toshiba Corp | 散乱放射線検査装置 |
| US5379334A (en) * | 1992-07-20 | 1995-01-03 | Heimann Systems Gmbh & Co. Kg | Object testing system |
| JPH10267867A (ja) * | 1997-03-25 | 1998-10-09 | Hitachi Medical Corp | Ｘ線検査装置 |
| CN101387610A (zh) * | 2008-10-14 | 2009-03-18 | 重庆大学 | 双源双能量直线式安检ct装置及其检测方法 |
| CN101509880A (zh) * | 2009-03-25 | 2009-08-19 | 公安部第一研究所 | 一种应用x射线的多效应探测融合技术的安全检查系统 |
| CN104345350A (zh) * | 2013-07-23 | 2015-02-11 | 清华大学 | 人体安全检查方法和人体安全检查系统 |
| CN104165896A (zh) * | 2014-08-18 | 2014-11-26 | 公安部第一研究所 | 一种液态物品安全检查的方法与装置 |
| CN108303747A (zh) * | 2017-01-12 | 2018-07-20 | 清华大学 | 检查设备和检测枪支的方法 |
| US20180336672A1 (en) * | 2017-05-22 | 2018-11-22 | L-3 Security & Detection Systems, Inc. | Systems and methods for image processing |
| CN107871122A (zh) * | 2017-11-14 | 2018-04-03 | 深圳码隆科技有限公司 | 安检检测方法、装置、系统及电子设备 |
| CN108802840A (zh) * | 2018-05-31 | 2018-11-13 | 北京迈格斯智能科技有限公司 | 基于人工智能深度学习的自动识别物体的方法及其装置 |
| CN108875805A (zh) * | 2018-05-31 | 2018-11-23 | 北京迈格斯智能科技有限公司 | 基于深度学习的利用检测识别一体化提高检测精度的方法 |
| CN208902891U (zh) * | 2018-11-02 | 2019-05-24 | 北京中集博源机电设备有限公司 | 一种自适应物流输送线双视角智能安检装置 |
| CN110133739A (zh) * | 2019-04-04 | 2019-08-16 | 南京全设智能科技有限公司 | 一种x射线安检设备及其自动识图方法 |
| CN110133740A (zh) * | 2019-04-29 | 2019-08-16 | 公安部第一研究所 | 一种双视角智能化x射线安检设备 |
| CN110850493A (zh) * | 2019-10-24 | 2020-02-28 | 武汉艾崴科技有限公司 | 一种扫描成像机器视觉判图的线阵列高速安检机 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022013217A (ja) | 2022-01-18 |
| JP7422023B2 (ja) | 2024-01-25 |
| CN113960687B (zh) | 2024-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3349050B1 (en) | Inspection devices and methods for detecting a firearm | |
| CN106485268B (zh) | 一种图像识别方法及装置 | |
| US20220244194A1 (en) | Automated inspection method for a manufactured article and system for performing same | |
| NL2024575B1 (en) | Empty container identification method and system | |
| JP2018113038A (ja) | 検査機器および荷物における銃器を検出する方法 | |
| CN109978892B (zh) | 一种基于太赫兹成像的智能安检方法 | |
| CN112115898B (zh) | 多指针仪表检测方法、装置、计算机设备及存储介质 | |
| CN113960687A (zh) | X射线图像处理装置及x射线图像处理方法 | |
| EP3772722B1 (en) | X-ray image processing system and method, and program therefor | |
| CN104680145B (zh) | 一种门的开关状态变化检测方法及装置 | |
| CN113361539A (zh) | 一种井下巡检机器人的仪表读取方法、装置及电子设备 | |
| JP2018004363A (ja) | Ｘ線自動判定装置、ｘ線自動判定方法 | |
| CN105718931A (zh) | 用于确定采集图像中的杂斑的系统和方法 | |
| CN108288020A (zh) | 基于上下文信息的视频遮挡检测系统及方法 | |
| CN203535244U (zh) | 人体安全检查设备 | |
| WO2024043190A1 (ja) | 検査装置、検査システムおよび検査方法 | |
| CN111356914B (zh) | 一种检测方法和检测装置 | |
| CN110441315A (zh) | 电子部件测试设备和方法 | |
| CN112162324A (zh) | 一种有效提高违禁品识别率的智能安检方法 | |
| CN116824449A (zh) | 基于检测视频的烟火巡检方法、系统、设备及存储介质 | |
| JP2023072845A (ja) | Ｘ線画像処理装置及びｘ線画像処理方法 | |
| KR102325017B1 (ko) | 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 | |
| CN212180649U (zh) | 膏体外观缺陷检测设备 | |
| KR102179948B1 (ko) | 검사 결과 제시 장치, 검사 결과 제시 방법 및 검사 결과 제시 프로그램 | |
| CN114170318A (zh) | 图像处理方法、装置、系统、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |