JP2019045235A - Image inspection system, image inspection method and program for image inspection - Google Patents
Image inspection system, image inspection method and program for image inspection Download PDFInfo
- Publication number
- JP2019045235A JP2019045235A JP2017166679A JP2017166679A JP2019045235A JP 2019045235 A JP2019045235 A JP 2019045235A JP 2017166679 A JP2017166679 A JP 2017166679A JP 2017166679 A JP2017166679 A JP 2017166679A JP 2019045235 A JP2019045235 A JP 2019045235A
- Authority
- JP
- Japan
- Prior art keywords
- ray image
- image
- defective
- inspection object
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000002950 deficient Effects 0.000 claims description 90
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 16
- 230000007547 defect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
Description
本発明は、画像検査システム、画像検査方法及び画像検査用プログラムに関する。 The present invention relates to an image inspection system, an image inspection method, and a program for image inspection.
従来、医学等で用いられるX線検査においては、磁気共鳴画像法(MRI)スキャナ、コンピュータ断層撮影法(CT)スキャナなどによって大量の画像データが取得されており、特定の疾患の判定に対する何らかの関連した洞察を提供することが望まれている。そのために、スキャンされた医用画像を解釈する処理の一部又は全部を自動化できる画像処理技術の開発が望まれている。 Conventionally, in X-ray examinations used in medicine etc., a large amount of image data has been acquired by a magnetic resonance imaging (MRI) scanner, a computed tomography (CT) scanner or the like, and any relation to the determination of a specific disease It is desirable to provide insights. Therefore, development of an image processing technique that can automate part or all of the process of interpreting a scanned medical image is desired.
これに対して、幾何学的特徴の自動算出方法や画像解釈システムが提案されている(特許文献1参照。)。 On the other hand, automatic calculation methods of geometric features and image interpretation systems have been proposed (see Patent Document 1).
この幾何学的特徴の自動算出方法は、幾何学的特徴を自動的に算出する方法であって、(i)デジタル画像ソースから少なくとも1つのデジタル医用画像を受信し、(ii)プロセッサによって、前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、前記複数の測定要素の少なくとも1つは、解剖学的構造の中心線を含み、前記解剖学的構造は胴を含み、前記複数の測定要素を自動的に識別することは、背骨に沿った曲線を検出することを含み、(iii)前記プロセッサによって、前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、(iv)ユーザの検討のために当該ユーザに前記測定要素を提供し、(v)ユーザが前記測定要素を修正した場合、前記プロセッサによってユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の1つ又は複数のその他の解剖学的または病理学的構造によって遮られているまたは欠落している測定要素を推定する1つ又は複数の支援目印を認識することを含む。 The method of automatic calculation of geometric features is a method of automatically calculating geometric features comprising: (i) receiving at least one digital medical image from a digital image source; Automatically identifying a plurality of measurement elements associated with the operation of said geometric feature in a digital medical image, at least one of said plurality of measurement elements comprising a centerline of an anatomical structure, said anatomy Structure includes a torso, wherein automatically identifying the plurality of measurement elements includes detecting a curve along a spine, and (iii) the processor determines the geometry based on the plurality of measurement elements. Automatically calculate the scientific features and (iv) provide the user with the measurement element for review by the user, and (v) if the user modifies the measurement element, the processor Computing the final geometric feature based on the corrected measurement element and automatically identifying the plurality of measurement elements applying the learned classifier to one or more of the images Including recognizing one or more supporting landmarks to estimate measuring elements that are occluded or missing by other anatomical or pathological structures.
また、画像解釈システムは、コンピュータ可読プログラムコードを記憶するメモリ装置と、前記メモリ装置と通信し、前記コンピュータ可読プログラムコードで動作するプロセッサとを含み、前記プロセッサは、(i)デジタル画像ソースから少なくとも1つのデジタル医用画像を受信し、(ii)前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、前記複数の測定要素の少なくとも1つは、解剖学的構造の中心線を含み、前記解剖学的構造は胴を含み、前記複数の測定要素を自動的に識別することは、背骨に沿った曲線を検出することを含み、(iii)前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、(iv)ユーザの検討のために当該ユーザに前記測定要素を提供し、(v)ユーザが前記測定要素を修正した場合、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の1つ又は複数のその他の解剖学的または病理学的構造によって遮られているまたは欠落している測定要素を推定する1つ又は複数の支援目印を認識する。 The image interpretation system also includes a memory device for storing computer readable program code, and a processor in communication with the memory device and operating with the computer readable program code, the processor comprising: (i) at least from a digital image source Receiving one digital medical image and (ii) automatically identifying a plurality of measurement elements associated with the operation of said geometric feature in said digital medical image, at least one of said plurality of measurement elements being Including a centerline of an anatomical structure, said anatomical structure comprising a torso, wherein automatically identifying said plurality of measurement elements comprises detecting a curve along a spine, (iii) said Automatically computing the geometric feature based on a plurality of measurement elements, and (iv) providing the measurement elements to the user for user review; v) When the user corrects the measurement element, calculating a final geometric feature based on the user-corrected measurement element and automatically identifying the plurality of measurement elements is a learned classification To recognize one or more supportive landmarks that apply to estimate measuring elements that are occluded or missing by one or more other anatomic or pathological structures of the image.
しかしながら、特許文献1に記載された幾何学的特徴の自動算出方法や画像解釈システムにあっては、一般的な機械学習を利用しているため、多くの健全画像データ及び異常画像データを学習する必要がある。
However, in the automatic calculation method of geometric features and the image interpretation system described in
また、X線画像の総数が少ない検査対象物においては、十分な機械学習をすることができず、精度が低くなる。そのため、胸部X線画像等の医用画像への適用など用途が限られている。 In addition, in the case of an inspection object having a small total number of X-ray images, sufficient machine learning can not be performed, and the accuracy becomes low. Therefore, applications such as application to medical images such as chest X-ray images are limited.
本発明は、このような従来技術が有する課題に鑑みてなされたものである。そして、本発明は、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能な画像検査方法、画像検査システム及び画像検査用プログラムを提供することを目的とする。 The present invention has been made in view of the problems that such prior art has. Further, the present invention is an image inspection method, an image inspection system, and an image inspection capable of judging non-defective items of an inspection object with high accuracy even for an inspection object having a small total number of X-ray images of non-defective inspection objects. Program for the purpose of providing
本発明者らは、上記目的を達成するため鋭意検討を重ねた。その結果、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域について、複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を用いて判定することにより、上記目的が達成できることを見出し、本発明を完成するに至った。 The present inventors diligently studied to achieve the above object. As a result, a plurality of X-ray image extraction regions extracted from the X-ray image group of the inspection object divided into a plurality of regions based on the non-defective X-ray image region extracted from the X-ray image of the non-defective inspection object It is found that the above object can be achieved by judging using the non-defective item judgment criteria created based on the luminance gradient and the correlation value between the relevant region in each region and the region near the relevant region when divided into regions. The present invention has been completed.
すなわち、本発明の画像検査システムは、検査対象物のX線画像を用いて検査対象物の良品判定をする画像検査システムであって、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する分割手段と、該X線画像抽出領域における該複数領域の該各領域が、該良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する判定手段と、を有する。 That is, the image inspection system according to the present invention is an image inspection system that determines the non-defective item of the inspection object using the X-ray image of the object to be examined, and the non-defective item X-ray extracted from the X-ray image of the non-defective object A division means for dividing an X-ray image extraction area extracted from the X-ray image group of the inspection object divided into a plurality of areas based on the image area into a plurality of areas; and the plurality of areas in the X-ray image extraction area The non-defective product criteria created based on the brightness gradient and the correlation value between the area in each area and the area near the area when each of the areas divides the non-defective X-ray image area into a plurality of areas And determination means for determining whether the condition is satisfied.
また、本発明の画像検査方法は、検査対象物のX線画像を用いて検査対象物の良品判定をする画像検査方法であって、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する工程と、該X線画像抽出領域における該複数領域の該各領域が、該良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する工程と、を含む。 Further, the image inspection method of the present invention is an image inspection method for judging the non-defective item of the inspection object using the X-ray image of the inspection object, and the non-defective item X-ray extracted from the X-ray image of the non-defective object Dividing an X-ray image extraction region extracted from the X-ray image group of the inspection object divided into a plurality of regions into a plurality of regions based on the image region; and dividing the plurality of regions in the X-ray image extraction region Each of the regions satisfies the non-defective item determination criteria created based on the brightness gradient and the correlation value between the region in each region and the region near the region when the non-defective X-ray image region is divided into a plurality of regions. Determining whether to do so.
さらに、本発明の画像検査用プログラムは、画像検査システムに、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する工程と、該X線画像抽出領域における該複数領域の該各領域が、該良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成される良品判定基準を満足するかを判定する工程と、を実行させるためのものである。 Furthermore, the image inspection program according to the present invention is an image inspection system that includes an X-ray image of an inspection object divided into a plurality of areas based on non-defective X-ray image regions extracted from the X-ray image of the non-defective inspection object. Dividing an X-ray image extraction region extracted from a group into a plurality of regions, and dividing each of the plurality of regions in the X-ray image extraction region into a plurality of non-defective X-ray image regions And a step of determining whether the non-defective product determination criterion created based on the luminance gradient and the correlation value between the region in each region and the region near the region is satisfied.
本発明の画像検査システムによれば、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能である。 According to the image inspection system of the present invention, it is possible to judge the non-defective item of the inspection object with high accuracy even for the inspection object having a small total number of X-ray images of non-defective object.
また、本発明の画像検査方法によれば、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能である。 Further, according to the image inspection method of the present invention, it is possible to judge the non-defective item of the inspection object with high accuracy even for the inspection object having a small total number of X-ray images of non-defective object.
さらに、本発明の画像検査用プログラムによれば、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能である。 Furthermore, according to the image inspection program of the present invention, it is possible to judge the non-defective item of the inspection object with high accuracy even for the inspection object having a small total number of X-ray images of non-defective object.
以下、本発明の一実施形態に係る画像検査システム、画像検査方法及び画像検査用プログラムについて詳細に説明する。 Hereinafter, an image inspection system, an image inspection method, and an image inspection program according to an embodiment of the present invention will be described in detail.
なお、本明細書及び特許請求の範囲において、「X線画像」とは、例えば、可視のX線画像(ビデオ画面上に表示されているものなど)又はX線画像のデジタル化された表現(X線検出装置の画素出力に対応するファイルなど)を意味する。 In the present specification and claims, “X-ray image” means, for example, a visible X-ray image (such as that displayed on a video screen) or a digitized representation of an X-ray image ( File etc.) corresponding to the pixel output of the X-ray detection device.
また、検査対象物は、特に限定されるものではないが、大量生産されるものではなく、良品のX線画像の総数が少ないものの一例であるロケットモータの圧力容器を好適例として挙げることができる。異なる材料が接合されたロケットモータの圧力容器は、内部における異材同士の界面部の欠陥を外部から観察することができない。このような場合、詳しくは後述する良品X線画像領域を、検査対象物の内部における異材同士の界面部を含むものとすることによって、本発明を好適に適用することができる。 Although the inspection object is not particularly limited, it is not mass-produced, and a pressure vessel of a rocket motor which is an example of one having a small total number of non-defective X-ray images can be mentioned as a preferred example. . The pressure vessel of the rocket motor to which different materials are joined can not observe the defect of the interface part between different materials inside from the outside. In such a case, the present invention can be suitably applied by setting the non-defective X-ray image area, which will be described in detail later, to include the interface between dissimilar materials inside the inspection object.
まず、本実施形態の画像検査システムは、検査対象物のX線画像を用いて検査対象物の良品判定をする画像検査システムであって、分割手段と、判定手段とを有する。そして、分割手段は、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する。また、判定手段は、X線画像抽出領域における複数領域の各領域が、良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する。 First, the image inspection system according to the present embodiment is an image inspection system that determines a non-defective item of an inspection object using an X-ray image of the inspection object, and includes a dividing unit and a determination unit. Then, the dividing means is an X-ray image extraction area extracted from the X-ray image group of the inspection object divided into a plurality of areas based on the non-defective X-ray image area extracted from the X-ray image of the non-defective inspection object Is divided into multiple areas. In addition, the determination means determines the luminance gradient between the region in each region and the region near the region when each region of the plurality of regions in the X-ray image extraction region is divided into a plurality of non-defective X-ray image regions It is determined whether the non-defective item determination criteria created based on the correlation value are satisfied.
そして、本実施形態の画像検査システムによれば、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能である。 And, according to the image inspection system of the present embodiment, it is possible to judge the non-defective item of the inspection object with high accuracy even for the inspection object with a small total number of X-ray images of non-defective object.
また、本実施形態の画像検査システムは、検査対象物のX線画像を用いて検査対象物の良品判定をする画像検査方法であって、分割工程と、判定工程とを含む。そして、分割工程は、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する工程である。また、判定工程は、X線画像抽出領域における複数領域の各領域が、良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する工程である。 The image inspection system according to the present embodiment is an image inspection method for determining a non-defective item of an inspection object using an X-ray image of the inspection object, and includes a division step and a determination step. Then, in the dividing step, an X-ray image extraction region extracted from the X-ray image group of the inspection object divided into a plurality of regions based on the non-defective X-ray image region extracted from the X-ray image of the non-defective inspection object Is divided into a plurality of areas. In addition, in the determination step, when each of the plurality of regions in the X-ray image extraction region divides the non-defective X-ray image region into the plurality of regions, the brightness gradient between the region in each region and the neighboring region It is a process of determining whether the non-defective item determination criteria created based on the correlation value are satisfied.
そして、本実施形態の画像検査システムによれば、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能である。 And, according to the image inspection system of the present embodiment, it is possible to judge the non-defective item of the inspection object with high accuracy even for the inspection object with a small total number of X-ray images of non-defective object.
さらに、本実施形態の画像検査用プログラムは、画像検査システムに、良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する工程と、該X線画像抽出領域における該複数領域の該各領域が、該良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する工程と、を実行させるためのものである。 Furthermore, the image inspection program according to the present embodiment is an image inspection system that detects X-rays of an inspection object divided into a plurality of areas based on non-defective X-ray image regions extracted from the X-ray image of the non-defective inspection object. Dividing an X-ray image extraction region extracted from an image group into a plurality of regions, and each of the plurality of regions in the X-ray image extraction region dividing the non-defective X-ray image region into a plurality of regions Determining whether the non-defective product evaluation criteria created on the basis of the brightness gradient and the correlation value between the area in each area and the area in the vicinity of the area are satisfied.
そして、本実施形態の画像検査用プログラムによれば、良品検査対象物のX線画像の総数が少ない検査対象物に対しても高い精度で検査対象物の良品判定をすることが可能である。 Then, according to the image inspection program of the present embodiment, it is possible to determine the non-defective item of the inspection object with high accuracy even for the inspection object having a small total number of X-ray images of non-defective object.
以下、本発明の一実施形態に係る画像検査システム、画像検査方法及び画像検査用プログラムについて図面を参照しながら詳細に説明する。 Hereinafter, an image inspection system, an image inspection method, and an image inspection program according to an embodiment of the present invention will be described in detail with reference to the drawings.
まず、本発明の一実施形態に係る画像検査システムのハードウェア構成について図面を参照しながら詳細に説明する。図1は、本発明の一実施形態に係る画像検査システムのハードウェア構成の一例を示す構成図である。 First, the hardware configuration of an image inspection system according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an example of a hardware configuration of an image inspection system according to an embodiment of the present invention.
図1に示すように、本実施形態の画像検査システム1は、検査対象物のX線画像を用いて検査対象物の良品判定をするものであって、コンピュータ10を備えている。そして、コンピュータ10は、特に限定されるものではないが、例えば、図1に示すように、X線画像取得装置50にバス(外部バス)BOUTのような有線で接続されている。なお、図示しないが、コンピュータは、例えば、X線画像取得装置に無線で接続されていてもよい。また、図示しないが、コンピュータは、X線画像取得装置に内蔵されていてもよい。
As shown in FIG. 1, the
コンピュータ10は、特に限定されるものではないが、例えば、パーソナルコンピュータ等である。そして、コンピュータには、画像検査システムに画像検査方法を実行させるための画像検査用プログラムがインストールされている。また、コンピュータは、画像検査用プログラムの指令によって、X線画像取得装置で検査対象物を撮像することによって入力されたX線画像から検査対象物の良品判定をすることができる。
The
また、図1に示すように、本実施形態におけるコンピュータ10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14とを備えている。また、コンピュータ10は、特に限定されるものではないが、例えば、表示装置15と外部I/F16とを備えている。さらに、コンピュータ10は、特に限定されるものではないが、例えば、通信I/F17を備えていてもよい。これらの各部はバス(内部バス)BINで接続されている。
Further, as shown in FIG. 1, the
そして、CPU11は、HDD12やROM14等の記憶装置からプログラムやデータをRAM13上に読み出し、処理を実行することによって、コンピュータ10全体の制御や機能を実現する演算装置である。
The
また、HDD12は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば、コンピュータ10全体を制御する基本ソフトウェアであるOS(Operating System)、OS上において各種機能を提供するアプリケーションソフトウェア(例えば、画像検査用プログラム)等がある。HDD12は格納しているプログラムやデータを所定のファイルシステムやDB(データベース)によって管理している。なお、コンピュータ10は、HDD12の代わりに又はHDD12と併せて、SSD(Solid State Drive)等を備えていてもよい。
The
さらにRAM13は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。
Furthermore, the
また、ROM14は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。
The
さらに、表示装置15は、コンピュータ10による処理結果を表示する装置である。表示装置15は、特に限定されるものではないが、例えば、ディスプレイ等である。
Furthermore, the
また、外部I/F16は、外部装置とのインターフェースである。外部装置としては、例えば、USB(Universal Serial Bus)メモリ、SDカード、CD、DVD等を挙げることができる。
Also, the external I /
さらに、通信I/F17は、例えば、X線画像取得装置50と有線又は無線でデータ通信を行うためのインターフェースである。
Furthermore, the communication I /
そして、本実施形態の画像検査システム1は、上記ハードウェアの構成を有することにより、詳しくは後述する各種処理を実現することができる。
And the
次に、本発明の一実施形態に係る画像検査システムの機能構成について図面を参照しながら詳細に説明する。図2は、本発明の一実施形態に係る画像検査システムの機能構成の一例を示すブロック図である。 Next, the functional configuration of an image inspection system according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 2 is a block diagram showing an example of a functional configuration of an image inspection system according to an embodiment of the present invention.
図2に示すように、本実施形態の画像検査システム1は、入力部21と、分割部22と、判定部23とを有する。これらの各部は、例えば、CPU11が画像検査用プログラムを実行させることにより実現される。
As shown in FIG. 2, the
入力部21は、良品検査対象物のX線画像100及び検査対象物のX線画像200を入力する。ここで、入力部21は、良品検査対象物のX線画像100を、例えば外部I/Fを介して外部装置から、又はHDD12やROM14から入力する。また、入力部21は、検査対象物のX線画像200をX線画像取得装置50から入力する。
The
ここで、良品検査対象物のX線画像100は、判定部23の学習に用いる。良品検査対象物のX線画像100は、欠陥のない良品検査対象物を撮像することにより得られたものである。
Here, the X-ray image 100 of the non-defective object to be inspected is used for learning of the
一方で、検査対象物のX線画像200は、判定部23により良品であるかが判定されるものである。すなわち、検査対象物のX線画像200は、例えば、画像検査システム1のユーザによってX線画像取得装置50で撮像された、良品であるかを判定したい検査対象物を被写体とするものである。
On the other hand, the
分割部22は、例えば、良品検査対象物のX線画像100から抽出済の良品X線画像領域110、120に基づいて、検査対象物のX線画像200が複数領域に分割された検査対象物のX線画像群210〜260から抽出されたX線画像抽出領域210、220を、複数領域に分割する。
The dividing
具体的には、例えば、検査対象物のX線画像200をX線画像群210〜260の6グループに分類し、良品X線画像領域110、120を用いて、対応するX線画像抽出領域210、220を抽出し、これらを更に複数領域に分割する。
Specifically, for example, the
判定部23は、X線画像抽出領域210、220における複数領域の各領域が、良品判定基準を満足するかを判定する。
The
具体的には、X線画像抽出領域210、220における複数領域の各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び勾配方向、周辺の欠陥候補点との相関値といった特徴量を算出し、これらの値が、良品判定基準の良品と判定し得る領域内に含まれるかを判定する。なお、良品判定基準は、良品X線画像領域110、120における複数領域の各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値といった特徴量を算出して作成される。
Specifically, feature quantities such as luminance gradients and gradient directions between the regions in the plurality of regions in the X-ray
次に、本発明の一実施形態に係る画像検査方法について図面を参照しながら詳細に説明する。図3は、本発明の一実施形態に係る画像検査方法の一例を示すフロー図である。 Next, an image inspection method according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 3 is a flow chart showing an example of an image inspection method according to an embodiment of the present invention.
図3に示すように、本実施形態の画像検査方法は、下記のステップ1(以下「S1」のように記載する(以下同様。)。)〜15を有する。 As shown in FIG. 3, the image inspection method according to the present embodiment includes the following step 1 (hereinafter described as “S1” (the same applies hereinafter)) to 15.
まず、S1においては、画像を読み込む。具体的には、X線画像取得装置で撮像された検査対象物のX線画像を読み込む。次いで、S2に進む。 First, in S1, an image is read. Specifically, the X-ray image of the inspection object captured by the X-ray image acquisition apparatus is read. Then, it progresses to S2.
次いで、S2においては、画像一覧を表示する。具体的には、読み込まれたX線画像を複数領域に分割して、X線画像群を表示する。次いで、S3に進む。 Next, in S2, an image list is displayed. Specifically, the read X-ray image is divided into a plurality of areas, and an X-ray image group is displayed. Then, it progresses to S3.
次いで、S3においては、判定パラメータを入力する。具体的には、予めX線画像取得装置で撮像された良品検査対象物のX線画像から抽出済の良品X線画像領域を読み込む。 Next, in S3, a determination parameter is input. Specifically, the non-defective X-ray image area already extracted from the X-ray image of the non-defective item inspection object captured in advance by the X-ray image acquisition apparatus is read.
ここで、この良品X線画像領域としては、良品検査対象物のX線画像1枚において複数に分割された領域(200ピクセル×200ピクセル=約20mm×20mm)の全てについて輝度勾配及び勾配方向、周辺の欠陥候補点との相関値といった特徴量を計算し、専用プログラムによって6グループに分類し、各グループ毎に輝度勾配及び勾配方向、周辺の欠陥候補点との相関値といった特徴量を平均したものを適用した。また、上記6グループは全て健全部であるが、画像に急峻な輝度変化がみられるグループ(例えば、「外部エッジ部」という。)、画像に急峻な輝度変化がみられるグループ(例えば、「内部エッジ部」という。)、画像における隙間がわずかに周囲より暗く、右側に行くほど輝度値が大きくなるグループ(例えば、「隙間部」という。)、画像における界面左右でわずかに輝度変化があり、界面以外は滑らかでほぼ輝度変化がないグループ(例えば、「第1界面部(剥離なし)」という。)、画像における界面がわずかに暗いグループ(例えば、「第2界面部(剥離なし)」という。)、画像において輝度値の増減を繰り返すグループ(例えば、「溝部」という。)、といったものである。また、この良品X線画像領域は、外部装置や、HDD、ROMなどに保持しておけばよい。なお、この良品X線画像領域が、上述したX線画像群と比較可能なものであることは言うまでもない。次いで、S4に進む。 Here, as the non-defective X-ray image area, the brightness gradient and the gradient direction of all the areas (200 pixels × 200 pixels = about 20 mm × 20 mm) divided into plural in one X-ray image of the non-defective inspection object Feature quantities such as correlation values with surrounding defect candidate points were calculated, classified into 6 groups by a dedicated program, and feature quantities such as luminance gradients and gradient directions and correlation values with surrounding defect candidate points were averaged for each group The thing applied. In addition, although the above six groups are all healthy parts, a group in which a sharp luminance change is observed in an image (for example, "external edge part") and a group in which a sharp luminance change is observed in an image (for example, "internal An edge portion), a group in which the gap in the image is slightly darker than the surroundings, and the brightness value increases toward the right (for example, a “gap”); A group that is smooth and has almost no change in luminance (for example, "first interface (without peeling)") other than the interface, and a group with a slightly dark interface in the image (for example, "second interface (without peeling)" ), And groups (for example, referred to as “grooves”) that repeatedly increase and decrease the luminance value in the image. Also, the non-defective X-ray image area may be held in an external device, HDD, ROM or the like. Needless to say, the non-defective X-ray image area is comparable to the above-mentioned X-ray image group. Then, it progresses to S4.
次いで、S4においては、検査を実行する。次いで、S5に進む。 Next, in S4, a test is performed. Then, it progresses to S5.
次いで、S5においては、検査範囲を指定する。具体的には、検査対象となるX線画像には真っ暗な領域等の判定不要な領域がある。その領域は検査の必要がないため、画像の中で検査不要領域を除いて検査しなければいけない領域を指定する。その領域をX線画像抽出領域として指定する。次いで、S6に進む。 Next, in S5, the inspection range is specified. Specifically, the X-ray image to be inspected includes an area which is not necessary to be determined, such as a black area. Since the area does not need to be inspected, an area which should be inspected except an unnecessary area in the image is designated. The area is designated as an X-ray image extraction area. Then, it progresses to S6.
次いで、S6においては、ノイズを除去する。具体的には、バイラテラルフィルタによって処理するノイズ除去を挙げることができる。次いで、S7に進む。 Next, in S6, the noise is removed. Specifically, noise removal processed by a bilateral filter can be mentioned. Then, it progresses to S7.
次いで、S7においては、位置を合わせる。これは、特徴量を抽出する際に、X線画像から周辺部と比べて急激に輝度差がある領域を取り出すが、輝度差を取り出す方向が大事なので基準画像をあらかじめ用意しておき、検査対象のX線画像を基準画像と同じ向き(同じ形)にできるだけ近づけることで欠陥の検出精度があがる。そのために位置合わせを実行している。なお、特に限定されるものではないが、例えば、着目点から見て周り8画素について、どっちの方向に対して輝度の差を取ったときにどれくらいの輝度差(値)があるかを見ればよい。次いで、S8に進む。 Next, in S7, alignment is performed. In this case, when extracting the feature amount, an area having a luminance difference is rapidly extracted from the X-ray image compared with the peripheral part, but a reference image is prepared in advance because the direction of extracting the luminance difference is important. The detection accuracy of the defect is improved by making the X-ray image of the same as the same direction (the same shape) as the reference image as much as possible. Alignment is performed for that purpose. Although there is no particular limitation, if, for example, the difference in luminance is taken with respect to which direction around eight pixels viewed from the point of interest, the difference in luminance (value) will be obtained. Good. Then, it progresses to S8.
次いで、S8においては、暗影領域を検出する。具体的には、移動平均フィルタによって処理する前画像と後画像との差分を取る。次いで、S9に進む。 Next, in S8, a dark shadow area is detected. Specifically, the difference between the pre-image and the post-image processed by the moving average filter is obtained. Then, it progresses to S9.
次いで、S9においては、欠陥候補領域を抽出する。具体的には、所定の閾値以上の輝度差がある領域を欠陥候補領域とする。次いで、S10に進む。なお、欠陥を見逃さないようにするためには、輝度の低下部の全てを抽出する過検出とすることが好ましい。 Next, in S9, a defect candidate area is extracted. Specifically, an area having a luminance difference equal to or more than a predetermined threshold value is set as a defect candidate area. Then, it progresses to S10. Note that in order not to miss a defect, it is preferable to perform over-detection in which all of the luminance reduction parts are extracted.
ここで、S8及びS9を一般的に動的2値化処理という。また、動的2値化処理した画像については、必要に応じて、クロージングやオープニングを行うモフォロジー処理によってノイズ除去をしてもよい。 Here, S8 and S9 are generally referred to as dynamic binarization processing. In addition, the image subjected to the dynamic binarization processing may be subjected to noise removal by morphology processing that performs closing or opening, as necessary.
次いで、S10においては、先の領域分割よりも相対的に小さいサイズに領域を細分化する。具体的には、16ピクセル×16ピクセル=約1.6mm×1.6mm(又は8ピクセル×8ピクセル=約0.8mm×0.8mm)の複数領域に分割する。次いで、S11に進む。 Next, in S10, the area is subdivided into smaller sizes than the previous area segmentation. Specifically, it is divided into a plurality of areas of 16 pixels × 16 pixels = about 1.6 mm × 1.6 mm (or 8 pixels × 8 pixels = about 0.8 mm × 0.8 mm). Then, it progresses to S11.
次いで、S11においては、特徴量を計算する。具体的には、分割された複数領域における欠陥候補領域について輝度勾配及び勾配方向、周辺の欠陥候補点との相関値といった特徴量(横方向(圧力容器の場合には周方向とすることが好ましい。)の輝度勾配強度、近傍の暗影領域との相関値)を計算する。 Next, in S11, feature quantities are calculated. Specifically, characteristic quantities such as brightness gradients and gradient directions, and correlation values with defect candidate points in the peripheral regions in a plurality of divided regions (horizontal direction (in the case of a pressure vessel, it is preferable to set a feature direction) ), And the correlation value with the nearby shadow area).
ここで、横方向の輝度勾配強度は、X線画像上の水平方向を横、鉛直方向を縦として横方向における輝度の落ち込み量の絶対値及び落ち込み量の正負(ν1)と定義することができる。 Here, the brightness gradient strength in the horizontal direction can be defined as the absolute value of the amount of drop in brightness and the positive / negative (ν1) of the amount of drop in the horizontal direction with the horizontal direction on the X-ray image as the horizontal direction and the vertical direction as the vertical direction. .
また、近傍の暗影領域との相関値(ν2)は、下記の式(1)で定義することができる。 Further, the correlation value (ν2) with the nearby dark and shadow region can be defined by the following equation (1).
次いで、S12に進む。 Then, it progresses to S12.
次いで、S12においては、クラスタリング(分類)する。具体的には、横方向の輝度勾配であるX線画像上の横方向における輝度の落ち込み量(ν1)と近傍の暗影領域との相関値(ν2)とで、外部エッジ部、内部エッジ部、隙間部、第1界面部(剥離なし)、第2界面部(剥離なし)、溝部といったグループに分類する。次いで、S13に進む。 Next, in S12, clustering (classification) is performed. Specifically, the outer edge portion, the inner edge portion, and the correlation value (ν2) between the brightness drop amount (ν1) in the horizontal direction on the X-ray image which is the brightness gradient in the horizontal direction and the dark region in the vicinity It is classified into a group such as a gap, a first interface (without peeling), a second interface (without peeling), and a groove. Then, it progresses to S13.
次いで、S13においては、機械学習による判定をする。具体的には、事前に良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて抽出された欠陥候補領域を細分化したものから図4に示すような境界線(判定基準)を含む良品判定基準を作成しておき、クラスタリングされたデータを当てはめる。なお、ν1が小さく、ν2が薄いグループは、良品領域を構成する。一方、ν1が大きく、ν2が薄いグループと、ν1が小さく、ν2が濃いグループと、ν1が大きく、ν2が濃いグループは、不良品領域を構成する。次いで、S14に進む。 Next, in S13, determination is made by machine learning. Specifically, the defect candidate area extracted based on the non-defective X-ray image area previously extracted from the X-ray image of the non-defective object to be inspected is subdivided into boundary lines as shown in FIG. Create good product judgment criteria including) and apply clustered data. Note that a group in which ν1 is small and ν2 is thin constitutes a non-defective area. On the other hand, a group where v1 is large, v2 is thin, v1 is small, v2 is dark, v1 is large, and v2 is dark constitutes a defective area. Then, it progresses to S14.
更に、S14においては、結果を表示する。具体的には、例えば、ディスプレイに結果を示す。次いで、S15に進む。 Furthermore, in S14, the result is displayed. Specifically, for example, the result is shown on the display. Then, it progresses to S15.
しかる後、S15においては、検査員により判定をする。具体的には、例えば、ディスプレイに表示された結果に基づいて良品であると判定する。 After that, in S15, the inspector makes a determination. Specifically, for example, it is determined that the non-defective product is based on the result displayed on the display.
なお、上記の例においては、S6のノイズ除去、S7の位置合わせ、S8の暗影領域検出及びS9の欠陥候補抽出をS5の検査範囲指定の後に実行しているが、S1の画像読み込みとS2の画像一覧表示とは間に実行してもよい。 In the above example, the noise removal in S6, the alignment in S7, the dark shadow area detection in S8 and the defect candidate extraction in S9 are performed after the inspection range specification in S5, but the image reading in S1 and S2 The image list may be displayed in the meantime.
以上、本発明を若干の実施形態によって説明したが、本発明はこれらに限定されるものではなく、本発明の要旨の範囲内で種々の変形が可能である。 As mentioned above, although the present invention was explained by some embodiments, the present invention is not limited to these, and various modification is possible within the limits of the present invention.
1 画像検査システム
10 コンピュータ
11 CPU
12 HDD
13 RAM
14 ROM
15 表示装置
16 外部I/F
17 通信I/F
21 入力部
22 分割部
23 判定部
50 X線画像取得装置
100 良品検査対象物のX線画像
110,120 良品X線画像領域
200 検査対象物のX線画像
210,220,230,240,250,260 X線画像群
210,220 X線画像抽出領域
1
12 HDD
13 RAM
14 ROM
15
17 Communication I / F
Claims (3)
良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する分割手段と、
上記X線画像抽出領域における上記複数領域の上記各領域が、上記良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する判定手段と、を有する
画像検査システム。 An image inspection system that determines the quality of an inspection object using an X-ray image of the inspection object,
Based on the non-defective X-ray image area extracted from the X-ray image of the non-defective inspection object, the X-ray image extraction area extracted from the X-ray image group of the inspection object divided into multiple areas is divided into multiple areas Means for dividing
When each of the plurality of regions in the X-ray image extraction region divides the non-defective X-ray image region into a plurality of regions, a luminance gradient and a correlation value between the region in each region and the neighboring region of the region An image inspection system having a determination unit that determines whether the non-defective item determination criteria created based on the condition are satisfied.
良品検査対象物のX線画像から抽出済の良品X線画像領域に基づいて、複数領域に分割された検査対象物のX線画像群から抽出されたX線画像抽出領域を、複数領域に分割する工程と、
上記X線画像抽出領域における上記複数領域の上記各領域が、上記良品X線画像領域を複数領域に分割したときの各領域における当該領域と当該領域の近傍領域との間の輝度勾配及び相関値に基づいて作成された良品判定基準を満足するかを判定する工程と、を含む
画像検査方法。 An image inspection method for judging a non-defective item of an inspection object using an X-ray image of the inspection object,
Based on the non-defective X-ray image area extracted from the X-ray image of the non-defective inspection object, the X-ray image extraction area extracted from the X-ray image group of the inspection object divided into multiple areas is divided into multiple areas The process to
When each of the plurality of regions in the X-ray image extraction region divides the non-defective X-ray image region into a plurality of regions, a luminance gradient and a correlation value between the region in each region and the neighboring region of the region Determining whether the non-defective product evaluation criteria created based on the above are satisfied.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166679A JP2019045235A (en) | 2017-08-31 | 2017-08-31 | Image inspection system, image inspection method and program for image inspection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166679A JP2019045235A (en) | 2017-08-31 | 2017-08-31 | Image inspection system, image inspection method and program for image inspection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019045235A true JP2019045235A (en) | 2019-03-22 |
Family
ID=65816396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017166679A Pending JP2019045235A (en) | 2017-08-31 | 2017-08-31 | Image inspection system, image inspection method and program for image inspection |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019045235A (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006300697A (en) * | 2005-04-20 | 2006-11-02 | Matsushita Electric Ind Co Ltd | Circuit pattern inspection device, and circuit pattern inspection method |
JP2011089920A (en) * | 2009-10-23 | 2011-05-06 | Shimadzu Corp | X-ray inspection method and x-ray inspection apparatus using the same |
JP2012122923A (en) * | 2010-12-10 | 2012-06-28 | Toshiba Corp | Object detection device and method |
JP2014173882A (en) * | 2013-03-06 | 2014-09-22 | Mitsubishi Heavy Ind Ltd | Defect detection device, defect detection method and defect detection program |
WO2015133287A1 (en) * | 2014-03-07 | 2015-09-11 | 新日鐵住金株式会社 | Surface texture indexing device, surface texture indexing method, and program |
WO2018179559A1 (en) * | 2017-03-27 | 2018-10-04 | 三菱重工業株式会社 | Defect detection system for aircraft component and defect detection method for aircraft component |
-
2017
- 2017-08-31 JP JP2017166679A patent/JP2019045235A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006300697A (en) * | 2005-04-20 | 2006-11-02 | Matsushita Electric Ind Co Ltd | Circuit pattern inspection device, and circuit pattern inspection method |
JP2011089920A (en) * | 2009-10-23 | 2011-05-06 | Shimadzu Corp | X-ray inspection method and x-ray inspection apparatus using the same |
JP2012122923A (en) * | 2010-12-10 | 2012-06-28 | Toshiba Corp | Object detection device and method |
JP2014173882A (en) * | 2013-03-06 | 2014-09-22 | Mitsubishi Heavy Ind Ltd | Defect detection device, defect detection method and defect detection program |
WO2015133287A1 (en) * | 2014-03-07 | 2015-09-11 | 新日鐵住金株式会社 | Surface texture indexing device, surface texture indexing method, and program |
WO2018179559A1 (en) * | 2017-03-27 | 2018-10-04 | 三菱重工業株式会社 | Defect detection system for aircraft component and defect detection method for aircraft component |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846853B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
CN107180421B (en) | Fundus image lesion detection method and device | |
CN111325739B (en) | Method and device for detecting lung focus and training method of image detection model | |
Koh et al. | Detection of meibomian glands and classification of meibography images | |
JP6265588B2 (en) | Image processing apparatus, operation method of image processing apparatus, and image processing program | |
DK2807630T3 (en) | Processing and display of a breast image | |
JP6422198B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US10861156B2 (en) | Quality control for digital pathology slides | |
Ruiz-España et al. | Semiautomatic computer-aided classification of degenerative lumbar spine disease in magnetic resonance imaging | |
JP6273291B2 (en) | Image processing apparatus and method | |
JP6837376B2 (en) | Image processing equipment and methods and programs | |
JPH06237925A (en) | Automation method for selecting region of concern and detecting septal line in digital thoracic x-ray photograph and system therefor | |
JPWO2018179559A1 (en) | Aircraft part defect detection system and aircraft part defect detection method | |
US7630534B2 (en) | Method for radiological image processing | |
CN114450716A (en) | Image processing for stroke characterization | |
US20160217572A1 (en) | Medical image processing device, operation method therefor, and medical image processing program | |
US20190043198A1 (en) | Automated segmentation of histological sections for vasculature quantification | |
CN111696113B (en) | Method and system for monitoring biological processes | |
US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
JP2019045235A (en) | Image inspection system, image inspection method and program for image inspection | |
WO2010020921A2 (en) | Blanking of image regions | |
Deepti | Enhanced feature extraction technique for detection of pharmaceutical drugs | |
Mesanovic et al. | Application of lung segmentation algorithm to disease quantification from CT images | |
Surya et al. | Automatic tuberculosis detection using chest radiographs using its features abnormality analysis | |
KR102471937B1 (en) | Method for Determining the Likelihood of Dental Caries Using an X-ray Image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220606 |