JP2018116391A - Image processing system, image processing method, and image processing program - Google Patents
Image processing system, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2018116391A JP2018116391A JP2017005786A JP2017005786A JP2018116391A JP 2018116391 A JP2018116391 A JP 2018116391A JP 2017005786 A JP2017005786 A JP 2017005786A JP 2017005786 A JP2017005786 A JP 2017005786A JP 2018116391 A JP2018116391 A JP 2018116391A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- contour
- edge
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像に含まれる形状の輪郭を特定するための画像処理システム、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing system, an image processing method, and an image processing program for specifying a contour of a shape included in an image.
画像処理により、所定の特徴を有する領域を検出する技術が検討されている（例えば、特許文献１、２参照。）。例えば、特許文献１においては、検査対象の液体中に含まれている異物を気泡と区別して検出するための異物検出装置が開示されている。この文献に記載された技術においては、異物検出装置は、検査対象の液体が流れる測定管に設けられた外部から視認可能な透過部を照明する光源部の発光と同期して、透過部を流れる液体を撮影した検査画像を取得する。そして、所定の閾値で２値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出し、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する。抽出された特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する。 A technique for detecting a region having a predetermined feature by image processing has been studied (see, for example, Patent Documents 1 and 2). For example, Patent Document 1 discloses a foreign matter detection device for detecting foreign matter contained in a liquid to be inspected while distinguishing it from bubbles. In the technique described in this document, the foreign object detection device flows through the transmission unit in synchronization with the light emission of the light source unit that illuminates the transmission unit visible from the outside provided in the measurement tube through which the liquid to be inspected flows. An inspection image obtained by photographing the liquid is acquired. Then, by binarizing with a predetermined threshold, the inspection image is divided into a high luminance area and a low luminance area, the low luminance area is detected as a foreign substance candidate area, and a feature amount representing the circularity of the foreign substance candidate area is obtained. Extract at least one. When the extracted feature amount satisfies a predetermined condition, it is determined that the foreign object candidate area is an image of a foreign object.
また、特許文献２においては、対象検出装置にて、様々な環境で撮影した入力画像から対象物を検出する。この文献に記載された技術においては、スコア算出部は、入力画像内の複数の位置に注目領域を設定し、当該注目領域に対象が存在する尤もらしさを表す指標値を、入力画像から得られた特徴量と識別基準とに基づいて算出する。注目領域のうち指標値が予め定められた第一閾値を超えるものを対象候補領域として抽出する。更に、抽出された対象候補領域を用いて対象領域を決定し、注目領域ごとの指標値のうち第一閾値を超えるもののばらつき度合いが予め定められた誤抽出推定閾値以上である場合に、第一閾値より大きな第二閾値を設定し、指標値が第二閾値以下である対象候補領域を削除する。 Moreover, in patent document 2, a target object is detected from the input image image | photographed in various environments with the target detection apparatus. In the technique described in this document, the score calculation unit sets an attention area at a plurality of positions in the input image, and obtains an index value indicating the likelihood that the target exists in the attention area from the input image. It is calculated based on the feature amount and the identification criterion. Among the attention areas, those whose index value exceeds a predetermined first threshold are extracted as target candidate areas. Furthermore, when the target region is determined using the extracted target candidate region and the degree of variation of the index value for each region of interest exceeding the first threshold is equal to or greater than a predetermined erroneous extraction estimation threshold, the first A second threshold value that is larger than the threshold value is set, and target candidate regions whose index value is equal to or smaller than the second threshold value are deleted.
立体形状を把握するために、この立体形状を撮影した２次元画像において輪郭（エッジ）を抽出することがある。ここで、抽出したエッジの一部に欠けている部分（エッジ欠け）がある場合、立体形状を特定することができない。一方、このようなエッジ欠けが生じないように、エッジ抽出を強化した場合には、立体形状の輪郭でない部分においてもエッジを抽出してしまう可能性がある。この場合、本来、一体である立体形状が分割され、的確な立体形状を把握することができない。 In order to grasp the three-dimensional shape, a contour (edge) may be extracted from a two-dimensional image obtained by photographing the three-dimensional shape. Here, when there is a portion lacking in a part of the extracted edge (edge missing), the three-dimensional shape cannot be specified. On the other hand, when edge extraction is strengthened so as not to cause such edge chipping, there is a possibility that edges are extracted even in a portion that is not a contour of a three-dimensional shape. In this case, the solid shape that is originally integral is divided, and an accurate solid shape cannot be grasped.
本発明は、上述の問題に鑑みてなされたものであり、この目的は、画像に含まれる形状の輪郭を効率的かつ的確に特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing system, an image processing method, and an image processing program for efficiently and accurately specifying a contour of a shape included in an image. There is to do.
上記問題点を解決するための画像処理システムは、対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備える。そして、前記制御部が、輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する。これにより、画像においてエッジ欠けを修正し、この輪郭の学習結果を用いて輪郭を特定することができる。 An image processing system for solving the above problems includes an image storage unit that stores a learning image and an evaluation target image for a target, and a control unit connected to the output unit. Then, the control unit detects an edge in the learning image including the contour region surrounded by the contour, generates a corrected image in which the edge defect of the edge is corrected, and uses the corrected image of the learning image. , Learning processing for generating a contour learning result obtained by machine learning of the contour, detecting an edge in the evaluation target image, generating a corrected image in which the edge defect of the edge is corrected, and for the corrected image of the evaluation target image, An evaluation process for specifying the contour using the contour learning result is executed. Thereby, an edge defect is corrected in the image, and the contour can be specified using the learning result of the contour.
・上記画像処理システムにおいては、前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することが好ましい。これにより、強力なエッジ抽出により特定した領域を、統合して的確に輪郭を判定することができる。 -In the said image processing system, it is preferable in the machine learning of the said contour to carry out machine learning of the edge which carries out area | region integration among the edges contained in a correction image. As a result, it is possible to accurately determine the contour by integrating the regions specified by the powerful edge extraction.
・上記画像処理システムにおいては、前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることが好ましい。これにより、画像毎のパラメータ設定等の作業負担を軽減し、効率的にエッジを検出することができる。 In the image processing system, it is preferable to use a complex moment method for detection of at least one of the learning image and the evaluation target image. As a result, it is possible to reduce the work load such as parameter setting for each image and to detect edges efficiently.
・上記画像処理システムにおいては、前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることが好ましい。これにより、エッジ抽出において生じたエッジ欠けを修正することができる。 -In the said image processing system, it is preferable to use a watershed method for correction | amendment of the edge defect of at least any one of the said image for learning and an evaluation object image. As a result, it is possible to correct an edge defect occurring in the edge extraction.
・上記画像処理システムにおいては、前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、隣接した前記膨張領域における重複領域を特定し、前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことが好ましい。これにより、エッジ検出により分割された領域を統合することができる。 In the image processing system, in the generation of the contour learning result, expansion processing for creating an expansion region by expanding the contour region is performed, an overlapping region in the adjacent expansion region is specified, and the overlapping region is characterized. It is preferable to perform machine learning of the contour using the quantity. Thereby, the area | region divided | segmented by edge detection can be integrated.
・上記画像処理システムにおいては、前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することが好ましい。これにより、効率的に輪郭の正常や異常を評価することができる。 In the image processing system, the contour region is a particle contour region included in an image obtained by capturing particles of a metal compound. In the learning process, the contour region is determined to be abnormal, and the normality / abnormality of the particle is determined. Preferably, an abnormality determination learning result obtained by machine learning of the determination result is generated, and the shape of the particle region surrounded by the contour specified in the evaluation target image is evaluated using the abnormality determination learning result. Thereby, it is possible to efficiently evaluate the normality or abnormality of the contour.
本発明によれば、画像に含まれる形状の輪郭を効率的かつ的確に特定することができる。 According to the present invention, a contour of a shape included in an image can be efficiently and accurately specified.
以下、画像処理システムの一実施形態を、図１〜図１６に従って説明する。本実施形態では、複数の粒子を撮影した画像において、正常な形状（球形状）の粒子の中で、異常な形状の粒子を検出するための画像処理システムとして説明する。この場合、複数の正常粒子が凝集等した異常形状の粒子（連結粒子や粗大粒子等の異常粒子）を検出する場合を想定する。 Hereinafter, an embodiment of an image processing system will be described with reference to FIGS. In the present embodiment, an image processing system for detecting abnormally shaped particles among particles having a normal shape (spherical shape) in an image obtained by photographing a plurality of particles will be described. In this case, a case is assumed where abnormally shaped particles (abnormal particles such as connected particles and coarse particles) in which a plurality of normal particles are aggregated are detected.
図１に示すように、この画像処理のため、入力部１０、出力部１５に接続された画像処理装置２０を用いる。
入力部１０は、キーボードやポインティングデバイス等で構成され、各種指示を入力するための入力手段から構成される。また、出力部１５は、ディスプレイ等で構成され、情報処理結果を出力するための出力手段から構成される。
As shown in FIG. 1, an image processing apparatus 20 connected to an input unit 10 and an output unit 15 is used for this image processing.
The input unit 10 includes a keyboard and a pointing device, and includes input means for inputting various instructions. The output unit 15 includes a display and the like, and includes output means for outputting information processing results.
画像処理装置２０は、複数の粒子を撮影した画像を用いて、異常形状の粒子を検出するコンピュータシステムである。この画像処理装置２０は、制御部２１、学習用画像記憶部２２、機械学習情報記憶部２３、評価対象画像記憶部２４を備えている。 The image processing apparatus 20 is a computer system that detects abnormally shaped particles using an image obtained by photographing a plurality of particles. The image processing apparatus 20 includes a control unit 21, a learning image storage unit 22, a machine learning information storage unit 23, and an evaluation target image storage unit 24.
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（管理段階、エッジ検出段階、特徴量抽出段階、機械学習段階、領域統合段階、粒子判定段階等を含む処理）を行なう。このための画像処理プログラムを実行することにより、制御部２１は、管理部２１０、エッジ検出部２１１、第１特徴量抽出部２１２、第２特徴量抽出部２１３、機械学習部２１４、領域統合部２１５、粒子判定部２１６等として機能する。 The control unit 21 functions as a control unit including a CPU, a RAM, a ROM, and the like, and performs later-described processing (a management stage, an edge detection stage, a feature extraction stage, a machine learning stage, a region integration stage, a particle determination stage, and the like. Process). By executing the image processing program for this purpose, the control unit 21 causes the management unit 210, the edge detection unit 211, the first feature amount extraction unit 212, the second feature amount extraction unit 213, the machine learning unit 214, and the region integration unit. 215, function as a particle determination unit 216 and the like.
管理部２１０は、学習用画像や評価対象画像を取得する処理を実行する。
エッジ検出部２１１は、学習用画像や評価対象画像において、粒子画像のエッジを検出する処理を実行する。更に、エッジ検出部２１１は、検出したエッジの欠けを修正する。
The management unit 210 executes processing for acquiring a learning image and an evaluation target image.
The edge detection unit 211 executes processing for detecting the edge of the particle image in the learning image and the evaluation target image. Further, the edge detection unit 211 corrects the detected edge defect.
第１特徴量抽出部２１２は、領域統合についての機械学習に用いる特徴量を算出する処理を実行する。
第２特徴量抽出部２１３は、粒子判別（正常、異常、その他）についての機械学習に用いる特徴量を算出する処理を実行する。
機械学習部２１４は、サポートベクターマシン（ＳＶＭ）により、画像に含まれる粒子領域の認識に関する境界面を算出する処理を実行する。この機械学習部２１４は、境界面として、機械学習結果（領域統合）、機械学習結果（形状判別）を算出する。
領域統合部２１５は、隣接した粒子領域（輪郭領域）の統合の要否を判定する処理を実行する。
粒子判定部２１６は、画像に含まれる粒子の形状を評価する処理を実行する。
The first feature quantity extraction unit 212 executes a process of calculating a feature quantity used for machine learning for region integration.
The second feature quantity extraction unit 213 executes a process of calculating a feature quantity used for machine learning for particle discrimination (normal, abnormal, etc.).
The machine learning unit 214 performs a process of calculating a boundary surface related to recognition of a particle region included in an image by a support vector machine (SVM). The machine learning unit 214 calculates machine learning results (region integration) and machine learning results (shape discrimination) as boundary surfaces.
The region integration unit 215 executes processing for determining whether or not it is necessary to integrate adjacent particle regions (contour regions).
The particle determination unit 216 executes processing for evaluating the shape of particles included in the image.
学習用画像記憶部２２には、粒子の形状を学習するための学習用画像データが記録される。この学習用画像データは、ユーザによって学習用画像が指定された場合に記録される。
機械学習情報記憶部２３には、機械学習（サポートベクターマシン）により算出した境界面（粒子領域の認識に関する境界面）に関する機械学習結果データ（輪郭学習結果）が記録される。この機械学習結果データは、サポートベクターマシンにより機械学習を行なった場合に記録される。本実施形態では、複数の粒子が連結した形状を識別するための機械学習結果（領域統合）、及び正常粒子・異常粒子を識別するための機械学習結果（形状判別）が記録される。機械学習結果（領域統合）においては、ユーザが、学習用画像において統合すべきとして指定した領域と統合すべきでないとして指定した領域との境界面に関する情報が記録される。機械学習結果（形状判別）においては、ユーザが、学習用画像において粒子判別（正常、異常、その他）を指定した境界面に関する情報が記録される。
Learning image data for learning the particle shape is recorded in the learning image storage unit 22. This learning image data is recorded when a learning image is designated by the user.
The machine learning information storage unit 23 stores machine learning result data (contour learning result) related to a boundary surface (boundary surface related to particle region recognition) calculated by machine learning (support vector machine). This machine learning result data is recorded when machine learning is performed by a support vector machine. In this embodiment, a machine learning result (region integration) for identifying a shape in which a plurality of particles are connected, and a machine learning result (shape discrimination) for identifying normal particles / abnormal particles are recorded. In the machine learning result (region integration), information related to the boundary surface between the region designated by the user as not to be integrated and the region designated as not to be integrated in the learning image is recorded. In the machine learning result (shape discrimination), information related to the boundary surface on which the user designates particle discrimination (normal, abnormal, etc.) in the learning image is recorded.
評価対象画像記憶部２４には、評価対象の粒子の形状を撮影した評価対象画像データが記録される。この評価対象画像データは、ユーザによって評価対象画像が指定された場合に記録される。この評価対象画像には、複数の粒子が混在して撮影されている。 In the evaluation object image storage unit 24, evaluation object image data obtained by photographing the shape of the particle to be evaluated is recorded. This evaluation target image data is recorded when the evaluation target image is designated by the user. The evaluation target image is captured with a plurality of particles mixed.
次に、上記のように構成された画像処理装置２０において、画像に含まれる粒子を評価する場合の処理手順について、図２〜図１６を用いて説明する。
（全体の概要）
まず、図２を用いて、全体の概要を説明する。複数の粒子が含まれる試料を撮影することにより学習用画像や評価対象画像を準備する。例えば、金属粒子を堆積させた試料を顕微鏡により撮影して画像を生成する。そして、学習用画像を用いて、特徴量についての機械学習を行なう（学習フェーズ）。次に、機械学習結果を利用して、評価対象画像に含まれる粒子を評価する（予測フェーズ）。
Next, in the image processing apparatus 20 configured as described above, a processing procedure for evaluating particles included in an image will be described with reference to FIGS.
(Overall overview)
First, the overall outline will be described with reference to FIG. A learning image and an evaluation target image are prepared by photographing a sample including a plurality of particles. For example, a sample on which metal particles are deposited is photographed with a microscope to generate an image. Then, machine learning is performed on the feature amount using the learning image (learning phase). Next, particles included in the evaluation target image are evaluated using the machine learning result (prediction phase).
まず、学習フェーズについて説明する。
この場合、画像処理装置２０の制御部２１は、学習用画像の取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の管理部２１０は、出力部１５に、学習用画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、画像処理装置２０の記憶部（ハードディスク等）や記憶媒体内に記録された学習用画像を指定する。この場合、管理部２１０は、指定された学習用画像を取得し、学習用画像記憶部２２に記録する。
First, the learning phase will be described.
In this case, the control unit 21 of the image processing apparatus 20 executes learning image acquisition processing (step S1-1). Specifically, the management unit 210 of the control unit 21 outputs an image designation screen for designating a learning image to the output unit 15. Here, the learning image recorded in the storage unit (hard disk or the like) of the image processing apparatus 20 or the storage medium is specified using the image specifying screen. In this case, the management unit 210 acquires the designated learning image and records it in the learning image storage unit 22.
次に、画像処理装置２０の制御部２１は、エッジ検出処理を実行する（ステップＳ１−２）。具体的には、制御部２１のエッジ検出部２１１は、学習用画像記憶部２２に記録された学習用画像に含まれる粒子のエッジを検出する。この場合、後述するように、バイラテラルフィルタによる平滑化処理、複素モーメント法及びWatershed法（ウォーターシェッド法）を用いることにより、学習用画像の修正画像を生成し、粒子の輪郭の可能性がある領域のエッジ抽出を行なう。 Next, the control unit 21 of the image processing apparatus 20 performs an edge detection process (step S1-2). Specifically, the edge detection unit 211 of the control unit 21 detects the edges of the particles included in the learning image recorded in the learning image storage unit 22. In this case, as will be described later, by using a smoothing process using a bilateral filter, a complex moment method, and a watershed method (watershed method), a corrected image of the learning image is generated, and there is a possibility of a particle contour. Extract the edge of the region.
次に、画像処理装置２０の制御部２１は、領域統合の機械学習処理を実行する（ステップＳ１−３）。具体的には、制御部２１の第１特徴量抽出部２１２は、複数に分割された領域の領域統合を行なうための特徴量を抽出する。次に、機械学習部２１４は、ユーザが、学習用画像において統合すべきとして指定した領域と統合すべきでないとして指定した領域との境界面を、抽出した特徴量を用いて、サポートベクターマシン（ＳＶＭ）により算出する。そして、機械学習部２１４は、算出した機械学習結果（領域統合）を機械学習情報記憶部２３に記録する。
次に、画像処理装置２０の制御部２１は、粒子形状の判別の機械学習処理を実行する（ステップＳ１−４）。具体的には、制御部２１の第２特徴量抽出部２１３は、粒子形状の判別を行なうための特徴量を抽出する。次に、機械学習部２１４は、ユーザが、学習用画像において粒子判別（正常、異常、その他）を指定した境界面を、抽出した特徴量を用いて、サポートベクターマシン（ＳＶＭ）により算出する。そして、機械学習部２１４は、算出した機械学習結果（形状判別）を機械学習情報記憶部２３に記録する。
Next, the control unit 21 of the image processing apparatus 20 executes a machine learning process of region integration (step S1-3). Specifically, the first feature value extraction unit 212 of the control unit 21 extracts a feature value for performing region integration of a plurality of divided regions. Next, the machine learning unit 214 uses a feature vector extracted from the boundary surface between the region specified as not to be integrated and the region specified as not to be integrated in the learning image by using a support vector machine ( SVM). Then, the machine learning unit 214 records the calculated machine learning result (region integration) in the machine learning information storage unit 23.
Next, the control unit 21 of the image processing apparatus 20 executes a machine learning process for determining the particle shape (step S1-4). Specifically, the second feature amount extraction unit 213 of the control unit 21 extracts a feature amount for determining the particle shape. Next, the machine learning unit 214 uses a support vector machine (SVM) to calculate a boundary surface in which the user has specified particle discrimination (normal, abnormal, etc.) in the learning image using the extracted feature amount. Then, the machine learning unit 214 records the calculated machine learning result (shape discrimination) in the machine learning information storage unit 23.
次に、予測フェーズについて説明する。
この場合、画像処理装置２０の制御部２１は、評価対象画像の取得処理を実行する（ステップＳ２−１）。具体的には、制御部２１の管理部２１０は、画像指定画面により、指定された評価対象画像を取得する。そして、管理部２１０は、指定された評価対象画像を評価対象画像記憶部２４に記録する。
Next, the prediction phase will be described.
In this case, the control unit 21 of the image processing apparatus 20 executes an evaluation target image acquisition process (step S2-1). Specifically, the management unit 210 of the control unit 21 acquires the designated evaluation target image using the image designation screen. Then, the management unit 210 records the designated evaluation target image in the evaluation target image storage unit 24.
次に、画像処理装置２０の制御部２１は、エッジ検出処理を実行する（ステップＳ２−２）。具体的には、制御部２１のエッジ検出部２１１は、評価対象画像記憶部２４に記録された評価対象画像においてエッジを検出する。ここでも、学習フェーズと同様に、バイラテラルフィルタによる平滑化処理、複素モーメント法及びWatershed法を用いることにより、評価対象画像の修正画像を生成し、粒子の輪郭の可能性がある領域（粒子領域）のエッジ抽出を行なう。 Next, the control unit 21 of the image processing apparatus 20 performs edge detection processing (step S2-2). Specifically, the edge detection unit 211 of the control unit 21 detects an edge in the evaluation target image recorded in the evaluation target image storage unit 24. Here, as in the learning phase, a corrected image of the evaluation target image is generated by using a smoothing process using a bilateral filter, a complex moment method, and a watershed method, and there is a possibility of a particle outline (particle region). ) Edge extraction.
次に、画像処理装置２０の制御部２１は、領域統合の予測処理を実行する（ステップＳ２−３）。具体的には、制御部２１の第１特徴量抽出部２１２は、検出したエッジに基づいて分割された領域毎に特徴量を算出する。そして、領域統合部２１５は、機械学習情報記憶部２３に記録された機械学習結果（領域統合）を用いて、粒子領域毎の特徴量に基づいて、エッジ抽出により複数の領域に分割された領域を統合する。 Next, the control unit 21 of the image processing apparatus 20 executes a region integration prediction process (step S2-3). Specifically, the first feature value extraction unit 212 of the control unit 21 calculates a feature value for each region divided based on the detected edge. Then, the region integration unit 215 uses the machine learning result (region integration) recorded in the machine learning information storage unit 23, and based on the feature amount for each particle region, the region divided into a plurality of regions To integrate.
次に、画像処理装置２０の制御部２１は、異常粒子の予測処理を実行する（ステップＳ２−４）。具体的には、制御部２１の第２特徴量抽出部２１３は、粒子領域毎に特徴量を算出する。そして、粒子判定部２１６は、機械学習情報記憶部２３に記録された機械学習結果（形状判別）を用いて、粒子領域毎の特徴量に基づいて、粒子形状の判別を行なう。そして、評価対象画像において、異常粒子の位置、粒子の最大径を算出する。更に、粒子判定部２１６は、評価対象画像に含まれるすべての粒子の粒径を算出し、粒径毎の個数を算出する。更に、粒子判定部２１６は、評価対象画像に含まれる粒子形状に応じて体積を予測する。ここでは、粒子の長軸を中心軸として回転させた場合の立体形状の体積を算出する。 Next, the control unit 21 of the image processing apparatus 20 performs abnormal particle prediction processing (step S2-4). Specifically, the second feature amount extraction unit 213 of the control unit 21 calculates a feature amount for each particle region. And the particle | grain determination part 216 performs particle | grain shape discrimination | determination based on the feature-value for every particle | grain area | region using the machine learning result (shape discrimination | determination) recorded on the machine learning information storage part 23. FIG. Then, in the evaluation object image, the position of the abnormal particle and the maximum diameter of the particle are calculated. Furthermore, the particle determination unit 216 calculates the particle size of all particles included in the evaluation target image, and calculates the number for each particle size. Furthermore, the particle determination unit 216 predicts the volume according to the particle shape included in the evaluation target image. Here, the volume of the three-dimensional shape when the major axis of the particle is rotated as the central axis is calculated.
次に、画像処理装置２０の制御部２１は、評価結果の出力処理を実行する（ステップＳ２−５）。具体的には、制御部２１の粒子判定部２１６は、異常粒子の予測を含めた評価結果を、出力部１５に出力する。 Next, the control unit 21 of the image processing apparatus 20 executes an evaluation result output process (step S2-5). Specifically, the particle determination unit 216 of the control unit 21 outputs an evaluation result including prediction of abnormal particles to the output unit 15.
（エッジ検出処理）
図３を用いて、エッジ検出処理を説明する。この処理は、学習用画像及び評価対象画像に対して、学習フェーズ、予測フェーズの特徴量抽出処理の前に行なわれる。
(Edge detection processing)
The edge detection process will be described with reference to FIG. This processing is performed on the learning image and the evaluation target image before the feature amount extraction processing in the learning phase and the prediction phase.
まず、画像処理装置２０の制御部２１は、バイラテラルフィルタによる平滑化処理を実行する（ステップＳ３−１）。具体的には、制御部２１のエッジ検出部２１１は、ノイズが含まれる画像（学習用画像や評価対象画像）に対してバイラテラルフィルタを適用して平滑化を行なう。 First, the control unit 21 of the image processing apparatus 20 executes a smoothing process using a bilateral filter (step S3-1). Specifically, the edge detection unit 211 of the control unit 21 performs smoothing by applying a bilateral filter to an image including noise (an image for learning or an evaluation target image).
図４を用いて、バイラテラルフィルタの効果を説明する。
図４（ａ）に示す画像５００は、平滑化前の画像である。この画像５００に対して、一般的に使用されるガウシアンフィルタを適用した場合、図４（ｂ）に示す画像５０１が生成される。この場合、エッジにぼけが生じる。一方、バイラテラルフィルタを用いた場合には、図４（ｃ）に示すように、エッジのぼけを抑制しながら、平滑化した画像５０２を生成することができる。
The effect of the bilateral filter will be described with reference to FIG.
An image 500 shown in FIG. 4A is an image before smoothing. When a generally used Gaussian filter is applied to the image 500, an image 501 shown in FIG. 4B is generated. In this case, the edge is blurred. On the other hand, when a bilateral filter is used, as shown in FIG. 4C, a smoothed image 502 can be generated while suppressing blurring of edges.
次に、図３において、画像処理装置２０の制御部２１は、粒子領域の抽出処理を実行する（ステップＳ３−２）。具体的には、制御部２１のエッジ検出部２１１は、画像の中に含まれる粒子領域を抽出する。ここでは、以下のステップＳ４−１〜Ｓ４−３の処理を実行する。 Next, in FIG. 3, the control unit 21 of the image processing apparatus 20 performs a particle region extraction process (step S <b> 3-2). Specifically, the edge detection unit 211 of the control unit 21 extracts a particle region included in the image. Here, the following steps S4-1 to S4-3 are executed.
まず、画像処理装置２０の制御部２１は、複素モーメント法によるエッジ強調処理を実行する（ステップＳ４−１）。具体的には、制御部２１のエッジ検出部２１１は、平滑化画像に対して、複素モーメント法を適用して、複素モーメント画像を生成する。この複素モーメント法は、複素モーメントという積分量を用いることにより、ノイズに対してロバストな画像特徴抽出法である。この処理については、図５、図６を用いて後述する。 First, the control unit 21 of the image processing apparatus 20 executes edge enhancement processing by the complex moment method (step S4-1). Specifically, the edge detection unit 211 of the control unit 21 applies a complex moment method to the smoothed image to generate a complex moment image. This complex moment method is an image feature extraction method that is robust against noise by using an integral quantity called a complex moment. This process will be described later with reference to FIGS.
次に、画像処理装置２０の制御部２１は、閾値処理を実行する（ステップＳ４−２）。具体的には、制御部２１のエッジ検出部２１１は、複素モーメント画像（粒子のエッジ強調画像）に対して閾値処理を適用する。この処理については、図７、図８を用いて後述する。 Next, the control unit 21 of the image processing apparatus 20 executes threshold processing (step S4-2). Specifically, the edge detection unit 211 of the control unit 21 applies threshold processing to the complex moment image (particle edge enhancement image). This process will be described later with reference to FIGS.
次に、画像処理装置２０の制御部２１は、Watershed法により粒子領域の抽出処理を実行する（ステップＳ４−３）。具体的には、制御部２１のエッジ検出部２１１は、エッジが欠けている場合に、複素モーメント法によって得られた２値画像と平滑化画像とを用いて、粒子内部と背景とのシードを設定する。そして、このシードに、Watershed法を適用することにより、粒子のエッジ欠けを修正する。この処理については、図９、図１０を用いて後述する。 Next, the control unit 21 of the image processing apparatus 20 performs the particle region extraction process by the watershed method (step S4-3). Specifically, the edge detection unit 211 of the control unit 21 uses the binary image obtained by the complex moment method and the smoothed image to seed the interior of the particle and the background when the edge is missing. Set. Then, by applying a watershed method to the seed, the edge defect of the particle is corrected. This process will be described later with reference to FIGS.
（複素モーメント法によるエッジ強調処理）
次に、図５、図６を用いて、複素モーメント法によるエッジ強調処理を説明する。
まず、画像処理装置２０の制御部２１は、オペレータの算出処理を実行する（ステップＳ５−１）。具体的には、学習用画像や評価対象画像は連続画像ではなく、これをサンプリングした離散画像である。この離散画像に対して局所画像の複素モーメントを計算するために用いるオペレータを生成する。本実施形態では、制御部２１のエッジ検出部２１１は、以下の算出式によりオペレータｈn〔k,l〕（ｎ＝１〜Ｎ）を生成する。ここで、「Ｎ」は使用する複素モーメントの最大次数である。
(Edge enhancement processing by complex moment method)
Next, edge enhancement processing by the complex moment method will be described with reference to FIGS.
First, the control unit 21 of the image processing apparatus 20 executes an operator calculation process (step S5-1). Specifically, the learning image and the evaluation target image are not continuous images but discrete images obtained by sampling them. An operator used to calculate the complex moment of the local image is generated for the discrete image. In the present embodiment, the edge detection unit 211 of the control unit 21 generates an operator hn [k, l] (n = 1 to N) by the following calculation formula. Here, “N” is the maximum order of the complex moment to be used.
連続画像ｆ（x,y）を間隔Ｔでサンプリングして離散画像をｆ（kT,lT）＝ｆ〔k,l〕とおく。ここで、「ｋ」、「ｌ」は整数である。 A continuous image f (x, y) is sampled at an interval T, and a discrete image is set as f (k T , l T ) = f [k, l]. Here, “k” and “l” are integers.
次に、画像処理装置２０の制御部２１は、複素モーメントの算出処理を実行する（ステップＳ５−２）。具体的には、制御部２１のエッジ検出部２１１は、連続画像の点（k0T,l0T）における局所画像の複素モーメントＣ'n〔k0,l0〕を算出する。 Next, the control unit 21 of the image processing apparatus 20 executes a complex moment calculation process (step S5-2). Specifically, the edge detection unit 211 of the control unit 21 calculates the complex moment C′n [k 0 , l 0 ] of the local image at the point (k 0 T, l 0 T) of the continuous image.
この算出式は、元画像ｆ〔k,l〕とオペレータｈn〔k,l〕との離散畳み込み形式に書き直すことができる。 This calculation formula can be rewritten into a discrete convolution form of the original image f [k, l] and the operator hn [k, l].
次に、画像処理装置２０の制御部２１は、特徴量の計算処理を実行する（ステップＳ５−３）。具体的には、制御部２１のエッジ検出部２１１は、１以上の複素モーメントの絶対値の二乗和により特徴量Ｓを算出する。 Next, the control unit 21 of the image processing apparatus 20 executes a feature amount calculation process (step S5-3). Specifically, the edge detection unit 211 of the control unit 21 calculates the feature amount S by the sum of squares of absolute values of one or more complex moments.
次に、画像処理装置２０の制御部２１は、粒子の輪郭の抽出処理を実行する（ステップＳ５−４）。具体的には、制御部２１のエッジ検出部２１１は、特徴量Ｓに対して局所閾値処理を適用することにより、粒子のエッジを抽出する。 Next, the control unit 21 of the image processing apparatus 20 performs particle contour extraction processing (step S5-4). Specifically, the edge detection unit 211 of the control unit 21 extracts a particle edge by applying local threshold processing to the feature amount S.
図６（ａ）は、上述したバイラテラルフィルタを用いて平滑化した平滑化画像５１０の一例である。図６（ｂ）は、この平滑化画像５１０に基づいて、エッジ強調した複素モーメント画像５１１を示す。 FIG. 6A is an example of a smoothed image 510 that has been smoothed using the above-described bilateral filter. FIG. 6B shows a complex moment image 511 with edge enhancement based on the smoothed image 510.
（閾値処理）
次に、図７、図８を用いて、閾値処理を説明する。
図７に示すように、学習用画像や評価対象画像の複素モーメント画像に含まれる各画素（ピクセル）において、順次、注目画素を特定し、以下の処理を繰り返す。ここでは、図８（ａ）に示す複素モーメント画像５１１を用いる場合を想定する。図８（ｂ）は、複素モーメント画像５１１の一部を拡大した画像５１１ａである。この画像５１１ａに含まれる所定の画素を注目画素５１１ｂとして用いる。
(Threshold processing)
Next, threshold processing will be described with reference to FIGS.
As shown in FIG. 7, in each pixel (pixel) included in the learning moment image or the complex moment image of the evaluation target image, the target pixel is sequentially identified, and the following processing is repeated. Here, it is assumed that the complex moment image 511 shown in FIG. FIG. 8B is an image 511 a obtained by enlarging a part of the complex moment image 511. Predetermined pixels included in the image 511a are used as the target pixel 511b.
まず、画像処理装置２０の制御部２１は、矩形領域の特定処理を実行する（ステップＳ６−１）。具体的には、制御部２１のエッジ検出部２１１は、注目画素の周囲に矩形領域を特定する。図８（ｃ）に示すように、この注目画素５１１ｂに対して所定の大きさの矩形領域５１１ｃを設定する。本実施形態では、「６４×６４」ピクセルの矩形領域を設定する。 First, the control unit 21 of the image processing apparatus 20 executes a rectangular area specifying process (step S6-1). Specifically, the edge detection unit 211 of the control unit 21 specifies a rectangular area around the target pixel. As shown in FIG. 8C, a rectangular area 511c having a predetermined size is set for the target pixel 511b. In the present embodiment, a rectangular area of “64 × 64” pixels is set.
次に、画像処理装置２０の制御部２１は、注目画素値が閾値より大きいかどうかについての判定処理を実行する（ステップＳ６−２）。具体的には、制御部２１のエッジ検出部２１１は、矩形領域５１１ｃ内に含まれる画素の所定割合を閾値として決定する。例えば、矩形領域５１１ｃ内に含まれる画素の画素値が高い値から３５％の値を閾値として算出する。そして、注目画素５１１ｂの画素値（注目画素値）と閾値とを比較する。 Next, the control unit 21 of the image processing apparatus 20 executes a determination process as to whether or not the target pixel value is larger than the threshold value (step S6-2). Specifically, the edge detection unit 211 of the control unit 21 determines a predetermined ratio of pixels included in the rectangular area 511c as a threshold value. For example, a value of 35% is calculated as a threshold value from a high pixel value of the pixels included in the rectangular area 511c. Then, the pixel value (target pixel value) of the target pixel 511b is compared with the threshold value.
注目画素値が閾値より大きいと判定した場合（ステップＳ６−２において「ＹＥＳ」の場合）、画像処理装置２０の制御部２１は、「１」の設定処理を実行する（ステップＳ６−３）。具体的には、制御部２１のエッジ検出部２１１は、注目画素値を「１」に更新する。 When it is determined that the target pixel value is larger than the threshold value (in the case of “YES” in step S6-2), the control unit 21 of the image processing device 20 executes a setting process of “1” (step S6-3). Specifically, the edge detection unit 211 of the control unit 21 updates the target pixel value to “1”.
一方、注目画素値が閾値以下と判定した場合（ステップＳ６−２において「ＮＯ」の場合）、画像処理装置２０の制御部２１は、「０」の設定処理を実行する（ステップＳ６−４）。具体的には、制御部２１のエッジ検出部２１１は、注目画素値を「０」に更新する。 On the other hand, when it is determined that the pixel value of interest is equal to or less than the threshold value (in the case of “NO” in step S6-2), the control unit 21 of the image processing device 20 executes a setting process of “0” (step S6-4). . Specifically, the edge detection unit 211 of the control unit 21 updates the target pixel value to “0”.
図８（ｄ）においては、注目画素５１１ｂの画素値（複素モーメント値）が閾値より高いため「１」が設定される。
以上の閾値処理を、複素モーメント画像に含まれるすべての画素について計算する。
In FIG. 8D, “1” is set because the pixel value (complex moment value) of the pixel of interest 511b is higher than the threshold value.
The above threshold processing is calculated for all pixels included in the complex moment image.
（Watershed法による粒子のエッジ検出処理）
次に、図９、図１０を用いて、Watershed法による粒子のエッジ検出処理を説明する。上述した複素モーメント法で得られた粒子領域のエッジの一部が欠けている場合がある。この処理においては、このエッジ欠けを避けるために、複素モーメント法で得られた２値画像に、Watershed法を適用する。このWatershed法では、粒子領域の内部と背景とにおいてシードを設定し、このシードから同じ水面高さを維持しながら注水した領域が接した領域を境界として特定することにより、エッジ欠けを修正する。
(Particle edge detection processing by Watershed method)
Next, particle edge detection processing by the Watershed method will be described with reference to FIGS. 9 and 10. Some of the edges of the particle region obtained by the complex moment method described above may be missing. In this process, the Watershed method is applied to the binary image obtained by the complex moment method in order to avoid this edge defect. In this Watershed method, a seed is set in the interior and background of a particle region, and an edge defect is corrected by specifying a region where a region of water is in contact with the seed while maintaining the same water surface height as a boundary.
まず、図９に示す模式図を用いて、シードを設定したシード画像の生成を説明する。
ここでは、図９（ａ）に示す平滑化画像５２０を用いて説明する。
First, generation of a seed image in which a seed is set will be described using the schematic diagram shown in FIG.
Here, a description will be given using the smoothed image 520 shown in FIG.
図９（ｂ）は、この平滑化画像５２０に複素モーメント法を適用して得られた複素モーメント画像５２１を示す。このような複素モーメント画像５２１においては、エッジ欠けが生じていない。 FIG. 9B shows a complex moment image 521 obtained by applying the complex moment method to the smoothed image 520. In such a complex moment image 521, no edge defect occurs.
一方、図９（ｃ）に示すように、複素モーメント法を適用して、複素モーメント画像５２２が得られる場合がある。この複素モーメント画像５２２においては、エッジの一部が欠けている。 On the other hand, as shown in FIG. 9C, a complex moment image 522 may be obtained by applying the complex moment method. In the complex moment image 522, a part of the edge is missing.
そこで、図９（ｄ）に示すように、エッジから同じ距離の範囲毎に識別した距離マップ画像５２３を生成する。そして、エッジから基準距離以上離れた領域をシードとして特定する。ここでは、基準距離として、エッジ欠けが生じる長さの予想値よりも大きい距離を設定する。 Therefore, as shown in FIG. 9D, a distance map image 523 identified for each range of the same distance from the edge is generated. Then, an area that is more than the reference distance from the edge is specified as a seed. Here, as the reference distance, a distance larger than the expected value of the length at which the edge defect occurs is set.
図９（ｅ）に示すように、エッジによってほぼ囲まれていた粒子領域には内部シード（楕円形の白領域）を含むシード画像５２４が生成される。また、粒子領域の外側（背景領域）には、エッジから基準距離以上離れた領域に背景シード（周囲の白領域）が生成される。このように、各粒子領域と背景とに対してシードを生成し、シード毎にインデックス（正の値）を付与する。なお、図９（ｅ）の黒領域は、シード領域以外の未知の領域を示している。 As shown in FIG. 9E, a seed image 524 including an internal seed (elliptical white region) is generated in the particle region substantially surrounded by the edge. In addition, a background seed (surrounding white region) is generated outside the particle region (background region) in a region separated from the edge by a reference distance or more. In this way, seeds are generated for each particle region and background, and an index (positive value) is assigned to each seed. In addition, the black area | region of FIG.9 (e) has shown unknown area | regions other than a seed area | region.
次に、図１０を用いて、Watershed法の適用を説明する。
ここでは、図１０（ａ）に示すように、平滑化画像５２０と複素モーメント画像５２１とを合成し、強調画像５３０を生成する。
Next, application of the Watershed method will be described with reference to FIG.
Here, as shown in FIG. 10A, the smoothed image 520 and the complex moment image 521 are combined to generate an enhanced image 530.
図１０（ｂ）に示すように、この強調画像５３０とシード画像５２４（図９（ｅ））に対して、Watershed法を適用する。ここでは、各シードから、水面が同じ高さになるように維持しながら注水した領域を想定する。 As shown in FIG. 10B, the Watershed method is applied to the emphasized image 530 and the seed image 524 (FIG. 9E). Here, a region where water is poured from each seed while maintaining the water surface at the same height is assumed.
図１０（ｃ）に示すように、各シードからの水面が接した部分を境界とする修正画像５３１を生成する。ここでは、粒子領域内部のシードからの注水領域を白領域、背景のシードからの注水領域を黒領域で表している。 As shown in FIG. 10C, a corrected image 531 is generated with the boundary between the water surfaces from each seed as a boundary. Here, the water injection region from the seed inside the particle region is represented by a white region, and the water injection region from the background seed is represented by a black region.
次に、図１１を用いて、複数の粒子を撮影した撮影画像に対してエッジ検出を行なった例を示す。
図１１（ａ）は、撮影画像に基づいて生成した平滑化画像５４０を示す。
図１１（ｂ）は、平滑化画像５４０に基づいて生成した複素モーメント画像５４１を示す。
Next, an example in which edge detection is performed on a captured image obtained by capturing a plurality of particles will be described with reference to FIG.
FIG. 11A shows a smoothed image 540 generated based on the captured image.
FIG. 11B shows a complex moment image 541 generated based on the smoothed image 540.
図１１（ｃ）は、平滑化画像５４０と複素モーメント画像５４１とを合成した強調画像５４２を示す。
図１１（ｄ）は、Watershed法を適用した結果画像５４３を示す。この結果画像５４３を用いて境界を特定する。
図１１（ｅ）は、平滑化画像５４０に、結果画像５４３において特定した境界を重ね合わせた領域抽出結果画像５４４を示す。
FIG. 11C shows an enhanced image 542 obtained by synthesizing the smoothed image 540 and the complex moment image 541.
FIG. 11D shows a result image 543 obtained by applying the Watershed method. As a result, the boundary is specified using the image 543.
FIG. 11E shows a region extraction result image 544 in which the boundary specified in the result image 543 is superimposed on the smoothed image 540.
（隣接領域判定処理）
次に、図１２を用いて、隣接領域判定処理を説明する。本来は一つの粒子であるにもかかわらず、エッジ検出により分割されてしまうことがある。この領域統合処理では、分割された粒子を結合する。ここでは、サポートベクターマシン（ＳＶＭ）を用いて、分離した粒子において統合する。
(Adjacent area determination processing)
Next, adjacent region determination processing will be described with reference to FIG. Although it is originally a single particle, it may be divided by edge detection. In this region integration process, the divided particles are combined. Here, a support vector machine (SVM) is used to integrate the separated particles.
このため、隣接領域判定処理においては、統合の要否を判定するために隣接する粒子を特定する。
まず、画像処理装置２０の制御部２１は、各領域の重心の算出処理を実行する（ステップＳ７−１）。具体的には、制御部２１の第１特徴量抽出部２１２は、領域抽出結果画像において、各領域の重心位置を算出する。
For this reason, in the adjacent region determination process, adjacent particles are specified in order to determine whether integration is necessary.
First, the control unit 21 of the image processing apparatus 20 executes a calculation process of the center of gravity of each region (step S7-1). Specifically, the first feature amount extraction unit 212 of the control unit 21 calculates the barycentric position of each region in the region extraction result image.
次に、処理対象領域を特定し、処理対象毎に、以下の処理を繰り返す。
まず、画像処理装置２０の制御部２１は、隣接候補領域の特定処理を実行する（ステップＳ７−２）。具体的には、制御部２１の第１特徴量抽出部２１２は、処理対象領域の重心位置と他の領域の重心位置との距離を算出する。そして、第１特徴量抽出部２１２は、算出した距離が距離閾値以下の場合の領域を隣接候補領域として特定する。
Next, the processing target area is specified, and the following processing is repeated for each processing target.
First, the control unit 21 of the image processing apparatus 20 executes an adjacent candidate area specifying process (step S7-2). Specifically, the first feature amount extraction unit 212 of the control unit 21 calculates the distance between the centroid position of the processing target region and the centroid position of another region. Then, the first feature quantity extraction unit 212 identifies an area when the calculated distance is equal to or smaller than the distance threshold as an adjacent candidate area.
次に、画像処理装置２０の制御部２１は、隣接候補領域のエッジ間に重なりがあるかどうかについての判定処理を実行する（ステップＳ７−３）。具体的には、制御部２１の第１特徴量抽出部２１２は、処理対象領域の輪郭と隣接候補領域の輪郭とのエッジ間に重なりがあるかどうかを判定する。 Next, the control unit 21 of the image processing apparatus 20 performs a determination process as to whether or not there is an overlap between the edges of adjacent candidate regions (step S7-3). Specifically, the first feature amount extraction unit 212 of the control unit 21 determines whether there is an overlap between the edges of the contour of the processing target region and the contour of the adjacent candidate region.
隣接候補領域のエッジ間に重なりがあると判定した場合（ステップＳ７−３において「ＹＥＳ」の場合）、画像処理装置２０の制御部２１は、重なっているエッジ長が長さ閾値を超えているかどうかの判定処理を実行する（ステップＳ７−４）。具体的には、制御部２１の第１特徴量抽出部２１２は、エッジの重なりの長さ（エッジ長）と長さ閾値とを比較する。 When it is determined that there is an overlap between the edges of adjacent candidate regions (in the case of “YES” in step S7-3), the control unit 21 of the image processing device 20 determines whether the overlapping edge length exceeds the length threshold value. A determination process of whether or not is executed (step S7-4). Specifically, the first feature amount extraction unit 212 of the control unit 21 compares the length of overlapping edges (edge length) with a length threshold value.
重なっているエッジ長が長さ閾値を超えていると判定した場合（ステップＳ７−４において「ＹＥＳ」の場合）、画像処理装置２０の制御部２１は、隣接領域として特定処理を実行する（ステップＳ７−５）。具体的には、制御部２１の第１特徴量抽出部２１２は、隣接候補領域を隣接領域として特定する。 When it is determined that the overlapping edge length exceeds the length threshold value (in the case of “YES” in step S7-4), the control unit 21 of the image processing device 20 executes a specific process as an adjacent region (step). S7-5). Specifically, the first feature amount extraction unit 212 of the control unit 21 specifies the adjacent candidate region as the adjacent region.
一方、隣接候補領域のエッジ間に重なりがないと判定した場合（ステップＳ７−３において「ＮＯ」の場合）、画像処理装置２０の制御部２１は、隣接領域として特定処理（ステップＳ７−５）をスキップする。また、隣接候補領域を特定できない場合や、重なっているエッジ長が長さ閾値を超えていないと判定した場合（ステップＳ７−４において「ＮＯ」の場合）においても、画像処理装置２０の制御部２１は、隣接領域として特定処理（ステップＳ７−５）をスキップする。
以上の処理を、すべての領域について終了するまで繰り返す。
On the other hand, when it is determined that there is no overlap between the edges of the adjacent candidate regions (in the case of “NO” in step S7-3), the control unit 21 of the image processing device 20 performs the identification process as the adjacent region (step S7-5). To skip. In addition, when the adjacent candidate region cannot be specified or when it is determined that the overlapping edge length does not exceed the length threshold value (in the case of “NO” in step S7-4), the control unit of the image processing device 20 21 skips the identification process (step S7-5) as an adjacent area.
The above processing is repeated until all regions are completed.
（ＳＶＭによる領域統合処理）
次に、図１３を用いて、サポートベクターマシン（ＳＶＭ）による領域統合処理を説明する。学習フェーズにおいて、エッジ検出により分離された粒子領域において、統合すべき領域を機械学習する。
ここでは、図１３（ａ）に示すように、上述した隣接領域判定処理において、粒子αと粒子βとが隣接している場合を想定する。
(Area integration processing by SVM)
Next, region integration processing by a support vector machine (SVM) will be described with reference to FIG. In the learning phase, machine learning is performed on regions to be integrated in the particle regions separated by edge detection.
Here, as shown in FIG. 13A, it is assumed that the particle α and the particle β are adjacent in the adjacent region determination process described above.
まず、図１３（ｂ）に示すように、画像処理装置２０の制御部２１は、粒子α及び粒子βのエッジを所定の長さで広げる膨張処理を行なう。この場合、粒子α及び粒子βは、それぞれのエッジが広がった膨張領域が生成される。
そして、図１３（ｃ）に示すように、画像処理装置２０の制御部２１は、粒子α及び粒子βの膨張領域の重複領域を特定する。
First, as shown in FIG. 13B, the control unit 21 of the image processing apparatus 20 performs an expansion process for expanding the edges of the particles α and the particles β by a predetermined length. In this case, for the particles α and β, an expanded region in which the respective edges are expanded is generated.
And as shown in FIG.13 (c), the control part 21 of the image processing apparatus 20 specifies the overlapping area | region of the expansion | swelling area | region of particle | grains α and particle | grains β.
次に、学習フレーズにおけるサポートベクターマシンによる機械学習処理を説明する。 Next, the machine learning process by the support vector machine in a learning phrase is demonstrated.
ここでは、図１３（ｄ）に示すように、サポートベクターマシンにおいて、特徴量として、重複領域の濃度値の平均、複素モーメント画像における勾配値の平均、距離値の平均を用いて機械学習を行なう。ここで、距離値の平均では、２値化画像に対して、距離変換を適用し、得られた距離画像の各画素の値を距離値として用いる。この距離変換は、２値画像の各画素に対して、そこから値が０（黒の部分）である画素への最短距離を与える変換である。 Here, as shown in FIG. 13D, in the support vector machine, machine learning is performed using the average density value of the overlapping region, the average gradient value in the complex moment image, and the average distance value as the feature amount. . Here, in the average of distance values, distance conversion is applied to the binarized image, and the value of each pixel of the obtained distance image is used as the distance value. This distance conversion is a conversion which gives the shortest distance from the pixel of the binary image to the pixel whose value is 0 (black portion).
更に、サポートベクターマシンにおいて、粒子αのヒストグラムと粒子βのヒストグラムとの相関、カイ二乗、交差についても、特徴量として用いて機械学習を行なう。
更に、サポートベクターマシンにおいて、粒子αのペアワイズヒストグラムと粒子βとのペアワイズヒストグラムの相関、カイ二乗、交差についても、特徴量として用いて機械学習を行なう。
Further, in the support vector machine, the machine learning is performed by using the correlation, chi-square, and intersection between the histogram of the particle α and the histogram of the particle β as feature amounts.
Further, in the support vector machine, machine learning is performed by using the correlation, chi-square, and intersection of the pair-wise histogram of the particle α and the pair-wise histogram of the particle β as feature amounts.
そして、画像処理装置２０の制御部２１は、統合領域の指定情報を取得する。具体的には、制御部２１の管理部２１０は、出力部１５に学習用画像を出力する。この学習用画像には、検出されたエッジを含める。そして、ユーザは、入力部１０を用いて、学習用画像において、統合すべき領域を入力する。この場合、制御部２１の機械学習部２１４は、学習用画像の特徴量において、サポートベクターマシンを用いて、機械学習結果（領域統合）を算出し、機械学習情報記憶部２３に記録する。この機械学習結果（領域統合）は、予測フェーズにおいて、評価対象画像に適用して、領域統合の要否を判定する場合に用いられる。 Then, the control unit 21 of the image processing apparatus 20 acquires designation information of the integrated area. Specifically, the management unit 210 of the control unit 21 outputs the learning image to the output unit 15. The learning edge includes the detected edge. Then, the user uses the input unit 10 to input a region to be integrated in the learning image. In this case, the machine learning unit 214 of the control unit 21 calculates a machine learning result (region integration) using the support vector machine in the feature amount of the learning image, and records it in the machine learning information storage unit 23. This machine learning result (region integration) is applied to the evaluation target image in the prediction phase, and is used when determining the necessity of region integration.
（ＳＶＭによる正常・異常粒子の判別処理）
次に、サポートベクターマシン（ＳＶＭ）による正常・異常粒子の判別処理について説明する。学習フェーズにおいて、画像に含まれる粒子の種類を機械学習する。
(Distinguishing between normal and abnormal particles by SVM)
Next, normal / abnormal particle discrimination processing by a support vector machine (SVM) will be described. In the learning phase, machine learning is performed on the types of particles included in the image.
ここでは、図１４に示すように、粒子の種類として、「正常（粗大粒子を含む）」、「連結粒子」、「その他（背景等）」に分類する。次に、「正常（粗大粒子を含む）」に分類された粒子において、粒子の長軸による正常、粗大粒子の判定を行なう。ここでは、粒子領域において、その形状に基づいて長軸と短軸とを定める。そして、長軸と短軸との差分に基づいて、正常粒子と粗大粒子とを識別する。 Here, as shown in FIG. 14, the types of particles are classified into “normal (including coarse particles)”, “connected particles”, and “others (background etc.)”. Next, in the particles classified as “normal (including coarse particles)”, normal and coarse particles are determined based on the long axis of the particles. Here, in the particle region, a major axis and a minor axis are determined based on the shape. Then, normal particles and coarse particles are identified based on the difference between the long axis and the short axis.
図１５を用いて、学習フレーズにおけるサポートベクターマシンによる機械学習処理を説明する。
ここでは、サポートベクターマシンにおいて、以下の１１種類の特徴量を用いて機械学習を行なう。
・粒子領域の面積：粒子領域内の画素数に基づいて算出する。
・粒子の円形度：粒子領域の面積Ａと粒子の周辺長Ｌとに基づいて、以下の円形度を算出する。
〔円形度〕＝〔４・π・Ａ〕／〔Ｌ・Ｌ〕
The machine learning process by the support vector machine in a learning phrase is demonstrated using FIG.
Here, in the support vector machine, machine learning is performed using the following 11 types of feature amounts.
-Area of the particle region: calculated based on the number of pixels in the particle region.
Particle circularity: The following circularity is calculated based on the area A of the particle region and the peripheral length L of the particle.
[Circularity] = [4 · π · A] / [L·L]
・縦横比：粒子領域の縦と横の比率に基づいて算出する。
・面積比：粒子領域に接する矩形を生成し、粒子の面積と矩形との面積の比率を算出する。
Aspect ratio: Calculated based on the aspect ratio of the particle region.
-Area ratio: A rectangle in contact with the particle region is generated, and the ratio of the area of the particle to the rectangle is calculated.
・粒子の面積と粒子領域の横幅との比率：粒子領域の横幅（短軸の長さ）を算出し、粒子の面積との比率を算出する。
・粒子領域における濃度値の平均：粒子領域を構成する全画素の画素値（濃度値）を取得し、濃度値の平均値を算出する。
-Ratio between the area of the particle and the width of the particle region: The width of the particle region (the length of the minor axis) is calculated, and the ratio with the area of the particle is calculated.
Average density value in particle area: The pixel values (density values) of all pixels constituting the particle area are acquired, and the average value of the density values is calculated.
・粒子領域における濃度値の標準偏差：粒子領域を構成する全画素の画素値（濃度値）を取得し、濃度値の標準偏差を算出する。
・粒子領域における勾配値（複素モーメント画像）の平均：複素モーメント画像において粒子領域の各画素の勾配値を取得し、勾配値の平均値を算出する。
Standard deviation of density value in particle area: The pixel values (density values) of all pixels constituting the particle area are acquired, and the standard deviation of density values is calculated.
Average of gradient values (complex moment images) in the particle region: The gradient value of each pixel in the particle region is acquired in the complex moment image, and the average value of the gradient values is calculated.
・粒子領域における勾配値（複素モーメント画像）の標準偏差：複素モーメント画像において粒子領域の各画素の勾配値を取得し、勾配値の標準偏差を算出する。
・ペアワイズ幾何ヒストグラム：具体的な計算方法については、図１６を用いて後述する。
・モーメント特徴（６次元不変モーメント）：形状の歪を評価する。具体的な計算方法については後述する。
Standard deviation of gradient value (complex moment image) in the particle region: The gradient value of each pixel in the particle region is acquired in the complex moment image, and the standard deviation of the gradient value is calculated.
Pairwise geometric histogram: A specific calculation method will be described later with reference to FIG.
-Moment feature (6-dimensional invariant moment): Evaluates the distortion of the shape. A specific calculation method will be described later.
（ペアワイズ幾何ヒストグラム）
次に、図１６を用いて、ペアワイズ幾何ヒストグラムを説明する。このペアワイズ幾何ヒストグラムは、チェインコードヒストグラム（ＣＣＨ）を一般化若しくは拡張したものである。
(Pairwise geometric histogram)
Next, a pair-wise geometric histogram will be described with reference to FIG. This pairwise geometric histogram is a generalization or extension of the chain code histogram (CCH).
図１６（ａ）に示すように、粒子領域のエッジをチェインにより表現する。この場合、チェインベクターに応じて、図１６（ｂ）に示すチェインコードを割り当てる。そして、図１６（ｃ）に示すように、粒子のエッジを構成するチェインにおいてチェインコードの頻度を表したペアワイズ幾何ヒストグラム（チェインコードヒストグラムを一般化もしくは拡張したヒストグラム）を生成する。このヒストグラムでは、円形の場合には頻度が一定となる。頻度のばらつきが大きい場合には、形状にひずみがあると判定できる。このチェインコードヒストグラムは、エッジにおけるそれぞれの方向に対するステップ数をカウントすることにより作成される。 As shown in FIG. 16A, the edge of the particle region is represented by a chain. In this case, a chain code shown in FIG. 16B is assigned according to the chain vector. Then, as shown in FIG. 16C, a pair-wise geometric histogram (a histogram obtained by generalizing or expanding the chain code histogram) representing the frequency of the chain code in the chain constituting the particle edge is generated. In this histogram, the frequency is constant in the case of a circle. When the frequency variation is large, it can be determined that the shape is distorted. This chain code histogram is created by counting the number of steps in each direction at the edge.
（モーメント特徴）
次に、モーメント特徴Ｈuについて説明する。
Ｈuモーメントは、平行移動、拡大縮小、回転に対して不変なモーメントである。
「〔ｐ＋ｑ〕次」のモーメントｍpqは、次の式で近似することができる。
(Moment feature)
Next, the moment feature Hu will be described.
The Hu moment is a moment that is invariant to translation, scaling, and rotation.
The “[p + q] th” moment m pq can be approximated by the following equation.
ｘとｙは、原点に関するピクセル座標である。ｆ（x,y）は、ピクセルの特徴量を表わす。中心モーメントμは、次式で算出される。 x and y are pixel coordinates relative to the origin. f (x, y) represents a feature amount of a pixel. The central moment μ is calculated by the following equation.
そして、Ｈuモーメントは、次式によって計算される。 The Hu moment is calculated by the following equation.
本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、バイラテラルフィルタによる平滑化処理を実行する（ステップＳ３−１）。これにより、エッジをぼかすことなく、平滑化画像を得ることができる。
According to the image processing system of the present embodiment, the following effects can be obtained.
(1) In the present embodiment, in the edge detection process (step S1-2), the control unit 21 of the image processing apparatus 20 executes a smoothing process using a bilateral filter (step S3-1). Thereby, a smoothed image can be obtained without blurring the edges.
（２）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、複素モーメント法によるエッジ強調処理を実行する（ステップＳ４−１）。的確にエッジを抽出する場合、通常、画像における各種パラメータを調整する必要がある。一方、複素モーメント法を用いることにより、計算に用いるオペレータを算出すれば、画像毎にパラメータの調整等の負担を軽減しながら、平滑化画像におけるエッジを的確かつ効率的に抽出することができる。特に、複素モーメント法は円形状の検出に適しており、粒子の形状の判別に適している。 (2) In the present embodiment, in the edge detection process (step S1-2), the control unit 21 of the image processing apparatus 20 executes the edge enhancement process by the complex moment method (step S4-1). In order to accurately extract an edge, it is usually necessary to adjust various parameters in the image. On the other hand, if the operator used for the calculation is calculated by using the complex moment method, the edges in the smoothed image can be accurately and efficiently extracted while reducing the burden of parameter adjustment for each image. In particular, the complex moment method is suitable for detecting a circular shape and is suitable for determining the shape of a particle.
（３）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、閾値処理を実行する（ステップＳ４−２）。これにより、矩形領域に含まれる周囲の画素を考慮して、エッジを明確化することができる。 (3) In the present embodiment, in the edge detection process (step S1-2), the control unit 21 of the image processing apparatus 20 performs a threshold process (step S4-2). Thereby, an edge can be clarified in consideration of surrounding pixels included in the rectangular region.
（４）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、Watershed法により粒子領域の抽出処理を実行する（ステップＳ４−３）。これにより、エッジ検出において生じたエッジ欠けを修正することができる。 (4) In the present embodiment, in the edge detection process (step S1-2), the control unit 21 of the image processing apparatus 20 executes the particle region extraction process by the watershed method (step S4-3). As a result, it is possible to correct an edge defect occurring in edge detection.
（５）本実施形態では、画像処理装置２０の制御部２１は、隣接領域判定処理を実行する。これにより、画像における領域間の状況に基づいて、隣接した領域を特定することができる。 (5) In the present embodiment, the control unit 21 of the image processing apparatus 20 executes an adjacent region determination process. Thereby, adjacent areas can be specified based on the situation between the areas in the image.
（６）本実施形態では、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習により、領域統合処理を実行する。これにより、強力なエッジ検出により領域分割された粒子領域を、機械学習により統合させることができる。 (6) In the present embodiment, the control unit 21 of the image processing apparatus 20 executes region integration processing by machine learning using a support vector machine. As a result, the particle regions divided by powerful edge detection can be integrated by machine learning.
この場合、サポートベクターマシンにおいて、重複領域の濃度値の平均、複素モーメント画像における勾配値の平均、距離値の平均を、特徴量として用いて機械学習を行なう。これにより、エッジ検出により分割された領域の接触状態を考慮して、領域統合を行なうことができる。 In this case, in the support vector machine, machine learning is performed using the average density value of the overlapping region, the average gradient value in the complex moment image, and the average distance value as feature amounts. Thereby, region integration can be performed in consideration of the contact state of the regions divided by edge detection.
更に、サポートベクターマシンにおいて、粒子α、粒子βのヒストグラムの相関、粒子α、粒子βのペアワイズヒストグラムの相関、濃度値の平均についても、特徴量として用いて機械学習を行なう。これにより、エッジ検出により分割された領域の内部状態を考慮して、領域統合を行なうことができる。 Further, in the support vector machine, machine learning is performed using the correlation between the histograms of the particles α and β, the correlation between the pair-wise histograms of the particles α and β, and the average of the density values as feature amounts. Thereby, region integration can be performed in consideration of the internal state of the region divided by edge detection.
（７）本実施形態では、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習により、正常・異常粒子の判別処理を実行する。これにより、粒子形状に基づいて、正常や異常の状況を判定することができる。 (7) In the present embodiment, the control unit 21 of the image processing apparatus 20 executes normal / abnormal particle discrimination processing by machine learning using a support vector machine. Thereby, the normal or abnormal situation can be determined based on the particle shape.
この場合、サポートベクターマシンにおいて、粒子領域の面積、粒子の円形度、縦横比、面積比、粒子の面積と粒子領域の横幅との比率を入力として機械学習を行なう。これにより、粒子領域の大きさや外形形状等に基づいて、正常・異常を判定することができる。 In this case, in the support vector machine, machine learning is performed by using as input the area of the particle region, the circularity of the particle, the aspect ratio, the area ratio, and the ratio of the particle area to the width of the particle region. Accordingly, normality / abnormality can be determined based on the size of the particle region, the outer shape, and the like.
更に、サポートベクターマシンにおいて、粒子領域における濃度値の平均、粒子領域における濃度値の標準偏差、複素モーメント画像における粒子領域における勾配値の平均、粒子領域における勾配値（複素モーメント画像）の標準偏差を入力として機械学習を行なう。これにより、粒子領域の色や模様等に基づいて、正常・異常を判定することができる。 In the support vector machine, the average density value in the particle area, the standard deviation of the density value in the particle area, the average of the gradient value in the particle area in the complex moment image, and the standard deviation of the gradient value in the particle area (complex moment image) Perform machine learning as input. Thereby, normality / abnormality can be determined based on the color or pattern of the particle region.
更に、サポートベクターマシンにおいて、ペアワイズ幾何ヒストグラム、モーメント特徴を入力として機械学習を行なう。これにより、粒子形状の等方性に基づいて、正常・異常を判定することができる。 Further, in the support vector machine, machine learning is performed with the pairwise geometric histogram and the moment feature as inputs. Thereby, normality / abnormality can be determined based on the isotropy of the particle shape.
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、複数の粒子を撮影した画像において、正常な形状（球形状）の粒子の中で、異常な形状の粒子を検出する場合を想定した。本発明の適用対象は、これに限定されるものではなく、所定形状を撮影した画像に適用することができる。
Moreover, you may change the said embodiment as follows.
In the above-described embodiment, it is assumed that abnormally shaped particles are detected among particles having a normal shape (spherical shape) in an image obtained by photographing a plurality of particles. The application target of the present invention is not limited to this, and can be applied to an image obtained by photographing a predetermined shape.
・上記実施形態では、画像処理装置２０の制御部２１は、バイラテラルフィルタによる平滑化処理を実行する（ステップＳ３−１）。平滑化できれば、他のフィルタを用いることも可能である。また、ノイズが少ない画像においては、フィルタリングを省略することも可能である。 In the above embodiment, the control unit 21 of the image processing device 20 executes a smoothing process using a bilateral filter (step S3-1). Other filters can be used if they can be smoothed. Also, filtering can be omitted for images with little noise.
・上記実施形態では、画像処理装置２０の制御部２１は、Watershed法により粒子領域の抽出処理を実行する（ステップＳ４−３）。エッジ欠けを修正する方法はWatershed法に限定されるものではない。また、エッジ欠けが少ない画像においては、エッジ欠けの修正を省略することも可能である。 In the above embodiment, the control unit 21 of the image processing apparatus 20 executes the particle region extraction process by the watershed method (step S4-3). The method for correcting the edge defect is not limited to the Watershed method. Further, in an image with few edge defects, correction of edge defects can be omitted.
・上記実施形態では、複素モーメント法によるエッジ強調処理を行なう。エッジ強調方法は、複素モーメント法に限定されるものではない。評価対象画像が類似した撮影状態の画像の場合には、予めパラメータを設定したエッジ抽出方法を用いることができる。 In the above embodiment, edge enhancement processing is performed by the complex moment method. The edge enhancement method is not limited to the complex moment method. In the case where the evaluation target image is an image in a similar shooting state, an edge extraction method in which parameters are set in advance can be used.
・上記実施形態では、ＳＶＭによる領域統合処理において、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習処理を実行する。この場合、サポートベクターマシンの入力として、重複領域の濃度値の平均〜粒子αのペアワイズヒストグラムと粒子βとのペアワイズヒストグラムの相関、カイ二乗、交差を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。 In the above embodiment, in the region integration process using SVM, the control unit 21 of the image processing apparatus 20 executes machine learning processing using a support vector machine. In this case, as the input of the support vector machine, the correlation between the average of density values of overlapping regions to the pairwise histogram of the particle α and the pairwise histogram of the particle β, chi-square, and intersection are used. The input of the support vector machine is not limited to these. Some of these and other input information can be used.
また、写真画像から画家による絵画風の画像に変換する場合に、領域統合処理を適用することも可能である。この場合には、画家毎の作風に応じて機械学習を行ない、領域統合処理を行なう。そして、写真画像からエッジを検出し、画家の作風に応じて、輪郭（エッジ）として残した線画を作成する。 In addition, the region integration process can be applied when converting a photographic image into a painting-like image by a painter. In this case, machine learning is performed according to the style of each painter, and region integration processing is performed. Then, an edge is detected from the photographic image, and a line drawing left as an outline (edge) is created according to the style of the painter.
・上記実施形態では、ＳＶＭによる正常・異常粒子の判別処理において、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習処理を実行する。この場合、粒子領域の面積〜モーメント特徴を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。 In the above embodiment, in the normal / abnormal particle discrimination process by the SVM, the control unit 21 of the image processing apparatus 20 executes the machine learning process by the support vector machine. In this case, the area-moment feature of the particle region is used. The input of the support vector machine is not limited to these. Some of these and other input information can be used.
１０…入力部、１５…出力部、２０…画像処理装置、２１…制御部、２１０…管理部、２１１…エッジ検出部、２１２…第１特徴量抽出部、２１３…第２特徴量抽出部、２１４…機械学習部、２１５…領域統合部、２１６…粒子判定部、２２…学習用画像記憶部、２３…機械学習情報記憶部、２４…評価対象画像記憶部。 DESCRIPTION OF SYMBOLS 10 ... Input part, 15 ... Output part, 20 ... Image processing apparatus, 21 ... Control part, 210 ... Management part, 211 ... Edge detection part, 212 ... 1st feature-value extraction part, 213 ... 2nd feature-value extraction part, 214 ... Machine learning unit, 215 ... Region integration unit, 216 ... Particle determination unit, 22 ... Image storage unit for learning, 23 ... Machine learning information storage unit, 24 ... Image storage unit for evaluation.
・上記実施形態では、ＳＶＭによる正常・異常粒子の判別処理において、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習処理を実行する。この場合、粒子領域の面積〜モーメント特徴を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。
次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
〔ａ〕対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システム、方法、又はプログラムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理システム、方法、又はプログラム。
〔ｂ〕前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする請求項〔ａ〕に記載の画像処理システム、方法、又はプログラム。
〔ｃ〕前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする請求項〔ａ〕又は〔ｂ〕に記載の画像処理システム、方法、又はプログラム。
〔ｄ〕前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする請求項〔ａ〕〜〔ｃ〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
〔ｅ〕前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする請求項〔ａ〕〜〔ｄ〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
〔ｆ〕前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする請求項〔ａ〕〜〔ｅ〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
In the above embodiment, in the normal / abnormal particle discrimination process by the SVM, the control unit 21 of the image processing apparatus 20 executes the machine learning process by the support vector machine. In this case, the area-moment feature of the particle region is used. The input of the support vector machine is not limited to these. Some of these and other input information can be used.
Next, the technical idea that can be grasped from the above embodiment and other examples will be described below.
(A) An image processing system, method, or program comprising an image storage unit for storing an image for learning and an evaluation target image and a control unit connected to the output unit for the object,
The control unit is
In the learning image including the contour region surrounded by the contour, an edge is detected, and a corrected image in which the edge defect of the edge is corrected is generated,
A learning process for generating a contour learning result obtained by machine learning of the contour using the corrected image of the learning image;
An edge is detected in the image to be evaluated, and a corrected image is generated by correcting the edge defect of this edge,
An image processing system, method, or program that executes an evaluation process for specifying a contour using the contour learning result for the modified image of the evaluation target image.
[B] The image processing system, method, or program according to [a], wherein in the machine learning of the contour, an edge for performing region integration is machine-learned among edges included in the corrected image. .
[C] The image processing system and method according to [a] or [b], wherein a complex moment method is used to detect an edge of at least one of the learning image and the evaluation target image. Or program.
[D] At least one of the learning image and the evaluation target image is corrected by using a watershed method, according to any one of [a] to [c]. Image processing system, method, or program.
[E] In the generation of the contour learning result, an expansion process is performed to create an expansion region by expanding the contour region;
Identify overlapping regions in adjacent expansion regions;
The image processing system, method, or program according to any one of claims [a] to [d], wherein machine learning of an outline is performed using the feature amount of the overlapping region.
[F] The contour region is a contour region of particles included in an image obtained by photographing particles of a metal compound,
In the learning process, the abnormality determination of the contour region is performed, and the abnormality determination learning result obtained by machine learning the normality / abnormality determination result of the particles is generated,
The image processing according to any one of claims [a] to [e], wherein the shape of the particle region surrounded by the contour specified in the evaluation target image is evaluated using the abnormality determination learning result. System, method, or program.
Claims (8)
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理システム。 An object is an image processing system including an image storage unit that stores a learning image and an evaluation target image, and a control unit connected to the output unit,
The control unit is
In the learning image including the contour region surrounded by the contour, an edge is detected, and a corrected image in which the edge defect of the edge is corrected is generated,
A learning process for generating a contour learning result obtained by machine learning of the contour using the corrected image of the learning image;
An edge is detected in the image to be evaluated, and a corrected image is generated by correcting the edge defect of this edge,
An image processing system, wherein an evaluation process for specifying a contour using the contour learning result is performed on the modified image of the evaluation target image.
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする請求項１〜４のいずれか一項に記載の画像処理システム。 In the generation of the contour learning result, an expansion process is performed to create an expansion region that expands the contour region,
Identify overlapping regions in adjacent expansion regions;
The image processing system according to any one of claims 1 to 4, wherein machine learning of an outline is performed using a feature amount of the overlapping region.
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする請求項１〜５のいずれか一項に記載の画像処理システム。 The contour region is a particle contour region included in an image obtained by photographing particles of a metal compound,
In the learning process, the abnormality determination of the contour region is performed, and the abnormality determination learning result obtained by machine learning the normality / abnormality determination result of the particles is generated,
The image processing system according to claim 1, wherein the shape of the particle region surrounded by the contour specified in the evaluation target image is evaluated using the abnormality determination learning result.
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理方法。 A method for performing image processing on an object using an image processing system including an image storage unit that stores a learning image and an evaluation target image, and a control unit connected to the output unit,
The control unit is
In the learning image including the contour region surrounded by the contour, an edge is detected, and a corrected image in which the edge defect of the edge is corrected is generated,
A learning process for generating a contour learning result obtained by machine learning of the contour using the corrected image of the learning image;
An edge is detected in the image to be evaluated, and a corrected image in which the edge defect of this edge is corrected is generated,
An image processing method comprising: executing an evaluation process for specifying a contour using the contour learning result for the modified image of the evaluation target image.
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させることを特徴とする画像処理プログラム。 A program for performing image processing on an object using an image processing system including an image storage unit that stores a learning image and an evaluation target image, and a control unit connected to the output unit,
The control unit
In the learning image including the contour region surrounded by the contour, an edge is detected, and a corrected image in which the edge defect of the edge is corrected is generated,
A learning process for generating a contour learning result obtained by machine learning of the contour using the corrected image of the learning image;
An edge is detected in the image to be evaluated, and a corrected image in which the edge defect of this edge is corrected is generated,
An image processing program that causes a correction image of the evaluation target image to function as means for executing an evaluation process for specifying a contour using the contour learning result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017005786A JP6448065B2 (en) | 2017-01-17 | 2017-01-17 | Image processing system, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017005786A JP6448065B2 (en) | 2017-01-17 | 2017-01-17 | Image processing system, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018116391A true JP2018116391A (en) | 2018-07-26 |
| JP6448065B2 JP6448065B2 (en) | 2019-01-09 |
Family
ID=62985517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017005786A Active JP6448065B2 (en) | 2017-01-17 | 2017-01-17 | Image processing system, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6448065B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020137222A1 (en) * | 2018-12-28 | 2020-07-02 | オムロン株式会社 | Defect inspecting device, defect inspecting method, and program for same |
| JP2021105938A (en) * | 2019-12-27 | 2021-07-26 | Ｊｆｅミネラル株式会社 | Particle shape analysis method and apparatus |
| JP2021135824A (en) * | 2020-02-27 | 2021-09-13 | パナソニックＩｐマネジメント株式会社 | Image analysis method, program, and image analysis system |
| CN113892020A (en) * | 2019-05-27 | 2022-01-04 | 昭和电工株式会社 | Image analysis device, method, and program |
| KR102348375B1 (en) * | 2021-04-27 | 2022-01-06 | 신용석 | Method, apparatus and coumputer-readable medium for extraction of object in image |
| WO2023238726A1 (en) * | 2022-06-06 | 2023-12-14 | 株式会社レゾナック | Image processing device, image processing method, and image processing program |
| JP7508416B2 (en) | 2021-07-05 | 2024-07-01 | 株式会社神戸製鋼所 | Area boundary detection device, method and program thereof, and area division processing device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274634A (en) * | 1993-03-23 | 1994-09-30 | Toshiba Corp | Teacher signal generating device and image recognizing device |
| JP2014229115A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Information processing device and method, program, and storage medium |
| WO2015145643A1 (en) * | 2014-03-27 | 2015-10-01 | コニカミノルタ株式会社 | Image-processing device and image-processing program |
| JP2015533434A (en) * | 2012-10-22 | 2015-11-24 | ゼネラル・エレクトリック・カンパニイ | Biological unit identification based on supervised shape ranking |
-
2017
- 2017-01-17 JP JP2017005786A patent/JP6448065B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274634A (en) * | 1993-03-23 | 1994-09-30 | Toshiba Corp | Teacher signal generating device and image recognizing device |
| JP2015533434A (en) * | 2012-10-22 | 2015-11-24 | ゼネラル・エレクトリック・カンパニイ | Biological unit identification based on supervised shape ranking |
| JP2014229115A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Information processing device and method, program, and storage medium |
| WO2015145643A1 (en) * | 2014-03-27 | 2015-10-01 | コニカミノルタ株式会社 | Image-processing device and image-processing program |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020106467A (en) * | 2018-12-28 | 2020-07-09 | オムロン株式会社 | Defect inspection device, defect inspection method, and program therefor |
| WO2020137222A1 (en) * | 2018-12-28 | 2020-07-02 | オムロン株式会社 | Defect inspecting device, defect inspecting method, and program for same |
| US11830174B2 (en) | 2018-12-28 | 2023-11-28 | Omron Corporation | Defect inspecting device, defect inspecting method, and storage medium |
| CN113892020A (en) * | 2019-05-27 | 2022-01-04 | 昭和电工株式会社 | Image analysis device, method, and program |
| US11995816B2 (en) | 2019-05-27 | 2024-05-28 | Resonac Corporation | Image analysis apparatus, method, and program |
| US20220327675A1 (en) * | 2019-05-27 | 2022-10-13 | Showa Denko K.K. | Image analysis apparatus, method, and program |
| JP7282670B2 (en) | 2019-12-27 | 2023-05-29 | Ｊｆｅミネラル株式会社 | Particle shape analysis method and apparatus |
| JP2021105938A (en) * | 2019-12-27 | 2021-07-26 | Ｊｆｅミネラル株式会社 | Particle shape analysis method and apparatus |
| JP2021135824A (en) * | 2020-02-27 | 2021-09-13 | パナソニックＩｐマネジメント株式会社 | Image analysis method, program, and image analysis system |
| JP7113296B2 (en) | 2020-02-27 | 2022-08-05 | パナソニックＩｐマネジメント株式会社 | Image analysis method, program, and image analysis system |
| KR102348375B1 (en) * | 2021-04-27 | 2022-01-06 | 신용석 | Method, apparatus and coumputer-readable medium for extraction of object in image |
| JP7508416B2 (en) | 2021-07-05 | 2024-07-01 | 株式会社神戸製鋼所 | Area boundary detection device, method and program thereof, and area division processing device |
| WO2023238726A1 (en) * | 2022-06-06 | 2023-12-14 | 株式会社レゾナック | Image processing device, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6448065B2 (en) | 2019-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6448065B2 (en) | Image processing system, image processing method, and image processing program | |
| CN109978839B (en) | Method for detecting wafer low-texture defects | |
| JP4154374B2 (en) | Pattern matching device and scanning electron microscope using the same | |
| JP5542889B2 (en) | Image processing device | |
| JP5546317B2 (en) | Visual inspection device, visual inspection discriminator generation device, visual inspection discriminator generation method, and visual inspection discriminator generation computer program | |
| JP2016115331A (en) | Identifier generator, identifier generation method, quality determination apparatus, quality determination method and program | |
| CN115908269A (en) | Visual defect detection method and device, storage medium and computer equipment | |
| CN107004266A (en) | The method for detecting defect on surface of tyre | |
| JP2009134587A (en) | Image processing device | |
| CN107895371B (en) | Textile flaw detection method based on peak coverage value and Gabor characteristics | |
| CN109949294A (en) | A kind of fracture apperance figure crack defect extracting method based on OpenCV | |
| CN114792310A (en) | Mura defect detection method for edge blurring in LCD screen | |
| Reddy et al. | Canny scale edge detection | |
| JP4801697B2 (en) | Image forming method, image forming apparatus, and computer program | |
| KR101557271B1 (en) | Method for detecting a circle-type object and approximating a substitute circle based on Image processing | |
| JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
| JP2014199506A (en) | Object detection device, object method of detection, and program | |
| CN111178200A (en) | Identification method of instrument panel indicator lamp and computing equipment | |
| CN114581433B (en) | Method and system for acquiring surface morphology detection image in metal ball cavity | |
| CN110264417B (en) | Local motion fuzzy area automatic detection and extraction method based on hierarchical model | |
| Ullah et al. | Experimental and numerical research of paved microcrack using histogram equalization for detection and segmentation | |
| CN112270717B (en) | Checkerboard angular point detection method and device | |
| Eastwood et al. | Autonomous image background removal for accurate and efficient close-range photogrammetry | |
| Yan et al. | A boosted decision tree approach to shadow detection in scanning electron microscope (SEM) images for machine vision applications | |
| JP2020064333A (en) | Image processing apparatus, image processing method and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6448065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |