JP2023065028A - Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device - Google Patents
Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device Download PDFInfo
- Publication number
- JP2023065028A JP2023065028A JP2021175579A JP2021175579A JP2023065028A JP 2023065028 A JP2023065028 A JP 2023065028A JP 2021175579 A JP2021175579 A JP 2021175579A JP 2021175579 A JP2021175579 A JP 2021175579A JP 2023065028 A JP2023065028 A JP 2023065028A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- image analysis
- noise
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 87
- 238000003703 image analysis method Methods 0.000 title claims description 6
- 238000004519 manufacturing process Methods 0.000 title abstract 5
- 238000012545 processing Methods 0.000 claims abstract description 95
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 abstract description 18
- 238000002372 labelling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 235000021174 kaiseki Nutrition 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000010419 fine particle Substances 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
特許法第30条第2項適用申請有り (その1) ウェブサイトの掲載日 2020年3月10日 ウェブサイトのアドレス http://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/index.htmlApplied for application of
特許法第30条第2項適用申請有り (その2) ウェブサイトの掲載日 2020年3月12日 ウェブサイトのアドレス http://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/index.htmlApplied for application of
特許法第30条第2項適用申請有り (その3) ウェブサイトの掲載日 2020年3月10日 ウェブサイトのアドレス http://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/index.html http://www.sakai-chem.co.jp/jp/kaiseki/pdf/kaiseki_pdf01.pdfApplied for application of
特許法第30条第2項適用申請有り (その4) ウェブサイトの掲載日 2021年6月14日 ウェブサイトのアドレス https://www.youtube.com/watch?v=GPYbAVEQrUIApplied for application of
特許法第30条第2項適用申請有り (その5) 展示日 2021年5月19日~2021年5月21日 展示会名 CITE JAPAN第10回化粧品産業技術展 開催場所 パシフィコ横浜(神奈川県横浜市西区みなとみらい1-1-1)Application for application of
特許法第30条第2項適用申請有り (その6) ウェブサイトの掲載日 2021年6月16日~2021年6月18日 ウェブサイトのアドレス https://www.japan-it-online.jp/ja-jp.html https://www.japan-it-online.jp/ja-jp/about/ai.htmlApplied for application of
特許法第30条第2項適用申請有り (その7) ウェブサイトの掲載日 2021年8月4日~2021年9月3日 (再公開)2021年10月22日~2021年11月26日 ウェブサイトのアドレス https://www.matsumoto-trd.co.jp/ https://www.matsumoto-trd.co.jp/2021exhibition/entry/ https://www.matsumoto-trd.co.jp/2021exhibition/greeting/ https://www.matsumoto-trd.co.jp/2021-exhibition/sak.htmlApplied for application of
特許法第30条第2項適用申請有り (その8) ウェブサイトの掲載日 2021年8月4日~2021年9月3日 (再公開)2021年10月22日~2021年11月26日 ウェブサイトのアドレス https://www.matsumoto-trd.co.jp/ https://www.matsumoto-trd.co.jp/2021exhibition/entry/ https://www.matsumoto-trd.co.jp/2021exhibition/greeting/ https://www.matsumoto-trd.co.jp/2021exhibition/freepresentation/Applied for application of
特許法第30条第2項適用申請有り (その9) 展示日 2021年10月6日~2021年10月8日 展示会名 食品開発展2021 開催場所 東京ビッグサイト(東京都江東区有明3-10-1)There is an application for application of
特許法第30条第2項適用申請有り (その10) ウェブサイトの掲載日 2021年9月29日~2021年11月12日 ウェブサイトのアドレス https://www.powtex.com/online/ https://powtex.com/online/expo/exhibitor/5-b13/There is an application for the application of
特許法第30条第2項適用申請有り (その11) 展示日 2021年10月13日~2021年10月15日 展示会名 国際粉体工業展大阪2021 開催場所 インテックス大阪(大阪府大阪市住之江区南港北1-5-102)
特許法第30条第2項適用申請有り (その12) ウェブサイトの掲載日 2021年10月18日~2021年10月29日 ウェブサイトのアドレス https://www.chemmate.jp/online https://www.chemmate.jp/online/exhibitor https://www.chemmate.jp/online/exhibitor/list/5 https://www.chemmate.jp/online/exhibitor/booth/472There is an application for the application of
特許法第30条第2項適用申請有り (その13) ウェブサイトの掲載日 2021年10月18日~2021年10月29日 ウェブサイトのアドレス https://www.chemmate.jp/online https://www.chemmate.jp/ebook/guidebook2021/book/#target/page_no=1 https://www.chemmate.jp/ebook/guidebook2021/book/#target/page_no=25 https://www.chemmate.jp/online/exhibitor/booth/472There is an application for the application of
本発明は、画像を解析する技術に関し、特に、画像内の領域の境界を判別する技術に関する。 The present invention relates to techniques for analyzing images, and more particularly to techniques for determining boundaries of regions in images.
商品や製品の品質や等級を判断するのに、しばしば画像解析の手法が用いられるが、対象物を認識するために、画像内の領域の境界を判別して、色などで対象領域を区別する二値化(セグメンテーション)という処理が行われている。従来の二値化は、主にグレースケールとエッジ検出に基づくルールベースで行われていたが、ピクセル単位で生じるノイズや領域の破れなどに弱く、自動的に二値化できる画像は限られていた。そのため、自動的に二値化できない画像に関しては、人の手で二値化を行っており、膨大な労力と時間がかかっていた。このことが原因で、統計的に信頼性を担保できるデータ量の確保が難しく、また画像データを数値化して信頼性あるデータとして活用することはできなかった。 Image analysis is often used to judge the quality and grade of goods and products, but in order to recognize the target object, the boundary of the area in the image is determined and the target area is distinguished by color etc. A process called binarization (segmentation) is performed. Conventional binarization was performed mainly on a rule-based basis based on grayscale and edge detection, but it is vulnerable to noise that occurs in pixel units and broken areas, and images that can be automatically binarized are limited. rice field. Therefore, for images that cannot be automatically binarized, binarization is performed manually, which takes a huge amount of labor and time. For this reason, it has been difficult to secure an amount of data that can statistically guarantee reliability, and it has not been possible to digitize image data and use it as reliable data.
これに対し、ルールベースのアルゴリズムの代わりに、人工知能によって二値化を行う方法が提案されている。 On the other hand, a method of binarization by artificial intelligence has been proposed instead of a rule-based algorithm.
例えば、特許文献1には、機械学習を用いて、細胞の数と位置を検出する方法が記載されている。特許文献2には、ニューラルネットワークを用いて、処理対象の画像から複数の融合特徴マップを予測することで、物体検出を行う方法が記載されている。特許文献3には、道路と非道路の画像を第一ネットワークで学習し、道路部分を予想させて弱セグメンテーションを出力し、その後第二ネットワークで弱セグメンテーションを学習することで道路の予想を行うという方法が記載されている。
For example, Patent Literature 1 describes a method of detecting the number and position of cells using machine learning.
しかしながら、特許文献1~3に記載の方法では、いずれも機械学習のための教師データをカスタマイズしていないため、十分な量の教師データを用意していたとしても、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合は、二値化の精度向上が困難であるという問題がある。 However, in the methods described in Patent Documents 1 to 3, none of the teacher data for machine learning is customized, so even if a sufficient amount of teacher data is prepared, the learned teacher data If the image quality of the image to be analyzed varies, there is a problem that it is difficult to improve the accuracy of binarization.
本発明は、上記問題を解決するためになされたものであって、画像解析モデルの解析精度を向上させることを課題とする。 SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to improve the analysis accuracy of an image analysis model.
本発明に係る教師データ生成方法は、画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する教師データ生成方法であって、学習用画像を取得する取得ステップと、前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップと、前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成ステップと、を備える。 A teacher data generation method according to the present invention is a teacher data generation method for generating teacher data used in machine learning of an image analysis model for determining boundaries of regions in an image, and includes an acquisition step of acquiring a learning image. a noise adding step of generating a noise image by performing a process of adding noise to the learning image; and a training data generation step for generating
好ましい実施形態によれば、前記処理は、ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれかである。 According to a preferred embodiment, the processing is at least one of blurring, resizing, cropping, brightness processing, contrast processing and horizontal flipping processing.
好ましい実施形態によれば、前記処理は、ぼかし処理である。 According to a preferred embodiment, said processing is a blurring processing.
好ましい実施形態によれば、前記処理は、ブライトネス処理である。 According to a preferred embodiment, said processing is a brightness processing.
好ましい実施形態によれば、前記処理は、ぼかし処理およびブライトネス処理である。 According to a preferred embodiment, said processing is blurring and brightness processing.
好ましい実施形態によれば、前記処理は、ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理である。 According to a preferred embodiment, said processes are blurring, brightness, resizing and contrasting.
好ましい実施形態によれば、前記ノイズ付与ステップでは、各学習用画像に付与する前記ノイズの強さがランダムである。 According to a preferred embodiment, in the noise adding step, the strength of the noise added to each learning image is random.
本発明に係る画像解析モデル生成方法は、上記の教師データ生成方法によって生成された教師データを用いて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルを生成する学習ステップを備える。 The image analysis model generation method according to the present invention performs machine learning using teacher data generated by the above-described teacher data generation method. A learning step is provided for generating an image analysis model that outputs data indicating boundaries.
本発明に係る画像解析方法は、解析対象画像を取得する取得ステップと、上記の画像解析モデル生成方法によって生成された画像解析モデルを用いて、前記解析対象画像内の領域の境界を判別する判別ステップと、を備える。 An image analysis method according to the present invention includes an acquisition step of acquiring an analysis target image; a step;
本発明に係る教師データ生成プログラムは、コンピュータに上記の教師データ生成方法の各ステップを実行させる。 A training data generation program according to the present invention causes a computer to execute each step of the training data generation method described above.
本発明に係る画像解析プログラムは、コンピュータに上記の画像解析方法の各ステップを実行させる。 An image analysis program according to the present invention causes a computer to execute each step of the above image analysis method.
本発明に係る教師データ生成装置は、画像内の領域の境界を判別するための画像解析モデルの学習に用いる教師データを生成する教師データ生成装置であって、学習用画像を取得する取得部と、前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与部と、前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成部と、を備える。 A teacher data generation device according to the present invention is a teacher data generation device that generates teacher data used for learning an image analysis model for determining boundaries of regions in an image, and comprises: an acquisition unit that acquires a learning image; a noise adding unit that generates a noise image by performing a process of adding noise to the learning image; and a training data generation unit that generates the training data.
本発明によれば、画像解析モデルの解析精度を向上させることができる。 According to the present invention, it is possible to improve the analysis accuracy of the image analysis model.
以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, this invention is not limited to the following embodiment.
(全体構成)
図1は、本発明の一実施形態に係る画像解析モデル生成システム1の概略構成を示すブロック図である。画像解析モデル生成システム1は、本実施形態に係る画像解析モデル生成方法によって、画像内の領域の境界を判別するための画像解析モデルを生成するシステムであり、教師データ生成装置2と、機械学習装置3とを備える。
(overall structure)
FIG. 1 is a block diagram showing a schematic configuration of an image analysis model generation system 1 according to one embodiment of the present invention. The image analysis model generation system 1 is a system for generating an image analysis model for determining boundaries of regions in an image by the image analysis model generation method according to the present embodiment. a
(教師データ生成)
教師データ生成装置2は、本実施形態に係る教師データ生成方法によって、画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する装置である。教師データ生成装置2は、汎用のコンピュータで構成することができ、ハードウェア構成として、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置20を備えている。補助記憶装置20には、複数の学習用画像D1や、教師データ生成プログラムなどの教師データ生成装置2を動作させるための各種プログラムが格納されている。
(Teacher data generation)
The teacher
学習用画像D1は、教師データを生成するためのサンプルとなる画像であり、画像内に複数の領域を含む画像であればよい。図2(a)~(c)は、学習用画像D1の一例である。各画像内には多数の微粒子が含まれている。学習用画像D1の個数は特に限定されないが、機械学習が十分に実行可能な数であることが好ましい。 The learning image D1 is an image that serves as a sample for generating teacher data, and may be any image that includes a plurality of areas within the image. FIGS. 2A to 2C are examples of the learning image D1. Each image contains a large number of particles. Although the number of learning images D1 is not particularly limited, it is preferable that the number is sufficient for machine learning.
また、教師データ生成装置2は、機能ブロックとして、取得部21と、境界データ生成部22と、ノイズ付与部23と、ラベリング部24とを備えている。本実施形態において、これらの各部は、教師データ生成装置2のプロセッサが教師データ生成プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。
The teacher
取得部21は、学習用画像D1を取得する機能ブロックである。本実施形態では、取得部21は、補助記憶装置20から学習用画像D1を読み出すことにより取得するが、外部との通信回線や記録媒体を介して学習用画像D1を取得してもよい。
The
境界データ生成部22は、学習用画像D1内の領域の境界を示す境界データを生成する機能ブロックである。本実施形態では、境界データ生成部22は、図示しない入力装置を介したユーザの操作により、学習用画像D1内の各領域を白で表示し、それ以外の部分を黒で表示することにより、境界データを作成する。境界データは、学習用画像D1における領域の境界を示す正解データとなる。
The
図3(a)~(c)はそれぞれ、図2(a)~(c)に示す学習用画像D1から生成された境界データの一例である。図3(a)に示す境界データでは、比較的輝度の高い表層部の微粒子によって画定される部分が白で表示され、それ以外の部分(領域の境界、表層部以外の微粒子)は黒で表示される。図3(b)に示す境界データでは、矩形の粒子に該当する部分が白で表示され、それ以外の部分は黒で表示される。図3(c)に示す境界データでは、一定以上の大きさの粒子に該当する部分が白で表示され、それ以外の部分は黒で表示される。なお、境界データの態様はこれに限定されず、例えば、領域の境界のみを線で表示し、その他の部分を白等で塗りつぶしたようなデータであってもよい。 FIGS. 3A to 3C are examples of boundary data generated from the learning images D1 shown in FIGS. 2A to 2C, respectively. In the boundary data shown in FIG. 3(a), the portion defined by the fine particles in the surface layer portion with relatively high brightness is displayed in white, and the other portions (boundary of the region, fine particles other than the surface layer portion) are displayed in black. be done. In the boundary data shown in FIG. 3B, the portions corresponding to the rectangular particles are displayed in white, and the other portions are displayed in black. In the boundary data shown in FIG. 3(c), portions corresponding to particles of a certain size or larger are displayed in white, and other portions are displayed in black. Note that the form of the boundary data is not limited to this. For example, it may be data in which only the boundary of the area is displayed with a line and the other portion is filled with white or the like.
図1に示すノイズ付与部23は、学習用画像D1にノイズを付与する処理を行うことによりノイズ画像を生成する機能ブロックである。ノイズを付与する処理の詳細については、後述する。
The
ラベリング部24は、ノイズ付与部23によってノイズを付与されたノイズ画像と、境界データ生成部22によって生成された境界データとを対応付けて教師データD2を生成する機能ブロックである。教師データD2は、補助記憶装置20に蓄積され、その後、学習データセットとして機械学習装置3に転送される。
The
(機械学習)
機械学習装置3は、機械学習によって画像解析モデルMを生成する装置である。機械学習装置3は、汎用のコンピュータで構成することができ、教師データ生成装置2と同様に、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置30を備えている。補助記憶装置30には、教師データ生成装置2から転送された教師データD2や、機械学習装置3を動作させるための各種プログラム等が格納されている。
(machine learning)
The
なお、本実施形態では、機械学習装置3はクラウド上に設けられているが、教師データ生成装置2と同じ場所に設置してもよいし、あるいは、教師データ生成装置2と機械学習装置3とを一体的に構成してもよい。
Although the
機械学習装置3は、機能ブロックとして学習部31を備えている。学習部31は、教師データD2に基づいて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルMを生成する。学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。生成された画像解析モデルMは、補助記憶装置30に格納され、その後、画像解析のために用いられる。
The
(画像解析)
図4は、本実施形態に係る画像解析装置4のブロック図である。画像解析装置4は、解析対象画像を解析する画像解析方法を実行するために用いられる装置であり、汎用のコンピュータで構成することができる。画像解析装置4は、ハードウェア構成として、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置40を備えている。
(image analysis)
FIG. 4 is a block diagram of the
補助記憶装置40には、図1に示す画像解析モデル生成システム1(本実施形態に係る画像解析モデル生成方法)によって生成された画像解析モデルMおよび解析対象画像D3の他、画像解析プログラムなどの画像解析装置4を動作させるための各種プログラムが格納されている。解析対象画像D3は、例えば画像解析の依頼者から画像解析装置4に送信されたものである。
In the
画像解析装置4は、機能ブロックとして、画像解析部41と、二値化処理部42とを備えている。本実施形態において、これらの各部は、画像解析装置4のプロセッサが画像解析プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。
The
画像解析部41は、画像解析モデルMを用いて、解析対象画像D3内の領域の境界を判別する機能ブロックである。本実施形態では、画像解析部41は、補助記憶装置40から解析対象画像D3および画像解析モデルMを主記憶装置に読み出す。図5は、解析対象画像D3の一例である。
The
続いて、画像解析部41は、解析対象画像D3を画像解析モデルMに入力し、これに対して、画像解析モデルMは、解析対象画像D3内の領域の境界を示すデータを出力する。当該データは、図3に示すような、領域に該当する部分が白で表示され、それ以外の部分が黒で表示された画像である。なお、当該データは白黒という色に限定されず、また画像ではなくバイナリデータであってもよい。画像解析部41は、画像解析モデルMの出力データを二値化処理部42に入力する。
Subsequently, the
二値化処理部42は、画像解析部41が出力したデータに基づき、解析対象画像D3において、判別された境界によって区分される領域を認識し、認識した領域を着色やラベル付け、またはこれらを同時に表示することにより、二値化画像D4を生成する。二値化画像D4は、補助記憶装置40に格納され、その後、解析結果として画像解析の依頼者に送信される。
Based on the data output by the
また、画像解析部41の境界データは二値化のみならず、三値化やそれ以上の境界データであってもよく、二値化処理部42では、境界数に応じた着色やラベル付けが可能である。
The boundary data of the
図6は、二値化画像D4の一例である。二値化画像D4では、認識された領域が着色されている。なお、画像解析装置4において、二値化処理部42は必須構成ではなく、画像解析モデルMの出力データ、すなわち、図3に示す境界データと同様のデータを解析結果としてもよい。
FIG. 6 is an example of the binarized image D4. In the binarized image D4, the recognized area is colored. In the
(ノイズ付与処理)
従来の方法では、教師データを生成する際に、学習用画像にノイズを付与することなく、境界データとラベリングしていた。そのため、例えば、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合は、画像解析モデルによって解析対象画像内の領域を認識する精度が低いという問題があった。そこで、本実施形態では、二値化画像D4における領域の認識率を向上させるために、教師データ生成装置2において、ノイズ付与部23が学習用画像D1にノイズを付与している。
(noise addition processing)
In the conventional method, boundary data are labeled without imparting noise to learning images when generating teacher data. Therefore, for example, when there is variation in the image quality of the image to be analyzed with respect to the learned teacher data, there is a problem that the accuracy of recognizing the area in the image to be analyzed by the image analysis model is low. Therefore, in the present embodiment, in order to improve the recognition rate of the area in the binarized image D4, the
以下、教師データ生成装置2のノイズ付与部23によるノイズ付与処理について説明する。本実施形態におけるノイズ付与処理は、ぼかし処理(Blur)、リサイズ処理(Risize)、クロップ処理(Crop)、ブライトネス処理(Brightness)、コントラスト処理(Contrast)、左右反転処理(Hflip)の6種類であるが、本発明ではこれらに限定されない。
Noise addition processing by the
ぼかし処理は、学習用画像D1にぼかしフィルターをかけることにより、画像の解像度を低下させる処理である。リサイズ処理は、画像のサイズを縮小する処理である。クロップ処理は、画像の一部を切り取る処理である。ブライトネス処理は、画像の輝度を変更(低下または上昇)する処理である。コントラスト処理は、画像のコントラストを変更(低下または上昇)する処理である。左右反転処理は、画像の向きを左右反転させる処理である。ノイズ付与部23は、1つの学習用画像D1に対し、これらの処理の少なくともいずれかを行うことにより、ノイズ画像を生成する。
The blurring process is a process of reducing the resolution of the image by applying a blurring filter to the learning image D1. Resize processing is processing for reducing the size of an image. Crop processing is processing for cutting out part of an image. Brightness processing is processing that changes (decreases or increases) the brightness of an image. Contrast processing is processing that alters (reduces or increases) the contrast of an image. The horizontal reversal process is a process for horizontally reversing the orientation of an image. The
図7は、ノイズ画像の一例である。このノイズ画像は、図2(a)に示す学習用画像D1に対し、左右反転処理、ぼかし処理、コントラスト処理(コントラスト低下)、ブライトネス処理(ブライトネス上昇)、クロップ処理およびリサイズ処理をこの順で行うことにより生成されたものである。 FIG. 7 is an example of a noise image. This noise image is obtained by subjecting the learning image D1 shown in FIG. 2A to left-right reversal processing, blurring processing, contrast processing (lowering contrast), brightness processing (increasing brightness), cropping processing, and resizing processing in this order. It was generated by
ノイズ画像はラベリング部24によって境界データと対応付けられることにより、教師データD2が生成され、機械学習装置3における学習により、画像解析モデルMが生成される。このようにして生成された画像解析モデルMは、ノイズが付与されたノイズ画像を用いて学習されたものであるため、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合であっても、高精度で解析対象画像を解析することができる。
The noise image is associated with the boundary data by the
なお、1つの学習用画像D1に対し、上記6種類のノイズ処理を全て行ってもよいが、単独のノイズまたは複数のノイズの組み合わせに係るノイズ処理を行ってもよい。例えば、後述する実施例に示すように、
・ぼかし処理のみ
・ブライトネス処理のみ
・ぼかし処理およびブライトネス処理のみ
・ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理のみ
であっても、十分に高精度な画像解析モデルを生成することができる。
All of the six types of noise processing may be performed on one learning image D1, or noise processing relating to a single noise or a combination of a plurality of noises may be performed. For example, as shown in the examples below,
・Blurring processing only ・Brightness processing only ・Blurring processing and brightness processing only ・Even if only blurring processing, brightness processing, resizing processing, and contrast processing are performed, a sufficiently high-precision image analysis model can be generated.
また、各学習用画像D1に付与するノイズの強さをランダムに変化させるのが好ましい。すなわち、ノイズ付与部23は、付与するノイズの強さを学習用画像D1ごとにランダムに変化させてもよい。このようにして生成されたノイズ画像を用いて画像解析モデルMを学習されることにより、画質にバラツキのある解析対象画像に対しても、高精度に解析できる画像解析モデルを生成することができる。
Moreover, it is preferable to randomly change the strength of the noise to be added to each learning image D1. That is, the
(処理手順)
以下、本実施形態に係る画像解析モデル生成方法の処理手順について、図8に示すフローチャートを用いて説明する。画像解析モデル生成方法は、図1に示す画像解析モデル生成システム1によって実行される。
(Processing procedure)
The processing procedure of the image analysis model generation method according to this embodiment will be described below using the flowchart shown in FIG. The image analysis model generation method is executed by the image analysis model generation system 1 shown in FIG.
ステップS1(取得ステップ)では、教師データ生成装置2の取得部21が補助記憶装置20から学習用画像D1を取得する。続いて、ステップS2において、境界データ生成部22が学習用画像D1内の領域の境界を示す境界データを生成し、ステップS3(ノイズ付与ステップ)において、ノイズ付与部23が学習用画像D1にノイズを付与する処理を行うことによりノイズ画像を生成する。なお、ステップS2とステップS3の順序は特に限定されない。
In step S<b>1 (acquisition step), the
続いて、ステップS4(教師データ生成ステップ)において、ラベリング部24がノイズ画像と境界データとを対応付けて教師データD2を生成する。
Subsequently, in step S4 (teaching data generating step), the
ステップS1~S4によって、1つの学習用画像D1から1つの教師データD2が生成される。全ての学習用画像D1が処理されるまでステップS1~S4を繰り返し(ステップS5においてYES)、その後、ステップS6(学習ステップ)に移行する。 Through steps S1 to S4, one piece of teacher data D2 is generated from one learning image D1. Steps S1 to S4 are repeated until all learning images D1 are processed (YES in step S5), and then the process proceeds to step S6 (learning step).
ステップS6では、機械学習装置3の学習部31が教師データD2に基づいて機械学習を行うことにより、画像解析モデルMを生成する。
In step S6, the
(付記事項)
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、上記実施形態では、ノイズ付与部23によるノイズ付与処理は、ぼかし処理などの6種類であったが、これらに限らず、直線ノイズ処理(画像内に任意の長さ、幅の直線を任意数与える処理)、ドロップ処理(画像の任意のサイズと数の部分を欠落させる処理)、回転処理(画像を任意角度回転させる処理)、色処理(画像の色を任意の範囲で変更する処理)などを含んでもよい。
(Additional notes)
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications are possible without departing from the scope of the invention. For example, in the above-described embodiment, the noise addition processing by the
本発明を詳細に説明するために以下に具体例を挙げるが、本発明はこれに限定されるものではない。 Specific examples are given below to describe the present invention in detail, but the present invention is not limited thereto.
(画像解析モデルの生成)
本実施例では、各モデルで共通する97枚の学習用画像に異なるノイズ処理(ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれか)を施すことによりノイズ画像を生成し、あらかじめ用意した境界データと対応付けることにより教師データを生成し、さらに、当該教師データを用いて機械学習(ディープラーニング)を行い、15の画像解析モデルM1~M15を生成した。また、比較例として、ノイズ処理を施していない上記の学習用画像に境界データを対応付けることにより教師データを生成し、当該教師データを用いて機械学習(ディープラーニング)を行い、画像解析モデルM0を生成した。
(Generation of image analysis model)
In this embodiment, 97 learning images common to each model are subjected to different noise processing (at least one of blur processing, resizing processing, crop processing, brightness processing, contrast processing, and left-right inversion processing) to obtain a noise image. is generated and associated with boundary data prepared in advance to generate teacher data, and machine learning (deep learning) is performed using the teacher data to generate 15 image analysis models M1 to M15. In addition, as a comparative example, teacher data is generated by associating boundary data with the above learning image that has not undergone noise processing, machine learning (deep learning) is performed using the teacher data, and an image analysis model M0 is generated. generated.
画像解析モデルM1~M15、M0の学習に用いた学習用画像D1に付与されたノイズの有無または強弱を、表1および表2に示す。 Tables 1 and 2 show the presence or absence or strength of noise given to the learning image D1 used for learning the image analysis models M1 to M15 and M0.
上記各表において、リサイズ、クロップおよび左右反転の各ノイズについては、付与の有無(Yes/No)のみ示しており、リサイズ、クロップの各ノイズの強さは一定とした。リサイズ処理では、画像の縦横をいずれも0.5倍に縮小した。クロップ処理では、縦横0.5×0.5のサイズで切り取った。 In each of the above tables, for each noise of resizing, cropping, and left/right inversion, only presence/absence of addition (Yes/No) is shown, and the strength of each noise of resizing and cropping is constant. In the resizing process, both the vertical and horizontal dimensions of the image were reduced by 0.5 times. In the cropping process, it was cut to a size of 0.5×0.5.
ぼかし、ブライトネスおよびコントラストの各ノイズは、モデル毎に強弱を変えて付与した。 Blurring, brightness, and contrast noise were applied with different strengths for each model.
ぼかしの強さは、学習用画像に、ぼかしフィルターをかける回数によって制御した。「Low」は1回、「Middle」は2回を意味する。ぼかしフィルターには平均化フィルターを使用し、カーネル(平均化する際の値を取る範囲)は5×5であった。また、「Arbitrarily」は、学習用画像によってぼかしフィルターをかける回数を1~2回の範囲で任意に異ならせたことを意味する。 The intensity of blurring was controlled by the number of times the training image was filtered. "Low" means once, and "Middle" means twice. An averaging filter was used for the blurring filter, and the kernel (range of values for averaging) was 5×5. "Arbitrarily" means that the number of times the blurring filter is applied is arbitrarily changed within the range of 1 to 2 depending on the learning image.
ブライトネスについて、元の学習用画像を1とすると、「Low」は、0.8~1.2の範囲で、「Middle」は、0.5~1.5の範囲で、「High」は、0.3~1.7の範囲で、「Higher」は、0.1~2.0の範囲で、各画像ごとにブライトネスをランダムに変えることを意味する。 Regarding brightness, if the original learning image is 1, "Low" is in the range of 0.8 to 1.2, "Middle" is in the range of 0.5 to 1.5, and "High" is in the range of 0.5 to 1.5. It ranges from 0.3 to 1.7, and "Higher" means randomly varying brightness for each image, ranging from 0.1 to 2.0.
コントラストについて、元の学習用画像を1とすると、「Middle」は、0.5~1.5の範囲で、「High」は、0.3~1.7の範囲で、「Higher」は、0.1~2.0の範囲で、画像ごとにコントラストをランダムに変えることを意味する。 Regarding the contrast, if the original learning image is 1, "Middle" is in the range of 0.5 to 1.5, "High" is in the range of 0.3 to 1.7, and "Higher" is It means that the contrast is randomly changed for each image within the range of 0.1 to 2.0.
(画像解析)
続いて、図9(a)~(j)に示す10の解析対象画像A~Jを画像解析モデルM1~M15、M0に入力し、各画像解析モデルからの出力データに対し二値化処理を行うことにより、二値化画像を生成した。
(image analysis)
Subsequently, 10 images A to J to be analyzed shown in FIGS. 9A to 9J are input to the image analysis models M1 to M15 and M0, and the output data from each image analysis model is binarized. generated a binarized image.
図10~図13に、画像解析モデルM1~M15およびM0が解析対象画像A~Jを解析したデータを二値化した二値化画像を示す。各二値化画像では、領域として認識された部分が着色されている。 10 to 13 show binarized images obtained by binarizing the data obtained by analyzing the images A to J to be analyzed by the image analysis models M1 to M15 and M0. In each binarized image, portions recognized as regions are colored.
画像解析モデルM1~M15およびM0に対応する二値化画像における、領域の認識数を表3および表4に示す。 Tables 3 and 4 show the number of recognized regions in the binarized images corresponding to the image analysis models M1 to M15 and M0.
さらに、画像解析モデルM1~M15の認識数の、画像解析モデルM0の認識数に対する比率を、表5および表6に示す。 Furthermore, Tables 5 and 6 show the ratio of the number of recognitions of the image analysis models M1 to M15 to the number of recognitions of the image analysis model M0.
本実施例に係る画像解析モデルM1~M15はいずれも、比較例に係る画像解析モデルM0に比べ、認識数が向上する傾向にあった。よって、学習用画像へのノイズ処理によって、画像解析モデルの解析精度を向上させることができることが分かる。特に、画像解析モデルM11~14の結果から、ノイズ処理が、
・ぼかし処理のみ
・ブライトネス処理のみ
・ぼかし処理およびブライトネス処理のみ
・ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理のみ
であっても、十分に高精度な画像解析モデルを生成することができることが分かる。
All of the image analysis models M1 to M15 according to the present example tended to improve the number of recognitions compared to the image analysis model M0 according to the comparative example. Therefore, it can be seen that the analysis accuracy of the image analysis model can be improved by performing noise processing on the learning image. In particular, from the results of image analysis models M11 to M14, noise processing is
・Blurring processing only ・Brightness processing only ・Blurring processing and brightness processing only .
また、画像解析モデルM1~M3を比較すると、ぼかしの強さは、LowまたはArbitrarilyが有効であり、画像解析モデルM4~M6を比較すると、ブライトネスはLowまたはHigherが有効であり、画像解析モデルM7~M9を比較すると、コントラストはNoまたはHigherが有効であることがわかる。 Further, when the image analysis models M1 to M3 are compared, Low or Arbitrarily is effective for blur intensity. When comparing the image analysis models M4 to M6, Low or High is effective for brightness. ˜M9, it can be seen that No or Higher contrast is effective.
また、汎化性能(画像の種類による解析の得手/不得手)については、画像解析モデルM1~M4、M6、M7、M9、M12~M15が高いと認められる。 In addition, the image analysis models M1 to M4, M6, M7, M9, and M12 to M15 are found to have high generalization performance (strength/weakness in analysis depending on image type).
1 画像解析モデル生成システム
2 教師データ生成装置
20 補助記憶装置
21 取得部
22 境界データ生成部
23 ノイズ付与部
24 ラベリング部
3 機械学習装置
30 補助記憶装置
31 学習部
4 画像解析装置
40 補助記憶装置
41 画像解析部
42 二値化処理部
D1 学習用画像
D2 教師データ
D3 解析対象画像
D4 二値化画像
M 画像解析モデル
1 Image analysis
Claims (12)
学習用画像を取得する取得ステップと、
前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップと、
前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成ステップと、
を備える、教師データ生成方法。 A teacher data generation method for generating teacher data used in machine learning of an image analysis model for determining boundaries of regions in an image,
an acquisition step of acquiring training images;
a noise adding step of generating a noise image by performing a process of adding noise to the learning image;
a training data generation step of generating training data by associating the noise image with boundary data indicating boundaries of regions in the learning image;
A teacher data generation method comprising:
請求項8に記載の画像解析モデル生成方法によって生成された画像解析モデルを用いて、前記解析対象画像内の領域の境界を判別する判別ステップと、
を備える、画像解析方法。 an acquisition step of acquiring an image to be analyzed;
A determination step of determining boundaries of regions in the image to be analyzed using the image analysis model generated by the image analysis model generation method according to claim 8;
An image analysis method comprising:
学習用画像を取得する取得部と、
前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与部と、
前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成部と、
を備える、教師データ生成装置。 A training data generation device for generating training data used for learning an image analysis model for determining boundaries of regions in an image,
an acquisition unit that acquires a learning image;
a noise adding unit that generates a noise image by performing a process of adding noise to the learning image;
a training data generation unit that generates training data by associating the noise image with boundary data indicating boundaries of regions in the learning image;
A teacher data generation device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021175579A JP2023065028A (en) | 2021-10-27 | 2021-10-27 | Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021175579A JP2023065028A (en) | 2021-10-27 | 2021-10-27 | Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023065028A true JP2023065028A (en) | 2023-05-12 |
Family
ID=86281953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021175579A Pending JP2023065028A (en) | 2021-10-27 | 2021-10-27 | Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023065028A (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016038732A (en) * | 2014-08-07 | 2016-03-22 | キヤノン株式会社 | Information processing apparatus, control method thereof, and computer program |
JP2019046269A (en) * | 2017-09-04 | 2019-03-22 | 株式会社Soat | Machine learning training data generation |
WO2019208037A1 (en) * | 2018-04-24 | 2019-10-31 | 株式会社島津製作所 | Image analysis method, segmentation method, bone density measurement method, learning model creation method, and image creation device |
JP2020014799A (en) * | 2018-07-27 | 2020-01-30 | コニカミノルタ株式会社 | X-ray image object recognition system |
JP2020021228A (en) * | 2018-07-31 | 2020-02-06 | キヤノン株式会社 | Information processing device, information processing method, and program |
JP2020034998A (en) * | 2018-08-27 | 2020-03-05 | 日本電信電話株式会社 | Expansion device, expansion method and expansion program |
WO2021209867A1 (en) * | 2020-04-17 | 2021-10-21 | 株式会社半導体エネルギー研究所 | Classification device, image classification method, and pattern inspection device |
-
2021
- 2021-10-27 JP JP2021175579A patent/JP2023065028A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016038732A (en) * | 2014-08-07 | 2016-03-22 | キヤノン株式会社 | Information processing apparatus, control method thereof, and computer program |
JP2019046269A (en) * | 2017-09-04 | 2019-03-22 | 株式会社Soat | Machine learning training data generation |
WO2019208037A1 (en) * | 2018-04-24 | 2019-10-31 | 株式会社島津製作所 | Image analysis method, segmentation method, bone density measurement method, learning model creation method, and image creation device |
JP2020014799A (en) * | 2018-07-27 | 2020-01-30 | コニカミノルタ株式会社 | X-ray image object recognition system |
JP2020021228A (en) * | 2018-07-31 | 2020-02-06 | キヤノン株式会社 | Information processing device, information processing method, and program |
JP2020034998A (en) * | 2018-08-27 | 2020-03-05 | 日本電信電話株式会社 | Expansion device, expansion method and expansion program |
WO2021209867A1 (en) * | 2020-04-17 | 2021-10-21 | 株式会社半導体エネルギー研究所 | Classification device, image classification method, and pattern inspection device |
Non-Patent Citations (2)
Title |
---|
CHENG CHEN ET AL.: ""Scene segmentation of remotely sensed images with data augmentation using U-net++"", 2021 INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND ARTIFICIAL INTELLIGENCE (ICCEAI), JPN6022042826, 27 August 2021 (2021-08-27), US, pages 201 - 205, XP033980430, ISSN: 0005029202, DOI: 10.1109/ICCEAI52939.2021.00039 * |
V V SRINIDHI ET AL.: ""Plant Pathology Disease Detection in Apple Leaves Using Deep Convolutional Neural Networks : Apple", 2021 5TH INTERNATIONAL CONFERENCE ON COMPUTING METHODOLOGIES AND COMMUNICATION (ICCMC), JPN6022042827, 8 April 2021 (2021-04-08), US, pages 1119 - 1127, XP033910869, ISSN: 0005029203, DOI: 10.1109/ICCMC51019.2021.9418268 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657602B2 (en) | Font identification from imagery | |
US10977513B2 (en) | Method, system and computer readable storage medium for identifying information carried on sheet | |
CN107690657B (en) | Trade company is found according to image | |
US10423827B1 (en) | Image text recognition | |
US20160364633A1 (en) | Font recognition and font similarity learning using a deep neural network | |
US20190205700A1 (en) | Multiscale analysis of areas of interest in an image | |
CN110414344B (en) | Character classification method based on video, intelligent terminal and storage medium | |
CN112906463A (en) | Image-based fire detection method, device, equipment and storage medium | |
CN107004265A (en) | Information processor, the method for processing information, discriminator generating means, the method and program for generating discriminator | |
CN112434555B (en) | Key value pair region identification method and device, storage medium and electronic equipment | |
CN112767354A (en) | Defect detection method, device and equipment based on image segmentation and storage medium | |
CN112883926A (en) | Identification method and device for table medical images | |
CN111738252B (en) | Text line detection method, device and computer system in image | |
CN113762257A (en) | Identification method and device for marks in makeup brand images | |
CN111753729B (en) | False face detection method and device, electronic equipment and storage medium | |
CN117115823A (en) | Tamper identification method and device, computer equipment and storage medium | |
JP2023065028A (en) | Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device | |
CN112784189A (en) | Method and device for identifying page image | |
US11893784B2 (en) | Assessment of image quality for optical character recognition using machine learning | |
CN110851349B (en) | Page abnormity display detection method, terminal equipment and storage medium | |
Mohsin et al. | Convolutional neural networks for real-time wood plank detection and defect segmentation | |
CN114399497A (en) | Text image quality detection method and device, computer equipment and storage medium | |
JP2024501444A (en) | Detecting suitable image spaces for overlaying media content | |
CN111680722B (en) | Content identification method, device, equipment and readable storage medium | |
Zheng et al. | Recognition of expiry data on food packages based on improved DBNet |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20211125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220804 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230404 |