JP2023065028A - Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device - Google Patents

Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device Download PDF

Info

Publication number
JP2023065028A
JP2023065028A JP2021175579A JP2021175579A JP2023065028A JP 2023065028 A JP2023065028 A JP 2023065028A JP 2021175579 A JP2021175579 A JP 2021175579A JP 2021175579 A JP2021175579 A JP 2021175579A JP 2023065028 A JP2023065028 A JP 2023065028A
Authority
JP
Japan
Prior art keywords
image
processing
image analysis
noise
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021175579A
Other languages
Japanese (ja)
Inventor
将隆 窪内
Masataka Kubouchi
拓磨 西本
Takuma Nishimoto
晴信 齋藤
Harunobu Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sakai Chemical Industry Co Ltd
Original Assignee
Sakai Chemical Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sakai Chemical Industry Co Ltd filed Critical Sakai Chemical Industry Co Ltd
Priority to JP2021175579A priority Critical patent/JP2023065028A/en
Publication of JP2023065028A publication Critical patent/JP2023065028A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To improve analysis accuracy of an image analysis model.SOLUTION: A teacher data production method which produces teacher data D2 used in machine learning of an image analysis model M for distinguishing a boundary of a region in an image includes: an acquisition step S1 of acquiring learning images D1; a noise provision step S3 of performing processing of providing the learning images D1 with noise to thereby produce noise images; and a teacher data production step S4 of associating the noise images with boundary data showing a boundary of a region in the learning images D1 to produce the teacher data D2.SELECTED DRAWING: Figure 1

Description

特許法第30条第2項適用申請有り (その1) ウェブサイトの掲載日 2020年3月10日 ウェブサイトのアドレス http://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/index.htmlApplied for application of Article 30, Paragraph 2 of the Patent Act (No. 1) Date of publication on website March 10, 2020 Website address http://www. sakai-chem. co. jp/jp/ http://www.jp/jp/ sakai-chem. co. jp/jp/kaiseki/index. html

特許法第30条第2項適用申請有り (その2) ウェブサイトの掲載日 2020年3月12日 ウェブサイトのアドレス http://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/index.htmlApplied for application of Article 30, Paragraph 2 of the Patent Law (No. 2) Date of publication on website March 12, 2020 Website address http://www. sakai-chem. co. jp/jp/ http://www.jp/jp/ sakai-chem. co. jp/jp/kaiseki/index. html

特許法第30条第2項適用申請有り (その3) ウェブサイトの掲載日 2020年3月10日 ウェブサイトのアドレス http://www.sakai-chem.co.jp/jp/ http://www.sakai-chem.co.jp/jp/kaiseki/index.html http://www.sakai-chem.co.jp/jp/kaiseki/pdf/kaiseki_pdf01.pdfApplied for application of Article 30, Paragraph 2 of the Patent Law (No. 3) Date of publication on website March 10, 2020 Website address http://www. sakai-chem. co. jp/jp/ http://www.jp/jp/ sakai-chem. co. jp/jp/kaiseki/index. html http://www. sakai-chem. co. jp/jp/kaiseki/pdf/kaiseki_pdf01. pdf

特許法第30条第2項適用申請有り (その4) ウェブサイトの掲載日 2021年6月14日 ウェブサイトのアドレス https://www.youtube.com/watch?v=GPYbAVEQrUIApplied for application of Article 30, Paragraph 2 of the Patent Law (No. 4) Date of posting on website June 14, 2021 Website address https://www. youtube. com/watch? v=GPYbAVEQrUI

特許法第30条第2項適用申請有り (その5) 展示日 2021年5月19日~2021年5月21日 展示会名 CITE JAPAN第10回化粧品産業技術展 開催場所 パシフィコ横浜(神奈川県横浜市西区みなとみらい1-1-1)Application for application of Article 30, Paragraph 2 of the Patent Act (Part 5) Exhibition date May 19, 2021 to May 21, 2021 Exhibition name CITE JAPAN 10th Cosmetic Industrial Technology Exhibition Venue Pacifico Yokohama (Yokohama, Kanagawa Prefecture) 1-1-1 Minatomirai, Nishi-ku)

特許法第30条第2項適用申請有り (その6) ウェブサイトの掲載日 2021年6月16日~2021年6月18日 ウェブサイトのアドレス https://www.japan-it-online.jp/ja-jp.html https://www.japan-it-online.jp/ja-jp/about/ai.htmlApplied for application of Article 30, Paragraph 2 of the Patent Law (No. 6) Posting date of website June 16, 2021 to June 18, 2021 Website address https://www. japan-it-online. jp/ja-jp. html https://www. japan-it-online. jp/ja-jp/about/ai. html

特許法第30条第2項適用申請有り (その7) ウェブサイトの掲載日 2021年8月4日~2021年9月3日 (再公開)2021年10月22日~2021年11月26日 ウェブサイトのアドレス https://www.matsumoto-trd.co.jp/ https://www.matsumoto-trd.co.jp/2021exhibition/entry/ https://www.matsumoto-trd.co.jp/2021exhibition/greeting/ https://www.matsumoto-trd.co.jp/2021-exhibition/sak.htmlApplied for application of Article 30, Paragraph 2 of the Patent Law (Part 7) Date of publication on website August 4, 2021 to September 3, 2021 (Republished) October 22, 2021 to November 26, 2021 Website address https://www. matsumoto-trd. co. jp/https://www. matsumoto-trd. co. jp/2021exhibition/entry/https://www. matsumoto-trd. co. jp/2021exhibition/greeting/ https://www. matsumoto-trd. co. jp/2021-exhibition/sak. html

特許法第30条第2項適用申請有り (その8) ウェブサイトの掲載日 2021年8月4日~2021年9月3日 (再公開)2021年10月22日~2021年11月26日 ウェブサイトのアドレス https://www.matsumoto-trd.co.jp/ https://www.matsumoto-trd.co.jp/2021exhibition/entry/ https://www.matsumoto-trd.co.jp/2021exhibition/greeting/ https://www.matsumoto-trd.co.jp/2021exhibition/freepresentation/Applied for application of Article 30, Paragraph 2 of the Patent Act (Part 8) Date of publication on website August 4, 2021 to September 3, 2021 (Republished) October 22, 2021 to November 26, 2021 Website address https://www. matsumoto-trd. co. jp/https://www. matsumoto-trd. co. jp/2021exhibition/entry/https://www. matsumoto-trd. co. jp/2021exhibition/greeting/ https://www. matsumoto-trd. co. jp/2021exhibition/free presentation/

特許法第30条第2項適用申請有り (その9) 展示日 2021年10月6日~2021年10月8日 展示会名 食品開発展2021 開催場所 東京ビッグサイト(東京都江東区有明3-10-1)There is an application for application of Article 30, Paragraph 2 of the Patent Act (Part 9) Exhibition date October 6, 2021 to October 8, 2021 Exhibition name Food Development Exhibition 2021 Venue Tokyo Big Sight (3-Ariake, Koto-ku, Tokyo) 10-1)

特許法第30条第2項適用申請有り (その10) ウェブサイトの掲載日 2021年9月29日~2021年11月12日 ウェブサイトのアドレス https://www.powtex.com/online/ https://powtex.com/online/expo/exhibitor/5-b13/There is an application for the application of Article 30, Paragraph 2 of the Patent Act (No. 10) Website publication date September 29, 2021 to November 12, 2021 Website address https://www. powtex. com/online/https://powtex. com/online/expo/exhibitor/5-b13/

特許法第30条第2項適用申請有り (その11) 展示日 2021年10月13日~2021年10月15日 展示会名 国際粉体工業展大阪2021 開催場所 インテックス大阪(大阪府大阪市住之江区南港北1-5-102)Patent Law Article 30, Paragraph 2 Application Applied (Part 11) Exhibition Date October 13, 2021 to October 15, 2021 Exhibition Name International Powder Industry Exhibition Osaka 2021 Venue Intex Osaka (Suminoe, Osaka City, Osaka Prefecture) 1-5-102 Nankohoku, Ward)

特許法第30条第2項適用申請有り (その12) ウェブサイトの掲載日 2021年10月18日~2021年10月29日 ウェブサイトのアドレス https://www.chemmate.jp/online https://www.chemmate.jp/online/exhibitor https://www.chemmate.jp/online/exhibitor/list/5 https://www.chemmate.jp/online/exhibitor/booth/472There is an application for the application of Article 30, Paragraph 2 of the Patent Law (No. 12) Website publication date October 18, 2021 to October 29, 2021 Website address https://www. chemmate. jp/online https://www. chemmate. jp/online/exhibitor https://www. chemmate. jp/online/exhibitor/list/5 https://www. chemmate. jp/online/exhibitor/booth/472

特許法第30条第2項適用申請有り (その13) ウェブサイトの掲載日 2021年10月18日~2021年10月29日 ウェブサイトのアドレス https://www.chemmate.jp/online https://www.chemmate.jp/ebook/guidebook2021/book/#target/page_no=1 https://www.chemmate.jp/ebook/guidebook2021/book/#target/page_no=25 https://www.chemmate.jp/online/exhibitor/booth/472There is an application for the application of Article 30, Paragraph 2 of the Patent Act (No. 13) Date of publication on website October 18, 2021 to October 29, 2021 Website address https://www. chemmate. jp/online https://www. chemmate. jp/ebook/guidebook2021/book/#target/page_no=1 https://www. chemmate. jp/ebook/guidebook2021/book/#target/page_no=25 https://www. chemmate. jp/online/exhibitor/booth/472

本発明は、画像を解析する技術に関し、特に、画像内の領域の境界を判別する技術に関する。 The present invention relates to techniques for analyzing images, and more particularly to techniques for determining boundaries of regions in images.

商品や製品の品質や等級を判断するのに、しばしば画像解析の手法が用いられるが、対象物を認識するために、画像内の領域の境界を判別して、色などで対象領域を区別する二値化(セグメンテーション)という処理が行われている。従来の二値化は、主にグレースケールとエッジ検出に基づくルールベースで行われていたが、ピクセル単位で生じるノイズや領域の破れなどに弱く、自動的に二値化できる画像は限られていた。そのため、自動的に二値化できない画像に関しては、人の手で二値化を行っており、膨大な労力と時間がかかっていた。このことが原因で、統計的に信頼性を担保できるデータ量の確保が難しく、また画像データを数値化して信頼性あるデータとして活用することはできなかった。 Image analysis is often used to judge the quality and grade of goods and products, but in order to recognize the target object, the boundary of the area in the image is determined and the target area is distinguished by color etc. A process called binarization (segmentation) is performed. Conventional binarization was performed mainly on a rule-based basis based on grayscale and edge detection, but it is vulnerable to noise that occurs in pixel units and broken areas, and images that can be automatically binarized are limited. rice field. Therefore, for images that cannot be automatically binarized, binarization is performed manually, which takes a huge amount of labor and time. For this reason, it has been difficult to secure an amount of data that can statistically guarantee reliability, and it has not been possible to digitize image data and use it as reliable data.

これに対し、ルールベースのアルゴリズムの代わりに、人工知能によって二値化を行う方法が提案されている。 On the other hand, a method of binarization by artificial intelligence has been proposed instead of a rule-based algorithm.

例えば、特許文献1には、機械学習を用いて、細胞の数と位置を検出する方法が記載されている。特許文献2には、ニューラルネットワークを用いて、処理対象の画像から複数の融合特徴マップを予測することで、物体検出を行う方法が記載されている。特許文献3には、道路と非道路の画像を第一ネットワークで学習し、道路部分を予想させて弱セグメンテーションを出力し、その後第二ネットワークで弱セグメンテーションを学習することで道路の予想を行うという方法が記載されている。 For example, Patent Literature 1 describes a method of detecting the number and position of cells using machine learning. Patent Document 2 describes a method of detecting an object by predicting a plurality of fused feature maps from an image to be processed using a neural network. In Patent Document 3, a first network learns images of roads and non-roads, predicts road portions and outputs weak segmentations, and then learns weak segmentations in a second network to predict roads. method is described.

特開2019-91307号公報JP 2019-91307 A 特表2020-509488号公報Japanese Patent Publication No. 2020-509488 特開2019-61658号公報JP 2019-61658 A

しかしながら、特許文献1~3に記載の方法では、いずれも機械学習のための教師データをカスタマイズしていないため、十分な量の教師データを用意していたとしても、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合は、二値化の精度向上が困難であるという問題がある。 However, in the methods described in Patent Documents 1 to 3, none of the teacher data for machine learning is customized, so even if a sufficient amount of teacher data is prepared, the learned teacher data If the image quality of the image to be analyzed varies, there is a problem that it is difficult to improve the accuracy of binarization.

本発明は、上記問題を解決するためになされたものであって、画像解析モデルの解析精度を向上させることを課題とする。 SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to improve the analysis accuracy of an image analysis model.

本発明に係る教師データ生成方法は、画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する教師データ生成方法であって、学習用画像を取得する取得ステップと、前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップと、前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成ステップと、を備える。 A teacher data generation method according to the present invention is a teacher data generation method for generating teacher data used in machine learning of an image analysis model for determining boundaries of regions in an image, and includes an acquisition step of acquiring a learning image. a noise adding step of generating a noise image by performing a process of adding noise to the learning image; and a training data generation step for generating

好ましい実施形態によれば、前記処理は、ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれかである。 According to a preferred embodiment, the processing is at least one of blurring, resizing, cropping, brightness processing, contrast processing and horizontal flipping processing.

好ましい実施形態によれば、前記処理は、ぼかし処理である。 According to a preferred embodiment, said processing is a blurring processing.

好ましい実施形態によれば、前記処理は、ブライトネス処理である。 According to a preferred embodiment, said processing is a brightness processing.

好ましい実施形態によれば、前記処理は、ぼかし処理およびブライトネス処理である。 According to a preferred embodiment, said processing is blurring and brightness processing.

好ましい実施形態によれば、前記処理は、ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理である。 According to a preferred embodiment, said processes are blurring, brightness, resizing and contrasting.

好ましい実施形態によれば、前記ノイズ付与ステップでは、各学習用画像に付与する前記ノイズの強さがランダムである。 According to a preferred embodiment, in the noise adding step, the strength of the noise added to each learning image is random.

本発明に係る画像解析モデル生成方法は、上記の教師データ生成方法によって生成された教師データを用いて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルを生成する学習ステップを備える。 The image analysis model generation method according to the present invention performs machine learning using teacher data generated by the above-described teacher data generation method. A learning step is provided for generating an image analysis model that outputs data indicating boundaries.

本発明に係る画像解析方法は、解析対象画像を取得する取得ステップと、上記の画像解析モデル生成方法によって生成された画像解析モデルを用いて、前記解析対象画像内の領域の境界を判別する判別ステップと、を備える。 An image analysis method according to the present invention includes an acquisition step of acquiring an analysis target image; a step;

本発明に係る教師データ生成プログラムは、コンピュータに上記の教師データ生成方法の各ステップを実行させる。 A training data generation program according to the present invention causes a computer to execute each step of the training data generation method described above.

本発明に係る画像解析プログラムは、コンピュータに上記の画像解析方法の各ステップを実行させる。 An image analysis program according to the present invention causes a computer to execute each step of the above image analysis method.

本発明に係る教師データ生成装置は、画像内の領域の境界を判別するための画像解析モデルの学習に用いる教師データを生成する教師データ生成装置であって、学習用画像を取得する取得部と、前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与部と、前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成部と、を備える。 A teacher data generation device according to the present invention is a teacher data generation device that generates teacher data used for learning an image analysis model for determining boundaries of regions in an image, and comprises: an acquisition unit that acquires a learning image; a noise adding unit that generates a noise image by performing a process of adding noise to the learning image; and a training data generation unit that generates the training data.

本発明によれば、画像解析モデルの解析精度を向上させることができる。 According to the present invention, it is possible to improve the analysis accuracy of the image analysis model.

本発明の一実施形態に係る画像解析モデル生成システムの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an image analysis model generation system according to one embodiment of the present invention; FIG. (a)~(c)は、学習用画像の一例である。(a) to (c) are examples of learning images. (a)~(c)はそれぞれ、図2(a)~(c)に示す学習用画像から生成された境界データの一例である。2A to 2C are examples of boundary data generated from the learning images shown in FIGS. 2A to 2C, respectively. 本発明の一実施形態に係る画像解析装置のブロック図である。1 is a block diagram of an image analysis device according to one embodiment of the present invention; FIG. 解析対象画像の一例である。It is an example of an image to be analyzed. 二値化画像の一例である。It is an example of a binarized image. ノイズ画像の一例である。It is an example of a noise image. 本発明の一実施形態に係る画像解析モデル生成方法の処理手順を示すフローチャートである。4 is a flow chart showing a processing procedure of an image analysis model generation method according to one embodiment of the present invention; (a)~(j)は、本発明の実施例において用いた解析対象画像である。(a) to (j) are images to be analyzed used in the embodiment of the present invention. 本発明の実施例において生成された二値化画像である。3 is a binarized image generated in an embodiment of the present invention; 本発明の実施例において生成された二値化画像である。3 is a binarized image generated in an embodiment of the present invention; 本発明の実施例において生成された二値化画像である。3 is a binarized image generated in an embodiment of the present invention; 本発明の実施例において生成された二値化画像である。3 is a binarized image generated in an embodiment of the present invention;

以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, this invention is not limited to the following embodiment.

(全体構成)
図1は、本発明の一実施形態に係る画像解析モデル生成システム1の概略構成を示すブロック図である。画像解析モデル生成システム1は、本実施形態に係る画像解析モデル生成方法によって、画像内の領域の境界を判別するための画像解析モデルを生成するシステムであり、教師データ生成装置2と、機械学習装置3とを備える。
(overall structure)
FIG. 1 is a block diagram showing a schematic configuration of an image analysis model generation system 1 according to one embodiment of the present invention. The image analysis model generation system 1 is a system for generating an image analysis model for determining boundaries of regions in an image by the image analysis model generation method according to the present embodiment. a device 3;

(教師データ生成)
教師データ生成装置2は、本実施形態に係る教師データ生成方法によって、画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する装置である。教師データ生成装置2は、汎用のコンピュータで構成することができ、ハードウェア構成として、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置20を備えている。補助記憶装置20には、複数の学習用画像D1や、教師データ生成プログラムなどの教師データ生成装置2を動作させるための各種プログラムが格納されている。
(Teacher data generation)
The teacher data generation device 2 is a device that generates teacher data used for machine learning of an image analysis model for determining boundaries of regions in an image by the teacher data generation method according to the present embodiment. The training data generation device 2 can be configured with a general-purpose computer, and includes a processor such as a CPU or GPU, a main storage device such as DRAM or SRAM (not shown), and auxiliary devices such as HDD or SSD. A storage device 20 is provided. The auxiliary storage device 20 stores a plurality of learning images D1 and various programs for operating the teacher data generating device 2, such as a teacher data generating program.

学習用画像D1は、教師データを生成するためのサンプルとなる画像であり、画像内に複数の領域を含む画像であればよい。図2(a)~(c)は、学習用画像D1の一例である。各画像内には多数の微粒子が含まれている。学習用画像D1の個数は特に限定されないが、機械学習が十分に実行可能な数であることが好ましい。 The learning image D1 is an image that serves as a sample for generating teacher data, and may be any image that includes a plurality of areas within the image. FIGS. 2A to 2C are examples of the learning image D1. Each image contains a large number of particles. Although the number of learning images D1 is not particularly limited, it is preferable that the number is sufficient for machine learning.

また、教師データ生成装置2は、機能ブロックとして、取得部21と、境界データ生成部22と、ノイズ付与部23と、ラベリング部24とを備えている。本実施形態において、これらの各部は、教師データ生成装置2のプロセッサが教師データ生成プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。 The teacher data generation device 2 also includes an acquisition unit 21, a boundary data generation unit 22, a noise addition unit 23, and a labeling unit 24 as functional blocks. In this embodiment, each of these units is implemented in software by the processor of the training data generation device 2 reading out a training data generation program into the main memory and executing it.

取得部21は、学習用画像D1を取得する機能ブロックである。本実施形態では、取得部21は、補助記憶装置20から学習用画像D1を読み出すことにより取得するが、外部との通信回線や記録媒体を介して学習用画像D1を取得してもよい。 The acquisition unit 21 is a functional block that acquires the learning image D1. In this embodiment, the acquisition unit 21 acquires the learning image D1 by reading it from the auxiliary storage device 20, but it may acquire the learning image D1 via a communication line with the outside or a recording medium.

境界データ生成部22は、学習用画像D1内の領域の境界を示す境界データを生成する機能ブロックである。本実施形態では、境界データ生成部22は、図示しない入力装置を介したユーザの操作により、学習用画像D1内の各領域を白で表示し、それ以外の部分を黒で表示することにより、境界データを作成する。境界データは、学習用画像D1における領域の境界を示す正解データとなる。 The boundary data generator 22 is a functional block that generates boundary data indicating boundaries of regions in the learning image D1. In the present embodiment, the boundary data generation unit 22 displays each area in the learning image D1 in white and the other areas in black according to the user's operation via an input device (not shown). Create boundary data. The boundary data are correct data indicating boundaries of regions in the learning image D1.

図3(a)~(c)はそれぞれ、図2(a)~(c)に示す学習用画像D1から生成された境界データの一例である。図3(a)に示す境界データでは、比較的輝度の高い表層部の微粒子によって画定される部分が白で表示され、それ以外の部分(領域の境界、表層部以外の微粒子)は黒で表示される。図3(b)に示す境界データでは、矩形の粒子に該当する部分が白で表示され、それ以外の部分は黒で表示される。図3(c)に示す境界データでは、一定以上の大きさの粒子に該当する部分が白で表示され、それ以外の部分は黒で表示される。なお、境界データの態様はこれに限定されず、例えば、領域の境界のみを線で表示し、その他の部分を白等で塗りつぶしたようなデータであってもよい。 FIGS. 3A to 3C are examples of boundary data generated from the learning images D1 shown in FIGS. 2A to 2C, respectively. In the boundary data shown in FIG. 3(a), the portion defined by the fine particles in the surface layer portion with relatively high brightness is displayed in white, and the other portions (boundary of the region, fine particles other than the surface layer portion) are displayed in black. be done. In the boundary data shown in FIG. 3B, the portions corresponding to the rectangular particles are displayed in white, and the other portions are displayed in black. In the boundary data shown in FIG. 3(c), portions corresponding to particles of a certain size or larger are displayed in white, and other portions are displayed in black. Note that the form of the boundary data is not limited to this. For example, it may be data in which only the boundary of the area is displayed with a line and the other portion is filled with white or the like.

図1に示すノイズ付与部23は、学習用画像D1にノイズを付与する処理を行うことによりノイズ画像を生成する機能ブロックである。ノイズを付与する処理の詳細については、後述する。 The noise adding unit 23 shown in FIG. 1 is a functional block that generates a noise image by performing a process of adding noise to the learning image D1. Details of the process of adding noise will be described later.

ラベリング部24は、ノイズ付与部23によってノイズを付与されたノイズ画像と、境界データ生成部22によって生成された境界データとを対応付けて教師データD2を生成する機能ブロックである。教師データD2は、補助記憶装置20に蓄積され、その後、学習データセットとして機械学習装置3に転送される。 The labeling unit 24 is a functional block that associates the noise image added with noise by the noise adding unit 23 and the boundary data generated by the boundary data generating unit 22 to generate teacher data D2. The teacher data D2 is accumulated in the auxiliary storage device 20 and then transferred to the machine learning device 3 as a learning data set.

(機械学習)
機械学習装置3は、機械学習によって画像解析モデルMを生成する装置である。機械学習装置3は、汎用のコンピュータで構成することができ、教師データ生成装置2と同様に、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置30を備えている。補助記憶装置30には、教師データ生成装置2から転送された教師データD2や、機械学習装置3を動作させるための各種プログラム等が格納されている。
(machine learning)
The machine learning device 3 is a device that generates an image analysis model M by machine learning. The machine learning device 3 can be configured with a general-purpose computer, and, like the training data generation device 2, includes a processor such as a CPU or GPU, a main storage device such as DRAM or SRAM (not shown), and an HDD or SSD. and an auxiliary storage device 30 such as The auxiliary storage device 30 stores teacher data D2 transferred from the teacher data generation device 2, various programs for operating the machine learning device 3, and the like.

なお、本実施形態では、機械学習装置3はクラウド上に設けられているが、教師データ生成装置2と同じ場所に設置してもよいし、あるいは、教師データ生成装置2と機械学習装置3とを一体的に構成してもよい。 Although the machine learning device 3 is provided on the cloud in this embodiment, it may be installed in the same place as the training data generation device 2, or alternatively, the training data generation device 2 and the machine learning device 3 may be installed in the same place. may be configured integrally.

機械学習装置3は、機能ブロックとして学習部31を備えている。学習部31は、教師データD2に基づいて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルMを生成する。学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。生成された画像解析モデルMは、補助記憶装置30に格納され、その後、画像解析のために用いられる。 The machine learning device 3 includes a learning section 31 as a functional block. By performing machine learning based on the teacher data D2, the learning unit 31 generates an image analysis model M that outputs data indicating boundaries of regions in the analysis target image when the analysis target image is input. Although the learning method is not particularly limited, for example, deep learning, support vector machine, random forest, etc. can be used. The generated image analysis model M is stored in the auxiliary storage device 30 and then used for image analysis.

(画像解析)
図4は、本実施形態に係る画像解析装置4のブロック図である。画像解析装置4は、解析対象画像を解析する画像解析方法を実行するために用いられる装置であり、汎用のコンピュータで構成することができる。画像解析装置4は、ハードウェア構成として、CPUやGPUなどのプロセッサ、DRAMやSRAMなどの主記憶装置(図示省略)、および、HDDやSSDなどの補助記憶装置40を備えている。
(image analysis)
FIG. 4 is a block diagram of the image analysis device 4 according to this embodiment. The image analysis device 4 is a device used for executing an image analysis method for analyzing an image to be analyzed, and can be configured by a general-purpose computer. The image analysis device 4 includes, as a hardware configuration, a processor such as a CPU or GPU, a main storage device (not shown) such as DRAM or SRAM, and an auxiliary storage device 40 such as HDD or SSD.

補助記憶装置40には、図1に示す画像解析モデル生成システム1(本実施形態に係る画像解析モデル生成方法)によって生成された画像解析モデルMおよび解析対象画像D3の他、画像解析プログラムなどの画像解析装置4を動作させるための各種プログラムが格納されている。解析対象画像D3は、例えば画像解析の依頼者から画像解析装置4に送信されたものである。 In the auxiliary storage device 40, in addition to the image analysis model M and the analysis target image D3 generated by the image analysis model generation system 1 (image analysis model generation method according to the present embodiment) shown in FIG. Various programs for operating the image analysis device 4 are stored. The image D3 to be analyzed is, for example, an image that has been sent to the image analysis apparatus 4 from a requester for image analysis.

画像解析装置4は、機能ブロックとして、画像解析部41と、二値化処理部42とを備えている。本実施形態において、これらの各部は、画像解析装置4のプロセッサが画像解析プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。 The image analysis device 4 includes an image analysis section 41 and a binarization processing section 42 as functional blocks. In this embodiment, each of these units is implemented in software by the processor of the image analysis device 4 reading an image analysis program into the main storage device and executing it.

画像解析部41は、画像解析モデルMを用いて、解析対象画像D3内の領域の境界を判別する機能ブロックである。本実施形態では、画像解析部41は、補助記憶装置40から解析対象画像D3および画像解析モデルMを主記憶装置に読み出す。図5は、解析対象画像D3の一例である。 The image analysis unit 41 is a functional block that uses the image analysis model M to determine boundaries of regions in the analysis target image D3. In this embodiment, the image analysis unit 41 reads the analysis target image D3 and the image analysis model M from the auxiliary storage device 40 to the main storage device. FIG. 5 is an example of the analysis target image D3.

続いて、画像解析部41は、解析対象画像D3を画像解析モデルMに入力し、これに対して、画像解析モデルMは、解析対象画像D3内の領域の境界を示すデータを出力する。当該データは、図3に示すような、領域に該当する部分が白で表示され、それ以外の部分が黒で表示された画像である。なお、当該データは白黒という色に限定されず、また画像ではなくバイナリデータであってもよい。画像解析部41は、画像解析モデルMの出力データを二値化処理部42に入力する。 Subsequently, the image analysis unit 41 inputs the analysis target image D3 to the image analysis model M, and in response, the image analysis model M outputs data indicating boundaries of regions in the analysis target image D3. The data is an image in which the portion corresponding to the area is displayed in white and the other portion is displayed in black, as shown in FIG. Note that the data is not limited to black and white, and may be binary data instead of an image. The image analysis unit 41 inputs the output data of the image analysis model M to the binarization processing unit 42 .

二値化処理部42は、画像解析部41が出力したデータに基づき、解析対象画像D3において、判別された境界によって区分される領域を認識し、認識した領域を着色やラベル付け、またはこれらを同時に表示することにより、二値化画像D4を生成する。二値化画像D4は、補助記憶装置40に格納され、その後、解析結果として画像解析の依頼者に送信される。 Based on the data output by the image analysis unit 41, the binarization processing unit 42 recognizes regions divided by the determined boundaries in the image D3 to be analyzed, and colors or labels the recognized regions, or labels them. By displaying them simultaneously, a binarized image D4 is generated. The binarized image D4 is stored in the auxiliary storage device 40, and then sent as the analysis result to the client of the image analysis.

また、画像解析部41の境界データは二値化のみならず、三値化やそれ以上の境界データであってもよく、二値化処理部42では、境界数に応じた着色やラベル付けが可能である。 The boundary data of the image analysis unit 41 is not limited to binarization, but may be ternary or more boundary data. It is possible.

図6は、二値化画像D4の一例である。二値化画像D4では、認識された領域が着色されている。なお、画像解析装置4において、二値化処理部42は必須構成ではなく、画像解析モデルMの出力データ、すなわち、図3に示す境界データと同様のデータを解析結果としてもよい。 FIG. 6 is an example of the binarized image D4. In the binarized image D4, the recognized area is colored. In the image analysis device 4, the binarization processing unit 42 is not an essential component, and output data of the image analysis model M, that is, data similar to the boundary data shown in FIG. 3 may be used as the analysis result.

(ノイズ付与処理)
従来の方法では、教師データを生成する際に、学習用画像にノイズを付与することなく、境界データとラベリングしていた。そのため、例えば、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合は、画像解析モデルによって解析対象画像内の領域を認識する精度が低いという問題があった。そこで、本実施形態では、二値化画像D4における領域の認識率を向上させるために、教師データ生成装置2において、ノイズ付与部23が学習用画像D1にノイズを付与している。
(noise addition processing)
In the conventional method, boundary data are labeled without imparting noise to learning images when generating teacher data. Therefore, for example, when there is variation in the image quality of the image to be analyzed with respect to the learned teacher data, there is a problem that the accuracy of recognizing the area in the image to be analyzed by the image analysis model is low. Therefore, in the present embodiment, in order to improve the recognition rate of the area in the binarized image D4, the noise adding section 23 in the teacher data generation device 2 adds noise to the learning image D1.

以下、教師データ生成装置2のノイズ付与部23によるノイズ付与処理について説明する。本実施形態におけるノイズ付与処理は、ぼかし処理(Blur)、リサイズ処理(Risize)、クロップ処理(Crop)、ブライトネス処理(Brightness)、コントラスト処理(Contrast)、左右反転処理(Hflip)の6種類であるが、本発明ではこれらに限定されない。 Noise addition processing by the noise addition unit 23 of the training data generation device 2 will be described below. There are six types of noise addition processing in this embodiment: blur processing (Blur), resize processing (Rsize), crop processing (Crop), brightness processing (Brightness), contrast processing (Contrast), and left-right flip processing (Hflip). However, the present invention is not limited to these.

ぼかし処理は、学習用画像D1にぼかしフィルターをかけることにより、画像の解像度を低下させる処理である。リサイズ処理は、画像のサイズを縮小する処理である。クロップ処理は、画像の一部を切り取る処理である。ブライトネス処理は、画像の輝度を変更(低下または上昇)する処理である。コントラスト処理は、画像のコントラストを変更(低下または上昇)する処理である。左右反転処理は、画像の向きを左右反転させる処理である。ノイズ付与部23は、1つの学習用画像D1に対し、これらの処理の少なくともいずれかを行うことにより、ノイズ画像を生成する。 The blurring process is a process of reducing the resolution of the image by applying a blurring filter to the learning image D1. Resize processing is processing for reducing the size of an image. Crop processing is processing for cutting out part of an image. Brightness processing is processing that changes (decreases or increases) the brightness of an image. Contrast processing is processing that alters (reduces or increases) the contrast of an image. The horizontal reversal process is a process for horizontally reversing the orientation of an image. The noise adding unit 23 generates a noise image by performing at least one of these processes on one learning image D1.

図7は、ノイズ画像の一例である。このノイズ画像は、図2(a)に示す学習用画像D1に対し、左右反転処理、ぼかし処理、コントラスト処理(コントラスト低下)、ブライトネス処理(ブライトネス上昇)、クロップ処理およびリサイズ処理をこの順で行うことにより生成されたものである。 FIG. 7 is an example of a noise image. This noise image is obtained by subjecting the learning image D1 shown in FIG. 2A to left-right reversal processing, blurring processing, contrast processing (lowering contrast), brightness processing (increasing brightness), cropping processing, and resizing processing in this order. It was generated by

ノイズ画像はラベリング部24によって境界データと対応付けられることにより、教師データD2が生成され、機械学習装置3における学習により、画像解析モデルMが生成される。このようにして生成された画像解析モデルMは、ノイズが付与されたノイズ画像を用いて学習されたものであるため、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合であっても、高精度で解析対象画像を解析することができる。 The noise image is associated with the boundary data by the labeling unit 24 to generate the teacher data D2, and the learning in the machine learning device 3 generates the image analysis model M. FIG. Since the image analysis model M generated in this way is learned using a noise image to which noise is added, if there is variation in the image quality of the image to be analyzed with respect to the learned teacher data However, the analysis target image can be analyzed with high accuracy.

なお、1つの学習用画像D1に対し、上記6種類のノイズ処理を全て行ってもよいが、単独のノイズまたは複数のノイズの組み合わせに係るノイズ処理を行ってもよい。例えば、後述する実施例に示すように、
・ぼかし処理のみ
・ブライトネス処理のみ
・ぼかし処理およびブライトネス処理のみ
・ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理のみ
であっても、十分に高精度な画像解析モデルを生成することができる。
All of the six types of noise processing may be performed on one learning image D1, or noise processing relating to a single noise or a combination of a plurality of noises may be performed. For example, as shown in the examples below,
・Blurring processing only ・Brightness processing only ・Blurring processing and brightness processing only ・Even if only blurring processing, brightness processing, resizing processing, and contrast processing are performed, a sufficiently high-precision image analysis model can be generated.

また、各学習用画像D1に付与するノイズの強さをランダムに変化させるのが好ましい。すなわち、ノイズ付与部23は、付与するノイズの強さを学習用画像D1ごとにランダムに変化させてもよい。このようにして生成されたノイズ画像を用いて画像解析モデルMを学習されることにより、画質にバラツキのある解析対象画像に対しても、高精度に解析できる画像解析モデルを生成することができる。 Moreover, it is preferable to randomly change the strength of the noise to be added to each learning image D1. That is, the noise adding unit 23 may randomly change the strength of the noise to be added for each learning image D1. By learning the image analysis model M using the noise image generated in this way, it is possible to generate an image analysis model that can analyze with high accuracy even an image to be analyzed that has variations in image quality. .

(処理手順)
以下、本実施形態に係る画像解析モデル生成方法の処理手順について、図8に示すフローチャートを用いて説明する。画像解析モデル生成方法は、図1に示す画像解析モデル生成システム1によって実行される。
(Processing procedure)
The processing procedure of the image analysis model generation method according to this embodiment will be described below using the flowchart shown in FIG. The image analysis model generation method is executed by the image analysis model generation system 1 shown in FIG.

ステップS1(取得ステップ)では、教師データ生成装置2の取得部21が補助記憶装置20から学習用画像D1を取得する。続いて、ステップS2において、境界データ生成部22が学習用画像D1内の領域の境界を示す境界データを生成し、ステップS3(ノイズ付与ステップ)において、ノイズ付与部23が学習用画像D1にノイズを付与する処理を行うことによりノイズ画像を生成する。なお、ステップS2とステップS3の順序は特に限定されない。 In step S<b>1 (acquisition step), the acquisition unit 21 of the teacher data generation device 2 acquires the learning image D<b>1 from the auxiliary storage device 20 . Subsequently, in step S2, the boundary data generation unit 22 generates boundary data indicating boundaries of regions in the learning image D1. A noise image is generated by performing a process of adding . The order of steps S2 and S3 is not particularly limited.

続いて、ステップS4(教師データ生成ステップ)において、ラベリング部24がノイズ画像と境界データとを対応付けて教師データD2を生成する。 Subsequently, in step S4 (teaching data generating step), the labeling unit 24 associates the noise image with the boundary data to generate teaching data D2.

ステップS1~S4によって、1つの学習用画像D1から1つの教師データD2が生成される。全ての学習用画像D1が処理されるまでステップS1~S4を繰り返し(ステップS5においてYES)、その後、ステップS6(学習ステップ)に移行する。 Through steps S1 to S4, one piece of teacher data D2 is generated from one learning image D1. Steps S1 to S4 are repeated until all learning images D1 are processed (YES in step S5), and then the process proceeds to step S6 (learning step).

ステップS6では、機械学習装置3の学習部31が教師データD2に基づいて機械学習を行うことにより、画像解析モデルMを生成する。 In step S6, the learning unit 31 of the machine learning device 3 generates the image analysis model M by performing machine learning based on the teacher data D2.

(付記事項)
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、上記実施形態では、ノイズ付与部23によるノイズ付与処理は、ぼかし処理などの6種類であったが、これらに限らず、直線ノイズ処理(画像内に任意の長さ、幅の直線を任意数与える処理)、ドロップ処理(画像の任意のサイズと数の部分を欠落させる処理)、回転処理(画像を任意角度回転させる処理)、色処理(画像の色を任意の範囲で変更する処理)などを含んでもよい。
(Additional notes)
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications are possible without departing from the scope of the invention. For example, in the above-described embodiment, the noise addition processing by the noise addition unit 23 includes six types of noise addition processing such as blurring processing. processing), drop processing (processing to remove any size and number part of the image), rotation processing (processing to rotate the image at any angle), color processing (processing to change the color of the image within any range) and so on.

本発明を詳細に説明するために以下に具体例を挙げるが、本発明はこれに限定されるものではない。 Specific examples are given below to describe the present invention in detail, but the present invention is not limited thereto.

(画像解析モデルの生成)
本実施例では、各モデルで共通する97枚の学習用画像に異なるノイズ処理(ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれか)を施すことによりノイズ画像を生成し、あらかじめ用意した境界データと対応付けることにより教師データを生成し、さらに、当該教師データを用いて機械学習(ディープラーニング)を行い、15の画像解析モデルM1~M15を生成した。また、比較例として、ノイズ処理を施していない上記の学習用画像に境界データを対応付けることにより教師データを生成し、当該教師データを用いて機械学習(ディープラーニング)を行い、画像解析モデルM0を生成した。
(Generation of image analysis model)
In this embodiment, 97 learning images common to each model are subjected to different noise processing (at least one of blur processing, resizing processing, crop processing, brightness processing, contrast processing, and left-right inversion processing) to obtain a noise image. is generated and associated with boundary data prepared in advance to generate teacher data, and machine learning (deep learning) is performed using the teacher data to generate 15 image analysis models M1 to M15. In addition, as a comparative example, teacher data is generated by associating boundary data with the above learning image that has not undergone noise processing, machine learning (deep learning) is performed using the teacher data, and an image analysis model M0 is generated. generated.

画像解析モデルM1~M15、M0の学習に用いた学習用画像D1に付与されたノイズの有無または強弱を、表1および表2に示す。 Tables 1 and 2 show the presence or absence or strength of noise given to the learning image D1 used for learning the image analysis models M1 to M15 and M0.

Figure 2023065028000002
Figure 2023065028000002

Figure 2023065028000003
Figure 2023065028000003

上記各表において、リサイズ、クロップおよび左右反転の各ノイズについては、付与の有無(Yes/No)のみ示しており、リサイズ、クロップの各ノイズの強さは一定とした。リサイズ処理では、画像の縦横をいずれも0.5倍に縮小した。クロップ処理では、縦横0.5×0.5のサイズで切り取った。 In each of the above tables, for each noise of resizing, cropping, and left/right inversion, only presence/absence of addition (Yes/No) is shown, and the strength of each noise of resizing and cropping is constant. In the resizing process, both the vertical and horizontal dimensions of the image were reduced by 0.5 times. In the cropping process, it was cut to a size of 0.5×0.5.

ぼかし、ブライトネスおよびコントラストの各ノイズは、モデル毎に強弱を変えて付与した。 Blurring, brightness, and contrast noise were applied with different strengths for each model.

ぼかしの強さは、学習用画像に、ぼかしフィルターをかける回数によって制御した。「Low」は1回、「Middle」は2回を意味する。ぼかしフィルターには平均化フィルターを使用し、カーネル(平均化する際の値を取る範囲)は5×5であった。また、「Arbitrarily」は、学習用画像によってぼかしフィルターをかける回数を1~2回の範囲で任意に異ならせたことを意味する。 The intensity of blurring was controlled by the number of times the training image was filtered. "Low" means once, and "Middle" means twice. An averaging filter was used for the blurring filter, and the kernel (range of values for averaging) was 5×5. "Arbitrarily" means that the number of times the blurring filter is applied is arbitrarily changed within the range of 1 to 2 depending on the learning image.

ブライトネスについて、元の学習用画像を1とすると、「Low」は、0.8~1.2の範囲で、「Middle」は、0.5~1.5の範囲で、「High」は、0.3~1.7の範囲で、「Higher」は、0.1~2.0の範囲で、各画像ごとにブライトネスをランダムに変えることを意味する。 Regarding brightness, if the original learning image is 1, "Low" is in the range of 0.8 to 1.2, "Middle" is in the range of 0.5 to 1.5, and "High" is in the range of 0.5 to 1.5. It ranges from 0.3 to 1.7, and "Higher" means randomly varying brightness for each image, ranging from 0.1 to 2.0.

コントラストについて、元の学習用画像を1とすると、「Middle」は、0.5~1.5の範囲で、「High」は、0.3~1.7の範囲で、「Higher」は、0.1~2.0の範囲で、画像ごとにコントラストをランダムに変えることを意味する。 Regarding the contrast, if the original learning image is 1, "Middle" is in the range of 0.5 to 1.5, "High" is in the range of 0.3 to 1.7, and "Higher" is It means that the contrast is randomly changed for each image within the range of 0.1 to 2.0.

(画像解析)
続いて、図9(a)~(j)に示す10の解析対象画像A~Jを画像解析モデルM1~M15、M0に入力し、各画像解析モデルからの出力データに対し二値化処理を行うことにより、二値化画像を生成した。
(image analysis)
Subsequently, 10 images A to J to be analyzed shown in FIGS. 9A to 9J are input to the image analysis models M1 to M15 and M0, and the output data from each image analysis model is binarized. generated a binarized image.

図10~図13に、画像解析モデルM1~M15およびM0が解析対象画像A~Jを解析したデータを二値化した二値化画像を示す。各二値化画像では、領域として認識された部分が着色されている。 10 to 13 show binarized images obtained by binarizing the data obtained by analyzing the images A to J to be analyzed by the image analysis models M1 to M15 and M0. In each binarized image, portions recognized as regions are colored.

画像解析モデルM1~M15およびM0に対応する二値化画像における、領域の認識数を表3および表4に示す。 Tables 3 and 4 show the number of recognized regions in the binarized images corresponding to the image analysis models M1 to M15 and M0.

Figure 2023065028000004
Figure 2023065028000004

Figure 2023065028000005
Figure 2023065028000005

さらに、画像解析モデルM1~M15の認識数の、画像解析モデルM0の認識数に対する比率を、表5および表6に示す。 Furthermore, Tables 5 and 6 show the ratio of the number of recognitions of the image analysis models M1 to M15 to the number of recognitions of the image analysis model M0.

Figure 2023065028000006
Figure 2023065028000006

Figure 2023065028000007
Figure 2023065028000007

本実施例に係る画像解析モデルM1~M15はいずれも、比較例に係る画像解析モデルM0に比べ、認識数が向上する傾向にあった。よって、学習用画像へのノイズ処理によって、画像解析モデルの解析精度を向上させることができることが分かる。特に、画像解析モデルM11~14の結果から、ノイズ処理が、
・ぼかし処理のみ
・ブライトネス処理のみ
・ぼかし処理およびブライトネス処理のみ
・ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理のみ
であっても、十分に高精度な画像解析モデルを生成することができることが分かる。
All of the image analysis models M1 to M15 according to the present example tended to improve the number of recognitions compared to the image analysis model M0 according to the comparative example. Therefore, it can be seen that the analysis accuracy of the image analysis model can be improved by performing noise processing on the learning image. In particular, from the results of image analysis models M11 to M14, noise processing is
・Blurring processing only ・Brightness processing only ・Blurring processing and brightness processing only .

また、画像解析モデルM1~M3を比較すると、ぼかしの強さは、LowまたはArbitrarilyが有効であり、画像解析モデルM4~M6を比較すると、ブライトネスはLowまたはHigherが有効であり、画像解析モデルM7~M9を比較すると、コントラストはNoまたはHigherが有効であることがわかる。 Further, when the image analysis models M1 to M3 are compared, Low or Arbitrarily is effective for blur intensity. When comparing the image analysis models M4 to M6, Low or High is effective for brightness. ˜M9, it can be seen that No or Higher contrast is effective.

また、汎化性能(画像の種類による解析の得手/不得手)については、画像解析モデルM1~M4、M6、M7、M9、M12~M15が高いと認められる。 In addition, the image analysis models M1 to M4, M6, M7, M9, and M12 to M15 are found to have high generalization performance (strength/weakness in analysis depending on image type).

1 画像解析モデル生成システム
2 教師データ生成装置
20 補助記憶装置
21 取得部
22 境界データ生成部
23 ノイズ付与部
24 ラベリング部
3 機械学習装置
30 補助記憶装置
31 学習部
4 画像解析装置
40 補助記憶装置
41 画像解析部
42 二値化処理部
D1 学習用画像
D2 教師データ
D3 解析対象画像
D4 二値化画像
M 画像解析モデル
1 Image analysis model generation system 2 Teacher data generation device 20 Auxiliary storage device 21 Acquisition unit 22 Boundary data generation unit 23 Noise addition unit 24 Labeling unit 3 Machine learning device 30 Auxiliary storage device 31 Learning unit 4 Image analysis device 40 Auxiliary storage device 41 Image analysis unit 42 Binary processing unit D1 Learning image D2 Teacher data D3 Analysis target image D4 Binary image M Image analysis model

Claims (12)

画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する教師データ生成方法であって、
学習用画像を取得する取得ステップと、
前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップと、
前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成ステップと、
を備える、教師データ生成方法。
A teacher data generation method for generating teacher data used in machine learning of an image analysis model for determining boundaries of regions in an image,
an acquisition step of acquiring training images;
a noise adding step of generating a noise image by performing a process of adding noise to the learning image;
a training data generation step of generating training data by associating the noise image with boundary data indicating boundaries of regions in the learning image;
A teacher data generation method comprising:
前記処理は、ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれかである、請求項1に記載の教師データ生成方法。 2. The teaching data generation method according to claim 1, wherein said processing is at least one of blurring processing, resizing processing, cropping processing, brightness processing, contrast processing, and horizontal reversing processing. 前記処理は、ぼかし処理である、請求項2に記載の教師データ生成方法。 3. The training data generation method according to claim 2, wherein said processing is blur processing. 前記処理は、ブライトネス処理である、請求項2に記載の教師データ生成方法。 3. The teaching data generating method according to claim 2, wherein said processing is brightness processing. 前記処理は、ぼかし処理およびブライトネス処理である、請求項2に記載の教師データ生成方法。 3. The teaching data generation method according to claim 2, wherein said processing is blur processing and brightness processing. 前記処理は、ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理である、請求項2に記載の教師データ生成方法。 3. The teaching data generating method according to claim 2, wherein said processing is blur processing, brightness processing, resizing processing, and contrast processing. 前記ノイズ付与ステップでは、各学習用画像に付与する前記ノイズの強さがランダムである、請求項1~6のいずれかに記載の教師データ生成方法。 7. The teacher data generation method according to claim 1, wherein in said noise adding step, the strength of said noise added to each learning image is random. 請求項1~7のいずれかに記載の教師データ生成方法によって生成された教師データを用いて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルを生成する学習ステップを備える、画像解析モデル生成方法。 By performing machine learning using the teacher data generated by the teacher data generation method according to any one of claims 1 to 7, when an image to be analyzed is input, the boundary of the area in the image to be analyzed An image analysis model generation method comprising a learning step of generating an image analysis model that outputs data representing: 解析対象画像を取得する取得ステップと、
請求項8に記載の画像解析モデル生成方法によって生成された画像解析モデルを用いて、前記解析対象画像内の領域の境界を判別する判別ステップと、
を備える、画像解析方法。
an acquisition step of acquiring an image to be analyzed;
A determination step of determining boundaries of regions in the image to be analyzed using the image analysis model generated by the image analysis model generation method according to claim 8;
An image analysis method comprising:
コンピュータに請求項1~7のいずれかに記載の教師データ生成方法の各ステップを実行させる、教師データ生成プログラム。 A teacher data generation program that causes a computer to execute each step of the teacher data generation method according to any one of claims 1 to 7. コンピュータに請求項10に記載の画像解析方法の各ステップを実行させる、画像解析プログラム。 An image analysis program that causes a computer to execute each step of the image analysis method according to claim 10. 画像内の領域の境界を判別するための画像解析モデルの学習に用いる教師データを生成する教師データ生成装置であって、
学習用画像を取得する取得部と、
前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与部と、
前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成部と、
を備える、教師データ生成装置。
A training data generation device for generating training data used for learning an image analysis model for determining boundaries of regions in an image,
an acquisition unit that acquires a learning image;
a noise adding unit that generates a noise image by performing a process of adding noise to the learning image;
a training data generation unit that generates training data by associating the noise image with boundary data indicating boundaries of regions in the learning image;
A teacher data generation device comprising:
JP2021175579A 2021-10-27 2021-10-27 Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device Pending JP2023065028A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021175579A JP2023065028A (en) 2021-10-27 2021-10-27 Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021175579A JP2023065028A (en) 2021-10-27 2021-10-27 Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device

Publications (1)

Publication Number Publication Date
JP2023065028A true JP2023065028A (en) 2023-05-12

Family

ID=86281953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021175579A Pending JP2023065028A (en) 2021-10-27 2021-10-27 Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device

Country Status (1)

Country Link
JP (1) JP2023065028A (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038732A (en) * 2014-08-07 2016-03-22 キヤノン株式会社 Information processing apparatus, control method thereof, and computer program
JP2019046269A (en) * 2017-09-04 2019-03-22 株式会社Soat Machine learning training data generation
WO2019208037A1 (en) * 2018-04-24 2019-10-31 株式会社島津製作所 Image analysis method, segmentation method, bone density measurement method, learning model creation method, and image creation device
JP2020014799A (en) * 2018-07-27 2020-01-30 コニカミノルタ株式会社 X-ray image object recognition system
JP2020021228A (en) * 2018-07-31 2020-02-06 キヤノン株式会社 Information processing device, information processing method, and program
JP2020034998A (en) * 2018-08-27 2020-03-05 日本電信電話株式会社 Expansion device, expansion method and expansion program
WO2021209867A1 (en) * 2020-04-17 2021-10-21 株式会社半導体エネルギー研究所 Classification device, image classification method, and pattern inspection device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038732A (en) * 2014-08-07 2016-03-22 キヤノン株式会社 Information processing apparatus, control method thereof, and computer program
JP2019046269A (en) * 2017-09-04 2019-03-22 株式会社Soat Machine learning training data generation
WO2019208037A1 (en) * 2018-04-24 2019-10-31 株式会社島津製作所 Image analysis method, segmentation method, bone density measurement method, learning model creation method, and image creation device
JP2020014799A (en) * 2018-07-27 2020-01-30 コニカミノルタ株式会社 X-ray image object recognition system
JP2020021228A (en) * 2018-07-31 2020-02-06 キヤノン株式会社 Information processing device, information processing method, and program
JP2020034998A (en) * 2018-08-27 2020-03-05 日本電信電話株式会社 Expansion device, expansion method and expansion program
WO2021209867A1 (en) * 2020-04-17 2021-10-21 株式会社半導体エネルギー研究所 Classification device, image classification method, and pattern inspection device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG CHEN ET AL.: ""Scene segmentation of remotely sensed images with data augmentation using U-net++"", 2021 INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND ARTIFICIAL INTELLIGENCE (ICCEAI), JPN6022042826, 27 August 2021 (2021-08-27), US, pages 201 - 205, XP033980430, ISSN: 0005029202, DOI: 10.1109/ICCEAI52939.2021.00039 *
V V SRINIDHI ET AL.: ""Plant Pathology Disease Detection in Apple Leaves Using Deep Convolutional Neural Networks : Apple", 2021 5TH INTERNATIONAL CONFERENCE ON COMPUTING METHODOLOGIES AND COMMUNICATION (ICCMC), JPN6022042827, 8 April 2021 (2021-04-08), US, pages 1119 - 1127, XP033910869, ISSN: 0005029203, DOI: 10.1109/ICCMC51019.2021.9418268 *

Similar Documents

Publication Publication Date Title
US11657602B2 (en) Font identification from imagery
US10977513B2 (en) Method, system and computer readable storage medium for identifying information carried on sheet
CN107690657B (en) Trade company is found according to image
US10423827B1 (en) Image text recognition
US20160364633A1 (en) Font recognition and font similarity learning using a deep neural network
US20190205700A1 (en) Multiscale analysis of areas of interest in an image
CN110414344B (en) Character classification method based on video, intelligent terminal and storage medium
CN112906463A (en) Image-based fire detection method, device, equipment and storage medium
CN107004265A (en) Information processor, the method for processing information, discriminator generating means, the method and program for generating discriminator
CN112434555B (en) Key value pair region identification method and device, storage medium and electronic equipment
CN112767354A (en) Defect detection method, device and equipment based on image segmentation and storage medium
CN112883926A (en) Identification method and device for table medical images
CN111738252B (en) Text line detection method, device and computer system in image
CN113762257A (en) Identification method and device for marks in makeup brand images
CN111753729B (en) False face detection method and device, electronic equipment and storage medium
CN117115823A (en) Tamper identification method and device, computer equipment and storage medium
JP2023065028A (en) Teacher data production method, image analysis model production method, image analysis method, teacher data production program, image analysis program, and teacher data production device
CN112784189A (en) Method and device for identifying page image
US11893784B2 (en) Assessment of image quality for optical character recognition using machine learning
CN110851349B (en) Page abnormity display detection method, terminal equipment and storage medium
Mohsin et al. Convolutional neural networks for real-time wood plank detection and defect segmentation
CN114399497A (en) Text image quality detection method and device, computer equipment and storage medium
JP2024501444A (en) Detecting suitable image spaces for overlaying media content
CN111680722B (en) Content identification method, device, equipment and readable storage medium
Zheng et al. Recognition of expiry data on food packages based on improved DBNet

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20211125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220804

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404