JP2021117625A - 土の粒度分布の推定方法 - Google Patents

土の粒度分布の推定方法 Download PDF

Info

Publication number
JP2021117625A
JP2021117625A JP2020009579A JP2020009579A JP2021117625A JP 2021117625 A JP2021117625 A JP 2021117625A JP 2020009579 A JP2020009579 A JP 2020009579A JP 2020009579 A JP2020009579 A JP 2020009579A JP 2021117625 A JP2021117625 A JP 2021117625A
Authority
JP
Japan
Prior art keywords
soil
particle size
image
size distribution
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020009579A
Other languages
English (en)
Other versions
JP7376374B2 (ja
Inventor
将也 岩下
Masaya Iwashita
将也 岩下
義一 大塚
Giichi Otsuka
義一 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okumura Corp
Original Assignee
Okumura Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okumura Corp filed Critical Okumura Corp
Priority to JP2020009579A priority Critical patent/JP7376374B2/ja
Publication of JP2021117625A publication Critical patent/JP2021117625A/ja
Application granted granted Critical
Publication of JP7376374B2 publication Critical patent/JP7376374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】小粒子を含む土の粒度分布を、人工知能による機械学習によって、精度良く推定することのできる土の粒度分布の推定方法を提供する。【解決手段】原料土からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像を訓練データとして、サーバ11に組み込まれた人工知能による機械学習により得られた学習済みモデル20(図3参照)によって、採取土の粒度分布を推定する。訓練データとなる各々の単一粒径土の画像は、所定の厚さTで敷き均された表面を、撮影装置12によって撮像されたものとなっていると共、クラス分けされた各々の粒度の割合と紐図けされている。所定の厚さTで敷き均された採取土の表面を所定の撮影装置12によって撮像した画像を、学習済みモデル20に入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることにより、採取土の粒度分布を推定する。【選択図】図1

Description

本発明は、土の粒度分布の推定方法に関し、特に、人工知能による機械学習により得られた学習済みモデルによって、採取土の粒度分布を推定する土の粒度分布の推定方法に関する。
土の粒度分布は、地盤の力学的性質や締固め特性等を決める重要な指標であるが、現場で大量に発生する土に対し、高頻度に粒度分布の測定を実施することは困難である。粒子の輪郭を画像解析によって測定する推定法も提案されているが、輪郭の明確でない小粒子を含む土には対応できない。簡便な方法で小粒子も含めた土の粒度分布を推定できれば、建設工事の生産性向上などにつながるものと考えられる。
また、土の粒度分布は、地盤の締固め特性や透水性、液状化強度などの性質を推定するうえで重要な指標の一つである。粒度分布の測定には、ふるい分析や沈降分析を行う必要があるが、建設現場の工事過程で生成される大量の土に対して、これらの分析を頻繁に実施することは困難である。したがって、土の粒度分布を簡便に推定できれば、建設工事の生産性向上や、建設物、造成物の品質向上につながるものと考えられる。
こうした背景から、土の表面の画像から粒度分布を自動的に推定できるようにするための研究事例が数多くあり、代表的な方法として、土の表面の土粒子の輪郭を画像処理によって抽出し、そこから粒径、粒度分布を推定するものがある(例えば、非特許文献1参照)。しかしこの方法では、画像から輪郭を補足できない小粒子の場合には適用できず、大粒子の粒度分布の推定に限定されることになる。
また、近年、関連する研究として、画像分類の分野で高い性能を発揮することが知られている深層学習(ディープラーニング)の一である畳み込みニューラルネットワーク(ConvolutionalNeuralNetwork、以下CNN)を用いることで、現場発生土の画像から、土の性状を推定する研究事例が報告されている(例えば、非特許文献2参照)。
土木学会第67回年次学術講演会概要集、平成24年8月、土木学会発行、「デジタルカメラ画像を用いたロック材の粒度解析システム」、川野健一他 第32回人工知能学会全国大会予稿集、平成30年7月、人工知能学会発行、「ディープラーニングを用いた画像解析による土砂性状判別方法」、本間伸一他
非特許文献2のCNNを用いた画像解析による土砂性状判別方法では、ベルトコンベアを通して排出される掘削土砂の画像から、掘削土砂の流動性などの性状を、例えば硬い、軟らかい、対象物なし等として、作成した学習済みモデルを介して判別することを可能にするものに過ぎず、土の粒度分布を推定することはできない。その一方で、CNNは、その特長として、画像を判別する上で必要な種々の特徴を自動で抽出できることから、粒子の集合による土の表面に現れている様々な特徴を、CNNを用いて適切に学習させれば、輪郭の抽出が困難な小粒子を含む土に対しても、特有の特徴を抽出して、粒度分布を推定できる可能性があると考えられる。
本発明は、小粒子を含む土の粒度分布を、人工知能による機械学習によって、精度良く推定することのできる土の粒度分布の推定方法を提供することを目的とする。
本発明は、原料土からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像を訓練データとして、サーバに組み込まれた人工知能による機械学習により得られた学習済みモデルによって、採取土の粒度分布を推定する土の粒度分布の推定方法であって、訓練データとなる各々の前記単一粒径土の画像は、平面視して空隙が生じない厚さで敷き均された当該単一粒径土の表面を、所定の撮影距離で撮影装置によって撮像されたものとなっていると共に、クラス分けされた各々の粒度の割合と紐図けされており、平面視して空隙が生じない厚さで敷き均された、粒度分布を推定すべき採取土の表面を前記所定の撮影距離で前記撮影装置によって撮像した画像を、前記学習済みモデルに入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることにより、採取土の粒度分布を推定する土の粒度分布推定方法を提供することにより、上記目的を達成したものである。
そして、本発明の土の粒度分布推定方法は、前記学習済みモデルを得るための訓練データとなる多数の前記単一粒径土の画像が、割り増し画像を含んで構成されており、該割り増し画像は、一枚の画像を分割した複数枚の分割画像を結合して、前記単一粒径土の画像と同様の大きさの画像としたものとなっており、各々の分割画像は、いずれかの前記単一粒径土の画像を分割して抽出したものとなっていると共に、各々の割り増し画像における各々の前記単一粒径土の分割画像の占める割合が、当該割り増し画像において各々の粒度の単一粒径土が含まれる割合として、これらの割合が、前記複数の単一粒径土の分割画像を含む前記割り増し画像と紐付けされるようになっていることが好ましい。
また、本発明の土の粒度分布推定方法は、前記割り増し画像を構成する分割画像が、一枚の画像を4等分割又は16等分割したものとなっていることが好ましい。
さらに、本発明の土の粒度分布推定方法は、前記学習済みモデルは、機械学習アルゴリズムとして、畳み込みニューラルネットワークを用いて作成されたものとなっていることが好ましい。
さらにまた、本発明の土の粒度分布推定方法は、前記学習済みモデルが、転移学習を適用して作成されたものとなっていることが好ましい。
また、本発明の土の粒度分布推定方法は、前記単一粒径土の画像又は前記採取土の画像が、コンベア上に所定の厚さで移動可能に敷き均された前記単一粒径土又は前記採取土の表面を、コンベアの上方に所定の間隔をおいて配置された前記撮影装置により撮像することによって得られたものとなっていることが好ましい。
さらに、本発明の土の粒度分布推定方法は、前記原料土及び前記採取土が、現地発生土であることが好ましい。
本発明の土の粒度分布の推定方法によれば、小粒子を含む土の粒度分布を、人工知能による機械学習によって、精度良く推定することができる。
図1は、本発明の好ましい一実施形態に係る土の粒度分布の推定方法が実施される粒度分布診断システムのシステム構成を説明する模式図である。 図2は、本発明の好ましい一実施形態に係る土の粒度分布の推定方法による推定処理の説明図である。 教師あり学習よって学習済みモデルを作成する工程の説明図である。 混合土と単一粒径土の攪拌による特徴変化の画像による説明図である。 パーセプトロンの構成例と計算の説明図である。 畳み込みニューラルネットワークの構成例と計算の説明図である。 VGG16の構成と転移学習の構成の説明図である。 (a)〜(g)は、訓練データとなる単一粒径土のサンプル画像を例示する説明図、(h)及び(i)は、割り増し画像を例示する説明図である。 実証実験の実験フローのフロー図である。 (a)は珪酸塩白土による原料土を説明する斜視図、(b)は混合土(砂質土)を説明する表面図、(c)は混合土(細粒土)を説明する表面図である。 モデル1の推定結果を示すチャートである(左:砂質土、右:細粒土)。 モデル2の推定結果を示すチャートである(左:砂質土、右:細粒土)。 モデル3の推定結果を示すチャートである(左:砂質土、右:細粒土)。 各モデルの誤差を比較したチャートである。
本発明の好ましい一実施形態に係る土の粒度分布の推定方法は、粒度分布が推定される土として、例えば土木工事の建設現場で採取された小粒子を含む現地発生土の粒度分布を、画像解析によって簡易に推定できるようにすることで、推定された現地発生土の粒度分布を、現地地盤の力学的性質や締固め特性等を決める際の重要な指標として、例えば現地地盤の透水性、液状化強度などを事前に知ることによって、建設現場における工事の生産性の向上や、建設物や造成物等の品質の向上につながるようにするための方法として採用されたものである。
また、従来のふるい分析や沈降分析による土の粒度分布の測定方法によれば、建設現場の工事過程で生成される大量の土に対して、これらの分析を頻繁に実施することは困難であり、このため土の表面を撮影した画像から粒度分布を推定する方法も開発されているが、このような画像解析による従来の粒度分布の推定方法によれば、画像から輪郭を補足できない小粒子を含む土の場合には、適用することが困難である。本実施形態の土の粒度分布の推定方法は、例えば図1に示す粒度分布推定システム10を用いることで、人工知能による機械学習(深層学習)によって、土の表面の画像から、小粒子を含む土の粒度分布を、簡易に且つ精度良く推定できるようにして、上述のような技術的課題を解決できるようにしたものである。
そして、本実施形態の土の粒度分布の推定方法は、図1〜図3に示すように、原料土(現地発生土)からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像(図8(a)〜(i)参照)を訓練データとして、サーバ11に組み込まれた人工知能による機械学習により得られた学習済みモデル20(図3参照)によって、採取土の粒度分布を推定する土の粒度分布の推定方法である。訓練データとなる各々の単一粒径土の画像は、平面視して空隙が生じない厚さTで敷き均された当該単一粒径土の表面を、所定の撮影距離Dで撮影装置12によって撮像されたものとなっていると共に(図1参照)、クラス分けされた各々の粒度の割合と紐図けされている。平面視して空隙が生じない厚さTで敷き均された、粒度分布を推定すべき採取土(現地発生土)の表面を所定の撮影距離Dで撮影装置12によって撮像した画像を、学習済みモデル20に入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることにより、採取土の粒度分布(図 参照)を推定するようになっている。
また、本実施形態では、サーバ11に組み込まれた人工知能により得られる学習済みモデル20は、好ましくは深層学習による機械学習アルゴリズムとして、畳み込みニューラルネットワークを用いて作成されたものとなっている。
本実施形態では、土の粒度分布の推定方法は、例えば図1に示す粒度分布推定システム10において実施することができる。粒度分布推定システム10は、機械学習を実施可能な学習・推定装置として機能するサーバ11と、現地発生土13を、ふるい分けした単一粒径の原料土(単一粒径土)又はふるい分けされていない粒度分布を推定すべき採取土として、所定の厚さTで敷き均さした状態で搬送可能な運搬装置としてのベルトコンベア14と、ベルトコンベア14の上方に配置されて、搬送される現地発生土13の表面を所定の撮影距離Dで撮像する撮影装置12と、ベルトコンベア14の下流側の端部に配置された、現地発生土保管容器15とを含んで構成されている。撮影装置12とサーバ11とは、有線又は無線の公知の通信網を介して接続しており、撮影装置12によって撮像された現地発生土13の画像は、適宜サーバ11に送り込むことができるようになっている。
粒度分布推定システム10を構成するサーバ11は、コンピュータからなり、人工知能による機械学習アルゴリズムとして、深層学習が可能な公知の畳み込みニューラルネットワークが組み込まれている(実装されている)ことによって、機械学習を実施可能な学習・推定装置として機能するようになっている。またサーバ11は、公知の画像解析プログラムが組み込まれている(実装されている)ことにより、各種の画像処理や画像解析を行うことができるようになっている。
ここで、サーバ11を構成するコンピュータは、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、I/F(Interface)、HDD(Hard Disk Drive)、記憶手段、入力手段、表示手段、出力手段等を備えている。CPUは、ROMに組み込まれた各種のプログラムに従って、RAMをワークエリアとして使用しながら、画像解析プログラムによる画像処置や人工知能による機械学習を制御するようになっている。また、CPUは、各種のコンピュータプログラムがROMに組み込まれていることにより、記憶手段、入力手段、表示手段、出力手段等を機能させると共に、撮影装置12から送られるデータや人工知能による解析結果等を、例えばデータベース部に記憶させたり、例えばディスプレイに表示させたり、プリンタから出力させたりできるようになっている。
粒度分布推定システム10を構成する撮影装置12は、デジタル画像を撮影可能な公知の各種のデジタルカメラを用いることができる。撮影装置12は、より具体的には、例えば商品名「CANON Power Shot S120」(キャノン株式会社製)を好ましく用いることできる。撮影装置12は、敷き均された現地発生土13の表面から、例えば200〜2000mm程度の所定の撮影距離Dを保持した状態で、ベルトコンベア14の上方に固定されており、ベルトコンベア14を介して搬送される現地発生土13の表面を、例えば縦横100〜1000mm程度の大きさの撮影範囲で、所定の間隔をおいて連続して撮影できるようになっている。撮影された各々の画像は、学習・推定装置であるサーバ11に送られて、画像処理によって例えば224×224画素、50mm四方のサイズ(画素分解能0.22mm)の画像に成形された状態で、記憶部に記憶されるようになっている。
そして、本実施形態では、原料土(現地発生土)からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像や、これらの単一粒径土のを画像を用いた割り増し画像(サンプル画像、図8(a)〜(i)参照)を訓練データとして、サーバ11に組み込まれた人工知能による機械学習によって、学習済みモデル20を作成するようになっている。
本実施形態では、複数の粒度にクラス分けされた各々の単一粒径土は、例えば表1に示す、JISA1204:2009「土の粒度試験方法」に定めるふるい分析の粒径区分範囲に従って、クラス分けすることができる。JISに規定するふるい分析では、75mm未満の土粒子の粒度を最大13区分に分類可能である。0.075mm未満の土粒子に対しては、沈降分析によって、より詳細な区分に分類することが可能であるが、実際の業務での活用性の観点から、沈降分析レベルの粒度推定は不要と考えることができる。
Figure 2021117625
また、土の性質には、含水比や粒子の組成なども含まれるが、これらの性質は対象外とすることができる。本実施形態では、自然乾燥状態の現地発生土を原料土とし、この原料土をふるい分けして、訓練データとなるクラス分けした各々の粒度の単一粒径土を得ることができると共に、種々の粒度の土が混合されたままの状態の、ふるい分けされていない現地発生土の自然乾燥状態の原料土を、粒度分布を推定すべき採取土(現地発生土)として、粒度分布を推定できるようになっている。
また、本実施形態では、土の粒度分布の推定に、機械学習手法の一つである、教師あり学習を用いることができる。教師あり学習は、図3に示すように、入出力が既知であるデータセット(訓練データ)を基に機械学習を行って、入力値を出力値に変換する学習済みモデル(計算モデル)20を自動的に生成することができる。生成された学習済みモデル20に、入出力が既知であるデータセット(テストデータ)の入力データを入力して、推定値を出力し、推定された出力データと既知の出力値(真値)とを比較することによって、学習済みモデル20モデルの推定性能を評価することができる。これによって、学習済みモデル20を検証して、必要に応じて再学習させることも可能になる。本実施形態では、訓練データとテストデータは、以下のように考えることができる。
学習済みモデル(計算モデル)20の生成を適切に行うには、訓練データに正確な情報が含まれている必要がある。図4に、現地発生土による混合土と、単一粒径土(単一の粒径区分(粒度)内の粒径粒子のみで構成された土)の3回の撹絆後の画像を示す。混合土の場合、表面に分布する粒子の構成は、撹拝するごとに変化している。混合土の表面の粒子は、その土の粒度分布に常に対応した構成であるとは限らず、多様な特徴を示すことになる。一方、単一粒径土は、ある範囲の粒径粒子のみが集まっているため、撹拝を繰り返しても、特徴的な一様性が保たれていることがわかる。以上の観察から、訓練データには、画像の特徴と粒径の対応が明確である、単一粒径土を用いることが好ましいと考えられる。
また、複数の粒度の粒径粒子が混合された混合土の粒度分布を推定する際に、混合土の一枚の表面の画像から、その混合土の全体の粒度分布を推定することは適切ではない。そのため、攪拌後の複数の状態の混合土の表面画像をテストデータとして用意し、各々のテストデータの粒度分布の推定結果を算術平均によって総合し、これをもって土全体の粒度分布の推定結果とすることが好ましいと考えられる。建設現場で扱われる土は、ベルトコンベアによる運搬時や、保管容器内への堆積の過程で、土の表面が常に変化する状況が多くあり、複数の画像を総合して粒度分布を推定する考え方は、これらの建設現場で扱われる土の状況に適用可能と考えられる。
また、本実施形態では、人工知能による機械学習によって、学習済みモデル20を作成する機械学習アルゴリズムとして、画像分類の分野で高い性能を発揮することで知れえる、深層学習か可能な畳み込みニューラルネットワーク(Convolutional Neural Network、以下CNN)を好ましく用いることができる。
CNNは、機械学習アルゴリズムの一つであるニューラルネットワークを発展させて、高度な画像認識を可能にした技術であり、基本構造はニューラルネットワークと同じである。ニューラルネットワークは、パーセプトロンと呼ばれる作用素をつなげ合わせることで推論が実現される。パーセプトロンの構成例と計算は、例えば図5に示すように、1次元配列の入力値(式1)((1)特徴量)と、2次元配列(式2)((2)重み)の内積をとり、1次元配列(式3)を加算した(式4)を求める((3)内積とバイアスの加算)。求められた(式4)を、伝達関数fに入力し、その出力を新たな特徴量(式5)として、次のパーセプトロンに渡すようになっている((4)伝達関数)。このパーセプトロンを並列につないだものをレイヤー、レイヤーを複数直列につないだものを多層パーセプトロン(Multi Layer Perceptoron、以下MLP)とする。入力値が複数のパーセプトロンを伝達していくことで、最終的にクラスCの推定値yPRED,Cを得る。モデルの学習においては、推定値と真値の差が小さくなるよう、重みとバイアスを探索する最小化アルゴリズムが用いられる。
Figure 2021117625
Figure 2021117625
Figure 2021117625
Figure 2021117625
Figure 2021117625
またCNNは、画像処理技術の一つである畳み込み積分の考え方を、ニューラルネットワークに適用したものであり、畳み込み係数を重みに用いるようになっている。CNNの構成例とその計算を図6に示す。多くのCNNでは、層畳み込み層、プーリング層、全結合層の3層が備わっている。畳み込み層は、ニューラルネットワークと類似した構造を持ち、画像データ(複数の2次元配列)である3次元配列の入力特徴量(式6)((1)特徴マップ)と、4次元配列の重み(式7)((2)カーネル)に、畳み込み積分が適用される((3)畳み込み)。全チャネルの総和で、マップを集約し、バイアスを加算した(式8)((4)層がバイアス加算)が伝達関数へ入力され((5)伝達関数への入力)、その出力として、次層の特徴マップ式9)を得ることができる((6)次層の特徴マップ)。
Figure 2021117625
Figure 2021117625
Figure 2021117625
Figure 2021117625
カーネルの作用によって、層が深まるにつれて特徴マップのチャネルが増えることになる。プーリング層では、重要な特徴のみを抽出し、マップサイズを縮減することができる((7)最大値プーリング後(式10)。畳み込み層によるチャネルの増加と、1プーリング層によるマップの縮小により、画像全体から多種多様な特徴を抽出することができる。カーネルは特徴量のフィルタの役割を果たし、畳み込み演算により、画像内を網羅的に平行移動することで、少数の重みで画像全体の局所的な特徴を効率的に抽出することができる。最終的に出力された特徴マップは、1次元配列に変換(平坦化)され、全結合層と呼ばれるMLPを経て、出力yPRED,Cを得ることができる((8)全結合層(MLP)と出力)。
Figure 2021117625
CNNのネットワーク構造は、様々なものが提案されている。代表的なCNNの一つであるVGG16のネットワーク構造を図7に示す。VGG16のネットワーク構造では、224×224画素、3チャネルの画像に対し、3×3の微小な画素のカーネルを複数含む2〜3層の畳込み層と、1層のプーリング層からなる5つのブロックを経て、7×7画素、512チャネルの特徴マップを生成することができる。これを平坦化した25088の特徴量を、3層の全結合層に接続することで、1,000クラスの出力をする設計とすることができる。「VGG164」は、2015年に公表されて以降、画像分類の性能の高さ、ネットワークの簡潔さ等から、広く使用されているCNNモデルの一つである。
本実施形態で適用するCNNは、例えばVGG16をべ一スとし、JISに規定するふるい分析でクラス分けされた最大13区分の粒度うち、例えば表2に示す全7区分の粒度の割合を出力できるよう、新たに全結合層を作成し、既存の全結合層2に接続することが好ましい(図7、VGG16全結合層及び実験用全結合層参照)。出力層の伝達関数には、式(11)で示すソフトマックス関数を用いることができる。
Figure 2021117625
Figure 2021117625
ソフトマックス関数は、入力x、を変数とする標準シグモイド関数を、変数軸の方向にlogD平行移動したものである。ソフトマックス関数は、定義域(−∞,∞)と値域(0,1)の範囲で分布する増加関数の特徴と、全クラスの出力の総和が1となる特徴の2つを併せ持っており、各クラスの確率分布を推定する際の伝達関数として使用することができる。本実施形態では、学習済みモデル(計算モデル)20による推定値は、粒度分布、すなわち0〜100%の間で分布する各粒径区分(粒度)ごとの粒子の質量率であり、それらの総和は100%となることから、ソフトマックス関数を適用することが好ましい。
また、好ましくはVGG16の性能の高さは、大量の画像データセットによる検証によって示されており、検証の際に使用された学習済みの重みが、商用可能なライセンスで公開されている。汎用的な対象物の分類を目的として学習された畳込み層は、別の様々な画像認識問題にも応用できることが知られており、畳込み層によって抽出された特徴量を部分的に利用することで、少ない訓練データで比較的高性能なモデルを生成することができる。この手法は転移学習と呼ばれ、大量の訓練データの用意と膨大な学習時間が課題となる人工知能の開発の現場においても、広く用いられている。本実施形態では、学習済みモデル20は、転移学習を適用して作成することが好ましい。
本実施形態では、学習済みモデル20を得るための訓練データとなる多数の単一粒径土の画像は、これらの単一粒径土の画像を用いて得られた割り増し画像を含んで構成されていることが好ましい。割り増し画像は、図8(h)及び(i)に示すように、一枚の画像を分割した複数枚の分割画像を結合して、単一粒径土の画像と同様の大きさの画像としたものとなっており、各々の分割画像は、いずれかの単一粒径土の画像を分割して抽出したものとなっている。また各々の割り増し画像における各々の単一粒径土の分割画像の占める割合が、当該割り増し画像において各々の粒度の単一粒径土が含まれる割合として、これらの割合が、複数の単一粒径土の分割画像を含む割り増し画像と紐付けされるようになっている。
例えば図8(a)〜(g)に示すように、単一粒径土のみの画像は、クラス分けされた該当する各々の粒度の割合が100%とし、て粒度分布が紐付けされているが、これらの単一粒径土のみの画像と、これに紐図けされた100%の粒度分布(単一粒径土の占める割合)のみを訓練データに用いた場合、VGG16は、粒度の単一性そのものを特徴として学習する可能性があり、多様な粒径粒子で構成される混合土の推定に対応できなくなることが懸念される。
このようなことから、本実施形態では、限られた訓練データで学習済みモデル20の性能を上げるために、訓練データに種々の変換を加えてデータ量を増やすことが可能な、広く用いられている水増しと呼ばれる手法を採用することが好ましい。本実施形態では、訓練データを水増しする方法として、複数の粒径粒子を含んだ画像の特徴を学習させるために、好ましくはクラス分けされた各々の区分の粒度の単一粒径土の画像を複数に分割し、これらの分割画像をランダムにつなぎ合わせて結合した画像による、割り増し画像を作成する。作成した割り増し画像を、図8(h)及び(i)に例示する。割り増し画像を構成する分割画像は、例えば図8(h)及び(i)に示すように、単一粒径土のみの一枚の画像を4等分割又は16等分割したものとすることができる。各々の割り増し画像に紐付けされる粒度分布は、各々の割り増し画像における、各々の単一粒径土のみの分割画像が占める割合として、これらの割合が、複数の単一粒径土の分割画像を含む割り増し画像と紐付けされるようになっている。
具体的には、図8(a)〜(g)に示す単一粒径土のみの画像は、クラス分けされた各々の粒度の割合を100%として紐図けされているのに対し、例えば図8(h)に示す一枚の画像を4等分割した画像による割り増し画像では、図8(a)の単一粒径土区分1の4分割された一枚の画像と、図8(d)の単一粒径土区分4の4分割された一枚の画像と、図8(e)の単一粒径土区分5の4分割された一枚の画像と、図8(g)の単一粒径土区分7の4分割された一枚の画像とを、つなぎ合わせて結合した画像となっているので、図8(h)の割り増し画像は、粒度が0.075mm未満の粒径粒子の割合が25%、粒度が0.25〜0.425mmの粒径粒子の割合が25%、粒度が0.425〜0.6mmの粒径粒子の割合が25%、粒度が2〜4.75mmの粒径粒子の割合が25%として、これらの粒度の割合が紐図けされるようになっている。
また、例えば図8(i)に示す一枚の画像を16等分割した分割画像による割り増し画像では、図8(a)の単一粒径土区分1の16分割された2枚の画像と、図8(c)の単一粒径土区分3の16分割された2枚の画像と、図8(d)の単一粒径土区分4の16分割された3枚の画像と、図8(e)の単一粒径土区分5の16分割された2枚の画像と、図8(f)の単一粒径土区分6の16分割された4枚の画像と、図8(g)の単一粒径土区分7の16分割された3枚の画像とを、つなぎ合わせて結合した画像となっているので、図8(i)の割り増し画像は、粒度が0.075mm未満の粒径粒子の割合が12.5%、粒度が0.075〜0.106mmの粒径粒子の割合が0%、粒度が0.106〜0.25mmの粒径粒子の割合が12.5%、粒度が0.25〜0.425mmの粒径粒子の割合が18.8%、粒度が0.425〜0.6mmの粒径粒子の割合が12.5%、粒度が0.6〜2mmの粒径粒子の割合が25.0%、粒度が2〜4.75mmの粒径粒子の割合が18.8%として、これらの粒度の割合が紐図けされるようになっている。
そして、本実施形態では、訓練データとなる各々の単一粒径土の画像は、平面視して空隙が生じない厚さTで敷き均された当該単一粒径土の表面を、所定の撮影距離Dで撮影装置12によって撮像されたものとなっており、粒度分布を推定すべき採取土(現地発生土)の画像は、同様に平面視して空隙が生じない厚さTで敷き均された当該採取土(現地発生土)の表面を、所定の撮影距離Dで撮影装置12によって撮像したものとなっている。撮像した採取土(現地発生土)の画像を、上述のようにして生成された学習済みモデル20に入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることにより、採取土の粒度分布(図11〜13参照)を推定するようになっている。
訓練データとなる各々の単一粒径土の表面の画像や、粒度分布を推定すべき採取土の表面の画像を撮影する際に、これらの単一粒径土や採取土を、平面視して空隙が生じない厚さTで敷き均すことにより、撮影された画像にこれらの単一粒径土や採取土以外の背景が撮像されるのを回避して、土の粒度分布を、作成した学習済みモデル20によって精度良く推定することが可能になる。
そして、上述の構成を備える本実施形態の土の粒度分布の推定方法によれば、小粒子を含む土の粒度分布を、人工知能による機械学習によって、精度良く推定することが可能になる。
すなわち、本実施形態の土の粒度分布の推定方法によれば、好ましくは現地発生土による原料土からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像(図8(a)〜(i)参照)を訓練データとして、サーバ11に組み込まれた好ましくは深層学習(ディープラーニング)の一である畳み込みニューラルネットワーク(ConvolutionalNeuralNetwork、以下CNN)をアルゴリズムとする、人工知能による機械学習により得られた学習済みモデル20(図3参照)によって、採取土の粒度分布を推定するようになっており、また粒度分布を推定すべき例えば現地発生土による採取土の表面を撮影装置12によって撮像した画像を、学習済みモデル20に入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることによって、土の粒度分布を推定するようになっている。
これによって、本実施形態によれば、例えば建設現場の工事過程で生成される大量の土に対しても、地盤の締固め特性や透水性、液状化強度などの性質を推定するうえで重要な指標の一つとなる土の粒度分布を、ふるい分析や沈降分析による頻繁に実施することが困難な方法を採用することなく、輪郭の抽出が難しい小粒子を含む土に対しても、特有の特徴を容易に抽出することが可能になると共に、好ましくはCNNを機械学習アルゴリズムとして学習させて得られた学習済みモデルに、粒度分布を推定すべき採取土の表面を撮影装置によって撮像した画像を入力するだけの、簡易な方法によって、土の粒度分布を、精度良く推定することが可能になる。またれによって、本実施形態の土の粒度分布の推定方法は、頻繁に容易に実施することが可能になる。
なお、本発明は上記の実施形態に限定されることなく、種々の変更が可能である。例えば割り増し画像を構成する分割画像は、一枚の画像を4等分割又は16等分割したものとなっている必要は必ずしも無く、これらの分割数以外の分割数で分割されたものであっても良い。単一粒径土の画像や採取土の画像は、これらをコンベア上に移動可能に敷き均して撮影したものである必要は必ずしも無く、単一粒径土や採取土を、他の方法により平面視して空隙が生じない厚さで敷き均して、これらの画像を撮影することもできる。
以下、実施例により、本発明の土の粒度分布推定方法をさらに詳細に説明するが、本発明は、以下の実施例の記載によって何ら制限されるものではない。
〔実施例〕
図9に示す実験フローに従って、本発明の土の粒度分布の推定方法の実証実験を行った。図9に示す実験フローによる実証実験では、原料土を選定し、これをふるい分析に掛け、複数種の単一粒径土を作成する。訓練データとして、単一粒径土の画像と、これに紐付けされた粒度の割合とのデータセットを作成した後、単一粒径土を混合して混合土とし、テストデータとして、粒度分布の異なる2種類の、土の画像と既知の粒度の割合とのテスト用のデータセットを作成する。続いて、訓練データを学習させて学習済みモデルを生成する。学習済みモデルを生成する際に、複数の学習済みモデルを、学習方法別に生成する。訓練データを学習して生成された複数の各々の学習済みモデルに、テスト用の混合土の複数の画像を入力し、粒度分布の推定値を各々出力させて、これらの推定値の平均値を得る。テスト用の混合土の複数の画像を入力して得られた粒度分布の推定値を、テストデータの既知の粒度の割合による粒度分布と比較して、誤差を求めることで、各々の学習済みモデルの性能を総合評価する。以下、これらの図9に示す実験フローに従った実証実験の内容について説明する。
実証実験では、原料土といて、ソフトシリカ社の購入土「珪酸塩白土」を選定し、目開きによってふるい分析した。珪酸塩白土による原料土の写真を図10(a)に、原料土の粒度分布を表2に示す。原料土は4.75mm未満の土粒子で構成され、これらを全7区分の粒度にクラス分けした。
ふるい分析によって得られた7区分の単一粒径土は、容器に入れ、上方に固定したカメラ(CANON Power Shot S120)から屋内で画像を撮影し、画像処理によって224×224画素、50mm四方のサイズ(画素分解能0.22mm)の画像に成形した。画像データは7区分の各々で150サンプル、合計1,050サンプル取得した(図8(a)〜(g)参照)。区分1から区分5までの単一粒径土の画像では、目視によって粒径の輪郭を判別することは困難である。
実証実験では、限られた訓練データで作成される学習済みモデルの性能を上げるため、推定性能の向上を目的として、訓練データの水増しを行った。その方法として、上述のように、複数の粒径粒子を含む混合土の特徴を学習させるため、各区分の単一粒径土の画像を分割し、これらの分割画像をランダムにつなぎ合わせた結合画像(割り増し画像)を作成した((図8(h)、(i)参照))。分割・結合数は4分割と16分割の2パターンとし、結合画像(割り増し画像)の粒度分布は、その画像に含まれる各区分の分割画像の面積の割合によって算出した。例えば、図8(i)に示す16枚の分割画像のうち、図8(c)の区分3の画像が4枚含まれている場合、粒度が0.106〜0.25mmの区分3の単一粒径土の質量率は、25%となる。このようなデータセットを、4分割及び16分割した各分割パターン毎に1500サンプル、合計3000サンプル作成し、訓練データに加えることとした。
続いて、ふるい分けした単一粒径土を再構成して、混合土を作成した。混合土の粒径分布を表2に、撮影した混合土の画像サンプルを図10(b)、(c)に示す。混合土の作成にあたっては、7区分のすべての粒径区分の土を最低5%含むものとした。また、土の工学分類として、細粒分50%以上で構成される細粒土と、細粒分50%未満で構成される砂質土の2種類に大別されることから3)、実証実験の混合土も、この定義を参考に、砂質土と細粒土の2種類の混合土を作成した。砂質土は細粒分5%とし、細粒土は細粒分55%とした。作成した各々の混合土の画像は、単一粒径土と同じ要領で、各々30枚、合計60枚撮影した。
学習済モデルを作成するための機械学習アルゴリズムには、高い画像認識性能を示すCNNを使用した。CNNの基本的な考え方と、実証実験に適用するCNNの詳細については、上述の通りである。
また、実証実験では、転移学習の有効性を確認するため、以下の2パターンで学習を行った。
1.図7のカーネルの重みすべてに、学習済みの重みを用いて固定(凍結)し、全結合層の重みのみを、実証実験の訓練データで学習した場合。
2.カーネルの重みも含め、すべてを本実験の訓練データのみで学習したフルスクラッチによる場合。
なお、学習用に水増しした分割結合画像による割増し画像が、学習済みモデル20の推定性能の向上に寄与できることを確認するために、水増しした割増し画像を使用しない学習も行った。
以上の検討を行うために、表3に示す3パターンで学習させ、得られた各々の学習済みモデルの性能を比較した。
Figure 2021117625
表2に示す粒度分布の砂質土による混合土及び細粒土による混合土の粒度分布の推定は、上述のように、各々30枚の全画像の推定値yPRED,Cの算術平均値を採用し、(式12)によって算出する。
Figure 2021117625
各々の学習済みモデルの推定性能は、砂質土による混合土及び細粒土による混合土の各々の粒度分布の真値yTRUEに対する、推定値yPRED,Cの算術平均値の二乗平均平方根誤差(Root Mean Square Error,以下RMSE)を用いて評価し、(式13)によって算出する。
Figure 2021117625
表3におけるモデル1、モデル2、モデル3の砂質土による混合土及び細粒土による混合土の7区分の粒度の割合の推定結果を曲線に示したものを図11〜図13に示す。各図の上のグラフは、粒径区分(粒度)内の粒子の割合を、区分の上限値の位置にプロットしたもの、下のグラフは、その累積である粒径加積曲線(プロットした粒径未満の粒子が含まれる割合)を示している。考察の参考として、30サンプルの各々の推定結果も合わせて表している。
モデル1の推定結果では、各々のサンプルの推定値の分布範囲が大きく、質量率が際立って高い曲線が多数ある。混合土の画像の多くには、様々な粒径粒子が混在しているため、この結果は訓練データの単一粒径土の特有の分布が学習された結果と考えられる。また、砂質土の混合土と細粒土混合土で、類似の推定曲線があり、各々のサンプルの推定曲線のみでは、砂質土の混合土と細粒土混合土の特徴を分類できていない。また、モデル2及びモデル3の推定曲線は、モデル1の推定曲線と比較して分布範囲が狭くなっている。また細粒土の混合土と砂質土の混合土の推定曲線が、重複することはなく、各々のサンプルの推定曲線だけを見ても、2種の土の特徴を区別することが可能である。
いずれのモデル1〜3においても、30サンプルの全平均を取ると、実際の粒度分布に近いトレンドが得られている。細粒土の混合土に関しては、全モデルに共通にして、細粒分の割合が過大に推定されている。この原因として、細粒粒子の付着が考えられる。一般に、粒子が細かくなると、付着力(分子間力)が重力を上回り、粒子が周辺物体に付着しやすくなる。
各々のモデルによる誤差の比較結果を図14に示す。モデル1、モデル3、モデル2の順で誤差が小さくなっていることが判明する。各々のサンプルの推定曲線の考察も踏まえると、モデル2,モデル3で使用している画像結合による訓練データの水増しは、有効な方法と考えられる。また、モデル2が最も誤差が少ないことから、転移学習の効果もあったことが判明する。
10 粒度分布推定システム
11 サーバ
12 撮影装置
13 現地発生土
14 ベルトコンベア(運搬装置)
15 現地発生土保管容器
20 学習済みモデル
T 平面視して空隙が生じない所定の厚さ
D 撮影距離

Claims (7)

  1. 原料土からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像を訓練データとして、サーバに組み込まれた人工知能による機械学習により得られた学習済みモデルによって、採取土の粒度分布を推定する土の粒度分布の推定方法であって、
    訓練データとなる各々の前記単一粒径土の画像は、平面視して空隙が生じない厚さで敷き均された当該単一粒径土の表面を、所定の撮影距離で撮影装置によって撮像されたものとなっていると共に、クラス分けされた各々の粒度の割合と紐図けされており、
    平面視して空隙が生じない厚さで敷き均された、粒度分布を推定すべき採取土の表面を前記所定の撮影距離で前記撮影装置によって撮像した画像を、前記学習済みモデルに入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることにより、採取土の粒度分布を推定する土の粒度分布推定方法。
  2. 前記学習済みモデルを得るための訓練データとなる多数の前記単一粒径土の画像は、割り増し画像を含んで構成されており、
    該割り増し画像は、一枚の画像を分割した複数枚の分割画像を結合して、前記単一粒径土の画像と同様の大きさの画像としたものとなっており、各々の分割画像は、いずれかの前記単一粒径土の画像を分割して抽出したものとなっていると共に、各々の割り増し画像における各々の前記単一粒径土の分割画像の占める割合が、当該割り増し画像において各々の粒度の単一粒径土が含まれる割合として、これらの割合が、前記複数の単一粒径土の分割画像を含む前記割り増し画像と紐付けされるようになっている請求項1記載の土の粒度分布推定方法。
  3. 前記割り増し画像を構成する分割画像は、一枚の画像を4等分割又は16等分割したものとなっている請求項2記載の土の粒度分布推定方法。
  4. 前記学習済みモデルは、機械学習アルゴリズムとして、畳み込みニューラルネットワークを用いて作成されたものとなっている請求項1〜3のいずれか1項記載の土の粒度分布推定方法。
  5. 前記学習済みモデルは、転移学習を適用して作成されたものとなっている請求項4記載の土の粒度分布推定方法。
  6. 前記単一粒径土の画像又は前記採取土の画像は、コンベア上に所定の厚さで移動可能に敷き均された前記単一粒径土又は前記採取土の表面を、コンベアの上方に所定の間隔をおいて配置された前記撮影装置により撮像することによって得られたものとなっている請求項1〜5のいずれか1項記載の土の粒度分布推定方法。
  7. 前記原料土及び前記採取土は、現地発生土である請求項1〜6のいずれか1項記載の土の粒度分布推定方法。
JP2020009579A 2020-01-24 2020-01-24 土の粒度分布の推定方法 Active JP7376374B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020009579A JP7376374B2 (ja) 2020-01-24 2020-01-24 土の粒度分布の推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020009579A JP7376374B2 (ja) 2020-01-24 2020-01-24 土の粒度分布の推定方法

Publications (2)

Publication Number Publication Date
JP2021117625A true JP2021117625A (ja) 2021-08-10
JP7376374B2 JP7376374B2 (ja) 2023-11-08

Family

ID=77174943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009579A Active JP7376374B2 (ja) 2020-01-24 2020-01-24 土の粒度分布の推定方法

Country Status (1)

Country Link
JP (1) JP7376374B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135199A (ja) * 2020-02-27 2021-09-13 太平洋セメント株式会社 骨材の品質推定方法およびコンクリート製造方法
JP7079454B1 (ja) 2021-07-20 2022-06-02 前田道路株式会社 粒度推定装置、及び、粒度推定装置の学習方法
CN114609008A (zh) * 2022-03-30 2022-06-10 中国科学院地理科学与资源研究所 一种气体浓度预测模型的训练方法和气体浓度预测方法
CN114858560A (zh) * 2022-06-06 2022-08-05 邢台路桥建设总公司 一种适用于土方路基压实土最佳含水率快速测量方法
JP7496858B2 (ja) 2022-08-08 2024-06-07 基礎地盤コンサルタンツ株式会社 粒度分布予測装置、機械学習装置、粒度分布予測方法、及び、機械学習方法
JP7575900B2 (ja) 2020-09-16 2024-10-30 株式会社栗本鐵工所 粒度分布推定装置、粒度分布推定方法、および学習装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010276A (ja) * 2001-06-29 2003-01-14 Noritz Corp 入浴ガイド方法及び入浴ガイド装置
JP2005208024A (ja) * 2003-12-26 2005-08-04 Jfe Steel Kk 粉粒体の粒度分布作成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010276A (ja) * 2001-06-29 2003-01-14 Noritz Corp 入浴ガイド方法及び入浴ガイド装置
JP2005208024A (ja) * 2003-12-26 2005-08-04 Jfe Steel Kk 粉粒体の粒度分布作成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DANIEL BUSCOMBE: ""SediNet: a configurable deep learning model for mixed qualitative and quantitative optical granulom", EARTH SURFACE PROCESSES AND LAND FORMS, vol. 45, no. 3, JPN6023021780, 31 October 2019 (2019-10-31), US, pages 638 - 651, XP071551556, ISSN: 0005070375, DOI: 10.1002/esp.4760 *
PRAMUDYANA AGUS HARLIANTO ET AL.: ""Comparison of Machine Learning Algorithms for Soil Type Classification"", 2017 3RD INTERNATIONAL CONFERENCE ON SCIENCE AND TECHNOLOGY - COMPUTER (ICST), JPN6023021784, 11 July 2017 (2017-07-11), US, pages 1 - 4, ISSN: 0005169601 *
安田 国裕: ""My画像認識人工知能のうまい育て方"", INTERFACE, vol. 44, no. 12, JPN6023021781, 1 December 2018 (2018-12-01), JP, pages 20 - 37, ISSN: 0005169598 *
本間 伸一、外3名: ""ディープラーニングを用いた画像解析による土砂性状判別"", 2018年度人工知能学会全国大会論文集, JPN6023021782, 5 June 2018 (2018-06-05), JP, pages 1 - 3, ISSN: 0005169599 *
秋田 麗子、外5名: ""垂直写真の画像解析から砂の平均粒径を推定する手法の検討"", 河川技術論文集, vol. 24, JPN6023021783, 12 June 2018 (2018-06-12), JP, pages 7 - 12, ISSN: 0005169600 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135199A (ja) * 2020-02-27 2021-09-13 太平洋セメント株式会社 骨材の品質推定方法およびコンクリート製造方法
JP7575900B2 (ja) 2020-09-16 2024-10-30 株式会社栗本鐵工所 粒度分布推定装置、粒度分布推定方法、および学習装置
JP7079454B1 (ja) 2021-07-20 2022-06-02 前田道路株式会社 粒度推定装置、及び、粒度推定装置の学習方法
JP2023015604A (ja) * 2021-07-20 2023-02-01 前田道路株式会社 粒度推定装置、及び、粒度推定装置の学習方法
CN114609008A (zh) * 2022-03-30 2022-06-10 中国科学院地理科学与资源研究所 一种气体浓度预测模型的训练方法和气体浓度预测方法
CN114609008B (zh) * 2022-03-30 2023-09-01 中国科学院地理科学与资源研究所 一种气体浓度预测模型的训练方法和气体浓度预测方法
CN114858560A (zh) * 2022-06-06 2022-08-05 邢台路桥建设总公司 一种适用于土方路基压实土最佳含水率快速测量方法
CN114858560B (zh) * 2022-06-06 2024-05-24 邢台路桥建设集团有限公司 一种适用于土方路基压实土最佳含水率快速测量方法
JP7496858B2 (ja) 2022-08-08 2024-06-07 基礎地盤コンサルタンツ株式会社 粒度分布予測装置、機械学習装置、粒度分布予測方法、及び、機械学習方法

Also Published As

Publication number Publication date
JP7376374B2 (ja) 2023-11-08

Similar Documents

Publication Publication Date Title
JP2021117625A (ja) 土の粒度分布の推定方法
Maeda et al. Generative adversarial network for road damage detection
Hopkinson et al. Automated classification of three-dimensional reconstructions of coral reefs using convolutional neural networks
Ajdadi et al. Application of machine vision for classification of soil aggregate size
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN108427920A (zh) 一种基于深度学习的边海防目标检测方法
CN107563422A (zh) 一种基于半监督卷积神经网络的极化sar分类方法
CN105917354A (zh) 用于图像处理的空间金字塔池化网络
CN111696092B (zh) 一种基于特征对比的缺陷检测方法及系统、存储介质
Singh et al. Wavelet based multi class image classification using neural network
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
KR102301013B1 (ko) 딥러닝 기반 병충해 진단 방법
CN109871869B (zh) 一种肺结节分类方法及其装置
Rahmani et al. Automated segmentation of gravel particles from depth images of gravel-soil mixtures
Qian et al. Classification of rice seed variety using point cloud data combined with deep learning
Gupta et al. Deep learning model for defect analysis in industry using casting images
Tyagi et al. LCSCNet: A multi-level approach for lung cancer stage classification using 3D dense convolutional neural networks with concurrent squeeze-and-excitation module
CN106682604A (zh) 一种基于深度学习的模糊图像检测方法
Li et al. Classification of sand using deep learning
Jouini et al. Texture segmentation of 3D x-ray micro-computed tomography images using U-NET
CN115830363A (zh) 基于卷积神经网络的粗粒土级配识别方法及电子设备
Manashti et al. PSDNet: Determination of Particle Size Distributions Using Synthetic Soil Images and Convolutional Neural Networks
Zhu et al. Automated crack propagation measurement on asphalt concrete specimens using an optical flow-based deep neural network
Patnaik et al. Remote Sensing Single-Image Super-Resolution Using Convolutional Block Attention Residual Network With Joint Adversarial Mechanisms

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231026

R150 Certificate of patent or registration of utility model

Ref document number: 7376374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150