JP2018041178A

JP2018041178A - 学習用データ生成方法およびこれを用いた対象空間状態認識方法

Info

Publication number: JP2018041178A
Application number: JP2016173205A
Authority: JP
Inventors: 潤園田; Jun Sonoda; 智幸木本; Tomoyuki Kimoto
Original assignee: Institute of National Colleges of Technologies Japan
Current assignee: Institute of National Colleges of Technologies Japan
Priority date: 2016-09-05
Filing date: 2016-09-05
Publication date: 2018-03-15
Anticipated expiration: 2036-09-05
Also published as: JP6737502B2

Abstract

【課題】対象系の状態認識用の大量の学習用データを高速で生成しうる方法および当該学習用データを用いて対象系の状態を高精度で認識しうる方法を提供する。
【解決手段】解析モデルが用いられて指定周波数の縦波、横波、または縦波および横波の組み合わせであるプローブ波の対象系への入射および対象系からの反射波の受信がシミュレーションされる。このシミュレーションが高速の演算処理要素によって実行されることにより、大量の学習用データが高速で生成される。当該学習用データがニューラルネットワークに入力された際の出力結果に応じて、ニューラルネットワークのパラメータの値が調節される。そして、当該パラメータの値が調節されたニューラルネットワークに対して実測データが入力された際の出力結果に応じて、当該実測データに対応する対象系の状態が高精度で認識される。
【選択図】図１

Description

本発明は、電磁波等のプローブ波を対象系に入射することにより、当該対象系における媒質の空間占有態様により定義されるさまざまな状態を認識するための技術、および、当該状態認識のために用いられる学習用データを生成する技術に関する。

現在、トンネルおよび橋脚などのインフラの劣化が社会問題化しており、異常個所の早期発見が必要とされている。異常箇所検出には、非破壊検査が可能な数百ＭＨｚ帯の電磁波による地中レーダが用いられている（非特許文献１〜３参照）。しかし、地中の不均質性が増すと、電磁波が多重散乱してレーダ画像が複雑になるため、異常個所の判定が困難になる問題があり、客観的かつ高精度な判定が求められている。

地中レーダの画像認識においてもニューラルネットワークによる機械判定が研究されている（非特許文献４〜６参照）。近年、ニューラルネットワークを多層化したディープラーニングが注目されており、自ら特徴を抽出し、多層のネットワーク構造で学習することで高精度の認識が可能になるという利点がある。その一方、大量の学習用データが必要であり、かつ、多層構造のため学習に膨大な時間を要するという問題がある。

地中レーダにおいてもディープラーニングを適用することで物体抽出等の自動化および高精度化が期待されるが、大量のデータを用意する必要があるという問題がある。地中レーダでは、パラメータを変更した数多くの実験は現実には困難であるため、電磁場解析手法の１つであるＦＤＴＤ法によるシミュレーションが有効である。しかし、ＦＤＴＤ法は計算時間が多くかかるという問題がある（非特許文献７参照）。

ＦＤＴＤ法の高速化のため、スーパーコンピュータ、クラスタ計算機、ＦＰＧＡなどによる専用計算機、ＣｅｌｌまたはＧＰＵなどのアクセラレータなどの適用が研究されている。ＧＰＵを複数台用いるＧＰＵクラスタによるデータ並列により１モデルを高速で計算できることが示されている（非特許文献８参照）。

佐藤、信学論(C), vol.J85C, 2002 K.Belli, et al., IEEE Geo. Remote Sens., 2009 P.Sgangguan, et al., IEEE Geo. Remote Sens., 2015 P.Gamba, et al., IEEE Geo. Remote Sens., 2000 T.Hara and A.Hirose, Newral Networks, 2004 I.Giannakis, et al., IEEE Geo. Remote Sens., 2016 小関、園田、昆、佐藤、信学技報, EMCJ2011-50, 2011 園田、小関、佐藤、信学論(C), 2015

しかし、ディープラーニングを用いた地中物体のサイズ、材質および埋設位置などの識別のためには、数万個程度の学習用データが必要である。例えば、送受信アンテナを地上で走査しながら、電波を地中に入射して誘電率の相違により生じる反射波を観測する地中レーダを用いて、数万個の画像データを取得することは経済的ではない。

そこで、本発明は、対象系の状態認識用の大量の学習用データを高速で生成しうる方法および当該学習用データを用いて対象系の状態を高精度で認識しうる方法を提供することを課題とする。

本発明の学習用データ生成方法は、対象系の状態を認識するための学習用データを生成する方法であって、前記対象系における一または複数の物体およびこれを取り囲む媒質のそれぞれの空間占有態様および縦波、横波、または縦波および横波の組み合わせであるプローブ波に対する応答特性を少なくとも含む複数の因子により定義される解析モデルにおいて、前記対象系の複数の状態のそれぞれを表わす前記複数の因子の異なる組み合わせを定義し、前記解析モデルにおいて、一または複数の出力点から前記対象系に対して前記プローブ波を仮想的に入射した際に、複数の入力点のそれぞれにおいて仮想的に受信される反射波に基づき、前記複数の因子の異なる組み合わせのそれぞれについて前記学習用データを生成することを特徴とする。

本発明の学習用データ生成方法において、前記媒質が、前記プローブ波に対して基準応答特性を有するマトリックス領域、または、前記マトリックス領域およびそれにより囲まれている前記基準応答特性とは異なる応答特性を有するフィラー領域により定義されていることが好ましい。

本発明の学習用データ生成方法において、複数の前記フィラー領域のそれぞれの前記プローブ波に対する応答特性が乱数を用いて定義されていることが好ましい。

本発明の状態認識方法は、前記対象系の複数の状態のそれぞれについて前記学習用データをニューラルネットワークに対して入力し、前記ニューラルネットワークからの出力が、前記対象系が前記学習用データのそれぞれに対応する状態であることを表わす出力となるように前記ニューラルネットワークのパラメータの値を調節し、前記一または複数の出力点から前記対象系に対して前記プローブ波を入射したうえで、前記複数の入力点のそれぞれにおいて反射波を受信し、前記反射波に基づいて実測データを生成し、前記実測データを前記パラメータの値が調節された前記ニューラルネットワークに対して入力し、前記ニューラルネットワークの出力に基づいて前記実測データに対応する前記対象系の状態を認識することを特徴とする。

本発明の学習用データ生成方法によれば、解析モデルが用いられて指定周波数のプローブ波の対象系への入射および対象系からの反射波の受信がシミュレーションされる。「プローブ波」は、縦波（例えば音波）、横波（例えば電磁波）または縦波および横波の組み合わせ（例えば弾性波）である。このシミュレーションが高速の演算処理要素によって実行されることにより、対象系における物体および媒質のそれぞれの空間占有態様（位置、形状およびサイズにより定義される。）およびプローブ波に対する応答特性を認識するための大量の学習用データが高速で生成される。

本発明の状態認識方法によれば、当該学習用データがニューラルネットワークに入力された際の出力結果に応じて、ニューラルネットワークのパラメータの値が調節される。そして、当該パラメータの値が調節されたニューラルネットワークに対して実測データが入力された際の出力結果に応じて、当該実測データに対応する対象系の状態が高精度で認識される。すなわち、対象系においてプローブ波に対してどのような応答特性を有する媒質が存在し、その媒質のどこに、どのような形状およびサイズを有し、かつ、プローブ波に対してどのような応答特性を有する物体が存在しているのかが高精度で認識される。

本発明の一実施形態としての学習用データの生成方法に用いられる解析モデルに関する説明図。地中が均質媒質である場合に生成されたレーダ画像の例示図。地中が第１不均質媒質である場合に生成されたレーダ画像の例示図。地中が第２不均質媒質である場合に生成されたレーダ画像の例示図。本発明の実施例および比較例の計算時間の対比説明図。本発明の一実施形態としての学習モデルに関する説明図。

（学習用データの生成）
本発明の一実施形態としての学習用データの生成方法によれば、対象系である地中における物体の空間占有態様（位置、サイズおよび形状により定義される。）およびプローブ波としての電磁波に対する応答特性を表わす比誘電率ε_tagを認識するための学習用データが生成される。

学習用データの生成に際して、図１に示されている解析モデルが用いられる。この解析モデルによれば、サイズがｗ（幅）×ｈ（高さ）×ｌ（長さ）で比誘電率ε_tagの直方体状の物体（例えばその中心）が位置（ｘ、ｙ）の深さｄの位置に存在する。

図１には、解析モデルで用いられるパラメータについても併記されている。幅ｗ、高さｈおよび長さｌのそれぞれが５０〜２００［ｍｍ］の範囲で５０［ｍｍ］刻みで変更され、地中深さｄが２００〜５００［ｍｍ］の範囲で１００［ｍｍ］刻みで変更され、かつ、位置ｘおよびｙのそれぞれが−２００〜２００［ｍｍ］の範囲で１００［ｍｍ］刻みで変更された。地中（マトリックス媒質）の比誘電率ε_gndが「４．０」に設定された。物体のサイズ（幅ｗ，高さｈ，長さｌ）およびそれらの変化幅、地中深さｄおよびその（ｘ、ｙ）ならびにその変化幅、さらにはマトリックス媒質の比誘電率ε_gndなどのパラメータの値はその他の様々な形態で変更されてもよい。

物体の材質として、（Ａ１）完全導体よりなる第１材質、（Ａ２）ε_tag＝１．０〜２．０の範囲に含まれる第２材質、（Ａ３）ε_tag＝３．０〜３．５の範囲に含まれる第３材質、（Ａ４）ε_tag＝４．５〜５．０の範囲に含まれる第４材質、および（Ａ５）ε_tag＝９．０〜１０．０の範囲に含まれる第５材質という５種類の異なる材質が採用された。第２〜第５材質のそれぞれの比誘電率ε_tagを０．５ごとに変化させた。物体を構成する材質の種類の数、比誘電率ε_tagの範囲および比誘電率ε_tagの変化幅のそれぞれが、任意に変更されてもよい。

地中を構成する媒質として、（Ｂ１）均質媒質、（Ｂ２）第１不均質媒質および（Ｂ３）第２不均質媒質のそれぞれが採用された。第１不均質媒質は、平均値が２０［ｍｍ］で標準偏差が０．２５の正規分布によりサイズの分布態様が表わされ、かつ、比誘電率が１．０〜８．０の範囲の一様乱数として与えられるフィラー媒質が、密度１０［個／ｍ³］でマトリックス媒質に配置されていることにより定義されている。第２不均質媒質は、平均値が２０［ｍｍ］で標準偏差が０．２５の正規分布によりサイズの分布態様が表わされ、かつ、比誘電率が１．０〜８．０の範囲の一様乱数として与えられるフィラー媒質が、密度２５［個／ｍ³］でマトリックス媒質に配置されていることにより定義されている。媒質の種類の数、フィラー媒質のサイズの分布態様（平均値、偏差、分散など）、フィラー媒質の比誘電率のばらつきを定義する乱数、マトリックス媒質における密度などが任意の形態で変更されてもよい。

物体（Ａ１）〜（Ａ５）のそれぞれと、当該物体を取り囲んでいる媒質（Ｂ１）〜（Ｂ３）のそれぞれとの１５の組み合わせのそれぞれについて７０４００個の画像データが学習用データとして生成された。学習用データとして生成される画像データの数は任意に変更されてもよい。

解析領域は２５６×１２８×１２８セルであり、各セルについて比誘電率、透磁率および導電率などの電磁波応答特性を表わす物性値のうち少なくとも１つが定義される。当該解析領域の吸収境界条件を定義するために１６層のＰＭＬ（ＰｅｒｆｅｃｔｌｙＭａｔｃｈｅｄＬａｙｅｒ）が適用される。これは、シミュレーションは、無限に広がっている領域をモデル化することはできないので、有限の領域にしておいて、その境界では反射が生じないという境界条件を設ける必要があるためである。解析領域のセルの定義の仕方は任意の形態に変更されてもよい。ＰＭＬは１６層のほか任意の複数層であってもよい。ＰＭＬ以外にも、Ｍｕｒ、Ｈｉｇｄｏｎ、Ｌｉａｏなどが提案している吸収境界条件が適用されてもよい。

解析モデルにおいて、地上（対象系の境界面）でｘ方向（およびｙ方向）に１０［ｍｍ］間隔で波源を複数の出力点のそれぞれにとどまるように走査し、当該波源から地中に対して中心周波数ｆ₀が８００［ＭＨｚ］のウェーブレット型パルス波Ｉ_yがプローブ波として仮想的に入射された。出力点の個数および配置態様、プローブ波の周波数（指定周波数）および波形などは任意の形態で変更されてもよい。

そして、地上における複数（例えば１２８）の入力点で仮想的に受信された反射波（波形信号）に基づき、画像データ（地中レーダ画像）が生成された。ＦＤＴＤ法のセルサイズが０．０１［ｍ］（波長に対して１／２０の以下程度であれば他での値でもよい）に設定され、時間ステップが１．５×１０^-11［ｓ］（セルサイズから安定条件を満たせば他の値でもよい）に設定された。ＧＰＵとしてＮＶＩＤＩＡＴｅｓｌａＫ２０ｍを用い、１ノードにＧＰＵ４台（他の値でもよい）が搭載された１６ノード計６４台のＧＰＵクラスタが用いられた。ＧＰＵおよびＧＰＵクラスタの構成は任意の形態で変更されてもよい。

図２Ａ〜図２Ｃには、ＧＰＵクラスタのタスク並列によるＦＤＴＤ法で生成された７００００個程度の画像データの一例が例示されている。図２Ａには、（１）ｗ＝ｈ＝ｌ＝５０［ｍｍ］、ｄ＝１００［ｍｍ］の場合、（２）ｗ＝ｈ＝ｌ＝５０［ｍｍ］、ｄ＝２００［ｍｍ］の場合および（３）ｗ＝ｈ＝ｌ＝１００［ｍｍ］、ｄ＝２００［ｍｍ］の場合のそれぞれにおける均質媒質（ε_gnd＝１）の画像データが左から順に示されている。図２Ｂには、上記（１）〜（３）の場合のそれぞれにおける第１不均質媒質（ε_gnd＝１０）の画像データが左から順に示されている。図２Ｃには、上記（１）〜（３）の場合のそれぞれにおける第２不均質媒質（ε_gnd＝５）の画像データが左から順に示されている。なお、ＧＰＵクラスタに代えて、演算処理が同等に高速なＣＰＵなどの演算処理要素が用いられてもよい。ＦＤＴＤ法に代えて、有限要素法または境界要素法などの他の数値解析手法にしたがってレーダ画像が生成されてもよい。

図２Ａおよび図２Ｂから、媒質が均質または比較的均質であって比誘電率の比ε_tag／ε_gndが比較的大きい場合、地中の物体からの反射波が大きいことがわかる。図２Ｃから、媒質が比較的不均質であって比誘電率の比ε_tag／ε_gndが比較的小さい場合、地中の物体からの反射波が小さく、物体の存在を検出することが困難であることがわかる。図２Ａ〜図２Ｃから、複数の因子である物体の比誘電率ε_tag、サイズｗ×ｈ×ｌおよび地中深さｄの組み合わせ態様の相違に応じて、特徴が異なる画像データが生成されていることがわかる。したがって、図２Ａ〜図２Ｃの画像データをディープラーニングの学習用データとして用いることにより、地中（対象系）にある物体の存在、材質およびサイズなどを高精度で検出できる。

図３には、図２で示したレーダ画像を数万個程度生成するのに要する時間を示しており、ＣＰＵＩｎｔｅｌＸｅｏｎＥ５−２６３０の６４台５１２コア１０２４スレッドのＣＰＵクラスタを用いた場合と、ＧＰＵＴｅｓｌａＫ２０ｍｘ６４を用いた場合を比較した結果が示されている。ＣＰＵ１コアではモデル１個を計算するのに９６時間を要するが、ＧＰＵ１台では１７分程度で計算できる。ＣＰＵの台数およびＧＰＵの台数が同じである場合のモデル１個当たりに要する計算時間は、ＣＰＵでは３３５秒、ＧＰＵでは１６秒程度であり、ＧＰＵの場合はＣＰＵの場合よりも２０倍程度高速に計算でき、ＧＰＵクラスタにより大量の画像データが学習用データとして高速に生成可能である。複数の因子の組み合わせごとに、学習用データとしての３２ｐｉｘｅｌ×３２ｐｉｘｅｌ×３色（ＲＧＢ）の約１万の画像データが準備された。画像データのピクセル数、画素値（ＲＧＢではなく明度のみなど）および枚数などは任意の形態に変更されてもよい。

（学習用データを用いた学習）
図４に示されている学習モデルに対して、任意の画像データが入力画像として入力され、畳み込みフィルタ１において画面全体を対象として畳み込みが実行される。畳み込みの結果は２次元画像となり、これが畳み込み層１において示されている。畳み込み層１の各ピクセル値はランプ関数ｆ（ｘ）を通して出力される。その出力は、プーリング層１でぼかされて出力１の画像が得られる。さらに、この出力１を入力として、前述と同じ処理が３回繰り返されて出力３が得られる。続いて出力３が、古典的な３層（層の数は３以外であってもよい。）の全結合型階層型ニューラルネットワークの入力とし、出力層を識別対象であるカテゴリ（地中の状態または地中に存在する物体の種類）の種類と同じ数に設定することで、状態認識結果が出力される。全結合層の素子数６４は他の値でもよい。また素子数５は、カテゴリの数に応じて、素子数は「５」ではなく、任意の数に変更されてもよい。

状態認識精度の向上のためには、フィルタおよび全結合型階層型ニューラルネットワークの結合荷重が適切に設定される必要がある。そこで、画像データ（レーダ反射画像）の中から任意に入力画像が選択されてニューラルネットワークに対して入力される。そして、最終出力の状態認識結果が正しくなるように、確率的勾配法でフィルタおよび全結合型階層型ニューラルネットワークの結合荷重のそれぞれ（パラメータ）が修正される。これを、すべての画像データについて複数回繰り返されることで、状態認識結果の正答率が向上するように当該パラメータの値が繰り返して調節される。

実世界において、シミュレーションと同様に地上（対象系の境界面）でｘ方向（およびｙ方向）に１０［ｍｍ］間隔で波源を複数の出力点のそれぞれにとどまるように走査し、当該波源から地中に対して中心周波数ｆ₀が８００［ＭＨｚ］のウェーブレット型パルス波Ｉ_yが入射された。そして、地上における複数（例えば１２８）の入力点で受信された反射波（波形信号）に基づき、画像データが実測データとして生成された。

そして、パラメータの値が調節されたニューラルネットワークに対して、実測データが入力される。これにより、当該実測データに対応する地中の状態が高精度で認識される。

（本発明の他の実施形態）
前記実施形態では、対象系として地中が採用されたが、他の実施形態として対象系として水中、地上空間（界空間）、チャンバ等により閉塞された空間（閉空間）が採用されてもよい。例えば反射波測定装置の周辺における地上空間が対象系である場合、当該地上空間における歩行者、動物、自動車、建造物などの物体の空間占有態様により定義される複数の状態が認識されてもよい。

前記実施形態では、物体および媒質のそれぞれの電磁波応答特性を表わす因子として比誘電率が定義されたが、他の実施形態として当該因子として比透磁率、電気伝導率などの物性値が採用されてもよい。前記実施形態では、一の周波数を基準とした電磁波に対する物体および媒質のそれぞれの応答特性が当該因子として採用されたが、他の実施形態として、複数の異なる周波数を基準とした電磁波に対する物体および媒質のそれぞれの応答特性が当該因子として採用されてもよい。例えば、周波数が異なる第１電磁波および第２電磁波のそれぞれの入射に応じて得られた画像データ（学習用データ）のそれぞれが用いられてニューラルネットワークのパラメータの値が調整され、第１電磁波および第２電磁波のそれぞれの入射に応じて得られた実画像データ（実測データ）に対応する対象系の状態が認識または識別されてもよい。

前記実施形態では、物体および媒質のそれぞれの横波である電磁波への応答特性を表わす因子により対象系の状態が定義されたが、他の実施形態として、物体および媒質のそれぞれの縦波である音波または縦波および横波の組み合わせである弾性波への応答特性を表わす因子により対象系の状態が定義されていてもよい。

Claims

対象系の状態を認識するための学習用データを生成する方法であって、
前記対象系における一または複数の物体およびこれを取り囲む媒質のそれぞれの空間占有態様および縦波、横波、または縦波および横波の組み合わせであるプローブ波に対する応答特性を少なくとも含む複数の因子により定義される解析モデルにおいて、前記対象系の複数の状態のそれぞれを表わす前記複数の因子の異なる組み合わせを定義し、
前記解析モデルにおいて、一または複数の出力点から前記対象系に対して前記プローブ波を仮想的に入射した際に、複数の入力点のそれぞれにおいて仮想的に受信される反射波に基づき、前記複数の因子の異なる組み合わせのそれぞれについて前記学習用データを生成することを特徴とする学習用データ生成方法。
請求項１記載の学習用データ生成方法において、
前記媒質が、前記プローブ波に対して基準応答特性を有するマトリックス領域、または、前記マトリックス領域およびそれにより囲まれている前記基準応答特性とは異なる応答特性を有するフィラー領域により定義されていることを特徴とする学習用データ生成方法。
請求項２記載の学習用データ生成方法において、
複数の前記フィラー領域のそれぞれの前記プローブ波に対する応答特性が乱数を用いて定義されていることを特徴とする学習用データ生成方法。
請求項１〜３のうちいずれか１つに記載の学習用データ生成方法により学習用データを生成し、
前記対象系の複数の状態のそれぞれについて前記学習用データをニューラルネットワークに対して入力し、前記ニューラルネットワークからの出力が、前記対象系が前記学習用データのそれぞれに対応する状態であることを表わす出力となるように前記ニューラルネットワークのパラメータの値を調節し、
前記一または複数の出力点から前記対象系に対して前記プローブ波を入射したうえで、前記複数の入力点のそれぞれにおいて反射波を受信し、前記反射波に基づいて実測データを生成し、
前記実測データを前記パラメータの値が調節された前記ニューラルネットワークに対して入力し、前記ニューラルネットワークの出力に基づいて前記実測データに対応する前記対象系の状態を認識することを特徴とする状態認識方法。