JP2018195001A - 線状図形抽出装置、線状図形抽出プログラム及びニューラルネットワークの学習方法 - Google Patents

Abstract

【課題】構造物の表面に発生するひび割れ等の線状図形の抽出に特化し、抽出精度の高い線状図形抽出装置、線状図形抽出プログラム及びニューラルネットワークの学習方法を提供する。【解決手段】判断領域設定部１０が、判断対象画像上に予め定めた大きさの判断領域を設定し、判断領域移動部１４が、上記判断領域を予め定めた移動単位ずつ判断対象画像上を移動させ、１移動単位移動させる毎に、部分画像を取得する。入力部１６が、上記部分画像を判断部１８に入力すると、判断部１８は、判断領域中に存在する線状図形の位置に基づき、予め学習済のニューラルネットワークにより、上記部分画像について、注目領域中に線状図形が存在するか否かを判断し、表示制御部２０は、判断部１８の判断結果を表示する。【選択図】図２

Description

本発明は、線状図形抽出装置、線状図形抽出プログラム及びニューラルネットワークの学習方法に関する。

道路、建物、トンネル、ダム等の構造物を管理する上で、表面に発生するひび割れ等を監視することが重要である。このような監視を行うために、構造物の表面に発生したひび割れ等の線状図形の目視による観察や、構築物表面の画像から画像処理や機械学習の方法により上記線状図形を自動判読することが行われていた。

しかし、例えば画像処理や機械学習の方法により構造物に発生するひび割れ等の線状図形を抽出する場合、その形状の多様性や構造物自体の多様性のために、抽出用の特徴量の設定が困難であり、上記線状図形抽出処理を行うことが困難であった。

そこで、ニューラルネットワークにひび割れ等の線状図形の抽出処理を学習させ、高精度の抽出を行わせることが考えられる。

例えば、下記特許文献１には、遺伝的プログラミングによる並列型画像フィルタ自動生成システムにサイズ依存型交叉を導入して道路の複数の実舗装画像からクラックが存在する画像をフィルタ構築の訓練データに選定採用することで様々なタイプの画像からクラックの抽出用画像フィルタを自動的に構築し、評価対象舗装領域の画像全体を格子状に分割した個々のブロックに該抽出用画像フィルタを適用して評価するようにした舗装路面のクラックの抽出と損傷レベルの評価方法が開示されている。

上記特許文献１では、ピクセル単位でひび割れの算出を行っているが、このような手法はノイズを多く拾う傾向にある。そこで、ノイズを軽減させるため、画像を格子状に分割した単位ごとに算出する手法が用いられる。しかし、画像を格子状に分割し、個々のブロックでクラックを抽出する場合、ブロックの端部での抽出精度が低下するという問題がある。

特開２０１１−１７９８７４号公報

本発明の目的は、構造物の表面に発生するひび割れ等の線状図形の抽出に特化し、抽出精度の高い線状図形抽出装置、線状図形抽出プログラム及びニューラルネットワークの学習方法を提供することにある。

上記目的を達成するために、本発明の一実施形態は、線状図形抽出装置であって、判断対象画像上に、予め定めた大きさの判断領域を設定する判断領域設定手段と、前記判断領域を予め定めた距離毎に前記判断対象画像の予め定めた方向に移動させる判断領域移動手段と、前記判断領域中に存在する線状図形の位置に基づき、前記判断領域中に設定され、前記判断領域より小さい注目領域中に前記線状図形が存在するか否かについての判断処理を予め学習済のニューラルネットワークを含む判断手段と、前記判断領域移動手段により前記判断対象画像の全部又は一部について前記判断領域を移動させながら取得した前記判断領域の大きさの部分画像を前記判断手段に入力する入力手段と、前記入力手段が入力した各部分画像について前記判断手段が出力した、前記注目領域における前記線状図形の有無の判断結果を表示する表示手段と、を備えることを特徴とする。

上記注目領域の周囲には、前記判断領域の外側境界線との間にバッファ領域が存在するのが好適である。

また、上記判断領域移動手段は、前記注目領域が前記判断対象画像上を一部重複又は境界線が接するように前記判断領域を移動させるのが好適である。

また、上記判断領域移動手段は、１画素ずつ前記判断領域を移動させてもよい。

また、上記ニューラルネットワークは、畳み込みニューラルネットワークであるのが好適である。

また、上記線状図形が路面のひび割れであるのが好適である。

また、本発明の他の実施形態は、線状図形抽出プログラムであって、コンピュータを、判断対象画像上に、予め定めた大きさの判断領域を設定する判断領域設定手段、前記判断領域を予め定めた距離毎に前記判断対象画像の予め定めた方向に移動させる判断領域移動手段、前記判断領域中に存在する線状図形の位置に基づき、前記判断領域中に設定され、前記判断領域より小さい注目領域中に前記線状図形が存在するか否かについての判断処理を予め学習済のニューラルネットワークを含む判断手段、前記判断領域移動手段により前記判断対象画像の全部又は一部について前記判断領域を移動させながら取得した前記判断領域の大きさの部分画像を前記判断手段に入力する入力手段、前記入力手段が入力した各部分画像について前記判断手段が出力した、前記注目領域における前記線状図形の有無の判断結果を表示する表示手段、として機能させることを特徴とする。

また、本発明のさらに他の実施形態は、ニューラルネットワークの学習方法であって、判断対象画像上に予め定めた大きさの判断領域を設定し、前記判断領域中に、判断領域より小さい注目領域を設定し、前記判断対象画像上に存在する線状図形の前記判断領域中における位置に基づき前記注目領域中に前記線状図形が存在するか否かを判断するための正解画像をニューラルネットワークに入力し、前記ニューラルネットワークの出力と前記正解画像との誤差に基づいて少なくとも重み係数の値を調整する処理を繰り返すことを特徴とする。

本発明によれば、構造物の表面に発生するひび割れ等の線状図形の抽出を高精度で行うことができる。

実施形態にかかる線状図形抽出装置を用いた線状図形の抽出処理の概念図である。 実施形態にかかる線状図形抽出装置の構成例の機能ブロック図である。 実施形態にかかる判断領域と注目領域の説明図である。 実施形態にかかる判断領域移動部による判断領域の移動方法の説明図である。 実施形態にかかるニューラルネットワークの学習方法の説明図である。 実施形態にかかる線状図形抽出装置の動作例のフロー図である。

以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。

図１には、実施形態にかかる線状図形抽出装置を用いた線状図形の抽出処理の概念図が示される。図１において、線状図形抽出装置１００は、コンピュータ等で実現され、道路、建物、トンネル、ダム等の構造物の表面画像が入力画像として入力されると、ニューラルネットワークを用いて、入力画像におけるひび割れ等の線状図形を認識し、認識した線状図形の入力画像におけるひび割れとして認識された位置等を抽出結果として出力する。この出力としては、入力画像上における線状図形の存在位置の表示データが好適である。

図２には、実施形態にかかる線状図形抽出装置１００の構成例の機能ブロック図が示される。図２において、線状図形抽出装置１００は、判断領域設定部１０、注目領域設定部１２、判断領域移動部１４、入力部１６、判断部１８、表示制御部２０、通信部２２、記憶部２４及びＣＰＵ２６を含んで構成されている。なお、ＣＰＵ２６以外にＧＰＵを用いてもよい。上記線状図形抽出装置１００は、ＣＰＵ２６、ＲＯＭ、ＲＡＭ、不揮発性メモリ、Ｉ／Ｏ、通信インターフェース等を備え、装置全体の制御及び各種演算を行うコンピュータとして構成されており、上記各機能は、例えばＣＰＵ２６とＣＰＵ２６の処理動作を制御するプログラムとにより実現される。

判断領域設定部１０は、判断対象画像上に、予め定めた大きさの判断領域を設定する。ここで、判断対象画像とは、例えば路面、鉄筋コンクリート製の建物、橋梁、トンネル等の構造物の表面を撮影した画像あるいは人工衛星から撮影した地表面の画像であって、構造物表面のひび割れや地表面の河川や道路、鉄道等の線状図形の有無を判断する対象となる画像である。なお、線状図形とは、その幅に較べて長さが十分に長く、細長い線分からなる図形である。また、線状図形の長手方向の形状は限定されず、直線や曲線を含めてどのような形状であってもよい。上記判断対象画像上に設定される判断領域の形状は、特に限定されないが、矩形であるのが好適であり、正方形であるのがさらに好適である。判断領域設定部１０が設定した判断領域の形状及び大きさの情報は、記憶部２４に記憶させる。

注目領域設定部１２は、上記判断領域中に、判断領域より小さい注目領域を設定する。注目領域の形状も、特に限定されないが、矩形であるのが好適であり、正方形であるのがさらに好適である。ここで、「判断領域より小さい」とは、後述する図３に示されるように、注目領域の周囲に、判断領域の外側境界線との間に形成されたバッファ領域が存在することをいう。後述する判断部１８は、上記判断領域及びその中に設定された注目領域におけるひび割れ等の線状図形の有無、配置に基づき、注目領域におけるひび割れ等の線状図形の有無を判断する。注目領域設定部１２が設定した注目領域の形状及び大きさの情報は、記憶部２４に記憶させる。

判断領域移動部１４は、上記判断領域の形状及び大きさの情報を記憶部２４から読み出し、当該形状及び大きさの判断領域を予め定めた距離毎に上記判断対象画像の予め定めた方向に移動させる。例えば、後述する図４に示されるように、正方形の判断領域を、判断対象画像の左上から図４の水平方向に上記距離毎に移動させ、判断領域の右の辺が判断対象画像の右の辺まで到達したら、予め定めた距離だけ図４の下方且つ左に移動させ、同様に移動を繰り返す。この場合、判断領域が移動する範囲は、判断対象画像の全部でもよいし一部でもよい。判断領域移動部１４は、上記注目領域の形状及び大きさの情報を記憶部２４から読み出し、注目領域が判断対象画像上を一部重複又は境界線が接するように判断領域を移動させるのが好適である。この場合、１画素ずつ判断領域を移動させてもよい。判断領域の移動のさせ方（移動方向、１回の移動の距離（移動単位））は、予め決定し、記憶部２４に記憶させておき、判断領域移動部１４が読み出して使用する。

判断領域移動部１４が判断領域を１移動単位移動させる毎に、判断領域に対応する範囲の判断対象画像（以後、部分画像という）を取得して記憶部２４に記憶させる。

入力部１６は、判断領域移動部１４が上記判断対象画像の全部又は一部について上記判断領域を移動させながら取得した判断領域の大きさの部分画像を記憶部２４から読み出し、判断部１８に入力する。また、入力部１６は、上記注目領域設定部１２が設定した注目領域の形状及び大きさの情報も記憶部２４から読み出して判断部１８に入力する。

判断部１８は、判断領域中に存在する線状図形の位置に基づき注目領域中に線状図形が存在するか否かについて行う判断処理を予め学習済のニューラルネットワークを含んで構成され、上記入力部１６が入力した部分画像について、注目領域中に線状図形が存在するか否かを判断する。判断結果は、記憶部２４に記憶させる。ニューラルネットワークとしては、従来公知のものを適用でき、例えば畳み込みニューラルネットワーク（Convolutional Neural Network ＣＮＮ）、自己符号化器（Auto Encoder ＡＥ）、変分自己符号化器（Variational Autoencoder ＶＡＥ）、深層畳み込み敵対的生成ネットワーク（Deep Convolutional Generative Adversarial Networks ＤＣＧＡＮ）、Fully Convolutional Network（ＦＣＮ）等を好適に使用できる。実施形態にかかるニューラルネットワークは、判断領域（部分画像）中の様々な位置に線状図形が存在し、その位置に基づき注目領域中に線状図形が存在すると判断すべき画像及び存在しないと判断すべき画像を教師データとして上記学習を行わせている。本実施形態では、上述した通り、注目領域の周囲にバッファ領域が存在しているので、単に注目領域に線状図形が存在するか否かの画像を教師データとするよりも、線状図形の存否の判断精度を高くできる。学習方法の詳細は後述する。

表示制御部２０は、液晶表示素子その他の適宜な表示装置を制御して、上記入力部１６が入力した各部分画像について判断部１８が出力した、注目領域における線状図形の有無の判断結果を記憶部２４から読み出して表示する。判断結果の表示方法としては、例えば線状図形が存在すると判断された注目領域の表示色を変更する等が挙げられる。なお、この場合の注目領域の形状及び大きさの情報は、表示制御部２０が記憶部２４から読み出して使用する。

通信部２２は、適宜なインターフェースにより構成され、無線または有線の通信回線を介してＣＰＵ２６が外部のサーバー等とデータ（判断対象画像等）をやり取りするために使用する。

記憶部２４は、ハードディスク装置、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリで構成され、上記各種情報等、及びＣＰＵ２６の動作プログラム等の、線状図形抽出装置１００が行う各処理に必要な情報を記憶させる。なお、記憶部２４としては、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書き換え可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。また、記憶部２４には、主としてＣＰＵ２６の作業領域として機能するランダムアクセスメモリ（ＲＡＭ）、及びＢＩＯＳ等の制御プログラムその他のＣＰＵ２６が使用するデータが格納される読み出し専用メモリ（ＲＯＭ）を含めるのが好適である。

図３（ａ）〜（ｄ）には、判断領域と注目領域の説明図が示される。図３（ａ）〜（ｄ）において、判断領域Ａの内側に注目領域Ｂが設定されている。判断領域Ａと注目領域Ｂとは正方形に構成されており、注目領域Ｂの各辺及び頂点は判断領域Ａのいずれの辺及び頂点とも接していない。また、判断領域Ａと注目領域Ｂとの重心（対角線の交点）の位置が一致しているのが好適である。

図３（ａ）〜（ｄ）に示されるように、注目領域Ｂの周囲に、判断領域Ａの外側境界線Ｌ（判断領域Ａの四つの辺）との間に形成されたバッファ領域Ｂｕが存在している。バッファ領域Ｂｕは斜線のハッチングにより示されている。

なお、図３（ａ）〜（ｄ）の例では、判断領域Ａと注目領域Ｂとが正方形で示されているが、これらの形状は正方形に限定されない。判断部１８による判断処理が高精度且つ効率的に実行できる形状であればいずれも採用でき、例えば長方形であってもよい。

また、図３（ａ）〜（ｄ）には、ひび割れ等の線状図形Ｃも示されている。後述するニューラルネットワークの学習において、図３（ａ）、（ｂ）が注目領域Ｂに線状図形Ｃが存在すると判断させる例であり、図３（ｃ）、（ｄ）が注目領域Ｂに線状図形Ｃが存在しないと判断させる例である。

図４には、判断領域移動部１４による判断領域の移動方法の説明図が示される。図４において、内部に注目領域Ｂを含む判断領域Ａは、最初に判断領域Ａの左側の辺が判断対象画像Jの左側の辺に重なる位置にある。この位置を移動のスタートとして、判断領域移動部１４により、判断対象画像J上を、その左上端部から図の右方向に移動単位の距離だけ移動する。この際、判断領域移動部１４は、注目領域Ｂが判断対象画像J上で一部重複又は境界線が接するように判断領域Ａを移動させる。図４に破線Ｉで示された例が、注目領域Ｂが一部重複するように判断領域Ａを移動させる場合であり、破線ＩＩで示された例が、注目領域Ｂの境界線が接するように判断領域Ａを移動させる場合である。この場合、１画素ずつ判断領域Ａを移動させてもよい。従って、図４に示された例の場合、上記移動単位は、移動前後で注目領域Ｂの一部が重複する距離であり、移動前後で注目領域Ｂの右と左の境界線（移動前の右の辺と移動後の左の辺）が重なる距離が最大である。なお、最小の移動単位は１画素の距離である。

上述したように、判断領域移動部１４は、判断領域Ａを１移動単位移動させる毎に、判断領域Ａに対応する範囲、すなわち判断領域Ａが配置された場所で判断領域Ａと同じ大きさの判断対象画像の部分画像を取得する。取得した各単位画像は、記憶部２４に記憶させる。

判断領域Ａの右側の辺が、判断対象画像Jの右側の辺に到達するまで判断領域Ａが移動すると、判断領域移動部１４は、判断領域Ａを予め定めた距離だけ図４の下方且つ左に移動させる。この場合、下方への移動距離は、図４の上下方向で注目領域Ｂが一部重複又は移動前後の境界線（移動前の下側の辺と移動後の上側の辺）が接する距離である。また、判断領域Ａの左への移動は、判断領域Ａの左側の辺が判断対象画像Jの左側の辺に重なる位置までとする。この位置から図４の右方向へ移動する。以後、同様の移動を繰り返す。

図５には、ニューラルネットワークの学習方法の説明図が示される。図５に示されるように、ニューラルネットワーク１０２の学習は、正解画像１０４をニューラルネットワーク１０２に入力し、ニューラルネットワーク１０２の出力１０６から得た誤差を後ろ向きに伝搬し（誤差逆伝播法）、ニューラルネットワーク１０２の重み係数やバイアスの値を調整することを繰り返して行う。

ニューラルネットワーク１０２の学習では、このような正解画像を多数（例えば数千枚以上）入力することにより、ニューラルネットワーク１０２が線状図形の有無を判断するための重み係数やバイアスの値をより適切なものに調整することができる。

図５に示された正解画像１０４は、判断領域設定部１０及び注目領域設定部１２が設定した判断領域及び注目領域を有する画像であり、図３（ａ）〜（ｄ）に例示されるものである。上述した通り、図３（ａ）、（ｂ）が注目領域Ｂに線状図形Ｃが存在すると判断させる例であり、図３（ｃ）、（ｄ）が注目領域Ｂに線状図形Ｃが存在しないと判断させる例である。

本実施形態では、図３（ａ）〜（ｄ）に示されるように、注目領域Ｂの周囲にバッファ領域Ｂｕが存在しており、図３（ａ）のように注目領域Ｂとバッファ領域Ｂｕの両方に線状図形Ｃが存在している場合及び図３（ｂ）のように注目領域Ｂのみに線状図形Ｃが存在している場合、すなわち注目領域Ｂに線状図形Ｃが存在している場合には、ニューラルネットワークに線状図形Ｃが存在すると判断させる。一方、図３（ｃ）のように、注目領域Ｂとバッファ領域Ｂｕのいずれにも線状図形Ｃが存在していない場合及び図３（ｄ）のように、バッファ領域Ｂｕには線状図形Ｃが存在しているが、注目領域Ｂには線状図形Ｃが存在していない場合、すなわち注目領域Ｂに線状図形Ｃが存在していない場合には、ニューラルネットワークに線状図形Ｃが存在しないと判断させる。

このように、注目領域Ｂに線状図形Ｃが存在するか否かを、その周囲のバッファ領域Ｂｕにおける線状図形Ｃの存否も含めて判断させることにより、注目領域Ｂに線状図形Ｃが存在するか否かの判断の精度を向上できる。

精度が向上する理由としては、以下のように考えられる。仮に上記注目領域Ｂを設定せず、バッファ領域Ｂｕまで含めた判断領域Ａだけで学習を行うと、注目領域Ｂの中心位置（重心位置、図３（ａ）〜（ｄ）の例では判断領域Ａの重心位置と重なっている）から外れた位置に線状図形Ｃが存在する場合にも、線状図形Ｃありと判断してしまう。その結果、上記判断領域Ａだけの学習で生成された学習済のニューラルネットワークを判断部１８に用いると、ひび割れ等の線状図形Ｃの位置からかけ離れた地点も「線状図形Ｃが存在する」と判断することになる。これは、注目領域Ｂを設定しない場合には、判断部１８は、判断領域Ａ毎に線状図形Ｃの有無を判断するからである。すなわち、判断領域Ａの端部領域（判断領域Ａの境界線に近い判断領域Ａ内の領域）に線状図形Ｃが存在する場合に当該判断領域Ａに線状図形Ｃがあると判定する結果、線状図形Ｃが実際に存在する判断領域Ａの端部領域（以後、存在端部領域ということがある）とは異なる端部領域（例えば、上記存在端部領域と判断領域Ａの重心に対して対象な位置にある領域等）であって、存在端部領域から離れた端部領域であっても、同じ判断領域Ａ内の領域ということで、実際には線状図形Ｃが存在しないにもかかわらず、線状図形Ｃが存在する領域と判断されることになる。このため、線状図形Ｃの有無の判断精度が低下する。

これに対して、判断領域Ａ内に設定された注目領域Ｂとバッファ領域Ｂｕとを分離すると、上記判断精度を低下させる状況を回避することが可能となる。すなわち、注目領域Ｂとバッファ領域Ｂｕを分離することにより、図３（ｄ）のケースを設定することができる。図３（ｄ）では、注目領域Ｂから少し離れた位置（バッファ領域Ｂｕ）に線状図形Ｃが存在しても、注目領域Ｂには線状図形Ｃが存在しないので、「線状図形Ｃが存在しない」と判断するよう明示的に学習を行うことが可能となる。これにより、上述した注目領域Ｂを設定しない場合のような、実際に線状図形Ｃが存在する位置からやや離れた位置で「線状図形Ｃが存在する」と応答するような領域の範囲を抑制することが可能となる。

また、注目領域Ｂとバッファ領域Ｂｕを分離するメリットとして、ほかにも以下のようなものがある。すなわち、図３（ａ）のケースにより、長い線状図形Ｃ（注目領域Ｂとバッファ領域Ｂｕの両方にかかる線状図形Ｃ）に対しても、線状図形Ｃが存在するとの適切な識別が可能となる。逆に、図３（ｂ）のケースにより、短い線状図形Ｃ（注目領域Ｂのみに存在する線状図形Ｃ）に対しても対応でき、線状図形Ｃが存在するとの適切な識別が可能となる。特に後者では、注目領域Ｂはバッファ領域Ｂｕを含めた領域（判断領域Ａ）に比べ、相対的に面積が小さくなることから、注目領域Ｂを通過する線状図形Ｃのパターンは、バッファ領域Ｂｕを含めた判断領域Ａ全体を対象とした場合よりも少なくなる。これにより、より少ないパターンのデータセットを用いた効率的な学習を実現することが可能となる。

なお、図５に示されたニューラルネットワーク１０２としては、畳み込みニューラルネットワーク（ＣＮＮ）が例示されている。ＣＮＮを使用すると、より学習効率を向上することができる。ＣＮＮは、一般的には図５に示されるように、畳み込み層１０２ａとプーリング層１０２ｂが交互に複数接続された構造となっている。畳み込み層１０２ａでは入力画像の特徴量を抽出する複数のフィルタによる演算（画素値とフィルターとの畳み込み演算）が実行され、プーリング層１０２ｂでは、畳み込み層１０２ａの出力に対して、平均値をとる処理（average pooling）や最大値をとる処理（max pooling）等が実行されてデータの圧縮が行われる。このような処理を繰り返すことにより、入力データ（入力される部分画像）から線状図形を抽出するために最適な特徴量が生成される。なお、ＣＮＮの構成は、図５に示された例には限定されず、例えば畳み込み層１０２ａが複数連続した後にプーリング層１０２ｂが接続される構造が繰り返される構成とすることもできる。

本実施形態にかかる線状図形抽出装置では、判断部１８を構成するニューラルネットワークが、上記学習の結果生成した重み係数やバイアスの値を使用して特徴量を算出し、入力される部分画像（判断領域Ａに対応する画像）中の注目領域Ｂにおける線状図形の有無を高精度に判断することができる。

図６には、実施形態にかかる線状図形抽出装置の動作例のフローが示される。図６において、判断領域設定部１０が、判断対象画像上に予め定めた大きさの判断領域を設定する（Ｓ１）。判断領域移動部１４は、上記判断領域を予め定めた移動単位ずつ判断対象画像上を移動させ（Ｓ２）、１移動単位移動させる毎に、部分画像を取得して記憶部２４に記憶させる（Ｓ３）。

入力部１６は、判断領域移動部１４が取得した部分画像を記憶部２４から読み出し、判断部１８に入力する（Ｓ４）。この際、入力部１６は、注目領域設定部１２が設定した注目領域の形状及び大きさの情報も記憶部２４から読み出して判断部１８に入力する。

判断部１８は、判断領域中に存在する線状図形の位置に基づき注目領域中に線状図形が存在するか否かについての判断を予め学習済のニューラルネットワークにより、上記入力部１６が入力した部分画像について、注目領域中に線状図形が存在するか否かを判断し、判断結果を出力して記憶部２４に記憶する（Ｓ５）。

表示制御部２０は、適宜な表示装置を制御して、判断部１８が出力した、注目領域における線状図形の有無の判断結果を記憶部２４から読み出して表示する（Ｓ６）。

上述した、図６の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えても良い。

１０ 判断領域設定部、１２ 注目領域設定部、１４ 判断領域移動部、１６ 入力部、１８ 判断部、２０ 表示制御部、２２ 通信部、２４ 記憶部、２６ ＣＰＵ、１００ 線状図形抽出装置、１０２ ニューラルネットワーク、１０４ 正解画像、１０６ 出力。

Claims (8)

1. 判断対象画像上に、予め定めた大きさの判断領域を設定する判断領域設定手段と、
   前記判断領域を予め定めた距離毎に前記判断対象画像の予め定めた方向に移動させる判断領域移動手段と、
   前記判断領域中に存在する線状図形の位置に基づき、前記判断領域中に設定され、前記判断領域より小さい注目領域中に前記線状図形が存在するか否かについての判断処理を予め学習済のニューラルネットワークを含む判断手段と、
   前記判断領域移動手段により前記判断対象画像の全部又は一部について前記判断領域を移動させながら取得した前記判断領域の大きさの部分画像を前記判断手段に入力する入力手段と、
   前記入力手段が入力した各部分画像について前記判断手段が出力した、前記注目領域における前記線状図形の有無の判断結果を表示する表示手段と、
   を備える線状図形抽出装置。
2. 前記注目領域の周囲には、前記判断領域の外側境界線との間にバッファ領域が存在する、請求項１に記載の線状図形抽出装置。
3. 前記判断領域移動手段は、前記注目領域が前記判断対象画像上を一部重複又は境界線が接するように前記判断領域を移動させる、請求項１又は請求項２に記載の線状図形抽出装置。
4. 前記判断領域移動手段は、１画素ずつ前記判断領域を移動させる、請求項３に記載の線状図形抽出装置。
5. 前記ニューラルネットワークが、畳み込みニューラルネットワークである、請求項１から請求項４のいずれか一項に記載の線状図形抽出装置。
6. 前記線状図形が路面のひび割れである、請求項１から請求項５のいずれか一項に記載の線状図形抽出装置。
7. コンピュータを、
   判断対象画像上に、予め定めた大きさの判断領域を設定する判断領域設定手段、
   前記判断領域を予め定めた距離毎に前記判断対象画像の予め定めた方向に移動させる判断領域移動手段、
   前記判断領域中に存在する線状図形の位置に基づき、前記判断領域中に設定され、前記判断領域より小さい注目領域中に前記線状図形が存在するか否かについての判断処理を予め学習済のニューラルネットワークを含む判断手段、
   前記判断領域移動手段により前記判断対象画像の全部又は一部について前記判断領域を移動させながら取得した前記判断領域の大きさの部分画像を前記判断手段に入力する入力手段、
   前記入力手段が入力した各部分画像について前記判断手段が出力した、前記注目領域における前記線状図形の有無の判断結果を表示する表示手段、
   として機能させる、線状図形抽出プログラム。
8. 判断対象画像上に予め定めた大きさの判断領域を設定し、
   前記判断領域中に、判断領域より小さい注目領域を設定し、
   前記判断対象画像上に存在する線状図形の前記判断領域中における位置に基づき前記注目領域中に前記線状図形が存在するか否かを判断するための正解画像をニューラルネットワークに入力し、前記ニューラルネットワークの出力と前記正解画像との誤差に基づいて少なくとも重み係数の値を調整する処理を繰り返すことを特徴とするニューラルネットワークの学習方法。
   

Images