JP2019157535A - 劣化状況識別装置、劣化状況識別方法及びプログラム - Google Patents

Abstract

【課題】建物の外壁の劣化状況をより簡易に判定できる。【解決手段】劣化状況識別装置は、建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別する種別識別処理部と、前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別する劣化状況識別部とを備える。【選択図】図２

Description

本発明は、劣化状況識別装置、劣化状況識別方法及びプログラムに関する。

建物を利用していると、その外壁などにひびなどの損傷が生じて劣化することがある。建物の外壁の損傷は、漏水の原因になり、建物の寿命にも影響する。そのため、建物を長期にわたって利用するには、建物の外壁の劣化状況に応じて修繕するなどの適切な延命処置が必要とされる。

一般に、建物の外壁の損傷は、発生個所ごとに形も程度も異なり、その位置が分散して発生する。従来、損傷個所の発生状況は、建物の各部に生じた損傷個所を写真や野帳に記録を残しながら点検する調査によって明らかになり、その調査結果に基づいてその建物の劣化の状況が判断されていた。規模の大きな建物になるほど調査の負担が高くなる。特に、外壁の場合は、高所作業を伴うことがあり容易ではない。

特開２０１０−２７１０６２号公報

しかしながら、建物の外壁は、様々な部位、部材、仕上げなどで構成されている。そのため、建物の外壁の劣化状況を機械的に判定することが困難な場合があった。

本発明は、このような事情を鑑みてなされたものであり、建物の外壁の劣化状況をより簡易に判定できる劣化状況識別装置、劣化状況識別方法及びプログラムを提供することを目的とする。

（１）本発明の一態様の劣化状況識別装置は、建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別する種別識別処理部と、前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別する劣化状況識別部とを備える。

（２）また、上記の劣化状況識別装置において、前記建物の部分の種別には、前記建物の外壁の部位に基づいた第１種別と前記建物の外壁の仕上げ仕様に基づいた第２種別のうち一方または双方が含まれる。

（３）また、上記の劣化状況識別装置において、前記種別識別処理部は、学習用部分画像の主たる部分を占める像から識別される建物の部分の種別に係る種別情報と、前記学習用部分画像が示す建物の部分の種別に係る種別情報との関係を教師データに用いて学習された第１評価モデルによって、前記部分画像が示す建物の部分の種別を識別する。

（４）また、上記の劣化状況識別装置において、前記種別識別処理部は、前記部分画像の第１段階の識別基準に従い識別し、前記劣化状況識別部は、前記第１段階の識別結果が同一であった前記部分画像を、前記第１段階の識別結果に対応付けられる識別条件に従い判定し、前記第１段階の識別結果ごとの判定の結果に基づいて前記部分画像に対応する建物部分の劣化状況を識別する。

（５）また、上記の劣化状況識別装置において、前記種別識別処理部は、前記部分画像を第１段階の識別基準に従い識別し、前記第１段階の識別結果が同一であった前記部分画像を第２段階の識別基準に従い識別し、前記劣化状況識別部は、前記第２段階の識別結果が同一であった前記部分画像を、前記第２段階の識別結果に対応付けられる識別条件に従い判定し、前記第２段階の識別結果ごとの判定の結果に基づいて前記部分画像に対応する建物部分の劣化状況を識別する。

（６）また、上記の劣化状況識別装置において、前記部分画像は、前記建物の部位の種類を識別可能な大きさに分割されている。

（７）また、上記の劣化状況識別装置において、前記部分画像は、前記建物の高さ方向に前記建物の階高を基準に分割されている。

（８）本発明の一態様の劣化状況識別方法は、建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別し、前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別するステップを含む劣化状況識別方法である。

（９）本発明の一態様のプログラムは、コンピュータに、建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別させ、前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別させるステップを実行させるためのプログラムである。

本発明によれば、建物の外壁の劣化状況をより簡易に判定できる劣化状況識別装置、劣化状況識別方法及びプログラムを提供する。

第１の実施形態に係る劣化状況識別装置を含む情報処理システムを示す説明図である。 本実施形態に係る劣化状況識別装置を示す説明図である。 本実施形態の建物の画像の一例を示す図である。 本実施形態の建物劣化診断処理の流れを示すフローチャートである。 本実施形態の種別識別処理部３３０に適用する第１人工ニューラルネットの構成図である。 本実施形態の種別識別処理部３３０に適用する第２人工ニューラルネットの構成図である。 本実施形態の劣化状況識別部３５０に適用する第３人工ニューラルネットの構成図である。 本実施形態の部分画像を説明するための図である。 本実施形態の種別識別処理部３３０と劣化状況識別部３５０の構成図である。 本実施形態の各ニューラルネットワークの学習処理の流れを示すフローチャートである。 本実施形態の各識別処理に適用した学習処理の効果を示す図である。 本実施形態の劣化状況識別処理の結果についての検証結果を示す図である。

以下、本発明の実施の形態を、添付図面を参照して説明する。

図１は、本発明の実施形態に係る劣化状況識別装置を含む情報処理システムを示す説明図である。

情報処理システム１は、例えば、端末装置２と、劣化状況識別装置３とを含む。端末装置２と劣化状況識別装置３は、例えば、ネットワークＮＷを介して通信する。

まず、撮影者Ｕ１は、端末装置２等を利用して、建物１０の近傍から建物１０を撮影する。撮影者Ｕ１は、例えば、端末装置２を構え、対象の建物１０の外壁全景が１枚の画像に入るように撮影位置と方向、画角を調整して撮影し、建物１０の外壁の面ごとの画像を得る。撮影者Ｕ１は、作業員、建物１０の所有者、建物１０の管理者等のうちの何れかであってよい。なお、端末装置２は、建物１０を撮像可能なカメラ又はスマートフォンなどである。この端末装置２によって生成される建物１０の画像データは、例えば、被写体である建物１０のカラー画像のデータであってよい。以下に示す画像は、標準型から広角型のレンズを利用して撮影されたものを例示するが、これに制限されることはなく、それより画角が広いレンズを利用して撮影された画像を利用してもよい。

図２は、本実施形態に係る劣化状況識別装置を示す説明図である。

劣化状況識別装置３は、情報取得部３１０、部分画像生成部３２０、種別識別処理部３３０、学習処理部３４０、劣化状況識別部３５０、表示処理部３６０、記憶部３７０、通信処理部３８０、及び表示部３９０を備える。

情報取得部３１０は、外部から供給される各種データを受けて、受け付けた各種データを、各種データの種別に応じた記憶部３７０にそれぞれ記憶させる。各種データには、建物画像データ、教師用画像データ、識別処理用の設定値などが含まれる。

部分画像生成部３２０は、建物１０の外壁部分が含まれる建物画像に基づいて複数の部分画像（部分画像データ）を生成し、その部分画像データを記憶部３７０の部分画像データ記憶部３７３に登録する。例えば、部分画像生成部３２０は、まず、情報取得部３１０によって取得された建物画像から光学的歪を補正した補正画像を生成し、その補正画像に基づいた分割画像を生成する。詳細について後述する。なお、補正済み画像を取得する場合、又は分割済み画像を取得する場合には、この補正処理と分割処理を省略してもよい。

種別識別処理部３３０は、最適化処理がなされた識別ルールに従って、建物１０の部分画像に示された建物１０の部分の種別を識別する。識別ルール識別処理の詳細については後述する。種別識別処理部３３０は、全部分画像を複数の階層に分けて識別してもよい。詳細は後述する。

学習処理部３４０は、種別識別処理部３３０の識別処理の最適化と、劣化状況識別部３５０の劣化状況識別処理の最適化とを図るため、種別識別処理部３３０と劣化状況識別部３５０の学習処理を実施する。

例えば、学習処理部３４０は、情報取得部３１０を介して取得した学習用画像データにより、教師付型の学習手法に基づいて判定処理に適した特性を、種別識別処理部３３０と劣化状況識別部３５０に学習させて、学習の結果を記憶部３７０に記憶させる。詳細については後述する。

劣化状況識別部３５０は、最適化処理がなされた識別ルールに従って、建物１０の劣化状況の識別処理をする。例えば、劣化状況識別部３５０は、種別識別処理部３３０によって識別された結果を基にして、部分画像が示す範囲の建物１０に劣化があるか否かを識別する。

表示処理部３６０は、上記の各部が処理の対象にする画像とその識別結果等を表示部３９０に表示させる。

通信処理部３８０は、端末装置２と通信することにより、端末装置２が撮像した建物１０の画像（建物画像）のデータを受信する。

記憶部３７０は、取得画像データ記憶部３７１、補正画像データ記憶部３７２、部分画像データ記憶部３７３、教師用画像データ記憶部３７４、学習結果記憶部３７５、及び設定値データ記憶部３７６を備える。

例えば、取得画像データ記憶部３７１には、端末装置２から取得した建物画像（後述する図３（ａ）の画像ＩＭ１等）のデータ（建物画像データ）が登録される。補正画像データ記憶部３７２には、建物画像データの画像から補正された補正画像（後述する図３（ｂ）の画像ＩＭ２等）のデータ（補正画像データ）が格納される。部分画像データ記憶部３７３には、分割画像（後述する図３（ｃ）の画像ＩＭ３等）のデータが格納される。例えば、部分画像のデータは、部分画像の識別情報、部分画像の画像情報、第１ラベル情報Ｌ１、第２ラベル情報Ｌ２、劣化状況識別情報などの項目のデータを含む。詳細は後述する。

教師用画像データ記憶部３７４には、学習処理に利用する教師用画像のデータ（教師用画像データ）が登録される。学習結果記憶部３７５には、学習処理により最適化処理がなされた種別識別処理部３３０と劣化状況識別部３５０とに関するデータが登録される。設定値データ記憶部３７６には、各機能部が処理に利用する変数などの設定値が登録される。

図３は、本実施形態の建物の画像の一例を示す図である。
図３（ａ）に示す画像ＩＭ１は、取得した建物画像の一例であり、図１に示したように、端末装置２によって撮像される。画像ＩＭ１には、建物１０の像と建物１０の周辺のものの像が含まれている。ただし、建物画像は、建物１０を仰いで撮影して得られた画像であるため、建物１０の外壁の面の像には略台形の歪が生じている。

図３（ｂ）に示す画像ＩＭ２は、補正画像の一例であり、上記の画像ＩＭ１に基づいて、建物１０の特定の外壁の面の像を矩形に補正したものである。例えば、建物画像上で指定された外壁の面の像の四隅を基準にして、四隅に含まれる範囲を所定の縦横比の矩形に変換するとよい。なお、この変換処理のアルゴリズムは既知の手法を適用してよい。

図３（ｃ）に示す画像ＩＭ３は、分割画像の一例であり、上記の画像ＩＭ２に基づいて、建物１０の特定の外壁の面の像を所定の条件に従って分割することにより生成される。

例えば、部分画像は、格子の大きさに依存してその大きさが決定される。格子の大きさを、例えば建物１０の外壁に生じるひびなどの発生状況が確認できる程度の大きさにする。建物１０の高さ方向については、階高さを２から３に分割する大きさにするとよい。図に示す例は２分割の例である。なお、建物毎に格子の大きさを決定してもよいが、共通化することにより教師データの用意が省力化できる。

図３（ｄ）に示す画像は、識別結果を示す画像の一例であり、上記の画像ＩＭ３に基づいて、各部分画像ごとに後述する劣化診断処理が行われた結果を示す。

例えば、複数の部分画像のうち、建物１０の外壁とは異なるものと識別されたもの、建物１０の外壁の画像と識別され、且つ所定の程度以上に劣化が認められたものが可視化されている。画面上の表示の例では、該当する部分画像を半透過状態で示され、表示の色が黄色、赤などに着色されている。

以下の説明では、補正された補正処理を伴う建物劣化診断処理について説明する。

図４は、本実施形態の建物劣化診断処理の流れを示すフローチャートである。フローチャートに並べて示す図は、各部分画像を識別し分類するためのデータ構造の一例を示すものである。

（建物の画像の撮影と取得）
情報取得部３１０は、撮影者Ｕ１が撮影した建物画像を取得し、同建物画像を取得画像データ記憶部３７１に登録する（ステップＳ１０）。

（部分画像生成）
次に、部分画像生成部３２０は、取得画像データ記憶部３７１に登録された1つの建物画像を補正して、補正画像のデータを補正画像データ記憶部３７２に登録する。部分画像生成部３２０は、補正画像のデータに基づいた補正画像から建物１０の外壁の画像の範囲を格子状に分割して、複数の部分画像を生成し（ステップＳ２０）、部分画像データ記憶部３７３に登録する。

（識別処理）
次に、種別識別処理部３３０は、複数のステップに分けて部分画像の識別処理を実施する。

例えば、種別識別処理部３３０は、先に第１識別処理（ステップＳ３０）を実施する。上記の第１識別処理は、各部分画像が示す建物１０の部分の種別を識別する処理である。この第１識別処理により、各部分画像が示す部分が、「壁面」、「梁又は柱（梁・柱）」、「庇」、「バルコニー又はベランダ（バルコニー・ベランダ）」、「外部建具」及び「不明」のうちの何れかの種別に識別される。上記の「不明」には、部分画像における建物１０の外壁の識別が困難なもの、他の建物や樹木などが映りこんでいて識別が困難なものなどが含まれる。例えば、部分画像データの第１ラベル情報Ｌ１は、「壁面」、「梁又は柱（梁・柱）」、「庇」、「バルコニー又はベランダ（バルコニー・ベランダ）」、「外部建具」及び「不明」のうちの何れかの種別を示す情報を含む。上記の分類は一例を示すものであり、適宜省略又は追加してもよい。例えば、種別識別処理部３３０は、上記の識別の結果を、部分画像データの第１ラベル情報Ｌ１に登録する。

種別識別処理部３３０は、続いて第２識別処理（ステップＳ４０）を実施する。上記の第２識別処理は、部分画像が示す建物１０の仕上げの種別を識別する処理である。この第２識別処理により、各部分画像が示す建物１０の仕上げが、「コンクリート又はモルタル地（コンクリート・モルタル）」、「タイル張り仕上げ（タイル仕上げ）」、「軽量気泡コンクリートパネル（ＡＬＣ板）吹付仕上げ」、及び「金属系仕上げ」のうちの何れかに識別される。例えば、部分画像データの第２ラベル情報Ｌ２は、「コンクリート又はモルタル地（コンクリート・モルタル）」、「タイル張り仕上げ（タイル仕上げ）」、「軽量気泡コンクリートパネル（ＡＬＣ板）吹付仕上げ」、及び「金属系仕上げ」のうちの何れかの種別を示す情報を含む。上記の分類は一例を示すものであり、適宜省略又は追加してもよい。種別識別処理部３３０は、上記の識別の結果を、部分画像データの第２ラベル情報Ｌ２に登録する。

（劣化状況識別処理）
劣化状況識別部３５０は、劣化状況識別処理を実施する（ステップＳ５０）。劣化状況識別処理は、上記の部分画像が示す建物１０の部分の劣化状況を識別する処理である。劣化状況識別部３５０は、各部分画像が示す部分に、顕著な劣化が認められることを示す「劣化あり」と、顕著な劣化が認められないことを示す「劣化なし」の２値に識別する。なお、上記の２値に分ける識別は一例を示すものであり、識別すべき諧調を追加してもよい。劣化状況識別部３５０は、上記の識別の結果を、部分画像データの劣化状況識別情報に登録する。

なお、劣化状況識別部３５０は、ステップＳ３０とステップＳ４０の識別結果である第１ラベル情報Ｌ１と第２ラベル情報Ｌ２の何れか一方又は両方のラベル情報を参照し、このラベル情報に合致する部分画像について、ラベル情報に対応する劣化状況識別の条件を切り替えて識別する。劣化状況識別部３５０は、第１ラベル情報Ｌ１と第２ラベル情報Ｌ２とに基づく抽出条件を順に切り替えて、すべての部分画像について部分画像ごとに劣化状況を識別する。

さらに、劣化状況識別部３５０は、部分画像ごとの劣化状況の識別結果を集計し、「劣化あり」と判定された部分画像が部分画像の総数に占める割合を算出し、その値を当該建物１０の外壁の劣化状況の推定値にする。

以上が、劣化状況識別処理の主な流れである。

本実施形態のより具体的な事例について説明する。種別識別処理部３３０と劣化状況識別部３５０の夫々に、人工ニューラルネットを適用し、機械学習の手法によりそれらを最適化させて、識別処理と劣化状況識別処理を実施させる事例について説明する。

前述の図１と、図５及び図６とを参照して、本実施形態の種別識別処理部３３０について説明する。種別識別処理部３３０は、例えば、ニューラルネットワーク３３１と、ニューラルネットワーク３３２とを備える。

図５は、本実施形態の種別識別処理部３３０に適用する第１人工ニューラルネットの構成図である。同図に示すニューラルネットワーク３３１は、第１人工ニューラルネットの一例である。ニューラルネットワーク３３１は、１層の入力層ＩＬと複数の隠れ層ＨＬと１層の出力層ＯＬとを備える。入力層ＩＬと隠れ層ＨＬと出力層ＯＬのそれぞれが複数のノードを有する。各ノードを図５内に丸印で示し、以下、同様である。

ニューラルネットワーク３３１の入力層ＩＬの各ノードは、部分画像の各画素に対応付けられている。入力層ＩＬの各ノードには、部分画像の各画素の値が供給される。例えば、入力層ＩＬは、部分画像データを取得（サンプリング）する。

ニューラルネットワーク３３１の隠れ層ＨＬは、例えば、特徴の抽出と分類に大別される。例えば、隠れ層ＨＬの第１層が、特徴点及び特徴点周りの局所特徴の抽出などを実施する。なお、特徴点及び特徴点周りの局所特徴の抽出処理は、抽出条件が最適化されている。また、隠れ層ＨＬの第２層が、第１層で生成された結果（特徴点情報、局所特徴情報等）に基づいて統計的な特徴抽出、抽出された特徴について特徴ベクトルへの変換などを実施する。

ニューラルネットワーク３３１の出力層ＯＬの各ノードは、第１識別処理により部分画像を識別する項目に対応させて設けられている。出力層ＯＬは、例えば、隠れ層ＨＬで生成された結果（特徴ベクトル等）に基づいた出力特徴ベクトルを生成する。出力特徴ベクトルは、第１識別処理により部分画像を識別し分類する項目に対応するように形成される。

例えば、入力層ＩＬに供給されている部分画像が「壁面」であると識別された場合には、「壁面」に対応する出力層ＯＬの値が大きくなる。種別識別処理部３３０は、最も大きな値を示す項目を示す情報（出力特徴ベクトル）を、前述の第１ラベル情報Ｌ１に登録する。

図６は、本実施形態の種別識別処理部３３０に適用する第２人工ニューラルネットの構成図である。同図に示すニューラルネットワーク３３２は、第２人工ニューラルネットの一例である。ニューラルネットワーク３３２は、ニューラルネットワーク３３１と同様に１層の入力層ＩＬと複数の隠れ層ＨＬと１層の出力層ＯＬとを備える。入力層ＩＬと隠れ層ＨＬと出力層ＯＬのそれぞれが複数のノードを有する。

ニューラルネットワーク３３２の入力層ＩＬの各ノードは、ニューラルネットワーク３３１と同様に部分画像の各画素に対応付けられている。入力層ＩＬの各ノードには、部分画像の各画素の値が供給される。

ニューラルネットワーク３３２の出力層ＯＬの各ノードは、第２識別処理により部分画像を識別する項目に対応させて設けられている。例えば、入力層ＩＬに供給されている部分画像の建物の仕上げが「タイル張り仕上げ」であると識別された場合には、「タイル張り仕上げ」に対応する出力層ＯＬの値が大きくなる。種別識別処理部３３０は、最も大きな値を示す項目を示す情報（出力特徴ベクトル）を、前述の第２ラベル情報Ｌ２に登録する。

なお、ニューラルネットワーク３３２の入力層ＩＬと隠れ層ＨＬと出力層ＯＬの構成は、前述のニューラルネットワーク３３１の構成に準じたものにしてよい。少なくとも、隠れ層ＨＬと出力層ＯＬのノード数は、夫々要求される用途に合うニューラルネットワークになるように変更してよい。

図７は、本実施形態の劣化状況識別部３５０に適用する第３人工ニューラルネットの構成図である。同図に示すニューラルネットワーク３５１は、劣化状況識別部３５０に適用する第３人工ニューラルネットの一例である。ニューラルネットワーク３５１は、ニューラルネットワーク３３１と同様に１層の入力層ＩＬと複数の隠れ層ＨＬと１層の出力層ＯＬとを備える。入力層ＩＬと隠れ層ＨＬと出力層ＯＬのそれぞれが複数のノードを有する。

ニューラルネットワーク３５１の入力層ＩＬの各ノードは、ニューラルネットワーク３３１と同様に部分画像の各画素に対応付けられている。入力層ＩＬの各ノードには、部分画像の各画素の値が供給される。

ニューラルネットワーク３５１の出力層ＯＬの各ノードは、劣化状況識別処理により部分画像の建物の外壁についての劣化状況の判定の結果の項目に対応させて設けられている。図に示す例は、入力層ＩＬに供給されている部分画像の建物の外壁に「劣化がある」と「劣化がない」の２値に識別する場合を示す。劣化状況識別部３５０は、「劣化がある」と「劣化がない」の何れに識別されたかの識別の結果を、部分画像データの劣化状況識別情報に登録する。

なお、ニューラルネットワーク３５１の入力層ＩＬと隠れ層ＨＬと出力層ＯＬの構成は、隠れ層ＨＬと出力層ＯＬのノード数を除き、ニューラルネットワーク３３１の構成に準じたものにしてよい。

図８を参照して、本実施形態の部分画像について説明する。図８は、本実施形態の部分画像を説明するための図である。図８（ａ）と（ｂ）に、複数の部分画像をそれぞれ示す。なお、図８に示すように、部分画像内の一部に、窓や換気口などが映り込んだものが含まれていてよい。なお、図８の部分画像は、外壁の部位種別を「壁面」に限定しているが、外壁の仕上げ種別は限定していない例を示している。

図８（ａ）に示す部分画像は、劣化が見られない画像の例である。図８（ｂ）に示す部分画像は、劣化が見られる画像の例である。部分画像における劣化箇所の要因は、例えば、コンクリートのひび割れ、爆裂などに起因するものが比較的多く、コンクリート面に限らず、仕上げ処理がなされた外壁であっても、コンクリートのひび割れなどの影響が表れる。部分画像は、劣化が確認できる程度の大きさに分割されているが、劣化箇所が1つの部分画像内に収まる場合と、複数の部分画像に渡る場合がありうる。

上記のように分類した部分画像から、学習処理の教師データが生成される。例えば、建物１０の部位の種別（種類）、建物の仕上げの種別、劣化状況の程度などの情報が、予め技術者により識別される。なお、教師データのデータ構造は、例えば、部分画像のデータ構造と同一でよい。

図９を参照して、より具体的な種別識別処理部３３０と劣化状況識別部３５０の一例について説明する。
図９は、本実施形態の種別識別処理部３３０と劣化状況識別部３５０の構成図である。

例えば、ニューラルネットワーク（図中の記載はＮＮ、以下同様。）３３１は、評価対象の建物１０の外壁の面ごとの部分画像に対する第１識別処理を実施して、第１ラベル情報Ｌ１を生成し、部分画像データの第１ラベル情報Ｌ１に登録する。

ニューラルネットワーク３３２は、第１識別処理の識別先毎に最適化されたニューラルネットワークが夫々設けられている。ニューラルネットワーク３３２は、例えば、ニューラルネットワーク３３２１、ニューラルネットワーク３３２２、ニューラルネットワーク３３２３、ニューラルネットワーク３３２４、ニューラルネットワーク３３２５、及びニューラルネットワーク３３２６を備える。

ニューラルネットワーク３３２１は、第１ラベル情報Ｌ１が「壁面」を示す部分画像に対する第２識別処理を実施して、第２ラベル情報Ｌ２を生成し、部分画像データの第２ラベル情報Ｌ２に登録する。

ニューラルネットワーク３３２２、ニューラルネットワーク３３２３、ニューラルネットワーク３３２４、ニューラルネットワーク３３２５、及びニューラルネットワーク３３２６の夫々は、ニューラルネットワーク３３２１と同様に、「梁又は柱（梁・柱）」、「庇」、「バルコニー又はベランダ（バルコニー・ベランダ）」、「外部建具」及び「不明」を示す部分画像に対する第２識別処理を実施して、その結果を、部分画像データの第２ラベル情報Ｌ２に登録する。この図では、ニューラルネットワーク３３２２、ニューラルネットワーク３３２３、ニューラルネットワーク３３２４、ニューラルネットワーク３３２５、及びニューラルネットワーク３３２６に関わる第２識別処理による分類先の記載を省略するが、ニューラルネットワーク３３２１と同様に分類先を夫々展開してもよい。

ニューラルネットワーク３５１は、第２識別処理の識別先毎に最適化されたものが夫々設けられている。ニューラルネットワーク３５１は、例えば、ニューラルネットワーク３５１１、ニューラルネットワーク３５１２、ニューラルネットワーク３５１３、及びニューラルネットワーク３５１４を備える。

例えば、ニューラルネットワーク３５１１は、第２ラベル情報Ｌ２が「コンクリート・モルタル」を示す部分画像に対する劣化状況識別処理を実施して、当該部分画像の劣化状況識別情報を生成し、部分画像データの劣化状況識別情報に登録する。

ニューラルネットワーク３５１２は、第２ラベル情報Ｌ２が「タイル仕上げ」を示す部分画像に対する劣化状況識別処理を実施して、当該部分画像の劣化状況識別情報を生成し、部分画像データの劣化状況識別情報に登録する。

ニューラルネットワーク３５１３、及びニューラルネットワーク３５１４の夫々は、ニューラルネットワーク３５１１等と同様に、「軽量気泡コンクリートパネル（ＡＬＣ板）吹付仕上げ」、及び「金属系仕上げ」を示す部分画像に対する第２識別処理を実施して、その結果を、部分画像データの第２ラベル情報Ｌ２に登録する。この図では、第２識別処理による分類先の記載を省略するが、ニューラルネットワーク３３２１と同様に分類先を夫々展開してもよい。

以下、前述の図４と図９とを参照して、１つの部分画像の劣化状況の識別の一例について説明する。

ニューラルネットワーク３３１は、全ての部分画像について第１識別処理を実施する。その結果、「壁面」と識別され、第１ラベル情報Ｌ１に「壁面」を示す情報が登録された部分画像に着目する。

上記の通り、「壁面」に対応付けられるニューラルネットワークは、ニューラルネットワーク３３２１である。ニューラルネットワーク３３２１は、第２識別処理を実施する。その結果、「タイル張り仕上げ」と識別された部分画像の仕上げ状態が識別されたと仮定する。

次に、「壁面」かつ「タイル張り仕上げ」に対応付けて設けられたニューラルネットワーク３５１２が、「壁面」かつ「タイル張り仕上げ」の条件に合うように最適化された劣化状況識別処理を実施することにより、その部分画像に劣化があるか否かが識別される。

このように、各識別処理の結果を利用することにより、適用されるニューラルネットが、部分画像の特徴に則して最適化されたものが選択される。

（学習処理）
次に、図１０を参照して、実施形態の各ニューラルネットワークの学習処理について説明する。図１０は、本実施形態の各ニューラルネットワークの学習処理の流れを示すフローチャートである。

学習処理部３４０は、各ニューラルネットワークの学習を教師付きで行い、その学習処理において、教師用画像データを適用したバックプロパゲーション（誤差逆伝搬法）を用いた確率的勾配降下法などを使用して、識別の精度を高めるようにそのニューラルネットワークの特性を最適化する。

学習処理部３４０は、上記の教師用画像データに、例えば、過去に取得された建物画像の部分画像の情報を利用する。

例えば、学習処理の教師用画像データは、部分画像の識別情報、部分画像の画像情報、第１ラベル情報Ｌ１、第２ラベル情報Ｌ２、劣化状況識別情報などの項目のデータを含む。上記の通り、学習処理の教師用画像データは、部分画像データの項目と同様の項目を有する点に共通性があるが、第１ラベル情報Ｌ１と、第２ラベル情報Ｌ２と、劣化状況識別情報の定義が異なる。

例えば、評価対象である部分画像の場合、第１ラベル情報Ｌ１と、第２ラベル情報Ｌ２と、劣化状況識別情報の値は、種別識別処理部３３０と劣化状況識別部３５０の何れかが算定したものである。これに対して、教師用画像データの場合、第１ラベル情報Ｌ１と、第２ラベル情報Ｌ２と、劣化状況識別情報の値は、例えば、技術者が部分画像を読み取って決定したものである。この点が異なる。

まず、学習処理部３４０は、ニューラルネットワーク３３１の学習処理を実施する（ステップＳ１１０）。学習処理部３４０は、教師用画像データとして、第１識別処理の結果に相当する第１ラベル情報L１を出力情報に割り当てて、その教師用画像データの画像情報を入力情報に割り当てて、ニューラルネットワーク３３１の学習処理を実施する。学習処理部３４０は、上記の学習の結果を学習結果記憶部３７５に登録する。

次に、ニューラルネットワーク３３２の学習処理を実施する（ステップＳ１２０）。ここでは、ニューラルネットワーク３３２２の場合について例示する。例えば、学習処理部３４０は、教師用画像データとして、第１ラベル情報L１が「壁面」であるもののうち、第２識別処理の結果に相当する第２ラベル情報L２が「タイル張り仕上げ」であるものを出力情報に割り当てて、その教師用画像データの画像情報を入力情報に割り当てて、ニューラルネットワーク３３２２の学習処理を実施する。さらに、学習処理部３４０は、ニューラルネットワーク３３２内の他のニューラルネットワークについても上記と同様に学習処理を実施する。学習処理部３４０は、上記の学習の結果を学習結果記憶部３７５に登録する。

次に、ニューラルネットワーク３５１の学習処理を実施する（ステップＳ１３０）。ここでは、ニューラルネットワーク３５１２の場合について例示する。学習処理部３４０は、教師用画像データとして、第１ラベル情報L１が「壁面」であり、かつ第２ラベル情報L２が「タイル張り仕上げ」であるもののうち、劣化状況識別処理の結果に相当する劣化状況識別情報を出力情報に割り当てて、その教師用画像データの画像情報を入力情報に割り当てて、ニューラルネットワーク３５１２の学習処理を実施する。さらに、学習処理部３４０は、ニューラルネットワーク３５１内の他のニューラルネットワークについても上記と同様に学習処理を実施する。学習処理部３４０は、上記の学習の結果を学習結果記憶部３７５に登録する。

学習処理部３４０は、上記により各ニューラルネットワークの学習処理を実施して、夫々の特性を最適化する。

次に、図１１を参照して、本実施形態の各識別処理に適用した学習処理の効果について説明する。図１１は、本実施形態の各識別処理に適用した学習処理の効果を示す図である。この図に示す折れ線グラフは、学習処理に利用した評価画像データのサンプル数（横軸）に対する識別結果の正解率（縦軸）を示す。

このグラフ内の折れ線Ｇ１は、学習データに対する認識率の推移を示す。折れ線Ｇ２は、評価データに対する認識率の推移を示す。折れ線Ｇ２が示す認識率が、実施形態の処理により得られる評価結果である。なお、折れ線Ｇ１が示す結果は、各ニューラルネットワークの過学習などが生じているかの確認に利用される。なお、上記の折れ線Ｇ２の評価データは、評価画像データのサンプルとは別のサンプルを利用している。

折れ線Ｇ１から、評価画像データのサンプル数をより多く学習することにより、認識率の変化が向上している。また、学習処理の過程で過学習により認識率が低下する傾向はみられなかった。また、折れ線Ｇ２から、概ね５００００個以上の範囲で認識率が収れんしている。概ね５００００個以上の範囲の認識率が得られていれば、例えば、外壁の劣化状況の一次判定に十分利用することができる。

図１２を参照して、本実施形態の劣化状況識別処理の検証結果について説明する。
図１２は、本実施形態の劣化状況識別処理の結果についての検証結果を示す図である。
図に示す表は、「正解ラベル」が示す劣化の有無情報（「劣化あり」と「劣化なし」）と、「予測ラベル」が示す劣化の有無情報（「劣化あり」と「劣化なし」）との対比結果を表にしたものである。上記の「正解ラベル」は、技術者による分割画像の識別結果に対応するものであり、「予測ラベル」は、本実施形態に示す劣化状況識別処理による結果を示すものである。

この結果によれば、「正解ラベル」の識別結果と「予測ラベル」の識別結果がともに「劣化あり」の場合が９４％を超え、ともに「劣化なし」の場合が９２％を超える。この表に示される結果から、「正解ラベル」の識別結果が一致する確率と「予測ラベル」の識別結果が一致する確率が、高く正の相関関係があること認められる上記の劣化状況識別処理の手法が妥当であることが確認できる。

上記の実施形態によれば、劣化状況識別装置３は、建物１０の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された建物１０の部分の種別を識別し、前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別することにより、建物１０の外壁の劣化状況をより簡易に判定できる。

また、建物１０の部分の種別には、建物１０の外壁の部位に基づいた第１種別と建物１０の外壁の仕上げ仕様に基づいた第２種別のうち一方または双方が含まれることにより、種別の分類の自由度を高めることができる。

また、種別識別処理部３３０は、学習用画像データ（学習用部分画像）の主たる部分を占める像から識別される建物１０の部分の種別に係る種別情報と、学習用画像データが示す建物１０の部分の種別に係る種別情報との関係を教師データに用いて学習された第１ニューラルネット（第１評価モデル）によって、部分画像が示す建物１０の部分の種別を識別することにより、建物１０の部分の種別が異なることによる劣化状況を示す特徴量の違いに対して第１ニューラルネットを最適化させる処理を実施できる。

また、種別識別処理部３３０は、部分画像の第１段階の識別基準に従い識別する。さらに、劣化状況識別部３５０は、第１段階の識別結果が同一であった部分画像を、第１段階の識別結果に対応付けられる識別条件に従い判定し、第１段階の識別結果ごとの判定の結果に基づいて部分画像に対応する建物部分の劣化状況を識別することにより、少なくとも第１段階の識別結果に基づいて建物１０の劣化状況を識別できる。

また、種別識別処理部３３０は、部分画像を第１段階の識別基準に従い識別し、第１段階の識別結果が同一であった部分画像を第２段階の識別基準に従い識別する。さらに、劣化状況識別部３５０は、第２段階の識別結果が同一であった部分画像を、第２段階の識別結果に対応付けられる識別条件に従い判定し、第２段階の識別結果ごとの判定の結果に基づいて部分画像に対応する建物部分の劣化状況を識別することにより、少なくとも２段階の識別結果に基づいて建物１０の劣化状況を識別できる。

なお、情報処理システム１を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより管理装置２０が指定する対象のコンテンツに、共有情報を追加するなどの処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…情報処理システム、２…端末装置、３…劣化状況識別装置、３１０…情報取得部、３２０…部分画像生成部、３３０…種別識別処理部、３４０…学習処理部、３５０…劣化状況識別部、３６０…表示処理部、３７０…記憶部、３７１…取得画像データ記憶部、３７２…補正画像データ記憶部、３７３…部分画像データ記憶部、３７４…教師用画像データ記憶部、３７５…学習結果記憶部、３７６…設定値データ記憶部、３８０…通信処理部、３９０…表示部

Claims (9)

1. 建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別する種別識別処理部と、
   前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別する劣化状況識別部と
   を備える劣化状況識別装置。
2. 前記建物の部分の種別には、前記建物の外壁の部位に基づいた第１種別と前記建物の外壁の仕上げ仕様に基づいた第２種別のうち一方または双方が含まれる、
   請求項１に記載の劣化状況識別装置。
3. 前記種別識別処理部は、
   学習用部分画像の主たる部分を占める像から識別される建物の部分の種別に係る種別情報と、前記学習用部分画像が示す建物の部分の種別に係る種別情報との関係を教師データに用いて学習された第１評価モデルによって、前記部分画像が示す建物の部分の種別を識別する、
   請求項１又は請求項２に記載の劣化状況識別装置。
4. 前記種別識別処理部は、
   前記部分画像の第１段階の識別基準に従い識別し、
   前記劣化状況識別部は、
   前記第１段階の識別結果が同一であった前記部分画像を、前記第１段階の識別結果に対応付けられる識別条件に従い判定し、前記第１段階の識別結果ごとの判定の結果に基づいて前記部分画像に対応する建物部分の劣化状況を識別する、
   請求項１又は請求項２に記載の劣化状況識別装置。
5. 前記種別識別処理部は、
   前記部分画像を第１段階の識別基準に従い識別し、前記第１段階の識別結果が同一であった前記部分画像を第２段階の識別基準に従い識別し、
   前記劣化状況識別部は、
   前記第２段階の識別結果が同一であった前記部分画像を、前記第２段階の識別結果に対応付けられる識別条件に従い判定し、前記第２段階の識別結果ごとの判定の結果に基づいて前記部分画像に対応する建物部分の劣化状況を識別する、
   請求項１又は請求項２に記載の劣化状況識別装置。
6. 前記部分画像は、前記建物の部位の種類を識別可能な大きさに分割されている、
   請求項１又は請求項２に記載の劣化状況識別装置。
7. 前記部分画像は、前記建物の高さ方向に前記建物の階高を基準に分割されている、
   請求項１から請求項５の何れか１項に記載の劣化状況識別装置。
8. 建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別し、
   前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別するステップ
   を含む劣化状況識別方法。
9. コンピュータに、
   建物の外壁部分が含まれる建物画像に基づいて複数の部分画像が生成され、前記部分画像に示された前記建物の部分の種別を識別させ、
   前記種別ごとの判定条件に従い、前記部分画像に対応する建物部分の劣化状況を識別させるステップ
   を実行させるためのプログラム。