JP2019175015A - 被災情報処理装置、及び被災情報処理モデル学習装置 - Google Patents

Abstract

【課題】過去に被災した建物の画像データに基づき、被災した対象建物の損傷度を適切に判定することができるようにする。【解決手段】取得部２２１が、対象建物の一例である被災建物を表す画像を取得する。そして、損傷度合出力部２２４は、取得部２２１によって取得された画像と、学習用の被災した建物の画像と該建物の損傷度とを表す学習用データから予め学習された損傷度判定用学習済みモデルとに基づいて、被災建物の損傷度を出力する。【選択図】図９

Description

本発明は、被災情報処理装置、及び被災情報処理モデル学習装置に関する。

従来、被害情報の効率的収集を行う、情報の収集表示システムが知られている（例えば、特許文献１）。また、構造物の損傷の抽出結果について提供を受ける側の端末の情報処理能力や通信環境を考慮して、損傷の抽出結果を適切なデータ内容で提供する損傷抽出システムが知られている（例えば、特許文献２）。

特開2001-167133号公報 特開2017-167969号公報

上記特許文献１に記載の収集表示システムでは、現地の作業員が、デジタルカメラやビデオカメラ等の画像入力装置を用いて対象となる構造物の写真を撮る（例えば、上記特許文献１の段落［００１６］）。また、上記特許文献２の損傷抽出システムでは、構造物の点検作業を行う作業員によりユーザ端末が操作され、ユーザ端末は、構造物の撮影画像を損傷抽出サーバへ送信する（上記特許文献２の段落［０００７］）。

上記特許文献１に記載の技術及び上記特許文献２に記載の技術においては、現場における人手による操作が必要である。また、被災した建物の情報から損傷度を判定する作業も人手によって行われるが、その判定結果は人によってばらつきがある。例えば、被災した建物の損傷度の判定は、所定のマニュアルに従って行われるが、マニュアルの解釈が人によってばらつくことがある。

本発明は上記事実を考慮して、過去に被災した建物の画像データに基づき、被災した対象建物の損傷度を適切に判定することを目的とする。

上記目的を達成するために、本発明の被災情報処理装置は、対象建物を表す画像を取得する取得部と、前記取得部によって取得された前記画像と、学習用の被災した建物の画像と該建物の損傷度とを表す学習用データから予め学習された学習済みモデルとに基づいて、前記対象建物の損傷度を出力する損傷度合出力部と、を含んで構成される。これにより、過去に被災した建物の画像データに基づき、被災した対象建物の損傷度合いを適切に判定することができる。

本発明の被災情報処理装置は、前記取得部によって取得された前記画像と、学習用の建物を表す画像と該画像の各部位の種別を表す建物学習用データから予め学習された建物認識用学習済みモデルとに基づいて、前記画像が表す前記対象建物の各部位の種別を認識する建物部位認識部と、前記対象建物を表す図面データと、学習用の建物を表す図面データと該図面データの各部位の種別を表す図面学習用データから予め学習された図面認識用学習済みモデルとに基づいて、前記対象建物の前記図面データの各部位の種別を認識する図面認識部と、前記建物部位認識部によって得られた前記画像が表す前記対象建物の各部位の認識結果と、前記図面認識部によって得られた前記対象建物の図面データの各部位の認識結果とを照合して、前記対象建物の前記図面データにおける、前記対象建物の画像が撮像された位置を認識する位置認識部と、前記位置認識部によって得られた前記図面データにおける前記位置に対して、前記損傷度合出力部によって得られた前記損傷度を前記図面データに付与して、前記対象建物の損傷度マップを生成する損傷度情報生成部と、を更に含むようにすることができる。これにより、被災した建物の図面データと被災した建物を表す画像とに基づき、対象建物の各部位の損傷度を表す損傷度マップを生成することができる。

本発明の被災情報処理装置は、前記損傷度情報生成部によって生成された前記対象建物の前記損傷度マップに基づいて、人の歩行経路を生成する経路生成部を更に含むようにすることができる。これにより、対象建物の各部位の損傷度に応じて、人が通る歩行経路を適切に生成することができる。

本発明の前記対象建物を表す画像は、空中飛行又は陸上走行によって移動する移動体に搭載されたカメラによって撮像された画像であるようにすることができる。これにより、被災した建物に人が立ち入ることなく、対象建物の被災度が収集される。

本発明の被災情報処理モデル学習装置は、学習用の建物の画像と該建物の損傷度とを表す学習用データに基づいて、建物を表す画像から該建物の損傷度を出力するためのモデルを学習させて、建物を表す画像から該建物の損傷度を出力する学習済みモデルを得る学習部を含んで構成される。これにより、過去の被災建物の画像データから得られる学習用データに基づき、建物の損傷度を出力する学習済みモデルを得ることができる。

本発明によれば、過去に被災した建物の画像データに基づき、被災した対象建物の損傷度を適切に判定することができる、という効果が得られる。

本実施形態の概要を説明するための説明図である。 本実施形態に係る被災情報処理モデル学習装置の概略構成を示すブロック図である。 被災建物の損傷度を説明するための説明図である。 図面データを説明するための説明図である。 学習用データセットの一例を示す図である。 本実施形態で用いる損傷度判定用学習済みモデルの一例を示す図である。 本実施形態で用いる建物認識用学習済みモデルの一例を示す図である。 本実施形態で用いる図面認識用学習済みモデルの一例を示す図である。 本実施形態に係るドローンの概略構成を示すブロック図である。 本実施形態に係るドローンの具体的な構成例を示す図である。 建物の各部位の認識処理と損傷度マップとを説明するための説明図である。 損傷度マップと人の歩行経路とを説明するための説明図である。 本実施形態の第１の学習処理ルーチンの一例を示す図である。 本実施形態の第２の学習処理ルーチンの一例を示す図である。 本実施形態の第３の学習処理ルーチンの一例を示す図である。 本実施形態の被災情報処理ルーチンの一例を示す図である。

＜本発明の実施形態の概要＞

本発明の実施形態では、被災した建物の損傷度を自動的に判定する。具体的には、図１に示されるように、被災建物の周辺及び内部に、移動体の一例であるドローンを飛行させ、ドローンに搭載されたカメラによって撮像される被災建物の画像を取得する。そして、被災建物の画像に基づき、被災建物の各箇所の損傷度を判定する。

本実施形態において損傷度を判定する際には、機械学習によって得られる学習済みモデルを用いて、被災建物の損傷度を判定する。また、図１に示されるように、被災建物の各箇所の損傷度を、被災建物を表す図面データに付与して、損傷度マップを作成する。そして、損傷度マップに応じて人の歩行経路を生成する。これにより、被災建物の損傷度を自動的に判定することができ、かつ被災建物の損傷度マップを自動的に生成することができる。

＜本発明の実施形態に係る被災情報処理モデル学習装置のシステム構成＞

図２は、本発明の実施形態に係る被災情報処理モデル学習装置１００の構成の一例を示すブロック図である。被災情報処理モデル学習装置１００は、機能的には、図２に示されるように、データ受付部１０及びコンピュータ２０を含んだ構成で表すことができる。

データ受付部１０は、学習用の被災した建物（以下、被災建物と称する。）の画像と当該建物の損傷度とを表す学習用データ（以下、損傷度学習用データと称する。）を受け付ける。

図３に損傷度学習用データを説明するための説明図を示す。建物が被災した場合、被災建物の各部位は損傷する。この場合、被災建物の各部位の損傷度を適切に判定する必要がある。例えば、図３に示されるように、被災建物の各部位の損傷度は、１〜５のようにランク付けがされる。

本実施形態では、被災建物の画像とその被災建物の損傷度（１〜５）との組み合わせを表す損傷度学習用データを予め用意する。損傷度学習用データの被災建物の損傷度（１〜５）については、例えば、「震災建築物の被災度区分判定基準および復旧技術指針（一般財団法人日本建築防災協会）」に基づき、人手によって予め判定しておく。過去の被災建物の学習用データを用いることにより、損傷度に関する一貫性のある規則性が見つけ出され、経験的に習得される上記被災度区分判定基準の曖昧な部分が補われる。損傷度学習用データは、後述する学習部２５において用いられる。

また、データ受付部１０は、学習用の建物を表す画像と該画像の各部位の種別を表す建物学習用データを受け付ける。本実施形態では、被災建物の所定の部位の損傷度を判定した後に、所定の部位に対して損傷度を付与して、被災建物の損傷度マップを作成する。このため、画像内に映る建物の各部位が、何を表しているのかを認識する必要がある。

そこで、本実施形態では、建物学習用データを用いることにより、撮像された画像に写る各部分が、建物のどの部材であるかを認識する建物認識用学習済みモデルを生成する。建物学習用データは、後述する学習部２５において用いられる。

また、データ受付部１０は、学習用の建物を表す図面データと該図面データの各部位の種別を表す図面学習用データを受け付ける。

被災建物の損傷度マップを作成する際には、被災建物の図面データのうち、どの部分に損傷度の高い損傷が発生しているのかを特定する必要がある。図面データは、例えば、図４に示されるような形式である。図面データを学習用データとして用いる場合には、図４に示されるように、図面データ上のどの部分が柱Ｐに該当し、どの部分が壁Ｗに該当するのかを予め設定しておく必要がある。そのため、本実施形態では、学習用の図面データと当該図面データの各部位の種別を表す図面学習用データを予め用意する。そして、本実施形態では、図面学習用データを用いることにより、被災建物の図面データを認識し、図面データ上に存在する建物の各部位（例えば、柱、壁、及び窓等）を認識する図面認識用学習済みモデルを生成する。

データ受付部１０は、例えばキーボード、マウス、又は外部装置からの入力を受け付ける入出力装置等によって実現される。

コンピュータ２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。コンピュータ２０は、機能的には、図２に示されるように、学習用データ取得部２１と、損傷度学習用データ記憶部２２と、図面学習用データ記憶部２３と、建物学習用データ記憶部２４と、学習部２５と、学習済みモデル記憶部２６とを備えている。

学習用データ取得部２１は、データ受付部１０によって受け付けられた、損傷度学習用データと、図面学習用データと、建物学習用データとを取得する。そして、学習用データ取得部２１は、損傷度学習用データを損傷度学習用データ記憶部２２へ格納する。また、学習用データ取得部２１は、図面学習用データを図面学習用データ記憶部２３へ格納する。また、学習用データ取得部２１は、建物学習用データを建物学習用データ記憶部２４へ格納する。

損傷度学習用データ記憶部２２には、損傷度学習用データが格納される。図５（Ａ）に、損傷度学習用データを説明するための説明図を示す。図５（Ａ）に示されるように、学習用の被災建物の画像情報と当該学習用の被災建物の損傷度とが対応付けられて格納される。図５（Ａ）に示されるデータＩＤ「00001」の損傷度学習用データでは、被災建物の画像情報が「ＸＸ１」であった場合に、当該被災建物の損傷度は「３」であったことが表されている。なお、１つの画像上に、１つの損傷度が付与されている場合を例に挙げているが、１つの画像上に複数の損傷度が付与されていてもよい。

建物学習用データ記憶部２４には、建物学習用データが格納される。図５（Ｂ）に、建物学習用データを説明するための説明図を示す。図５（Ｂ）に示されるように、学習用の建物の図面データと当該学習用の図面データに表現されている建物の部位を表すラベルとが対応付けられて格納される。図５（Ｂ）に示されるデータＩＤ「00001」の建物学習用データでは、建物の図面データが「ＹＹ１」であった場合に、当該図面データ上に表現されている建物の部位は「柱」であったことが表されている。なお、１つの図面データ上に、１つの部位（例えば、柱、壁、及び窓等）が表現されている場合を例に挙げているが、１つの図面データ上に複数のラベルが付与されていてもよい。

図面学習用データ記憶部２３には、図面学習用データが格納される。図５（Ｃ）に、図面学習用データを説明するための説明図を示す。図５（Ｃ）に示されるように、学習用の建物の画像情報と、当該学習用の画像情報に写っている建物の部位を表すラベルとが対応付けられて格納される。図５（Ｃ）に示されるデータＩＤ「00001」の図面学習用データでは、建物の画像情報が「ＺＺ１」であった場合に、当該画像情報に映っている建物の部位は「窓」であることが表されている。なお、１つの画像に、１つの部位（例えば、柱、壁、及び窓等）が映っている場合を例に挙げているが、１つの画像上に複数のラベルが付与されていてもよい。

学習部２５は、損傷度学習用データ記憶部２２に格納された複数の損傷度学習用データに基づいて、被災建物を表す画像から当該被災建物の損傷度を出力するためのモデルを学習させて、被災建物を表す画像から当該建物の損傷度を出力する損傷度判定用学習済みモデルを得る。損傷度学習用データは、過去に被災した被災建物に関するデータであるため、それらの被災建物の損傷度の判定結果が、損傷度判定用学習済みモデルへ反映される。

本実施形態では、図６に示されるような損傷度判定用学習済みモデルを生成する。例えば、図６に示されるように、モデルの一例としてニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。

また、学習部２５は、建物学習用データ記憶部２４に格納された複数の建物学習用データに基づいて、建物を表す画像から当該建物の各部位の種別を出力するためのモデルを学習させて、建物を表す画像から当該建物の各部位の種別を出力する建物認識用学習済みモデルを得る。

本実施形態では、例えば、図７に示されるような建物認識用学習済みモデルを生成する。例えば、図７に示されるように、モデルの一例としてニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。

また、学習部２５は、図面学習用データ記憶部２３に格納された複数の図面学習用データに基づいて、建物を表す図面データから当該図面データの各部位の種別を出力するためのモデルを学習させて、建物を表す図面データから当該図面データの各部位の種別を出力する図面認識用学習済みモデルを得る。

本実施形態では、例えば、図８に示されるような図面認識用学習済みモデルを生成する。例えば、図８に示されるように、モデルの一例としてニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。

学習済みモデル記憶部２６には、学習部２５によって得られた、損傷度判定用学習済みモデル、建物認識用学習済みモデル、及び図面認識用学習済みモデルが格納される。

＜本発明の実施形態に係るドローンのシステム構成＞

図９は、本発明の実施形態に係るドローン２００の構成の一例を示すブロック図である。ドローン２００は、機能的には、図９に示されるように、カメラ２１０、及び被災情報処理装置２２０を含んだ構成で表すことができる。

本実施形態のドローン２００は、図１０に示されるように、プロペラ２００Ａとキャタピラ（登録商標）２００Ｂとを備えており、陸上走行又は空中飛行による移動が可能である。ドローン２００にはキャタピラ（登録商標）２００Ｂが搭載されているため、陸上走行をする際には障害物を乗り越えることができる。

なお、障害物を乗り越える際には、障害物の大きさも記録するようにしてもよい。また、陸上を走行する際には走行距離を併せて記録するようにしてもよい。また、陸上走行をする際のカメラ２１０による撮影にあたってのブレ対策としては、エアサスペンションなどの工夫を施すようにしてもよい。

ドローン２００による陸上走行又は空中飛行により、被災建物の内部及び周辺において、被災建物に関する情報を効率的に収集することができる。ドローン２００は、自律的に移動又は外部信号に応じて移動する。

カメラ２１０は、ドローン２００に搭載され、ドローン２００の周辺の画像を逐次撮像する。具体的には、ドローン２００が被災建物の内部又は被災建物の外部を移動する際に、カメラ２１０によって被災建物の各部位の画像が逐次撮像される。

被災情報処理装置２２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、ネットワークインタフェース等を含んだコンピュータによって構成されている。被災情報処理装置２２０は、機能的には、図９に示されるように、取得部２２１と、学習済みモデル記憶部２２２と、図面データ記憶部２２３と、損傷度合出力部２２４と、建物部位認識部２２５と、図面認識部２２６と、位置認識部２２７と、損傷度情報生成部２２８と、被災情報記憶部２２９と、経路生成部２３０と、出力部２３１とを備えている。

取得部２２１は、カメラ２１０によって撮像された、対象建物の一例である被災建物を表す画像を逐次取得する。

学習済みモデル記憶部２２２には、被災情報処理モデル学習装置１００によって学習された、損傷度判定用学習済みモデル、建物認識用学習済みモデル、及び図面認識用学習済みモデルが格納される。

図面データ記憶部２２３には、被災建物の図面データが格納される。なお、図面データは、例えば、ＣＡＤ（computer-aided design）データであってもよいし、紙媒体をスキャナによって電子データへ変換したものであってもよい。また、ＢＩＭ（Building Information Modeling）データであってもよい。

損傷度合出力部２２４は、取得部２２１によって取得された被災建物を表す画像と、学習済みモデル記憶部２２２に格納された損傷度判定用学習済みモデルとに基づいて、被災建物の損傷度を出力する。

図６に示されるように、被災建物の画像が損傷度判定用学習済みモデルへ入力されると、損傷度判定用学習済みモデルによって演算処理が行われ、被災建物の損傷度が出力される。これにより、損傷度判定用学習済みモデルに入力された被災建物の画像が、どの程度の損傷度であるのかを自動的に得ることができる。

損傷度判定用学習済みモデルからは、例えば、図６に示されるように、被災建物の損傷度が、「１」である確率、「２」である確率、「３」である確率、「４」である確率、及び「５」である確率が出力され、最も高い確率に対応する損傷度が当該被災建物の画像に映る部位の損傷度であることが判明する。

建物部位認識部２２５は、取得部２２１によって取得された被災建物を表す画像と、学習済みモデル記憶部２２２に格納された建物認識用学習済みモデルとに基づいて、被災建物の画像が表す当該建物の各部位の種別を認識する。

図７に示されるように、被災建物の画像が建物認識用学習済みモデルへ入力されると、建物認識用学習済みモデルによって演算処理が行われ、被災建物の画像に映る各部位の種別の確率が出力される。これにより、建物認識用学習済みモデルに入力された被災建物の画像の各部分領域が、建物のどの部位に相当するかを自動的に得ることができる。

建物認識用学習済みモデルからは、例えば、図７に示されるように、被災建物の画像について、その画像が、柱である確率、窓である確率、及び壁である確率等が出力され、最も高い確率に対応する部位が当該被災建物の画像に映っていることが判明する。

図面認識部２２６は、図面データ記憶部２２３に格納された被災建物の図面データと、学習済みモデル記憶部２２２に格納された図面認識用学習済みモデルとに基づいて、被災建物の図面データの各部位の種別を認識する。

図８に示されるように、被災建物の図面データが図面認識用学習済みモデルへ入力されると、図面認識用学習済みモデルによって演算処理が行われ、被災建物の図面データの各部位の種別に相当する確率が出力される。これにより、図面認識用学習済みモデルに入力された被災建物の図面データの各領域が、建物のどの種別の部位に相当するかを自動的に得ることができる。

図面認識用学習済みモデルからは、例えば、図８に示されるように、被災建物の図面データの各部位について、当該部位が、柱である確率、窓である確率、及び壁である確率等が出力され、最も高い確率の種別が当該被災建物の図面データの部位であることが判明する。

位置認識部２２７は、建物部位認識部２２５によって得られた、画像が表す被災建物の各部位の認識結果と、図面認識部２２６によって得られた被災建物の図面データの各部位の認識結果とを照合して、被災建物の当該図面データにおける、被災建物の画像が撮像された位置を認識する。

例えば、図１１に示されるように、被災建物の各部位の認識結果Ｉとして、柱Ｐ１、柱Ｐ２、及び窓Ｗが得られたとする。また、被災建物の図面データの各部位の認識結果Ｚとして、柱Ｐ１、柱Ｐ２、及び窓Ｗが得られたとする。この場合、認識結果Ｉの柱Ｐ１、柱Ｐ２、及び窓Ｗと認識結果Ｚの柱Ｐ１、柱Ｐ２、及び窓Ｗとを照合することにより、被災建物の画像が撮像された図面データ上の位置を認識することができる。

損傷度情報生成部２２８は、位置認識部２２７によって得られた図面データにおける位置に対して、損傷度合出力部２２４により得られた損傷度を図面データ記憶部２２３に記憶された図面データに付与して、被災建物の損傷度マップを生成する。そして、損傷度情報生成部２２８は、被災建物の損傷度マップを被災情報記憶部２２９へ格納する。

例えば、損傷度情報生成部２２８は、図１２に示されるような損傷度マップＭを生成する。図１２において、損傷度マップＭは、被災建物の平面図の図面データ（Ｒは部屋を示し、Ａは通路を示す。）に基づき作成されたものが例に示されている。

経路生成部２３０は、被災情報記憶部２２９に格納された被災建物の損傷度マップに基づいて、人の歩行経路を生成する。そして、経路生成部２３０は、生成した人の歩行ルートを損傷度マップへ付与し、被災情報として被災情報記憶部２２９へ格納する。

例えば、経路生成部２３０は、図１２に示されるように、損傷度が付与された箇所を避けるように、人の歩行経路ＨＫを生成する。なお、経路生成部２３０は、各箇所に付与された損傷度の合計が最小となるように、人の歩行経路ＨＫを生成してもよい。

出力部２３１は、被災情報記憶部２２９によって格納された、被災建物の損傷度マップと人の歩行経路とを表す被災情報を、結果として出力する。出力部２３１は、例えば、所定の通信手段によって構成される。この場合には、例えば、出力部２３１から出力された被災情報が、所定のサーバ（図示省略）へ送信される。そして、そのサーバを管理する管理者は、被災情報のうちの、被災建物の損傷度マップ及び人の歩行経路を確認する。これにより、ドローン２００が移動する際に自動的に撮像された被災建物の画像によって、被災建物の損傷度マップ及び人の歩行経路を自動的に得ることができる。

＜被災情報処理モデル学習装置の作用＞

次に、被災情報処理モデル学習装置１００の作用を説明する。被災情報処理モデル学習装置１００は、損傷度判定用学習済みモデルを学習させる第１の学習処理ルーチンと、建物認識用学習済みモデルを学習させる第２の学習処理ルーチンと、図面認識用学習済みモデルを学習させる第３の学習処理ルーチンとを実行する。

＜第１の学習処理ルーチン＞

被災情報処理モデル学習装置１００のデータ受付部１０が、複数の損傷度学習用データを受け付けると、複数の損傷度学習用データを損傷度学習用データ記憶部２２へ格納する。そして、被災情報処理モデル学習装置１００のコンピュータ２０は、第１の学習処理の指示信号を受け付けると、図１３に示す第１の学習処理ルーチンを実行する。

ステップＳ１００において、学習部２５は、損傷度学習用データ記憶部２２に格納された複数の損傷度学習用データを取得する。

ステップＳ１０２において、学習部２５は、上記ステップＳ１００で取得された複数の損傷度学習用データに基づいて、被災建物を表す画像から当該被災建物の損傷度を出力するためのモデルを学習させて、損傷度判定用学習済みモデルを生成する。

ステップＳ１０４において、学習部２５は、上記ステップＳ１０２で生成された損傷度判定用学習済みモデルを学習済みモデル記憶部２６へ格納して、第１の学習処理ルーチンを終了する。

＜第２の学習処理ルーチン＞

被災情報処理モデル学習装置１００のデータ受付部１０が、複数の建物学習用データを受け付けると、複数の建物学習用データを建物学習用データ記憶部２４へ格納する。そして、被災情報処理モデル学習装置１００のコンピュータ２０は、第２の学習処理の指示信号を受け付けると、図１４に示す第２の学習処理ルーチンを実行する。

ステップＳ２００において、学習部２５は、建物学習用データ記憶部２４に格納された複数の建物学習用データを取得する。

ステップＳ２０２において、学習部２５は、上記ステップＳ２００で取得された複数の建物学習用データに基づいて、建物を表す画像から当該建物の各部位の種別を出力するためのモデルを学習させて、建物認識用学習済みモデルを生成する。

ステップＳ２０４において、学習部２５は、上記ステップＳ２０２で生成された建物認識用学習済みモデルを学習済みモデル記憶部２６へ格納して、第２の学習処理ルーチンを終了する。

＜第３の学習処理ルーチン＞

被災情報処理モデル学習装置１００のデータ受付部１０が、複数の図面学習用データを受け付けると、複数の図面学習用データを図面学習用データ記憶部２３へ格納する。そして、被災情報処理モデル学習装置１００のコンピュータ２０は、第３の学習処理の指示信号を受け付けると、図１５に示す第３の学習処理ルーチンを実行する。

ステップＳ３００において、学習部２５は、図面学習用データ記憶部２３に格納された複数の図面学習用データを取得する。

ステップＳ３０２において、学習部２５は、上記ステップＳ３００で取得された複数の図面学習用データに基づいて、建物を表す図面データから当該図面データの各部位の種別を出力するためのモデルを学習させて、図面認識用学習済みモデルを得る。

ステップＳ３０４において、学習部２５は、上記ステップＳ３０２で生成された図面認識用学習済みモデルを学習済みモデル記憶部２６へ格納して、第３の学習処理ルーチンを終了する。

＜ドローン２００の作用＞

次に、ドローン２００の作用を説明する。被災情報処理モデル学習装置１００の学習済みモデル記憶部２６に格納された、損傷度判定用学習済みモデル、建物認識用学習済みモデル、及び図面認識用学習済みモデルがドローン２００の被災情報処理装置２２０へ入力されると、学習済みモデル記憶部２２２へ格納される。そして、ドローン２００が被災建物の内部又は外部での移動を開始し、カメラ２１０によって被災建物の各箇所の撮像が開始されると、ドローン２００に備えられた被災情報処理装置２２０は、図１６に示す被災情報処理ルーチンを実行する。なお、図１６に示す被災情報処理ルーチンは、カメラ２１０によって画像が撮像される毎に繰り返し実行される。

ステップＳ４００において、取得部２２１は、カメラ２１０によって撮像された被災建物を表す画像を取得する。

ステップＳ４０２において、損傷度合出力部２２４は、上記ステップＳ４００で取得された被災建物を表す画像と、学習済みモデル記憶部２２２に格納された損傷度判定用学習済みモデルとに基づいて、被災建物を表す画像に映る各箇所の損傷度を出力する。

ステップＳ４０４において、建物部位認識部２２５は、上記ステップＳ４００で取得された被災建物を表す画像と、学習済みモデル記憶部２２２に格納された建物認識用学習済みモデルとに基づいて、被災建物の画像に映る当該建物の各部位の種別を認識する。

ステップＳ４０６において、図面認識部２２６は、図面データ記憶部２２３に格納された被災建物の図面データと、学習済みモデル記憶部２２２に格納された図面認識用学習済みモデルとに基づいて、被災建物の図面データの各部位の種別を認識する。

ステップＳ４０８において、位置認識部２２７は、上記ステップＳ４０４で得られた被災建物の各部位の認識結果と、上記ステップＳ４０６で得られた被災建物の図面データの各部位の認識結果とを照合して、被災建物の当該図面データにおける、被災建物の画像が撮像された位置を認識する。

ステップＳ４１０において、損傷度情報生成部２２８は、上記ステップＳ４０８で得られた図面データにおける位置に対して、上記ステップＳ４０２で得られた損傷度を図面データ記憶部２２３に記憶された図面データに付与して、被災建物の損傷度マップを生成する。そして、損傷度情報生成部２２８は、損傷度マップを被災情報記憶部２２９へ格納する。なお、損傷度情報生成部２２８は、被災情報処理ルーチンの実行が２回目以降である場合には、被災情報記憶部２２９に格納された損傷度マップに対して新たに損傷度を付与して、損傷度マップを更新する。

ステップＳ４１２において、経路生成部２３０は、被災情報記憶部２２９に格納された被災建物の損傷度マップに基づいて、人の歩行経路を生成する。そして、経路生成部２３０は、生成した人の歩行ルートを損傷度マップへ付与し、被災情報として被災情報記憶部２２９へ格納して、被災情報処理ルーチンを終了する。なお、経路生成部２３０は、被災情報処理ルーチンの実行が２回目以降である場合には、被災情報記憶部２２９に格納された被災度情報のうちの歩行経路を更新する。

出力部２３１は、被災建物の内部又は外部におけるドローン２００の移動が終了し、被災建物の損傷度マップと人の歩行経路とを含む被災情報の生成が終了した場合に、被災情報記憶部２２９によって格納された被災情報を、外部のサーバへ送信する。

サーバを管理する管理者は、ドローン２００から送信された被災情報のうちの、被災建物の損傷度マップ及び人の歩行経路を確認する。

以上詳細に説明したように、本実施形態では、被災建物を表す画像と、学習用の被災建物の画像と該被災建物の損傷度とを表す学習用データから予め学習された損傷度判定用学習済みモデルとに基づいて、被災建物の損傷度を出力する。これにより、被災建物の損傷度を適切に取得することができる。また、被災建物の損傷度を表す損傷度マップを自動的に作成することができ、損傷度が付与された損傷度マップに応じて、安全な歩行経路を自動的に作成することができる。

従来の被災度区分判定は、被災度区分判定基準に基づき行われているものの人によってばらつきがあったのに対し、本実施形態によれば、学習用データが反映された学習済みモデルを用いることにより被災建物の損傷度が判定される。これにより、判定基準の均一化を図ることができる。また、見落としなど人的ミス防止、映像記録化、及び時間削減を図ることができる。

これにより、専門家は、被災建物のうちの特別な損傷観察に関する時間を増加させることができる。また、専門家は、未来の震災被害の最小化のための情報収集に貢献したり、知的生産性の向上を図ることができる。

また、本実施形態では、学習済みモデルによって判定された損傷度に基づき、安全な歩行経路が生成される。これにより、被災建物に立ち入る前の安全確保、及びパニック時の避難経路の探索等を行うことができる。

また、建物認識用学習済みモデル及び図面認識用学習済みモデルをドローン２００に搭載することにより、ドローン２００は、位置関係を把握しながら、必要最大限の情報を得られるように走行することができる。また、状況確認不可能な立ち入り禁止区域を走行することもできる。

また、本実施形態では、損傷度学習用データに基づいて、損傷度判定用学習済みモデルを生成する。これにより、被災建物を表す画像から当該被災建物の損傷度を出力する学習済みモデルを得ることができる。

また、本実施形態では、建物学習用データに基づいて、建物認識用学習済みモデルを得る。これにより、建物を表す画像から当該建物の各部位の種別を出力する学習済みモデルを得ることができる。

また、本実施形態では、図面学習用データに基づいて、図面認識用学習済みモデルを生成する。これにより、建物を表す図面データから当該図面データの各部位の種別を出力する学習済みモデルを得ることができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。

また、本実施形態のドローン２００は、図面認識用学習済みモデルにより得られた図面データの各部位の認識結果と、建物認識用学習済みモデルにより得られた建物の各部位の認識結果との間の照合結果に基づき、画像が撮像された位置（又は、移動の際のドローン２００の位置）を認識する場合を例に説明したがこれに限定されるものではない。例えば、ＧＰＳ等の位置センサにより得られるドローン２００の位置情報（緯度経度情報）と、図面データ上の各点に予め付与された位置情報（緯度経度情報）とを照合して、画像が撮像された図面データ上の位置を認識するようにしてもよい。また、ドローン２００の移動開始箇所を、図面データ上の予め定められた箇所（０点）として設定し、ドローン２００の移動距離及び移動方向に応じて、自らの位置を認識するようにしてもよい。また、これらの認識方法を組み合わせて用いてもよい。

なお、被災建物の図面データが存在しない場合には、ドローン２００の移動と同時に簡単な図面データを生成するようにしてもよい。例えば、建物認識用学習済みモデルにより得られた認識結果（画像内のこの部分領域は柱、この部分領域は壁等）に基づき、被災建物の図面データを生成するようにしてもよい。

また、ドローン２００には、様々なセンサを搭載させることができる。例えば、ドローン２００には、３６０度カメラ、赤外線カメラ、暗視カメラ、Ｘ線カメラ、その他のセンサ等を搭載させることができる。この場合、損傷度認識用学習済みモデルを用いて建物の損傷度を認識する際に、更に詳細な損傷度を取得するようにしてもよい。具体的には、ドローンに搭載された各種センサによって、ひび割れ、コンクリートの剥落、露筋・鉄筋の破断・タイルの浮き、及び鉛直部材の傾き等を更に取得して、損傷度マップを生成するようにしてもよい。

また、上記ではプログラムが記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ及びマイクロＳＤカード等の記録媒体の何れかに記録されている形態で提供することも可能である。

１０ データ受付部
２０ コンピュータ
２１ 学習用データ取得部
２２ 損傷度学習用データ記憶部
２３ 図面学習用データ記憶部
２４ 建物学習用データ記憶部
２５ 学習部
２６，２２２ 学習済みモデル記憶部
１００ 被災情報処理モデル学習装置
２００ ドローン
２１０ カメラ
２２０ 被災情報処理装置
２２１ 取得部
２２３ 図面データ記憶部
２２４ 損傷度合出力部
２２５ 建物部位認識部
２２６ 図面認識部
２２７ 位置認識部
２２８ 損傷度情報生成部
２２９ 被災情報記憶部
２３０ 経路生成部
２３１ 出力部

Claims (5)

1. 対象建物を表す画像を取得する取得部と、
   前記取得部によって取得された前記画像と、学習用の被災した建物の画像と該建物の損傷度とを表す学習用データから予め学習された学習済みモデルとに基づいて、前記対象建物の損傷度を出力する損傷度合出力部と、
   を含む被災情報処理装置。
2. 前記取得部によって取得された前記画像と、学習用の建物を表す画像と該画像の各部位の種別を表す建物学習用データから予め学習された建物認識用学習済みモデルとに基づいて、前記画像が表す前記対象建物の各部位の種別を認識する建物部位認識部と、
   前記対象建物を表す図面データと、学習用の建物を表す図面データと該図面データの各部位の種別を表す図面学習用データから予め学習された図面認識用学習済みモデルとに基づいて、前記対象建物の前記図面データの各部位の種別を認識する図面認識部と、
   前記建物部位認識部によって得られた前記画像が表す前記対象建物の各部位の認識結果と、前記図面認識部によって得られた前記対象建物の図面データの各部位の認識結果とを照合して、前記対象建物の前記図面データにおける、前記対象建物の画像が撮像された位置を認識する位置認識部と、
   前記位置認識部によって得られた前記図面データにおける前記位置に対して、前記損傷度合出力部によって得られた前記損傷度を前記図面データに付与して、前記対象建物の損傷度マップを生成する損傷度情報生成部と、を更に含む、
   請求項１に記載の被災情報処理装置。
3. 前記損傷度情報生成部によって生成された前記対象建物の前記損傷度マップに基づいて、人の歩行経路を生成する経路生成部を更に含む、
   請求項２に記載の被災情報処理装置。
4. 対象建物を表す画像は、空中飛行又は陸上走行によって移動する移動体に搭載されたカメラによって撮像された画像である、
   請求項１〜請求項３の何れか１項に記載の被災情報処理装置。
5. 学習用の建物の画像と該建物の損傷度とを表す学習用データに基づいて、建物を表す画像から該建物の損傷度を出力するためのモデルを学習させて、建物を表す画像から該建物の損傷度を出力する学習済みモデルを得る学習部
   を含む被災情報処理モデル学習装置。