JP2022030356A

JP2022030356A - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP2022030356A
Application number: JP2020134335A
Authority: JP
Inventors: 隆中野; Takashi Nakano; 拓巳柿市; Takumi Kakiichi; 浩一郎田村; Koichiro Tamura
Original assignee: ACES Inc; JFE Engineering Corp
Current assignee: ACES Inc; JFE Engineering Corp
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2022-02-18
Anticipated expiration: 2040-08-07
Also published as: JP7469987B2

Abstract

【課題】配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上すること。【解決手段】複数の鉄筋が交差して設けられる鉄筋構造物における鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置であって、制御部は、撮像された配筋画像データを取得して記憶部に記憶させ、記憶部から読み出した配筋画像データに対して、鉄筋が交差した部分の交点を複数識別し、識別された複数の交点の座標情報を含む交点データを生成する。記憶部から配筋画像データを入力パラメータとして取得して、記憶部から読み出した配筋画像データを交点識別学習モデルに入力し、配筋画像データに対して交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、出力した交点画像データに基づいて、交点データを生成する。【選択図】図１

Description

本発明は、配筋検査に用いる情報処理装置、情報処理方法、およびプログラムに関する。

従来、鉄筋コンクリート構造物の工事において、鉄筋が正しく配置されているかどうかを確認する配筋検査が行われる。配筋検査における検査項目には、鉄筋径種、表面加工種、配置本数、配筋ピッチなどがある。この配筋検査においては、配筋位置でスケールを用いて配筋ピッチなどを計測している。具体的に、土木工事施工管理基準においては、鉄筋間隔を規格値として±２０ｍｍ、測定基準は、１径間当たり両端および中央の３ヶ所測定し、１ヶ所の測定は、橋軸方向の鉄筋を全数、橋軸方向に対して直角方向の鉄筋を加工形状ごとに２ｍの範囲で測定している。従来の配筋検査方法においては、これらの指定区間および指定範囲において、複数の作業者が１本ずつ鉄筋の間隔を測定している。

また、特許文献１には、鉄筋の長さおよび太さの基準となる基準データを付与して撮影範囲を設定し、設定された撮影範囲で配筋状態を撮影して配筋状態の撮影データに対して、パターンマッチングまたは機械学習の少なくとも一方の手法を用いて配筋状態を認識して配筋状態データを生成する技術が開示されている。

特開２０２０－２７０５８号公報

上述した従来の配筋検査方法においては、測定対象外の範囲における鉄筋の状態については、測定できないという問題がある。また、鉄筋の間隔を作業者がメジャーなどを用いて手作業で測定していることから、多大な労力を要し、手作業による測定ミスなどの発生する可能性がある。さらに、測定した結果のデータを作業者が手作業で情報処理装置に入力しているため、データの入力ミスなどの問題も生じる可能性があった。そこで、上述した特許文献１に記載の技術を採用しようとすると、処理すべきデータが大きくなってしまい、画像処理などに時間を要するという問題が新たに生じる。そのため、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上できる技術が求められていた。

本発明は、上記に鑑みてなされたものであって、その目的は、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上することができる情報処理装置、情報処理方法、およびプログラムを提供することにある。

上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置であって、前記制御部は、前記撮像された配筋画像データを取得して記憶部に記憶させ、前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、前記識別された複数の交点の座標情報を含む交点データを生成する。

本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、前記記憶部から前記配筋画像データを入力パラメータとして取得して、前記記憶部から読み出した前記配筋画像データを交点識別学習モデルに入力し、前記配筋画像データに対して前記交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、出力した前記交点画像データに基づいて、前記交点データを生成し、前記交点識別学習モデルは、前記配筋画像データを学習用入力パラメータとし、前記配筋画像データに対して前記交点を示す検出枠が付加された交点画像データを学習用出力パラメータとして、機械学習によって生成された学習モデルである。

本発明の一態様に係る情報処理装置は、上記の発明において、前記鉄筋構造物は、連続した鉄筋を複数本備え、前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、前記制御部は、前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化する。

本発明の一態様に係る情報処理装置は、この構成において、前記鉄筋構造物は、連続した鉄筋を複数本備え、前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、前記制御部は、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を抽出して、前記同一の鉄筋番号であると判定した複数の交点に近似する鉄筋式を、前記鉄筋番号ごとに導出し、前記鉄筋番号ごとに導出した複数の鉄筋式と、前記互いに同一の鉄筋番号であると判定した複数の交点のそれぞれの座標情報とに基づいて、前記互いに同一の鉄筋番号であると判定した複数の交点における該交点ごとに鉄筋番号の正否を判定する。

本発明の一態様に係る情報処理装置は、この構成において、前記制御部は、前記交点の鉄筋番号が異なると判定した場合、該交点が判定された鉄筋番号に対して前または後の鉄筋番号の鉄筋式に基づいて、該交点の鉄筋番号を補正する。

本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、識別した複数の交点においてそれぞれの交点間の距離を算出し、前記交点間の距離が所定距離以下の２つの交点を抽出し、前記２つの交点を前記鉄筋の継手部分の交点であると判定する。

本発明の一態様に係る情報処理装置は、この構成において、前記鉄筋構造物は、連続した鉄筋を備え、前記連続した鉄筋は少なくとも２本の鉄筋が長さ方向に沿って固着された継手部分を有し、前記継手部分に固有の継手番号が、前記継手部分ごとに設定され、前記制御部は、複数の前記継手部分の交点の座標情報に基づいてクラスタリングを実行することにより、複数の前記継手部分の交点に対して、互いに同一の継手番号であると判定した複数の交点を抽出して集合化し、前記継手番号ごとに継手長を導出する。

本発明の一態様に係る情報処理方法は、複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置が実行する情報処理方法であって、前記撮像された配筋画像データを取得して記憶部に記憶させ、前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、前記識別された複数の交点の座標情報を含む交点データを生成する。

本発明の一態様に係るプログラムは、複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部に、前記撮像された配筋画像データを取得して記憶部に記憶させ、前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、前記識別された複数の交点の座標情報を含む交点データを生成することを実行させる。

本発明に係る情報処置装置、情報処理方法、およびプログラムによれば、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上することが可能になる。

図１は、本発明の一実施形態による情報処理装置を適用した配筋検査システムを模式的に示す全体構成図である。図２は、本発明の一実施形態による撮像装置が撮像した鉄筋構造体の全体の配筋画像データを示す平面図（ａ）、およびアノテーションが実施された交点画像データを示す平面拡大図（ｂ）である。図３は、本発明の一実施形態による情報処理方法を説明するためのフローチャートである。図４Ａは、本発明の一実施形態による配筋検査方法において、鉄筋式による推論結果の補正を説明するための平面図である。図４Ｂは、本発明の一実施形態による配筋検査方法において、鉄筋式による推論結果の補正を説明するための平面図である。図５Ａは、本発明の一実施形態による配筋検査方法において、継手の検出方法を説明するための平面図である。図５Ｂは、本発明の一実施形態による配筋検査方法において、継手の検出方法を説明するための平面図である。図５Ｃは、本発明の一実施形態による配筋検査方法において、継手の検出方法を説明するための平面図である。図６は、本発明の一実施形態による配筋検査装置から出力されたＣＩＭモデルの出来形帳票の一例を示す斜視図である。

以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。

（配筋検査システム）
図１は、本発明の一実施形態による情報処理装置を適用した配筋検査システム１を模式的に示す全体構成図である。図１に示す配筋検査システム１は、床版配筋の画像を撮影し、画像認識処理が可能な情報処理装置を用いて、鉄筋間隔、鉄筋本数、継手長などの測定を行うシステムである。なお、配筋とは、鉄筋コンクリート構造物における鉄筋の配置を意味し、配筋検査とは、それぞれの鉄筋の配置、寸法、数量、および種別などを示した配筋図に基づいて、鉄筋が正確に配置されているか否かの検査を意味する。

図１に示すように、配筋検査システム１は、配筋検査装置１０および撮像装置２０を備え、配力筋である縦鉄筋３１および主筋である横鉄筋３２が格子状に並べられて構成された鉄筋構造物３０を検査可能に構成される。

配筋検査装置１０と撮像装置２０とは、ネットワーク２を介して接続されている。ネットワーク２は、例えば、専用線、近距離無線通信装置、インターネットなどの公衆通信網、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、および携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）などの一または複数の組み合わせからなる。

情報処理装置としての配筋検査装置１０は、制御部１１、記憶部１２、入力部１３、および出力部１４を備える。

図１に示すように、配筋検査制御部としての制御部１１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。

記憶部１２は、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、もしくはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部１２を構成してもよい。

記憶部１２には、配筋検査装置１０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による学習モデルや学習済みモデルなどのモデルに基づいた処理を実現する、情報処理プログラムも含まれる。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

記憶部１２には、配筋検査装置１０の動作を実行するためのＯＳ、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による交点識別学習モデル１２１を用いた情報処理プログラムや、階層的クラスタリングを実現する情報処理プログラムが含まれる。具体的に、記憶部１２には、交点識別学習モデル１２１、クラスタリングコード１２２、画像データ１２３、推論データ１２４、および交点データ１２５が格納されている。交点識別学習モデル１２１は、必要に応じて更新可能なモデルであるが、更新を行わない場合には、学習済みの配筋検査学習済みモデルとなる。また、記憶部１２はネットワーク２を介して通信可能な他のサーバに設けてもよい。すなわち、画像データ１２３を格納する記憶部や、推論データ１２４や交点データ１２５を格納する記憶部を、配筋検査装置１０とネットワーク２を介して通信可能な他のサーバに設けてもよい。これらの各種プログラムや各種データは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

制御部１１は、記憶部１２に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することによって、所定の目的に合致した機能を実現できる。本実施形態においては、制御部１１は、記憶部１２に格納されたプログラムの実行によって、画像取得部１１１、画像処理部１１２、交点検出部１１３、継手検出部１１４、クラスタリング処理部１１５、および学習部１１６の機能を実行する。

具体的に例えば、制御部１１は、記憶部１２からプログラムである交点識別学習モデル１２１を読み込むことによって、画像取得部１１１、画像処理部１１２、交点検出部１１３、および継手検出部１１４の全部または少なくとも一部の機能を実行できる。制御部１１は、記憶部１２からクラスタリングコード１２２を読み込むことによって、取得したデータに対してクラスタリング処理部１１５の機能を実現できる。なお、画像処理部１１２、交点検出部１１３、および継手検出部１１４のそれぞれに対応する学習モデルまたは学習済みモデルを生成して、記憶部１２に格納することも可能である。画像取得部１１１、画像処理部１１２、交点検出部１１３、継手検出部１１４、クラスタリング処理部１１５、および学習部１１６の機能の詳細については、後述する。

入力手段としての入力部１３は、キーボードや入力用のボタン、レバーや、液晶などのディスプレイに重畳して設けられる手入力のためのタッチパネル、または音声認識のためのマイクロホンなどの、ユーザインターフェースを用いて構成される。ユーザなどが入力部１３を操作することによって、制御部１１に所定の情報を入力可能に構成される。出力手段としての出力部１４は、所定の情報を外部に通知可能に構成される。出力部１４は、制御部１１による制御に従って、ディスプレイモニタに鉄筋構造物３０の廃棄物の画像などを表示したり、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカから音声を出力したりする。なお、入力部１３および出力部１４を一体とした入出力部とし、入出力部をタッチパネルディスプレイやスピーカマイクロホンなどから構成してもよい。

（撮像装置）
撮像手段としての撮像装置２０は、鉄筋構造物３０の上方から、格子状に並べられた縦鉄筋３１および横鉄筋３２を撮像可能に構成される。撮像装置２０は、典型的には、撮像部２１が移動体に搭載されて構成されるが、必ずしも移動体に限定されるものではない。なお、移動体は例えば、ドローンなどの無人航空機（Unmanned Aerial Vehicle：ＵＡＶ）や、ヘリコプター、飛行機、または飛行船などの有人航空機などの大気圏内を移動する移動体や、人工衛星や探査機などの大気圏外を移動する宇宙移動体である。撮像部２１は、例えば高解像度の撮像カメラから構成されるが、鉄筋構造物３０における複数の縦鉄筋３１や複数の横鉄筋３２を互いに識別可能であれば、種々のカメラを使用することが可能である。また、撮像装置２０は、撮像部２１と撮影対象との距離を計測可能な測距センサを備えてもよい。撮像装置２０が測距センサを備える場合、鉄筋構造物３０が、格子状に配列された縦鉄筋３１および横鉄筋３２からなる鉄筋の層を複数層有していた場合であっても、撮像装置２０によって、複数の鉄筋のそれぞれの層までの距離の情報を取得できる。

（交点識別学習モデルおよびその生成方法）
次に、記憶部１２に記憶されているプログラムである交点識別学習モデル１２１およびその生成方法について説明する。すなわち、交点識別学習モデル１２１は、撮像装置２０が鉄筋構造物３０を撮像した画像データ（以下、配筋画像データ）に対して、縦鉄筋３１と横鉄筋３２との交差部（以下、交点３３）を抽出する処理を実行可能な学習モデルである。図２（ａ）は、撮像部２１により撮像された鉄筋構造物３０の配筋画像データの一例を示す平面図である。図２（ｂ）は、配筋画像データに対して、縦鉄筋３１と横鉄筋３２との交点３３の部分に画像アノテーションが実施された状態の例を示す平面図である。

交点識別学習モデル１２１を生成する際の入出力データセットとしては、学習用入力パラメータとして、図２（ａ）に示す撮像装置２０が撮像した配筋画像データが用いられ、学習用出力パラメータとして、図２（ｂ）に示す交点３３の検出枠３３ａが付加された状態の画像データ（以下、交点画像データ）が用いられる。

ここで、配筋画像データを取得するための撮像装置２０による撮像の条件の一例を挙げると、撮像時における撮像装置２０の高さ、すなわち鉄筋構造物３０との距離は、測定誤差の低減のために、取得する配筋画像データの１画素が実寸法の１ｍｍ未満になる高さになるように決定することができる。また、配筋画像データとしては、日射条件、背景、または鉄筋状態などの条件を変えた配筋画像データを用いることが好ましい。また、撮像装置２０が撮像した複数の画像データをつなぎ合わせて、鉄筋構造物３０の全体の配筋画像データを得るために、撮像した画像データのリサイズや、所定の被り量が設定された画像データの分割などを行ってもよい。画像データの分割を行う場合、所定の被り量としては、鉄筋３１，３２の幅の途中で分割されることを考慮して、鉄筋３１，３２の径の半分以上の大きさが好ましい。さらに、配筋画像データに対して、色の標準化処理、スケール変換処理、フリップ処理（反転処理）などの画像処理を行うことによって、撮像した配筋画像データに比して、学習用入力パラメータとして用いられる配筋画像データの数を増やすことも可能である。このように、学習用入力パラメータの数を増加させることによって、種々の環境下で撮像された配筋画像データに対しても、交点３３の抽出を高精度に行うことが可能になる。

交点画像データとしては、図２（ｂ）に示すように、配筋画像データに対して交点３３を抽出する画像アノテーションが実行された画像データが用いられる。図２（ｂ）に示す例においては、画像アノテーションとして、配筋画像データに対して交点３３を囲ったバウンディングボックスと言われる検出枠３３ａが描画されている。検出枠３３ａは、左上の座標（ｘ１，ｙ１）および右下の座標（ｘ２，ｙ２）が指定される。検出枠３３ａの左上の座標（ｘ１，ｙ１）および右下の座標（ｘ２，ｙ２）が導出できれば、検出枠３３ａの中心座標、すなわち交点３３の中心座標（ｘ０，ｙ０）を導出可能である。これにより、交点画像データから、交点３３の例えば中心座標などの座標情報が導出でき、交点３３ごとの座標情報を含む交点データ１２５を得ることができる。なお、交点データ１２５に、交点画像データを含めても含めなくてもよい。また、図示省略するが、画像アノテーションとして、縦鉄筋３１や横鉄筋３２における継手長部分の四隅の座標を指定する作業も併せて実行してもよい。また、本実施形態において、鉄筋どうしの間隔をミリオーダーで算出する場合には、配筋画像データにおける算出も画素単位で測定する必要が生じる。そのため、交点３３のアノテーションにおいては、検出枠３３ａの画素の誤差が３画素以内に収まることが好ましい。

制御部１１の学習部１１６は、上述した学習用入力パラメータおよび学習用出力パラメータを教師データとして、例えばニューラルネットワークを用いたディープラーニング（深層学習）などの機械学習によって、交点識別学習モデル１２１を生成する。制御部１１は、学習部１１６により学習された内容に基づいて、配筋画像データから交点画像データを生成する。また、学習部１１６は、必要に応じて、入力された配筋画像データおよび、作業者が検出枠３３ａを修正した交点画像データを用いて、交点識別学習モデル１２１を適宜更新してもよい。

また、同一の縦鉄筋３１と横鉄筋３２との交点３３に対して、複数の推論結果（認識結果ともいう）として得られた複数の検出枠３３ａに対して、ＮＭＳ（Non-Maximum Suppression）を実行することによって、交点３３の検出精度を向上させる。すなわち、画像の重なりの割合を表す値であるＩｏＵ値が所定値以上の確信度が最も高い推論結果の検出枠３３ａを残し、他の確信度が低い検出枠３３ａを除去する。ＩｏＵ値の所定値は、例えば０．６３～０．６５程度に設定できる。これにより、交点３３の検出枠３３ａの信頼性を向上できる。

（配筋検査方法）
次に、本実施形態による情報処理方法としての配筋検査方法について説明する。図３は、一実施形態による配筋検査方法を説明するためのフローチャートである。なお、ステップＳＴ１は撮像装置２０、ステップＳＴ２～ＳＴ１１は配筋検査装置１０が行う処理である。

図３に示すように、ステップＳＴ１において撮像装置２０は、鉄筋構造物３０を撮像する。撮像装置２０は、視野内における鉄筋構造物３０の状況を複数の画像からなる映像として撮像する。これにより、撮像装置２０は、図２（ａ）に示す配筋画像データを撮像できる。制御部１１の画像取得部１１１は、撮像装置２０が撮像した配筋画像データを、ネットワーク２を介して取得する。なお、撮像装置２０において外部記録媒体に配筋画像データを格納して、外部記録媒体を用いて記憶部１２に画像データ１２３として格納してもよい。

次に、ステップＳＴ２に移行して制御部１１の画像処理部１１２は、取得した配筋画像データに対して、所定の画像処理を行う。画像処理部１１２は、具体的に例えば、取得した配筋画像データに対して、リサイズ処理、分割処理、色の標準化処理、スケール変換処理、およびフリップ処理などから必要な処理を実行する。なお、ステップＳＴ２を実行せずに、配筋画像データに対する画像処理を実行しないことも可能である。

次に、ステップＳＴ３に移行して制御部１１の交点検出部１１３は、交点識別学習モデル１２１に基づいて、取得した配筋画像データに対して鉄筋構造物３０における縦鉄筋３１と横鉄筋３２との交点３３を抽出する。具体的に、交点検出部１１３は、交点識別学習モデル１２１に基づいて、抽出した交点３３のそれぞれに対して、検出枠３３ａを付与する。交点検出部１１３は、付与した検出枠３３ａに基づいて、それぞれの検出枠３３ａの中心点の座標（ｘ0，ｙ0）（図２参照）を導出して、記憶部１２に交点データ１２５として格納する。

次に、ステップＳＴ４に移行して制御部１１のクラスタリング処理部１１５は、導出された複数の検出枠３３ａの中心点の座標（ｘ0，ｙ0）の座標情報を含む交点データ１２５を記憶部１２から読み出す。クラスタリング処理部１１５は、読み出した交点データ１２５の座標情報に基づいて、例えば凝集型階層的クラスタリング（agglomerative hierarchical clustering）などの階層クラスタリングを用いて、それぞれの交点３３が所属する鉄筋番号（以下、所属鉄筋番号）を判定する。すなわち、まず、縦鉄筋３１の交点３３をｘ軸方向に射影し、横鉄筋３２の交点３３をｙ軸方向に射影する。なお、個々の座標データはそれぞれ、孤立したクラスタを形成している状態である。すなわち、初期状態では個々の座標データの数は、クラスタの数と一致する。次に、例えば単リンク法や最小距離法などによって、ｘ軸方向に沿った交点３３のｘ座標ｘ0どうしの距離を算出して、それらの中の最小値をクラスタ間の距離とする。同様に、ｙ軸方向に沿った交点３３のｙ座標ｙ0についても同様にクラスタ間の距離を算出する。次に、距離の近いクラスタどうしをまとめて新たなクラスタを作成する。以上の処理を繰り返し行うことによって、デンドログラムを取得できる。その後、鉄筋３１，３２の鉄筋径を閾値としてクラスタを分割して部分集合化させる。最終的に分割されたクラスタに含まれる推論結果を、同一の鉄筋３１，３２上の交点であると判定して、それらの交点３３は同一の所属鉄筋番号ｊであると判定する。同一の鉄筋３１，３２の交点３３と判定された検出枠３３ａの座標情報は、所属鉄筋番号ｊに関連付けされて、推論データ１２４として記憶部１２に格納される。

次に、ステップＳＴ５に移行して交点検出部１１３は、同一の所属鉄筋番号ｊに関連付けされた複数の交点３３のそれぞれの中心座標（ｘi，ｙi）（ｉ＝１，２，…，ｎ）に基づいて、例えば、以下の（１）式および（１－１）式に示す最小二乗法などによって鉄筋式ｆ（ｘ）を導出する。なお、個数ｎは、同一の所属鉄筋番号ｊに関連付けされた交点３３の個数ｎである。また、鉄筋式ｆ（ｘ）は、所属鉄筋番号ｊの数だけ導出される。すなわち、鉄筋式ｆ（ｘ）は、継手された鉄筋３１，３２を１本の鉄筋３１，３２とした場合に、少なくとも鉄筋３１，３２の本数分導出される。

ｆ（ｘ）＝ａｘ＋ｂ …（１）

なお、（ｘ0，ｙ0）は、中心座標の平均値である。

次に、ステップＳＴ６に移行して交点検出部１１３は、ステップＳＴ４において判定された同一の所属鉄筋番号ｊの検出枠３３ａの中心座標（ｘji，ｙji）と、ステップＳＴ５において導出された鉄筋３１，３２における、所属鉄筋番号ｊの鉄筋式ｆ_j（ｘ）、および前後の所属鉄筋番号ｊ＋１，ｊ－１のそれぞれの鉄筋式ｆ_j-1（ｘ），ｆ_j+1（ｘ）との比較を行う。図４Ａおよび図４Ｂは、本実施形態による配筋検査方法において、鉄筋式による推論結果の補正を説明するための平面図である。

図４Ａに示すように、交点検出部１１３は、所属鉄筋番号ｊ（図４Ａ中、ラインＬ₁）のｍ番目の検出枠３３ａの中心座標（ｘjm，ｙjm）と鉄筋式ｆ_j（ｘ）との距離ｄ₀ ^j,mを算出する。また、交点検出部１１３は、検出枠３３ａの中心座標（ｘjm，ｙjm）と所属鉄筋番号ｊ－１の鉄筋式ｆ_j-1（ｘ）との距離ｄ_-1 ^j,mを算出する。さらに、交点検出部１１３は、検出枠３３ａの中心座標（ｘjm，ｙjm）と所属鉄筋番号ｊ＋１（図４Ａ中、ラインＬ₂）の鉄筋式ｆ_j+1（ｘ）との距離ｄ₊₁ ^j,mを算出する。なお、図４Ａ中、ラインＬ₂を鉄筋式ｆ_j（ｘ）とした場合、ラインＬ₁が鉄筋式ｆ_j-1（ｘ）となる。

次に、ステップＳＴ７に移行して交点検出部１１３は、ステップＳＴ６において算出した種々の距離に基づいて、検出枠３３ａが正確であるか否か、換言すると交点識別学習モデル１２１に基づいて推論された交点３３の推論結果が正確であるか否かを判定する。交点検出部１１３は、具体的に例えば、以下の（２）式または（３）式が成立するか否かを判定する。交点検出部１１３は、（２）式または（３）式が成立した場合に、交点３３の検出枠３３ａの推論結果は正確ではない（ステップＳＴ７：Ｎｏ）と判定する。交点検出部１１３は、（２）式および（３）式がいずれも成立しなかった場合に、交点３３の検出枠３３ａの推論結果は正確である（ステップＳＴ７：Ｙｅｓ）と判定する。なお、以下の（２）式および（３）式は推論結果の判定式の一例であり、その他の数式や条件を用いてもよい。

交点検出部１１３が、交点識別学習モデル１２１に基づいて推論された検出枠３３ａの推論結果は正確ではないと判定した場合（ステップＳＴ７：Ｎｏ）、ステップＳＴ８に移行する。ステップＳＴ８において交点検出部１１３は、検出枠３３ａの推論結果に対して、所属鉄筋番号ｊの補正を行う。具体的に例えば、交点検出部１１３は、正確ではないと判定された検出枠３３ａの中心座標（ｘjm，ｙjm）において、（２）式および（３）式のいずれが成立するかに基づいて、所属鉄筋番号ｊの補正を行う。すなわち、検出枠３３ａの中心座標（ｘjm，ｙjm）において（２）式が成立した場合、この検出枠３３ａの交点３３の所属鉄筋番号ｊを所属鉄筋番号ｊ－１に補正する。同様に、検出枠３３ａの中心座標（ｘjm，ｙjm）において（３）式が成立した場合、この検出枠３３ａの交点３３の所属鉄筋番号ｊを所属鉄筋番号ｊ＋１に補正する。これにより、図４Ｂに示すように、鉄筋式ｆ（ｘ）と検出枠３３ａとが統合される。なお、鉄筋式ｆ_j-1（ｘ），ｆ_j（ｘ），ｆ_j+1（ｘ）と検出枠３３ａの中心座標（ｘjm，ｙjm）との比較を行うことによって、検出枠３３ａが生成されていない交点３３、すなわち未検出の交点３３を検出することができる。推論された検出枠３３ａの座標情報は、交点データ１２５の一部として記憶部１２に格納される。その後、ステップＳＴ９に移行する。

また、交点検出部１１３が、交点識別学習モデル１２１に基づいて推論された交点３３の推論結果が正確であると判定した場合（ステップＳＴ７：Ｙｅｓ）、ステップＳＴ９に移行する。

ステップＳＴ９に移行すると制御部１１の継手検出部１１４は、クラスタリング処理部１１５によってクラスタリングされた検出枠３３ａのなかから、継手部分の検出枠３３ａを抽出して、継手の位置および継手長を導出する。図５Ａ、図５Ｂ、および図５Ｃはそれぞれ、本実施形態による配筋検査方法において、継手の検出方法を説明するための平面図である。

すなわち、図５Ａに示すように、継手の交点３３には一般の交点には見られない連続する検出枠３３ａが存在する。図５Ａに示す例では、縦鉄筋３１と横鉄筋３２ａとの交点部分に検出枠３３ａａが付与され、縦鉄筋３１と横鉄筋３２ｂとの交点部分に検出枠３３ａｂが付与されている。継手検出部１１４は、交点３３と推論されたそれぞれの検出枠３３ａ（３３ａａ，３３ａｂ）の中心座標（ｘ0，ｙ0）に対して、中心間距離ｄｃを算出する。なお、中心間距離ｄｃの算出は、推論された全ての検出枠３３ａに対して行うことが可能である。次に、継手検出部１１４は、複数の検出枠３３ａの中から、算出した中心間距離ｄｃが所定距離以下、具体的には鉄筋３１，３２の鉄筋径の約２倍以下、すなわち２本程度以下になる少なくとも２つの検出枠３３ａａ，３３ａｂを抽出する。

次に、図５Ｂに示すように、クラスタリング処理部１１５によってクラスタリングされて推論された交点３３の連続する検出枠３３ａａ，３３ａｂに対して、継手検出部１１４は、所属する継手番号（以下、所属継手番号）を判定する。図５Ｂに示す例では、所属継手番号として「１」，「２」が設定されている。推論された検出枠３３ａａ，３３ａｂのそれぞれの座標データは、所属継手番号に関連付けされて、記憶部１２に推論データ１２４として格納される。

次に、図５Ｃに示すように、継手検出部１１４は、同じ所属継手番号に関連付けされた検出枠３３ａａ，３３ａｂに基づいて、継手部分を抽出する。図５Ｃに示す例では、所属継手番号が「１」の領域Ａ₁と所属継手番号が「２」の領域Ａ₂とが、継手部分として抽出される。継手検出部１１４は、具体的に、例えば所属継手番号が「１」の検出枠３３ａの座標のうちから、最大のｘ座標およびｙ座標（例えば、座標（ｘ11，ｙ11））と、最小のｘ座標およびｙ座標（例えば、座標（ｘ12，ｙ12））によって規定された領域Ａ₁を抽出する。継手検出部１１４は、領域Ａ₁を、所属継手番号が「１」の継手部分と推論する。これにより、継手部分の検出誤差を、鉄筋３１，３２どうしの間隔未満にすることが可能になる。

次に、ステップＳＴ１０に移行して交点検出部１１３は、ステップＳＴ２～ＳＴ９によって得られた複数の交点画像データの座標情報を含む交点データ１２５を記憶部１２から読み出して、相互に結合させる。交点検出部１１３は、結合させた座標情報を含む交点データ１２５を記憶部１２に格納する。また、交点検出部１１３は、鉄筋構造物３０における複数の交点３３の座標情報として、出力部１４から出力してもよい。

その後、ステップＳＴ１１に移行して画像処理部１１２は、交点３３の座標情報に基づいて、設計データとしてのＣＩＭ（Construction Information Modeling/Management）モデルに対して誤差量の属性を付与する。図６は、本実施形態による配筋検査装置１０から出力されたＣＩＭモデルの出来形帳票の一例を示す斜視図である。図６に示すように、画像処理部１１２は、交点データ１２５の座標情報とＣＩＭモデルの情報とに基づいて、ＣＩＭモデルにおける鉄筋３１，３２の設計上の配置からの誤差量を算出する。画像処理部１１２は、誤差量の大きさに応じて、鉄筋３１，３２を区別可能にＣＩＭモデルに描画する。図６に示す例では、誤差量が極めて小さい正常値である場合には「細実線」、誤差量が小さい微ずれの場合には「一点鎖線」、誤差量がやや大きいずれの場合には「二点鎖線」、誤差量が極めて大きい異常値である場合には「太線」などとしている。また、例えば、正常値の「細実線」を灰色、微ずれの「一点鎖線」を緑色、ずれの「二点鎖線」を黄色、異常値の「太線」を赤色などにして、誤差量の大きさに応じてＣＩＭモデルにおける鉄筋の色を変更することで、出来形管理することも可能である。これにより、鉄筋３１，３２の出来形帳票によって、鉄筋の配筋検査の結果を作業者が視覚的に認識することが可能になる。

さらに、撮像装置２０が測距センサを備えている場合においては、格子状に配置された鉄筋３１，３２を１つの鉄筋層として複数の鉄筋層が設けられていた場合、画像処理部１１２が出来形帳票を作成する場合においても、深さ方向に沿った複数の鉄筋層を描画可能になる。

従来、配筋検査においては、配筋位置において複数の作業者がスケールを用いて配筋ピッチなどの鉄筋３１，３２の検査項目を１本ずつ測定していた。これに対し、以上説明した一実施形態においては、撮像装置２０が撮像した配筋画像データを取得して、交点識別学習モデル１２１に基づいて交点３３を抽出した検出枠３３ａを配筋画像データに付与して交点画像データを生成し、交点画像データにおける交点３３の座標情報を導出して鉄筋３１，３２の配置情報を確定している。すなわち、一実施形態によれば、作業者が手動で計測を行う必要がなく、撮像装置２０によって撮像した配筋画像データに基づいて、鉄筋３１，３２において交差する交点３３を全体に亘って抽出して座標情報を導出し、交点３３の座標情報に基づいて、鉄筋３１，３２に関する各種の項目を測定可能になるので、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上することが可能となる。また、本発明者が上述した一実施形態による配筋検査装置１０を用いて配筋検査処理を行ったところ、７５％の時間短縮および省人化効果が確認された。

以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いてもよく、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。

例えば、上述した一実施形態においては、記憶部１２に交点識別学習モデル１２１を格納しているが、交点識別学習モデル１２１を、ネットワーク２を介して配筋検査装置１０と通信可能な配筋画像サーバの記憶部に格納しておくことも可能である。この場合、撮像装置２０が撮像した配筋画像データは、ネットワーク２を介して配筋画像サーバに送信されて記憶部に格納される。その後、配筋画像サーバの制御部は、配筋検査装置１０からの要求に対応して、配筋画像データに対して検出枠３３ａを付与して交点画像データを生成して、配筋検査装置１０に送信する。配筋検査装置１０においては、受信した配筋画像データに対して、上述した配筋検査処理を実行することができる。

記憶部１２を、ネットワーク２を介して通信可能な記憶サーバに格納することも可能である。この場合、配筋検査装置１０から記憶サーバへの要求に対応して、配筋画像データや交点画像データ、交点データや推論データを配筋検査装置１０に送信することができる。

配筋検査装置１０の制御部１１における、画像取得部１１１、画像処理部１１２、交点検出部１１３、継手検出部１１４、クラスタリング処理部１１５、および学習部１１６のそれぞれを、互いにネットワーク２を介して通信可能な個別の装置に設けてもよく、必要な処理部を組み合わせて、ネットワーク２を介して別々の装置に設けてもよい。

また、例えば、上述した一実施形態においては、交点識別学習モデル１２１を生成するための機械学習の一例として、ニューラルネットワークを用いたディープラーニング（深層学習）を用いたが、それ以外の方法に基づく機械学習を行ってもよい。例えば、サポートベクターマシン、決定木、単純ベイズ、ｋ近傍法など、他の教師あり学習を用いてもよい。また、教師あり学習に代えて半教師あり学習を用いてもよい。また、クラスタリング処理は、階層クラスタリング以外にも、ｋ－ｍｅａｎｓ法などの公知のクラスタリング処理手法を用いることが可能である。

（記録媒体）
上述の一実施形態において、配筋検査装置１０、または配筋検査装置１０が実行する処理方法を実行させるプログラムを、コンピュータその他の機械やウェアラブルデバイスなどの装置（以下、コンピュータなど、という）が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータなどが移動体制御装置として機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラムなどの情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちのコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ＲＯＭなどがある。さらに、ＳＳＤは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。

また、一実施形態による配筋検査装置１０、および配筋検査装置１０に実行させるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

（その他の実施形態）
一実施形態においては、上述した「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」などの表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１配筋検査システム
２ネットワーク
１０配筋検査装置
１１制御部
１２記憶部
１３入力部
１４出力部
２０撮像装置
２１撮像部
３０鉄筋構造物
３１縦鉄筋
３２，３２ａ，３２ｂ横鉄筋
３３交点
３３ａ，３３ａａ，３３ａｂ検出枠
１１１画像取得部
１１２画像処理部
１１３交点検出部
１１４継手検出部
１１５クラスタリング処理部
１１６学習部
１２１交点識別学習モデル
１２２クラスタリングコード
１２３画像データ
１２４推論データ
１２５交点データ

Claims

複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置であって、
前記制御部は、
前記撮像された配筋画像データを取得して記憶部に記憶させ、
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、
前記識別された複数の交点の座標情報を含む交点データを生成する
情報処理装置。
前記制御部は、
前記記憶部から前記配筋画像データを入力パラメータとして取得して、前記記憶部から読み出した前記配筋画像データを交点識別学習モデルに入力し、
前記配筋画像データに対して前記交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、
出力した前記交点画像データに基づいて、前記交点データを生成し、
前記交点識別学習モデルは、前記配筋画像データを学習用入力パラメータとし、前記配筋画像データに対して前記交点を示す検出枠が付加された交点画像データを学習用出力パラメータとして、機械学習によって生成された学習モデルである
請求項１に記載の情報処理装置。
前記鉄筋構造物は、連続した鉄筋を複数本備え、
前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、
前記制御部は、
前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化する
請求項１または２に記載の情報処理装置。
前記鉄筋構造物は、連続した鉄筋を複数本備え、
前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、
前記制御部は、
前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を抽出して、前記同一の鉄筋番号であると判定した複数の交点に近似する鉄筋式を、前記鉄筋番号ごとに導出し、
前記鉄筋番号ごとに導出した複数の鉄筋式と、前記互いに同一の鉄筋番号であると判定した複数の交点のそれぞれの座標情報とに基づいて、前記互いに同一の鉄筋番号であると判定した複数の交点における該交点ごとに鉄筋番号の正否を判定する
請求項３に記載の情報処理装置。
前記制御部は、
前記交点の鉄筋番号が異なると判定した場合、該交点が判定された鉄筋番号に対して前または後の鉄筋番号の鉄筋式に基づいて、該交点の鉄筋番号を補正する
請求項４に記載の情報処理装置。
前記制御部は、
識別した複数の交点においてそれぞれの交点間の距離を算出し、
前記交点間の距離が所定距離以下の２つの交点を抽出し、
前記２つの交点を前記鉄筋の継手部分の交点であると判定する
請求項１～５のいずれか１項に記載の情報処理装置。
前記鉄筋構造物は、連続した鉄筋を備え、
前記連続した鉄筋は少なくとも２本の鉄筋が長さ方向に沿って固着された継手部分を有し、
前記継手部分に固有の継手番号が、前記継手部分ごとに設定され、
前記制御部は、
複数の前記継手部分の交点の座標情報に基づいてクラスタリングを実行することにより、複数の前記継手部分の交点に対して、互いに同一の継手番号であると判定した複数の交点を抽出して集合化し、
前記継手番号ごとに継手長を導出する
請求項６に記載の情報処理装置。
複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置が実行する情報処理方法であって、
前記撮像された配筋画像データを取得して記憶部に記憶させ、
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、
前記識別された複数の交点の座標情報を含む交点データを生成する
情報処理方法。
複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部に、
前記撮像された配筋画像データを取得して記憶部に記憶させ、
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、
前記識別された複数の交点の座標情報を含む交点データを生成する
ことを実行させるプログラム。