JP2021026697A - 足場資材計数装置及び方法、並びに足場資材管理システム及び方法 - Google Patents

Abstract

【課題】従来技術に比較して足場の資材の個数を正確に自動的に計数する足場資材計数装置及び方法を提供する。【解決手段】建設用足場の資材の個数を計数する資材計数装置であって、入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部と、前記計数処理部を、前記各種類毎の資材の位置が既知の教師用画像データと、前記各種類毎の資材の位置とを用いて前記計数処理部を学習した後、撮影した画像の画像データを前記計数処理部に入力することにより、撮影した画像に含まれる各種類毎の資材の個数を計算する制御部とを備える。【選択図】図３Ａ

Description

本発明は、例えば建設用足場（以下、足場という）を構成する足場資材を計数する資材計数装置及び方法、並びに、足場資材計数装置を備えた足場資材管理システム、足場資材計数方法を用いた足場資材管理方法に関する。

従来、ビル又は住宅等の建設構造物を建設する場合に、建設構造物の周りに足場を組み立てて、当該建設構造物の周囲で作業を行う際に水平方向及び垂直方向で作業員が容易に移動するために、足場を設けることが必要である。足場の組立方法として、本足場、一側足場、二側足場、棚足場などがあるが、昨今の建設業の死亡災害の約４割を占める墜落事故及び転落事故を防止する目的で手摺先行工法（例えば、非特許文献１参照）を厚生労働省が推奨している。

ここで、足場の資材（以下、本明細書では、足場の資材を「足場資材」又は「資材」という）としては、例えば、主として以下の足場資材がある。
（Ａ）支柱：足場の垂直方向の支持を行うための部材である。
（Ｂ）横桟：足場の水平方向の支持を行いかつ作業者の水平方向の移動の際に捕捉するための部材である。
（Ｃ）先行手摺：前記先行手摺工法を用いて、足場の組立時又は解体時において常に手すりがある状態で作業を行うために、先行して予め設けて足場の水平方向の支持を行いかつ作業者の水平方向の移動の際に捕捉するための部材である。

ところで、例えば特許文献１では、足場用ブレス材の良否検査作業を行うために、足場工事で使用したブレス材の再使用に際し、ブレス材の良否を検査した後、所定本数毎に結束するための足場用ブレス材の検査計数装置が開示されている。また、特許文献２では、例えば道路上の車両数など、監視領域内をある一定方向に移動する物体を計数する物体計数装置が開示されている。さらに、特許文献３では、例えば建設工事等の一般的な工事のコストやスケジュールを管理するための施工管理システムが開示されている。

特開２００１−０９０３４６号公報 特開２００７−２５７３１６号公報 特開２０１４−２０９２９２号公報 特開２０１８−２００５３１号公報

厚生労働省，「手摺先行工法に関するガイドライン」，平成１５年４月１日策定。 Joseph Redmon, et al., "YOLOv3:An Incremental Improvement,", Technical report of Computer Vision and Pattern Recognition, arXiv:1804.02767, April 2018. 原田達也，「画像認識」，機械学習プロフェショナルシリーズ（ＭＬＰ），２０１７年５月。

一般的には、前記足場の施工については、足場資材を有する足場の施工業者（当該足場の施工業者が足場のリース業者である場合がほとんどである）に申し込み、所定の足場を組み立てるために必要な資材を設計試算した後、資材を準備して足場の施工を行うことになる。そのときに、準備して出荷すべき資材の個数を人間が計数する一方、施工後戻ってきた資材の個数を人間が計数してチェックをしていた。従って、資材の個数を計数する時間が多大となり、きわめて効率が悪いという課題があった。

特許文献１では、足場工事で使用したブレス材の再使用に際し、ブレス材の良否を検査した後、所定本数毎に結束するための足場用ブレス材の個数を計数する検査計数装置が開示されているが、資材の個数を計数することはできない。

また、特許文献２では、例えば道路上の車両数など、監視領域内をある一定方向に移動する物体を計数する物体計数装置が開示されているが、資材の個数を正確に計数することはできない。

さらに、特許文献３では、例えば建設工事のコストやスケジュールを管理するための施工管理システムが開示されているが、足場の資材の個数を自動的に計数して、当該資材を管理することはできない。

本発明の目的は以上の問題点を解決し、従来技術に比較して足場の資材の個数を正確に自動的に計数する足場資材計数装置及び方法を提供することにある。

また、本発明の別の目的は、前記足場資材計数装置又は方法を用いて、足場の資材の個数を正確に管理することができる足場資材管理システム及び足場資材管理方法を提供することにある。

第１の発明に係る足場資材計数装置は、建設用足場の資材の個数を計数する資材計数装置であって、
入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部と、
前記計数処理部を、前記各種類毎の資材の位置が既知の教師用画像データと、前記各種類毎の資材の位置とを用いて前記計数処理部を学習した後、撮影した画像の画像データを前記計数処理部に入力することにより、撮影した画像に含まれる各種類毎の資材の個数を計算する制御部とを備えたことを特徴とする。

第２の発明に係る資材管理システムは、前記資材計数装置を備えた資材管理システムであって、
前記資材計数装置により、資材を搬出するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムに入力することで、各種類毎の資材の個数を含む資材管理伝票を出力した後、前記資材計数装置により、前記資材を撤去するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムに入力することで、各種類毎の資材の個数を含む資材管理伝票を出力する資材管理制御部とを備えたことを特徴とする。

従って、本発明に係る前記足場資材計数装置等によれば、足場の資材の個数を正確に自動的に計数することができる。また、前記足場資材計数装置等を用いて、足場の資材の個数を正確にかつ効率的に管理することができる。

実施形態１に係る足場資材管理システムの処理フローを示すフローチャートである。 実施形態２に係る足場資材管理システムの処理フローを示すフローチャートである。 実施形態３に係る足場資材計数装置の構成例を示すブロック図である。 図３の資材計数畳み込みニューラルネットワーク（ＭＣＣＮＮ）５の構成例を示すブロック図である。 実施形態３に係る足場資材管理システムの構成例を示すブロック図である。 実施形態４に係る足場資材計数装置及び足場資材管理システムの構成例を示すブロック図である。 実施形態５に係る足場資材計数装置のための支柱の好適撮影方法の第１の手順を示す写真画像である。 図６Ａの支柱の好適撮影方法における支柱の正面図を示す写真画像である。 実施形態５に係る足場資材計数装置のための支柱の好適撮影方法の第２の手順を示す写真画像である。 実施形態５に係る足場資材計数装置のための支柱の好適撮影方法の第３の手順を示す写真画像である。 図８Ａの支柱の正面図を示す写真画像である。 実施形態５に係る支柱の好適画像の画像例１を示す写真画像である。 実施形態５に係る支柱の好適画像の画像例２を示す写真画像である。 実施形態５に係る支柱の非好適画像の画像例１を示す写真画像である。 実施形態５に係る支柱の非好適画像の画像例２を示す写真画像である。 実施形態６に係る足場資材計数装置のための横桟の好適撮影方法の第１の手順を示す写真画像である。 図１１Ａの横桟の正面図を示す写真画像である。 実施形態６に係る足場資材計数装置のための横桟の好適撮影方法の第２の手順を示す写真画像である。 実施形態６に係る足場資材計数装置のための横桟の好適撮影方法の第３の手順を示す写真画像である。 図１３Ａの横桟の正面図を示す写真画像である。 実施形態６に係る支柱の好適画像の画像例を示す写真画像である。 実施形態６に係る支柱の非好適画像の画像例を示す写真画像である。 実施形態７に係る足場資材計数装置のための先行手摺の好適撮影方法の第１の手順を示す写真画像である。 図１５Ａの先行手摺の正面図を示す写真画像である。 実施形態７に係る足場資材計数装置のための先行手摺の好適撮影方法の第２の手順を示す写真画像である。 実施形態７に係る足場資材計数装置のための先行手摺の好適撮影方法の第３の手順を示す写真画像である。 図１７Ａの先行手摺の正面図を示す写真画像である。 実施形態７に係る先行手摺の好適画像の画像例を示す写真画像である。 実施形態７に係る先行手摺の非好適画像の画像例を示す写真画像である。 実施形態５〜７に係る好適画像の画像例１を示す写真画像である。 実施形態５〜７に係る好適画像の画像例２を示す写真画像である。 実施形態５〜７に係る好適画像の画像例３を示す写真画像である。 実施形態５〜７に係る好適画像の画像例４を示す写真画像である。 実施形態５〜７に係る非好適画像の画像例１を示す写真画像である。 実施形態５〜７に係る非好適画像の画像例２を示す写真画像である。 実施形態５〜７に係る非好適画像の画像例３を示す写真画像である。 実施形態５〜７に係る非好適画像の画像例４を示す写真画像である。 実施形態５〜７に係る非好適画像の画像例５を示す写真画像である。 実施形態５〜７に係る非好適画像の画像例６を示す写真画像である。 変形例に係る足場資材計数装置のための好適撮影方法の手順を示す写真画像である。

以下、本発明にかかる実施形態について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。

（実施形態１）
図１は実施形態１に係る足場資材管理システムの処理フローを示すフローチャートである。本実施形態に係る足場資材管理システムは、
（１）施工業者である施工会社の顧客が実行する顧客処理と、
（２）前記施工会社の施工班（複数の施工者からなる）が実行する施工班処理と、
（３）前記施工会社の資材センタ（足場の資材を保管管理して貸し出す）の事務担当者及び当該事務担当者により操作される資材計数装置及び資材管理システムが実行する資材センタ処理とを含む。

本実施形態に係る足場資材管理システムは、特に、ステップＳ２，Ｓ１３，Ｓ１４の貸し出し時の処理と、ステップＳ６，Ｓ１７，Ｓ１８の受け入れ時の処理とを備えたことを特徴とする。

図１において、顧客は施工会社に対して足場の施工の申し込を行い、施工会社の資材センタの事務担当者は当該施工の申し込みを受け付ける（Ｓ１１）。資材センタの事務担当者は所定の施工方法に従って、施工の組立計算書を作成し、資材の数量を決定し（Ｓ１２）当該組立計算書を施工班に渡す。施工班の施工者は、受け取った組立計算書に基づいて、足場の資材を準備し（Ｓ１）、搬出する資材を、例えばデジタルカメラ、スマートホン、タブレット等の撮像装置１（図３Ａ）で写真撮影し（Ｓ２）、写真撮影した写真の画像データを例えばＵＳＢメモリ等のメモリの所定形式で資材センタの事務担当者に渡す。そして、施工班の施工者は、準備した資材をトラックに積載して現地に向けて出発し（Ｓ３）、現地において資材を用いて足場の施工を行う（Ｓ４）。

一方、資材センタの事務担当者は、受け取った画像データを、例えば実施形態３に係る図３Ａの資材計数装置の画像データメモリ２に入力して、例えば実施形態３に係る「資材計数処理」を実行することにより、資材の各種類毎の計数値を計算し、計算結果を含む資材計数結果帳票を、プリンタ１３を用いて印刷する（Ｓ１３）。ここで、足場の資材の種類は例えば、支柱、横桟、先行手摺等を含み、これらの少なくとも１つである。次いで、資材センタの事務担当者は、前記資材計数結果帳票に基づいて資材計数結果の計数値を、例えば実施形態３の図４の資材管理システム２０の操作部２３を用いて当該資材管理システム２０に入力することにより資材管理伝票を、プリンタ２５を用いて印刷する（Ｓ１４）。

次いで、施工された足場での建設構造物が完成して、足場が不要となったときは、顧客は足場の解体の申し込みを資材センタの事務担当者に対して行い、施工会社の資材センタの事務担当者は当該解体の申し込みを受け付ける（Ｓ１５）。資材センタの事務担当者は所定の解体方法に従って、解体の指示書を作成し、資材の数量を確認し（Ｓ１６）、当該指示書を施工班の施工者に渡す。

施工班の施工者は、受け取った解体の指示書に従って、現地において足場を解体し、資材を撤去してトラックに積載して資材センタに向けて出発する（Ｓ５）。そして、施工班の施工者は、資材センタに到着した資材を前記撮像装置１（図３）で写真撮影し（Ｓ６）、写真撮影した写真の画像データを例えばＵＳＢメモリ等のメモリの所定形式で資材センタの事務担当者に渡す。

資材センタの事務担当者は、受け取った画像データを、例えば実施形態３に係る図３Ａの資材計数装置の画像データメモリ２に入力して、例えば実施形態３に係る「資材計数処理」を実行することにより、資材の各種類毎の計数値を計算し、計算結果を含む資材計数結果帳票を、プリンタ１３を用いて印刷する（Ｓ１７）。資材センタの事務担当者は、資材計数結果帳票に基づいて、資材計数結果の計数値を例えば実施形態３の図４の資材管理システム２０の操作部２３を用いて当該資材管理システム２０に入力することにより資材管理伝票を、プリンタ２５を用いて印刷する（Ｓ１８）。最後に、資材センタの事務担当者は、施工開始前の搬出時及び施工後の撤去時の各資材管理伝票を比較することにより手動により、計数値の一致又は相違を含む比較結果を示すチェックリストを作成して（Ｓ１９）当該資材センタ処理を終了する。

以上説明したように、本実施形態によれば、
（１）施工班の施工者は搬出する足場の資材を撮像装置１で写真撮影し（Ｓ２）、写真撮影した写真の画像データを資材センタの事務担当者に渡す。
（２）資材センタの事務担当者は、受け取った画像データを、資材計数装置の画像データメモリ２に入力して「資材計数処理」を実行することにより、資材の各種類毎の計数値を計算し、計算結果を含む資材計数結果帳票を印刷する（Ｓ１３）。次いで、資材センタの事務担当者は、前記資材計数結果帳票に基づいて資材計数結果の計数値を資材管理システム２０に入力することにより資材管理伝票を印刷する（Ｓ１４）。
（３）施工班の施工者は、資材センタに到着した資材を撮像装置１で写真撮影し（Ｓ６）、写真撮影した写真の画像データを資材センタの事務担当者に渡す。
（４）資材センタの事務担当者は、受け取った画像データを資材計数装置の画像データメモリ２に入力して「資材計数処理」を実行することにより、資材の各種類毎の計数値を計算し、計算結果を含む資材計数結果帳票を印刷する（Ｓ１７）。次いで、資材センタの事務担当者は、資材計数結果帳票に基づいて、資材計数結果の計数値を資材管理システム２０に入力することにより資材管理伝票を印刷する（Ｓ１８）。最後に、資材センタの事務担当者は、施工開始前の搬出時及び施工後の撤去時の各資材管理伝票を比較することにより手動により、計数値の一致又は相違を含むチェックリストを作成する（Ｓ１９）。

従って、従来例では、施工班の施工者が資材の排出時及び解体時において資材の種類毎に手動で計数していたが、本実施形態では、資材の排出時及び解体時において資材の種類毎に写真撮影し、その画像データを資材センタの事務担当者が資材計数装置に入力するのみで、資材の排出時及び解体時において資材の種類毎の計数値を自動的に計算できる。また、搬出時及び撤去時の各資材管理伝票を比較することにより計数値の一致又は相違を含むチェックリストを容易に作成できる。

（実施形態２）
図２は実施形態２に係る足場資材管理システムの処理フローを示すフローチャートである。実施形態２に係る足場資材管理システムは、図１の実施形態１に係る足場資材管理システムに比較して以下の点が異なる。
（１）図１のステップＳ１４の処理に代えて、ステップＳ１４の処理を行う。
（２）図１のステップＳ１８，Ｓ１９に代えてそれぞれ、ステップＳ１８Ａ，Ｓ１９Ａの処理を行う。
以下、当該相違点について説明する。

図２の実施形態２において、図４の資材計数装置及び資材管理システム２０を用いる。図４の資材計数装置は、例えばインターネット等のネットワーク１５を介して資材管理システム２０に接続される。ここで、資材管理システム２０は、例えばクラウド装置又はサーバ装置であってもよい。

図２の資材センタ処理において、搬出時の資材計数処理（Ｓ１３）の後、資材計数装置により得られた資材計数結果は自動的に、資材計数装置からネットワーク１５を介して資材管理システム２０に伝送された後入力され、資材の各種類毎の計数値を含む資材管理伝票を、プリンタ２５を用いて印刷する（Ｓ１４Ａ）。

また、解体時の資材計数処理（Ｓ１７）の後、資材計数装置により得られた資材計数結果は自動的に、資材計数装置からネットワーク１５を介して資材管理システム２０に伝送された後入力され、資材の各種類毎の計数値を含む資材管理伝票を、プリンタ２５を用いて印刷する（Ｓ１８Ａ）。さらに、資材管理システム２０は、搬出時及び撤去時の資材計数結果を比較することにより自動的にチェックリストを作成して印刷する（Ｓ１９Ａ）。

従って、従来例では、施工班の施工者が資材の排出時及び解体時において資材の種類毎に手動で計数していたが、本実施形態では、資材の排出時及び解体時において資材の種類毎に写真撮影し、その画像データを資材センタの事務担当者が資材計数装置に入力するのみで、資材の排出時及び解体時において資材の種類毎の計数値を自動的に計算でき、しかも当該計算結果の計数値は資材管理システムに自動的に入力される。これにより、搬出時及び撤去時の各資材管理伝票を比較した、計数値の一致又は相違を含むチェックリストを自動的に作成できる。

（実施形態３）
図３Ａは実施形態３に係る足場資材計数装置の構成例を示すブロック図であり、図３Ｂは図３の資材計数畳み込みニューラルネットワーク（以下、ＭＣＣＮＮ（Ｍａｔｅｒｉａｌ Ｃｏｕｎｔｉｎｇ Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）という。）５の構成例を示すブロック図である。また、図４は実施形態３に係る足場資材管理システムの構成例を示すブロック図である。実施形態３に係る足場資材計数装置及び足場資材管理システムは、実施形態１において使用可能な装置等である。なお、撮像装置１は当該足場資材計数装置に含んでもよいし、外部装置として含まなくてもよい。

図３Ａにおいて、足場資材計数装置は、画像データメモリ２と、教師用画像データメモリ３と、スイッチＳＷ１，ＳＷ２と、前置処理部４と、ＭＣＣＮＮ５と、データメモリ６と、教師用データメモリ７と、後置処理部８と、ディスプレイ１２と、プリンタ１３と、各処理部２〜８及びスイッチＳＷ１，ＳＷ２を制御するコントローラ１０と、コントローラ１０に操作指示及び処理に必要なデータを入力する入力装置を構成する操作部１１とを備えて構成される。ここで、コントローラ１０は例えばＣＰＵ等のデジタル計算機であって制御装置を構成する。

当該足場資材計数装置は、コントローラ１０の制御のもとで、以下の２つの動作モードを有する。
（１）学習モード：教師用画像データメモリ３に格納された教師用画像データと、教師用データメモリ７に格納された教師用データとを用いて、ＭＣＣＮＮ５を学習させるための動作モードである。このとき、スイッチＳＷ１，ＳＷ２はコントローラ１０によりそれぞれ接点ａ側に切り替えられる。
（２）学習済みＭＣＣＮＮ５を用いて、画像データメモリ２に格納された実際の資材の画像データに基づいて当該画像データの画像に含まれる資材の個数を計数する動作モードである。このとき、スイッチＳＷ１，ＳＷ２はコントローラ１０によりそれぞれ接点ｂ側に切り替えられる。

撮像装置１は、例えばデジタルカメラ、スマートホン、タブレット等の画像を撮影する装置であって、複数の資材の画像を撮影して画像データ（例えば、ＪＰＥＧ等の形式を有する）を内蔵メモリに格納する。当該画像データは、所定のカードメモリ等を介して、画像データメモリ２に格納される。

教師用画像データメモリ３には、資材の位置（すなわち個数）が既知である教師用画像の複数の画像データが格納される一方、教師用データメモリ７には前記複数の画像データに対応する教師用データが格納される。ここで、教師用データは、ＭＣＣＮＮ５の出力層３００（図３Ｂ）の出力データの項目に対応するデータ（以下、出力層データという。）であって、例えば、以下の項目を有する。
（１）３種類の境界ボックス（以下、ＢＢという。）の中心のｘ座標及びｙ座標；
（２）各ＢＢの幅及び高さ；
（３）検出対象の資材であるか否か（二値）；
（４）資材の分類結果（クラスタリングの結果であって、クラス（資材の種類を示す））。

本実施形態において、資材の種類は、例えば支柱、横桟、先行手摺である。なお、各ＢＢは基準となる幅及び高さのサイズと、各方向のサイズをそれぞれ二倍にしたデータも合わせて３種類分のデータを出力してもよい。ここで、資材の走査対象領域を区切ってＢＢを描くが、各ＢＢに対して走査対象分だけ出力してもよい。なお、前記では、各方向のサイズをそれぞれ二倍にしたデータも合わせて３種類分のデータを出力しているが、本発明はこれに限らず、各方向のサイズをそれぞれ増大させるように変化させたデータも合わせて複数種類分のデータを出力してもよい。

学習モード時には、教師用画像データメモリ３からの画像データがスイッチＳＷ１の接点ａ側を介して前置処理部４に入力される。また、計数モード時には、画像データメモリ２からの画像データが前置処理部４に入力される。前置処理部４は、入力される画像データを所定の形式（例えば、ＲＧＢ３色の各画素値（値域［０，２５５］））の画像データに変換し、かつ各画素値を値域［０，１］で正規化した変換画像データを生成してＭＣＣＮＮ５の入力層１００（図３Ｂ）に出力する。

学習モード時には、教師用データメモリ７から教師用データがスイッチＳＷ２の接点ａ側を介してＭＣＣＮＮ５の出力層３００に入力される。計数モード時には、ＭＣＣＮＮ５の出力層３００からの出力層データがスイッチＳＷ２の接点ｂ側を介してデータメモリ６に一時的に格納された後、後置処理部８に入力される。後置処理部８は入力される出力層データに基づいて、例えば各クラス別の個数（種類毎の個数）を計数し、入力された出力層データとともにプリンタ１３でその処理結果をプリントし、もしくは、ディスプレイ１２に出力して表示する。ここで、処理結果は、実施形態１又は２に係る資材管理伝票等の形式であってもよい。

本実施形態では、ＭＣＣＮＮ５と後置処理部８により、資材の個数を計数する「計数処理部」を構成しているが、本発明はこれに限らず、出力層データの項目に計数値を含め、すなわち後置処理部８の機能をＭＣＣＮＮ５に含めるように構成してもよい。

図３Ｂにおいて、ＭＣＣＮＮ５は、例えば物体認識アルゴリズムＹＯＬＯｖ３−ｔｉｎｙ（例えば非特許文献２及び３参照）を用いて構成されたニューラルネットワークである。ニューラルネットワークでは、アフィン変換と活性化関数を持ったニューロンからなる数理モデルであって、複数個のニューロンが集まり、層をなし、層が集まりネットワークを構成する。なお、単純なニューロンをパーセプトロンといい、層毎に全結合させたモデルを多層パーセプトロンという。本実施形態では、層毎の結合をスパース（疎の状態）にしたモデルである畳み込みニューラルネットワークを用いる。

本実施形態において、出力層データの具体的な項目はＮ×Ｎ×３×（４＋１＋３）個の項目を含み、各数字は、以下の項目を示す。
（１）Ｎ×Ｎ：入力画像をＮ＊Ｎに分割するため。
（２）３：３種類のＢＢがあるため。
（３）４：各ＢＢの中心の（ｘ，ｙ）座標と幅、高さを表すため。
（４）１：検出対象の資材であるか否かを示す確率を表すため。
（５）３：オブジェクト（資材）のクラス数（種類数）を表すため。本実施形態では、資材の種類は、上述のように、支柱、横桟、先行手摺の三種類である。

中間層２００は、図３Ｂに示すように、入力層１００と出力層３００との間に挿入され、以下の表１で示す各層２０１〜２２０を備えて構成される。

ＭＣＣＮＮ５の学習時においては、ＢＢと資材（物体）との関係について学習し、具体的には、ＢＢの矩形領域の位置及びサイズ、クラスについて学習する。ここで、Ｎ＊Ｎに領域を区切り、３種類のサイズのＢＢで走査し、走査の際はＢＢの位置とサイズについて教師データと重複するように学習し、ＢＢ内の検出対象資材の領域のサイズをもとにして検出対象確率を算出し、学習済みのＢＢ内で検出された資材のクラスを学習する。

図４において、資材管理システム２０は、実施形態１で用いるものであって、コントローラ２１及びデータメモリ２２を内蔵する。資材管理システム２０には、指示データ及び必要なデータを入力する入力装置を構成する操作部２３と、実施形態１又は２に係る資材管理伝票、資材計数結果帳票、チェックリスト等を表示するディスプレイ２４と、これらのデータをプリントするプリンタ２５とを備える。ここで、コントローラ２１は例えばＣＰＵ等のデジタル計算機であって制御装置を構成する。従って、資材管理システム２０によれば、資材計数装置からのデータの入力に応答して、資材管理伝票、資材計数結果帳票、チェックリスト等を表示し又はプリントすることができる。

次いで、計数精度を向上するための撮影データに関する前処理の具体例について以下に説明する。

前述のようにニューラルネットワークの精度向上は、学習の精度向上に等しい。そこで、学習の精度が上がるように、データセットに対して次の処理を行った。
（１）写真の撮影角の固定；
（２）拡大鏡による対象領域の正確な描画。

まず、写真の撮影角の固定について以下に説明する。

データセットを作成するための写真を撮影する際の角度を一定に固定した。なお、この角度は、システム全体に適用する。つまり、実行時にも適用する。一般物体認識システムでは、システムに対して、どのような物体が、どのような角度で入力されるか想定することができないことが一般的である。そのため、多角的に撮影した様々な物体の画像を用いて識別器の学習を行う。この学習法によって、識別器の汎化性能をあげることができる。一方で、汎化性能は単体の物体に対する識別精度とのトレードオフとも言える。提案システムでは、認識する物体は１種類であり、汎化性能は求められていない。加えて、システムに対する入力も任意に設定することができる。そこで、システム運用時とデータセット作成時のカメラと物体の角度を一定に固定した。撮影角の固定化によって、システムに対して、認識したい物体が常に同じ様に映るようにし、物体認識の精度を最大限高めることを目指した。

次いで、拡大鏡による対象領域の正確な描画について以下に説明する。

データセットの作成のために、注目領域を拡大して対象とする物体を正確に描画し、位置とサイズを取得できるようにした。画像認識を行うニューラルネットワークの学習に用いるデータセットは、入力画像と出力結果の組み合わせである。つまり、学習精度の向上には、学習させたい物体の正確な画像と正確な出力結果の組み合わせが求められる。ＹＯＬＯ ｖ３の学習用データセットも他の画像認識ＮＮと同様で、入力画像と出力結果の組み合わせである。ここで、本システムにおける出力結果とは、物体の分類だけでなく画像内の物体の位置や、物体のサイズも含まれる。

本実施形態に係るシステムでは、画像内に１００個に及ぶ認識対象物体が含まれることがあるため、その一つ一つの物体に対して、位置やサイズを目視して取得することは難しい。これに対して、画像内の矩形領域を描画し、その領域の位置とサイズを自動的に取得するプログラムを作成した。しかし、物体同士が密集しているため、矩形領域を描画する際に、隣り合う物体に対して描いた矩形領域と重なってしまう。そこで、画像内における正確な物体の位置とサイズを獲得するために、注目領域を拡大することにした。

さらに、学習時の実施例及び実行時の実施例について以下に説明する。

学習時の実施例では、３０枚の画像の画像データある１２８５個の認識対象を学習させた。今回の認識対象は「支柱」とした。学習に用いたデータセットの内訳を表２に示す。また、教師用データとして、物体のクラス、ｘ座標の中心値、ｙ座標の中心値、ＢＢの幅、ＢＢの高さを与えた。教師データの例を表３に示す。エポック数は１００、０００回とした。

実行時の実施例では、実行には学習には用いていないデータ１０枚を用いて行った。その実行結果を下記の表４に示す。

表４から明らかなように、画像番号３１、３３、３５、３７、３９、４０に関しては正答率が１００％であった。一方で、画像番号３２、３４、３６、３８に関しては誤差が見られた。しかし、これらの画像は資材に対して斜めに撮影しており、想定していない角度だったため、精度が落ちたと考えられる。

以上説明したように、本実施形態に係るＭＣＣＮＮ５を用いた資材計数装置を用いて、撮影した画像から資材の各種類毎の個数を計数することができる。また、図４の資材管理システム２０によれば、資材計数装置からのデータの入力に応答して、資材管理伝票、資材計数結果帳票、チェックリスト等を表示し又はプリントすることができる。

（実施形態４）
図５は実施形態４に係る足場資材計数装置及び足場資材管理システムの構成例を示すブロック図である。実施形態４に係る足場資材計数装置及び足場資材管理システムは、図３Ａの足場資材計数装置及び足場資材管理システムに比較して以下の相違点を有する。
（１）後置処理部８の後段において、ディスプレイ１２及びプリンタ１３を備えず、これに代えて、後置処理部８は通信装置９、ネットワーク１５及び通信装置２６を介して資材管理システム２０に接続される。なお、資材管理システム２０は、図３Ａと同様に、操作部２３、ディスプレイ２４及びプリンタ２５を備える。
以下の前記相違点について説明する。

図５において、ネットワーク１５は例えばＩＰネットワークであって、通信装置９及び２６により、後置処理部９と資材管理システム２０とが回線接続される。ここで、通信装置９はコントローラ１０により制御され、通信装置２６は資材管理システム２０のコントローラ２１により制御される。

図３Ａの実施形態３では、後置処理部８の出力結果のデータを、資材管理システム２０の操作部２３を用いて手動で入力していたが、図５の実施形態４では、後置処理部８の出力結果のデータは、通信装置９、ネットワーク１５及び通信装置２６を介して資材管理システム２０に自動的に送信できる。従って、後置処理部８の出力結果のデータを、資材管理システム２０の操作部２３を用いて手動で入力することは不要であり、従来例に比較して作業を効率化できる。

（実施形態５〜７）
以下の実施形態５〜７においては、資材計数装置のための資材撮影時の好ましい撮影方法について以下に説明する。

実施形態５〜７においては、それぞれ支柱、横桟、先行手摺の３種類の資材の好ましい撮影方法について述べる。
（１）支柱は支柱底部正面と底部斜め、横桟又は先行手摺はコの字の正面両側を撮影することが好ましい。
（２）写真は出来るだけ解像度を高く設定して撮影することが好ましい。
（３）デジタルカメラを用いて撮影するときは、昼夜問わずフラッシュをオンにして撮影することが好ましい。
（４）撮影時刻は、朝、昼、晩、そして天候も晴れ、曇り、雨と多岐に渡るほど有効であって好ましい。

以下、実施形態５〜７において具体的な好適撮影方法及び非好適撮影方法について説明する。

（実施形態５）
図６Ａは実施形態５に係る足場資材計数装置のための支柱の好適撮影方法の第１の手順を示す写真画像であり、図６Ｂは図６Ａの支柱の好適撮影方法における支柱の正面図を示す写真画像である。図６Ａに示すように、資材の中心に撮像装置１を近づける。ここで撮像装置１の高さを設定する。

図７は実施形態５に係る足場資材計数装置のための支柱の好適撮影方法の第２の手順を示す写真画像である。次いで、図７に示すように、撮像装置１の位置を固定したまま後退することが好ましい。

図８Ａは実施形態５に係る足場資材計数装置のための支柱の好適撮影方法の第３の手順を示す写真画像であり、図８Ｂは図８Ａの支柱の正面図を示す写真画像である。図８Ａに示すように、資材全体（特に、支柱の端面）がファインダー（デジタルカメラにあっては、表示部をいい、以下同様である。）に写り込む位置でピントを合わせ撮影し、資材の写真占有比は出来るだけ大きく（例えば７０％以上）で撮影することが好ましい。

図９Ａは実施形態５に係る支柱の好適画像の画像例１を示す写真画像である。図９Ａに示すように、支柱のプレートが数えられる角度で撮影し、かつ支柱の底部の口径(端面の口径という意味であり、以下同様である）が隠れず全て撮影され、出来るだけ口径が円形に近い形で撮影することが好ましい。ここで、支柱の斜め撮影は左右どちらからでもＯＫである。ここで、撮影する計数用画像及び教師用画像は、計数すべきすべての支柱の端面を含むように、各支柱の長手方向又は当該長手方向から傾斜された方向であって、当該長手方向又は傾斜された方向で延在する位置から撮影された画像であることが好ましい。なお、複数の支柱がその載置面（載置台又は地面等）に対して、例えば実質的に平行になるように並置されて撮影されるときは、撮影すべき端面は前記支柱の両端面（言い換えれば、支柱の長手方向が垂直となるように支柱が載置されるときの上端面、下端面をいう）のいずれかの端面である。

図９Ｂは実施形態５に係る支柱の好適画像の画像例２を示す写真画像である。図９Ｂに示すように、支柱塊の中央部の口径又はプレートが識別できる明るさで撮影することが好ましい。

図１０Ａは実施形態５に係る支柱の非好適画像の画像例１を示す写真画像である。図１０Ａに示すように、支柱のプレートが重なり数えられない、また支柱の底部の口径が撮影角度により、もしくは資材の凹凸により隠れている。口径は出来るだけ楕円ではなく円形に近い方が望ましい。

図１０Ｂは実施形態５に係る支柱の非好適画像の画像例２を示す写真画像である。図１０Ｂに示すように、資材塊の中央部が暗い。すなわち、支柱の口径又はプレートが識別できる明るさで撮影することが好ましい。

（実施形態６）
図１１Ａは実施形態６に係る足場資材計数装置のための横桟の好適撮影方法の第１の手順を示す写真画像であり、図１１Ｂは図１１Ａの横桟の正面図を示す写真画像である。図１１Ａに示すように、資材の中心に撮像装置１を近づける。ここで、撮像装置１の高さを設定する。

図１２は実施形態６に係る足場資材計数装置のための横桟の好適撮影方法の第２の手順を示す写真画像である。図１２に示すように、撮像装置１の位置を固定したまま後退することが好ましい。

図１３Ａは実施形態６に係る足場資材計数装置のための横桟の好適撮影方法の第３の手順を示す写真画像であり、図１３Ｂは図１３Ａの横桟の正面図を示す写真画像である。図１３Ａに示すように、資材全体（特に、横桟の端面）がファインダーに写り込む位置でピントを合わせ撮影し、資材の写真占有比は出来るだけ大きく（７０％以上）撮影することが好ましい。ここで、撮影する計数用画像及び教師用画像は、計数すべきすべての横桟の端面を含むように、各横桟の長手方向又は当該長手方向から傾斜された方向であって、当該長手方向又は傾斜された方向で延在する位置から撮影された画像であることが好ましい。なお、複数の横桟がその載置面（載置台又は地面等）に対して例えば、実質的に平行になるように並置されて撮影されるときは、撮影すべき端面は前記横桟の両端面（言い換えれば、横桟の長手方向が垂直方向となるように横桟が載置されるときの上端面、下端面をいう）のいずれかの端面である。

図１４Ａは実施形態６に係る支柱の好適画像の画像例を示す写真画像である。図１４Ａに示すように、全体的に明るく解像度も高く撮影しているため、拡大すれば奥のコの字まで識別できる。

図１４Ｂは実施形態６に係る支柱の非好適画像の画像例を示す写真画像である。図１４Ｂに示すように、横桟塊の中央部が暗くコの字が識別し難い、照度が足りない。

（実施形態７）
図１５Ａは実施形態７に係る足場資材計数装置のための先行手摺の好適撮影方法の第１の手順を示す写真画像であり、図１５Ｂは図１５Ａの先行手摺の正面図を示す写真画像である。図１５Ａに示すように、資材の中心に撮像装置１を近づける。ここで、撮像装置１の高さを設定する。

図１６は実施形態７に係る足場資材計数装置のための先行手摺の好適撮影方法の第２の手順を示す写真画像である。図１６に示すように、撮像装置１の位置を固定したまま後退することが好ましい。

図１７Ａは実施形態７に係る足場資材計数装置のための先行手摺の好適撮影方法の第３の手順を示す写真画像であり、図１７Ｂは図１７Ａの先行手摺の正面図を示す写真画像である。図１７Ａに示すように、資材全体（特に、先行手摺の端面）がファインダーに写り込む位置でピントを合わせ撮影し、資材の写真占有比は出来るだけ大きく（７０％以上）撮影することが好ましい。ここで、撮影する計数用画像及び教師用画像は、計数すべきすべての先行手摺の端面（先行手摺を構成する斜材の緊結部（接合部又は固定部ともいう））を含むように、各先行手摺の長手方向又は当該長手方向から傾斜された方向であって、当該長手方向又は傾斜された方向で延在する位置から撮影された画像であることが好ましい。なお、複数の先行手摺がその載置面（載置台又は地面等）に対して例えば、実質的に平行になるように並置されて撮影されるときは、撮影すべき端面は先行手摺の両端面（言い換えれば、先行手摺の長手方向が垂直方向となるように先行手摺が載置されるときの上端面、下端面をいう）のいずれかの端面である。

図１８Ａは実施形態７に係る先行手摺の好適画像の画像例を示す写真画像である。図１８Ａに示すように、全体的に明るく解像度も高く撮影しており、拡大すれば奥のコの字まで識別できる。

図１８Ｂは実施形態７に係る先行手摺の非好適画像の画像例を示す写真画像である。図１８Ｂに示すように、先行手摺塊の中央部が暗くコの字が識別し難い、照度が足りない。

さらに、実施形態５〜７に係る好適画像及び非好適画像について以下に説明する。

図１９Ａは実施形態５〜７に係る好適画像の画像例１を示す写真画像である。図１９Ａに示すように、拡大しても細部までしっかり見ることができる。

図１９Ｂは実施形態５〜７に係る好適画像の画像例２を示す写真画像である。図１９Ｂに示すように、斜めからでもはっきりと支柱底部口径が見え、プレート数も明確になり好適である。

図１９Ｃは実施形態５〜７に係る好適画像の画像例３を示す写真画像である。図１９Ｃに示すように、資材は綺麗に並んでいないが、画像が明るいため、拡大すると奥の方まで確認することができる。

図１９Ｄは実施形態５〜７に係る好適画像の画像例４を示す写真画像である。図１９Ｄに示すように、資材がきれいに並べられており、分かりやすくかつ凹凸が少なくコの字の識別が容易にできる。

図２０Ａは実施形態５〜７に係る非好適画像の画像例１を示す写真画像である。図２０Ａに示すように、資材の載置角度が付き過ぎ（高低差で）ており、支柱の底部の口径が隠れている。

図２０Ｂは実施形態５〜７に係る非好適画像の画像例２を示す写真画像である。図２０Ｂに示すように、撮影した画像の解像度が低いため、拡大した時の画質が荒く、資材における奥のコの字の識別がし難い。

図２０Ｃは実施形態５〜７に係る非好適画像の画像例３を示す写真画像である。図２０Ｃに示すように、撮影画像が逆光であって暗いため、資材を識別することが難しい。

図２０Ｄは実施形態５〜７に係る非好適画像の画像例４を示す写真画像である。図２０Ｄに示すように、撮影画像が手ぶれしており、資材を確認できない。

図２０Ｅは実施形態５〜７に係る非好適画像の画像例５を示す写真画像である。図２０Ｅに示すように、照度が足りない（暗い）ため、影などで隠れている資材の部分が識別不能である。

図２０Ｆは実施形態５〜７に係る非好適画像の画像例６を示す写真画像である。図２０Ｆに示すように、資材の長さが確認できるため、好適な写真に見えるが、資材の識別に必要な支柱の底部の口径が一部隠れている。

（変形例）
図２１は変形例に係る足場資材計数装置のための好適撮影方法の手順を示す写真画像である。図２１に示すように、撮影にあたり同じ資材でも、撮像装置１の撮影位置を上下に高さを変えることで、別の画像データとして扱われ、資材の個数を計数するために同一資材に対しての撮影枚数を増やすことができる。これにより、計数精度を増大できる。

以上詳述したように、本発明に係る前記足場資材計数装置又は方法によれば、足場の資材の個数を正確に自動的に計数することができる。また、前記足場資材計数装置又は方法を用いて、足場の資材の個数を正確にかつ効率的に管理することができる。

１ 撮像装置
２ 画像データメモリ
３ 教師用画像データメモリ
４ 前置処理部
５ 資材計数畳み込みニューラルネットワーク（ＭＣＣＮＮ）
６ データメモリ
７ 教師用データメモリ
８ 後置処理部
９，２６ 通信装置
１０ コントローラ
１１ 操作部
１２ ディスプレイ
１３ プリンタ
２０ 資材管理システム
２１ コントローラ
２２ データメモリ
２３ 操作部
２４ ディスプレイ
２５ プリンタ
１００ 入力層
２００ 中間層
２０１，２０３，２０５，２０７，２０９，２１１，２１３〜２１７，２１９，２２０ 畳み込み層
２０２，２０４，２０６，２０８，２１０，２１２ 最大プーリング層
２１８ アップサンプリング層
３００ 出力層
ＳＷ１，ＳＷ２ スイッチ

Claims (16)

1. 建設用足場の資材の個数を計数する資材計数装置であって、
   入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部と、
   前記計数処理部を、前記各種類毎の資材の位置が既知の教師用画像データと、前記各種類毎の資材の位置とを用いて前記計数処理部を学習した後、撮影した画像の画像データを前記計数処理部に入力することにより、撮影した画像に含まれる各種類毎の資材の個数を計算する制御部とを備えたことを特徴とする資材計数装置。
2. 前記計数処理部は、
   入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力する畳み込みネットワークと、
   前記撮影した画像に含まれる各種類毎の資材の個数を計数する後置処理部と
   を備えたことを特徴とする請求項１記載の資材計数装置。
3. 前記計数処理部は、
   （１）前記各境界ボックスの中心座標と、
   （２）前記各境界ボックスの幅及び高さと、
   （３）前記各境界ボックスの画像が検出対象の資材の種類であるか否かと、
   （４）前記各境界ボックスの画像が検出対象の資材の種類と
   を出力することを特徴とする請求項１又は２記載の資材計数装置。
4. 前記教師用画像データは、前記前記各境界ボックスの幅及び高さのサイズを増大するように変化させて、同一の画像データに対して複数種類の画像データを含むことを特徴とする請求項１〜３のうちのいずれか１つに記載の資材計数装置。
5. 前記教師用画像データは、複数の資材を撮影するときに、互いに異なる複数の角度で撮影してなる画像データを含むことを特徴とする請求項１〜４のうちのいずれか１つに記載の資材計数装置。
6. 前記入力される画像データの画像及び前記教師用画像データの画像は、前記各資材の端面を含むように、前記各資材の長手方向から又は当該長手方向から傾斜された方向から撮影された画像であることを特徴とする請求項１〜５のうちのいずれか１つに記載の資材計数装置。
7. 前記建設用足場の資材は、支柱、横桟、及び先行手摺のうちの少なくとも１つを含むことを特徴とする請求項１〜６のうちのいずれか１つに記載の資材計数装置。
8. 建設用足場の資材の個数を計数する資材計数方法であって、
   計数処理部が、入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数するステップと、
   制御部が、前記計数処理部を、前記各種類毎の資材の個数が既知の教師用画像データと、前記各種類毎の資材の個数とを用いて前記計数処理部を学習した後、撮影した画像の画像データを前記計数処理部に入力することにより、撮影した画像に含まれる各種類毎の資材の個数を計算するステップとを含むことを特徴とする資材計数方法。
9. 前記計数処理部は、
   入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力する畳み込みネットワークと、
   前記撮影した画像に含まれる各種類毎の資材の個数を計数する後置処理部と
   を備えたことを特徴とする請求項８記載の資材計数方法。
10. 前記入力される画像データの画像及び前記教師用画像データの画像は、前記各資材の端面を含むように、前記各資材の長手方向から又は当該長手方向から傾斜された方向から撮影された画像であることを特徴とする請求項８又は９記載の資材計数方法。
11. 請求項１〜７のうちのいずれか１つに記載の資材計数装置を備えた資材管理システムであって、
    前記資材計数装置により、資材を搬出するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムに入力することで、各種類毎の資材の個数を含む資材管理伝票を出力した後、前記資材計数装置により、前記資材を撤去するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムに入力することで、各種類毎の資材の個数を含む資材管理伝票を出力する資材管理制御部とを備えたことを特徴とする資材管理システム。
12. 前記資材計数装置と前記資材管理制御部とは、通信回線を介して接続され、
    前記資材管理制御部は、
    前記資材計数装置から、計算した各種類毎の資材の個数を受信して前記資材管理システムに受信して自動的に入力し、
    前記資材を搬出するときの各種類毎の資材の個数と、前記資材を撤去するときの各種類毎の資材の個数とを比較して、比較結果を示すチェックリストを生成することを特徴とする請求項１１に記載の資材管理システム。
13. 請求項１〜７のうちのいずれか１つに記載の資材計数装置を備えた資材管理システムのための資材管理方法であって、
    前記資材計数装置により、資材を搬出するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムの資材管理制御部に入力することで、前記資材管理制御部が各種類毎の資材の個数を含む資材管理伝票を出力した後、前記資材計数装置により、前記資材を撤去するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムの資材管理制御部に入力することで、前記資材管理制御部が各種類毎の資材の個数を含む資材管理伝票を出力するステップを含むことを特徴とする資材管理方法。
14. 前記資材計数装置と前記資材管理制御部とは、通信回線を介して接続され、
    前記資材管理方法は、
    前記資材計数装置から、計算した各種類毎の資材の個数を受信して前記資材管理システムに受信して自動的に入力するステップと、
    前記資材を搬出するときの各種類毎の資材の個数と、前記資材を撤去するときの各種類毎の資材の個数とを比較して、比較結果を示すチェックリストを生成するステップとをさらに含むことを特徴とする請求項１３に記載の資材管理システム。
15. 資材計数装置により、資材を搬出するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムに入力することで、各種類毎の資材の個数を含む資材管理伝票を出力した後、前記資材計数装置により、前記資材を撤去するときに撮影した画像に含まれる各種類毎の資材の個数を計算し、計算した各種類毎の資材の個数を資材管理システムに入力することで、各種類毎の資材の個数を含む資材管理伝票を出力するステップを含むことを特徴とする資材管理方法。
16. 前記資材管理方法は、
    前記資材計数装置から、計算した各種類毎の資材の個数を受信して前記資材管理システムに受信して自動的に入力するステップと、
    前記資材を搬出するときの各種類毎の資材の個数と、前記資材を撤去するときの各種類毎の資材の個数とを比較して、比較結果を示すチェックリストを生成するステップとをさらに含むことを特徴とする請求項１５に記載の資材管理方法。