JP2022164949A - 配筋検査装置、配筋検査方法およびプログラム - Google Patents

Abstract

【課題】定規またはマーカを検査領域に設置することなく、配筋検査を行うことができる配筋検査装置、配筋検査方法およびプログラムを提供する。【解決手段】配筋検査装置１は、鉄筋が配筋された複数の平面を含む構造体の三次元画像データを取得する三次元情報取得部１１と、三次元画像データを用いて、複数の平面のうち、検査対象の平面を特定する平面特定部１２と、ステレオカメラ２により撮影された検査対象の平面を含む構造体の三次元画像データを、ステレオカメラ２と検査対象の平面との距離が一定で、かつステレオカメラ２に検査対象の平面が正対した正対化画像に変換する画像変換部１３と、正対化画像から検査対象の平面における鉄筋の位置を検出する位置検出部１４と、鉄筋の位置に基づいて、正対化画像から鉄筋の画像を抽出する画像抽出部１５と、抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論する推論部１６とを備える。【選択図】図１

Description

本開示は、配筋検査装置、配筋検査方法およびプログラムに関する。

鉄筋コンクリート構造物の施工においては、鉄筋を組み上げる配筋を行った後に、鉄筋が設計通り配筋されているかを検査する配筋検査が行われる。例えば、特許文献１には、配筋状態を撮影した画像を認識して解析を行うことにより、配筋の出来形を管理する配筋出来形管理システムが記載されている。特許文献１に記載される配筋出来形管理システムは、鉄筋の長さおよび太さの基準となる基準データを付与して撮影範囲を設定し、設定した撮影範囲で配筋状態を撮影した撮影データから配筋状態を認識する。

特開２０２０－２７０５８号公報

鉄筋が配筋された検査領域の撮影画像における鉄筋の大きさは、カメラと検査領域との距離に応じて異なる。つまり、撮像画像においてカメラと検査領域との距離が遠い部分には、鉄筋は小さく写り、カメラと検査領域との距離が近ければ、撮影画像における鉄筋は大きく写る。このため、撮影画像における鉄筋の大きさをそのまま用いると、実際の鉄筋の大きさを正確に算出することができない。そこで、従来、検査領域とともに撮影された定規またはマーカを基準として、カメラと検査領域との距離に応じた鉄筋の大きさの違いを補正していた。
特許文献１に記載される従来の技術においても、配筋検査を行う度に、鉄筋の長さおよび太さの基準となる基準データとして、撮影対象の鉄筋を含む位置に定規またはマーカを設置する必要がある。

本開示は上記課題を解決するものであり、定規またはマーカを検査領域に設置することなく、配筋検査を行うことができる配筋検査装置、配筋検査方法およびプログラムを得ることを目的とする。

本開示に係る配筋検査装置は、鉄筋が配筋された複数の平面を含む構造体の三次元データを取得する三次元情報取得部と、三次元データを用いて、構造体における複数の平面のうち、検査対象の平面を特定する平面特定部と、撮影部により撮影された検査対象の平面を含む構造体の撮影画像を、撮影部と検査対象の平面との距離が一定で、かつ撮影部に検査対象の平面が正対した正対化画像に変換する画像変換部と、正対化画像から検査対象の平面における鉄筋の位置を検出する位置検出部と、検査対象の平面における鉄筋の位置に基づいて、正対化画像から鉄筋の画像を抽出する画像抽出部と、正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論する推論部とを備える。

本開示によれば、鉄筋が配筋された複数の平面を含む構造体の三次元データを用いて、構造体における複数の平面のうち、検査対象の平面が特定され、撮影部により撮影された検査対象の平面を含む構造体の撮影画像が、撮影部と検査対象の平面との距離が一定で、かつ撮影部に検査対象の平面が正対した正対化画像に変換される。検出された検査対象の平面における鉄筋の位置に基づいて、正対化画像から鉄筋の画像が抽出され、正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報が推論される。
検査対象の平面を含む構造体の撮影画像を正対化画像に変換することにより、本開示に係る配筋検査装置は、定規またはマーカを検査領域に設置することなく、配筋検査を行うことができる。

実施の形態１に係る配筋検査装置の構成を示すブロック図である。 実施の形態１に係る配筋検査方法を示すフローチャートである。 三次元データの概要を示す説明図である。 図４Ａ、図４Ｂおよび図４Ｃは、各層の平面を示す関数と、アウトライヤおよびインライヤとの関係を示すグラフである。 撮影画像を正対化画像に変換する処理を示す説明図である。 正対化画像における鉄筋の位置を検出する処理を示す説明図である。 図７Ａ、図７Ｂおよび図７Ｃは、マスク画像における鉄筋部分に対応する線分を特定する処理を示す説明図である。 正対化画像から鉄筋の部分画像を抽出する処理を示す説明図である。 鉄筋の部分画像を学習モデルに入力して鉄筋の径を推論する処理を示す説明図である。 図１０Ａは、実施の形態１に係る配筋検査装置の機能を実現するハードウェア構成を示すブロック図であり、図１０Ｂは、実施の形態１に係る配筋検査装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

実施の形態１．
図１は、実施の形態１に係る配筋検査装置１の構成を示すブロック図である。配筋検査装置１は、ステレオカメラ２によって、鉄筋が配筋された複数の平面を含む構造体、すなわち、骨格として鉄筋が配筋された建築または土木の構造体を撮影した画像に基づいて、鉄筋を検査し、検査結果を表示装置３に出力する。例えば、配筋検査装置１は、前述した構造体に含まれる複数の平面から検査対象の平面における鉄筋の種類を判定し、判定した種類の鉄筋が検査対象の平面に配筋されている本数と、判定した鉄筋の隣り合う間隔とを検査する。配筋検査装置１は、例えば、タブレット端末、スマートフォンまたはパーソナルコンピュータ（ＰＣ）である。

鉄筋には、例えば、ＪＩＳ規格に基づく１６種類の鉄筋がある。１６種類の鉄筋には、Ｄ４、Ｄ５、Ｄ６、Ｄ８、Ｄ１０、Ｄ１３、Ｄ１６、Ｄ１９、Ｄ２２、Ｄ２５、Ｄ２９、Ｄ３２、Ｄ３５、Ｄ３８、Ｄ４１およびＤ５１という「呼び名」が付与されている。呼び名は、鉄筋の公称直径を丸めた径の大きさを示している。例えば、呼び名がＤ１０である鉄筋の公称直径は、９．５３（ｍｍ）であり、呼び名がＤ１３である鉄筋の公称直径は、１２．７（ｍｍ）であり、呼び名がＤ１６である鉄筋の公称直径は、１５．９（ｍｍ）である。なお、建築物の骨格として一般的に使用される鉄筋は、Ｄ１０以降の鉄筋である。

さらに、１６種類の鉄筋のそれぞれには「節の平均間隔の最大値」が規定されている。例えば、Ｄ１０の鉄筋における節の平均間隔の最大値は、６．７（ｍｍ）であり、Ｄ１３の鉄筋の節における平均間隔の最大値は、８．９（ｍｍ）であり、Ｄ１６の鉄筋における節の平均間隔の最大値は、１１．１（ｍｍ）である。

１６種類の鉄筋の径は、約３（ｍｍ）ごとに大きくなっている。撮影画像における鉄筋の３（ｍｍ）の差は、一般に、数ピクセル分の違いでしかない。このため、撮影画像における鉄筋の輪郭幅から実際の鉄筋の径を検出し、検出した径に基づいて鉄筋の種類を判定するのは困難であった。前述したように、１６種類の鉄筋には、節の平均間隔の最大値が規定されているだけなので、実際の鉄筋における節の間隔は、メーカまたは生産ロットによって異なる。このため、鉄筋の種類ごとに異なる値であるにもかかわらず、従来、撮影画像から検出した鉄筋の節の間隔に基づいて、鉄筋の種類を判定するのは困難であった。

これに対し、配筋検査装置１は、学習装置４によって生成された学習モデルを用いて、鉄筋の撮影画像から鉄筋の径および節の間隔の少なくとも一方を推論し、推論結果データを用いて鉄筋の種類を判定する。例えば、学習モデルは、鉄筋の撮影画像を分割して得られる複数の部分画像を入力とし、鉄筋の径および節の間隔の少なくとも一方を出力する、ニューラルネットワークの機械学習モデルである。配筋検査装置１は、上記学習モデルを用いることにより、鉄筋の径および節の間隔の少なくとも一方を正確に検出でき、鉄筋の径および節の間隔の少なくとも一方に基づいて鉄筋の種類を判定することが可能である。

ステレオカメラ２は、左撮影部、右撮影部および三次元データ生成部を有した撮影部である。左撮影部は、左側から見た左視点画像を撮影する。右撮影部は、右側から見た右視点画像を撮影する。三次元データ生成部は、左視点画像データおよび右視点画像データに対してステレオマッチング処理を行うことにより、三次元データとして三次元画像を生成する。表示装置３は、配筋検査装置１が備える表示装置である。表示装置３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置である。

学習装置４は、鉄筋の撮影画像が分割された複数の部分画像を入力とし、鉄筋の検査情報を出力する学習モデルを生成する装置であり、学習部４１および記憶部４２を備える。鉄筋の検査情報は、鉄筋の径、鉄筋の節の間隔、または鉄筋の径および節の間隔である。学習部４１は、学習用データを用いて鉄筋の検査情報を学習することにより学習モデルを生成し、学習モデルを記憶部４２に記憶する。学習アルゴリズムとして、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、または、サポートベクターマシンを用いてもよい。

学習用データは、学習モデルの入力データである、鉄筋の撮影画像を分割した複数の部分画像データと、正解ラベルとを含むデータセットである。正解ラベルは、複数の部分画像データにそれぞれ対応する鉄筋の径を示す情報、複数の部分画像データにそれぞれ対応する鉄筋の節間隔を示す情報、または、複数の部分画像データにそれぞれ対応する鉄筋の径および節間隔を示す情報である。なお、学習用データには、後述する画像抽出部１５が鉄筋の撮影画像を分割した複数の部分画像データを用いてもよい。

配筋検査装置１は、三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６を備える。三次元情報取得部１１は、鉄筋が配筋された複数の平面を含む構造体の三次元データを、ステレオカメラ２から取得する。三次元データは、上記構造体が撮影された三次元画像データである。

平面特定部１２は、三次元データを用いて、上記の構造体における複数の平面のうち、検査対象の平面を特定する。例えば、平面特定部１２は、三次元情報取得部１１によって取得された三次元データから検出した複数の三次元点が含まれる平面候補ごとに、平面候補との距離が閾値以下である三次元点の個数を算出する。そして、平面特定部１２は、複数の平面候補のうち、算出した三次元点の個数が最も多い平面候補を、検査対象の平面として特定する。検査対象の平面は、上記構造体の最前面に位置する平面（最前面の平面）である。

画像変換部１３は、ステレオカメラ２によって撮影された検査対象の平面を含む構造体の撮影画像を正対化画像に変換する。正対化画像は、ステレオカメラ２と検査対象の平面との距離が一定で、かつステレオカメラ２に検査対象の平面が正対している画像である。例えば、画像変換部１３は、検査対象の平面において格子状に配筋された鉄筋上の任意の矩形の４隅の点を指定し、指定した４点の位置座標を用いてホモグラフィ変換行列を推定する。そして、画像変換部１３は、推定したホモグラフィ変換行列に基づいて、撮影画像を、ステレオカメラ２に検査対象の平面が正対した正対化画像に変換する。

正対化画像は、ステレオカメラ２によって検査対象の平面が正面から撮影された画像であり、かつステレオカメラ２と検査対象の平面との距離が一定にスケーリングされた画像である。すなわち、正対化画像における全てのポイントが、ステレオカメラ２との距離が一定になるようにスケーリングされており、正対化画像においては、ステレオカメラ２と検査対象の平面との距離に応じた鉄筋の大きさの違いが補正されている。

位置検出部１４は、画像変換部１３によって生成された正対化画像から検査対象の平面における鉄筋の位置を検出する。例えば、位置検出部１４は、正対化画像を閾値で二値化して鉄筋以外の部分がマスクされたマスク画像を生成し、生成したマスク画像の鉄筋部分の画素をカウントすることにより、正対化画像に含まれる検査対象の平面における鉄筋の位置を検出する。

画像抽出部１５は、検査対象の平面における鉄筋の位置に基づいて、正対化画像から鉄筋の画像を抽出する。例えば、画像抽出部１５は、検査対象の平面における鉄筋の位置に基づいて、正対化画像における鉄筋の画像を鉄筋ごとに特定し、特定した鉄筋の画像から鉄筋の長手方向に沿って同じ大きさの複数の部分画像を順に抽出する。画像抽出部１５によって抽出された複数の部分画像データは、鉄筋の画像ごとに推論部１６に出力される。

推論部１６は、正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論する。例えば、推論部１６は、画像抽出部１５によって鉄筋の画像ごとに抽出された複数の部分画像データを学習モデルに入力して鉄筋の径を推論する。または、推論部１６は、画像抽出部１５によって鉄筋の画像ごとに抽出された複数の部分画像データを学習モデルに入力して、鉄筋の節の間隔を推論する。または、推論部１６は、画像抽出部１５によって鉄筋の画像ごとに抽出された複数の部分画像データを学習モデルに入力して、鉄筋の径および節の間隔を推論する。

図２は、実施の形態１に係る配筋検査方法を示すフローチャートである。
三次元情報取得部１１は、鉄筋が配筋された複数の平面を含む構造体の三次元データを取得する（ステップＳＴ１）。図３は、三次元データの概要を示す説明図であって、鉄筋２０が配筋された複数の平面を含む構造体の三次元画像データ２Ｃを示している。図３に示すように、ステレオカメラ２は、上記構造体の左視点画像２Ａおよび右視点画像２Ｂを撮影すると、左視点画像２Ａの画像データおよび右視点画像２Ｂの画像データを用いて、上記構造体の三次元画像データ２Ｃを生成する。三次元情報取得部１１は、三次元データとして、ステレオカメラ２から三次元画像データ２Ｃを取得する。

平面特定部１２は、三次元画像データ２Ｃを用いて、上記構造体における複数の平面のうち、検査対象の平面を特定する（ステップＳＴ２）。検査対象の平面は、最前面の平面である。三次元画像データ２Ｃにおいて、ステレオカメラ２に近い、すなわち前面であるほど、被写体である鉄筋２０は大きく写り、ステレオカメラ２から遠くなると、鉄筋２０は小さく写る。鉄筋２０が大きく写るということは、三次元画像データ２Ｃにおける鉄筋２０に対応する三次元点が多いことを意味する。反対に、鉄筋２０が小さく写るということは、三次元画像データ２Ｃにおける鉄筋２０に対応する三次元点が少ないことを意味する。さらに、前面の平面であるほど、ステレオカメラ２との間を遮蔽する後面の鉄筋などの遮蔽物が少なく、オクルージョンが発生しにくい。

そこで、平面特定部１２は、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法により、最前面の平面を特定する。平面特定部１２は、三次元画像データ２Ｃからランダムに検出した三次元点群を使用して、平面候補を示す関数の推定を繰り返し実行する。図４Ａ、図４Ｂおよび図４Ｃは、各層の平面を示す関数Ｐ（１）、Ｐ（２）およびＰ（３）とアウトライヤ３１およびインライヤ３２との関係を示すグラフであり、ＸＹ座標系における三次元点を示している。アウトライヤ３１は、許容可能な範囲に含まれない三次元点であり、インライヤ３２は、許容可能な範囲に含まれる三次元点である。

ＲＡＮＳＡＣ法では、関数Ｐ（１）、Ｐ（２）およびＰ（３）を表すパラメータごとにインライヤ３２となる三次元点の数がカウントされ、カウント数が最も多いパラメータが最適なパラメータに決定される。すなわち、決定されたパラメータを適用した関数で表される平面候補が最前面の平面の推定結果とされる。図４Ａ、図４Ｂおよび図４Ｃから明らかなように、関数Ｐ（３）を表すパラメータにおいて、インライヤ３２となる三次元点の数が最も多いので、平面特定部１２は、関数Ｐ（３）で表される平面候補を最前面の平面として特定する。

次に、画像変換部１３は、ステレオカメラ２によって撮影された検査対象の平面を含む構造体の撮影画像を、ステレオカメラ２と検査対象の平面との距離が一定であり、かつステレオカメラ２に検査対象の平面が正対した正対化画像に変換する（ステップＳＴ３）。図５は、撮影画像である三次元画像データ２Ｃを、正対化画像２Ｄに変換する処理を示す説明図であり、三次元画像データ２Ｃおよび正対化画像２Ｄにおける最前面の平面のみを示している。三次元画像データ２Ｃにおいて、ステレオカメラ２に近いほど、鉄筋２０は大きく写り、ステレオカメラ２から遠くなると、鉄筋２０は小さく写っている。つまり、三次元画像データ２Ｃが示す画像の下側は、ステレオカメラ２に近い位置にある鉄筋２０が写っており、上側には、ステレオカメラ２から遠い位置にある鉄筋２０が写っている。

画像変換部１３は、三次元画像データ２Ｃにおける検査対象の平面に格子状に配筋された鉄筋２０のうち、任意の矩形の４隅の点を指定し、当該矩形がステレオカメラ２の正面から見た形状となるホモグラフィ変換行列を推定する。そして、画像変換部１３は、ホモグラフィ変換行列に基づいて、三次元画像データ２Ｃが示す画像を正対化画像２Ｄに変換する。正対化画像２Ｄにおける全てのポイントは、ステレオカメラ２との距離が一定になるようにスケーリングされるので、正対化画像２Ｄにおいては、ステレオカメラ２と検査対象の平面との距離に応じた鉄筋２０の大きさの違いが補正されている。このため、定規またはマーカを基準として、ステレオカメラ２と検査領域との距離に応じた鉄筋の大きさの違いを補正する必要がない。

位置検出部１４は、正対化画像から検査対象の平面における鉄筋の位置を検出する（ステップＳＴ４）。図６は、正対化画像における鉄筋の位置を検出する処理を示す説明図である。位置検出部１４は、図６に示すように、画像変換部１３によって三次元画像データ２Ｃから変換された正対化画像２Ｄを、マスク画像５１に変換する。マスク画像５１は、正対化画像２Ｄにおける鉄筋を示す領域を「１」、それ以外の領域を「０」で表す二値の画素値を有した画像である。画素値が「１」の領域は、白画素の領域となり、画素値が「０」の領域は、黒画素の領域となる。

例えば、位置検出部１４は、左視点画像２Ａおよび右視点画像２Ｂを用いて、同一位置にある鉄筋の画像上のずれ量を、左右の視差として算出し、視差を用いて鉄筋の画像部分を特定し、特定した画像部分の画素値を「１」とし、それ以外の画像部分を「０」としてマスク画像５１を生成する。そして、位置検出部１４は、マスク画像５１において白画素のカウント数が閾値以上である位置を、鉄筋の位置として検出する。位置検出部１４は、図６に示すように、マスク画像５１を回転させて白画素の数をカウントすることで、鉄筋のＸ方向の位置およびＹ方向の位置を検出することができる。すなわち、正対化画像２Ｄにおいて、縦方向に並ぶ鉄筋の位置と、横方向に並ぶ鉄筋の位置が検出される。

次に、位置検出部１４は、マスク画像５１において鉄筋に対応する線分を特定する処理を行う。図７Ａ、図７Ｂおよび図７Ｃは、マスク画像における鉄筋部分に対応する線分を特定する処理を示す説明図である。図７Ａに示すように、マスク画像５１において、白画素の領域Ａ、領域Ｂおよび領域Ｃがある場合、どの領域が鉄筋の画像に対応するのか不明である。そこで、位置検出部１４は、白画素の領域Ａ、領域Ｂおよび領域Ｃを通る座標軸における領域Ａの長さＤ（１）、領域Ｂの長さＤ（２）および領域Ｃの長さＤ（３）と、領域Ａと領域Ｂとの間隔Ｄ（４）と、領域Ｂと領域Ｃとの間隔Ｄ（５）とを算出する。

位置検出部１４は、図７Ｂに示すように、間隔Ｄ（４）および間隔Ｄ（５）のうち、閾値以上の間隔が空いた領域間は鉄筋ではないと判定し、閾値未満の間隔が空いた領域同士は同じ鉄筋に対応する画像領域であると判定する。例えば、位置検出部１４は、閾値未満の間隔Ｄ（４）が空いた領域Ａと領域Ｂを通り長さがＤ（６）である線分５２で示す画像領域を、同じ鉄筋に対応する画像領域であると判定する。またＤ（５）は閾値以上であるので、位置検出部１４は、マスク画像５１において、領域Ｂと領域Ｃとの間に鉄筋に対応する画像領域がないと判定する。位置検出部１４は、マスク画像５１において鉄筋の画像領域であると判定した部分の位置情報を正対化画像２Ｄに付与し、この正対化画像２Ｄを画像抽出部１５に出力する。

画像抽出部１５は、正対化画像２Ｄの検査対象の平面における鉄筋の位置に基づいて、正対化画像２Ｄから鉄筋の画像を抽出する（ステップＳＴ５）。図８は、正対化画像から鉄筋の部分画像を抽出する処理を示す説明図である。画像抽出部１５は、図８に示すように、正対化画像から、長手方向に沿った鉄筋２０の画像２Ｅを抽出する。さらに、画像抽出部１５は、画像２Ｅから順次同一の大きさの部分画像２Ｆ（１）、２Ｆ（２）、２Ｆ（３）を抽出して推論部１６に出力する。部分画像２Ｆ（１）、２Ｆ（２）、２Ｆ（３）は、例えば、縦横が同じ画素数の正方形の画像である。画像抽出部１５は、正対化画像２Ｄにおける全ての鉄筋２０について部分画像の抽出を行う。

推論部１６は、正対化画像２Ｄから抽出された鉄筋２０の画像を学習モデルに入力し、鉄筋２０の検査情報を推論する（ステップＳＴ６）。学習モデルは、例えば、画像抽出部１５によって抽出された複数の部分画像データを入力とし、図８に示す鉄筋２０の径Ｄを推論するモデルである。また、学習モデルは、画像抽出部１５によって抽出された複数の部分画像データを入力とし、図８に示す鉄筋２０の節の間隔Ｌを推論するモデルである。または、学習モデルは、画像抽出部１５によって抽出された複数の部分画像データを入力とし、図８に示す鉄筋２０の径Ｄおよび節の間隔Ｌを推論するモデルである。

図９は、鉄筋２０の部分画像を学習モデルに入力して鉄筋の径Ｄを推論する処理を示す説明図である。図９において、学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Ｄを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。推論部１６は、複数の部分画像データを学習モデルに入力して部分画像データごとに推論を行い、部分画像ごとに径Ｄの鉄筋が写っている確率と鉄筋以外が写っている確率とを算出する。

例えば、推論結果データ６１（１）は、図８に示した部分画像２Ｆ（１）において、各種類の鉄筋が写っている確率と鉄筋以外のもの（ＮＯＮ）が写っている確率とを算出した結果である。推論結果データ６１（１）におけるＤ１０～Ｄ５１は、前述した鉄筋の呼び名である。同様に、推論結果データ６１（２）は、図８に示した部分画像２Ｆ（２）において、各種類の鉄筋が写っている確率と鉄筋以外のもの（ＮＯＮ）が写っている確率とを算出した結果である。このような推論結果データが、同じ鉄筋の画像から抽出された全ての部分画像データについて算出される。

続いて、学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、当該鉄筋の画像における推論結果データ６２を算出する。例えば、推論結果データ６２には、各種類の鉄筋が写っている確率を平均した値と、鉄筋以外のもの（ＮＯＮ）が写っている確率を平均した値が含まれる。推論部１６は、推論結果データ６２に基づいて鉄筋の径Ｄを判定する。図９の例では、図８に示した画像２Ｅにおける鉄筋の種類がＤ１６、すなわち径Ｄが１５．９（ｍｍ）の鉄筋であると判定されている。推論部１６は、上記学習モデルを用いることにより、鉄筋の径Ｄを正確に検出でき、鉄筋の径Ｄに基づいて鉄筋の種類を判定することが可能である。

また、推論部１６は、複数の部分画像を入力とし、正対化画像２Ｄから抽出した鉄筋の画像における鉄筋の節の間隔Ｌを出力する学習モデルを用いて、鉄筋の節の間隔Ｌを推論してもよい。学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の節の間隔Ｌを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。推論部１６は、複数の部分画像データを上記学習モデルに入力して部分画像データごとに推論を行い、部分画像ごとに、節間隔Ｌである鉄筋が写っている確率と鉄筋以外が写っている確率とを算出する。学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、当該鉄筋の画像における推論結果データを算出する。推論部１６は、算出した推論結果データに基づいて、鉄筋の節の間隔Ｌを正確に検出でき、鉄筋の節の間隔Ｌに基づいて、鉄筋の種類を判定することが可能である。

さらに、推論部１６は、複数の部分画像を入力とし、正対化画像２Ｄから抽出した鉄筋の画像における鉄筋の径Ｄおよび節の間隔Ｌを出力する学習モデルを用いて、鉄筋の検査情報として鉄筋の径Ｄおよび節の間隔Ｌを推論してもよい。学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Ｄおよび節の間隔Ｌを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。推論部１６は、複数の部分画像データを上記学習モデルに入力して部分画像データごとに推論を行い、部分画像ごとに、径Ｄおよび節間隔Ｌである鉄筋が写っている確率と、鉄筋以外が写っている確率とを算出する。学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、当該鉄筋の画像における推論結果データを算出する。推論部１６は、算出した推論結果データに基づいて、鉄筋の径Ｄおよび節の間隔Ｌを正確に検出でき、鉄筋の径Ｄおよび節の間隔Ｌに基づいて、鉄筋の種類を判定することが可能である。

配筋検査装置１が備える三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６の機能は、処理回路により実現される。すなわち、配筋検査装置１は、図２に示したステップＳＴ１からステップＳＴ６の処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図１０Ａは、配筋検査装置１の機能を実現するハードウェア構成を示すブロック図である。図１０Ｂは、配筋検査装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１０Ａおよび図１０Ｂにおいて、入力インタフェース１００は、ステレオカメラ２から配筋検査装置１へ出力される三次元データを中継するインタフェースである。出力インタフェース１０１は、配筋検査装置１から表示装置３へ出力される検査結果などを中継するインタフェースである。

処理回路が図１０Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
配筋検査装置１が備える、三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。

処理回路が図１０Ｂに示すプロセッサ１０３である場合、配筋検査装置１が備える三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、配筋検査装置１が備える三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６の機能を実現する。例えば、配筋検査装置１は、プロセッサ１０３によって実行されるときに、図２に示したステップＳＴ１からステップＳＴ６の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６が行う処理の手順または方法を、コンピュータに実行させる。メモリ１０４は、コンピュータを、三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

配筋検査装置１が備える三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４、画像抽出部１５および推論部１６の機能の一部を、専用のハードウェアで実現し、一部を、ソフトウェアまたはファームウェアで実現してもよい。例えば、三次元情報取得部１１、平面特定部１２、画像変換部１３、位置検出部１４および画像抽出部１５は、専用のハードウェアである処理回路１０２によって機能を実現し、推論部１６は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。

図１の例では、配筋検査装置１とは別に設けられた外部装置である学習装置４を示したが、学習装置４を構成する学習部４１および記憶部４２は、配筋検査装置１が備える構成要素であってもよい。また、記憶部４２は、学習部４１を備える配筋検査装置１との間でデータ通信が可能な外部装置の構成要素であってもよい。この配筋検査装置１において、記憶部４２は、配筋検査中に、画像抽出部１５によって抽出された部分画像データを順次記憶する。記憶部４２に記憶された複数の部分画像データは、例えば、操作部（図１において不図示）を使用して入力された正解ラベルが付与されて、学習用データとして記憶部４２に記憶される。学習部４１は、記憶部４２に記憶された学習用データを入力して学習モデルを生成する。推論部１６は、学習部４１によって生成された学習モデルを用いて、鉄筋の検査情報を推論する。これにより、推論部１６は、現場ごとに生成された学習モデルを用いて、鉄筋の検査情報を推論することが可能であり、配筋検査の精度が向上する。

以上のように、実施の形態１に係る配筋検査装置１は、鉄筋２０が配筋された複数の平面を含む構造体の三次元画像データ２Ｃを用いて、構造体における複数の平面のうち、検査対象の平面を特定し、ステレオカメラ２によって撮影された検査対象の平面を含む構造体の三次元画像データ２Ｃが、ステレオカメラ２と検査対象の平面との距離が一定で、かつステレオカメラ２に検査対象の平面が正対した正対化画像２Ｄに変換する。さらに、配筋検査装置１は、検出した検査対象の平面における鉄筋２０の位置に基づいて、正対化画像２Ｄから鉄筋２０の画像を抽出し、正対化画像２Ｄから抽出した鉄筋２０の画像を学習モデルに入力して、鉄筋２０の検査情報を推論する。検査対象の平面を含む構造体の撮影画像を正対化画像２Ｄに変換することにより、配筋検査装置１は、定規またはマーカを検査領域に設置することなく、配筋検査を行うことができる。

実施の形態１に係る配筋検査装置１において、画像抽出部１５が、正対化画像から抽出した鉄筋の画像を複数の部分画像に分割する。推論部１６は、複数の部分画像を入力し、正対化画像２Ｄから抽出した鉄筋２０の画像における鉄筋２０の径Ｄを出力する学習モデルを用いて鉄筋２０の径Ｄを推論する。推論部１６は、上記学習モデルを用いることにより、鉄筋の径Ｄを正確に検出でき、鉄筋の径Ｄに基づいて鉄筋の種類を判定することが可能である。

実施の形態１に係る配筋検査装置１において、画像抽出部１５が、正対化画像２Ｄから抽出した鉄筋２０の画像を複数の部分画像に分割する。推論部１６は、複数の部分画像を入力し、正対化画像２Ｄから抽出した鉄筋２０の画像における鉄筋２０の節の間隔Ｌを出力する学習モデルを用いて鉄筋２０の節の間隔Ｌを推論する。推論部１６は、算出した推論結果データに基づいて、鉄筋の節の間隔Ｌを正確に検出でき、鉄筋の節の間隔Ｌに基づいて、鉄筋の種類を判定することが可能である。

実施の形態１に係る配筋検査装置１において、画像抽出部１５が、正対化画像２Ｄから抽出した鉄筋２０の画像を複数の部分画像に分割する。推論部１６は、複数の部分画像を入力し、正対化画像２Ｄから抽出した鉄筋２０の画像における鉄筋２０の径Ｄおよび節の間隔Ｌを出力する学習モデルを用いて鉄筋２０の径Ｄおよび節の間隔Ｌを推論する。推論部１６は、算出した推論結果データに基づいて、鉄筋の径Ｄおよび節の間隔Ｌを正確に検出でき、鉄筋の径Ｄおよび節の間隔Ｌに基づいて、鉄筋の種類を判定することが可能である。

実施の形態１に係る配筋検査装置１において、位置検出部１４が、正対化画像２Ｄを鉄筋以外の部分がマスクされたマスク画像５１に変換し、マスク画像５１の鉄筋部分の画素をカウントすることにより、正対化画像２Ｄの検査対象の平面における鉄筋の位置を検出する。これにより、配筋検査装置１は、正対化画像２Ｄにおいて縦方向に並ぶ鉄筋の位置と横方向に並ぶ鉄筋の位置を正確に検出することが可能である。

なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。

１ 配筋検査装置、２ ステレオカメラ、２Ａ 左視点画像、２Ｂ 右視点画像、２Ｃ 三次元画像データ、２Ｄ 正対化画像、３ 表示装置、４ 学習装置、１１ 三次元情報取得部、１２ 平面特定部、１３ 画像変換部、１４ 位置検出部、１５ 画像抽出部、１６ 推論部、２０ 鉄筋、３１ アウトライヤ、３２ インライヤ、４１ 学習部、４２ 記憶部、５１ マスク画像、５２ 線分、６１（１），６１（２），６２ 推論結果データ、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。

本開示に係る配筋検査装置は、鉄筋が配筋された複数の平面を含む構造体の三次元データを取得する三次元情報取得部と、三次元データを用いて、構造体における複数の平面のうち、検査対象の平面を特定する平面特定部と、撮影部により撮影された検査対象の平面を含む構造体の撮影画像を、撮影部と検査対象の平面との距離が一定で、かつ撮影部に検査対象の平面が正対した正対化画像に変換する画像変換部と、正対化画像から検査対象の平面における鉄筋の位置を検出する位置検出部と、検査対象の平面における鉄筋の位置に基づいて、正対化画像から鉄筋の画像を抽出する画像抽出部と、正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論する推論部とを備え、位置検出部は、正対化画像を鉄筋以外の部分がマスクされたマスク画像に変換し、マスク画像において、マスクされていない隣接した領域同士の間隔が閾値以上である場合に、これらの領域が検査対象の平面における同一の鉄筋に対応する領域ではないと判定し、マスクされていない隣接した領域同士の間隔が閾値未満である場合、これらの領域が同一の鉄筋に対応する領域であると判定することにより、正対化画像の検査対象の平面における、判定結果の鉄筋の位置を検出する。

Claims (7)

1. 鉄筋が配筋された複数の平面を含む構造体の三次元データを取得する三次元情報取得部と、
   前記三次元データを用いて、前記構造体における複数の平面のうち、検査対象の平面を特定する平面特定部と、
   撮影部により撮影された前記検査対象の平面を含む前記構造体の撮影画像を、前記撮影部と前記検査対象の平面との距離が一定で、かつ前記撮影部に前記検査対象の平面が正対した正対化画像に変換する画像変換部と、
   前記正対化画像から前記検査対象の平面における鉄筋の位置を検出する位置検出部と、
   前記検査対象の平面における鉄筋の位置に基づいて、前記正対化画像から鉄筋の画像を抽出する画像抽出部と、
   前記正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論する推論部と、を備えた
   ことを特徴とする配筋検査装置。
2. 前記画像抽出部は、前記正対化画像から抽出した鉄筋の画像を、複数の部分画像に分割し、
   前記推論部は、複数の前記部分画像を入力し、前記正対化画像から抽出した鉄筋の画像における鉄筋の径を出力する前記学習モデルを用いて、鉄筋の検査情報として鉄筋の径を推論する
   ことを特徴とする請求項１に記載の配筋検査装置。
3. 前記画像抽出部は、前記正対化画像から抽出した鉄筋の画像を、複数の部分画像に分割し、
   前記推論部は、複数の前記部分画像を入力し、前記正対化画像から抽出した鉄筋の画像における鉄筋の節の間隔を出力する前記学習モデルを用いて、鉄筋の検査情報として鉄筋の節の間隔を推論する
   ことを特徴とする請求項１に記載の配筋検査装置。
4. 前記画像抽出部は、前記正対化画像から抽出した鉄筋の画像を、複数の部分画像に分割し、
   前記推論部は、複数の前記部分画像を入力し、前記正対化画像から抽出した鉄筋の画像における鉄筋の径および節の間隔を出力する前記学習モデルを用いて、鉄筋の検査情報として鉄筋の径および節の間隔を推論する
   ことを特徴とする請求項１に記載の配筋検査装置。
5. 前記位置検出部は、前記正対化画像を鉄筋以外の部分がマスクされたマスク画像に変換し、前記マスク画像の鉄筋部分の画素をカウントすることにより、前記正対化画像の前記検査対象の平面における鉄筋の位置を検出する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の配筋検査装置。
6. 三次元情報取得部が、鉄筋が配筋された複数の平面を含む構造体の三次元データを取得するステップと、
   平面特定部が、前記三次元データを用いて、前記構造体における複数の平面のうち、検査対象の平面を特定するステップと、
   画像変換部が、撮影部により撮影された前記検査対象の平面を含む前記構造体の撮影画像を、前記撮影部と前記検査対象の平面との距離が一定で、かつ前記撮影部に前記検査対象の平面が正対した正対化画像に変換するステップと、
   位置検出部が、前記正対化画像から前記検査対象の平面における鉄筋の位置を検出するステップと、
   画像抽出部が、前記検査対象の平面における鉄筋の位置に基づいて、前記正対化画像から鉄筋の画像を抽出するステップと、
   推論部が、前記正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論するステップと、を備えた
   ことを特徴とする配筋検査方法。
7. コンピュータを、
   鉄筋が配筋された複数の平面を含む構造体の三次元データを取得する三次元情報取得部と、
   前記三次元データを用いて、前記構造体における複数の平面のうち、検査対象の平面を特定する平面特定部と、
   撮影部により撮影された前記検査対象の平面を含む前記構造体の撮影画像を、前記撮影部と前記検査対象の平面との距離が一定で、かつ前記撮影部に前記検査対象の平面が正対した正対化画像に変換する画像変換部と、
   前記正対化画像から前記検査対象の平面における鉄筋の位置を検出する位置検出部と、
   前記検査対象の平面における鉄筋の位置に基づいて、前記正対化画像から鉄筋の画像を抽出する画像抽出部と、
   前記正対化画像から抽出された鉄筋の画像を学習モデルに入力して、鉄筋の検査情報を推論する推論部として機能させるためのプログラム。

Images