JP2022174971A

JP2022174971A - コンクリート締固め作業解析装置、解析方法及びプログラム

Info

Publication number: JP2022174971A
Application number: JP2021081053A
Authority: JP
Inventors: 涛王; Tao Wang; 修谷口; Osamu Taniguchi; 貴洋酒井; Takahiro Sakai
Original assignee: Penta Ocean Construction Co Ltd
Current assignee: Penta Ocean Construction Co Ltd
Priority date: 2021-05-12
Filing date: 2021-05-12
Publication date: 2022-11-25

Abstract

【課題】作業員によるコンクリートの締固め作業を従来よりも精度よく解析するコンクリート締固め作業解析装置を提供する。【解決手段】システム１において、コンクリート締固め作業解析装置３０は、作業者がバイブレータと持って締固め作業を行う様子を撮像装置１０ａ、１０ｂによって撮像された画像を、その画像データ中の作業者及びバイブレータの位置、姿勢又は動きを解析することで、コンクリートに対する締固めが適正に行われているか否かを評価する。【選択図】図１

Description

本発明は、作業員による打設されたコンクリートの締固め作業を解析するための技術に関する。

型枠内に打設されたコンクリートに振動を与えてコンクリートをいきわたらせ、型枠内に空隙が生じ無いようにする作業を、締固めという。例えば特許文献１には、締固めを行うためのバイブレータ２の振動部２１に認識体ｉ１～ｉ３を取り付けておき、締固め作業の撮像画像から認識体ｉ１～ｉ３の３次元座標値を求め、さらに、コンクリート表面の座標値とバイブレータ２の先端Ｆの座標値との関係に基づいてバイブレータ２の挿入深さや挿入期間を算出することが開示されている。

特許第６７８１４３９号公報

本発明は、作業員によるコンクリートの締固め作業によるコンクリートの充填度合いを、ＡＩの解析を用いて従来よりも精度よく解析することを目的とする。

上記課題を解決するため、本発明は、作業者とバイブレータと前記作業者が前記バイブレータを持ってコンクリートの締固め作業を行う空間とを撮像した画像データを取得する取得部と、前記画像データから、前記作業者に相当する作業者画像オブジェクト及び前記バイブレータに相当するバイブレータ画像オブジェクトを抽出する抽出部と、抽出された前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを解析する解析部と、前記バイブレータによる加振の有無を特定する特定部と、前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの解析結果と、特定された前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断する判断部とを備える締固め作業解析装置を提供する。

前記判断部による判断結果に基づいて締固めが行われたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とを推定する推定部と、前記推定部による推定に基づき、締固めが行われたと推定されたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を視認可能に表示する表示部とを備えるようにしてもよい。

前記取得部は、ステレオカメラ又は複数の単眼カメラによって撮像された前記画像データを取得するようにしてもよい。

前記表示部は、前記いずれかの領域を平面形状、断面形状又は立体形状の少なくともいずれかの形状で表示するようにしてもよい。

前記推定部は、前記判断部による判断結果に加えて、前記バイブレータの属性及び／又は前記コンクリートの属性に基づいて、締固めが行われたコンクリート領域と締固めが行われていないと推定されたコンクリート領域と締固めの程度が不十分と推定されたコンクリート領域とを推定するようにしてもよい。

前記解析部は、前記作業者画像オブジェクトに対する骨格推定を行って、当該作業者画像オブジェクトの位置、姿勢又は動きを解析するようにしてもよい。

前記解析部は、前記作業者画像オブジェクトに加え、前記バイブレータ画像オブジェクトに対する骨格推定を行って、当該バイブレータ画像オブジェクトの位置、姿勢又は動きを解析するようにしてもよい。

前記抽出部は、前記画像データから同時に作業をしている複数の前記作業者に相当する複数の前記作業者画像オブジェクトおよび前記バイブレータに相当する複数の前記バイブレータ画像オブジェクトを抽出し、前記判断部は、複数の前記作業者画像オブジェクト及び複数の前記バイブレータ画像オブジェクトの解析結果と、特定された複数のバイブレータごとの前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断するようにしてもよい。

前記特定部は、前記画像データにおいて前記バイブレータ画像オブジェクトの先端がコンクリートに挿入されているか否かに基づいて前記加振の有無を特定するようにしてもよい。

前記特定部は、前記バイブレータに対する通電のオン又はオフを表す信号に基づいて前記加振の有無を特定するようにしてもよい。

前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの位置、姿勢又は動きを表すデータ群と、前記バイブレータによる加振の有無を表すデータ群とを説明変数とし、コンクリートに対する締固めが行われているか否かを表すデータ群を目的変数とした教師データに基づき機械学習を行うことで、学習モデルを生成するモデル生成部を備え、前記判断部は、生成された前記学習モデルを用いて、コンクリートに対する締固めが行われているか否かを判断するようにしてもよい。

前記画像データは、撮像位置及び／又は撮像方向が異なる複数の撮像装置によってそれぞれ撮像された複数の画像データであり、前記取得部は、前記複数の撮像装置から前記画像データを取得し、前記抽出部は、前記複数の画像データからそれぞれ同一対象の前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを抽出し、
前記解析部は、複数の画像データからそれぞれ抽出された前記同一対象の作業者画像オブジェクト及び前記同一対象のバイブレータ画像オブジェクトを重畳して解析するようにしてもよい。

前記画像データとして動画データを用いるようにしてもよい。

前記判断部によって判断される締固めの程度が所定の品質に満たないおそれがあるときに警告を行う警告部を備えるようにしてもよい。

前記警告部による警告が、表示部による表示又は前記作業者に対する音声によって行われるようにしてもよい。

締固めが行われたと推定されたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を三次元座標値に変換する座標変換部と、
前記座標変換部による変換後のいずれかのコンクリート領域の三次元座標値を、ＣＩＭ（Construction Information Modeling/Management）データ又はＢＩＭ（Building Information Modeling）データとして出力する出力部を備えるようにしてもよい。

前記座標変換部は、前記複数の撮像装置が設置された位置の三次元座標値と、前記複数の撮像装置の撮像時の方向角と、前記複数の撮像装置が取得した画像データ内の特異点の三次元座標値とを用いて、前記三次元座標値への変換を行うようにしてもよい。

また、本発明は、作業者と、バイブレータと、前記作業者が前記バイブレータを持ってコンクリートの締固め作業を行う空間とを撮像した画像データを取得するステップと、前記画像データから、前記作業者に相当する作業者画像オブジェクト及び前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、抽出された前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを解析するステップと、前記バイブレータによる加振の有無を特定するステップと、前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの解析結果と、特定された前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断するステップとを備える締固め作業解析方法を提供する。

また、本発明は、コンピュータに、作業者と、バイブレータと、前記作業者が前記バイブレータを持ってコンクリートの締固め作業を行う空間とを撮像した画像データを取得するステップと、前記画像データから、前記作業者に相当する作業者画像オブジェクト及び前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、抽出された前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを解析するステップと、前記バイブレータによる加振の有無を特定するステップと、前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの解析結果と、特定された前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断するステップとを実行させるためのプログラムを提供する。

本発明によれば、作業員によるコンクリートの締固め作業によるコンクリートの充填度合いを従来よりも精度よく解析することができる。

本発明の実施形態に係るシステム全体の構成の一例を示すブロック図。同実施形態に係る締固め作業解析装置のハードウェア構成の一例を示すブロック図。締固め作業解析装置の機能構成の一例を示すブロック図。作業者に対する骨格推定を例示する図。バイブレータに対する骨格推定を例示する図。締固め作業解析装置の動作を示すフローチャート。複数の撮像装置と、各撮像装置の撮像時の方向角と、特異点との位置関係を例示する図。コンクリートに対するバイブレータの挿入深さを例示する図。締固め作業解析装置がコンクリートの締固めの領域を表示するときの表示例を示す図。ＣＩＭにおいてバイブレータの挿入個所を表示するときの表示例を示す図。

本発明を実施するための形態の一例について説明する。
［構成］
図１は、本発明の実施形態に係るシステム１の全体構成の一例を示すブロック図である。図１に示すように、システム１は、複数の撮像装置と、無線通信網又は有線通信網を含むネットワーク２０と、締固め作業解析装置３０とを備える。撮像装置１０ａ，１０ｂのうち、撮像装置１０ａはコンクリートの打設が行われる現場に設置され、例えば有線でネットワーク２０に接続されている。一方、撮像装置１０ｂは締固め作業を行う作業員自身やその周囲にいる他の作業員（以下、単に作業員という）の頭部や肩などに取り付けられ、例えば無線でネットワーク２０に接続されている。図１では、コンクリートの打設現場に設置される撮像装置１０ａと作業員に取り付けられる撮像装置１０ｂとを、それぞれ１つずつ例示しているが、これらはそれぞれ複数あってもよい。

作業員は、型枠に打設されたコンクリートに対して所定の距離間隔で所定の期間にわたってバイブレータを挿入し、コンクリートに適度な振動を与えることで、コンクリートの締固めを行う。これにより、型枠内でコンクリートが充填されていない空隙が無くなり、コンクリート構造物の品質が良好となる。このバイブレータによる締固め作業は、作業者の経験や勘に頼っており、その作業品質にばらつきが生じる可能性がある。そこで、本実施形態に係るシステム１においては、作業者がバイブレータを持って締固め作業を行う様子を撮像装置１０ａ，１０ｂにより撮像し、締固め作業解析装置３０がその画像データ中の作業者及びバイブレータのそれぞれの位置、姿勢又は動きを解析することで、コンクリートに対する締固めが適正に行われているか否かを評価する。即ち、本実施形態によれば、バイブレータに加えて作業者に対する画像解析をも行うので、バイブレータのみを画像解析する場合と比較して、コンクリートの締固め作業の良否をより高い精度で解析することが可能となる。

図２は、締固め作業解析装置３０のハードウェア構成を示す図である。締固め作業解析装置３０は、物理的には、プロセッサ３００１、メモリ３００２、ストレージ３００３、通信装置３００４、入力装置３００５、出力装置３００６及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。これらの各装置は図示せぬ電源から供給される電力によって動作する。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。締固め作業解析装置３０のハードウェア構成は、図２に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

締固め作業解析装置３０における各機能は、プロセッサ３００１、メモリ３００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ３００１が演算を行い、通信装置３００４による通信を制御したり、他の装置から送信されてきたデータを取得したり、メモリ３００２及びストレージ３００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ３００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ３００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

プロセッサ３００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ３００３及び通信装置３００４の少なくとも一方からメモリ３００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。締固め作業解析装置３０の機能ブロックは、メモリ３００２に格納され、プロセッサ３００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ３００１によって実行されてもよいが、２以上のプロセッサ３００１により同時又は逐次に実行されてもよい。プロセッサ３００１は、１以上のチップによって実装されてもよい。なお、プログラムは、クラウド上の他の装置から電気通信回線を介して締固め作業解析装置３０に送信されてもメモリ３００２やストレージ３００３にインストールされてもよい。

メモリ３００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ３００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ３００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ３００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、ソリッドステートドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ３００３は、補助記憶装置と呼ばれてもよい。

通信装置３００４は、有線又は無線の少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、撮像装置１０ａ，１０ｂとネットワーク２０経由で通信を行う。また、締固め作業解析装置３０と別個に携帯端末等を出力装置３００６として用いるときにも、コンピュータと出力装置３００６との間の通信をネットワーク２０経由で行う。

入力装置３００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど）である。出力装置３００６は、外部への出力を実施する出力デバイス（例えば、携帯端末、スマートグラス、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置３００５及び出力装置３００６は、一体となった構成（例えば、タッチパネル）であってもよい。

締固め作業解析装置３０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ３００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

図３は、締固め作業解析装置３０の機能構成の一例を示す図である。締固め作業解析装置３０によって実現される各機能は、プロセッサ３００１、メモリ３００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ３００１が演算を行い、通信装置３００４による通信を制御したり、メモリ３００２及びストレージ３００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

図３において、取得部３１は、締固め作業解析装置３０の外部から各種のデータを取得する。例えば取得部３１は、撮像装置１０ａ，１０ｂからネットワーク２０経由で、その撮像装置１０ａ，１０ｂによって撮像された画像（つまり作業者とバイブレータと作業者がバイブレータを持ってコンクリートの締固め作業を行う空間とが撮像された画像）を表す画像データを取得する。この画像データは、例えば時間的に連続した動画データであってもよいし、タイムプラス機能により所定の時間間隔（例えば１秒）で撮像された静止画データの集合であってもよい。なお、撮像装置１０ａ，１０ｂはそれぞれ、視差を用いた測距を可能にするべく、ステレオカメラや少なくとも２個一組の単眼カメラによる撮像装置により構成される。このような撮像装置１０ａ，１０ｂはそれぞれ、施工対象範囲における締固め作業の画像データを取得できるよう複数台設置される。

抽出部３２は、上記画像データに対して例えばパターンマッチング等の形状認識アルゴリズムを用いることで、作業者に相当する画像オブジェクト（以下、作業者画像オブジェクトという）、及び、バイブレータに相当する画像オブジェクト（以下、バイブレータ画像オブジェクトという）を抽出する。

解析部３３は、抽出部３２により抽出された作業者画像オブジェクト及びバイブレータ画像オブジェクトを解析する。より具体的には、解析部３３は、作業者画像オブジェクト及びバイブレータ画像オブジェクトに対する骨格推定を行って、作業者画像オブジェクト及びバイブレータ画像オブジェクトの位置、姿勢又は動きを解析する。骨格推定とは、図４に例示するように、人体Ｈの関節や顔を構成するパーツ（目、鼻、耳など）などの複数の部位ｓの位置を認識し、それら部位ｓの位置関係から人体Ｈの骨格を推定する技術である。人体に対する骨格推定は、人体にいわゆるマーカを設けていない状態（マーカレス）で実現可能である。一方、バイブレータに対して骨格推定を適用する場合には、図５に例示するように、例えば色別や形状別の複数のマーカｍをバイブレータＢの各部位に取り付けることが望ましい。解析部３３は、バイブレータＢに取り付けられた各マーカｍの位置を認識することで、バイブレータＢの位置、姿勢又は動きを推定することが可能である。なお、バイブレータにマーカｍを取り付けなくても、画像から人工知能で人と物とを同時に認識することにより対象作業員及びその作業員が保持している物の行動や動作の同時推定及び解析がリアルタイムで可能なことから、バイブレータに対するマーカｍは必須要件ではない。

特定部３４は、バイブレータによってコンクリートに振動が与えられているか否か（以下、加振の有無という）を特定する。具体的には、特定部３４は、バイブレータに対する通電のオン又はオフを表す信号に基づいて加振の有無を特定してもよいし、上記画像データにおいてバイブレータ画像オブジェクトの先端がコンクリートに挿入されているか否かに基づいて加振の有無を特定してもよいし、その両方を加味して加振の有無を特定してもよい。バイブレータに対する通電のオン又はオフを表す信号に基づいて加振の有無を特定する場合、バイブレータから通電オンオフ信号が例えば無線により締固め作業解析装置３０に送信されるようになっており、取得部３１がこのオンオフ信号を取得する。

判断部３５は、解析部３３による作業者画像オブジェクト及びバイブレータ画像オブジェクトの解析結果と、特定部３４により特定された加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断する。この判断は、記憶部３６に格納された学習モデルを用いて行われる。

この学習モデルは、モデル生成部３７により、例えばニューラルネットワークによる教師あり学習に従って生成される。具体的には、モデル生成部３７は、バイブレータ画像オブジェクト及び／又は作業者画像オブジェクトの位置、姿勢又は動きを表すデータを含むデータ群と、バイブレータによる加振の有無を表すデータ群とを説明変数とし、コンクリートに対する締固めが行われているか否かを表すデータ群を目的変数とした教師データに基づき機械学習を行うことで、学習モデルを生成する。学習モデル生成時においては、作業員が締固めを行う様子を撮像して、バイブレータ画像オブジェクト及び／又は作業者画像オブジェクトの位置、姿勢又は動きを表すデータを含むデータ群（説明変数）を得るとともに、バイブレータの通電のオン又はオフを表す信号に基づいて加振の有無を表すデータ群（説明変数）を得る。さらに、このときコンクリートに対する締固めが行われているか否かを表すデータ（目的変数）を、作業者又はその作業の観察者等が所定の操作でシステム１に入力する。これにより、説明変数及び目的変数のセットからなる教師データが生成される。

コンクリートの打設現場では、鉄筋や障害物が多数あるので、バイブレータに対する画像認識だけでは、そのバイブレータがコンクリートに挿入されているか否かを正確に識別することは難しいことがある。これに対し、上記学習モデルによれば、バイブレータ及び／又は作業者に対する画像認識を行ってこれらバイブレータ及び作業者の位置、姿勢又は動きを説明変数としているので、締固め作業を行うときの作業者に特有の位置、姿勢や動きに応じて、締固めの有無を正確に識別することが可能となる。また、コンクリートの打設現場では、バイブレータがコンクリートに挿入されていたとしても、バイブレータによる加振が行われていない、つまり、締固め作業が行われていないことがある。さらに、バイブレータがコンクリートに挿入されていない状態でバイブレータのスイッチがオンで振動していることもあるが、このときも、締固め作業が行われていないことになる。従って、上記学習モデルによれば、バイブレータがコンクリートに挿入されており、且つ、バイブレータによる加振が行われているときに、コンクリートに対する締固めが行われていることを正確に判断することができる。なお、バイブレータ及び作業者に対する画像については、多箇所、多方向に撮像装置を設置しておき、これら複数の撮像装置より同一対象物に対する多方向から画像を取得し統合することもできるため、特定の撮像装置と対象物との間に鉄筋や他の障害物があったとしてもこれらバイブレータ及び作業者の位置、姿勢又は動きを認識できる。

記憶部３６は、モデル生成部３７により生成された学習モデルを格納する。判断部３５は、解析部３３による解析結果（つまり、バイブレータ画像オブジェクト及び／又は作業者画像オブジェクトの位置、姿勢又は動作を表すデータ）と、特定部３４により特定された加振の有無とを説明変数として学習モデルに入力し、その結果、学習モデルから出力される、締固めの有無に関するデータ（目的変数）を得る。

推定部３８は、判断部３５による判断結果に基づいて、締固めが行われたコンクリート領域を推定する。さらに、推定部３８は、判断部３５による判断結果に基づいて、締固めが行われていないと推定されたコンクリート領域や、推定部３８により締固めの程度が不十分と推定されたコンクリート領域を推定する。

表示部３９は、推定部３８により締固めが行われたと推定されたコンクリート領域と、推定部３８により締固めが行われていないと推定されたコンクリート領域と、推定部３８により締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を作業者又は管理者が視認可能に表示する。なお、表示部が表示するいずれかの領域は、平面形状、断面形状又は立体形状の少なくともいずれかの形状で表示される。

警告部４０は、判断部３５によって判断される締固めの程度が不十分であり、コンクリートの充填度合いを満たさないおそれがあるときに作業者又は管理者に対して警告を行う。この警告は、表示部３９による表示、又は、作業者もしくは管理者に対する音声出力によって行われる。

座標変換部４１は、締固めが行われたと推定されたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を、ＣＩＭ（Construction Information Modeling/Management）又はＢＩＭ（Building Information Modeling）において利用可能な三次元座標値データに変換する。

出力部４２は、座標変換部４１によるいずれかの領域の変換後の三次元座標値を、ＣＩＭにおいて利用可能なＣＩＭデータ、又は、ＢＩＭにおいて利用可能なＢＩＭデータとして出力する。

［動作］
次に、本実施形態の動作について説明する。図６に示す処理が開始される時点において、モデル生成部３７により生成された学習モデルが記憶部３６に記憶されているものとする。また、図６に示す処理においては、バイブレータに対する通電のオン又はオフを表す信号に基づいて、バイブレータによる加振の有無が特定されるものとする。

まず、コンクリートの打設現場において締固め作業が行われる期間にわたって、撮像装置１０ａ，１０ｂにより撮像が行われる。このとき、この打設現場には、鉄筋や障害物が多数あるので、現場の複数個所にそれぞれ異なる複数の撮像方向を撮像するように設置された撮像装置１０ａ，１０ａ・・・と、複数の作業員に取り付けられた撮像装置１０ｂ，１０ｂ・・・とを用いることで、撮像範囲に欠落が無いようにしている。つまり、撮像装置１０ａは打設現場全体において、主に、各作業員やバイブレータの位置を識別するための撮像を行う。締固め作業を行う作業員の周囲にいる作業員に取り付けられた撮像装置１０ｂは、主に、締固め作業を行う作業員やその作業員が持つバイブレータの姿勢や動きを識別するための撮像を行う。締固め作業を行う作業員自身に取り付けられた撮像装置１０ｂは、主に、その作業員が持つバイブレータの姿勢や動きを識別するための撮像を行う。このようにして撮像された複数の画像データは各撮像装置１０ａ，１０ｂから締固め作業解析装置３０に送信される。同時に、バイブレータに対する通電のオン又はオフを表す信号がバイブレータから締固め作業解析装置３０に送信される。締固め作業解析装置３０の取得部３１は、これらのデータ又は信号を取得する（図６ステップＳ１１）。

次に、締固め作業解析装置３０の抽出部３２は、取得された画像データから作業者画像オブジェクト及びバイブレータ画像オブジェクトとともに、コンクリート表面に相当する画像オブジェクトを抽出する（ステップＳ１２）。このとき、抽出部３２は、撮像位置及び／又は撮像方向が異なる複数の撮像装置１０ａ，１０ａ，・・・又は、１０ｂ，１０ｂ・・・によってそれぞれ撮像された複数の画像データから、それぞれ同一対象の作業者画像オブジェクト及びバイブレータ画像オブジェクトを抽出する。抽出部３２は、同一対象の作業者画像オブジェクト及びバイブレータ画像オブジェクトを識別するために、図７に例示するように、複数の撮像装置１０ａ，１０ａ・・・が設置された位置の三次元座標値と、これら撮像装置１０ａ，１０ａの撮像時の方向角Θと、これら撮像装置１０ａ、１０ａ・・・が撮像した画像データが示す画像内の特異点Ｍの三次元座標値とを用いる。ここでいう画像データが示す画像内の特異点Ｍとは、例えばコンクリートの打設現場に設けられている外観に特徴がある構造物や、特異点であることを意味するマーカ等で、例えばＡＲ（Augmented Reality）マーカであっても構わない。これらの三次元座標値や方向角は予め、締固め作業解析装置３０に入力されて記憶されている。

次に、締固め作業解析装置３０の解析部３３は、抽出部３２により抽出された作業者画像オブジェクト及びバイブレータ画像オブジェクトに対する骨格推定を行って、作業者画像オブジェクト及びバイブレータ画像オブジェクトの位置、姿勢又は動きを解析する（ステップＳ１３）。これにより、バイブレータについては、図８に例示するように、或る時刻Ｔ１におけるバイブレータの挿入状態と、或る時刻Ｔ２におけるバイブレータの挿入状態との差から、コンクリート内に挿入されたバイブレータの長さが算出される。このとき、抽出部３２により抽出された同一対象の作業者画像オブジェクト及び同一対象のバイブレータ画像オブジェクトが重畳された状態でこの解析が行われる。これにより、同一対象の作業者画像オブジェクト及び同一対象のバイブレータ画像オブジェクトについて重複して解析がなされることはないようになっている。

次に、締固め作業解析装置３０の特定部３４は、バイブレータに対する通電のオン又はオフを表す信号に基づいて、バイブレータによる加振の有無を特定する（ステップＳ１４）。なお、特定部３４は、上記画像データにおいてバイブレータ画像オブジェクトの先端がコンクリートに挿入されているか否かに基づいて加振の有無を特定してもよいし、その両方を加味して加振の有無を特定してもよい。これにより、加振の開始時刻と終了時刻が特定され、この差分がバイブレータによる加振時間となる。

次に、締固め作業解析装置３０の判断部３５は、解析部３３によるバイブレータ画像オブジェクト及び／又は作業者画像オブジェクトの解析結果と、特定部３４により特定された加振の有無とを学習モデルに入力して、撮像された作業者及びバイブレータの位置においてコンクリートに対する締固め作業が適切か否かを判断する（ステップＳ１５）。

次に、締固め作業解析装置３０の推定部３８は、判断部３５による判断結果に基づいて、締固めが行われたコンクリート領域を推定する（ステップＳ１６）。

次に、締固め作業解析装置３０の表示部３９は、推定部３８により締固めが行われたと推定されたコンクリート領域と、推定部３８により締固めが行われていないと推定されたコンクリート領域と、推定部３８により締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を作業者又は管理者が視認可能となるように表示する（ステップＳ１７）。このとき、座標変換部４１は、前述したように、撮像装置１０ａ，１０ｂが設置された位置の三次元座標値と、撮像装置１０ａ，１０ｂの撮像時の方向角と、撮像装置１０ａ，１０ｂが取得した画像データ内の特異点の三次元座標値とを用いて、三次元座標値への変換を行う。表示部３９はこの三次元座標値に基づいて、各領域を３次元表示する。

ここで、図９は、締固め作業解析装置がコンクリートの締固めの領域を表示するときの表示例を示す図である。これらの領域は、事前に用意されたＣＩＭモデル又はＢＩＭモデルと統合され、締固めが行われる区域の平面形状、断面形状又は立体形状の少なくともいずれかの形状によって、それぞれ異なる色で表示される。このとき、この色別の領域のいずれかを選択する操作を行うと、締固めが行われた日時、加振時間、及び、その締固め３次元座標値が表示されるようになっている。さらにこのとき、締固め作業解析装置３０の警告部４０は、判断部３５によって判断される締固めの程度が不十分であり、所定の締固め作業が行われていないおそれがあるときに作業者又は管理者に対して警告を行う。例えば加振時間が長くなると、コンクリートの材料分離を生じる可能性があるため、警告部４０は、適切な加振時間を到達する前に警告を行うようにしてもよい。

さらに、締固め作業解析装置３０の出力部４２は、座標変換部４１によるいずれかの領域の変換後の三次元座標値を、ＣＩＭにおいて利用可能なＣＩＭデータ（又はＢＩＭにおいて利用可能なＢＩＭデータ）として外部装置に出力する。これにより、外部装置において三次元表示による締固め作業の管理を行うことができる。ここで、図１０は、外部装置においてバイブレータの挿入個所を表示するときの表示例を示す図である。図１０においては、予めＣＩＭモデル化された鉄筋の配筋位置とともに締固め位置が表示されている。図１０の例では、鉄筋Ｃの配筋位置、径及びピッチと、バイブレータの短手方向（水平断面）の断面面積とに基づいて、バイブレータが鉄筋に接触しないような挿入箇所Ａを、締固めのための挿入可能位置として表示している。

上述した実施形態によれば、バイブレータに加えて作業者に対する画像解析をも行うので、バイブレータのみで画像解析する場合と比較して、締固め作業によるコンクリートの充填度合いをより高い精度で推定することが可能となる。また、ＣＩＭ又はＢＩＭにおいて締固めの状態を３次元で可視化することが可能となる。

［変形例］
上述した実施形態を以下のように変形してもよい。
推定部３８は、判断部３５による判断結果に加えて、バイブレータの属性及び／又はコンクリートの属性に基づいて、締固めが行われたコンクリート領域を推定するようにしてもよい。具体的には、推定部３８は、バイブレータの属性（大きさや加振範囲、加振強度性能等）やコンクリートの属性（成分や充てん性（振動締固めを加えた場合の流動性と材料分離抵抗性との相互作用により得られる性能））と、適切な加振時間とを対応付けて記憶しておき、打設現場におけるバイブレータの属性及び／又はコンクリートの属性とバイブレータの加振時間との関係から、締固めが行われたコンクリート領域を推定する。

コンクリートの打設現場では同時に複数の位置にて締固めが行われることがある。そこで、抽出部２７は、画像データから同時に作業をしている複数の作業者に相当する複数の作業者画像オブジェクトおよび複数のバイブレータに相当する複数のバイブレータ画像オブジェクトを抽出し、各作業者画像オブジェクトとバイブレータ画像オブジェクトを紐づけし、判断部３５は、複数の作業者画像オブジェクト及び複数のバイブレータ画像オブジェクトの解析結果と、バイブレータごとに特定された加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断するようにしてもよい。

１０ａ，１０ｂ：撮像装置、２０：ネットワーク、３０：締固め作業解析装置、３００１：プロセッサ、３００２：メモリ、３００３：ストレージ、３００４：通信装置、３００５：入力装置、３００６：出力装置、３１：取得部、３２：抽出部、３３：解析部、３４：特定部、３５：判断部、３６：モデル生成部、３７：記憶部、３８：推定部、３９：表示部、４０：警告部、４１：座標変換部、４２：出力部、ｓ：部位、Ｈ：人体、ｍ：マーカ、Ｂ：バイブレータ、Ｍ：マーカ、Ｘ：画像オブジェクト、Θ：方向角、Ｃ：鉄筋、Ａ：バイブレータの挿入箇所。

Claims

作業者と、バイブレータと、前記作業者が前記バイブレータを持ってコンクリートの締固め作業を行う空間とを撮像した画像データを取得する取得部と、
前記画像データから、前記作業者に相当する作業者画像オブジェクト及び前記バイブレータに相当するバイブレータ画像オブジェクトを抽出する抽出部と、
抽出された前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを解析する解析部と、
前記バイブレータによる加振の有無を特定する特定部と、
前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの解析結果と、特定された前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断する判断部と
を備える締固め作業解析装置。
前記判断部による判断結果に基づいて締固めが行われたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とを推定する推定部と、
前記推定部による推定に基づき、締固めが行われたと推定されたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を視認可能に表示する表示部と
を備える請求項１記載の締固め作業解析装置。
前記取得部は、ステレオカメラ又は複数の単眼カメラによって撮像された前記画像データを取得する
を備える請求項１又は２記載の締固め作業解析装置。
前記表示部は、前記いずれかの領域を、平面形状、断面形状又は立体形状の少なくともいずれかの形状で表示する
請求項２に記載の締固め作業解析装置。
前記推定部は、
前記判断部による判断結果に加えて、前記バイブレータの属性及び／又は前記コンクリートの属性に基づいて、締固めが行われたコンクリート領域を推定する
請求項２又は４に記載の締固め作業解析装置。
前記解析部は、前記作業者画像オブジェクトに対する骨格推定を行って、当該作業者画像オブジェクトの位置、姿勢又は動きを解析する
請求項１～５のいずれか１項に記載の締固め作業解析装置。
前記解析部は、前記作業者画像オブジェクトに加え、前記バイブレータ画像オブジェクトに対する骨格推定を行って、当該バイブレータ画像オブジェクトの位置、姿勢又は動きを解析する
請求項６に記載の締固め作業解析装置。
前記抽出部は、前記画像データから同時に作業をしている複数の前記作業者に相当する複数の前記作業者画像オブジェクトおよび前記バイブレータに相当する複数の前記バイブレータ画像オブジェクトを抽出し、
前記判断部は、複数の前記作業者画像オブジェクト及び複数の前記バイブレータ画像オブジェクトの解析結果と、特定された複数のバイブレータごとの前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断する
請求項１～７のいずれか１項に記載の締固め作業解析装置。
前記特定部は、前記画像データにおいて前記バイブレータ画像オブジェクトの先端がコンクリートに挿入されているか否かに基づいて前記加振の有無を特定する
請求項１～８のいずれか１項に記載の締固め作業解析装置。
前記特定部は、前記バイブレータに対する通電のオン又はオフを表す信号に基づいて前記加振の有無を特定する
請求項１～９のいずれか１項に記載の締固め作業解析装置。
前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの位置、姿勢又は動きを表すデータ群と、前記バイブレータによる加振の有無を表すデータ群とを説明変数とし、コンクリートに対する締固めが行われているか否かを表すデータ群を目的変数とした教師データに基づき機械学習を行うことで、学習モデルを生成するモデル生成部を備え、
前記判断部は、生成された前記学習モデルを用いて、コンクリートに対する締固めが行われているか否かを判断する
請求項１～１０のいずれか１項に記載の締固め作業解析装置。
前記画像データは、撮像位置及び／又は撮像方向が異なる複数の撮像装置によってそれぞれ撮像された複数の画像データであり、
前記取得部は、前記複数の撮像装置から前記画像データを取得し、
前記抽出部は、前記複数の画像データからそれぞれ同一対象の前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを抽出し、
前記解析部は、複数の画像データからそれぞれ抽出された前記同一対象の作業者画像オブジェクト及び前記同一対象のバイブレータ画像オブジェクトを重畳して解析する
請求項１～１１のいずれか１項に記載の締固め作業解析装置。
前記画像データは動画データである
請求項１～１２のいずれか１項に記載の締固め作業解析装置。
前記判断部によって判断される締固めの程度が所定の品質に満たないおそれがあるときに警告を行う警告部
を備える請求項１～１３のいずれか１項に記載の締固め作業解析装置。
前記警告部による警告が、表示部による表示又は前記作業者に対する音声によって行われる
請求項１４に記載の締固め作業解析装置。
締固めが行われたと推定されたコンクリート領域と、締固めが行われていないと推定されたコンクリート領域と、締固めの程度が不十分と推定されたコンクリート領域とのうち、少なくともいずれかの領域を三次元座標値に変換する座標変換部と、
前記座標変換部による変換後のいずれかの領域の三次元座標値を、ＣＩＭ（Construction Information Modeling/Management）データ又はＢＩＭ（Building Information Modeling）データとして出力する出力部を備える
請求項２に記載の締固め作業解析装置。
前記座標変換部は、前記複数の撮像装置が設置された位置の三次元座標値と、前記複数の撮像装置の撮像時の方向角と、前記複数の撮像装置が取得した画像データ内の特異点の三次元座標値とを用いて、前記三次元座標値への変換を行う
請求項１６に記載の締固め作業解析装置。
作業者と、バイブレータと、前記作業者が前記バイブレータを持ってコンクリートの締固め作業を行う空間と、を撮像した画像データを取得するステップと、
前記画像データから、前記作業者に相当する作業者画像オブジェクト及び前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、
抽出された前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを解析するステップと、
前記バイブレータによる加振の有無を特定するステップと、
前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの解析結果と、特定された前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断するステップと
を備える締固め作業解析方法。
コンピュータに、
作業者と、バイブレータと、前記作業者が前記バイブレータを持ってコンクリートの締固め作業を行う空間と、を撮像した画像データを取得するステップと、
前記画像データから、前記作業者に相当する作業者画像オブジェクト及び前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、
抽出された前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトを解析するステップと、
前記バイブレータによる加振の有無を特定するステップと、
前記作業者画像オブジェクト及び前記バイブレータ画像オブジェクトの解析結果と、特定された前記加振の有無とに基づいて、コンクリートに対する締固めが行われているか否かを判断するステップと
を実行させるためのプログラム。