JP2019049121A - 施工管理装置および施工管理方法 - Google Patents

Abstract

【課題】任意の時点または地点における地形の三次元データを計算する。【解決手段】選択部は、作業機械に設けられた撮像装置によって撮像された複数の画像対の中から、処理対象となる対象画像対を選択する。ステレオ計測部は、選択された前記対象画像対を撮像した前記撮像装置に係るカメラパラメータを用いて、選択された前記対象画像対から地形を表す三次元データを生成する。【選択図】図３

Description

本発明は、施工管理装置および施工管理方法に関する。

特許文献１に開示されているように、作業機械に取り付けられた撮像装置が一対の画像を撮像し、当該作業機械が備える計算機がこれに基づいて地形を表す三次元データを生成する技術が知られている。

特開２０１７−０７１９１５号公報

撮像装置が撮像した画像に基づいて、所定の期間内（例えば、施工開始時点からある過去の時点まで）に施工した土工量を算出したいという要望がある。土工量を算出するためには、過去に撮影された複数の画像の対から、計測対象となる時点および地点における地形の三次元データを計算する必要がある。
本発明の態様は、任意の時点または地点における地形の三次元データを計算できる施工管理装置および施工管理方法を提供することを目的とする。

本発明の第１の態様によれば、施工管理装置は、作業機械に設けられた少なくとも１つの撮像装置対によって撮像された複数の画像対の中から、処理対象となる少なくとも１つの対象画像対を選択する選択部と、選択された前記対象画像対を撮像した前記撮像装置対に係るカメラパラメータを用いて、選択された前記対象画像対から地形を表す三次元データを計算するステレオ計測部とを備える。

上記態様によれば、施工管理装置は、任意の時点または地点における地形の三次元データを計算できる。

第１の実施形態に係る施工管理システムの構成図である。 第１の実施形態に係る油圧ショベルの外観を示す斜視図である。 第１の実施形態に係る油圧ショベルの制御装置の構成を示す概略図である。 第１の実施形態に係る施工管理装置の構成を示す概略図である。 画像記憶部による画像対の管理方式を表す例である。 第１の実施形態に係る施工管理装置の動作を示すフローチャートである。 第２の実施形態に係る施工管理装置の動作を示すフローチャートである。 第３の実施形態に係る施工管理装置の構成を示す概略図である。 第４の実施形態に係る施工管理装置の構成を示す概略図である。

〈第１の実施形態〉
《施工管理システムの構成》
図１は、第１の実施形態に係る施工管理システムの構成図である。
施工管理システム１は、複数の油圧ショベル１００と、施工管理装置２００とを備える。施工管理システム１は、油圧ショベル１００による施工現場の施工状態を管理するシステムである。油圧ショベル１００と施工管理装置２００とは、ネットワークを介して接続されている。

油圧ショベル１００は、施工現場において掘削や盛土などの作業を行う。また油圧ショベル１００は、少なくとも１つの撮像装置対によって構成されるステレオカメラを備え、視差を有する少なくとも１対の画像を撮像する。以下、ステレオカメラが撮像する画像の対を画像対ともいう。画像対は、施工管理装置２００に送信される。油圧ショベル１００は、作業機械の一例である。他の実施形態においては、油圧ショベル１００でない作業機械がステレオカメラを備えてもよい。

施工管理装置２００は、油圧ショベル１００から施工現場が写る画像対を受信し、油圧ショベル１００のＩＤと、撮像時刻とに関連付けて画像対を管理する。施工管理装置２００は、画像対をステレオ計測することで、施工現場の地形を表す点群データを生成する。施工管理装置２００は、点群データを用いて施工現場の土工量（出来高）を算出する。点群データは、三次元データの一例である。他の実施形態においては、三次元データとしてＴＩＮ（Triangulated Irregular Network：不等三角網）データ、ＤＥＭ（Digital Elevation Model：数値標高モデル）データ、ポリゴンデータ、ボクセルデータを生成してもよい。

《油圧ショベルの構成》
図２は、第１の実施形態に係る油圧ショベルの外観を示す斜視図である。
作業機械である油圧ショベル１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。

《油圧ショベルの車体》
旋回体１２０には、オペレータが搭乗する運転室１２１が備えられる。運転室１２１の上部には、ステレオカメラ１２２が設けられる。ステレオカメラ１２２は、運転室１２１内の前方かつ上方に設置される。ステレオカメラ１２２は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方を撮像する。ステレオカメラ１２２は、少なくとも１対のカメラを備える。第１の実施形態においては、ステレオカメラ１２２は、２対の撮像装置を備える。すなわち、ステレオカメラ１２２は、４個の撮像装置を備える。具体的には、ステレオカメラ１２２は、右側から順に、第１カメラ１２２１、第２カメラ１２２２、第３カメラ１２２３、および第４カメラ１２２４を備える。各撮像装置の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。

第１カメラ１２２１と第３カメラ１２２３は、撮像装置対である。第１カメラ１２２１と第３カメラ１２２３は、それぞれ光軸が運転室１２１の床面に対して略平行となるように、左右方向に間隔を空けて設置される。
第２カメラ１２２２と第４カメラ１２２４は、撮像装置対である。第２カメラ１２２２と第４カメラ１２２４は、それぞれ光軸が略平行となるように、かつその光軸が運転室１２１の床面に対して運転室１２１前方より下方向に傾くように、左右方向に間隔を空けて設置される。

ステレオカメラ１２２のうち少なくとも１つの撮像装置対が撮像した１対の画像（画像対）を用いることで、ステレオカメラ１２２と撮像対象との距離を算出することができる。なお、他の実施形態においては、ステレオカメラ１２２は、１対のカメラによって構成されてもよいし、３対以上のカメラによって構成されてもよい。

《油圧ショベルの制御系》
油圧ショベル１００は、ステレオカメラ１２２、位置方位演算器１２３、傾斜検出器１２４、制御装置１２５を備える。

位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から測位信号を受信する第１受信器１２３１および第２受信器１２３２を備える。第１受信器１２３１および第２受信器１２３２は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、第１受信器１２３１が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（車体座標系の原点）の位置を検出する。ＧＮＳＳの例としては、ＧＰＳ（Global Positioning System）が挙げられる。
位置方位演算器１２３は、第１受信器１２３１が受信した測位信号と、第２受信器１２３２が受信した測位信号とを用いて、検出された第１受信器１２３１の設置位置に対する第２受信器１２３２の設置位置の関係として、旋回体１２０の向く方位を演算する。

傾斜検出器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜検出器１２４は、例えば運転室１２１の下面に設置される。傾斜検出器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。

図３は、第１の実施形態に係る油圧ショベルの制御装置の構成を示す概略図である。
制御装置１２５は、プロセッサ３１０、メインメモリ３２０、ストレージ３３０、インタフェース３４０を備えるコンピュータである。ストレージ３３０は、プログラムを記憶する。プロセッサ３１０は、プログラムをストレージ３３０から読み出してメインメモリ３２０に展開し、プログラムに従った処理を実行する。制御装置１２５は、インタフェース３４０を介してネットワークに接続される。

ストレージ３３０は、カメラパラメータ記憶部３３１としての記憶領域を有する。ストレージ３３０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ３３０は、制御装置１２５のバスに直接接続された内部メディアであってもよいし、インタフェース３４０を介して制御装置１２５に接続される外部メディアであってもよい。ストレージ３３０は、一時的でない有形の記憶媒体である。

カメラパラメータ記憶部３３１は、ステレオカメラ１２２のカメラパラメータを記憶する。カメラパラメータは、画像対によるステレオ計測に用いられるパラメータである。カメラパラメータは、例えば内部パラメータ、外部パラメータおよび車体パラメータを含む。内部パラメータは、各撮像装置の特性を示すパラメータである。内部パラメータの例としては、撮像装置の光学系の焦点距離、撮像装置の光学系の光軸とイメージセンサの撮像面との交点の位置、撮像装置レンズの半径方向の歪係数等が挙げられる。外部パラメータは、一対の撮像装置間の位置関係を示すパラメータである。外部パラメータの例としては、一対の撮像装置間の相対位置、相対姿勢（ロール角、ピッチ角、ヨー角）が挙げられる。車体パラメータは、車体座標系におけるカメラ位置を含む。車体パラメータは、車体座標系とカメラ座標系とを変換するパラメータである。

プロセッサ３１０は、プログラムの実行により、画像取得部３１１、画像送信部３１２、カメラパラメータ更新部３１３、カメラパラメータ送信部３１４を備える。
画像取得部３１１は、ステレオカメラ１２２が撮像した画像対、位置方位演算器１２３が計測した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が計測した旋回体１２０の姿勢を取得する。
画像送信部３１２は、油圧ショベル１００のＩＤ、ステレオカメラ１２２が撮像した画像対、画像対の撮像時刻、位置方位演算器１２３が計測した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が計測した旋回体１２０の姿勢を、関連付けて施工管理装置２００に送信する。
カメラパラメータ更新部３１３は、カメラパラメータ記憶部３３１が記憶するカメラパラメータを、ステレオカメラ１２２の校正がなされるたびに更新する。
カメラパラメータ送信部３１４は、カメラパラメータ記憶部３３１が記憶するカメラパラメータをカメラパラメータ更新部３１３が更新するたびに、油圧ショベルのＩＤ、当該カメラパラメータおよびその更新時刻を施工管理装置２００に送信する。

なお、制御装置１２５は、施工管理装置２００と独立して、ステレオカメラ１２２が撮像した画像対とカメラパラメータ記憶部３３１が記憶するカメラパラメータとを用いたステレオ計測を行ってもよい。

《施工管理装置２００》
図４は、第１の実施形態に係る施工管理装置の構成を示す概略図である。
施工管理装置２００は、プロセッサ２１０、メインメモリ２２０、ストレージ２３０、インタフェース２４０を備えるコンピュータである。ストレージ２３０は、施工管理プログラムＰを記憶する。プロセッサ２１０は、施工管理プログラムＰをストレージ２３０から読み出してメインメモリ２２０に展開し、施工管理プログラムＰに従った処理を実行する。施工管理装置２００は、インタフェース２４０を介してネットワークに接続される。また施工管理装置２００は、インタフェース２４０を介して図示しない入出力装置に接続される。

ストレージ２３０は、カメラパラメータ記憶部２３１、機種データ記憶部２３２、および画像記憶部２３３としての記憶領域を有する。ストレージ２３０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ２３０は、施工管理装置２００のバスに直接接続された内部メディアであってもよいし、インタフェース２４０を介して施工管理装置２００に接続される外部メディアであってもよい。ストレージ２３０は、一時的でない有形の記憶媒体である。

カメラパラメータ記憶部２３１は、油圧ショベル１００のＩＤと、当該油圧ショベル１００が備えるステレオカメラ１２２のカメラパラメータの更新時刻とに関連付けて、カメラパラメータを記憶する。つまり、カメラパラメータ記憶部２３１は、複数の時刻のそれぞれに関連付けて、当該時刻における撮像装置対に係るカメラパラメータを記憶する。カメラパラメータは、各油圧ショベル１００に設けられたステレオカメラ１２２毎に異なる。また同一のステレオカメラ１２２であっても校正作業を実施するたびにカメラパラメータは更新される。カメラパラメータ記憶部３３１は、油圧ショベル１００のＩＤ毎に、また校正作業の実施毎（更新時刻毎）に、それぞれカメラパラメータを記憶する。カメラパラメータ記憶部３３１は、ディレクトリ構造を有するファイルシステムによってカメラパラメータを記憶することができる。例えば、カメラパラメータ記憶部３３１は、施工現場ごとに分けられた現場ディレクトリを記憶する。カメラパラメータ記憶部３３１は、各現場ディレクトリの配下に当該施工現場に配備される油圧ショベル１００ごとに分けられた機械ディレクトリを記憶する。カメラパラメータ記憶部３３１は、各機械ディレクトリの配下に更新時刻別に当該油圧ショベル１００のカメラパラメータを記憶する。

機種データ記憶部２３２は、油圧ショベル１００の機種に関連付けて、当該機種における第１受信器１２３１および第２受信器１２３２の設置位置などの機種固有データを記憶する。上述したとおり、第１受信器１２３１の位置は、現場座標系における旋回体１２０の代表点（車体座標系の原点）である。つまり、機種固有データは、現場座標系と車体座標系とを変換するためのパラメータとすることができる。これにより、施工管理装置２００は、油圧ショベル１００の機種によってＧＮＳＳの受信アンテナの設置位置が異なるなどの機種ごとの相違を補償することができる。

画像記憶部２３３は、油圧ショベル１００のＩＤと撮像時刻とに関連付けて、当該油圧ショベル１００が備えるステレオカメラ１２２が当該撮像時刻に撮像した画像対を記憶する。また画像対は、当該撮像時刻における油圧ショベル１００の位置方位演算器１２３が計測した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が計測した旋回体１２０の姿勢を、関連付けて格納する。

図５は、画像記憶部による画像対の管理方式を表す例である。
画像記憶部２３３は、図５に示すように、ディレクトリ構造を有するファイルシステムによって画像対を記憶することができる。例えば、画像記憶部２３３は施工現場ごとに分けられた現場ディレクトリを記憶する。画像記憶部２３３は、各現場ディレクトリの配下に当該施工現場に配備される作業機械ごとに分けられた機械ディレクトリを記憶する。画像記憶部２３３は、各機械ディレクトリの配下に当該作業機械が撮像した画像対を記憶する。各画像対は、属性情報として、時刻、位置、方位、および姿勢を格納する。他方、画像記憶部２３３は、データベースによって画像対を記憶してもよい。この場合、画像記憶部２３３は、施工現場のＩＤ、油圧ショベル１００のＩＤ、撮像時刻、画像対、位置、方位、および姿勢を、関連付けて格納する。

プロセッサ２１０は、施工管理プログラムＰの実行により、作業前データ入力部２１１、リスト指示部２１２、選択部２１３、カメラパラメータ取得部２１４、ステレオ計測部２１５、統合部２１６、土工量算出部２１７を備える。

作業前データ入力部２１１は、利用者から作業前の施工現場の形状を表す三次元データである作業前データの入力を受け付ける。作業前データの例としては、起工時にドローンによる写真測量によって生成された施工現場の形状を表す点群データや、起工時にレーザスキャナによって生成された施工現場の形状を表す点群データが挙げられる。作業前データは、点群データに限られず、例えばＴＩＮデータなどの面データであってもよい。作業前データは、予めストレージ２３０に記憶しておいてもよいし、他のコンピュータからネットワークを介して転送されてもよい。作業前とは、施工現場における施工を開始する前の時点（起工時）であってもよいし、施工途中のある時点であってもよい。

リスト指示部２１２は、利用者から土工量の算出に用いられる画像対の選択指示を受け付ける。利用者は、例えば、インタフェース２４０を介して接続される入力装置や、ネットワークを介して接続される他のコンピュータを用いて指示を入力する。リスト指示部２１２は、画像記憶部２３３が記憶する複数の画像対のリストを利用者に提示する。このとき、リスト指示部２１２は、利用者から土工量の算出対象となる期間の終了日の入力を受け付け、起工日から入力された終了日までに撮像された複数の画像対のリストを、利用者に提示してもよい。利用者は、提示されたリストの中から、土工量の算出に用いる画像対を特定する。例えば、利用者は、画像記憶部２３３が記憶する複数の画像対の中から、作業後の施工現場が写る複数の画像対を選択する。リスト指示部２１２は、利用者から特定された画像対の選択指示を受け付ける。作業後とは、施工途中のある時点であってもよいし、施工現場における施工が設計データと同様の形状になるまで施工された時点（完工時）であってもよい。

選択部２１３は、リスト指示部２１２が受け付けた選択指示に従って、画像記憶部２３３が記憶する複数の画像対の中から、土工量の算出に用いられる画像対を選択する。以下、選択部２１３が選択した画像対を対象画像対、または１つの対象画像対という。また、作業後の施工現場が写る対象画像対を、作業後画像対という。
つまり、選択部２１３は、油圧ショベル１００に設けられたステレオカメラ１２２によって撮像された複数の画像対の中から、処理対象となる少なくとも１つの対象画像対を選択する。処理対象とは、ステレオ計測に用いられる画像対をいう。対象画像対とは、処理対象として選択された画像対をいう。

カメラパラメータ取得部２１４は、選択された対象画像対を撮像した油圧ショベル１００を特定し、当該油圧ショベル１００に係る最新のカメラパラメータを、カメラパラメータ記憶部２３１から取得する。カメラパラメータ取得部２１４は、各対象画像対に関連付けられた油圧ショベル１００のＩＤを画像記憶部２３３から読み出し、当該ＩＤに関連付けられ、かつ最も新しい更新時刻に関連付けられたカメラパラメータを、カメラパラメータ記憶部２３１から取得する。
つまり、カメラパラメータ取得部２１４はカメラパラメータ記憶部２３１から、対象画像対に関連するカメラパラメータを取得する。なお、「取得する」とは、新たに値を得ることである。例えば、「取得する」は、値を受信すること、値の入力を受け付けること、テーブルから値を読み出すこと、ある値から他の値を算出することを含む。

ステレオ計測部２１５は、選択部２１３が選択した対象画像対について、カメラパラメータ取得部２１４が取得したカメラパラメータを用いてステレオ計測を行うことで、地形を表す点群データを算出する。点群データは、例えば現場座標系の三次元位置を示す複数の点からなる三次元データである。つまり、ステレオ計測部２１５は、選択された対象画像対を撮像したステレオカメラ１２２に係るカメラパラメータを用いて、選択された対象画像対から地形を表す三次元データを計算する。
ステレオ計測部２１５は、選択部２１３が選択した作業後画像対についてステレオ計測を行うことで、点群データを算出する。以下、作業後画像対から求められた点群データを、作業後点群データという。

統合部２１６は、選択部２１３が複数の対象画像対を選択した場合に、ステレオ計測部２１５が生成した複数の点群データを１つの点群データに統合する。以下、統合部２１６が統合した点群データを、統合点群データという。統合点群データは、統合三次元データの一例である。つまり、統合部２１６は、複数の三次元データに基づいて統合三次元データを計算する。統合部２１６は、複数の作業後点群データを統合し、作業後統合点群データを生成する。
統合部２１６は、統合点群データの密度を所定密度まで減らす。例えば、統合部２１６は、二次元平面を所定幅で分割した複数の区間それぞれについて、当該区間に存在する複数の点のうち高さの中央値に相当する点を代表点として抽出することで、統合点群データの密度を減らす。なお、他の実施形態に係る統合部２１６は、複数の区間それぞれについて、当該区間に存在する複数の点のうち最下点を代表点として抽出する等、その他の手法を用いて代表点を抽出してもよい。
統合部２１６は、例えば統合点群データにＴＩＮ（Triangulated Irregular Network：不等三角網）を配置することで、地形を表す面データを生成する。面データは、統合三次元データの一例である。統合部２１６は、作業後統合点群データにＴＩＮを配置し、作業後データを生成する。

土工量算出部２１７は、作業前データ入力部２１１によって入力された作業前データと、統合部２１６によって生成された作業後データとの差分を土工量として算出する。このとき、土工量算出部２１７は、作業後データが作業前データより上に位置する部分の体積を盛土量として算出する。土工量算出部２１７は、作業後データが作業前データより下に位置する部分の体積を掘削量として算出する。土工量の算出方法の例としては、メッシュ法、三角柱法、プリズモイダル法、平均断面法などが挙げられる。

《施工管理方法》
図６は、第１の実施形態に係る施工管理装置の動作を示すフローチャートである。
作業前データ入力部２１１は、利用者から作業前の施工現場の形状を表す三次元データである作業前データの入力を受け付ける（ステップＳ１）。例えば、利用者は、ドローンによる写真測量により予め作業前データを取得しておき、当該作業前データを他のコンピュータから施工管理装置２００にアップロードする。作業前データがＴＩＮデータでない場合（例えば、点群データである場合）、作業前データ入力部２１１は、入力された作業前データにＴＩＮを配置してもよい。

また、リスト指示部２１２は、利用者から土工量の算出対象となる期間の入力を受け付ける（ステップＳ２）。次に、リスト指示部２１２は、画像記憶部２３３が記憶する複数の画像対のうち、算出対象となる期間内の時刻に関連付けられた画像対のリスト（例えば、サムネイルリスト）を生成し、当該リストを利用者に提示する（ステップＳ３）。次に、リスト指示部２１２は、利用者に提示したリストの中から作業後の施工現場が写る１つもしくは複数の画像対の指定を受け付ける（ステップＳ４）。選択部２１３は、利用者からの指定に基づいて、画像記憶部２３３が記憶する複数の画像対の中から、１つもしくは複数の作業後画像対を選択する（ステップＳ５）。

カメラパラメータ取得部２１４は、選択された作業後画像対に関連付けられた油圧ショベル１００のＩＤを、画像記憶部２３３から取得する（ステップＳ６）。カメラパラメータ取得部２１４は、読み出した各ＩＤに関連付けられ、かつ最も新しい更新時刻に作成されたカメラパラメータを、それぞれカメラパラメータ記憶部２３１から取得する（ステップＳ７）。

ステレオ計測部２１５は、選択部２１３が選択した作業後画像対について、当該作業後画像対に関連するカメラパラメータと、当該作業後画像対に関連付けて画像記憶部２３３に記憶された油圧ショベル１００の位置、方位および姿勢と、当該油圧ショベル１００の機種に係る機種固有データとを用いてステレオ計測を行うことで、作業後点群データを算出する（ステップＳ８）。

選択部２１３によって複数の作業後画像対が選択された場合、統合部２１６は、複数の作業後点群データを統合し、複数の作業後点群データを構成する複数の点からなる作業後統合点群データを生成する（ステップＳ９）。統合部２１６は、二次元平面を所定幅で分割した複数の区間それぞれについて、作業後統合点群データを構成する点であって、当該区間に存在する複数の点のうち高さの中央値に相当する点を、代表点として抽出することで、作業後統合点群データの密度を減らす（ステップＳ１０）。統合部２１６は、密度を減らした作業後統合点群データにＴＩＮを配置し、作業後データを生成する（ステップＳ１１）。
そして、土工量算出部２１７は、作業前データと作業後データとの差分を土工量として算出する（ステップＳ１２）。

《活用例》
ここで、第１の実施形態に係る施工管理装置２００の利用場面について説明する。施工管理装置２００による土工量の計算は、例えば施工現場の施工途中の段階において、起工時からの施工の進捗を判断するために実行される。以下、施工の形態別に施工管理装置２００の利用方法を説明する。

（施工形態Ａ）
施工現場の施工において、段階的に掘削や盛土がなされる場合、施工現場の地形は日々変化する、すなわち掘削であれば地形が切り下がっていき、盛土であれば地形が盛り上がっていく。この施工形態の場合、油圧ショベル１００のオペレータが定期的に（例えば毎日）施工現場の現況地形をステレオカメラ１２２にて撮像することで、画像記憶部２３３には一定期間ごとに最新の現況地形を表す画像対が記憶される。このとき、施工管理装置２００が一定期間ごとに撮像された画像対をそれぞれステレオ計測することで、一定期間ごとの現況地形の三次元データ（作業後データ）が、例えばストレージ２３０内に記憶される。この施工形態においては、管理者が、ステップＳ４において、リストのうち算出対象の期間の終了日に係る画像対を指定することで、施工管理装置２００は、算出対象の期間の終了日の地形を特定することができる。

（施工形態Ｂ）
施工現場の施工が、施工現場の領域ごとに逐次的に完了されていく場合、例えば所定距離の法面成形において、施工対象領域の一端から順に法面を成形していく場合には、日を追うごとに完了された領域が広がっていく。この施工形態の場合、オペレータは、対象の領域の施工が完了するたびに、その領域をステレオカメラ１２２で撮像する。それにより、画像記憶部２３３には、領域ごとに最新の現況地形を表す画像対記憶される。このとき、各画像対の撮像日は異なることとなる。この施工形態においては、管理者が、ステップＳ４において、リストのうち算出対象の期間内の画像対から土工量を算出する領域に対応する画像対のみを指定することで、施工管理装置２００は、算出対象の期間の終了日の地形を特定することができる。

《作用・効果》
このように、第１の実施形態に係る施工管理装置２００は、ステレオカメラ１２２によって撮像された複数の画像対の中から、処理対象となる対象画像対を選択し、選択された対象画像対を撮像したステレオカメラ１２２に係るカメラパラメータを用いて、地形を表す三次元データを計算する。これにより、施工管理装置２００は、任意の時点または地点における地形の三次元データを計算できる。

また、第１の実施形態に係る施工管理装置２００は、複数の画像対のリストを利用者に提示し、当該リストから処理対象となる対象画像対の選択を受け付ける。これにより、上記タイプＢに係る利用場面において、施工対象を完成させた時点の画像対のみを選択することができる。したがって、第１の実施形態に係る施工管理装置２００は、適切な計測結果に基づいて土工量を算出することができる。

また、第１の実施形態に係る施工管理装置２００は、複数の対象画像対から計算された複数の点群データに基づいて統合点群データを生成する。これにより、施工管理装置２００は、１台のステレオカメラ１２２の撮像範囲より広い範囲の地形を表す点群データを生成することができる。このとき、施工管理装置２００は、複数の点群データに基づいて、二次元平面を分割した複数の区画それぞれの代表点を抽出することで、統合点群データの密度を減らすことができる。特に、第１の実施形態に係る施工管理装置２００は、各区画について、複数の点群データを構成する複数の点であってその区画に存在する点のうち、高さの中央値に相当する点を前記代表点として抽出することで、統合点群データを計算する。これにより、施工管理装置２００は、統合点群データを構成する点の座標値を変更することなく、適切に統合点群データの密度を減らすことができる。

また、第１の実施形態に係る施工管理装置２００は、統合点群データから面データを生成し、異なる時刻に係る面データの差に基づいて土工量を算出する。これにより、施工管理装置２００は、任意の期間における任意の地点の土工量を計算できる。なお、他の実施形態においては、統合点群データ同士の差や、統合点群データから生成された他の統合三次元データ（例えば、ＤＥＭ、ポリゴンデータ、ボクセルデータ）同士の差に基づいて土工量を算出してもよい。

《変形例》
なお、第１の実施形態に係るカメラパラメータ記憶部２３１は、油圧ショベル１００のＩＤと更新時刻とに関連付けて、当該油圧ショベル１００が備えるステレオカメラ１２２の当該更新時刻におけるカメラパラメータを記憶するが、これに限られない。例えば、他の実施形態に係るカメラパラメータ記憶部２３１は、複数の油圧ショベル１００について最新のカメラパラメータだけを記憶してもよい。

また、第１の実施形態に係るリスト指示部２１２は、画像対のリストを提示し、当該リストから画像対の選択指示を受け付けるが、これに限られない。例えば、他の実施形態に係るリスト指示部２１２は、位置情報または時刻情報のリストを提示し、当該リストから位置情報または時刻情報の指示を受け付けることで、位置情報または時刻情報に関連付けられた画像対の選択指示を受け付けてもよい。

また、第１の実施形態に係るリスト指示部２１２は、土工量の算出対象の期間の入力を受け付け、当該期間に係る画像対のリストを提示するが、これに限られない。例えば、他の実施形態に係るリスト指示部２１２は、土工量の算出対象の期間の入力を受け付けず、画像記憶部２３３が記憶するすべての画像対のリストを提示してもよい。

〈第２の実施形態〉
第１の実施形態に係る施工管理装置２００は、カメラパラメータ記憶部２３１に記憶された油圧ショベル１００のステレオカメラ１２２に係る複数のカメラパラメータの内、最新のカメラパラメータを用いてステレオ計測を行う。例えば定期的にカメラパラメータを更新することとした場合、画像対の撮像後にカメラパラメータの校正がなされたとすると、校正後のパラメータを用いて点群データを生成することができるので、計測誤差の小さい計測結果を用いて土工量を計算することができる。一方、画像対の撮像後にステレオカメラ１２２が何らかの理由により動いてしまい、そのずれに対応するためにカメラパラメータの校正がなされる可能性がある。この場合には、最新のカメラパラメータを用いてステレオ計測すると、ステレオカメラがずれた後のカメラパラメータに基づいて、ステレオカメラがずれる前に撮像した画像対を用いてステレオ計測することになるため、適切に点群データを求められない可能性がある。そこで、第２の実施形態に係る施工管理装置２００は、画像対の撮像時点におけるカメラパラメータを用いてステレオ計測を行う。

第２の実施形態に係る施工管理装置２００は、第１の実施形態とカメラパラメータ取得部２１４の動作が異なる。第２の実施形態に係るカメラパラメータ取得部２１４は、選択された対象画像対を撮像した油圧ショベル１００を特定し、当該油圧ショベル１００に係る対象画像対の撮像時点のカメラパラメータを、カメラパラメータ記憶部２３１から取得する。カメラパラメータ取得部２１４は、各対象画像対に関連付けられた油圧ショベル１００のＩＤと撮像時刻とを画像記憶部２３３から読み出し、当該ＩＤに関連付けられ、かつ当該撮像時刻の直前の更新時刻に関連付けられたカメラパラメータを、カメラパラメータ記憶部２３１から取得する。

《施工管理方法》
図７は、第２の実施形態に係る施工管理装置の動作を示すフローチャートである。
作業前データ入力部２１１は、利用者から作業前の施工現場の形状を表す三次元データである作業前データの入力を受け付ける（ステップＳ２１）。また、リスト指示部２１２は、利用者から土工量の算出対象となる期間の入力を受け付ける（ステップＳ２２）。次に、リスト指示部２１２は、画像記憶部２３３が記憶する複数の画像対のうち、算出対象となる期間内の時刻に関連付けられた画像対のリストを生成し、当該リストを利用者に提示する（ステップＳ２３）。次に、リスト指示部２１２は、利用者から作業後の施工現場が写る１つもしくは複数の画像対の指定を受け付ける（ステップＳ２４）。選択部２１３は、利用者からの指定に基づいて、画像記憶部２３３が記憶する複数の画像対の中から、１つもしくは複数の作業後画像対を選択する（ステップＳ２５）。

カメラパラメータ取得部２１４は、各作業後画像対に関連付けられた油圧ショベル１００のＩＤおよび撮像時刻を、それぞれ画像記憶部２３３から読み出す（ステップＳ２６
）。カメラパラメータ取得部２１４は、読み出した各ＩＤに関連付けられ、かつ読み出した撮像時刻の直前の更新時刻に関連付けられたカメラパラメータを、それぞれカメラパラメータ記憶部２３１から取得する（ステップＳ２７）。

そして、施工管理装置は、ステップＳ２８からステップＳ３２の処理を実行する。ステップＳ２８からステップＳ３２の処理は、それぞれ第１の実施形態のステップＳ１８からステップＳ３２の処理と同じである。

《作用・効果》
このように、第２の実施形態に係る施工管理装置２００は、カメラパラメータ記憶部２３１から、対象画像対の撮像時刻の直前の更新時刻に係るカメラパラメータ、すなわち撮像時刻時点におけるカメラパラメータを取得し、これに基づいて点群データを求める。これにより、施工管理装置２００は、例えば画像対の撮像後にステレオカメラ１２２が動かされた場合にも、適切に点群データを求めることができる。

《変形例》
なお、他の実施形態に係る施工管理装置２００は、撮像時刻に最も近い更新時刻に係るカメラパラメータを取得し、これに基づいて点群データを求めてもよい。例えば、更新時刻が１月１日のカメラパラメータＡと、更新時刻が２月１日のカメラパラメータＢとがカメラパラメータ記憶部２３１に記憶されており、画像対の撮像時刻が１月３１日である場合、施工管理装置２００は、カメラパラメータＢに基づいて点群データを求めてもよい。また他の実施形態に係る施工管理装置２００は、撮像時刻の前後の更新時刻に係る複数のカメラパラメータによって求められるカメラパラメータに基づいて点群データを求めてもよい。また他の実施形態に係る施工管理装置２００は、撮像時刻の直後の更新時刻に係るカメラパラメータに基づいて点群データを求めてもよい。
撮像時刻の直前の更新時刻に係るカメラパラメータ、撮像時刻の直後の更新時刻に係るカメラパラメータ、撮像時刻に最も近い更新時刻に係るカメラパラメータ、および撮像時刻の前後の更新時刻に係る複数のカメラパラメータによって求められるカメラパラメータは、いずれも対象画像対の撮像時刻に関連するカメラパラメータの一例である。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
上述した実施形態においては、油圧ショベル１００の制御装置１２５が画像対を施工管理装置２００に送信し、施工管理装置２００が受信した画像対に基づいて点群データを算出するが、これに限られない。例えば、他の実施形態においては、油圧ショベル１００の制御装置１２５が、ステレオカメラ１２２が撮像した画像対とカメラパラメータ記憶部３３１が記憶するカメラパラメータを用いて点群データを算出し、制御装置１２５が当該点群データを施工管理装置２００に送信してもよい。その場合、ストレージ２３０が画像記憶部２３３と同様の役割を果たす記憶部を備え、カメラパラメータ記憶部３３１は、カメラパラメータの更新ごとに更新日時とともにカメラパラメータを複数記憶する。ただし、画像対は、点群データと比較してデータ量が小さいため、上述した実施形態のように画像対を施工管理装置２００に送信することで、通信負荷および記憶容量を低減することができる。

また、上述した実施形態に係る施工管理装置２００は、統合点群データの密度を減らしたうえで土工量を算出するが、これに限られない。例えば、施工管理装置２００は、統合点群データの密度を減らさずに統合点群データのすべての点を用いて土工量を算出してもよい。

また、上述した実施形態に係る施工管理装置２００は、油圧ショベル１００と別個のコンピュータであるが、これに限られない。例えば、他の実施形態に係る施工管理装置２００は、油圧ショベル１００の制御装置１２５に実装されるものであってもよい。つまり、他の実施形態においては、油圧ショベル１００の制御装置１２５が点群データの統合や土工量の算出を行ってもよい。

また、上述した実施形態に係る施工管理装置は、画像対に基づいて生成された複数の点群データのみを利用して統合点群データを生成するが、これに限られない。例えば、他の実施形態に係る施工管理装置２００は、画像対に基づいて生成された点群データに加えて、無人航空機（ドローン）を用いた空中写真測量、レーザスキャナによる測量、および作業機１１０の刃先位置の測定結果、作業機械の履帯位置の測定結果等の他の手段に基づいて生成された点群データも利用して統合点群データを生成してもよい。

また、上述した実施形態に係る施工管理装置２００は、作業前データと作業後データという異なる時点に係る２つの三次元データ（統合三次元データ）を用意し、当該２つの三次元データの差に基づいて土工量を算出するが、これに限られない。例えば、作業前データは、画像対をステレオ計測することによって算出された三次元データであってもよい。つまり２つの三次元データの両方が、画像対によって算出されたものであってもよい。また、作業後データは、作業後画像対によらずに算出されたものであってもよい。例えば、作業後データは、ＣＡＤ（Computer Aided Design）によって生成された三次元データや、空中写真測量、レーザスキャナによる測量、および作業機１１０の刃先位置の測定結果、作業機械の履帯位置の測定結果等の他の手段に基づいて生成された三次元データであってもよい。

図８は、第３の実施形態に係る施工管理装置の構成を示す概略図である。
上述した実施形態に係る施工管理装置２００は、複数の画像対のリストを利用者に提示し、当該リストから処理対象となる対象画像対の選択を受け付けるようにしたが、この実施形態に限られない。例えば、第３の実施形態に係る施工管理装置２００は、図８に示すように、リスト指示部２１２に代えてまたはリスト指示部２１２に加えて、日時指示部２１８を備えてもよい。また第３の実施形態に係る施工管理装置２００は、三次元データ記憶部２３４の記憶領域をストレージ２３０上に確保する。

第３の実施形態に係るステレオ計測部２１５は、上記の施工形態Ａのように一定期間毎（例えば毎日）に撮像された画像対から点群データを生成し、統合部２１６は生成された点群データを統合して三次元データを生成する。統合部２１６は、生成した三次元データを日時に関連付けて三次元データ記憶部２３４に記憶させる。

日時指示部２１８は、利用者から日時の入力を受け付け、入力された日時に関連付けられた三次元データを三次元データ記憶部２３４から読み出す。例えば、日時指示部２１８は、作業前の日時と作業後の日時の入力を受け付け、作業前の三次元データと作業後の三次元データとを読み出す。日時指示部２１８は、利用者から日付の入力を受け付けてもよい。その場合、日付は日時の一例である。
土工量算出部２１７は、日時指示部２１８が読み出した作業前の三次元データと作業後の三次元データとに基づいて土工量を計算する。
第３の実施形態に係る施工管理装置２００によれば、上述した施工形態Ａのような場合に、容易に土工量計算を行うことができる。

図９は、第４の実施形態に係る施工管理装置の構成を示す概略図である。他の実施形態に係る施工管理装置２００は、図９に示すように、リスト指示部２１２に代えてまたはリスト指示部２１２に加えて、領域指示部２１９を備えてもよい。

領域指示部２１９は、利用者から施工対象の領域の入力を受け付ける。例えば、領域指示部２１９は、施工現場において複数の座標の入力により当該座標で閉じた領域の入力を受け付ける。
この場合、選択部２１３は、画像記憶部２３３が記憶する複数の画像対のうち、領域指示部２１９が指定した領域に関連する位置に関連付けられた画像対を選択することができる。指定した領域に関連する位置の例としては、指定した領域に含まれる位置が挙げられる。第４の実施形態に係る施工管理装置２００によれば、上述した施工形態Ｂのような場合に、各法面の完成した際に撮像した画像対を利用者が１つずつ選択することなく、画像対の位置情報に基づいて法面の画像対を選択することができる。

また、他の実施形態においては、施工管理装置２００は、リスト指示部２１２、日時指示部２１８、および領域指示部２１９の少なくとも１つを備えてもよい。この場合、選択部２１３は、指示されたすべての条件を満たす画像対、または指示された条件のうち少なくとも１つを満たす画像対を選択することができる。

上述した実施形態に係る土工量算出部２１７は、ＴＩＮデータである作業前データと作業後データとの差分を土工量として算出するが、これに限られない。例えば、他の実施形態に係る土工量算出部２１７は、点群データどうしの比較により、土工量を算出してもよい。

上述した実施形態に係る油圧ショベル１００は、撮像装置対を備えるステレオカメラ１２２を用いて画像対を撮像するが、これに限られない。例えば、他の実施形態に係るステレオカメラ１２２は、１つのステレオ撮影可能な撮像装置からなるものであってもよい。この場合、ステレオカメラ１２２は、１つの撮像装置で、異なる２つの位置から異なるタイミングで対象を撮像することで、画像対を撮像することができる。すなわち、油圧ショベル１００は、撮像装置対を用いて画像対を撮像してもよいし、１つの撮像装置を用いて画像対を撮像してもよい。つまり、画像対は、１対の撮像装置によって同時に撮像された画像対であってもよいし、１つの撮像装置によって異なるタイミングでステレオ撮像された画像対であってもよい。なお、ステレオカメラ１２２が１つのステレオ撮影可能な撮像装置からなる場合、カメラパラメータは、内部パラメータと車体パラメータを含み、外部パラメータを含まない。つまり、「撮像装置」は、撮像装置対および１つのステレオ撮影可能な撮像装置を含む。

上述した実施形態に係る施工管理装置２００においては、施工管理プログラムＰがストレージ２３０に格納される場合について説明したが、これに限られない。例えば、他の実施形態においては、施工管理プログラムＰが通信回線によって施工管理装置２００に配信されるものであってもよい。この場合、配信を受けた施工管理装置２００が当該施工管理プログラムＰをメインメモリ２２０に展開し、上記処理を実行する。

また、施工管理プログラムＰは、上述した機能の一部を実現するためのものであってもよい。例えば、施工管理プログラムＰは、上述した機能をストレージ２３０に既に記憶されている他の施工管理プログラムＰとの組み合わせ、または他の装置に実装された他の施工管理プログラムＰとの組み合わせで実現するものであってもよい。

また、施工管理装置２００は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ２１０によって実現される機能の一部または全部が当該ＰＬＤによって実現されてよい。

１…施工管理システム １００…油圧ショベル １２２…ステレオカメラ １２３…位置方位演算器 １２４…傾斜検出器 １２５…制御装置 ２００…施工管理装置 ２１０…プロセッサ ２２０…メインメモリ ２３０…ストレージ ２４０…インタフェース ２１１…作業前データ入力部 ２１２…リスト指示部 ２１３…選択部 ２１４…カメラパラメータ取得部 ２１５…ステレオ計測部 ２１６…統合部 ２１７…土工量算出部 日時指示部２１８ 領域指示部２１９ ２３１…カメラパラメータ記憶部 ２３２…機種データ記憶部 ２３３…画像記憶部 ２３４…三次元データ記憶部

本発明の第１の態様によれば、施工管理装置は、施工現場に配置される撮像装置を備えた複数の作業機械を用いて前記施工現場の三次元データを生成する施工管理装置であって、前記複数の作業機械における各撮像装置に関連付けられた複数のカメラパラメータを記憶するカメラパラメータ記憶部と、前記複数の作業機械に設けられた撮像装置によって撮像された複数の画像対の中から、利用者からの入力に基づいて、処理対象となる対象画像対を選択する選択部と、前記カメラパラメータ記憶部が記憶する複数のカメラパラメータのうち、選択された前記対象画像対を撮像した作業機械における前記撮像装置に係るカメラパラメータを用いて、選択された前記対象画像対から前記対象画像対を撮像した作業機械の周辺の地形を表す三次元データを生成するステレオ計測部とを備える。

Claims (7)

1. 作業機械に設けられた撮像装置によって撮像された画像対の中から、処理対象となる対象画像対を選択する選択部と、
   選択された前記対象画像対を撮像した前記撮像装置に係るカメラパラメータを用いて、選択された前記対象画像対から作業機械の周辺の地形を表す三次元データを生成するステレオ計測部と
   を備える施工管理装置。
2. 複数の時刻のそれぞれに関連付けて、当該時刻における前記撮像装置に係るカメラパラメータを記憶するカメラパラメータ記憶部と、
   前記カメラパラメータ記憶部から、前記対象画像対の撮像時刻に関連する前記カメラパラメータを取得するカメラパラメータ取得部と
   を備え、
   前記ステレオ計測部は、取得された前記カメラパラメータを用いて、選択された前記対象画像対から前記三次元データを生成する
   請求項１に記載の施工管理装置。
3. 前記画像対に関連付けて、前記撮像装置と撮像時刻とを記憶する画像記憶部を備え、
   前記選択部は、前記画像記憶部が記憶する前記画像対の中から、前記対象画像対を選択する
   請求項１または請求項２に記載の施工管理装置。
4. 日時の入力を受け付ける日時指定部と、
   複数の日時に関連付けて三次元データを記憶する三次元データ記憶部と
   を備え、
   前記選択部は、前記三次元データ記憶部が記憶する複数の三次元データの中から、前記日時指定部に入力された日時に関連付けられた前記三次元データを選択する
   請求項１から請求項３のいずれか１項に記載の施工管理装置。
5. 施工対象の領域の入力を受け付ける領域指示部を備え、
   前記選択部は、前記画像対の中から、前記領域指示部に入力された領域に関連する位置で撮像された前記対象画像を選択する
   請求項１から請求項４のいずれか１項に記載の施工管理装置。
6. 作業機械に設けられた撮像装置に係るカメラパラメータであって、複数の時刻における前記撮像装置に係る複数のカメラパラメータを記憶するカメラパラメータ記憶部と、
   前記複数のカメラパラメータの中から、前記撮像装置によって撮像された画像対の撮像時刻に関連するカメラパラメータを取得するカメラパラメータ取得部と、
   前記画像対と、取得した前記カメラパラメータを用いて、作業機械の周辺の地形を表す三次元データを生成するステレオ計測部と、
   を備える施工管理装置。
7. 作業機械に設けられた撮像装置によって撮像された画像対の中から、処理対象となる対象画像対を選択するステップと、
   選択された前記対象画像対を撮像した前記撮像装置に係るカメラパラメータを用いて、選択された前記対象画像対から作業機械の周辺の地形を表す三次元データを生成するステップと
   を有する施工管理方法。

Images