JP2020143476A - 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム - Google Patents

Abstract

【課題】作業機械に備えられた撮像装置を利用し、作業現場の効率を向上させる。【解決手段】ショベル１００は、ショベル１００の周辺の画像を撮影する撮像装置４０と、コントローラ３０を備える。コントローラ３０は、撮像装置４０の撮像範囲が、ショベル１００の周辺における予め指定された所定の被写体領域を含んだ場合に、撮像装置４０により画像を撮影する。【選択図】図３

Description

本発明は、作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラムに関する。

従来、例えばショベルなどの作業機械において、カメラを搭載して周辺を撮影するものが知られている（例えば、特許文献１参照）。

特開２０１９−０１５１７４号公報

作業現場の作業効率を向上させることが望まれる。

本発明は、作業機械に備えられた撮像装置を利用し、作業現場の効率を向上させることを目的とする。

本発明は、作業機械に搭載された作業機械用画像取得装置であって、
前記作業機械の周辺の画像を撮影する撮像手段と、
前記撮像手段の撮像範囲が、前記作業機械の周辺における予め指定された所定の被写体領域を含んだ場合に、前記撮像手段により画像を撮影する撮像制御手段と、を備える。

また、本発明は、上記の作業機械用画像取得装置がそれぞれ搭載された複数の作業機械を備えて構成される情報管理システムであって、
前記複数の作業機械は、
互いに情報を送受信可能な通信機器をそれぞれ有するとともに、
画像を撮影する撮像条件と、撮影された画像とを、前記通信機器により互いに送受信して共有する。

また、本発明は、上記の作業機械用画像取得装置が搭載された少なくとも１つの作業機械と、前記少なくとも１つの作業機械との間で情報を送受信可能な情報管理装置と、を備えて構成される情報管理システムであって、
前記情報管理装置は、前記少なくとも１つの作業機械で撮影された複数の画像を受信するとともに、当該複数の画像を時系列に並べて動画にする。

また、本発明は、上記の作業機械用画像取得装置が搭載された作業機械との間で情報を送受信可能な情報端末であって、
前記作業機械で撮影された複数の画像を受信するとともに、当該複数の画像を表示手段に一覧表示又は連続的に表示させる。

また、本発明は、作業機械に搭載された作業機械用画像取得装置が実行する作業機械用画像取得プログラムであって、
前記作業機械の周辺の画像を撮影する撮像手段を備える前記作業機械用画像取得装置を、
前記撮像手段の撮像範囲が、前記作業機械の周辺における予め指定された所定の被写体領域を含んだ場合に、前記撮像手段により画像を撮影する撮像制御手段、
として機能させる。

本発明によれば、作業機械に備えられた撮像装置を利用し、作業現場の効率を向上させることができる。

本発明の実施形態に係るショベルの側面図である。 図１のショベルのシステム構成を示すブロック図である。 画像撮影処理の流れを示すフローチャートである。 画像撮影処理における撮像条件を説明するための図である。 画像撮影処理における撮像条件を説明するための図である。 画像撮影処理において撮影された画像例を示す図である。 本発明の実施形態の変形例における情報管理システムのシステム構成を示すブロック図である。 図７の情報管理システムでのショベルの動作を説明するための図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

［ショベルの構成］
まず、本実施形態に係るショベル１００の構成について説明する。ショベル１００は、本発明に係る作業機械の一例であり、本発明に係る作業機械用画像取得装置を具備することにより、作業対象の画像を好適に取得して作業進捗を記録できるように構成されている。

図１は、本実施形態に係るショベル１００の側面図である。
この図に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメントとしてのブーム４、アーム５及びバケット６と、オペレータが搭乗するキャビン１０とを備える。アタッチメントは、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。

下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。

図２は、ショベル１００のシステム構成を示すブロック図である。
この図に示すように、ショベル１００は、上記構成のほか、コントローラ３０と、撮像装置４０と、動作・姿勢状態センサ４２と、位置センサ４３と、方位センサ４４と、操作装置４５と、表示装置５０と、音声出力装置６０と、通信機器８０とを備える。本発明に係る画像取得装置は、コントローラ３０、撮像装置４０、動作・姿勢状態センサ４２、位置センサ４３、方位センサ４４及び通信機器８０を含んで構成される。

撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。
後方カメラ４０Ｂは、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。
左側方カメラ４０Ｌは、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。
右側方カメラ４０Ｒは、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。
これら後方カメラ４０Ｂ、左側方カメラ４０Ｌ及び右側方カメラ４０Ｒの各々は、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。
後方カメラ４０Ｂ、左側方カメラ４０Ｌ及び右側方カメラ４０Ｒは、上部旋回体３の上面に取り付けられてもよい。これらカメラ４０Ｂ、４０Ｌ、４０Ｒは、上部旋回体３の側面端部からは突出しない態様で、上部旋回体３の一部が写りこむように、光軸が斜め下方を向くように取り付けられてもよい。
撮像したい対象と上部旋回体３の一部とが同時に画像として取得されるので、撮像画像は、ショベル１００に設けられたカメラを用いて取得された画像であることが直観的に判別できる。また、撮像したい対象とショベル１００との距離感も直観的に理解できる。

動作・姿勢状態センサ４２は、ショベル１００の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ３０に出力する。動作・姿勢状態センサ４２は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ（ＩＭＵ：Inertial Measurement Unit）と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、ＩＭＵで取得される加速度（速度、位置も含んでもよい）により代替されてもよい。
アーム角度センサは、ブーム４を基準とするアーム５の回動角度（以下、「アーム角度」と称する）を検出する。
バケット角度センサは、アーム５を基準とするバケット６の回動角度（以下、「バケット角度」と称する）を検出する。
ＩＭＵは、ブーム４及びアーム５の各々に取り付けられ、所定の三軸に沿ったブーム４及びアーム５の加速度、及び、所定の三軸廻りのブーム４及びアーム５の角加速度を検出する。
旋回角度センサは、上部旋回体３の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体３に設けられたＧＰＳやＩＭＵセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体３の旋回軸から離れた位置に取り付けられ、上部旋回体３の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体３が旋回しているのか、或いは、下部走行体１が走行しているのか等が判別されうる。

位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＰＳ（Global Positioning System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＰＳ受信機でなくともよく、例えばＧＰＳ以外の衛星測位システムを利用するものであってもよい。位置センサ４３は、下部走行体１に設けられてもよく、上部旋回体３に設けられていてもよい。

方位センサ４４は、ショベル１００が向いている方位（方向）の情報を取得するセンサであり、例えば地磁気センサである。方位センサ４４は、ショベル１００の方位の情報を取得して、コントローラ３０に出力する。なお、方位センサ４４は、ショベル１００の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばＧＰＳを２つ設け、その位置情報から方位情報を取得してもよい。

操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが各動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、動作・姿勢状態センサ４２、位置センサ４３、方位センサ４４、表示装置５０、音声出力装置６０、通信機器８０等の操作を行う、各種設定手段を含む操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。

表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。

音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。

通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワーク（例えば、基地局を末端とする携帯電話ネットワークやインターネット網等）を通じて、遠隔の外部機器や他のショベル１００等と各種情報を送受信する通信デバイスである。

コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。

また、コントローラ３０は、各種機能を実行する機能部として、対象検出部３０１と、状態検出部３０２と、情報取得部３０３と、画像記録部３０４と、情報通信部３０５とを含む。さらに、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域としての記憶部３１０を含む。

対象検出部３０１は、撮像装置４０による撮像画像に基づき、ショベル１００の周辺の検出対象を検出する。具体的に、対象検出部３０１は、既知の各種画像処理手法や機械学習ベースの識別器等を適用することにより、撮像画像内の検出対象を認識すると共に、認識した検出対象の実在位置や寸法を特定する。検出対象は、ショベル１００の作業対象である。ただし、検出対象には、作業者等の人、他の作業機械や車両、仮置きされる工材等を含んでもよい。

状態検出部３０２は、ショベル１００の各種状態（動作状態、制御状態等）に関連する情報を、ショベル１００に搭載される各種センサ（例えば、撮像装置４０、動作・姿勢状態センサ４２、位置センサ４３、方位センサ４４、操作装置４５等）、各種アクチュエータ（例えば、油圧制御を行う電磁弁等）、各種制御装置（例えば、コントローラ３０の他の機能部等）から取得する。例えば、状態検出部３０２は、位置センサ４３及び方位センサ４４によりショベル１００の位置及び方位を取得でき、バケット６の動作や負荷を検出することによりショベル１００の掘削動作を検出できる。

情報取得部３０３は、ショベル１００が行う作業に関連する作業関連情報を取得し、記憶部３１０に格納する。作業関連情報とは、作業情報、日時情報、天候情報、位置情報、機体情報、オペレータ情報等である。
作業情報には、作業（工事）名や作業場所、作業内容、ショベルのオーナー、作業の下請け業者、中間業者、作業に関連するエンドユーザ等の情報を含めることができる。情報取得部３０３は、例えばオペレータによる操作装置４５を通じた入力操作に基づいて、作業情報を取得する。
日時情報には、日付、曜日、時刻が含まれる。情報取得部３０３は、コントローラ３０内の計時手段（例えばＲＴＣ（Real Time Clock））により、日時情報を取得する。
天候情報は、ショベル１００が作業している場所及び日時における天候の情報であり、晴れ、曇り、雨、雪等の天気区分に関する情報を含む。情報取得部３０３は、通信機器８０を通じて、天候に関するサーバやウェブサイトから所望の天候情報を取得する。あるいは、情報取得部３０３は、照度センサや雨滴感知センサ等を含み、これらのセンサにより出力される照度や雨の有無等に基づき、天候情報を取得してもよい。
位置情報は、ショベル１００の位置の情報であって、その経度及び緯度に関する情報を含む。また、位置情報は、さらに高度の情報を含んでもよいし、ＧｅｏＨａｓｈ等のジオコード情報であってもよい。情報取得部３０３は、位置センサ４３により位置情報を取得する。
機体情報は、ショベル１００を特定するための当該ショベル１００の識別情報であり、例えば、予め規定される機械番号、ショベルＩＤ等である。情報取得部３０３は、例えば、記憶部３１０等に予め記録されている機械番号等を読み出すことで、機体情報を取得する。
オペレータ情報は、ショベル１００を操縦しているオペレータを特定するための当該オペレータの識別情報であり、予め規定されるオペレータＩＤ等である。情報取得部３０３は、例えばオペレータによる操作装置４５を通じた入力操作に基づいて、オペレータ情報を取得する。
作業関連情報（作業情報、日時情報、天候情報、位置情報、機体情報、オペレータ情報等）は、操作装置４５を通じた入力操作（直接情報を入力するか、予め設定情報から選択するでもよい）や、通信技術や情報処理技術を用いて自動的に取得されてもよい。
作業関連情報は互いに関連付けられて記憶されてもよい。

画像記録部３０４は、撮像装置４０により取得された検出対象（作業対象）の画像を、対象画像情報３１０１として記憶部３１０に記録する。このとき、画像記録部３０４は、作業関連情報や、作業対象までの距離や寸法が分かる図形等を、記録する画像に埋め込んでもよい。

情報通信部３０５は、予め規定された通知条件が成立すると、通信機器８０を制御し、外部機器や他のショベル１００との間で所定の情報を送受信する。

［ショベルの動作］
続いて、画像を撮影して作業進捗を記録する画像撮影処理を実行する際のショベル１００の動作について説明する。ショベル１００に設けられた撮像装置４０を利用して作業進捗を取得することが出来れば、別途、撮像装置を用意せずにすみ、また、作業進捗を人手で撮像するプロセスを省略でき、現場の作業効率が向上する。
図３は、この画像撮影処理の流れを示すフローチャートであり、図４及び図５は、画像撮影処理における撮像条件を説明するための図であり、図６は、撮影された画像例を示す図である。

画像撮影処理は、コントローラ３０が内部の記憶装置に格納されたプログラムをＣＰＵ上で実行することにより、実行される。
画像撮影処理が実行されると、図３に示すように、まずコントローラ３０は、画像を撮影する撮像条件として、ショベル１００の位置及び撮像装置４０の方向に関する条件を、作業に先立って予め設定する（ステップＳ１）。
具体的に、コントローラ３０は、図４（ａ）に示すように、オペレータの操作に基づいて、画像を撮影する撮像装置４０の撮像位置Ｐと撮像方向Ｄとを設定する。撮像位置Ｐは、経度及び緯度（あるいは、さらに高度）の情報により設定され、撮像方向Ｄは、方位角（あるいは、さらに俯仰角）の情報により設定される。これら撮像位置Ｐ及び撮像方向Ｄは、基準の絶対位置及び絶対方位に対する相対位置及び相対方位としてもよい。また、撮像位置Ｐ及び撮像方向Ｄには、それぞれ任意の範囲（例えば、位置は半径５ｍ以内、方向は方位５度以内など）を設定できるようになっている。オペレータは、ショベル１００の作業対象Ｔが画像内に含まれるように、撮像位置Ｐと撮像方向Ｄを適宜設定する。コントローラ３０は、設定された撮像位置Ｐ及び撮像方向Ｄを含む撮像条件を、記憶部３１０に記録する。
オペレータは、所定の地図上で位置と方位を設定することが出来る。この場合、オペレータは地図全体を俯瞰しつつ作業進捗を確認したい場所を指定することが出来る。また、現場監督や作業現場の管理者が指定してもよい。この場合、地図上での指定はショベル１００の外部（タッチパネルや、管理端末等）で指定し、その情報をショベル１００に送信することもできる。

なお、ステップＳ１で設定される撮像条件は、撮像装置４０の撮像位置Ｐと撮像方向Ｄを含むものに限定されない。撮像条件は、撮像装置４０の撮像範囲が、ショベル１００の周辺における予め指定された、所定の被写体領域を含んだ場合に、当該撮像装置４０により画像が撮影されるものであればよい。撮像装置４０の撮像範囲が被写体領域を含んだ場合とは、撮像装置４０の位置と方向のうちの少なくとも１つが、予め指定された所定の位置又は所定の方位と一致（所定の範囲内に含まれる場合を含む）した場合である。この撮影条件により、作業対象を含む所望の被写体領域の画像を撮影することができる。
この撮影条件の設定は、上述した撮像位置Ｐや撮像方向Ｄの設定と同様に行ってもよいし、例えば図５に示すように、表示装置５０に表示させた地図Ｍ上において所望の被写体領域Ｂを指定することで行ってもよい。この場合、撮像装置４０の撮像位置Ｐは指定してもよいし、指定しなくてもよい。なお、図５の例では扇状の被写体領域Ｂを図示しているが、被写体領域Ｂの形状は特に限定されない。また、この被写体領域Ｂの指定はショベル１００の外部（タッチパネルや、管理端末等）で行って、その情報をショベル１００に送信してもよい。

また、ステップＳ１での条件設定時におけるショベル１００の位置や撮像装置４０の方向は特に限定されない。例えば、ショベル１００が撮像位置Ｐから離れた位置にある状態で撮像条件を設定してもよい。ただし、撮像装置４０で捉えた映像を表示装置５０に表示させ、撮影すべき作業対象Ｔをオペレータが表示装置５０を通じて実際に確認したうえで、そのときのショベル１００の位置及び撮像装置４０の方向を位置センサ４３及び方位センサ４４で取得して、撮像位置Ｐ及び撮像方向Ｄとして設定することが好ましい。

また、撮像条件には、撮像装置４０の撮像位置Ｐ及び撮像方向Ｄ以外の条件を、これら撮像位置Ｐ及び撮像方向Ｄに加えてもよい。
例えば、前回の画像撮影時から所定の時間が経過したことを条件として、再び同じ作業対象Ｔ（被写体領域）の画像を撮影させるといった、時間の条件を加えてもよい。あるいは、前回の画像撮影時からショベル１００の所定の動作（例えば、所定回数の掘削動作）が検出されたことを条件として、再び同じ作業対象Ｔ（被写体領域）の画像を撮影させるといった、動作の条件を加えてもよい。さらに、これら時間の条件と動作の条件を複合させてもよい。

次に、コントローラ３０は、ショベル１００を駆動して作業を開始する（ステップＳ２）。本実施形態では、ショベル１００により、作業対象Ｔに対する掘削作業が行われる。

次に、コントローラ３０は、作業中のショベル１００における撮像装置４０の位置及び方向を取得する（ステップＳ３）。
具体的には、コントローラ３０の状態検出部３０２が、位置センサ４３により撮像装置４０の位置を取得するとともに、方位センサ４４により撮像装置４０の方向を取得する。撮像装置４０の位置とは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ及び右側方カメラ４０Ｒの各々の位置であり、位置センサ４３によりショベル１００における当該位置センサ４３の位置を取得することにより、ショベル１００（上部旋回体３）に対して既知の位置に固定されたこれら各カメラの位置が取得される。また、撮像装置４０の方向とは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ及び右側方カメラ４０Ｒの各々の方向であり、方位センサ４４によりショベル１００（上部旋回体３）の方向を取得することにより、上部旋回体３に対して既知の方向に固定されたこれら各カメラの方向が取得される。

次に、コントローラ３０は、ステップＳ３で取得したショベル１００の位置と撮像装置４０の方向とが、ステップＳ１で設定した撮像条件を満たすか否かを判定する（ステップＳ４）。
具体的に、コントローラ３０は、撮像装置４０の位置及び方向が、撮像条件である撮像位置Ｐ及び撮像方向Ｄと一致しているか否かを判定する。すなわち、いずれかの撮像装置４０の位置が撮像位置Ｐに存在し、かつ、当該いずれかの撮像装置４０の方向（本実施形態では、図４に破線で示すカメラの光軸）が撮像方向Ｄを向いているか否かが判定される。撮像位置Ｐ及び撮像方向Ｄに範囲が設定されている場合、撮像装置４０の位置及び方向がこの範囲内であるときには、撮像位置Ｐ及び撮像方向Ｄと一致していると判定される。
そして、取得した撮像装置４０の位置及び方向の少なくとも一方が撮像条件を満足しないと判定した場合（ステップＳ４；Ｎｏ）、コントローラ３０は、上述のステップＳ２へ処理を移行し、撮像条件が満たされるまで作業を続行する。

なお、上述のステップＳ１において、撮像条件に撮像位置Ｐ及び撮像方向Ｄ以外の条件が設定されていた場合には、このステップＳ４においてその条件についての判定も行う。
例えば、前回の画像撮影時からの経過時間の条件が設定されている場合には、コントローラ３０は、例えばＲＴＣにより前回の画像撮影時からの経過時間を計数し、この経過時間が所定の時間を経過しているか否かを判定する。ただし、初回の画像撮影時にはこの判定が不要であることは勿論である。
あるいは、ショベル１００の所定の動作（例えば、前回の画像撮影時からの所定回数の掘削動作）が検出された場合に画像を撮影させるといった動作の条件が設定されている場合には、コントローラ３０は、動作・姿勢状態センサ４２によりショベル１００の所定の動作が検出されるか否かを判定する。

また、ステップＳ４における撮像条件の判定（特に撮像方向Ｄの判定）は、アタッチメントによる作業後における上部旋回体３の旋回中に行うのが好ましい。
また、自己作業後の結果を記録する場合には、掘削後の上部旋回体３の旋回方向と反対側の側面のカメラを用いて撮影するのが好ましい。これにより、作業後の作業対象Ｔを確実に捉えて撮影することができる。ただし、アタッチメントや上部旋回体３に、前方を撮像する撮像装置が備えられている場合は、これに限られない。
また、撮影を行うタイミングは上部旋回体３の停止時が好ましいため、これをショベル１００の動作条件として撮像条件に組み込んでもよい。更に、下部走行体１或いはアタッチメントが停止していることを条件とすると、動作による振動が上部旋回体３に生じておらず、鮮明な画像を取得できる。

ステップＳ４において、撮像装置４０の位置及び方向が撮像条件を満たすと判定した場合（ステップＳ４；Ｙｅｓ）、コントローラ３０は、図４（ｂ）に示すように、撮像装置４０うち撮像条件を満たすいずれかのカメラ（図４（ｂ）では左側方カメラ４０Ｌ）により画像を撮影する（ステップＳ５）。

そして、コントローラ３０は、ステップＳ５で取得した画像を、対象画像情報３１０１として記憶部３１０に記録する（ステップＳ６）。
このとき、コントローラ３０の画像記録部３０４は、図６（ａ）に示すように、必要に応じて、ショベル１００が行う作業に関連する作業関連情報を画像に埋め込んだうえで、記憶部３１０に記録する。この場合、コントローラ３０の画像記録部３０４は、例えばオペレータの操作に基づいて、画像とともに記録する作業関連情報を情報取得部３０３により取得して、この作業関連情報を埋め込んだ画像を記憶部３１０に記録する。図６（ａ）の例では、作業関連情報として、工事名、作業内容、日付、作業（ショベル）ＩＤのほか、作業対象Ｔまでの距離及び作業対象Ｔの寸法が分かる図形Ｒが、画像に埋め込まれている。図形Ｒを用いる場合、コントローラ３０は、対象検出部３０１により画像から作業対象Ｔを検出し、作業対象Ｔまでの距離やその寸法を取得する。

またこのとき、コントローラ３０の画像記録部３０４は、図６（ｂ）に示すように、撮影した作業対象Ｔの画像（静止画）と、過去に撮影した作業対象Ｔの画像（静止画）とを時系列に並べたものを、まとめて対象画像情報３１０１として記憶部３１０に記録してもよい。あるいは、画像（静止画）を時系列に並べて動画を生成し、この動画を対象画像情報３１０１として記憶部３１０に記録してもよい。
これにより、作業の進捗状況（作業対象Ｔの時間変化）が分かる一連の画像又は動画を取得することができる。

次に、コントローラ３０は、ショベル１００による作業が終了したか否かを判定し（ステップＳ７）、終了していないと判定した場合には（ステップＳ７；Ｎｏ）、上述のステップＳ２へ処理を移行し、作業を続行する。これにより、作業が終了すると判定されるまで、撮像装置４０の位置及び方向の取得と、これらが撮像条件を満たすか否かの判定と、撮像条件を満たした場合の画像撮影及びその記録とが、順次実行され、繰り返される。
また、例えばオペレータによりショベル１００のエンジン等の動力源が停止されるなどして、少なくともアタッチメント等のアクチュエータを操作しても動かない状態になっている等、作業が終了したと判定した場合には（ステップＳ７；Ｙｅｓ）、コントローラ３０は、画像撮影処理を終了する。なお、蓄電手段を備える場合は、アクチュエータを操作しても動かない状態において、撮像装置４０やコントローラ３０を起動し、上述のプロセスを実行させることも可能である。

［本実施形態の技術的効果］
以上のように、本実施形態によれば、撮像装置４０の撮像範囲が、ショベル１００の周辺における予め指定された被写体領域Ｂを含んだ場合に、当該撮像装置４０により画像が撮影される。
これにより、ショベル１００に設けられた撮像装置４０を利用して作業進捗を取得することができる。したがって、別途、撮像装置を用意せずにすみ、また、作業進捗を人手で撮像するプロセスを省略できるので、現場の作業効率を向上させることができる。

また、前回画像を撮影したときから所定の時間が経過した場合に画像を撮影するという時間の条件を加えることにより、時間的な撮影頻度を規定することができる。
これにより、例えば上部旋回体３の旋回に伴って高頻度で同じ場所の撮影が行われる、といった事態を回避して、記録される画像の容量を削減することができる。

また、ショベル１００の所定の動作が検出された場合に画像を撮影するという動作の条件を加えることにより、ショベル１００の位置や姿勢だけでなく、ショベル１００の動作にも連動させて画像を取得することができる。
これにより、例えば所定回数の掘削動作毎の画像の撮影や、上部旋回体３が確実に停止してからの画像の撮影などを行うことができる。

また、作業に関連する作業関連情報を取得し、撮影された画像にこの作業関連情報を埋め込むことができるので、画像の情報量を増やすことができる。
さらに、撮影された複数の画像を時系列に並べて動画にすることにより、作業の進捗（作業対象Ｔの時間変化）が分かる動画を取得することができる。

［変形例］
続いて、上記実施形態の変形例について説明する。
本変形例は、複数のショベル１００で撮影された画像が管理サーバに蓄積される点で、上記実施形態と異なっている。なお、上記実施形態と同一の構成要素には同一の符号を付し、その説明を省略する。

図７は、本変形例における情報管理システム２００のシステム構成を示すブロック図である。
この図に示すように、情報管理システム２００は、互いに同様に構成された複数のショベル１００（本変形例では、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、…）と、管理サーバ４００と、情報端末５００とを備えて構成される。なお、図７では、ショベル１００Ａ以外のショベル１００（１００Ｂ、１００Ｃ、１００Ｄ）の構成の図示を省略している。

複数のショベル１００は、各々が備える通信機器８０により、通信ネットワーク１５０を通じて互いに各種情報を送受信可能であるとともに、管理サーバ４００及び情報端末５００の各々とも通信ネットワーク１５０を通じて各種情報を送受信可能となっている。

管理サーバ４００は、本発明に係る情報管理装置の一例であり、例えば、複数のショベル１００が作業する作業現場外に設けられる管理センタ等に設置されるサーバ装置である。この管理サーバ４００は、情報管理システム２００を運用する事業者あるいはその関連事業者が運営する自社サーバであってもよいし、いわゆるクラウドサーバであってもよい。

具体的に、管理サーバ４００は、通信機器４１０と、制御装置４２０とを備える。
通信機器４１０は、通信ネットワーク１５０を通じて、複数のショベル１００の各々と各種情報を送受信可能となっている。
制御装置４２０は、管理サーバ４００における各種動作を制御する。この制御装置４２０は、ＥＥＰＲＯＭ等の内部メモリに規定される記憶領域としての記憶部４２１を含み、当該記憶部４２１に各種情報を記憶して管理する。例えば、記憶部４２１には、各ショベル１００で撮影されて送信されてきた画像（対象画像情報３１０１）が、対象画像情報４２１０として記憶（蓄積）される。

情報端末５００は、例えば、ユーザが所持するタブレットやスマートフォンなどの携帯端末である。ユーザは、情報端末５００を通じて情報管理システム２００内の各種作業記録にアクセスし、閲覧することができる。なお、情報端末５００は、定置型或いは携帯型のコンピュータ端末であってもよい。
具体的に、情報端末５００は、通信機器５１０と、表示装置５２０と、制御装置５３０とを備える。
通信機器５１０は、通信ネットワーク１５０を通じて、複数のショベル１００の各々及び管理サーバ４００と各種情報を送受信可能となっている。表示装置５２０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作手段を兼ねるタッチパネル式であってもよい。制御装置５３０は、情報端末５００における各種動作を制御する。

図８は、情報管理システム２００におけるショベル１００の動作を説明するための図である。
情報管理システム２００では、複数のショベル１００が、直接の（又は管理サーバ４００を介した関節の）通信により、上記実施形態と同様の撮像条件を共有している。そして、複数のショベル１００の各々が上記実施形態とほぼ同様に動作しつつ、各ショベル１００が撮影した画像（対象画像情報３１０１）を管理サーバ４００に送信することで、全ての画像が管理サーバ４００に蓄積される。

例えば、図８に示すように、ショベル１００Ａが、時刻ｔ１において作業前で土が盛られた状態の作業対象Ｔを後方カメラ４０Ｂで撮影した後（図８（ａ））、時刻ｔ２において掘削を進めた状態の作業対象Ｔを右側方カメラ４０Ｒで撮影する（図８（ｂ））。撮影された画像は、通信機器４１０によりショベル１００Ａから管理サーバ４００へ順次送信される。
その後、他のショベル１００Ｂが、時刻ｔ３において掘削し終わった状態の作業対象Ｔを左側方カメラ４０Ｌで撮影した後（図８（ｃ））、時刻ｔ４において平らに均した状態の作業対象Ｔを右側方カメラ４０Ｒで撮影する（図８（ｄ））。これらの画像も、通信機器４１０によりショベル１００Ｂから管理サーバ４００へ順次送信される。
こうして、異なる複数のショベル１００で撮影された画像が管理サーバ４００において蓄積・管理される。蓄積された複数の画像は、管理サーバ４００により時系列の一連の画像又は動画にされてもよい。

情報端末５００を所持するユーザは、通信ネットワーク１５０を通じて、管理サーバ４００に蓄積された画像を閲覧することができる。この場合、情報端末５００の制御装置５３０は、通信ネットワーク１５０を通じて管理サーバ４００から複数の画像を受信して、例えば図示しない記憶部に記憶（又は一時記憶）し、当該複数の画像を表示装置５２０に一覧表示又は連続的に表示させる。

なお、各ショベル１００から管理サーバ４００に画像を送信するタイミングは、特に限定されず、例えば一連の作業が終了した後でもよい。
また、画像への作業関連情報の埋め込みは、当該画像が撮影された各ショベル１００で行ってもよいし、管理サーバ４００で行ってもよい。管理サーバ４００で行う場合には、作業関連情報をショベル１００から管理サーバ４００へ送信することとしてもよいし、作業関連情報を取得できる構成（ショベル１００における情報取得部３０３）を管理サーバ４００に設けることとしてもよい。

［その他］
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、撮像条件を作業前に設定することとしたが、この条件設定は、作業の合間に作業を一時中断するなどして行ってもよい。
また、撮像条件は複数であってもよく、例えば、異なる作業対象の撮影や、異なる複数のアングル（方向）から同一の作業対象の撮影などを行ってもよい。異なる複数のアングルから同一の作業対象を撮影した場合には、取得した画像を用いて３Ｄ画像を生成してもよい。

また、上記実施形態の変形例では、管理サーバ４００に画像を蓄積することとしたが、管理サーバ４００を用いることなく、複数のショベル１００が撮像条件と画像とを互いに送受信して共有することとしてもよい。あるいは、複数のショベル１００が、撮像条件だけを共有し、取得した画像は各々が保持することとしてもよい。

また、本発明は、撮像手段により画像を撮影するものに限定されず、記録された画像を読み出したり、画像から特定の情報を抽出したりするものであってもよい。
例えば、過去に画像を取得した撮像位置に移動する（或いは、少なくとも方角が当該画像のものと一致するなど、過去の画像に対応した位置・姿勢をとる）と、この過去の画像を確認できるものであってもよい。確認は作業機械のモニターからでもよいし、管理サーバや情報端末からでもよい。
あるいは、収集された画像（又は生成された動画）から特定の被写体やイベントを検出し、その画像、場所、時期等を検索できるものであってもよい。特定の被写体とは、例えば、盛土作業による盛土や、掘削時に形成する穴等である。イベントには、例えば、「掘削を行った」、「旋回した」、「排土した」等の作業機械自身の動作のほか、トラックが接近した等の作業機械や作業現場の情報が含まれる。このような検索を可能とするには、取得した画像に他の情報（例えば、作業機械のオーナー名、レンタル主、工事現場の名前、施工主の名前、撮影日時等）を対応付けて記憶しておけばよい。これにより、特定の被写体やイベントが写っている画像を画像解析手段で特定してソートし、様々な分析情報に用いることが出来る。

また、本発明に係る作業機械は、ショベル以外の作業機械、例えば、ホイールローダやアスファルトフィニッシャ、フォークリフト、クレーン等であってもよい。
また、本発明に係る情報管理システムは、これら異なる作業機械を含んでいてもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１ 下部走行体
２ 旋回機構
３ 上部旋回体
３０ コントローラ
４０ 撮像装置
４０Ｂ 後方カメラ
４０Ｌ 左側方カメラ
４０Ｒ 右側方カメラ
４２ 動作・姿勢状態センサ
４３ 位置センサ
４４ 方位センサ
８０ 通信機器
１００、１００Ａ、１００Ｂ ショベル
１５０ 通信ネットワーク
２００ 情報管理システム
３１０ 記憶部
４００ 管理サーバ
５００ 情報端末
３１０１ 対象画像情報
４２１０ 対象画像情報
Ｂ 被写体領域
Ｄ 撮像方向
Ｐ 撮像位置
Ｔ 作業対象

Claims (10)

1. 作業機械に搭載された作業機械用画像取得装置であって、
   前記作業機械の周辺の画像を撮影する撮像手段と、
   前記撮像手段の撮像範囲が、前記作業機械の周辺における予め指定された所定の被写体領域を含んだ場合に、前記撮像手段により画像を撮影する撮像制御手段と、を備える、
   作業機械用画像取得装置。
2. 前記撮像制御手段は、
   前記撮像手段の撮像範囲が前記所定の被写体領域を含んだ場合として、
   前記撮像手段の位置に関連する情報と、前記撮像手段の方向に関する情報とのうちの少なくとも１つが、予め指定された所定の位置又は所定の方位と一致した場合に、前記撮像手段により画像を撮影する、
   請求項１に記載の作業機械用画像取得装置。
3. 前記撮像制御手段は、前記撮像手段が前記所定の被写体領域を前回撮影したときから所定の時間が経過したことを条件として、前記撮像手段により再び前記所定の被写体領域を撮影する、
   請求項１又は請求項２に記載の作業機械用画像取得装置。
4. 前記作業機械の動作を検出する動作検出手段を備え、
   前記撮像制御手段は、前記撮像手段が前記所定の被写体領域を前回撮影した後に、前記動作検出手段により前記作業機械の所定の動作が検出されたことを条件として、前記撮像手段により再び前記所定の被写体領域を撮影する、
   請求項１から請求項３の何れか一項に記載の作業機械用画像取得装置。
5. 前記作業機械による作業に関連する作業関連情報を取得する情報取得手段と、
   前記撮像手段により撮影された画像に前記作業関連情報を埋め込む画像処理手段と、を備える、
   請求項１から請求項４の何れか一項に記載の作業機械用画像取得装置。
6. 前記撮像手段により撮影された複数の画像を時系列に並べて動画にする画像処理手段を備える、
   請求項１から請求項５の何れか一項に記載の作業機械用画像取得装置。
7. 請求項１から請求項６の何れか一項に記載の作業機械用画像取得装置がそれぞれ搭載された複数の作業機械を備えて構成される情報管理システムであって、
   前記複数の作業機械は、
   互いに情報を送受信可能な通信機器をそれぞれ有するとともに、
   画像を撮影する撮像条件と、撮影された画像とを、前記通信機器により互いに送受信して共有する、
   情報管理システム。
8. 請求項１から請求項６の何れか一項に記載の作業機械用画像取得装置が搭載された少なくとも１つの作業機械と、前記少なくとも１つの作業機械との間で情報を送受信可能な情報管理装置と、を備えて構成される情報管理システムであって、
   前記情報管理装置は、前記少なくとも１つの作業機械で撮影された複数の画像を受信するとともに、当該複数の画像を時系列に並べて動画にする、
   情報管理システム。
9. 請求項１から請求項６の何れか一項に記載の作業機械用画像取得装置が搭載された作業機械との間で情報を送受信可能な情報端末であって、
   前記作業機械で撮影された複数の画像を受信するとともに、当該複数の画像を表示手段に一覧表示又は連続的に表示させる、
   情報端末。
10. 作業機械に搭載された作業機械用画像取得装置が実行する作業機械用画像取得プログラムであって、
    前記作業機械の周辺の画像を撮影する撮像手段を備える前記作業機械用画像取得装置を、
    前記撮像手段の撮像範囲が、前記作業機械の周辺における予め指定された所定の被写体領域を含んだ場合に、前記撮像手段により画像を撮影する撮像制御手段、
    として機能させる、
    作業機械用画像取得プログラム。

Images