JP2020194243A - 作業分析システム、作業分析装置、および作業分析プログラム - Google Patents

Abstract

【課題】周囲の状況が日々変わる現場であっても、作業履歴を記録可能とする。【解決手段】作業分析システム１は、測定部１０が作業領域９０を測定して得られた測定データから作業機械８０、および人８５を含む物体を認識し、認識した物体の位置情報、および物体の形状に関する特徴量を判定する物体認識部２２２と、物体認識部２２２が認識した、物体の位置、他の物体との位置関係、および特徴量から、作業領域内９０で行われた作業を判定する判定部２２３と、を備える。【選択図】図５

Description

本発明は、作業分析システム、作業分析装置、および作業分析プログラムに関する。

生産現場等では、生産性向上のため工程の作業を分析し、これを改善するというサイクルを繰り返すことで、生産性の向上を図っている。

作業分析と作業の改善を行う上で、工程の作業を把握することが必要となる。特許文献１には、作業現場での作業内容を容易に把握することを目的とした作業データ管理システムが開示されている。この作業管理システムは、作業現場を撮影するように、２つのネットワークカメラを配置し、これから得られた映像により、作業者の頭と、作業者の手の位置を特定する。そして、取得した作業者の工程データ（大工程データ）を、得られた映像から特定した頭と、手の位置から詳細工程に時系列に細分化し、ガントチャートとして結果表示手段に表示する。

特開２０１９−１６２２６号公報

しかしながら、特許文献１において、作業者の頭や手の位置と、作業機械との位置関係により、どのような作業を行ったのかを判定するものである（図３等）。そのためこの技術は、屋内製造現場において固定の作業機械を使用する製造現場でしか適用できない。例えば、屋外の建設現場や工事現場のような日々、周囲の環境が変わったり、作業機械または作業場所の位置が変わったりする現場では、特許文献１の技術を適用することは困難である。

本発明は、上記事情に鑑みてなされたものであり、周囲の状況が日々変わる現場であっても、作業履歴の記録が可能な、作業分析システム、作業分析装置、および作業分析プログラムを提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）作業領域内を測定し、時系列の測定データを取得する測定部と、
取得した前記測定データから、作業機械および人を含む物体を認識し、認識した前記物体の位置情報、および前記物体の形状に関する特徴量を判定する物体認識部と、
前記物体認識部が認識した、前記物体の位置、他の物体との位置関係、および前記特徴量から、前記作業領域内で行われた作業を判定する判定部と、
を備える作業分析システム。

（２）記憶部に前記作業領域内で行われる作業計画であって１つ以上の前記作業を含む作業計画、および前記作業について実行されたか否かを判定するための作業判定基準が記憶され、前記判定部は、前記作業計画、および前記作業判定基準を用いて、前記作業の判定を行う、上記（１）に記載の作業分析システム。

（３）記憶部に前記作業領域内で行われる作業計画であって１つ以上の前記作業を含む作業計画が記憶され、
前記判定部は、前記作業計画、および作業判定基準に関する学習済みモデルを用いて、前記作業の判定を行い、
前記学習済みモデルは、入力を、前記物体認識部が認識した前記物体の位置、他の物体との位置関係、および前記特徴量の情報、出力を前記作業の分類の正解ラベルをセットとして教師あり学習したものである、上記（１）に記載の作業分析システム。

（４）前記測定部は、ライダーを含み、前記測定データとして、前記作業領域内を前記ライダーで測距して得られた測距点群データを取得する、上記（１）から上記（３）の何れかに記載の作業分析システム。

（５）前記物体認識部は、前記測距点群データを用いて、前記物体を認識し、認識した前記物体の位置情報を判定する、
上記（４）に記載の作業分析システム。

（６）前記物体認識部は、前記測距点群データを用いて、前記特徴量の認識を行う、
上記（４）、または上記（５）に記載の作業分析システム。

（７）前記測定部は、カメラを含み、前記測定データとして、前記作業領域内を撮影して得られた映像データを取得する、上記（１）から上記（４）の何れかに記載の作業分析システム。

（８）前記物体認識部は、前記映像データを画像解析することで、前記物体の認識し、認識した前記物体の位置情報の判定を行う、上記（７）に記載の作業分析システム。

（９）前記物体認識部は、前記映像データを画像解析することで、前記特徴量の認識を行う、
上記（７）、または上記（８）に記載の作業分析システム。

（１０）さらに、前記物体が保有する位置情報デバイスの位置情報を取得する取得部を備え、
前記物体認識部は、前記位置情報デバイスから取得した位置情報により、前記物体の認識、および前記物体の位置情報の判定を行う、上記（１）から上記（４）、および上記（７）の何れかに記載の作業分析システム。

（１１）前記作業機械は、本体部と、該本体部に取り付けられ前記本体部に対する相対位置が変化する１つ以上の稼働部を有し、
前記取得部が、前記本体部、および前記稼働部にそれぞれ取り付けられた前記位置情報デバイスから取得した位置情報により、
前記物体認識部は、前記作業機械の前記特徴量を認識し、
前記判定部は、前記作業の判定を、認識した前記特徴量を用いて行う、上記（１０）に記載の作業分析システム。

（１２）前記判定部は、時系列の前記物体の位置の変化から検出した、前記物体の移動速度を用いて、前記作業を判定する、上記（１）から上記（１１）の何れかに記載の作業分析システム。

（１３）前記判定部は、前記物体の前記移動速度から判断した、前記物体の移動、および停止の状態を用いて、前記作業を判定する、上記（１２）に記載の作業分析システム。

（１４）前記作業機械に取り付けられた加速度センサーからの出力データを取得する取得部を備え、
前記判定部は、前記加速度センサーからの出力データから判断した、前記作業機械の移動、および停止の状態を用いて前記作業を判定する、上記（１２）に記載の作業分析システム。

（１５）前記判定部による判定結果を用いて、ガントチャート、物体毎の作業割合、および、物体毎の前記作業領域内の動線もしくはヒートマップの少なくとも何れかに関する作業分析情報を生成する出力生成部を、さらに備える、上記（１）から上記（１４）の何れかに記載の作業分析システム。

（１６）作業領域内を測定する測定部から、時系列の測定データを取得する取得部と、
取得した前記測定データから、作業機械および人を含む物体を認識し、認識した前記物体の位置情報、および前記物体の形状に関する特徴量を判定する物体認識部と、
前記物体認識部が認識した、前記物体の位置、他の物体との位置関係、および前記特徴量から、前記作業領域内で行われた作業を判定する判定部と、
を備える作業分析装置。

（１７）作業領域内を測定する測定部を備える、作業分析システムを制御するコンピューターで実行される作業分析プログラムであって、
前記測定部により作業領域内を測定し、時系列の測定データを取得するステップ（ａ）と、
取得した前記測定データから、作業機械および人を含む物体を認識し、認識した前記物体の位置情報、および前記物体の形状に関する特徴量を判定するステップ（ｂ）と、
前記ステップ（ｂ）で認識した、前記物体の位置、他の物体との位置関係、および前記特徴量から、前記作業領域内で行われた作業を判定するステップ（ｃ）と、
を含む処理を前記コンピューターに実行させるための作業分析プログラム。

（１８）前記処理は、前記作業領域内で行われる１つ以上の前記作業を含む作業計画、および前記作業について実行されたか否かを判定するための作業判定基準を取得するステップ（ｄ）を、さらに含み、
前記ステップ（ｃ）では、前記作業計画、および前記作業判定基準を用いて、前記作業の判定を行う、上記（１７）に記載の作業分析プログラム。

本発明に係る作業分析システムは、測定部が作業領域を測定して得られた測定データから作業機械、および人を含む物体を認識し、認識した物体の位置情報、および物体の形状に関する特徴量を判定する物体認識部と、物体認識部が認識した、物体の位置、他の物体との位置関係、および特徴量から、作業領域内で行われた作業を判定する判定部と、を備える。これにより、周囲の状況が日々変わる現場であっても、作業履歴の記録が可能となる。

第１の実施形態に係る作業分析システムの主要構成を示すブロック図である。 作業分析システムが用いられる作業領域の一例を示す模式図である。 ライダーの構成を示す断面図である。 ライダーの測定データから作成した表示画像（上面視）である。 作業分析システムが実行する作業分析処理を示すメインのフローチャートである。 検知物リストの例である。 図５のステップＳ２０の処理を示すサブルーチンフローチャートである。 作業計画の例である。 作業計画の例である。 図７のステップＳ３２の処理を示すサブルーチンフローチャートである。 作業判定基準の例である。 作業判定結果の例である。 図７のステップＳ３４の処理を示すサブルーチンフローチャートである。 図７のステップＳ３４の処理を示すサブルーチンフローチャートである。 ステップＳ５０６の作業内容「移動」の状況を示す図である。 ステップＳ５０５、Ｓ６０５の作業内容「積み込み」の状況を示す図である。 ステップＳ５０７、Ｓ６０７の作業内容「搬出」、「移動２」の状況を示す図である。 図７のステップＳ３４の処理を示すサブルーチンフローチャートである。 作業判定基準の例である。 吹付け工程における作業領域９０の一例を示す模式図である。 第２の実施形態における作業分析システムの主要構成を示すブロック図である。 第３の実施形態における作業分析システムの主要構成を示すブロック図である。 出力例（ガントチャート）である。 出力例（動線）である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、作業分析システム１の主要構成を示すブロック図である。図２は、作業分析システム１が用いられる作業領域９０の一例を示す図である。図３は、ライダー１１の構成を示す断面図である。

図１に示すように作業分析システム１は、測定部１０、作業分析装置２０を備え、これらはＰＣ端末３０と接続している。

作業分析装置２０は、記憶部２１、制御部２２、および通信部２３を備える。また、作業分析装置２０は、測定部１０、およびＰＣ端末３０と通信接続する。作業分析装置２０は、測定部１０と一体で構成し、同じ筐体内に配置してもよく、別体で構成してもよい。ＰＣ端末３０は、作業分析システム１とローカル、またはネットワーク接続したパーソナルコンピューターである。作業分析システム１は、ＰＣ端末３０から入力された作業計画を取得し、これを用いて分析した分析結果を、ＰＣ端末３０に出力する。

作業分析システム１は、図２に示すような工事現場等の作業領域９０を対象として、作業領域９０での作業履歴の記録、および管理を支援する。作業分析システム１の適用範囲は、図２に示すような工事現場に限られず、屋内もしくは屋外の建設現場、屋内の製造工程、または物流倉庫の作業領域に適用してもよい。また、作業領域は、１つの区画化された領域ではなく、例えば分離した複数の作業領域であってもよい。

作業領域９０内には、複数の作業機械８０（８０１〜８０３）、および作業者８５が、移動し、作業する。図２では、作業領域９０の例として、山岳トンネル掘削の工事現場を示している。作業領域９０には、坑口９１（トンネル入口）がある。

以下において作業機械８０１〜８０３を総称する場合には、単に作業機械８０という（後述の作業者８５も同様）。作業機械８０は、作業領域９０で用いられる電気またはエンジンの動力により機械的に稼働する機械、特に車両である。作業機械８０には、例えば、アーティタンプ、ホイールローダー、バックフォー、パワーショベル、ブレーカー、ミキサー車、コンクリート吹付け用の吹付機、等が含まれる。図２の例では、作業機械８０１、８０２、８０３は、それぞれアーティタンプ、バックフォー、ホイールローダーの種類の作業機械である。また、作業領域９０が、製造現場であれば、作業機械８０には、設置クレーン、組立装置、運搬用のフォークリフト等の車両、自走クレーンが含まれる。これらの作業機械８０のサイズ、形状のデータは、予め記憶部２１に登録されている。

測定部１０は、作業領域９０を対象として、その中で稼働する作業機械８０等の位置情報を検出する。図１、図３に示す例では、測定部１０は、ライダー１１（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を備える。ライダー１１は、図２に示すような作業領域９０内の一部または全部を測定空間とし、測定空間内を走査することで、測定空間内の全領域で対象物の検出を行う。画素毎に対象物までの距離情報を持つ測距点群データ（「３Ｄマップ」ともいう）を生成する。測距点群データにより対象物の３次元的な位置情報が得られる。図２においては、１のライダー１１を用いて作業領域９０の全域を測定空間としているが、複数のライダー１１を、その測定空間の一部が重複するように配置することで、より広い領域を測定できる。なお、複数のライダー１１でそれぞれ得られた測距点群データは、座標変換することにより、１つの座標系に統合するようにしてもよい。また、処理が煩雑になるのを避けるため、座標系の統合を行わず、測定空間内の物体（動体）を認識した場合に、その物体の対応づけだけを行うようにしてもよい。また、ライダー１１は、１秒あたり数フレーム〜数十フレームの周期（ｆｐｓ）で、連続的に所定周期の時系列の測距点群データを取得する。

なお、測定部１０は、ライダー１１に換えて、または、ライダー１１とともに他の種類の測定器を用いてもよい。例えば、後述するようにステレオカメラを用いて測距点群データを生成するようにしてもよい。あるいは、後述するように他の種類の測定器として、作業者（対象物）が携帯する無線端末で３箇所以上の位置から発信されたＷｉ−ｆｉやビーコンからの無線信号の電波強度等の情報を取得し、この電波強度等の情報から作業領域９０内における位置を検出するようにしてもよい。

（ライダー１１）
以下、図３を参照し、ライダー１１の構成について説明する。図３は、ライダー１１の概略構成を示す断面図である。ライダー１１は、投受光ユニット１１１を有する。投受光ユニット１１１は、半導体レーザー５１、コリメートレンズ５２、ミラーユニット５３、レンズ５４、フォトダイオード５５、およびモーター５６、ならびにこれらの各構成部材を収容する筐体５７を有する。筐体５７内には、制御部２２の取得部２２１が配置されている。投受光ユニット１１１は、レーザースポット光によりライダー１１の測定空間内を走査することで得られた各画素の受光信号を出力する。取得部２２１は、この受光信号に基づいて、測距点群データを生成する。この測距点群データは距離画像、または距離マップとも称される。

半導体レーザー５１は、パルス状のレーザー光束を出射する。コリメートレンズ５２は、半導体レーザー５１からの発散光を平行光に変換する。ミラーユニット５３は、コリメートレンズ５２で平行とされたレーザー光を、回転するミラー面により測定領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ５４は、ミラーユニット５３で反射された対象物からの反射光を集光する。フォトダイオード５５は、レンズ５４により集光された光を受光し、Ｙ方向に並んだ複数の画素を有する。モーター５６はミラーユニット５３を回転駆動する。

取得部２２１は、これらの半導体レーザー５１の出射タイミングと、フォトダイオード５５の受光タイミングとの時間間隔（時間差）に基づいて距離情報（距離値）を求める。取得部２２１は、ＣＰＵとメモリで構成され、メモリに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウェア回路を備えてもよい。また、取得部２２１は、作業分析システム１本体の筐体内部に組み込まれ、ハードウェア的に統合されてもよい。

本実施形態において、半導体レーザー５１とコリメートレンズ５２とで出射部５０１を構成し、レンズ５４とフォトダイオード５５とで受光部５０２を構成する。出射部５０１、受光部５０２の光軸は、ミラーユニット５３の回転軸５３０に対して直交していることが好ましい。

作業領域９０を認識できるように、高台にあるポール６２に固定して設置されたボックス状の筐体５７は、上壁５７ａと、これに対向する下壁５７ｂと、上壁５７ａと下壁５７ｂとを連結する側壁５７ｃとを有する。側壁５７ｃの一部に開口５７ｄが形成され、開口５７ｄには透明板５８が取り付けられている。

ミラーユニット５３は、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面５３１ａ、５３１ｂを４対（但し４対に限られない）有している。ミラー面５３１ａ、５３１ｂは、ミラーユニットの形状をした樹脂素材（例えばＰＣ（ポリカーボネート））の表面に、反射膜を蒸着することにより形成されていることが好ましい。

ミラーユニット５３は、筐体５７に固定されたモーター５６の軸５６ａに連結され、回転駆動されるようになっている。本実施形態では、例えば、ポール６２に設置された状態で、軸５６ａの軸線（回転軸線）が鉛直方向であるＹ方向に延在しており、Ｙ方向に直交するＸ方向およびＺ方向によりなすＸＺ平面が水平面となっているが、軸５６ａの軸線を鉛直方向に対して傾けてもよい。

次に、ライダー１１の対象物検出原理について説明する。図３において、半導体レーザー５１からパルス状に間欠的に出射された発散光は、コリメートレンズ５２で平行光束に変換され、回転するミラーユニット５３の第１ミラー面５３１ａに入射する。その後、第１ミラー面５３１ａで反射され、さらに第２ミラー面５３１ｂで反射した後、透明板５８を透過して外部の測定空間に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する２方向を投受光方向という（なお、図３では分かり易さのため、図面では出射光と反射光をずらして示している）。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。

ここで、ミラーユニット５３の対のミラー（例えば第１ミラー面５３１ａと第２ミラー面５３１ｂ）の組み合わせにおいて、４対はそれぞれ交差角が異なっている。レーザー光は、回転する第１ミラー面５３１ａと第２ミラー面５３１ｂにて、順次反射される。まず１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂにて反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の一番上の領域を水平方向（「主走査方向」ともいう）に左から右へと走査される。次に、２番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から２番目の領域を水平方向に左から右へと走査される。次に、３番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から３番目の領域を水平方向に左から右へと走査される。次に、４番対の第１ミラー面５３１ａと第２ミラー面で反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の最も下の領域を水平方向に左から右へと走査される。これによりライダー１１が測定可能な測定空間全体の１回の走査が完了する。この４つの領域の走査により得られた画像を組み合わせて、１つのフレームが得られる。そして、ミラーユニット５３が１回転した後、再び１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂに戻り、以降は測定空間の一番上の領域から最も下の領域までの走査（この上下方向を「副走査方向」ともいう）を繰り返し、次のフレームが得られる。

図３において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板５８を透過して筐体５７内のミラーユニット５３の第２ミラー面５３１ｂに入射し、ここで反射され、さらに第１ミラー面５３１ａで反射されて、レンズ５４により集光され、それぞれフォトダイオード５５の受光面で画素毎に検知される。さらに、取得部２２１が、半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報を求める。これにより測定空間内の全領域で対象物の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレームを得ることができる。また、ユーザーの指示により、得られた測距点群データを背景画像データとして、取得部２２１内のメモリ、または記憶部２１に記憶してもよい。

図４は、ライダーの測定データから作成した表示画像である。図２の作業領域９０を測定することで得られた測距点群データから生成した上面視の表示画像である。同図の距離（０ｍ、１０ｍ等）はライダー１１の位置からの距離に対応する。また同図の物体ｏｂ１は、図２の作業機械８０１に対応する。なお、同図においては、作業領域９０のうち、積み込みエリア周辺のみプロットしており、待機エリア周辺については記載を省略している（以下、図１４（ｂ）、図１５（ｂ）等で同じ）。

（作業分析システム１）
図１を再び参照し、作業分析システム１について説明する。作業分析システム１は、例えば、コンピューターであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ（半導体メモリ、磁気記録媒体（ハードディスク等））、入出力部（ディスプレイ、キーボード、等）、等を備える。

上述したように、作業分析システム１は、記憶部２１、制御部２２、および通信部２３を備える。記憶部２１はメモリで構成される。制御部２２は、主にメモリ、およびＣＰＵで構成される。なお制御部２２の一部の機能構成（取得部２２１）は、ライダー１１の筐体５７に配置したハードウェアにより実現し、他の機能構成は、別の筐体に配置するようにしてもよい。その場合、他の機能構成は、作業領域９０の近くに配置されてもよく、遠隔地に配置し、他の機器（測定部１０等）とネットワーク接続するようにしてもよい。

通信部２３は、ＰＣ端末３０等の外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースを用いてもよい。

制御部２２は、上述した取得部２２１の他に、物体認識部２２２、判定部２２３、出力生成部２２４として機能する。ここで制御部２２の機能を説明する前に記憶部２１に記憶されている各データについて説明する。

（記憶部２１）
記憶部２１には、検知物リスト（検知物体リストともいう）、位置情報履歴データ、作業判定基準、作業計画、等が記憶される。

「検知物リスト」は、制御部２２（物体認識部２２２）によって実行された認識処理（後述）により、認識された物体（作業機械８０、作業者８５、等）に対して、内部管理用の検知ＩＤを付与し、検知ＩＤにより、物体の追跡を行う。また、検知物リストには、検知ＩＤ毎の各時刻の位置、物体の種類（作業機械の種類）、後述の処理により特定（分類）した作業が記述される。

「位置情報履歴データ」は、所定時間の間、連続的に認識された物体（作業機械８０、作業者８５、等）の位置の推移を示す履歴データである。

「作業計画」は、作業履歴を記録する当日に、作業領域９０で行われる作業工程を記述した計画書である。例えば、日毎にＰＣ端末３０を通じて入力されたものである。作業計画の例については後述する（図８等）。制御部２２の判定部２２３は、この作業計画を参照しながら、作業領域９０内で行われた、作業工程を判別する。

「作業判定基準」は、予めユーザーにより設定されたルールベースの判定基準である。作業判定基準の例については後述する（図１０等）。制御部２２の判定部２２３は、この作業判定基準を用いて、作業の判定（同定、分類）を行える。作業判定基準を用いることにより、管理者（システムのユーザー）が分析に必要とする条件にカスタマイズできたり、精度の調整が可能になったりする。

（制御部２２）
次に、制御部２２の取得部２２１、物体認識部２２２、判定部２２３、および出力生成部２２４の各機能について説明する。

（取得部２２１）
取得部２２１の機能については、上述したとおりである。取得部２２１は、測定時に、ライダー１１の投受光ユニット１１１により、複数の照射方向に向けた送信波を、作業領域９０の測定空間に渡って照射し、測定空間内の物体（対象物）からの送信波の反射波に応じた受信信号を取得する。そして、この受信信号の受信タイミング（送受信の時間間隔）に応じて複数の照射方向における、それぞれの距離情報を得る。そしてこれにより、測距点群データを生成する。

（物体認識部２２２）
物体認識部２２２は、作業領域９０内の物体を認識する。本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、保存しておいた背景画像（基準画像ともいう）データを用いる。具体的には、測定の前準備（前処理）として、ユーザーの指示により、設置型機械以外の作業機械８０や作業者８５等の移動物体が存在しない状態で、ライダー１１からレーザースポット光を走査する。これにより背景対象物（静止物）から得られた反射光に基づいて、背景画像を得る。実際の測定時においては、背景対象物の手前に行動解析の対象である物体として例えば作業機械８０が作業領域９０内に現れた場合、作業機械８０からの反射光が新たに生じる。

物体認識部２２２は、動体を認識する機能を有する。物体認識部２２２はメモリに保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、作業機械８０等の何らかの動体（前景の物体）が作業領域９０内に現れたことを認識できる。例えば、背景差分法を用いて、背景データと、現時点での測距点群データ（距離画像データ）とを比較することで、前景データを抽出する。そして抽出した前景データの画素（画素群）を、例えば画素の距離値に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物体認識部２２２は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は任意に設定できる。例えば、作業領域９０で想定される動体の大きさに基づいて設定できる。作業者８５、または作業機械８０を追跡して行動（軌跡）を解析するのであれば、作業者８５、または作業機械８０の最小値を、クラスタリングする場合のサイズ閾値とすればよい。これにより、落ち葉やビニール袋等のゴミ、または小動物を検知対象から除外できる。

また、物体認識部２２２は、認識した物体の種類の認識、および物体の形状に関する特徴量を認識する。具体的には、物体の種類の認識として、作業領域９０内で作業する可能性がある作業機械（アーティタンプ、ホイールローダー、吹付機、ショベルカー）等のサイズ、形状に関する特徴データを予め記憶しておき、この特徴データとのマッチング度により、作業機械８０の種類を認識する。また、本体部と稼働部で構成される特定の作業機械８０に関しては、特徴量の認識も行う。例えば、ホイールローダーまたはショベルカーは、運転席がある車両本体部と、この車両本体部との相対位置が変化する稼働部としてのアーム、およびバケットがある。認識部は、特徴量として、作業機械８０の外郭形状、または全体のサイズにより、（１）このアームが上がったり、前方に延びたりした状態であるか、または（２）アームが下がったり、縮んだりした状態であるかが、判別できる形状に関する特徴量を認識する。特徴量としては、形状データであってもよく、例えばアームが上がった状態であることを示す情報であってもよい。特定の作業機械８０に関するアーム等の稼働部と本体部との位置関係と、特徴量との対応関係については、予め記憶部２１に記憶されている。また、物体認識部２２２は、物体の種類が人（作業者）の場合には、さらに認識した腕の位置や、手押しの台車を含めた全体の形状の特徴量から、作業者が物を運搬しているか否かを認識するようにしてもよい。

なお、物体の種類、および特徴量の認識については、学習済みモデルを用いて認識するようにしてもよい。これは、ライダー１１で得られた測距点群データから認識した物体について、正解ラベル（作業機械の種類、または作業機械の種類および特徴量）を付与した多数の学習サンプルデータを用いることで教師あり学習により機械学習できる。

さらに、上述においては、「作業判定基準」として、予めユーザーにより設定されたルールベースの判定基準を用いる例を説明したが、これに限られず、作業判定基準として、機械学習による学習済みモデルを用いてもよい。この学習済みモデルは、入力を、物体認識部２２２が認識した物体の位置、他の物体との位置関係、および特徴量の情報とする。そして、出力を作業の分類の正解ラベルとして教師あり学習したものである。これらの機械学習に関する学習機は、ＣＰＵおよびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のプロセッサを用いたスタンドアロンの高性能のコンピューター、またはクラウドコンピューターを用いて行える。このような学習済みモデルを用いることで、ユーザーは、ルールベースの作業判定基準の入力を省略できるので、管理が容易になる。

（判定部２２３）
判定部２２３は、物体認識部２２２が認識した物体の位置、他の物体との位置関係、および特徴量から、作業領域９０内で行われた作業を判定（分類）する。ここで他の物体との位置関係（相対的な位置関係）とは、複数の物体の中心位置間の距離を用いてもよく、物体同士の輪郭間の距離、すなわち「隙間」を用いてもよい。この他の物体との位置関係の算出は、認識した物体を囲むバウンディングボックスの中心位置から算出してもよく、２つのバウンディングボックスを構成する頂点、辺（または面）との最近接距離から算出できる。このバウンディングボックスは、例えば物体を囲む最小の面積（体積）となる１つの直方体である。バウンディングボックスの頂点、辺（面）の位置は、それぞれのバウンディングボックスの座標（中心位置）、サイズ（幅、高さ、奥行き）、回転角θ（上面視における回転角度（物体の向き）により求められる。

また、判定部２２３は、さらに、算出した物体の移動速度から、移動、停止の判定を行う。また、この作業の判定には、上述の作業計画、および作業判定基準を用いてもよい。判定結果には、作業機械の種類、および分類した作業名が含まれる。この判定結果は、検知物リストにも記録される。この作業の判定に関する作業分析処理の詳細については後述する。

（出力生成部２２４）
出力生成部２２４は、判定部２２３の判定結果のデータを分析し、加工することで、作業分析情報を生成する。作業分析情報には、判定結果の分析結果、およびこの分析結果を可視化した表示用データが含まれる。分析により生成される表示用データには、ガントチャート、物体（作業機械、作業者）毎の作業割合（円グラフ）、および、物体毎の作業領域内の動線もしくはヒートマップが含まれる。なお、この作業分析情報の生成は、予め設定された項目について、自動的に生成し、所定の出力先に出力するようにしてもよく、ＰＣ端末３０を通じたユーザーからの要求に応じて、都度生成し、出力するようにしてもよい。

（作業分析処理）
次に、図５〜図１９を参照し、作業分析システム、および作業分析装置により行われる作業分析処理について説明する。図５は、作業分析処理を示すメインのフローチャートである。

（ステップＳ１０）
最初に、作業分析システム１の取得部２２１は、測定部１０のライダー１１を制御し、作業領域９０内を測定し、測距点群データを取得する。

（ステップＳ１１）
物体認識部２２２は、ステップＳ１０で得られた測距点群データから、作業領域９０内の物体を認識する。また、物体認識部２２は、ここで認識した物体の種類情報を認識するようにしてもよい。例えば、物体が人であるか、あるいは作業機械であるか認識し、作業機械の場合には、さらにどの種類（ホイールローダー、アーティタンプ等）の作業機械８０であるかを認識する。

（ステップＳ１２）
制御部２２は、ステップＳ１１で認識した物体が、検知物リストに記録されている既知の物体であれば（ＹＥＳ）、処理をステップＳ１３に進める。一方で、新たに認識された物体であれば（ＮＯ）、処理をステップＳ１４に進める。

（ステップＳ１３）
制御部２２は、検知物リストを更新し、既存の物体ＩＤの情報に位置情報、またはこの位置情報と特徴量を追記し、更新する。

（ステップＳ１４）
制御部２２は、新たに認識した物体に関しては、追跡に用いるため連続した任意の番号（物体ＩＤ）を新たに付与し、検知物リストに記録する。

（ステップＳ１５）
制御部２２は、認識した物体の移動軌跡を記録する。この記録は、位置情報履歴データとして記憶部２１に保存される。

（ステップＳ１６）
物体認識部２２２は、移動軌跡から物体の移動、または停止を判定する。具体的には、複数フレーム（１秒から数秒相当）に渡る位置の移動量から速度を算出し、所定速度以上の場合には移動と判定し、所定速度未満の場合には停止と判定する。判定に用いる所定速度としては、例えば１ｋｍ／ｈｏｕｒである。

（ステップＳ１７）
物体認識部２２２は、物体の特徴量を認識する。特徴量としては、上述のように、稼働部がある作業機械の場合に、稼働部の状態が判別できるように、特徴量として作業機械８０の輪郭形状、または全体のサイズを認識する。また、この特徴量として、上述のようにアームが上がった状態であるか否かの情報でもよい。

（ステップＳ１８）
制御部２２は、ステップＳ１６、Ｓ１７で認識した移動／停止の判定結果、および特徴量を検知物リストに記録し、データを更新する。

（ステップＳ１９）
制御部２２は、未処理の物体がなければ（ＹＥＳ）、処理をステップＳ２０に進め、未処理の物体があれば（ＮＯ）、処理をステップＳ１２に戻し、次の物体に対しての処理を行う。

（ステップＳ２０）
判定部２２３は、このステップＳ２０では、後述する図７のサブルーチンフローチャートにより、作業を判定（同定）、すなわち作業内容を判定する。

（ステップＳ２１）
制御部２２は、判定した作業を、検知リスト等に記録する。図６は、検知物リストの例である。同図に示すように検知物リストには、上述の処理で認識された物体の検知ＩＤ、各時刻における検知座標、サイズ情報、移動／停止の判定結果、特徴（特徴量）、および判定した作業内容が含まれる。この判定した作業内容は、ステップＳ２０で判定（同定）されたものである。なお、同図では省略しているが検知ＩＤ毎に物体の種類の情報が含まれる（人、作業機械（および種類）、その他の物体）。

（ステップＳ２２）
制御部２２は、ＰＣ端末３０等を介したユーザーからの指示により、分析結果の生成、出力の要求があれば（ＹＥＳ）、処理をステップＳ２３に進め、要求がなければ（ＮＯ）、処理をステップＳ２４に進める。

（ステップＳ２３）
出力制御部２２４は、ステップＳ２０で得られた判定結果のデータを分析し、加工し、作業分析情報を生成する。そして生成した作業分析情報を、予め設定された送信先のＰＣ端末３０に送信する。この作業分析情報の出力例については、後述する（後述の図２２、図２３）。

（ステップＳ２４）
計測終了でなければ（ＮＯ）、処理をステップＳ１０に戻し、ステップＳ１０以下の処理を繰り返す。計測終了であれば処理を終了する（エンド）。

（作業内容の判定処理）
次に、図７のサブルーチンフローチャートを参照し、上述の図５のステップＳ２０で行う作業内容の判定（同定）処理について説明する。

（ステップＳ３１）
制御部２２は、作業計画データを取得する。これは、予めＰＣ端末３０を通じて、取得し、記憶部２１に記憶されたものである。

図８Ａ、図８Ｂは、ステップＳ３１で取得した作業計画データを模式的に表示したものである。図８Ａに示す作業計画データは、作業計画１であり、作業領域９０で行われる、トンネル掘削に関する作業工程の項目、およびこれらの順番、および開始時刻、終了時刻から構成される。図８Ｂに示す作業計画データは、作業計画２であり、作業工程で行われる作業の項目、およびこれらの順番、から構成される。なお図８Ｂは、作業工程が「ズリ出し」の場合の作業計画を示している。

（ステップＳ３２）
制御部は、ステップＳ３１で取得した作業計画を用いて、工程判定を行う。図９は、このステップ３２の処理を示すサブルーチンフローチャートである。図９の処理内容は、作業判定基準に相当する。

（ステップＳ４０１）
判定部２２３は、検知物リストのある時刻のデータに吹付機の作業機械８０があれば（ＹＥＳ）、処理をステップＳ４０６に進め、なければ（ＮＯ）、処理をステップＳ４０２に進める。

（ステップＳ４０２）
判定部２２３は、同じ時刻における検知物リストにホイールローダーの作業機械８０があれば（ＹＥＳ）、処理をステップＳ４０５に進め、なければ（ＮＯ）、処理をステップＳ４０３に進める。

（ステップＳ４０３）
判定部２２３は、同じ時刻における検知物リストにアーティタンプの作業機械８０があれば（ＹＥＳ）、処理をステップＳ４０５に進め、なければ（ＮＯ）、処理をステップＳ４０４に進める。

（ステップＳ４０４〜Ｓ４０６）
判定部２２３は、ステップＳ４０４〜Ｓ４０６でそれぞれ、工程を「掘削」、「ズリ出し」、「吹付け」と判定し、図９の処理を終了し、処理を図７に戻し、ステップＳ３３を処理する（リターン）。

（ステップＳ３３）
図７のステップＳ３３においては、判定部２２３は記憶部２１から、ステップＳ３２で判定した工程に対応する作業判定基準を選択して、取得する。図１０は、「ズリ出し」（ステップＳ４０５）と判定された場合に用いる作業判定基準の例である。作業判定基準には、工程名、作業機械、分類する作業（作業項目）、位置情報、速度、特徴量が含まれる。また、位置情報には、絶対的、相対的の２項目が含まれる。絶対的な位置情報は、図２に示すように待機エリア、積み込みエリア、切羽エリアと、予めユーザーにより設定された領域である。相対的な位置情報は、複数の物体（作業機械）間の距離である。この距離は、２つの物体の中心座標ではなく、物体の最近接距離、すなわち物体の間隔（隙間）を用いてもよい。なお、備考欄は、実施形態の理解を容易にするための記載であり、作業判定基準には含まれない。

（ステップＳ３４）
判定部２２３は、検知物リスト、およびステップＳ３３で取得した作業判定基準を用いて、各作業工程で行われた作業内容を判定（同定、または分類ともいう）する。この作業の判定処理については後述する。図１１は、作業判定結果の例である。各作業工程（ズリ出し）について、作業履歴として、作業機械毎に、作業（作業項目）、各作業のタイミング、各作業の順番に関する履歴データが記録されている。図１１（ａ）は、図８Ｂに対応する図であり、作業計画に応じて、実際に行われたタイミングが記載されている。図１１（ｂ）は、より詳細に記録したものであり、図１１（ａ）の作業ｗ２１に対して、図１１（ｂ）では作業ｗ２１ｂではより詳細に、ホイールローダーの作業を記録している。特に速度情報を用いて、積込み、待機など、作業機械の停止情報を把握することで、生産性に寄与しない無駄な停止時間を把握できる。このような作業履歴を活用することで、作業の改善を図ることができる。

（ステップＳ３５）
制御部２２は、未処理の物体があれば（ＮＯ）、処理をステップＳ３３に戻し、次の物体に対しての処理を行う。一方で、未処理の物体がなければ（ＹＥＳ）、サブルーチン処理を終了し、図５にステップＳ２０以降の処理に戻る（リターン）。

（作業同定の各処理）
次に、図１２〜図１９を参照し、ステップＳ３４の作業判定の各処理について説明する。以下では、第１〜第３の例まで、ステップＳ３４の３種類の例について説明する。図１２は、「ズリ出し」工程におけるアーティタンプを対象機とした、ステップＳ３４のサブルーチンチャートであり、図１３は、同じ工程のホイールローダーを対象機とした、ステップＳ３４のサブルーチンチャートである。これらの処理により、図１１（ａ）、図１１（ｂ）の作業ｗ１０、ｗ２０、ｗ３０、ｗ２１、ｗ２１ｂ、ｗ３１の判定が行われる。

（ステップＳ３４の第１の例）
（作業工程「ズリだし」、作業機械「アーティタンプ」）
（ステップＳ５０１）
図１２のステップＳ５０１では、判定部２２３は、検知物リストのある時刻のデータにおいて、対象の作業機械８０（アーティタンプ）が移動中であるか否かを判定する。移動中であれば（ＹＥＳ）、処理をステップＳ５０２に進め、移動中でなければ（ＮＯ）、処理をステップＳ５０３に進める。移動中であるか否かは、上述と同様に、所定の速度閾値との比較により判定する。

（ステップＳ５０２）
判定部２２３は、この物体の少し前の時刻における、前作業の判定結果が「積み込み」または「搬出」であれば（ＹＥＳ）、処理をステップＳ５０７に進め、これら以外であれば（ＮＯ）、処理をステップＳ５０６に進める。

（ステップＳ５０３）
判定部２２３は、検知物リストを参照し、同じ時刻における同じ作業領域９０に存在する他の作業機械８０（ホイールローダー）との間隔（隙間）が所定値未満であるかを判定する。例えば閾値（所定値）としては１ｍである。間隔が所定値未満であれば（ＹＥＳ）、処理をステップＳ５０５に進め、所定値以上であれば（ＮＯ）、処理をステップＳ５０４に進める。

（ステップＳ５０４〜Ｓ５０７）
判定部２２３は、ステップＳ５０４〜Ｓ５０７でそれぞれ、作業を「待機」、「積み込み」、「移動」、「搬出」と判定し、図１２の処理を終了し、処理を図７に戻す（リターン）。

図１４は、ステップＳ５０６の作業内容「移動」の状況を示す図である。この「移動」は図１１の作業ｗ１０に対応する。図１４（ａ）、図１４（ｂ）は、図２、図４にそれぞれ対応する図である。図１４（ａ）の状態の作業領域９０を測定することで得られた測距点群データから生成した上面視の表示画像である。図１４（ｃ）は、速度データを示す図である。図１４（ｃ）の移動の区間（区間１、区間２）が、図１４（ａ）、図１４（ｂ）に対応する。図１４のような状況では、アーティタンプの作業内容「移動」と同定される。

（ステップＳ３４の第２の例）
（作業工程「ズリ出し」、作業機械「ホイールローダー」）
（ステップＳ６０１）
図１３のステップＳ６０１では、判定部２２３は、検知物リストのある時刻のデータにおいて、対象機、すなわち対象の作業機械８０（ホイールローダー）が移動中であるか否かを判定する。移動中であれば（ＹＥＳ）、処理をステップＳ６０２に進め、移動中でなければ（ＮＯ）、処理をステップＳ５０３に進める。移動中であるか否かは、上述と同様に、所定の速度閾値との比較により判定する。

（ステップＳ６０２）
判定部２２３は、図５のステップＳ１７で抽出した対象機の物体の特徴量を用いて、アーム位置が下がっているか否かを判定する。アームが下位置であれば（ＹＥＳ）、処理をステップＳ６０７に進め、下がっていなければ（ＮＯ）、処理をステップＳ６０６に進める。

（ステップＳ６０３）
判定部２２３は、検知物リストを参照し、同じ時刻における同じ作業領域９０に存在する他の作業機械８０（アーティタンプ）との間隔（隙間）が所定値未満であるかを判定する。間隔が所定値未満であれば（ＹＥＳ）、処理をステップＳ６０５に進め、所定値以上であれば、処理をステップＳ６０４に進める。

（ステップＳ６０４〜Ｓ６０７）
判定部２２３は、ステップＳ６０４〜Ｓ６０７でそれぞれ、作業を「待機」、「積み込み」、「移動１」、「移動２」と判定し、図１３の処理を終了し、処理を図７に戻す（リターン）。ここで、移動１は、ズリ（土砂）をアームの先のバケットに積み込んだ状態での移動であり、移動２は、移動１以外（空身）の移動である。

図１５は、ステップＳ５０５、Ｓ６０５の作業内容「積み込み」の状況を示す図である。この「積み込み」は、図１１の作業ｗ２０、ｗ２１ｂに対応する。図１５（ａ）、（ｂ）、（ｄ）はそれぞれ図１４（ａ）、（ｂ）、（ｃ）に対応する。なお、図１５（ｄ）は、アーティタンプの速度データであり、ホイールローダーの速度データは図示を省略している（図１６も同様）。図１４（ｃ）は、図１４（ｂ）と同じ測距点群データから生成した、ライダー１１０の位置から見た正面視の表示画像である。アーティタンプ（作業機械８０１）とホイールローダー（作業機械８０４）との間隔が所定距離未満であり、両作業機械８０が停止していることから「積み込み」と判定する。

図１６は、ステップＳ５０７、Ｓ６０７の作業内容「搬出」、「移動２」の状況を示す図である。図１６（ａ）〜（ｄ）はそれぞれ図５（ａ）〜（ｄ）に対応する。アーティタンプ（作業機械８０１）は、前作業が積み込みであり、現作業が移動中であることから作業「搬出」であると判定できる。また、ホイールローダー（作業機械８０４）は移動中であること、および特徴量（「アーム下位置」）から作業「移動２」と判定する。

（ステップＳ３４の第３の例）
（作業工程「吹付け」、対象物「作業者」）
次に、図１７から図１９を参照し、「吹付け」工程におけるステップＳ３４の作業同定の各処理について説明する。図１７は、「吹付け」工程における作業者８５を対象とした、ステップＳ３４のサブルーチンチャートである。図１８は、「吹付け」工程で用いる作業判定基準である。図１９は、吹付け工程における作業領域９０の一例を示す模式図である。図１９には、作業機械８０として、吹付機（作業機械８０５）、ミキサー車（作業機械８０６）、ブレーカー（作業機械８０７）、および複数の作業者８５（８５ａ〜８５ｅ）が、作業領域９内に存在する。

（ステップＳ７０１）
ここでは、判定部２２３は、検知物リストのある時刻のデータにおいて、対象物である作業者８５が移動中であるか否かを判定する。移動中であれば（ＹＥＳ）、処理をステップＳ７０４に進め、移動中でなければ（ＮＯ）、処理をステップＳ７０２に進める。移動中であるか否かは、上述と同様に、所定速度以上か、所定速度未満であるか否かにより判定する。ここでの閾値としては作業機械と同じ１ｋｍ／ｈｏｕｒを適用できるが、作業機械とは異なる閾値を適用してもよい。

（ステップＳ７０２）
判定部２２３は、吹付機８０５と、作業者８５との間隔が所定値未満か否かを判定する。例えば、閾値としては、作業機械と同じ１ｍを適用できるが、異なる閾値を適用してもよい。間隔が所定値未満であれば（ＹＥＳ）、処理をステップＳ７０７に進め、所定値以上であれば（ＮＯ）、処理をステップＳ７０３に進める。

（ステップＳ７０３）
判定部２２３は、ミキサー車８０６と、作業者８５との間隔が所定値未満か否かを判定する。間隔が所定値未満であれば（ＹＥＳ）、処理をステップＳ７０６に進め、所定値以上であれば（ＮＯ）、処理をステップＳ７０５に進める。

（ステップＳ７０４）
判定部２２３は、作業者８５の特徴量により、作業者８５が部材を運搬しているか否かを判定する。部材を運搬してれば（ＹＥＳ）、処理をステップＳ７０９に進め、運搬していなければ（ＮＯ）、処理をステップＳ７０８に進める。この運搬には、ハンドキャリーや、手押し台車による運搬が含まれる。

（ステップＳ７０５〜Ｓ７０９）
判定部２２３は、ステップＳ７０４〜Ｓ７０９でそれぞれ、作業を「待機」、「ミキサー車作業」、「吹付機作業」、「移動」、「部材運搬」と判定し、図１７の処理を終了し、処理を図７に戻す（リターン）。

図１９（ａ）、図１９（ｂ）は、図２、図４にそれぞれ対応する図である。図１９（ｂ）は、図１９（ａ）の状態の作業領域９０を測定することで得られた測距点群データから生成した上面視の表示画像である。作業機械８０５〜８０７、および作業者８５ａ〜８５ｅは、それぞれ物体ｏｂ１１〜ｏｂ１３、およびｏｂ２１〜ｏｂ２５に対応する。図１９においては、作業者８５ａ、８５ｃは「待機」、作業者８５ｅは「ミキサー車作業」、作業者８５ｄは「吹付機作業」、作業者８５ｅは「部材運搬」の作業とそれぞれ判定される。

このように、本実施形態に係る作業分析システム１は、測定部１０が作業領域９０を測定して得られた測定データから作業機械８０、および人（作業者８５）を含む物体を認識し、認識した物体の位置情報、および物体の形状に関する特徴量を判定する物体認識部２２２と、物体認識部２２２が認識した、物体の位置、他の物体との位置関係、および特徴量から、作業領域内９０で行われた作業を判定する判定部２２３と、を備える。これにより、作業領域９０における作業履歴の記録が可能となる。また、測定部１０としてライダー１１０を用いることにより、工事現場等の日々、作業機械や周囲環境が変化したり、作業領域が移動したりするような作業領域９０であっても、安定して、作業履歴を記録することができる。特に、作業機械毎、作業者毎に、各時間に行われた作業を記録し、管理できるので、作業の効率化を図るための指標を得ることができる。また、速度情報を用いて、積込み、待機など、作業機械の停止情報を把握することで、生産性に寄与しない無駄な停止時間を把握できる。このような作業履歴を活用することで、作業の改善を図るための指標を得ることができる。

（第２の実施形態）
図２０は、第２の実施形態に係る作業分析システム１ｂの主要構成を示すブロック図である。上述の第１の実施形態に係る作業分析システム１では、測定部１０は、ライダー１１を用いた。そして、作業分析装置２０は、ライダー１１から得られた測距点群データを用いて、物体の認識、および作業分析処理を行った。以下に説明する第２の実施形態では、ライダー１１に換えて、ステレオカメラ１２を用い、この測定データ（映像データ）を画像解析することで測距点群データを生成する。

（ステレオカメラ１２）
ステレオカメラ１２は、作業領域９０を撮影し、映像を取得する。ステレオカメラ１２は、ステレオ視できるように、２台のカメラから構成される。２台のカメラは、各光軸が同じ方向に向き、平行で、互いに所定距離（基線長）だけ離れて配置される。作業分析装置２０は、カメラ１２に対して、同期信号を出力し、両カメラの撮影タイミングを合わせて、作業領域９０の撮影を行わせる。得られた両カメラの映像データ（映像信号）は、取得部２２１により取得される。認識部２２２は、両カメラの同時撮影した一対の映像データに対して、コントラスト調整、および２値化処理を行うことで、両画像それぞれから、撮影画像内の物体の形状、輪郭に対応する特徴点を抽出し、一致する特徴点の画像内での位置関係、および基線長のデータにより、特徴点それぞれまでの距離を算出する。これにより、映像データ内の各画素に対する距離値を得ることができる。このような処理により、作業分析装置２０の制御部２２は、作業領域９０内の撮影データ（測定データ）から測距点群データを生成する。また、認識部２２２は、得られた映像を画像解析することで、特徴量を認識する。例えば、認識部２２２は、画像解析により、アームが上がっている状態か、下がっている状態かを認識する。

このような第２の実施形態に係る作業分析システム１ｂにおいて、第１の実施形態と同様の図５等の作業分析処理を行う。これにより、第１の実施形態と同様の効果を得ることができる。

（第３の実施形態）
図２１は、第３の実施形態に係る作業分析システム１ｃの主要構成を示すブロック図である。以下に説明する第３の実施形態では、ライダー１１に換えて、カメラ１３を用い、この測定データ（映像データ）を画像解析することで特徴量を認識する。また、作業領域９０内で作業する作業機械８０、および作業者８５は、それぞれ１つ以上の位置情報デバイス４０１を保有し、この位置情報デバイス４０１の位置情報は、これと無線通信する位置情報検知部４０により検知できる。さらに、作業機械８０は、加速度センサー５０が取り付けられている。

（カメラ１３）
カメラ１３は、作業領域９０を撮影し、映像を取得する。カメラ１３は、通常カメラ（単眼カメラ）であればよいが、第２の実施形態と同様にステレオカメラの構成としてもよい。認識部２２２は、カメラ１３から得られた映像を解析することで特徴量を認識する。特徴量の認識は、予め記憶部２１に記憶されている特徴量のパターンと、得られた映像とのパターンマッチングにより行うようにしてもよい。また、学習済みモデルを用いて認識するようにしてもよい。学習済みモデルは、例えばカメラ１３により得られた映像と、その映像内にある物体の特徴量について、正解ラベル（「アームが上がっている」、「アームが下がっている」、「荷物を運搬している」等）を付与した多数の学習サンプルデータを用いることで教師あり学習により機械学習できる。

（位置情報検知部４０、位置情報デバイス４０１）
作業分析システム１ｂの認識部２２２は、位置情報検知４０により検知した位置情報を、取得部２２１を介して取得する。この作業機械８０、および作業者８５が保有する位置情報デバイス４０１としては、ＩＣタグ、またはスマートフォン等の可搬型のデバイスを適用できる。

この位置情報検知部４０、および位置情報デバイス４０１としては、種種の公知の技術を適用できる。例えば、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）ビーコン（Ｂｅａｃｏｎ）、Ｗｉｆｉ測位装置、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）測位装置、超音波測位装置、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、等の技術を適用できる。

ＢＬＥビーコンの技術を適用した場合には、作業領域９０のほとんどの範囲が検出エリアとなるように複数（例えば３台）の位置情報検知部４０、作業領域９０の周囲に配置する。そして、発信器としての位置情報デバイス４０１から所定間隔で、位置情報デバイス４０１の固有ＩＤを含む、ビーコン信号を発信する。そして、受信器としての位置情報検知部４０は、位置情報デバイス４０１からのビーコン信号の強度から距離を推定する。そして複数の固定配置された位置情報検知部４０の配置位置情報、およびこのそれぞれの位置情報検知部４０までの距離の情報から、自装置（位置情報デバイス４０１）の位置を特定する。位置情報デバイス４０１は、の位置情報、および固有ＩＤを位置情報検知部４０に送信する。

また、Ｗｉｆｉ測位の技術であれば、作業機械８０等が保有する位置情報デバイス４０１が受信器として機能し、アクセスポイントである複数の位置情報検知部４０が送信器として機能する。位置情報検知部４０から発信された帯域２．４ＧＨｚ（または５ＧＨｚ）の電波のビーコン信号を、位置情報デバイス４０１が受信し、この信号強度に基づいて、各アクセスポイントまでの距離を推定することで、位置情報デバイス４０１自体が位置情報を検出するようにしてもよい。

位置情報検知部４０が検知した座標系（Ｘ’Ｙ’、またはＸ’Ｙ’Ｚ’）と、作業分析システム１ｂの座標系（ＸＹＺ）への変換（統合）は、位置情報デバイスが持つローカルの座標系を予め記憶部２１に記憶しておき、所定の変換式で変換することで、座標系の変換、または対応付けを行う。

また、本体部と稼働部で構成される特定の作業機械８０に対しては、本体部と、１つ以上の稼働部それぞれに位置情報デバイス４０１を取り付けるようにしてもよい。このようにすることで、作業分析システム１ｂは、作業機械８０の特徴量を認識できる。例えば、作業機械８０がホイールローダーであれば、バケットに近いアームの先端部分と、本体部にそれぞれ位置情報デバイス４０１を取り付けることで、アームが上がっているか、下がっているかを判定できる。

（加速度センサー５０）
作業機械８０は、加速度センサー５０、および無線通信部（図示せず）を有する。そして、分析システム１は、通信部２３を介して、作業機械８０から加速度センサー５０の出力データを取得する。物体認識部２２２は、この加速度センサー５０の出力データにより、作業機械８０の移動状態、すなわち移動、停止の判定を行える。

このような第３の実施形態に係る作業分析システム１ｃにおいても、第１、第２の実施形態と同様に図５等の作業分析処理を行うことにより、第１の実施形態と同様の効果を得ることができる。また、位置情報検知部４０を用いることで、取得した識別ＩＤにより作業機械８０の識別をより正確に、個別に行える。また、加速度センサー５０を用いることで、作業機械８０の移動、停止の判定を精度よく行える。

（作業分析情報の出力例）
出力生成部２２４は、判定部２２３により判定結果を用いて、ガントチャート、物体毎の作業割合、および、物体毎の作業領域内の動線もしくはヒートマップの少なくとも何れかに関する作業分析情報を生成するようにしてもよい。

図２２は、ガントチャートの出力例であり、作業機械、作業者毎の作業時間を示している。また、図２３は動線の出力例であり、図２３（ａ）は、所定期間における、作業機械毎の動線の履歴を示している。また図２３（ｂ）は、図２３（ａ）に対応する作業領域を示す模式図である。このような出力とすることで、管理者は作業履歴、作業状況を、より容易に把握できるようになる。

以上に説明した作業分析システム１の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な作業分析システム１が備える構成を排除するものではない。

（変形例）
例えば、第２の実施形態で適用した、位置情報デバイス４０１、および位置情報検知部４０、ならびに加速度センサー５０のいずれか、または両方の構成を第１の実施形態に適用してもよい。また、さらに、第２の実施形態におけるカメラ１２を、第１の実施形態に併用してもよい。このようにすることにより、より精度よく、物体の認識、および物体の特徴量の認識を行えるので、より精度よく作業の判定を行える。

上述した実施形態に係る作業分析システム１における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。

１、１ｂ、１ｃ 作業分析システム
１０ 測定部
１１ ライダー
１２ ステレオカメラ
１３ カメラ
２０ 作業分析装置
２１ 記憶部
２２ 制御部
２２１ 取得部
２２２ 認識部
２２３ 判定部
２２４ 出力生成部
２３ 通信部
３０ ＰＣ端末
４０ 位置情報検知部
４０１ 位置情報デバイス
５０ 加速度センサー
９０ 作業領域
８０ 作業機械
８５ 作業者

Claims (18)

1. 作業領域内を測定し、時系列の測定データを取得する測定部と、
   取得した前記測定データから、作業機械および人を含む物体を認識し、認識した前記物体の位置情報、および前記物体の形状に関する特徴量を判定する物体認識部と、
   前記物体認識部が認識した、前記物体の位置、他の物体との位置関係、および前記特徴量から、前記作業領域内で行われた作業を判定する判定部と、
   を備える作業分析システム。
2. 記憶部に前記作業領域内で行われる作業計画であって１つ以上の前記作業を含む作業計画、および前記作業について実行されたか否かを判定するための作業判定基準が記憶され、前記判定部は、前記作業計画、および前記作業判定基準を用いて、前記作業の判定を行う、請求項１に記載の作業分析システム。
3. 記憶部に前記作業領域内で行われる作業計画であって１つ以上の前記作業を含む作業計画が記憶され、
   前記判定部は、前記作業計画、および作業判定基準に関する学習済みモデルを用いて、前記作業の判定を行い、
   前記学習済みモデルは、入力を、前記物体認識部が認識した前記物体の位置、他の物体との位置関係、および前記特徴量の情報、出力を前記作業の分類の正解ラベルをセットとして教師あり学習したものである、請求項１に記載の作業分析システム。
4. 前記測定部は、ライダーを含み、前記測定データとして、前記作業領域内を前記ライダーで測距して得られた測距点群データを取得する、請求項１から請求項３の何れかに記載の作業分析システム。
5. 前記物体認識部は、前記測距点群データを用いて、前記物体を認識し、認識した前記物体の位置情報を判定する、
   請求項４に記載の作業分析システム。
6. 前記物体認識部は、前記測距点群データを用いて、前記特徴量の認識を行う、
   請求項４、または請求項５に記載の作業分析システム。
7. 前記測定部は、カメラを含み、前記測定データとして、前記作業領域内を撮影して得られた映像データを取得する、請求項１から請求項４の何れかに記載の作業分析システム。
8. 前記物体認識部は、前記映像データを画像解析することで、前記物体の認識し、認識した前記物体の位置情報の判定を行う、請求項７に記載の作業分析システム。
9. 前記物体認識部は、前記映像データを画像解析することで、前記特徴量の認識を行う、
   請求項７、または請求項８に記載の作業分析システム。
10. さらに、前記物体が保有する位置情報デバイスの位置情報を取得する取得部を備え、
    前記物体認識部は、前記位置情報デバイスから取得した位置情報により、前記物体の認識、および前記物体の位置情報の判定を行う、請求項１から請求項４、および請求項７の何れかに記載の作業分析システム。
11. 前記作業機械は、本体部と、該本体部に取り付けられ前記本体部に対する相対位置が変化する１つ以上の稼働部を有し、
    前記取得部が、前記本体部、および前記稼働部にそれぞれ取り付けられた前記位置情報デバイスから取得した位置情報により、
    前記物体認識部は、前記作業機械の前記特徴量を認識し、
    前記判定部は、前記作業の判定を、認識した前記特徴量を用いて行う、請求項１０に記載の作業分析システム。
12. 前記判定部は、時系列の前記物体の位置の変化から検出した、前記物体の移動速度を用いて、前記作業を判定する、請求項１から請求項１１の何れかに記載の作業分析システム。
13. 前記判定部は、前記物体の前記移動速度から判断した、前記物体の移動、および停止の状態を用いて、前記作業を判定する、請求項１２に記載の作業分析システム。
14. 前記作業機械に取り付けられた加速度センサーからの出力データを取得する取得部を備え、
    前記判定部は、前記加速度センサーからの出力データから判断した、前記作業機械の移動、および停止の状態を用いて前記作業を判定する、請求項１２に記載の作業分析システム。
15. 前記判定部による判定結果を用いて、ガントチャート、物体毎の作業割合、および、物体毎の前記作業領域内の動線もしくはヒートマップの少なくとも何れかに関する作業分析情報を生成する出力生成部を、さらに備える、請求項１から請求項１４の何れかに記載の作業分析システム。
16. 作業領域内を測定する測定部から、時系列の測定データを取得する取得部と、
    取得した前記測定データから、作業機械および人を含む物体を認識し、認識した前記物体の位置情報、および前記物体の形状に関する特徴量を判定する物体認識部と、
    前記物体認識部が認識した、前記物体の位置、他の物体との位置関係、および前記特徴量から、前記作業領域内で行われた作業を判定する判定部と、
    を備える作業分析装置。
17. 作業領域内を測定する測定部を備える、作業分析システムを制御するコンピューターで実行される作業分析プログラムであって、
    前記測定部により作業領域内を測定し、時系列の測定データを取得するステップ（ａ）と、
    取得した前記測定データから、作業機械および人を含む物体を認識し、認識した前記物体の位置情報、および前記物体の形状に関する特徴量を判定するステップ（ｂ）と、
    前記ステップ（ｂ）で認識した、前記物体の位置、他の物体との位置関係、および前記特徴量から、前記作業領域内で行われた作業を判定するステップ（ｃ）と、
    を含む処理を前記コンピューターに実行させるための作業分析プログラム。
18. 前記処理は、前記作業領域内で行われる１つ以上の前記作業を含む作業計画、および前記作業について実行されたか否かを判定するための作業判定基準を取得するステップ（ｄ）を、さらに含み、
    前記ステップ（ｃ）では、前記作業計画、および前記作業判定基準を用いて、前記作業の判定を行う、請求項１７に記載の作業分析プログラム。