JP2022018180A - 作業認識装置および作業認識方法 - Google Patents

Abstract

【課題】作業認識の効率化を図ること。
【解決手段】作業認識装置は、第１作業環境ごとに、前記第１作業環境における作業者の第１行動を示す第１行動データに対する類似度を算出するように学習された類似度算出モデルを記憶するデータベースにアクセス可能であり、第２作業環境における作業者の第２行動を示す第２行動データを取得する取得処理と、前記取得処理によって取得された第２行動データを前記類似度算出モデルの各々に入力することにより、前記第１行動データと前記第２行動データとの類似度を前記類似度算出モデルごとに算出する算出処理と、前記算出処理によって算出された複数の類似度に基づいて、前記第２作業環境に類似する特定の第１作業環境を選定する選定処理と、を実行する。
【選択図】図１

Description

本発明は、作業を認識する作業認識装置および作業認識方法に関する。

製造現場においては、品質管理や作業者の安全確保、生産性向上等を目的として、作業者の作業状況を把握しようとする仕組みの導入が進められている。作業者の作業状況を把握する手法として、センサなどにより得られた作業者の作業に関するデータを用いて、作業者の作業を認識する手法が知られている。

作業工程は、工場やライン、扱う品種など、現場によって異なる。そのため、ある現場の作業者の作業に関するデータを用いて構築した作業認識の仕組みを、別の現場の作業者に導入し、精度よく作業を認識することは困難である。また新たな現場毎に作業者の作業に関するデータを用いて作業認識の仕組みを構築する必要がある。例えば、作業者の作業を撮影した作業映像を作業工程毎に解析する場合、作業工程の異なる新たな現場毎に、作業者の作業を撮影した映像を収集する必要がある。

これに対し、特許文献１は、目標ユーザのセンサデータを必要とすることなく、精度の高い行動モデルを学習するユーザ類似モデル学習装置を開示する。このユーザ類似モデル学習装置は、学習データを用いて、元ユーザのペア毎に各々の身体特徴情報から属性情報を計算し、ラベルありセンサデータから特徴ベクトルを抽出して類似度を計算し、属性情報の入力に対して類似度を出力するように、行動の種類毎にユーザ類似モデルのパラメータを学習する。行動モデル学習装置は、身体特徴情報取得部で、目標ユーザの身体特徴情報を取得し、類似ユーザ推定部で、行動の種類毎に、ユーザ類似モデルに目標ユーザと元ユーザとのペアの身体特徴情報から計算された属性情報を入力し、取得された類似度に基づいて、目標ユーザとセンサデータが類似する類似元ユーザを推定し、行動モデル学習部で、行動の種類毎に推定された類似元ユーザのセンサデータを用いて行動モデルを学習する。

特開２０１２－２４８０１７号公報

しかしながら、上述した特許文献１のユーザ類似モデル学習装置では、行動モデルを学習するために、身長や体重、性別、利き手などの認識対象の作業者の身体特徴情報を事前取得したり、取得した身体特徴情報のユーザ類似モデル学習装置に設定したりする必要がある。

本発明は、作業認識の効率化を図ることを目的とする。

本願において開示される発明の一側面となる作業認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業認識装置であって、第１作業環境ごとに、前記第１作業環境における作業者の第１行動を示す第１行動データに対する類似度を算出するように学習された類似度算出モデルを記憶するデータベースにアクセス可能であり、前記プロセッサは、第２作業環境における作業者の第２行動を示す第２行動データを取得する取得処理と、前記取得処理によって取得された第２行動データを前記類似度算出モデルの各々に入力することにより、前記第１行動データと前記第２行動データとの類似度を前記類似度算出モデルごとに算出する算出処理と、前記算出処理によって算出された複数の類似度に基づいて、前記第２作業環境に類似する特定の第１作業環境を選定する選定処理と、を実行することを特徴とする。

本願において開示される発明の他の側面となる作業認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業認識装置であって、第１作業環境ごとに、前記第１作業環境における作業者の第１行動を示す第１行動データに対する類似度を算出するように、かつ、前記第１行動データに対する第１作業認識結果を出力するように学習された統合モデルを記憶するモデルデータベースにアクセス可能であり、前記プロセッサは、第２作業環境における作業者の第２行動を示す第２行動データを取得する取得処理と、前記取得処理によって取得された第２行動データを前記統合モデルの各々に入力することにより、前記第１行動データと前記第２行動データとの類似度を前記統合モデルごとに算出するとともに、前記第２行動データを前記統合モデルに入力することにより、前記第２行動データに対する第２作業認識結果を出力する算出処理と、前記算出処理によって算出された複数の類似度に基づいて、前記第２作業環境に類似する特定の第１作業環境の作業認識モデルを選定する選定処理と、前記選定処理によって選定された前記作業認識モデルからの第２作業認識結果を出力する作業認識処理と、を実行することを特徴とする。

本発明の代表的な実施の形態によれば、作業認識の効率化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１は、作業認識装置における作業認識例を示す説明図である。 図２は、実施例１にかかる作業認識システムのシステム構成例を示す説明図である。 図３は、実施例１にかかる作業認識装置のハードウェア構成例を示すブロック図である。 図４は、実施例１にかかるモデル対応テーブルの一例を示す説明図である。 図５は、実施例１にかかる現場対応モデルの使用例を示す説明図である。 図６は、実施例１にかかるモデル選定テーブルの一例を示す説明図である。 図７は、実施例１にかかる作業認識装置による現場対応モデルの学習処理手順例を示すフローチャートである。 図８は、実施例１にかかる作業認識装置による未構築現場における作業者の作業認識処理手順例を示すフローチャートである。 図９は、作業認識結果の出力（ステップＳ８０７）および統合（ステップＳ８０８）の一例を示す説明図である。 図１０は、実施例１にかかる作業認識装置による結果表示画面の一例を示す説明図である。 図１１は、行動データを示すグラフである。 図１２は、実施例２にかかるモデル対応テーブルの一例を示す説明図である。 図１３は、実施例２にかかる現場対応モデルの使用例を示す説明図である。 図１４は、実施例２にかかる作業認識装置による現場対応モデルの学習処理手順例を示すフローチャートである。 図１５は、実施例２にかかる作業認識装置による未構築現場における作業者の作業認識処理手順例を示すフローチャートである。 図１６は、実施例３にかかる作業認識装置による現場対応モデル構築処理手順例を示すフローチャートである。

＜作業認識例＞
図１は、作業認識装置における作業認識例を示す説明図である。（１）現場Ｓ１～Ｓｎでは、作業者Ｗ１～Ｗｎが現場Ｓ１～Ｓｎに応じた作業を行っている。作業認識装置１００は、現場Ｓ１～Ｓｎに設置されているセンサからのセンサデータにより、現場Ｓ１～Ｓｎ（ｎは１以上の整数）における作業者Ｗ１～Ｗｎの動作（たとえば、腕の加速度）や作業者Ｗ１～Ｗｎおよびその周辺の環境（たとえば、温度）を示す行動データを生成し、現場Ｓ１～Ｓｎごとに、たとえば、機械学習によって、現場Ｓｉ（ｉは、１≦ｉ≦ｎを満たす整数）に対応するモデル（以下、現場対応モデル）Ｍ１～Ｍｎを構築する。

具体的には、たとえば、現場対応モデルＭ１～Ｍｎはそれぞれ、入力される行動データと出力される行動データとが一致するようなオートエンコーダを有し入出力間の類似度を算出する類似度算出モデルＣＭ１～ＣＭｎと、行動データが入力されると作業認識結果を出力する作業認識モデルＲＭ１～ＲＭｎと、を含む。

（２）現場対応モデルＭｉが未構築の現場（以下、未構築現場）Ｓｎｅｗでは、その作業者Ｗｎｅｗが未構築現場Ｓｎｅｗに応じた作業を行っている。作業認識装置１００は、未構築現場Ｓｎｅｗに設置されているセンサからのセンサデータにより、未構築現場Ｓｎｅｗにおける作業者Ｗｎｅｗの行動データを生成し、現場対応モデルＭ１～Ｍｎに入力する。現場対応モデルＭ１～Ｍｎはそれぞれ、類似度算出モデルＣＭ１～ＣＭｎにより、入力された行動データと出力された行動データとのずれを類似度として算出する。これにより、作業認識装置１００は、現場Ｓｎｅｗの作業者Ｗｎｅｗの作業がどの現場Ｓｉのどの作業者Ｗｉに類似するかを特定する。

（３）作業認識装置１００は、特定した現場対応モデルＭｉ内の作業認識モデルＲＭｉに、作業者Ｗｎｅｗの行動データを入力することにより、作業認識結果Ｒｉを出力する。これにより、未知の作業工程が含まれる未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業を精度よく認識することができる。したがって、あらたな未構築現場Ｓｎｅｗごとに作業認識に関するモデルを構築しなくても、未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業が認識可能になる。また、事前に未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの身体特徴情報も不要であるため、作業認識の効率化を図ることができる。

＜作業認識システムのシステム構成例＞
図２は、実施例１にかかる作業認識システムのシステム構成例を示す説明図である。作業認識システム２００は、作業認識装置１００と、現場Ｓ１～Ｓｎ，未構築現場Ｓｎｅｗの各ゲートウェイ（ＧＷ）２０２と、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク２０４と、通信可能に接続されている。

作業認識装置１００は、作業認識装置１００内または作業認識装置１００と通信可能なコンピュータ（不図示）内のモデルＤＢ（データベース）２０１にアクセス可能である。モデルＤＢ２０１は、現場対応モデルＭ１～Ｍｎと、モデル対応テーブル２１１と、モデル選定テーブル２１２と、を記憶する。モデル対応テーブル２１１は、どの現場対応モデルＭｉがどの類似度算出モデルおよび作業認識モデルを含むかを規定したテーブルである（図４で後述）。モデル選定テーブル２１２は、時刻ごとの現場対応モデルＭｉの選定条件を示すテーブルである（図６で後述）。

現場Ｓ１～Ｓｎ，未構築現場Ｓｎｅｗはそれぞれ、作業認識装置１００と通信可能なゲートウェイ２０２と、１以上のセンサ２０３と、を有する。現場Ｓ１～Ｓｎは、現場対応モデルＭ１～Ｍｎが構築済みの作業環境であり、未構築現場Ｓｎｅｗは、作業者Ｗｎｅｗが作業し、かつ、現場対応モデルＭｉが未構築の作業環境である。

センサ２０３は、作業者Ｗｉや現場Ｓｉについての物理的なデータを出力する。センサ２０３は、具体的には、たとえば、動画や静止画の画像データを取得（撮影）するカメラ（デジタルカメラ（ＲＧＢカメラ）、赤外線カメラ、サーモグラフィカメラ、タイムオブフライト（ＴＯＦ:Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ等）、動体検知センサ、人感センサ、温度センサ、湿度センサ、加速度センサ、速度センサ、音響センサ（マイクロホン）、振動センサ、赤外線深度センサである。センサ２０３によって検出されたセンサデータは、ゲートウェイ２０２を介して作業認識装置１００に送信される。

＜作業認識装置１００のハードウェア構成例＞
図３は、実施例１にかかる作業認識装置１００のハードウェア構成例を示すブロック図である。作業認識装置１００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、作業認識装置１００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワーク２０４と接続し、データを送受信する。

＜モデル対応テーブル２１１＞
図４は、実施例１にかかるモデル対応テーブル２１１の一例を示す説明図である。モデル対応テーブル２１１は、現場対応モデルＭｉの列に「１」が設定されているモデルが、その現場対応モデルＭｉに含まれていることを示す。たとえば、類似度算出モデルＣＭ１＿１、ＣＭ１＿２および作業認識モデルＲＭ１は、現場対応モデルＭ１の列で「１」に設定されているため、類似度算出モデルＣＭ１＿１、ＣＭ１＿２および作業認識モデルＲＭ１は、現場対応モデルＭ１に含まれる。モデル対応テーブル２１１は、現場対応モデルＭｉが構築される都度、作業認識装置１００によって更新される。

＜現場対応モデル＞
図５は、実施例１にかかる現場対応モデルＭｉの使用例を示す説明図である。作業者Ｗｎｅｗの時刻ｔｊ（ｊは１≦ｊ≦ｍを満たす整数）の行動データＡが類似度算出モデルＣＭｉに入力されると、オートエンコーダとして機能する類似度算出モデルＣＭｉは、その作業者Ｗｎｅｗの時刻ｔｊの行動データＢを出力する。作業認識装置１００は、類似度算出モデルＣＭｉの類似度算出処理５００において、行動データＡ，Ｂの類似度Ｃｉ（ｔｊ）を算出する。

具体的には、たとえば、作業認識装置１００は、行動データＡ，Ｂ間のユークリッド距離を算出し、算出距離の逆数を類似度とする。したがって、類似度が大きいほど、行動データＡ，Ｂは類似する。行動データＡ，Ｂが類似するということは、すなわち、類似度算出モデルＣＭｉを含む現場対応モデルＭｉに対応する現場Ｓｉでの作業者Ｗｉの行動と、未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの行動と、が類似することを示す。

また、作業者Ｗｎｅｗの時刻ｔｊの行動データＡが作業認識モデルＲＭｉに入力されると、作業認識モデルＲＭｉは、「つかむ」、「引っ張る」のような、その作業者Ｗｎｅｗの時刻ｔｊの作業認識結果Ｒｉ（ｔｊ）を出力する。

なお、類似度算出モデルＣＭｉは、オートエンコーダのほか、時刻ｔごとの行動データを用いて構築された統計モデルや、ニューラルネットワークに基づく分類モデル、回帰モデル、生成モデルでもよい。同様に、作業認識モデルＲＭｉも、時刻ｔごとの行動データを用いて構築された統計モデルや、ニューラルネットワークに基づく分類モデル、回帰モデル、生成モデルでもよい。

＜モデル選定テーブル２１２＞
図６は、実施例１にかかるモデル選定テーブル２１２の一例を示す説明図である。モデル選定テーブル２１２は、現場対応モデルＭｉごとに、時刻ｔｊ別の選定条件に関する値が設定されたテーブルである。選定条件とは、時刻ｔｊにおいて現場対応モデルＭｉを選定するための条件である。選定条件としては、ここでは、類似度算出モデルＣＭｉで算出された類似度と選定数ｋ（ｋは１≦ｋ≦ｎを満たす整数）とを用いる。選定数ｋとは、類似度の大きい順で選定される現場対応モデルＭｉの数であり、あらかじめ設定される。

選定数ｋの値は、選定の有無を示す。具体的には、たとえば、「１」は選定されたことを意味し、「０」は選定されなかったことを意味する。すなわち、選定数ｋの値が「１」である現場対応モデルＭｉの現場対応モデルＭｉが選定され、「１」の個数の総和がｋになる。なお、類似度の値は、図５に示した類似度算出処理５００により、作業認識装置１００によって書き込まれ、選定数ｋの値は、後述する現場対応モデルＭｉの選定処理（ステップＳ８０６）により、作業認識装置１００によって書き込まれる。

なお、図６では、選定数ｋを選定条件としたが、選定数ｋに替えて類似度のしきい値としてもよい。これにより、しきい値以上の類似度の現場対応モデルＭｉについて「１」が設定されることになる。

＜現場対応モデルの学習＞
図７は、実施例１にかかる作業認識装置１００による現場対応モデルＭｉの学習処理手順例を示すフローチャートである。作業認識装置１００は、現場Ｓｉごとに、ゲートウェイ２０２を介してセンサ２０３からセンサデータを取得する（ステップＳ７０１）。つぎに、作業認識装置１００は、現場Ｓｉごとに、センサデータから行動データを生成する（ステップＳ７０２）。

具体的には、たとえば、作業認識装置１００は、センサデータが画像データである場合、画像データから作業者Ｗｉを認識して、作業者Ｗｉの骨格データを行動データとして生成する。骨格データとは、たとえば、肘や膝、肩などの関節や頭部をノード、上腕や前腕、大腿、下腿、胴体をリンクとする構造データである。また、作業認識装置１００は、現場Ｓｉの作業者Ｗｉに関する温度や音声、加速度、速度、振動などのセンサデータをそのまま行動データに含めてもよい。

つぎに、作業認識装置１００は、現場Ｓｉごとに、類似度算出モデルＣＭｉを構築する（ステップＳ７０３）。具体的には、たとえば、作業認識装置１００は、類似度算出モデルＣＭｉに行動データを入力する都度、類似度算出モデルＣＭｉからの出力が同じ行動データとなるように、類似度算出モデルＣＭｉの学習パラメータを更新する。そして、作業認識装置１００は、現場Ｓｉごとの更新後の類似度算出モデルＣＭｉをモデルＤＢ２０１に格納する（ステップＳ７０４）。なお、１つの現場Ｓｉでも、複数の異なる作業が存在するため、作業認識装置１００は、１つの現場Ｓｉの作業ごとに、類似度算出モデルＣＭｉを構築してもよい。

また、作業認識装置１００は、現場Ｓｉごとに、作業認識モデルＲＭｉを構築する（ステップＳ７０５）。具体的には、たとえば、作業認識装置１００は、行動データと作業者Ｗｉの行動の正解データとの組み合わせを作業認識モデルＲＭｉに設定する都度、出力される作業認識結果Ｒｉが正解データと一致するように、作業認識モデルＲＭｉの学習パラメータを更新する。そして、作業認識装置１００は、現場Ｓｉごとの更新後の作業認識モデルＲＭｉをモデルＤＢ２０１に格納する（ステップＳ７０６）。このようにして、現場Ｓｉごとの類似度算出モデルＣＭｉおよび作業認識モデルＲＭｉを含む現場対応モデルＭｉが構築される。

＜未構築現場Ｓｎｅｗにおける作業者Ｗｎｅｗの作業認識＞
図８は、実施例１にかかる作業認識装置１００による未構築現場Ｓｎｅｗにおける作業者Ｗｎｅｗの作業認識処理手順例を示すフローチャートである。作業認識装置１００は、ステップＳ７０１のように、未構築の現場Ｓｎｅｗのセンサ２０３から、ゲートウェイ２０２を介して時刻ｔｊのセンサデータを取得する（ステップＳ８０１）。つぎに、作業認識装置１００は、ステップＳ７０２のように、未構築の現場Ｓｎｅｗのセンサデータから時刻ｔｊの行動データを生成する（ステップＳ８０２）。このようにして、作業認識装置１００は、時刻ｔｊごとに行動データを取得することができる。

つぎに、作業認識装置１００は、未選択の現場対応モデルＭｉがあるか否かを判断する（ステップＳ８０３）。未選択の現場対応モデルＭｉがある場合（ステップＳ８０３：Ｙｅｓ）、作業認識装置１００は、現場対応モデルＭｉの類似度算出モデルＣＭｉに時刻ｔｊごとの行動データを入力して、時刻ｔｊごとの類似度を算出する（ステップＳ８０４）。そして、作業認識装置１００は、算出した類似度を、モデル選定テーブル２１２の時刻ｔｊにおける現場対応モデルＭｉの値として格納して、モデル選定テーブル２１２を更新し（ステップＳ８０５）、ステップＳ８０３に戻る。

未選択の現場対応モデルＭｉがない場合（ステップＳ８０３：Ｎｏ）、作業認識装置１００は、時刻ｔｊごとに、類似度に基づいて、現場Ｓｉ、具体的には、現場Ｓｉの現場対応モデルＭｉを選定する（ステップＳ８０６）。具体的には、たとえば、作業認識装置１００は、モデル選定テーブル２１２の類似度を参照して、時刻ｔｊの列ごとに、選定数ｋに適合する現場対応モデルＭｉ、すなわち、上位ｋ番目までの類似度を有するｋ個の現場対応モデルＭｉを選定する。以降、ｋ個の現場対応モデルＭｉを、便宜的に、選定現場対応モデルＭ１～Ｍｋとする。

つぎに、作業認識装置１００は、ステップＳ８０６で選定された選定現場対応モデルＭ１～Ｍｋの作業認識モデルＲＭ１～ＲＭｋの各々に時刻ｔｊごとの行動データを入力して、作業認識モデルＲＭ１～ＲＭｋの各々により時刻ｔｊごとの作業認識結果Ｒ１（ｔｊ）～Ｒｋ（ｔｊ）を出力する（ステップＳ８０７）。そして、作業認識装置１００は、時刻ｔｊごとの作業認識結果Ｒ１（ｔｊ）～Ｒｋ（ｔｊ）を統合して（ステップＳ８０８）、時刻ｔｊごとの統合作業認識結果Ｒ（ｔｊ）を出力し（ステップＳ８０９）、作業認識処理を終了する。

図９は、作業認識結果の出力（ステップＳ８０７）および統合（ステップＳ８０８）の一例を示す説明図である。凡例で示したラベル１およびラベル２は作業認識結果Ｒ１～Ｒｋである。ステップＳ８０７では、作業認識結果Ｒ１（ｔ１）～Ｒ１（ｔｍ）、Ｒ２（ｔ１）～Ｒ２（ｔｍ）、…、Ｒｋ（ｔ１）～Ｒｋ（ｔｍ）が出力される。作業認識結果Ｒ１～Ｒｋは、ラベル１およびラベル２の２種類としたが、３種類以上でもよい。

また、作業認識装置１００は、時刻ｔｊごとに、作業認識結果Ｒ１（ｔｊ）～Ｒｋ（ｔｊ）の多数決を取ることにより、作業認識結果Ｒ１（ｔｊ）～Ｒｋ（ｔｊ）を統合する（ステップＳ８０８）。多数決により、時刻ｔ１の統合作業認識結果Ｒ（ｔ１）はラベル１、時刻ｔ８の統合作業認識結果Ｒ（ｔ８）はラベル２、時刻ｔｍの統合作業認識結果Ｒ（ｔｍ）はラベル１となる。

図１０は、実施例１にかかる作業認識装置１００による結果表示画面の一例を示す説明図である。結果表示画面１０００は、ステップＳ８０９により、作業認識装置１００の出力デバイス３０４の一例であるディスプレイ、または、作業認識装置１００と通信ＩＦ３０５を介して通信可能な不図示の端末のディスプレイに表示される。結果表示画面１０００には、作業認識結果表１００１が表示される。作業認識結果表１００１は、図９の内容を表にしたデータであり、時刻ｔと、統合作業認識結果Ｒ（ｔ）と、作業認識結果Ｒｉ（ｔ）と、が関連付けられている。

このように、実施例１によれば、未知の作業工程が含まれる未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業を統合作業認識結果Ｒ（ｔ）として精度よく認識することができる。したがって、あらたな未構築現場Ｓｎｅｗごとに作業認識に関するモデルを構築しなくても、未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業が認識可能になる。また、事前に未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの身体特徴情報も不要であるため、作業認識の効率化を図ることができる。

また、上述した例では、時刻ｔごとの行動データを用いて類似度算出モデルＣＭｉに入力して類似度を算出したが、時刻ｔを中心とした所定の時間幅（１秒、３秒、５秒など）のスライディング窓に含まれる行動データを用いて類似度算出モデルＣＭｉに入力して類似度を算出してもよい。

図１１は、行動データＡ１、Ａ２を示すグラフである。図１１のグラフの横軸は時間軸であり、縦軸は類似度を示す。たとえば、１秒ごとに現場Ｓｉ内の各センサ２０３からセンサデータが得られるとする。所定時間幅が３秒の場合、センサデータが３回得られるため、類似度も３個算出される。この場合、作業認識装置１００は、３個の類似度を線形結合して、所定時間幅（３秒）の類似度として、モデル選定テーブル２１２に格納する。

また、時刻ｔｊにおける、ある現場対応モデルＭｉの類似度は、過去から未来の時刻において、時間幅毎に算出されたある現場対応モデルＭｉの複数の類似度の線型結合として表すこともできる。なお、作業認識装置１００は、行動データの開始時刻や終了時刻などにおける、所定の時間幅の行動データの欠損に対し、予め設定した設定値を与えてもよい。設定値としては、たとえば、欠損がある時刻を中心とした過去の時刻の行動データと未来の時刻における行動データのと平均値を用いることができる。

時間幅が短いほど、類似度の算出対象となる作業者Ｗｎｅｗの動作は、掴む、持ち上げるなどの個々の動作要素に近づき、時間幅が長いほど、荷物を掴んで持ち上げるなど、複数の連続する動作要素により構成される作業に近づく。このように、時間幅を伸縮可能とすることにより、現場Ｓｉに応じた類似度、ひいては、作業認識結果Ｒｉ（ｔ）を得ることができる。

また、作業認識装置１００は、既存の現場Ｓｉについて、現場Ｓｎｅｗのセンサ２０３からのセンサデータが新たに入力された場合、類似度算出モデルＣＭｉの学習パラメータを更新してもよく、現場Ｓｎｅｗのセンサ２０３からのセンサデータおよび正解データの組み合わせが新たに入力された場合、作業認識モデルＲＭｉを更新してもよい。

これにより、作業認識装置１００は、現場Ｓｎｅｗの作業者Ｗｎｅｗの行動について、最新の類似度算出モデルＣＭｉおよび作業認識モデルＲＭｉにより、図８に示した作業認識処理を実行することができる。

また、作業認識装置１００は、現場Ｓｎｅｗについても、現場Ｓｎｅｗのセンサ２０３からのセンサデータを用いて、図７に示したように、類似度算出モデルＣＭｉを生成してもよい。また、作業認識装置１００は、現場Ｓｎｅｗについても、現場Ｓｎｅｗのセンサ２０３からのセンサデータおよび正解データの組み合わせを用いて、図７に示したように、作業認識モデルＲＭｉを含む現場対応モデルＭｉを生成してもよい。

また、この場合、作業認識装置１００は、現場Ｓｎｅｗのセンサ２０３からのセンサデータから生成された行動データを、既存の現場Ｓｉの現場対応モデルＭｉの類似度算出モデルＣＭｉに入力して、現場Ｓｎｅｗの類似度算出モデルを構築してもよい。同様に、作業認識装置１００は、現場Ｓｎｅｗのセンサ２０３からのセンサデータおよび正解データの組み合わせを用いて、現場Ｓｎｅｗのセンサ２０３からのセンサデータから生成された行動データおよび正解データを、既存の現場Ｓｉの現場対応モデルＭｉの作業認識モデルＲＭｉに入力して、現場Ｓｎｅｗの作業認識モデルを構築してもよい。このようにして、未構築の現場Ｓｎｅｗについても現場対応モデルを構築することができる。

実施例２は、実施例１における各現場Ｓｉにおいて、作業認識モデルＲＭｉを類似度算出モデルＣＭｉに統合して、統合モデルＰＭｉとする例である。統合モデルＰＭｉは、類似度算出モデルＣＭｉと作業認識モデルＲＭｉとの機能を併せ持つモデルであり、たとえば、作業者Ｗｎｅｗの行動データＡが統合モデルＰＭｉに入力されると、行動データＢを出力するとともに、作業認識結果Ｒｉを出力する。なお、実施例２では、実施例１との相違点を中心に説明するため、実施例１との共通部分については説明を省略する。

図１２は、実施例２にかかるモデル対応テーブルの一例を示す説明図である。実施例１のモデル対応テーブル２１１との相違点は、実施例２のモデル対応テーブル１２１１のモデル名が統合モデルＰＭｉになっている点である。なお、統合モデルＰＭ１＿１は、類似度算出モデルＣＭ１＿１と作業認識モデルＲＭ１とを統合したモデルであり、統合モデルＰＭ１＿２は、類似度算出モデルＣＭ１＿２と作業認識モデルＲＭ１とを統合したモデルである。

＜現場対応モデル＞
図１３は、実施例２にかかる現場対応モデルＭｉの使用例を示す説明図である。作業者Ｗｎｅｗの時刻ｔｊの行動データＡが統合モデルＰＭｉに入力されると、オートエンコーダとしても機能する統合モデルＰＭｉは、その作業者Ｗｎｅｗの時刻ｔｊの行動データＢを出力する。作業認識装置１００は、統合モデルＰＭｉの類似度算出処理５００において、行動データＡ，Ｂの類似度Ｃｉ（ｔｊ）を算出する。

具体的には、たとえば、作業認識装置１００は、行動データＡ，Ｂ間のユークリッド距離を算出し、算出距離の逆数を類似度とする。したがって、類似度が大きいほど、行動データＡ，Ｂは類似する。行動データＡ，Ｂが類似するということは、すなわち、類似度算出モデルＣＭｉを含む現場対応モデルＭｉに対応する現場Ｓｉでの作業者Ｗｉの行動と、作業者Ｗｎｅｗの行動と、が類似することを示す。

また、作業者の時刻ｔｊの行動データＡが統合モデルＰＭｉに入力されたことにより、統合モデルＰＭｉは、「つかむ」、「引っ張る」のような、その作業者の時刻ｔｊの作業認識結果Ｒｉ（ｔｊ）も出力する。

なお、統合モデルＰＭｉは、オートエンコーダのほか、時刻ｔごとの行動データを用いて構築された統計モデルや、ニューラルネットワークに基づく分類モデル、回帰モデル、生成モデルでもよい。

＜現場対応モデルの学習＞
図１４は、実施例２にかかる作業認識装置１００による現場対応モデルの学習処理手順例を示すフローチャートである。センサデータ取得（ステップＳ７０１）および行動データ生成（ステップＳ７０２）のあと、作業認識装置１００は、現場Ｓｉごとに（現場Ｓｉに複数の作業環境があれば、作業環境ごとに）、統合モデルＰＭｉを構築する（ステップＳ１４０３）。

具体的には、たとえば、作業認識装置１００は、行動データと作業者Ｗｉの行動の正解データとの組み合わせを統合モデルＰＭｉに入力する都度、統合モデルＰＭｉから出力される行動データＡが入力された行動データＢと一致するように、かつ、統合モデルＰＭｉから出力される作業認識結果Ｒｉが正解データと一致するように、統合モデルＰＭｉの学習パラメータを更新する。

そして、作業認識装置１００は、現場Ｓｉごと（現場Ｓｉに複数の作業環境があれば、作業環境ごと）の更新後の統合モデルＰＭｉをモデルＤＢ２０１に格納する（ステップＳ１４０４）。このようにして、現場Ｓｉごとの統合モデルＰＭｉを含む現場対応モデルＭｉが構築される。

＜現場Ｓｎｅｗにおける作業者Ｗｎｅｗの作業認識＞
図１５は、実施例２にかかる作業認識装置１００による未構築現場Ｓｎｅｗにおける作業者Ｗｎｅｗの作業認識処理手順例を示すフローチャートである。未構築現場Ｓｎｅｗのセンサデータ取得（ステップＳ８０１）および未構築現場Ｓｎｅｗの行動データ生成（ステップＳ８０２）のあと、作業認識装置１００は、未選択の現場対応モデルＭｉがあるか否かを判断する（ステップＳ８０３）。

未選択の現場対応モデルＭｉがある場合（ステップＳ８０３：Ｙｅｓ）、作業認識装置１００は、現場対応モデルＭｉの統合モデルＰＭｉに時刻ｔｊごとの行動データを入力して、時刻ｔｊごとの類似度および作業認識結果Ｒｉを出力する（ステップＳ１５０４）。そして、作業認識装置１００は、算出した類似度を、モデル選定テーブル２１２の時刻ｔｊにおける現場対応モデルＭｉの値として格納して、モデル選定テーブル２１２を更新し（ステップＳ１５０５）、ステップＳ８０３に戻る。

未選択の現場対応モデルＭｉがない場合（ステップＳ８０３：Ｎｏ）、作業認識装置１００は、時刻ｔｊごとに、類似度に基づいて現場対応モデルＭｉを選定する（ステップＳ１５０６）。具体的には、たとえば、作業認識装置１００は、モデル選定テーブル２１２を参照して、時刻ｔｊの列ごとに、選定数ｋに適合する現場対応モデルＭｉ、すなわち、上位ｋ番目までの類似度を有するｋ個の現場対応モデルＭｉを選定する。以降、ｋ個の現場対応モデルＭｉを、便宜的に、選定現場対応モデルＭ１～Ｍｋとする。

そして、作業認識装置１００は、図８に示したように、時刻ｔｊごとの作業認識結果Ｒ１（ｔｊ）～Ｒｋ（ｔｊ）を統合して（ステップＳ８０８）、時刻ｔｊごとの統合作業認識結果Ｒ（ｔｊ）を出力し（ステップＳ８０９）、作業認識処理を終了する。

このように、実施例２によれば、未知の作業工程が含まれる未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業を統合作業認識結果Ｒ（ｔ）として精度よく認識することができる。したがって、あらたな未構築現場Ｓｎｅｗごとに作業認識に関するモデルを構築しなくても、未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業が認識可能になる。また、事前に未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの身体特徴情報も不要であるため、作業認識の効率化を図ることができる。

また、類似度算出モデルＣＭｉと作業認識モデルＲＭｉという２種類のモデルが単一の統合モデルＰＭｉに集約されたため、モデルＤＢ２０１の省メモリ化を図ることができる。また、ステップＳ１５０４において類似度とともに作業認識結果Ｒｉも出力されるため、ステップＳ８０７を実行する必要がなくなり、作業認識処理の高速化を図ることができる。

実施例３は、実施例１または実施例２において、未構築現場Ｓｎｅｗについて、現場対応モデルを構築する例である。なお、実施例３では、実施例１および実施例２との相違点を中心に説明するため、実施例１および実施例２との共通部分については説明を省略する。

図１６は、実施例３にかかる作業認識装置１００による現場対応モデル構築処理手順例を示すフローチャートである。まず、作業認識装置１００は、作業認識処理を実行する（ステップＳ１６０１）。作業認識処理（ステップＳ１６０１）は、図８または図１５に示した作業認識処理である。これにより、時刻ｔ１～ｔｍの統合作業認識結果Ｒ（ｔ）と、選定数ｋの作業認識結果Ｒｉ（ｔ）を出力結果として得ることができる。

つぎに、作業認識装置１００は、作業認識処理（ステップＳ１６０１）の出力結果に基づいて、現場Ｓｎｅｗに類似する現場Ｓｉの現場対応モデルＭｉを決定する（ステップＳ１６０２）。具体的には、たとえば、作業認識装置１００は、統合作業認識結果Ｒ（ｔ１）～Ｒ（ｔｍ）からなるベクトルと現場対応モデルＭｋの作業認識結果Ｒｋ（ｔ１）～Ｒｋ（ｔｍ）からなるベクトルとのユークリッド距離の逆数を類似度として算出し、最も類似度が高い現場対応モデルＭｋを類似現場対応モデルＭｋに決定する。

つぎに、作業認識装置１００は、類似現場対応モデルＭｋを用いて、現場Ｓｎｅｗの現場対応モデルを構築する（ステップＳ１６０３）。具体的には、作業認識装置１００は、実施例１を適用する場合、現場Ｓｎｅｗのセンサデータについて図７の学習処理を実行する。たとえば、作業認識装置１００は、ステップＳ７０３において類似現場対応モデルＭｋの類似度算出モデルＣＭｋに、現場Ｓｎｅｗの行動データを入力し、出力が当該行動データと一致するように、類似度算出モデルＣＭｋの学習パラメータを更新する。

また、作業認識装置１００は、ステップＳ７０５において類似現場対応モデルＭｋの作業認識モデルＲＭｋに、現場Ｓｎｅｗの行動データと作業認識処理（ステップＳ１６０１）から得られる作業認識結果との組み合わせを入力することにより、作業認識モデルＲＭｋの学習パラメータを更新する。これにより、現場Ｓｎｅｗの現場対応モデルＭ（類似度算出モデルおよび作業認識モデル）が構築される。

また、実施例２を適用する場合、作業認識装置１００は、現場Ｓｎｅｗのセンサデータについて図１４の学習処理を実行する。たとえば、作業認識装置１００は、ステップＳ１４０３において、現場Ｓｎｅｗの作業者Ｗｎｅｗの行動データと作業認識処理（ステップＳ１６０１）から得られる作業認識結果Ｒｎｅｗとの組み合わせを統合モデルＰＭｋに入力し、統合モデルＰＭｋから出力される行動データが入力された行動データと一致するように、かつ、統合モデルＰＭｋから出力される作業認識結果Ｒｋが正解データと一致するように、統合モデルＰＭｋの学習パラメータを更新する。これにより、現場Ｓｎｅｗの現場対応モデル（統合モデル）が構築される。

このあと、作業認識装置１００は、現場Ｓｎｅｗの現場対応モデルＭｎｅｗをモデルＤＢ２０１に格納する（ステップＳ１６０４）。これにより、作業認識装置１００による現場対応モデル構築処理が終了する。このように、未構築現場Ｓｎｅｗの現場対応モデルが生成されたため、構築済みの現場数ｎは１加算され、現場Ｓｎｅｗが現場Ｓｎになり、未構築現場Ｓｎｅｗの現場対応モデルは現場対応モデルＭｎになる。

その後、新たに未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの行動を認識する場合、作業認識装置１００は、図８または図１５の作業認識処理により、作業者Ｗｎｅｗについて作業認識を実行することになる。

このように、実施例３によれば、未構築現場Ｓｎｅｗに類似する現場Ｓｋの類似現場対応モデルＭｋを用いて、未構築現場Ｓｎｅｗの現場対応モデルを構築するため、学習パラメータの更新の効率化を図ることができる。また、作業認識装置１００は、ユーザの経験や勘に頼らず、未構築現場Ｓｎｅｗに類似する現場Ｓｋの類似現場対応モデルＭｋを高精度に特定することができる。

また、上述した実施例１～実施例３にかかる作業認識装置は、下記（１）～（１３）のように構成することもできる。

（１）プログラムを実行するプロセッサ３０１と、プログラムを記憶する記憶デバイス３０２と、を有する作業認識装置１００は、第１作業環境（現場Ｓｉ）ごとに、第１作業環境における作業者Ｗｉの第１行動を示す第１行動データに対する類似度を算出するように学習された類似度算出モデルＣＭｉを記憶するモデルＤＢ２０１にアクセス可能であり、プロセッサ３０１は、第２作業環境（未構築現場Ｓｎｅｗ）における作業者Ｗｎｅｗの第２行動を示す第２行動データを取得する取得処理（ステップＳ８０１、Ｓ８０２）と、取得処理によって取得された第２行動データを類似度算出モデルＣＭｉの各々に入力することにより、第１行動データと第２行動データとの類似度を類似度算出モデルＣＭｉごとに算出する算出処理（ステップＳ８０４）と、算出処理によって算出された複数の類似度に基づいて、第２作業環境に類似する特定の第１作業環境を選定する選定処理（ステップＳ８０６）と、を実行する。

これにより、未知の作業工程が含まれる未構築現場Ｓｎｅｗに類似する現場Ｓｉを高精度に選定することができる。したがって、未構築現場Ｓｎｅｗに対し、選定された現場Ｓｉの作業認識モデルＲＭｉを適用して、作業者Ｗｎｅｗの作業を認識することが可能になる。これにより、あらたな未構築現場Ｓｎｅｗごとに作業認識に関するモデルを構築する必要がなく、また、事前に未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの身体特徴情報も不要であり、作業認識の効率化を図ることができる。

（２）上記（１）の作業認識装置１００において、モデルＤＢ２０１は、第１作業環境（現場Ｓｉ）ごとに、第１行動データに対する第１作業認識結果を出力するように学習された作業認識モデルＲＭｉを記憶し、選定処理（ステップＳ８０６）では、プロセッサ３０１は、特定の第１作業環境の作業認識モデルＲＭｉを選定し、プロセッサ３０１は、第２行動データを特定の第１作業環境の作業認識モデルＲＭｉに入力することにより、第２行動データに対する第２作業認識結果Ｒｉを出力する作業認識処理（ステップＳ８０７）と、を実行する。

これにより、未知の作業工程が含まれる未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業を精度よく認識することができる。したがって、あらたな未構築現場Ｓｎｅｗごとに作業認識に関するモデルを構築しなくても、未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業が認識可能になる。また、事前に未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの身体特徴情報も不要であるため、作業認識の効率化を図ることができる。

（３）上記（２）の作業認識装置１００において、選定処理（ステップＳ８０６）では、プロセッサ３０１は、複数の類似度のうち、しきい値以上の類似度、または、最大類似度から所定数（選定数ｋ）までの類似度の第１作業環境の作業認識モデルを、特定の第１作業環境の作業認識モデルとして選定する。

これにより、第２作業環境に類似する第１作業環境の作業認識モデルに絞り込むことができ、作業認識の効率化を図ることができる。

（４）上記（２）の作業認識装置１００において、作業認識処理（ステップＳ８０８）では、プロセッサ３０１は、第２作業認識結果Ｒｉが複数存在する場合、複数の第２作業認識結果Ｒｉの中から特定の第２作業認識結果Ｒｉを出力する。

これにより、複数の第２作業認識結果Ｒｉが異なる結果であっても統一した作業認識結果を出力することができる。

（５）上記（４）の作業認識装置１００において、作業認識処理（ステップＳ８０８）では、プロセッサ３０１は、多数決により、複数の第２作業認識結果の中から特定の第２作業認識結果を出力する。

これにより、複数の第２作業認識結果が異なる結果であっても、相対的に数が最大の第２作業認識結果を、統一した作業認識結果として出力することができる。

（６）上記（１）の作業認識装置１００において、取得処理（ステップＳ８０１、Ｓ８０２）では、プロセッサ３０１は、異なる時刻ｔｊの第２行動データを繰り返し取得し、算出処理（ステップＳ８０４）では、プロセッサ３０１は、繰り返し取得された第２行動データの各々を、類似度算出モデルＣＭｉの各々に入力することにより、第１行動データと第２行動データの各々との異なる時刻ｔｊごとの類似度を、類似度算出モデルＣＭｉごとに算出し、選定処理（ステップＳ８０６）では、プロセッサ３０１は、算出処理によって類似度算出モデルＣＭｉごとに算出された異なる時刻ｔｊごとの複数の類似度に基づいて、特定の第１作業環境を異なる時刻ｔｊごとに選定する。

これにより、経時的な第２行動データについて、経時的に未構築現場Ｓｎｅｗに類似する現場Ｓｉ、ひいては、その現場対応モデルＭｉを特定することができる。

（７）上記（６）の作業認識装置１００において、取得処理（ステップＳ８０１、Ｓ８０２）では、プロセッサ３０１は、所定の時間幅内の異なる時刻ｔｊを含む第２行動データを繰り返し取得し、算出処理（ステップＳ８０４）では、プロセッサ３０１は、繰り返し取得された所定の時間幅内の第２行動データの集約結果（たとえば、重み付き線形和）の各々を、類似度算出モデルＣＭｉの各々に入力することにより、第１行動データと集約結果の各々との異なる時刻ｔｊごとの類似度を、類似度算出モデルＣＭｉごとに算出し、選定処理（ステップＳ８０６）では、プロセッサ３０１は、算出処理によって類似度算出モデルＣＭｉごとに算出された異なる時刻ｔｊごとの複数の類似度に基づいて、特定の第１作業環境を異なる時刻ｔｊごとに選定する。

これにより、時間幅に応じた経時的な第２行動データについて、経時的に未構築現場Ｓｎｅｗに類似する現場Ｓｉ、ひいては、その現場対応モデルＭｉを特定することができる。

（８）上記（７）に記載の作業認識装置１００において、モデルＤＢ２０１は、第１作業環境（現場Ｓｉ）ごとに、第１行動データに対する第１作業認識結果を出力するように学習された作業認識モデルＲＭｉを記憶し、選定処理（ステップＳ８０６）では、プロセッサ３０１は、特定の第１作業環境の作業認識モデルＲＭｉを異なる時刻ｔｊごとに選定し、プロセッサ３０１は、異なる時刻ｔｊごとに、第２行動データを特定の第１作業環境の作業認識モデルＲＭｉに入力することにより、第２行動データに対する第２作業認識結果Ｒｉを異なる時刻ｔｊごとに出力する作業認識処理（ステップＳ８０７）と、を実行する。

これにより、時間幅に応じた経時的な第２行動データについて、経時的に未構築現場Ｓｎｅｗに類似する現場Ｓｉの作業認識モデルＲＭｉで、未構築現場Ｓｎｅｗの作業者Ｗｎｅｗの作業を認識することができる。

（９）上記（８）の作業認識装置１００において、作業認識処理（ステップＳ８０７）では、プロセッサ３０１は、異なる時刻ｔｊの各々において第２作業認識結果Ｒｉが複数存在する場合、複数の第２作業認識結果Ｒｉの中から特定の第２作業認識結果Ｒｉを異なる時刻ｔｊごとに出力する。

これにより、複数の第２作業認識結果Ｒｉが異なる結果であっても統一した作業認識結果Ｒを異なる時刻ｔｊごとに出力することができる。

（１０）上記（９）の作業認識装置１００において、プロセッサ３０１は、異なる時刻ｔｊごとの特定の作業認識結果Ｒと、異なる時刻ｔｊごとの第２作業認識結果と、の類似度に基づいて、第２作業環境に類似する第１作業環境の類似度算出モデルＣＭｉおよび作業認識モデルＲＭｉを決定する決定処理（ステップＳ１６０２）と、第２行動データを用いて決定処理によって決定された類似度算出モデルＣＭｉを更新することにより、第２作業環境の類似度算出モデルを構築し、第２行動データおよび特定の作業認識結果Ｒを用いて特定処理によって特定された作業認識モデルＲＭｉを更新することにより、第２作業環境の作業認識モデルを構築する構築処理（ステップＳ１６０３）と、を実行する。

未構築現場Ｓｎｅｗに類似する現場Ｓｋの類似現場対応モデルＭｋを用いて、未構築現場Ｓｎｅｗの現場対応モデルを構築するため、学習パラメータの更新の効率化を図ることができる。また、作業認識装置１００は、ユーザの経験や勘に頼らず、未構築現場Ｓｎｅｗに類似する現場Ｓｋの類似現場対応モデルＭｋを高精度に特定することができる。

（１１）プログラムを実行するプロセッサ３０１と、プログラムを記憶する記憶デバイス３０２と、を有する作業認識装置１００は、第１作業環境（現場Ｓｉ）ごとに、第１作業環境における作業者Ｗｉの第１行動を示す第１行動データに対する類似度を算出するように、かつ、第１行動データに対する第１作業認識結果を出力するように学習された統合モデルＰＭｉを記憶するモデルＤＢ２０１にアクセス可能であり、プロセッサ３０１は、第２作業環境における作業者Ｗｎｅｗの第２行動を示す第２行動データを取得する取得処理（ステップＳ８０１、Ｓ８０２）と、取得処理によって取得された第２行動データを統合モデルＰＭｉの各々に入力することにより、第１行動データと第２行動データとの類似度を統合モデルＰＭｉごとに算出するとともに、第２行動データを統合モデルＰＭｉに入力することにより、第２行動データに対する第２作業認識結果Ｒｉを出力する算出処理（ステップＳ１５０４）と、算出処理によって算出された複数の類似度に基づいて、第２作業環境に類似する特定の第１作業環境の作業認識モデルＲＭｉを選定する選定処理（ステップＳ１５０６）と、選定処理によって選定された作業認識モデルＲＭｉからの第２作業認識結果を出力する作業認識処理（ステップＳ８０８）と、を実行する。

これにより、類似度算出モデルＣＭｉと作業認識モデルＲＭｉという２種類のモデルが単一の統合モデルＰＭｉに集約されたため、モデルＤＢ２０１の省メモリ化を図ることができる。また、算出処理（ステップＳ１５０４）において類似度とともに作業認識結果Ｒｉも出力されるため、ステップＳ８０７を実行する必要がなくなり、作業認識処理（ステップＳ８０８）の高速化を図ることができる。

（１２）上記（１１）の作業認識装置１００において、作業認識処理（ステップＳ８０８）では、プロセッサ３０１は、第２作業認識結果Ｒｉが複数存在する場合、複数の第２作業認識結果Ｒｉの中から特定の第２作業認識結果Ｒｉを出力する。

これにより、複数の第２作業認識結果Ｒｉが異なる結果であっても統一した作業認識結果Ｒを出力することができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

ＣＭｉ 類似度算出モデル
Ｍｉ 現場対応モデル
ＰＭｉ 統合モデル
ＲＭｉ 作業認識モデル
Ｓｉ 現場
Ｓｎｅｗ 未構築現場
Ｗｉ 作業者
Ｗｎｅｗ 作業者
１００ 作業認識装置
２００ 作業認識システム
２０１ モデルＤＢ
２０２ ゲートウェイ
２０３ センサ
２１１ モデル対応テーブル
２１２ モデル選定テーブル
３０１ プロセッサ
３０２ 記憶デバイス
５００ 類似度算出処理
１０００ 結果表示画面
１００１ 作業認識結果表
１２１１ モデル対応テーブル

Claims (13)

1. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業認識装置であって、
   第１作業環境ごとに、前記第１作業環境における作業者の第１行動を示す第１行動データに対する類似度を算出するように学習された類似度算出モデルを記憶するデータベースにアクセス可能であり、
   前記プロセッサは、
   第２作業環境における作業者の第２行動を示す第２行動データを取得する取得処理と、
   前記取得処理によって取得された第２行動データを前記類似度算出モデルの各々に入力することにより、前記第１行動データと前記第２行動データとの類似度を前記類似度算出モデルごとに算出する算出処理と、
   前記算出処理によって算出された複数の類似度に基づいて、前記第２作業環境に類似する特定の第１作業環境を選定する選定処理と、
   を実行することを特徴とする作業認識装置。
2. 請求項１に記載の作業認識装置であって、
   前記データベースは、前記第１作業環境ごとに、前記第１行動データに対する第１作業認識結果を出力するように学習された作業認識モデルを記憶し、
   前記選定処理では、前記プロセッサは、特定の第１作業環境の作業認識モデルを選定し、
   前記プロセッサは、
   前記第２行動データを前記特定の第１作業環境の作業認識モデルに入力することにより、前記第２行動データに対する第２作業認識結果を出力する作業認識処理と、
   を実行する作業認識装置。
3. 請求項２に記載の作業認識装置であって、
   前記選定処理では、前記プロセッサは、前記複数の類似度のうち、しきい値以上の類似度、または、最大類似度から所定数までの類似度の第１作業環境の作業認識モデルを、前記特定の第１作業環境の作業認識モデルとして選定する、
   ことを特徴とする作業認識装置。
4. 請求項２に記載の作業認識装置であって、
   前記作業認識処理では、前記プロセッサは、前記第２作業認識結果が複数存在する場合、複数の第２作業認識結果の中から特定の第２作業認識結果を出力する、
   ことを特徴とする作業認識装置。
5. 請求項４に記載の作業認識装置であって、
   前記作業認識処理では、前記プロセッサは、多数決により、前記複数の第２作業認識結果の中から前記特定の第２作業認識結果を出力する、
   ことを特徴とする作業認識装置。
6. 請求項１に記載の作業認識装置であって、
   前記取得処理では、前記プロセッサは、異なる時刻の前記第２行動データを繰り返し取得し、
   前記算出処理では、前記プロセッサは、繰り返し取得された前記第２行動データの各々を、前記類似度算出モデルの各々に入力することにより、前記第１行動データと前記第２行動データの各々との前記異なる時刻ごとの類似度を、前記類似度算出モデルごとに算出し、
   前記選定処理では、前記プロセッサは、前記算出処理によって前記類似度算出モデルごとに算出された前記異なる時刻ごとの複数の類似度に基づいて、前記特定の第１作業環境を前記異なる時刻ごとに選定する、
   ことを特徴とする作業認識装置。
7. 請求項６に記載の作業認識装置であって、
   前記取得処理では、前記プロセッサは、所定の時間幅内の前記異なる時刻を含む前記第２行動データを繰り返し取得し、
   前記算出処理では、前記プロセッサは、繰り返し取得された前記所定の時間幅内の前記第２行動データの集約結果の各々を、前記類似度算出モデルの各々に入力することにより、前記第１行動データと前記集約結果の各々との前記異なる時刻ごとの類似度を、前記類似度算出モデルごとに算出し、
   前記選定処理では、前記プロセッサは、前記算出処理によって前記類似度算出モデルごとに算出された前記異なる時刻ごとの複数の類似度に基づいて、前記特定の第１作業環境を前記異なる時刻ごとに選定する、
   ことを特徴とする作業認識装置。
8. 請求項７に記載の作業認識装置であって、
   前記データべースは、前記第１作業環境ごとに、前記第１行動データに対する第１作業認識結果を出力するように学習された作業認識モデルを記憶し、
   前記選定処理では、前記プロセッサは、前記特定の第１作業環境の作業認識モデルを前記異なる時刻ごとに選定し、
   前記プロセッサは、
   前記異なる時刻ごとに、前記第２行動データを前記特定の第１作業環境の作業認識モデルに入力することにより、前記第２行動データに対する第２作業認識結果を前記異なる時刻ごとに出力する作業認識処理と、
   を実行する作業認識装置。
9. 請求項８に記載の作業認識装置であって、
   前記作業認識処理では、前記プロセッサは、前記異なる時刻の各々において前記第２作業認識結果が複数存在する場合、複数の第２作業認識結果の中から特定の第２作業認識結果を前記異なる時刻ごとに出力する、
   ことを特徴とする作業認識装置。
10. 請求項９に記載の作業認識装置であって、
    前記プロセッサは、
    前記異なる時刻ごとの前記特定の作業認識結果と、前記異なる時刻ごとの第２作業認識結果と、の類似度に基づいて、前記第２作業環境に類似する第１作業環境の前記類似度算出モデルおよび前記作業認識モデルを決定する決定処理と、
    前記第２行動データを用いて前記決定処理によって決定された類似度算出モデルを更新することにより、前記第２作業環境の類似度算出モデルを構築し、前記第２行動データおよび前記特定の作業認識結果を用いて前記決定処理によって特定された作業認識モデルを更新することにより、前記第２作業環境の作業認識モデルを構築する構築処理と、
    を実行する作業認識装置。
11. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業認識装置であって、
    第１作業環境ごとに、前記第１作業環境における作業者の第１行動を示す第１行動データに対する類似度を算出するように、かつ、前記第１行動データに対する第１作業認識結果を出力するように学習された統合モデルを記憶するモデルデータベースにアクセス可能であり、
    前記プロセッサは、
    第２作業環境における作業者の第２行動を示す第２行動データを取得する取得処理と、
    前記取得処理によって取得された第２行動データを前記統合モデルの各々に入力することにより、前記第１行動データと前記第２行動データとの類似度を前記統合モデルごとに算出するとともに、前記第２行動データを前記統合モデルに入力することにより、前記第２行動データに対する第２作業認識結果を出力する算出処理と、
    前記算出処理によって算出された複数の類似度に基づいて、前記第２作業環境に類似する特定の第１作業環境の作業認識モデルを選定する選定処理と、
    前記選定処理によって選定された前記作業認識モデルからの第２作業認識結果を出力する作業認識処理と、
    を実行することを特徴とする作業認識装置。
12. 請求項１１に記載の作業認識装置であって、
    前記作業認識処理では、前記プロセッサは、前記第２作業認識結果が複数存在する場合、複数の第２作業認識結果の中から特定の第２作業認識結果を出力する、
    ことを特徴とする作業認識装置。
13. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業認識装置が実行する作業認識方法であって、
    第１作業環境ごとに、前記第１作業環境における作業者の第１行動を示す第１行動データに対する類似度を算出するように学習された類似度算出モデルを記憶するデータベースにアクセス可能であり、
    前記作業認識方法は、
    前記プロセッサが、
    第２作業環境における作業者の第２行動を示す第２行動データを取得する取得処理と、
    前記取得処理によって取得された第２行動データを前記類似度算出モデルの各々に入力することにより、前記第１行動データと前記第２行動データとの類似度を前記類似度算出モデルごとに算出する算出処理と、
    前記算出処理によって算出された複数の類似度に基づいて、前記第２作業環境に類似する特定の第１作業環境を選定する選定処理と、
    を実行することを特徴とする作業認識方法。

Images