JP2022176819A - 作業認識装置および作業認識方法 - Google Patents

Abstract

【課題】製造現場などの作業認識で物体間のつながりを用いた作業認識を行う場合に、簡易なアルゴリズムにより、汎用的に物体間の関連性を推定する作業認識装置及び方法を提供する。
【解決手段】作業認識装置は、撮影装置により撮影された画像データを取得する画像取得部と、画像取得部から得た画像データを解析し、物体に関する領域を検出する解析領域検出部と、解析領域検出部により検出された物体に関する領域の画像に関する特徴量を抽出し、所定期間内における画像に関する特徴量の変化量を算出する特徴抽出部と、所定期間内における第一の物体に関する領域として検出された画像に関する特徴量の第一の変化量と、第一の変化量の所定期間内と同一期間における第二の物体に関する領域として検出された画像に関する特徴量の第二の変化量に基づき、第一の物体と第二の物体の物体関連度を算出する関連性推定部と、を有する。
【選択図】図２

Description

本発明は、作業認識装置および作業認識方法に係り、特に、作業監視のために、製造現場など作業する作業員やロボットと周辺物体の関係を関係付けて作業認識を行うのに好適な作業認識装置および作業認識方法に関する。

製造現場では、製品品質を維持するため人作業に関する安全性の確保や作業内容の正確性向上に向けて改善活動が行われている。それらの改善活動の一つに、人作業における動作認識に関する技術開発が産業分野に適用されている。例えば、製造現場の標準作業書などに従った行動をしているのか検出するケースや、特定の作業にどれぐらい時間を要しているのか作業時間を算出するケースなどが挙げられる。このような技術が対象とする製造現場としては、様々な機械や道具が設置され、工程により機械の動きが異なり、作業ごとに扱う道具が変わる作業現場が想定される。

一方、作業認識に関するコンピュータビジョンの技術においては、コンピュータ性能が急発展したことや一般的なデータの大量収集が容易になったことから、機械学習を用いた動作認識技術が盛んに行われている。この動作認識技術では、動画像データを入力とし、情報処理装置が、その動画内の人物がとっている動作を認識する。そして、このような動作認識技術に関連する公開データベースとしては、例えば、非特許文献１があり、このデータベースによれば、各画像データに対して、”Playing Piano”, “Surfing”, “Table Tennis Shot”などのラベルが付与されている。

また、画像から物体領域を取得する物体アルゴリズムについては、例えば、非特許文献２、非特許文献３に記載がある。

これに関連して、情報処理装置により、映像内に存在する物体間の紐づけする方法としては、例えば、特許文献１に開示されている。特許文献１では、人物カウント向けの情報処理装置として、鏡に映り込んだ鏡像と実像の繋がりを見つけ、鏡像が映りこむ画像においても正確な人物カウントを実現する方法を提案している。鏡像と実像の繋がりを見つけるには、画像内における複数の移動体の位置変化に応じた速度の類似度に基づいて、複数の移動体における同一の実移動体に対応する二つ以上の移動体を特定し、移動量の時間変化が相似に近い形であるか判定し、二つの物体（実像と鏡像）の繋がりを推定している。

また、センサやカメラを活用して、行動認識を行う手法については、例えば、非特許文献４に記載されている。

また、非特許文献５では、機械学習の一態様として、ＧＣＮ（Graph Convolution Network）により行動認識を行う技術が記載されている。ＧＣＮとは、いわゆる畳み込みニューラルネットワークの一分野であり、ある物体の特徴量およびクラスの情報を備えたノードと、ノード間をつなげるエッジから構成されるグラフを生成し、隣接するノードの特徴量を用いて目標のノードクラスやグラフ全体のクラスを推論できる手法である。ＧＣＮでは、ノード間のつながりを事前に定義するか、映像内の変化に応じて自動的に決定する方法がある。非特許文献５では二つの手法を採用している。一つ目は、カメラで撮影した映像に対して物体の位置を検出し、物体間の重なり度合いから重畳率を算出した後、その重畳率に応じて両物体の関係を推定する手法である。二つ目は、時系列に取得したフレーム画像において、類似する物体が映っている場合に同一物体とみなし、時間方向のフレーム間における物体間の関係をする手法である。このような手法により、物体間の関係を事前定義あるいは推定することによってグラフを生成でき、物体間を考慮した行動認識が可能となる。

特開２０２０－８７３５８号公報

UNIVERSITY OF CENTRAL FLORIDA、"UCF101 - Action Recognition Data Set"、[online]、[令和３年４月１６日検索]、インターネット＜ＵＲＬ：https://www.crcv.ucf.edu/research/data-sets/ucf101/＞ Ren, Shaoqing, et al., "Faster r-cnn: Towards real-time object detection with region proposal networks.", IEEE transactions on pattern analysis and machine intelligence 39.6, 2016, p. 1137-1149 Yolo(Redmon, Joseph, et al. "You only look once: Unified, real-time object detection.", Proceedings of the IEEE conference on computer vision and pattern recognition, 2016 Vrigkas，M.，Nikou，C． and Kakadiaris，I．A．"A Review of Human Activity Recognition Methods"，Frontiers in Robotics and AI， 2015 Wang, Xiaolong, and Abhinav Gupta, "Videos as space-time region graphs", Proceedings of the European conference on computer vision (ECCV), 2018.

コンピュータビジョンの技術において、製造現場の作業者を対象に動作認識技術を適用することを想定した場合には、製造現場毎に異なる特有の動作を認識する必要がある。その際、対象の作業者にのみ注目して作業者の動きを捉える方法が一般的であるが、この方法によった場合、複数の異なる作業を同じ姿勢などで実施していた場合に識別することが困難である。また、製造現場に機械が存在する現場では、ある作業を実施する際、作業者だけでなくその周辺の機械が同時に動く、または道具を同時に扱う場合がある。すなわち、作業認識の対象とする物体（ヒトやモノ）とその周辺の物体は、同時に変化するケースが存在する。

製造現場に適用する場合、ある機械の見た目は変化するが大きな移動がないケースがある。非特許文献５では、上記のように、物体間の関連性を推定するために、物体の物体間の重畳率また類似度を用いているが、いずれを採用しても、製造現場の物体間の関係を適切に扱うことができない事態が想定される。例えば、加工作業時に設備のドアが開き、新しいワークが運搬されて設備内に投入するケースで、それが同時に動作していたとしても、カメラの設置位置により画像空間上で重ならないことがある。そのため、物体間の重なりや距離に依存しない方式で関連性を推定する必要がある。

実像と鏡像の繋がりを見出す方法を提案している特許文献１では、対象物体が同一のものであることを想定している。ある作業を実施する際に、製造現場に存在する複数の物体（機械・ワーク・作業者）が同時に動くことはあるが、それらの機械・ワーク・作業者などの間で、時間変化による動き量は、物体別に異なる。そのため、機械・ワーク・作業者の間で移動量の時間変化の相似から製造現場にある物体の関連性を推定することは困難である。

また、特許文献１および非特許文献５において、物体間のつながりを決定するための指標として重畳率や類似度などを採用しており、閾値を設けて判定している。そのため、この手法により物体間のつながりに関連性ありと判定される場合は、それらの指標が劇的な値をとる場合のみであり、それらの指標の重畳率や類似度一定の閾値を超えなくても、物体間のつながりを有すると認識すべき場合には、そのような手法では判定することができず、さらに物体の位置関係などからの関連性を推定するアルゴリズムが必要になるという問題が生ずる。

本発明の目的は、製造現場などの作業認識で物体間のつながりを用いた作業認識を行う場合に、簡易なアルゴリズムにより、汎用的に物体間の関連性を推定することのできる作業認識装置を提供することにある。

本発明の作業認識装置の構成は、好ましくは、画像データを解析し、その画像データを解析することにより、作業にかかわる物体の作業認識を行う作業認識装置であって、撮影装置により撮影された画像データを取得する画像取得部と、画像取得部から得た画像データを解析し、物体に関する領域を検出する解析領域検出部と、解析領域検出部により検出された物体に関する領域の画像に関する特徴量を抽出し、所定期間内における画像に関する特徴量の変化量を算出する特徴抽出部と、所定期間内における第一の物体に関する領域として検出された画像に関する特徴量の第一の変化量と、第一の変化量の所定期間内と同一期間における第二の物体に関する領域として検出された画像に関する特徴量の第二の変化量に基づき、第一の物体と第二の物体の物体関連度を算出する関連性推定部とを有するようにしたものである。

本発明によれば、製造現場などの作業認識で物体間のつながりを用いた作業認識を行う場合に、簡易なアルゴリズムにより、汎用的に物体間の関連性を推定することのできる作業認識装置を提供することができる。

作業認識システムの概略的な構成図である。 実施形態１に係る作業認識装置の機能構成図である。 作業認識装置のハードウェア・ソフトウェア構成図である。 実施形態１係る作業認識装置の画像取得から学習処理までの一連の処理を示すフローチャートである。 特徴量の変化量抽出処理（動き変化の場合）の詳細を示すフローチャートである。 特徴量の変化量抽出処理（テクスチャ変化の場合）の詳細を示すフローチャートである。 関連性推定処理の詳細を示すフローチャートである。 グラフ生成処理の詳細を示すフローチャートである。 作業認識装置の画像取得から推論処理までの一連の処理を示すフローチャートである。 画像データから物体関連度を算出する具体的なイメージを説明する図である。 物体関連度をグラフ生成に適用する例について説明する図である。 推論結果としてノードにノード作業ラベルを付与することを説明する図である。 実施形態２に係る作業認識装置の機能構成図である。 実施形態２に係る作業認識装置の画像取得から学習処理までの一連の処理を示すフローチャートである。 物体関連度編集画面の一例を示す図である。 実施形態３の画像データから物体関連度を算出する具体的なイメージを説明する図である。

以下、本発明に係る各実施形態を、図１ないし図１５を用いて説明する。

〔実施形態１〕
以下、本発明に係る実施形態１を、図１ないし図１１を用いて説明する。

本実施形態では、ユーザが作業している様子から作業者および周辺物体を検出し、その状態をグラフ構造により表現して、そのグラフ構造に基づいたＧＣＮの手法により機械学習することにより、作業動作を認識する作業認識システムの例を説明する。作業動作を認識するためのデータ構造としてグラフ構造を用いるのには、一例であり、本実施形態の適用のためには、それに類するネットワーク構造やアルゴリズムであってもよい。

先ず、図１ないし図３を用いて作業認識システムの構成について説明する。

作業認識システム１は、図１に示されように、画像取得装置６、センサ３、作業認識装置１００が、通信手段４によって接続された構成である。

通信手段４は、有線でも無線でもよく、ＬＡＮ（Local Area Network）でも、インターネットなどのＷＡＮ（Wide Area Network）であってもよい。また、ＵＳＢ（Universal Serial Bus）やＲＳ－２３２Ｃ等のシリアル規格に準拠した通信手段であってもよい。

画像取得装置６（撮影装置）は、作業者２や周辺物体５などを映した画像データを取得する装置であり、例えば、動画や静止画の画像データを取得（撮影）するカメラ（デジタルカメラ（ＲＧＢカメラ）、赤外線カメラ、サーモグラフィカメラ、タイムオブフライト（ＴＯＦ：Time Of Flight）カメラ、ステレオカメラ等）である。画像取得装置６は、図１では、１台で表現されているが、撮影対象が複数ある場合など、複数台のカメラを用いて、異なるカメラの複数の画像を用いてもよい。

センサ３は、作業者２が作業を行う作業環境に設けられ、作業者２や作業環境についての状態を検知し、物理的な情報を出力する。センサ３は、例えば、動体検知センサ、人感センサ、温度センサ、湿度センサ、加速度センサ、速度センサ、音響センサ（マイクロホン）、超音波センサ、振動センサ、ミリ波レーダ、レーザレーダ（LIDAR: Laser Imaging Detection and Ranging）、赤外線深度センサである。

作業認識装置１００は、画像取得装置６によって取得される画像データに基づき作業者２の作業動作または周辺物体５の作業動作を認識する処理を行う装置である。

次に、図２を用いて作業認識装置の機能構成を説明する。
作業認識装置１００は、図２に示されるように、画像取得部１０１、解析領域検出部１０２、特徴抽出部１０３、関連性推定部１０４、グラフ生成部１０５、作業学習部１０６、作業推論部１０７、記憶部１１０の各機能部を有する。

画像取得部１０１は、画像取得装置６から取得される画像データ２００を所得する機能部である。画像データ２００は、例えば、画像取得装置６から送られてくる静止画データや動画データを構成するフレームのデータである。

解析領域検出部１０２は、画像取得部１０１で得た画像から物体領域を検出する機能部である。物体領域の検出には、ユーザが手動で画像上に矩形を描くように設定する方法、または、例えば、非特許文献２、非特許文献３に示されるような物体検出アルゴリズムを用いて自動的に領域を取得する方法があり、手動と自動のいずれの方法を用いてもよい。

特徴抽出部１０３は、画像における特徴量とその変化量を抽出する機能部である。

特徴量の抽出の機能では、特徴抽出部１０３は、画像から得られる色特徴量、動き特徴量、ＣＮＮ（Convolutional Neural Network）特徴量などの特徴量を抽出する。なお、本実施形態の特徴利用は、スカラー値であるものとする。特徴量の抽出の機能では、特徴抽出部１０３は、前後フレームなど時系列にデータを確保しておき、前後フレームの特徴量の差を用いて特徴量の変化量を抽出する。所定の領域から特徴抽出するだけでなく、位置情報などのその領域が１点で表現できるような変化量であってもよい。

関連性推定部１０４は、特徴抽出部１０３の出力された特徴量の変化量を用いて物体間のつながりを示す強弱を推定する物体関連度を算出する機能部である。関連性推定部１０４は、各物体から取得した変化量に対して、補正パラメータ２０１を用いて正規化（スケールを０～１の間に調整）する。そして、正規化された特徴量の変化量に対して、物体間の関係の強さとして、各々演算して、例えば、それらの積として、算出した結果を、物体関連度として出力する。補正パラメータ２０１は、特徴量の変化量を正規化するためのパラメータであり、物体間の矩形の大きさや平均的な変化量の差を埋める目的を有する。上記の説明では、物体間の関係の強さを、特徴量の変化量の各々の積で算出する例を示したが、特徴量の変化量の各々の和、重み付き線形和などの算出方法であってもよい。

グラフ生成部１０５は、ＧＣＮで用いられるグラフを生成する機能部である。グラフ生成部１０５では、解析領域検出部１０２により取得した領域の数だけグラフのノードを生成し、各ノードに特徴抽出部１０３の特徴抽出処理により得られた特徴量を付与し、ノード特定ラベル２０２のラベルを付与する。ノード特定ラベル２０２のラベルは、例えば、「ロボット」、「作業員」、「加工機」などの製造現場における物体の名称である。各ノードの間にはつながりがあることを前提とし、それらのノード間にエッジを設け、関連性推定部１０４から得られた物体関連度を用いてグラフのエッジに重みを付与する。

作業学習部１０６は、作業の正解ラベルであるノード作業ラベル２０３と、グラフ生成部１０５で生成されたグラフとに基づいて、ＧＣＮにより機械学習を行い、推論モデル２１０を生成する機能部である。作業学習部１０６の機械学習の処理では、生成されたグラフをベースに、ＧＣＮのアルゴリズムを用いて学習し、その結果として、推論モデル２１０を出力する。ノード作業ラベル２０３は、作業を認識する正解ラベルであり、例えば、ノードが「ロボット」である場合の「溶接」、「スクリュー締め」などであり、ノードが「作業員」である場合の「制御盤操作」、「床清掃」などである。

作業推論部１０７は、作業学習部１０６により学習の結果により得られた推論モデル２１０に基づいて、作業認識を行いたい画像データ２００に対して推論をし、推論結果２２０を得るための機能部である。

記憶部１１０は、データを記憶する機能部である。記憶部１１０には、画像データ２００、補正パラメータ２０１、ノード特定ラベル２０２、ノード作業ラベル２０３、推論モデル２１０、推論結果２２０が格納される。

次に、図３を用いて作業認識装置のハードウェア・ソフトウェア構成について説明する。作業認識装置１００は、一般的な情報処理装置（コンピュータ）により実現することができ、図３に示されるように、プロセッサ１１、主記憶装置１２、通信装置１３、入力装置１４、出力装置１５、補助記憶装置１６を備える。

プロセッサ１１は、主記憶装置１２上のプログラムを実行し、作業認識装置１００の各部を制御する半導体装置であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等である。

主記憶装置１２は、プログラムやデータを一時的に記憶する装置であり、例えば、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）である。

通信装置１３は、通信手段４を介して他の装置と通信するインタフェース装置であり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。通信装置１３は、通信可能に接続する他の装置から情報を受信する入力装置として機能することもできる。また、通信装置１３は、通信可能に接続する他の装置に情報を送信する出力装置として機能することもできる。作業認識装置１００は、通信装置１３により通信手段４を介して画像取得装置６、センサ３と通信する。

入力装置１４は、ユーザから情報を受付けるユーザインタフェース装置であり、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。

出力装置１５は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインタフェース装置であり、例えば、各種情報を可視化する表示装置（ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）や音声出力装置（スピーカ）、印字装置等である。

補助記憶装置１６は、ハードディスクドライブ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。補助記憶装置１６に格納されているプログラムやデータは、主記憶装置１２に随時読み込まれ、プロセッサ１１は、ロードされたデータを参照し、プログラムを実行する。

本実施形態の補助記憶装置１６には、画像取得プログラム１６１、解析領域検出プログラム１６２、特徴抽出プログラム１６３、関連性推定プログラム１６４、グラフ生成プログラム１６５、作業学習プログラム１６５、作業推論プログラム１６６がインストールされている。

画像取得プログラム１６１、解析領域検出プログラム１６２、特徴抽出プログラム１６３、関連性推定プログラム１６４、グラフ生成プログラム１６５、作業学習プログラム１６５、作業推論プログラム１６６は、各々画像取得部１０１、解析領域検出部１０２、特徴抽出部１０３、関連性推定部１０４、グラフ生成部１０５、作業学習部１０６、作業推論部１０７の各機能を実現するプログラムである。

なお、作業認識装置１００が備える各種の機能は、プロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行するとして説明したが、作業認識装置１００を構成しているハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現されるようにしてもよい。

次に、図４ないし図８を用いて作業認識装置の処理について説明する。

先ず、作業認識装置１００の画像取得部１０１は、画像取得装置６から送信される画像データ２００を取得する（Ｓ１００）。

次に、解析領域検出部１０２は、画像取得部１０１で得た画像データ２００の画像から物体領域を検出する。

次に、特徴抽出部１０３は、画像から得られる所定のフレーム間における特徴量を抽出する（Ｓ１０２）。

次に、特徴抽出部１０３は、前後フレームなど時系列にデータを確保しておき、前後フレームの特徴量の差を用いて特徴量の変化量を抽出する（Ｓ１０３）。なお、特徴量の変化量を抽出する処理については、後に詳説する。

次に、関連性推定部１０４は、特徴抽出部１０３の特徴量の変化量を抽出する処理Ｓ１０３により抽出された特徴量の変化量を用いて物体間のつながりを示す強弱を推定する物体関連度を算出する（Ｓ１０４）。この物体間の物体関連度を算出する処理については、後に詳説する。

次に、グラフ生成部１０５は、Ｓ１０４の物体間の物体関連度に基づき、ＧＣＮで用いられるグラフを生成する（Ｓ１０５）。

次に、作業学習部１０６は、Ｓ１０５で生成されたグラフに基づき、ＧＣＮにより機械学習を行い、推論モデル２１０を生成する（Ｓ１０６）。

次に、図５Ａおよび図５Ｂを用いて特徴量の変化量を抽出する処理の詳細について説明する。

これは、図４のＳ１０３に該当する処理である。本実施形態では、特徴量の例として、動き変化、テクスチャ変化の場合を詳細に説明するが、画像データの特徴量としては、作業認識に寄与するデータであればよい。

先ず、図５Ａを用いて画像上の動きのある物体から動き変化を特徴量の変化量として抽出する処理について説明する。

最初に、所定の物体領域群を取得する（Ｓ２００）。ここで、動きを取得したい領域を取得するため、必ずしも物体そのものにフォーカスした領域である必要はなく、画像空間上の物体と関連する所定の領域であればよい。

次に、前後フレームの画像を用いて、領域内からオプティカルフローの手法により動き量を算出する（Ｓ２０１）。オプティカルフローとは、物体やカメラの移動によって生じる隣接フレーム間の物体の動きの見え方のパターンを解析する手法である。

次に、各物体で得られる領域内の動き量の総和を算出する（Ｓ２０２）。

次に、算出した動き量の総和を特徴量の変化量として出力する（Ｓ２０３）。

次に、図５Ｂを用いて特徴量の変化量として画像のテクスチャの変化を抽出する処理にいて説明する。

画像のテクスチャの変化とは、画像のＲＧＢ値や濃淡値に変化があるような場合である。

最初に、所定の物体領域群を取得する（Ｓ２１０）。

次に、ある物体や物体の変化などを識別できるような学習済みモデルを特徴抽出モデルとして取得する（Ｓ２１１）。例えば、画像の局所特徴量を抽出するモデルとしては、テンプレート特徴量モデル、Ｈｏｌｉｓｔｉｃ特徴量モデル、共起特徴量モデル、パーツ特徴量モデルなどがある。

各物体領域の画像データを特徴抽出モデルに適用することによって、各物体の特徴量が得る（Ｓ２１２）。

そして、前後フレームなどの画像データから前後の特徴量を取得し、前後フレームの特徴量の距離を算出する（Ｓ２１２）。特徴量の距離とは、例えば、特徴量がｎ個の要素からなるときには、ｎ次元のユークリッド距離である。

次に、Ｓ２１２で算出した距離値を、特徴量の変化量として出力する（Ｓ２１４）。

次に、図６を用いて物体間の関連度を推定する処理について説明する。
これは、図４のＳ１０４に該当する処理である。

先ず、図４のＳ１０３で抽出された各物体領域の特徴量の変化量を取得する（Ｓ３００）。

次に、補正パラメータ２０１を用いて特徴量の変化量を正規化する（Ｓ３０１）。これは、各領域の特徴量が大きく変化することがあるので、スケールを合わせる意義があり、補正パラメータ２０１による補正は、必ずしも必要というわけではない。

次に、Ｓ３０１により正規化された二つの領域の特徴量の変化量に基づいて、物体関連度を算出する（Ｓ３０２）。この物体関連度が、物体関係度合を示す指標である。

例えば、物体Ａの領域の特徴量をＣ_Ａ、物体Ｂの領域の特徴量をＣ_Ｂとしたとき、その両者の積をとり、以下の（式１）により、物体関連度を算出する。
物体関連度（物体Ａ，物体Ｂ）＝Ｃ_Ａ×Ｃ_Ｂ …（式１）

また、例えば、その両者の和をとり、以下の（式２）により、物体関連度を算出する。
物体関連度（物体Ａ，物体Ｂ）＝Ｃ_Ａ＋Ｃ_Ｂ …（式２）

また、例えば、その両者の重み付き線形和をとり、以下の（式３）により、物体関連度を算出する。
物体関連度（物体Ａ，物体Ｂ）＝Ｋ_ＡＣ_Ａ＋Ｋ_ＢＣ_Ｂ …（式３）

ここで、Ｋ_Ａ、Ｋ_Ｂは、それぞれ物体Ａ、物体Ｂの特徴量の変化量をどれだけ重視するかによって定まる重み係数である。
また、これら以外の演算でもよい。

次に、補正パラメータ２０１により、Ｓ３１３で得られた物体関連度を正規化する（Ｓ３０３）。これは、後の学習フェーズで学習しやすくするためであり、この補正パラメータ２０１による補正は、必ずしも必要というわけではない。

次に、Ｓ３０３で算出した物体関連度を出力する（Ｓ３０４）。

次に、図７を用いてグラフ生成処理の詳細について説明する。
各物体領域別に、図４のＳ１０２の特徴量抽出処理により得た特徴量を取得する（Ｓ４００）。

次に、ノード特定ラベル２０２から各物体領域別に付与されるノード特定ラベルを取得する（Ｓ４０１）。

次に、図４のＳ１０４の関連性推定処理により得られた各物体間での物体関連度を取得する（Ｓ４０２）。

次に、各ノードに、Ｓ４１１で取得した特徴量と、Ｓ４１２で所得したノード特定ラベルを付与する（Ｓ４０３）。

次に、ノード間のエッジの重みとして、物体関連度を付与する（Ｓ４１４）。この重みは、例えばＧＣＮの畳み込み層で用いられるエッジの重みである。

このように、生成したグラフを使って、例えば、ＧＣＮなどで学習することにより、ノード特定ラベルを付与されたエッジに該当する物体の作業を推定することのできる推論モデル２１０を構築することができる。

次に、図８を用いて、作業認識装置の画像取得から推論処理までの一連の処理について説明する。
Ｓ１００～Ｓ１０５の処理は、図４で示した処理と同様である。ここで、Ｓ１００で入力される画像データ２００は、物体の作業認識の推論を行うための画像データ２００である。

Ｓ１０５のグラフ生成の後、図４のＳ１０６で得られた推論モデル２１０に基づき、作業推論部１０７は、作業認識の推論を行い推論結果を出力する（Ｓ１１０）。推論結果は、各ノードにノード作業ラベル２０３が付与されたグラフである。なお、推論結果の具体例は、後に詳説する。

次に、図９を用いて画像データから物体関連度を算出する具体的なイメージを説明する。
ここでは、映像データのような時系列データに対し、物体Ａと物体Ｂの物体関連度を算出する例を説明する。ここで、クロック１、クロック２、…とは、時系列データの時間軸の範囲である。画像上に物体Ａと物体Ｂが存在した場合、それぞれ同じフレームで得た画像データから画像特徴量を取得する。所定のフレーム間であるクロック１（Ｃ０１）に着目したとき、最初のフレームでの特徴抽出Ｆ１Ａと最後のフレームでの特徴抽出Ｆ２Ａで得られた特徴量からユークリッド距離などで距離値を算出し、物体Ａの特徴量の変化量ｄ１Ａを求める。一方、物体Ｂも同様に特徴抽出を行い、物体Ｂの距離値から特徴量の変化量ｄ１Ｂを求める。変化量Ａ１１Ｄと変化量Ａ２１Ｄから、それらの積（（式１）の場合）などで物体関連度Ｐ１を求める。Ｐ１は、クロック１（Ｃ０１）の物体関連度となる。同様の処理をクロック２（Ｃ０２）でも行い、物体関連度Ｐ２を算出する。映像データが得られる度に、クロック毎に同様の処理を行う。なお、各クロックにおいて異なるフレームを使う必要はなく、一部のフレームが同じであってもよい。

次に、図１０を用いて物体関連度をグラフ生成に適用する例について説明する。
物体Ａでは、所定のクロック内で得た特徴量の変化量Ｆ１１Ａを取得しており、物体Ｂでは物体Ａと同じクロック内で得た特徴量の変化量Ｆ１１Ｂを取得しているものとする。このとき、補正パラメータ２０１によりそれぞれの特徴量の変化量を正規化し、物体Ａでは、正規化後の特徴量の変化量Ｆ１１ＡＮを、物体Ｂでは正規化後の特徴量の変化量Ｆ１１ＢＮを取得する。

次に、各変化量の積から（（式１）の場合）物体関連度Ｐ１１を算出し、所定のクロックにおける変化量からグラフＧ０１に示す物体Ａと物体Ｂをつなぐエッジに重みｗ１１として適用する。このようにして、各物体間において同様の処理を行い、物体間をつなぐエッジに重みを適用していく。図１０では、着目時間域における物体Ａと物体Ｂの物体関連度の平均が０．１であり、それがロボットのノードと加工機のノードをつなぐエッジの重みとして適用される例を示している。

次に、図１１を用いて推論結果の作業認識結果について説明する。
図１１は、推論結果としてノードにノード作業ラベルを付与することを説明する図である。

本実施形態では、図４のＳ１０６の作業学習処理で生成した推論モデル２１０に基づいて、図８のＳ１１０の作業推論処理により、作業認識を行い、各ノードとして表現された物体のノード作業ラベル２０３を得る。

図１１の例では、図１１（ａ）に示されるように、ノード１「ロボット」、ノード２「加工機」、ノード３「ワーク」で、時刻Ｔ１におけるノード作業ラベルとして、ノード１「溶接」、ノード２「停止」、ノード３「被溶接」が得られることを示している。図１１（ｂ）は、ノード１「ロボット」をターゲットとするタイミングチャートである。このタイミングチャートでは、時刻Ｔ１にロボットは、溶接作業をしていることを示している。

以上、本実施形態によれば、画像の特徴量の変化量により、物体関連度を算出し、物体をノード、関連ある物体をエッジとするグラフに基づき、物体関連度をエッジの重みとして、ＧＣＮの学習と推論を行う。それにより、製造現場などの作業認識で物体間のつながりを用いた作業認識を行う場合に、簡易なアルゴリズムにより、汎用的に物体間の関連性を推定した作業認識を行うことができる。

〔実施形態２〕
以下、図１２ないし図１４を用いて本実施形態２を説明する。

実施形態１では、物体の特徴量の変化量から各物体の物体関連度を算出し、それをＧＣＮのグラフのエッジの重みとして適用することにより、作業認識を行う作業認識装置の例について説明した。

本実施形態では、実施形態１と同様の作業認識を行う作業認識装置であり、さらに、ノードに該当する物体間の物体関連度をユーザが編集することができるようにした例について説明する。

以下、実施形態１と異なる所を中心に説明する。

先ず、図１２を用いて実施形態２に係る作業認識装置の機能構成について説明する。
本実施形態の作業認識装置１００は、実施形態１の図２に示した作業認識装置１００の構成に加えて、関連性編集部１０８を有する。

関連性編集部１０８は、ノードとして認識される物体の関連度の値を編集する機能部である。

また、記憶部１１０に、関連性データ２０４を格納している。関連性データ２０４は、ノードとして認識される物体の関連度の値を保持するデータである。

次に、図１３を用いて実施形態２に係る作業認識装置の画像取得から学習処理までの一連の処理について説明する。

本実施形態の作業認識装置の画像取得から学習処理までの一連の処理では、実施形態１の図４に示された処理に加えて、Ｓ１０４とＳ１０５の間に、関連性編集処理Ｓ１２０が付け加えられている。

関連性編集処理Ｓ１２０は、グラフのノードとして認識される物体の関連度の値を編集する処理である。この処理により、ユーザが定義した物体関連度を再設定し、関連性推定処理Ｓ１０４で得た物体関連度の結果とユーザが定義した物体関連度を関連性データ２０４として出力し、グラフ生成処理Ｓ１０５に受け渡す。

次に、図１４を用いて作業認識装置が提供するユーザインタフェースについて説明する。
本実施形態の作業認識装置１００は、図１４に示される物体関連度編集画面４００により、グラフのエッジに付与される物体関連度を表示し、編集することができる。表現される
作業認識装置１００は、関連性推定処理Ｓ０４の結果、あるいは、所定の物体を候補から選択できるような設定ファイルを読み込む。次に、ユーザは、物体間をひもづけるための対象を二つ選択する。図１４の例では、対象１のボックス４１１で物体Ａを選択し、対象２のボックス４１２で物体Ｂを選んでいる。各ボックスで選択された物体間の関連度合をボックス４２で記入でき、ユーザが物体間に対して任意の関連度合を設けることができる。また、特徴量のボックス４３により、特徴量の種類が選択でき、対象の特徴量の変化量を、対象１のボックス４４１、対象２のボックス４４２でそれぞれ設定でき、ユーザが任意の物体関連度を設定できる機能を有する。また、グラフ表示５００により、関連度合を可視化し、ノード５１１やノード５１２がつながっていること、各物体で特徴量５３などが表示されていること、物体Ａと物体Ｂがつながりがあることが視認でき、ボックス５２により、その物体Ａと物体Ｂの物体関連度の数値を編集できるようになっている。

以上のように、本実施形態の作業認識装置によれば、各物体の特徴量の変化量や物体関連度をユーザが任意に編集することができる。

〔実施形態３〕
以下、本発明の実施形態３を、図１５を用いて説明する。
実施形態１では、画像における物体の領域の特徴量の変化量を求め、物体間の関連を示すために、ある物体の領域における特徴量の変化量と他の物体の領域における特徴量の変化量を演算することにより、両者の物体関連度を算出し、それをＧＣＮにおけるグラフのエッジの重みとして、機械学習を行うことにより、作業認識を行う作業認識装置について説明した。

本実施形態では、実施形態１と同様に、画像における物体の領域の特徴量の変化量を求めて、それからある物体と他の物体の物体関連度を算出する方法であるが、時系列の画像データの変遷にもフォーカスをおいて、物体関連度を算出する方法を説明する。

以下、実施形態１と異なる所を中心として説明する。

本実施形態の作業認識装置１００は、実施形態１の図２で示した機能構成と同様の構成を有し、図４の関連性推定処理Ｓ１０４である物体の領域における特徴量の変化量と他の物体の領域における特徴量の変化量を演算することにより、両者の物体関連度を算出することは同様であるが、その方法が異なっている。

以下、図１５を用いて、実施形態３における関連性推定処理Ｓ１０４について説明する。
作業認識装置１００の関連性推定部１０４は、物体Ａ（６０Ａ）のオプティカルフローなどによって得られた特徴量１（ＦＡ１）と、３ＤＣＮＮなどで得られた特徴量２（ＦＡ２）を取得する。

３ＤＣＮＮとは、空間情報（２Ｄ）と時間情報（１Ｄ）をまとめて３Ｄの畳み込みを行うことにより、時空間情報を考慮した動画の行動認識を行う手法である。

また、関連性推定部１０４は、物体Ａ（６０Ａ）と同様に、物体Ｂ（６０Ｂ）についての特徴量１（ＦＢ１）と特徴量２（ＦＢ２）を取得する。

次に、物体間において同一のクロック内で得られた特徴量同士を対象に距離値（ｄ１１、ｄ１２、ｄ２１、ｄ２２）を算出する。

その後、前後するクロック間の距離値の差を求め、異なる特徴量１と特徴量２を合わせ、物体関連度を算出する。例えば、クロック１で得られた物体Ａの特徴量１と物体Ｂの特徴量１との距離ｄ１１を算出する。クロック２でも同様に距離ｄ１２を算出する。距離ｄ１１と距離ｄ１２の差の絶対値からクロック２とクロック１の変化が得られ、クロック間における変化度合（Ｄ１Ｒ）を得る。例えば、距離ｄ１１と距離ｄ１２の差の絶対値Δ１に１を足した値の逆数を取り、クロック間の変化度合いを得る。すなわち、以下の（式４）により、クロック間における変化度合（Ｄ１Ｒ）を求める。
Ｄ１Ｒ＝１/（Δ１+１) …（式４）

同様に、さらに、物体Ａの特徴量２と物体Ｂの特徴量２においても同様に、距離ｄ２１と距離ｄ２２の差の絶対値からクロック２とクロック１の変化が得られ、クロック間における変化度合（Ｄ２Ｒ）を得る。例えば、距離ｄ２１と距離ｄ２２の差の絶対値Δ２に１を足した値の逆数を取り、クロック間の変化度合いを得る。すなわち、以下の（式５）により、クロック間における変化度合（Ｄ２Ｒ）を求める。
Ｄ２Ｒ＝１/（Δ２+１) …（式５）
そして、変化度合Ｄ１ＲとＤ２Ｒから相加平均値を、それを類似度Ｓとする。

グラフ生成にあたっては、クロック１のグラフのエッジの重みをＷ１、クロック２のグラフのエッジの重みをＷ２としたときに、以下の（式６）により、最終的なクロック２のエッジの重みＷ２′を算出する。
Ｗ２′＝Ｗ１×Ｓ＋Ｗ２ …（式６）

すなわち、クロック間における変化度合いが少ないときには、クロック２のグラフのエッジの重みは、強調されず、クロック間における変化度合いが多いときには、クロック２のグラフのエッジの重みが強調されることになる。

以上のように、本実施形態では、物体間の差とクロック間の差を算出することで、時系列データを考慮した物体関連度を算出し、ＧＣＮのグラフを生成することができる。

１…作業認識システム、２…作業者、３…センサ、４…通信手段、５…周辺物体、６…画像取得装置、
１００…作業認識装置、
１１…プロセッサ、１２…主記憶装置、１３…通信装置、１４…入力装置、１５…出力装置、１６…補助記憶装置、
１０１…画像取得部、１０２…解析領域検出部、１０３…特徴抽出部、１０４…関連性推定部、１０５…グラフ生成部、１０６…作業学習部、１０７…作業推論部、１０８…関連性編集部、１１０…記憶部、
２００…画像データ、２０１…補正パラメータ、２０２…ノード特定ラベル、２０３…ノード作業ラベル、２０４…関連性データ、２１０…推論モデル、２２０…推論結果

Claims (10)

1. 画像データを解析し、その画像データを解析することにより、作業にかかわる物体の作業認識を行う作業認識装置であって、
   撮影装置により撮影された画像データを取得する画像取得部と、
   前記画像取得部から得た画像データを解析し、物体に関する領域を検出する解析領域検出部と、
   前記解析領域検出部により検出された物体に関する領域の画像に関する特徴量を抽出し、所定期間内における前記画像に関する特徴量の変化量を算出する特徴抽出部と、
   所定期間内における第一の物体に関する領域として検出された前記画像に関する特徴量の第一の変化量と、前記第一の変化量の所定期間内と同一期間における第二の物体に関する領域として検出された前記画像に関する特徴量の第二の変化量に基づき、前記第一の物体と前記第二の物体の物体関連度を算出する関連性推定部とを有することを特徴とする作業認識装置。
2. 前記特徴量の第一の変化量と前記特徴量の第二の変化量が、スカラー量であり、
   前記第一の物体と前記第二の物体の物体関連度は、前記特徴量の第一の変化量と前記特徴量の第二の変化量との積、和、または、重み付き線形和のいずれかにより演算されることを特徴とする請求項１記載の作業認識装置。
3. さらに、前記関連性推定部により算出された物体関連度と、前記特徴抽出部で抽出された物体に関する領域の画像に関する特徴量に基づいて、作業認識のための機械学習を行ない、推論モデルを出力する作業学習部を有することを特徴とする請求項１記載の作業認識装置。
4. さらに、撮影装置により撮影された画像データと、前記作業学習部が出力した推論モデルに基づき、作業認識の推論を行う作業推論部を有することを特徴とする請求項３記載の作業認識システム。
5. 前記物体に関する領域をノードとし、関連する物体間をエッジでつないだグラフを表現するデータを有し、
   前記物体関連度をエッジ間の重みとし、ＧＣＮ（Graph Convolution Network）により、前記ノードに対するノード作業ラベルを生成する推論モデルを生成することを特徴とする請求項３記載の作業認識装置。
6. 前記物体に関する領域をノードとし、関連する物体間をエッジでつないだグラフを表現するデータを有し、
   前記物体に関する領域の特徴量と、前記物体関連度とを表示・編集する手段とを有することを特徴とする請求項１記載の作業認識装置。
7. 前記関連性推定部は、第一の期間内における第一の物体に関する領域として検出された前記画像に関する特徴量の第一の変化量と、前記第一の期間内における第二の物体に関する領域として検出された前記画像に関する特徴量の第二の変化量に基づき、前記第一の物体と前記第二の物体の第一の物体関連度を算出し、
   第二の期間内における第一の物体に関する領域として検出された前記画像に関する特徴量の第一の変化量と、前記第二の期間内における第二の物体に関する領域として検出された前記画像に関する特徴量の第二の変化量に基づき、前記第一の物体と前記第二の物体の第二の物体関連度を算出し、
   前記第一の物体関連度と前記第二の物体関連度の差分の絶対値に基づいて、前記物体関連度の変化度合を算出し、前記第一の期間内における第一の変化量を物体関連度の変化度合に基づいた類似度を算出し、
   前記グラフにおける第一の期間に該当する第一のエッジの重みを、前記物体関連度の変化度合に基づいた類似度により補正し、
   前記補正された第一の期間に該当する第一のエッジの重みと、前記第二の期間における第二のエッジの重みの和をとり、補正された前記第二の期間における第二のエッジの重みを算出することを特徴とする請求項５記載の作業認識装置。
8. 画像データを解析し、その画像データを解析することにより、作業者と作業に使われる装置の作業認識を行う作業認識装置による作業認識方法であって、
   画像取得部が、撮影装置により撮影された画像データを取得する画像取得ステップと、
   解析領域検出部が、前記画像取得ステップにより得た画像データを解析し、物体に関する領域を検出する解析領域検出ステップと、
   前記解析領域検出ステップにより検出された物体に関する領域の画像に関する特徴量を抽出し、所定期間内における前記画像に関する特徴量の変化量を算出する特徴抽出ステップと、
   所定期間内における第一の物体に関する領域として検出された前記画像に関する特徴量の第一の変化量と、前記第一の変化量の所定期間内と同一期間における第二の物体に関する領域として検出された前記画像に関する特徴量の第二の変化量に基づき、前記第一の物体と前記第二の物体の物体関連度を算出する関連性推定ステップと、
   前記関連性推定ステップにより算出された物体関連度と、前記特徴抽出ステップで抽出された物体に関する領域の画像に関する特徴量に基づいて、作業認識のための機械学習を行ない、推論モデルを出力する作業学習ステップと、
   撮影装置により撮影された画像データと、前記作業学習ステップが出力した推論モデルに基づき、作業認識の推論を行う作業推論ステップとを有することを特徴とする作業認識方法。
9. 前記特徴量の第一の変化量と前記特徴量の第二の変化量が、スカラー量であり、
   前記第一の物体と前記第二の物体の物体関連度は、前記特徴量の第一の変化量と前記特徴量の第二の変化量との積、和、または、重み付き線形和のいずれかにより演算されることを特徴とする請求項８記載の作業認識方法。
10. 前記作業認識装置は、前記物体に関する領域をノードとし、関連する物体間をエッジでつないだグラフを表現するデータを有し、
    前記物体関連度をエッジ間の重みとし、ＧＣＮ（Graph Convolution Network）により、前記ノードに対するノード作業ラベルを生成する推論モデルを生成することを特徴とする請求項８記載の作業認識方法。

Images