JP2019121294A - 計算機システム - Google Patents

Abstract

【解決課題】製造・物流の現場等管理領域の管理の優劣に関係する人的な影響を明確にしてこれを評価できるようにして、管理領域の管理の改善を支援し得る計算機システムを提供する。【課題解決手段】計算機システムはコントローラを備え、コントローラは、領域に対する管理のためのプログラムを実行することによって、領域を撮影するカメラから所定時間毎に画像を取得することと、所定時間毎に取得された複数の画像に基いて、領域に含まれる人物の行動を推定することと、人物の行動の時系列情報を作成することと、時系列情報に基いて領域の管理に対する管理指標を作成することと、管理指標を可視化して管理計算機が参照できるようにすることと、を備える。【選択図】図１

Description

本発明は領域の管理を支援する計算機システムに関わり、例えば、製造・物流の現場等所定の管理領域に対する管理を支援する計算機システムに関する。

従来から製造・物流に於ける現場の管理を支援するシステムが存在する。例えば、特開2004-198148号公報は、製造工程において収集した品質データの傾向監視、製造条件の変更（変化点）履歴、異常発生及びその対策履歴などが、容易に把握できるようにモニタ表示する品質データのモニタリングを提供することを目的として、装置から収集した計測値に基づいて品質データの履歴を作成するとともに、品質データ記憶部に格納する処理を行い、製造条件の変更を示す変化点の情報を取得するとともに、その変化点の履歴情報を変化点記憶部に格納する処理を行い、前記各記憶部に格納されたデータは、時刻情報を関連付けて格納しておき、前記品質データの履歴に基づく品質トレンドグラフと、前記変化点の履歴を表示装置に表示するに際し、時間軸を合わせて表示するようにした発明を開示している。

特開2004-198148号公報

製造・物流の現場では、作業員の動作の適否が、作業効率等の管理目標の維持や改善に大きく影響する。従来のシステムは、この影響に対する配慮がないため、製造・物流の現場を管理するのには十分ではなかった。そこで、本発明は、製造・物流の現場等管理領域の管理の優劣に関係する人的な影響を明確にしてこれを評価できるようにして、管理領域の管理の改善を支援し得る計算機システムを提供することを目的とする。

本発明は、前記目的を達成するために、領域に対する管理を支援する計算機システムであって、前記計算機システムはコントローラを備え、前記コントローラは、前記領域に対する管理のためのプログラムを実行することによって、前記領域を撮影するカメラから所定時間毎に画像を取得することと、所定時間毎に取得された複数の画像に基いて、前記領域に含まれる人物の行動を推定することと、前記人物の行動の時系列情報を作成することと、前記時系列情報に基いて前記領域の管理に対する管理指標を作成することと、前記管理指標を可視化して管理計算機が参照できるようにすることと、を備えることを特徴とする。

本発明によれば、製造・物流の現場等管理領域の管理の優劣に関係する人的な影響を明確にしてこれを評価できるようにして、管理領域の管理の改善を支援し得るシステムを提供することができる。

本発明の計算機システムのハードウェアブロック図の一例である。 図１の計算機システムの機能ブロック図の一例である。 図２のブロック図に於ける、データ処理の流れ、そして、タイミングを示すチャートである。 工場の建屋全体を俯瞰した全体画像と、その一部の画像の例である。 全体画像のエリアを定義するテーブルの例である。 ディープラーニングにおける学習としての、所定数のフレームに対するラベル付けの一例である。 姿勢推定のためのディープラーニングをモデル化したブロック図である。 関連行動の推定のためのディープラーニングをモデル化したブロック図である。 可視化された管理指標の一例である。 管理目標の可視化の例である。 計算機システムによる、全体画像中のエリアに対する画像認識動作の一例のフローチャートである。

製造や物流の現場では、製品の製造、製品の仕分け、製品の搬送等に従事する作業員の無駄な動きや適切でない動きは、製造効率、処理効率等の管理目標に悪影響を与える。勿論、作業員の適切な動きは管理目標を維持、或いは、改善できる。しかしながら、従来のシステムでは、作業員の管理目標に関連する関連行動を直接に明確にすることは容易ではなかった。そこで、以下に説明する管理システムは、管理領域に於ける人の画像に基いて人の動作を明確にしてこれを評価して人の関連行動を推定する。管理領域とは製造や物流の現場等管理が必要、或いは期待される範囲である。管理とは、作業員の関連行動を評価して作業効率等の管理目標を維持、向上することである。関連行動とは、管理領域に於ける処理（物の製造現場での物の製造等）に関連する、人の動作の分類である。例えば、組み立て、運搬、部品取り出し、試験、梱包、その他（非作業中）等が関連行動の一例である。関連行動は適宜定義されてよい。動作とは、人体の位置（即ち、姿勢）の連続である。計算機システムは、連続する複数の画像を認識することによって、関連動作を推定する。計算機システムは、連続する複数の画像の夫々を評価して、夫々の画像に対して人の姿勢を推定し、人の姿勢の変化のフローを評価して、関連行動を推定する。計算機システムは、この評価、推定に、人工知能によるディープラーニングを適用してもよい。

以下、物の製造現場を管理領域とする計算機システムを例として、その実施形態を説明する。なお、スマート工場の実現のためには、生産現場のデータのリアルタイムな活用や、ITシステム（サーバ、クラウド等）との効率的な連携が必要である。そこで、計算機システムは、全てのデータ処理をクラウドで行うのではなく、エッジ（現場）とサーバ（本社、又は、データセンタ等）でデータの処理を協調分散するエッジコンピューティング方式として実現されてよい。

図１は、エッジコンピューティング方式の計算機システムのハードウェアブロック図である。計算機システムは、管理領域に対する管理を支援するものであって、管理領域としての現場（物の製造工場等）のシステム（第１のシステム）１０と、データセンタとしてのサーバ側のシステム（第２のシステム）１２と、管理クライアントのコンピュータ１４とを備えて構成されている。

第１のシステム１０は、画像センサとしての複数のカメラと、その他のセンサからなるセンサ群１００と、一つ又は複数のエッジコンピュータ１０２とを備える。センサ群１００とエッジコンピュータ１０２とはＬＡＮ１０４によって接続される。エッジコンピュータの数はカメラの数に応じて適宜設定されてよい。

第２のシステム１２は、エッジコンピュータ１０２のためのサーバ１２０と、他のシステムのためのサーバ１２２と、を備える。エッジコンピュータ１０２とサーバ１２０とは、インターネット１０６等の通信手段によって接続されてよい。サーバ１２０とサーバ１２２とは、ＬＡＮ１２４によって接続される。サーバ１２０と管理クライアントのコンピュータ１４とはインターネット１４０によって接続される。

第１のシステム１０は、カメラが撮影した画像に基づいて、管理領域に存在する人の関連行動を推定する。第２のシステム１２は、推定された関連行動を評価、或いは、分析することによって管理指標を計算してこれを管理ユーザに提供し、管理ユーザは提供された情報に基いて、物の製造効率等の管理目標を維持、改善、或いは、向上することができる。

「計算機システム」は、「エッジコンピュータ」、又は、「サーバ」、或いは、その両方を意味するものとして理解されてよい。また、計算機システムは、エッジとサーバとでデータの処理を協調分散しない態様のものとして構成されてもよい。この管理システムによれば、ものづくりの現場で、IoTを使って、人の稼働状態を「見える化」して、作業効率の向上や予防安全に繋げる等のイノベーションを実現することができる。

図２に、図１の計算機システムの機能ブロック図を示す。複数のカメラ１００Ａ夫々は撮影した画像を送信するためのデータ送信モジュール１００２を備える。なお、「モジュール」は、コントローラがプログラムを実行することよって実現される機能の単位のことである。「モジュール」を「手段」、「機能」、「ブロック」、「エレメント」、「デバイス」等と言い換えてもよい。モジュールは、特定用途のＩＣ等ハードウェアによって実行されてもよい。この場合、コントローラには特定用途のＩＣを包含するものとして理解されてよい。

カメラ１００Ａは、工場内を俯瞰して撮影し、撮影した画像（JPEG）をエッジコンピュータ１０２に送信する。カメラ１００Ａは、所定時間毎に画像のフレームを送信するもの、または、エッジコンピュータ１０２から所定時間毎の画像取得要求に対し、画像を送信するものでよい。カメラは３６０度を撮影できるＩＰカメラでよい。第１のシステム１０が複数のカメラの画像を合わせて、工場の全景の画像が得られるように、複数のカメラは工場内の領域に均等に配置される。なお、工場内の領域は複数のエリアから定義される。後述の図５はエリアの定義の例である。複数のエリアの夫々は、互いに重ならないように定義されてよい。また、広域なエリアの範囲の一部に、他のエリアが定義されるようにしてもよい。

エッジコンピュータ１０２は、メモリ、コントローラ（ＣＰＵ）等、コンピュータとしての通常のハードウェア資源を備えて構成される。エッジコンピュータ１０２は、ＯＳ上にアプリケーションプログラムを稼働させる。アプリケーションは、カメラから収集した画像を処理するために、センシング１０２０、データ管理１０２２、そして、エージェント１０２４の各アプリケーションプログラムから構成される。

センシングアプリケーションプログラム１０２０は、複数のカメラが撮影した画像を収集するデータ収集モジュール１０２０Ａを備える。データ管理アプリケーションプログラム１０２２は、画像データを処理するために、分析モジュール１０２２Ａ、圧縮モジュール１０２２Ｂ、管理モジュール１０２２Ｃを備える。エージェントアプリケーションプログラム１０２４は、サーバ１２０との通信を実現するために、通信モジュール１０２４Ａを備える。

サーバ１２０は、メモリ、コントローラ（ＣＰＵ）等、コンピュータとしての通常のハードウェア資源を備えることはエッジコンピュータ１０２と同じである。サーバ１２０は、ＯＳ上にアプリケーションプログラムを稼働させている。アプリケーションプログラムは、クラウドサービスアプリケーションプログラム１２００、データ管理アプリケーションプログラム１２０２を備える。クラウドサービスアプリケーションプログラム１２００は、通信モジュール１２００Ａと、データ管理モジュール１２００Ｂとを備える。

データ管理アプリケーションプログラム１２０２は、分析モジュール１２０２Ａと、管理モジュール１２０２Ｂと、分析データを管理コンピュータ１４に提示するための提示モジュール１２０２Ｃとを備える。提示モジュール１２０２Ｃは、管理コンピュータ１４に接続している。エッジコンピュータ１０２は、複数のカメラの画像１００Ａを収集し分析して、工場建屋内の作業員の関連行動を推定し、これをサーバ１２０に送信する。サーバ１２０は、作業員の関連行動に基づいて、工場における作業効率等の管理目標を計算してこれを判定し、これを管理コンピュータ１４が閲覧できるようにする。作業員の「推定」は、「判定」、「判断」、「判別」、「識別」、「設定」、又は、「決定」等を含む意義であると理解されてよい。工場における作業効率等の管理目標を判定するの「判定」は、「判断」、「判別」、「識別」、「設定」、又は、「決定」等を含む意義であると理解されてよい。

図３は、図２のブロック図に於ける、データ処理の流れ、そして、タイミングを示すチャートである。複数のカメラ夫々のデータ送信モジュール１００２は、所定時間毎に、撮影した画像のフレームデータ（撮影時刻情報付き）を、エッジコンピュータ１０２のデータ収集モジュール１０２０Ａに送信する（Ｆ１）。データ収集モジュール１０２０Ａは、収集したフレームデータを管理モジュール１０２２Ｃに出力する（Ｆ２）。管理モジュール１０２２Ｃは、複数のカメラのフレームデータを、撮影時間が同時刻毎に纏めて合成して、工場の建屋全体を俯瞰した全体画像（図４の大きい図）を生成する。

管理モジュール１０２２Ｃは、全体画像を撮影時間毎に圧縮モジュール１０２２Ｂに出力する（Ｆ５）。圧縮モジュール１０２２Ｂは全体画像を圧縮し、圧縮後の全体画像を管理モジュール１０２２Ｃに出力する（Ｆ６）。管理モジュール１０２２Ｃは、撮影時間毎に圧縮した全体画像をＨＤＤ等のメモリに継続的に記憶する。

管理モジュール１０２２Ｃは、全体画像を生成する際、国際公開番号ＷＯ２０１７／０１７７９０号公報に記載の画像生成システムを利用してよい。このシステムによれば、複数のカメラの画像を仮想スクリーン上で重畳して表示することによって、俯瞰状態のまま全周囲画像が生成される。管理モジュール１０２２Ｃは、全体画像にローカル３次元座標を設定する。ローカル座標の座標範囲にしたがって建屋内の複数のエリアの夫々が定義される。

図５はエリア定義情報テーブルの一例である。エリア定義情報テーブルは、複数のエリア夫々を特定する。エリア情報テーブルは、エリアＩＤ（Ｓ１１）と、エリア名（Ｓ１２）と、エリア座標（Ｓ１３）とから構成される。エリア情報テーブルは、管理者によって予め設定されてよい。エリア情報テーブルは、メモリの所定領域に記録される。

図４の領域Ｌ１０が組立作業エリアＬ１１と搬送エリアＬ１２とを含む。組立作業エリアＬ１１は、複数の部品を組み立てて完成品を生産し、完成品を他のエリアに搬出するための範囲である。搬送エリアＬ１２は完成品を組立作業エリアＬ１１から他のエリアへ搬送するための範囲である。組立作業エリアＬ１１の中に組立作業台エリアＬ１３が定義される。

分析モジュール１０２２Ａは、生産・物流の現場の作業効率、安全性等管理目標の評価のために、人物（生産・物流の現場での作業員）の関連行動を推定する。人物の関連行動を推定する理由は、生産・物流等の実際の現場での作業効率は、センサからの情報以外に人物の関連行動から直接、かつ、大きく影響を受けるため、センサからの情報だけでは不十分なためである。すなわち、人物の関連行動自体から、作業効率等の管理目標を判定することができる。

本発明者は、人物の「行動」とは、人体の姿勢の変化のフローのうち、意味があるものと定義する。したがって、関連行動を推定するには、分析モジュール１０２２Ａが所定時間毎に取得した、複数の画像夫々に対して姿勢を評価し、この評価に基づいて「行動」を評価して関連行動を推定することが好適である。しかしながら、関連行動の態様は、製造する物等に大きく左右され、一概にルール化することは容易ではない。そこで、計算機システムは、関連行動の画像の評価・認識のために、ディープラーニングの学習結果を利用してカメラからの画像を認識することとした。なお、ディープラーニングのような機械学習の手法に代えて、あるいは、これと共に、分析モジュール１０２２Ａは、HoGやSHIFT等特徴量を用いた画像処理を利用してもよい。

分析モジュール１０２２Ａ（人工知能）は、例えば、工場の稼働前、向上の稼働中の所定期間ごとに学習を実行すればよい。分析モジュール１０２２Ａは、サーバ１２０が管理するデータベースから、連続する全体画像を所定数のフレーム毎に抽出し、これを参照データとして学習を行う。分析モジュール１０２２Ａは、全体画像からエリア毎の画像をトリミングし、学習をエリア毎に行う。これは、エリア毎に、想定、或いは、期待される関連行動の態様が異なるからである。例えば、搬送エリアと、組立作業台エリアでは、作業員の関連行動が相違する。

次に、「学習」を具体的に説明する。分析モジュール１０２２Ａは、所定数のフレームを一つのデータ群として、エリア毎に複数のデータ群をレビューワ（エッジコンピュータ１０２の管理者であってよい。）に提示する。レビューワは、所定数のフレームの夫々に対して姿勢に関するラベルを入力する。姿勢とは、例えば、歩行、静止、屈む、手を伸ばす、体の向き、体の方向等である。レビューワは、さらに、所定数のフレーム全体に関連行動に関するラベルを入力する。関連行動とは、既述のように、部品組立、作業中、部品取出し、運搬中等である。分析モジュール１０２２Ａは、予め定義されたラベルの一覧をレビューワに提示する。レビューワは、提示された画像を参照して、ラベルの一覧の中から最適と思うラベルを選択する。

分析モジュール１０２２Ａは、フレームと姿勢ラベルとの組み合わせを教師データとし、複数の教師データについて、画像データ（複数の画素データの組み合わせ）がラベルに対して成す影響度（重み）を計算する。分析モジュール１０２２Ａは、さらに、所定数のフレームと関連行動ラベルとの組み合わせを教師データとし、複数の教師データについて、姿勢のフロー（所定数のフレーム夫々姿勢の組み合わせ）が関連行動ベルに対して成す影響度（重み）を計算する。教師データは、一つのフレーム、そして、複数のフレームの組み合わせの夫々において、ラベルとの組み合わせから構成される。分析モジュール１０２２Ａは、学習を継続させることによって重みを最適化する。

分析モジュール１０２２Ａは、学習結果をサーバ１０２に送りデータベースに記憶してよい。サーバ１０２が学習を行うようにしてもよい。所定数のフレームの「所定数」とは、特に制限がある訳ではない。カメラの撮影間隔にも依るが、フレーム数が少ないと関連行動を特定できない可能性があり、フレーム数が多いと、「所定数のフレーム」に複数の関連行動が混在する可能性がある。

図６に、所定数のフレームに対するラベル付けの一例を示す。定数数のフレームは、時刻ｔ-4、・・・・ｔの５フレームから構成される。夫々のフレームの「歩行」、「静止」、「手を伸ばす」が姿勢ラベルの例である。姿勢ラベルはこれらに限定されない。「部品をとる」が、所定数のフレームに付与された関連行動のラベルの一例である。

分析モジュール１０２２Ａは、学習結果（重み）を利用するディープラーニングをカメラの撮影画像に適用して画像認識を行って作業員の行動を推定する。分析モジュール１０２２Ａは、カメラ画像を取得するタイミングに同期させて画像認識を行ってもよいし、メモリに記憶されたカメラ画像を纏めてバッチ方式で画像認識を行ってもよい。

分析モジュール１０２２Ａは、関連行動の推定を複数の段階（姿勢の推定と関連行動の推定との２段階）で実行する。分析モジュール１０２２Ａは、関連行動の推定をエリア毎に実行する。分析モジュール１０２２Ａは、姿勢の推定を、経時的に変化する複数のフレームの夫々に対して行い、複数のフレーム夫々の姿勢の推定結果の組み合わせに基いて関連行動の推定を行う。分析モジュール１０２２Ａはメモリを参照して、学習によって得られた重みを利用して、一つのフレームにおいて、姿勢の候補夫々のスコアを計算し、複数の姿勢の候補に対するランク付けを行う。分析モジュール１０２２Ａは、さらに、複数のフレームに於ける、姿勢の候補のランク付けの組み合わせに基づいて、学習によって得られた重み参照して、関連行動の複数の候補夫々のスコアを計算してランク付けを行う。分析モジュール１０２２Ａは、最もスコアが上位の候補を、最も確からしい関連行動として決定してよい。

図７は、姿勢推定のためのディープラーニングをモデル化したブロック図である。ディープラーニングは、畳み込みニューラルネットワーク層（Convolution Neural Network Layer）、全結合層(Fully connection layer)と、出力層(Output layer)とから構成される。畳み込みニューラルネットワーク層は、畳み込みフィルタ層と、プーリング層とからなる。畳み込みフィルタ層は、画像の濃淡パターンを検出して、エッジ抽出等の特徴抽出を行い、プーリング層は、畳み込みフィルタ層で反応があった特徴量の位置情報を一部捨てることで、画像内で特徴量が若干位置ずれした場合における出力結果の不変性を実現する。畳み込みニューラルネットワーク層は、これらの層を組み合わせることによって、人物の画像から特徴量を抽出する。

全結合層と出力層とは、特徴量に基づいた分類を行う。全結合層は、畳み込みニューラルネットワークを通して特徴部分が取り出された画像データを一つのノードに結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数が増えると特徴量空間の分割数が増し、各領域を特徴付ける特徴変数の数が増える。出力層は、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、画像が複数の姿勢の候補夫々に分類される確率（スコア）を最大化する（最尤推定法）ことによって、複数ある姿勢の候補のランク付けを行う。

図８は、関連行動の推定のためのディープラーニングをモデル化したブロック図である。行動推定ディープラーニングモデルは、時系列データ（連続する複数のフレームの組み合わせであり、夫々のフレームについて姿勢が推定されている（図７））を扱えるようにするために、LSTM（Long Short-Term Memory）層を有する。LSTMへの入力情報は、図７の出力層のデータ、即ち、複数の姿勢ラベル夫々の確率である他、確率が最も高い姿勢ラベルであってもよい。出力層は、データ群が行動の複数の分類夫々に対する確率を出力する。出力層（Output layer）は、複数の関連行動の候補夫々の確率を出力する。分析モジュール１０２２Ａは、複数の関連行動の候補のうち、最も上位のランクの候補を関連行動として決定することができる。分析モジュール１０２２Ａは、既述の所定数のフレームを取得する毎に、複数のフレーム夫々の姿勢のフローによって、関連行動を推定することができる。

図３に戻り、説明を継続する。分析モジュール１０２２Ａは、管理モジュール１０２２Ｃを介して画像データを取得し（Ｆ３）、関連行動の推定結果を管理モジュール１０２２Ｃに出力する（Ｆ４）。管理モジュール１０２２Ｃは通信モジュール１０２４Ａに圧縮データ、関連行動の推定結果を出力する（Ｆ７）。通信モジュール１０２４Ａは、サーバ１２０の通信モジュール１２００Ａにデータを送信する（Ｆ８）。通信モジュール１０２４Ａは取得したデータを管理モジュール１２００Ｂに出力する（Ｆ９）。管理モジュール１２００Ｂはデータをストレージのデータベースに登録する。データベースは、関連行動が推定されるタイミング毎に推定された関連行動の複数を記録している。

データ管理アプリケーションプログラム１２０２の管理モジュール１２０２Ａは、クラウドサービスアプリケーションプログラム１２００の管理モジュール１２００Ｂを介してデータベースを参照する（Ｆ１０）。分析モジュール１２０２Ｂは管理モジュール１２０２Ａからデータベースの情報を取得し（Ｆ１１）、データベースに記録された、関連行動の推定情報の時間的変移を分析して、製品の製造効率、作業効率等に関連する管理指標を作成する。

分析モジュール１２０２Ｂは、管理指標を管理モジュール１２０２Ａに出力する（Ｆ１２）。管理モジュール１２０２Ａは、管理指標をクライアントのコンピュータ１４が参照可能なように可視化情報として作成する。提示モジュール１２０２Ｃは、管理モジュール１２０２Ａにアクセスして（Ｆ１３）、可視化情報を取得する（Ｆ１４）。管理指標としては、例えば、関連行動の時系列的な変移を表すグラフである。管理モジュール１２０２Ａは、管理指標から一つの製品を完成するまでに要する作業時間、製品の製造速度、製品の製造効率等管理目標に関する特性値を算出することができる。提示モジュール１２０２Ｃはクライアントのコンピュータ１４からのリクエスト（Ｆ１５）に基づいて、可視化情報をクライアントのコンピュータ１４に出力する（Ｆ１６）。

図９は可視化された管理指標の一例である。横軸がカメラから画像が取得された時間であり、縦軸が推定された関連行動の評価値(「-２」〜「５」)である。関連行動の評価値が高いほど、作業終了（最終製品の出荷）への寄与度が大きいことを示す。図９に示すように、関連行動を線で接続することによって、関連行動の時系列的な推移、変移に係る情報が一見して分かるようになる。「運搬中」は、作業台設置エリアから製品を運搬するものであるため「運搬中」が推定されたタイミング(Ｓ１、Ｓ２、Ｓ３の夫々)で、製品の組み立てが終了したことになる。したがって、これらのタイミングの間の時間幅（作業の開始と終了の範囲）が、作業員が製品を組み立てるのに要する時間であるため、分析モジュール１２０２Ｂは、この時間から製品の製造速度、製造効率等の管理目標を算出することができる。

算出された管理目標は、作業員の行動を直に反映しているため、管理者はこの管理目標に基づいて作業員の行動を直接改善できる。図９に示すように、推定された関連行動の評価の変移に基づいて、作業員の適切ではない行動の発生点、作業員の行動の改善点等が明確になるため、作業員の行動に起因する管理目標の低下、悪化に対して迅速に対策をとることができる。

なお、分析モジュール１０２２Ａはエリア毎で推定された関連行動に応じて、全体画像中のエリアに識別情報を設定することができる。例えば、作業中のエリアを青の枠で囲む、部品を取り出したエリアではピンクの枠で囲む、何も作業をしていないエリアを白の枠で囲む等である。分析モジュール１０２２Ａは識別情報が付与された全体画像を工場内のモニタに出力することができる。工場内の管理者は、この全体画像からエリア毎の作業員の関連行動を一見して確認することができる。

図１０は算出された管理目標を可視化した例である。分析モジュール１２０２Ｂは、推定された関連行動の変移に基づいて、製品１つを完成するまでの組み立て作業時間と組み立て完成数(個数)とを計算し、管理モジュール１２０２Ｂは、計算結果に基づいて、組立作業の効率をヒストグラムにして可視化させる。（１）は改善前の可視化情報である。管理者は、可視化情報から、製品の完成周期が予測値との偏差を求め、（１）のように、製品の完成周期にバラツキがある場合、その原因を調査して、必要な対策、例えば、部品の組立の順番を変える等を、完成周期を短縮させるための方策を採ることができる。（２）は、作業条件の改善後の可視化情報である。

ここで、分析モジュール１０２２Ａの組立作業エリア（Ｌ１１）に対する画像認識動作をフローチャート（図１１）に基づいて説明する。分析モジュール１０２２Ａは、画像中の作業員の画像を認識し、これにディープラーニングを組み合わせて関連行動を推定する。

分析モジュール１０２２Ａは、カメラ画像を記録するメモリ（エッジコンピュータ１０２内）から全体画像と、エリア情報（図５）を取得する（Ｓ１０１）。分析モジュール１０２２Ａは、全体画像から組立作業エリアＬ１１（図４）の画像を切り出して（Ｓ１０２）、同エリアの画像の画素情報を認識して同エリア内に作業員が存在するか否かを判定する（Ｓ１０３）。

分析モジュール１０２２Ａがこの判定を肯定すると、作業員が組立作業台を向いているか否かを判定する（Ｓ１０６）。分析モジュール１０２２Ａがこの判定を肯定すると、組立作業エリアＬ１１の画像から作業台設置エリアＬ１３の切り出し（Ｓ１０７）、同エリアの画像データから姿勢の推定を、ディープラーニングを利用して実行する（Ｓ１０８）。分析モジュール１０２２Ａが、Ｓ１０３を否定判定すると、全体画像から搬送エリアＬ１２の画像を切り出し（Ｓ１０４）、次いで、同エリアの画像データから姿勢の推定を、ディープラーニングを利用して実行する（Ｓ１０５）。分析モジュール１０２２Ａは、姿勢の推定結果に基づいて、ディープラーニングを利用して、関連行動を推定する（Ｓ１０９）。

分析モジュール１０２２Ａは、搬送エリアＬ１２に人を認識できない場合は、姿勢の推定結果を「姿勢無」にする。なお、分析モジュール１０２２Ａは、Ｓ１０４において、搬送エリアに作業員が認識できるか否かを判定し、作業員が認識できない場合には、Ｓ１０５を行うことなく、フローチャートを終了してもよい。

図１１に示すフローチャートによれば、分析モジュール１０２２Ａは、ディープラーニングを利用する処理に先立って、作業員の画像認識を行い、作業員が認識できない場合には、ディープラーニングを利用する処理をスキップできるために、分析モジュール１０２２Ａの負荷を低減することができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例を含む。例えば、所定数のフレームの「所定数」をエリア毎に変えてもよい。また、計算機システムを製造現場の他、店舗での販売管理の領域に適用することができる。さらに、上記した実施形態は本発明を分かりやすく説明するためにものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部を他の構成で置き換えること、削除することの他、他の構成を付加することも可能である。

１０ 第１のシステム(現場側)
１２ 第２のシステム（クラウド側）
１００ カメラ
１０２ エッジコンピュータ
１２０ サーバ

Claims (7)

1. 領域に対する管理を支援する計算機システムであって、
   前記計算機システムはコントローラを備え、
   前記コントローラは、前記領域に対する管理のためのプログラムを実行することによって、
   前記領域を撮影するカメラから所定時間毎に画像を取得することと、
   所定時間毎に取得された複数の画像に基いて、前記領域に含まれる人物の行動を推定することと、
   前記人物の行動の時系列情報を作成することと、
   前記時系列情報に基いて前記領域の管理に対する管理指標を作成することと、
   前記管理指標を可視化して管理計算機が参照できるようにすることと、
   を備える計算機システム。
2. 前記領域は前記カメラを複数備え、
   前記コントローラは、
   前記複数のカメラ夫々から得た画像を合成して、前記領域の全体を俯瞰する全体画像を作成することをさらに備える請求項１記載の計算機システム。
3. 前記領域は複数のエリアから構成され、
   前記コントローラは、
   前記全体画像から複数のエリアのうちの所定のエリアの画像を切り取り、
   前記所定のエリアの画像に基いて、当該エリアの画像に含まれる人物の行動を推定する
   請求項２記載の計算機システム。
4. 前記コントローラは、
   所定時間毎に取得された複数の画像夫々について前記人物の姿勢を推定し、
   前記複数の画像夫々の姿勢の推定結果を組み合わせて、前記人物の行動を推定する
   請求項１記載の計算機システム。
5. 前記コントローラは、
   所定時間毎に取得された複数の画像に対する学習の結果を利用して、前記人物の姿勢と行動とを推定する
   請求項４記載の計算機システム。
6. 前記コントローラは、
   前記学習を、
   所定時間毎に取得された複数の画像をレビューワに提供することと、
   前記レビューワが前記複数の画像の夫々に対して前記姿勢のラベルを付与することと、
   前記レビューワが前記複数の画像に対して前記行動のラベルを付与することと、
   によって、実行する請求項５記載の計算機システム。
7. 前記コントローラは、
   前記領域に含まれる人物の行動の推定結果に基いて、当該人物の作業の開始と終了とを判定する
   請求項１記載の計算機システム。