JP2023045089A - 分析装置、分析システム、分析方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】作業を自動的に分析可能な、分析装置、分析システム、分析方法、プログラム、及び記憶媒体を提供する。
【解決手段】実施形態に係る分析装置は、製造工程における複数の作業に関する分析を実行する。前記分析装置は、前記複数の作業のそれぞれが実行されたときの画像を取得する撮像装置から、前記画像を受信する。前記分析装置は、前記複数の作業の少なくともいずれかで用いられる工具から、前記工具で検出された検出信号を受信する。前記分析装置は、前記複数の作業のそれぞれの終了を判定するための終了判定データを参照する。前記分析装置は、前記画像、前記検出信号、及び前記終了判定データに基づいて、前記複数の作業のそれぞれの終了を判定する。
【選択図】図１

Description

本発明の実施形態は、分析装置、分析システム、分析方法、プログラム、及び記憶媒体に関する。

作業の分析を自動的に実行できる技術の開発が求められている。

再表２０１７／０３３５６１号公報

本発明が解決しようとする課題は、作業を自動的に分析可能な、分析装置、分析システム、分析方法、プログラム、及び記憶媒体を提供することである。

実施形態に係る分析装置は、製造工程における複数の作業に関する分析を実行する。前記分析装置は、前記複数の作業のそれぞれが実行されたときの画像を取得する撮像装置から、前記画像を受信する。前記分析装置は、前記複数の作業の少なくともいずれかで用いられる工具から、前記工具で検出された検出信号を受信する。前記分析装置は、前記複数の作業のそれぞれの終了を判定するための終了判定データを参照する。前記分析装置は、前記画像、前記検出信号、及び前記終了判定データに基づいて、前記複数の作業のそれぞれの終了を判定する。

実施形態に係る分析システムを示す模式図である。 作業データを例示する表である。 作業データを例示する表である。 作業データを例示する表である。 実施形態に係る分析装置による処理を示すフローチャートである。 実施形態に係る分析装置による別の処理を示すフローチャートである。 実施形態に係る分析装置による出力例を示す模式図である。 実施形態に係る分析装置による出力例を示す模式図である。 実施形態に係る分析装置による出力例を示す模式図である。 実施形態に係る分析装置による出力例を示す模式図である。 実施形態に係る分析装置による出力例を示す模式図である。 実施形態に係る分析装置による出力例を示す模式図である。 実施形態に係る分析装置によるシミュレーション実行時の処理を示すフローチャートである。 ハードウェア構成を示す模式図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係る分析システムを示す模式図である。
図１に示すように、分析システム１は、分析装置１０、撮像装置２０、工具３０、入力装置４０、出力装置５０、及び記憶装置６０を含む。

分析装置１０は、製造工程における複数の作業に関する分析を実行する。撮像装置２０は、画像を取得する。撮像装置２０は動画を取得し、動画から画像が切り出されても良い。撮像装置２０は、作業現場を撮像する。撮像装置２０は、作業者に付帯されても良い。撮像装置２０は、複数設けられても良い。例えば、作業が実行されうる複数の現場に、それぞれ撮像装置２０が設けられる。

工具３０は、作業に用いられ、作業時に信号を検出する。例えば、工具３０は、デジタルトルクレンチ又はデジタルノギスである。工具３０は、トルクセンサ、加速度センサ、及び角速度センサから選択された少なくとも１つを含む。複数の工具３０が用意され、作業ごとに異なる工具３０が用いられても良い。撮像装置２０及び工具３０は、取得したデータを分析装置１０に送信する。

入力装置４０は、ユーザが分析装置１０にデータを入力するために用いられる。入力装置４０は、マウス、キーボード、マイク（音声入力）、及びタッチパッドから選択される１つ以上を含む。出力装置５０は、ユーザに向けて情報を出力する。出力装置５０は、ディスプレイ、プロジェクタ、スピーカ、及びプリンタから選択される１つ以上を含む。例えば、作業者は、撮像装置２０、入力装置４０（マイク）、及び出力装置５０（ディスプレイ）を含むスマートグラスを着用する。出力装置５０に、仮想的なキーボードやボタン等の入力装置が表示されても良い。撮像装置２０が、ユーザが仮想の入力装置を操作する様子を撮像し、分析装置１０は、撮像結果に基づいてユーザからの入力を受け付けても良い。すなわち、分析装置１０は、モーション検出によるハンドジェスチャー入力を実行可能であっても良い。記憶装置６０は、作業データ、分析装置１０の処理によって得られたデータ、撮像装置２０及び工具３０から得られたデータなどを適宜保存する。

図２～図４は、作業データを例示する表である。
図２～図４に示すように、作業データ１００は、作業者データ１１０、個別作業データ１２０、履歴データ１３０、製造諸元データ１４０、及びチェックリスト１５０を含む。

図２に示すように、作業者データ１１０は、作業者に関するデータを含む。作業者データ１１０は、作業者ＩＤ１１１、認証手段１１２、及び作業者情報１１３を含む。作業者ＩＤ１１１は、作業者を識別するための文字列である。認証手段１１２は、作業者を認証するための手段を示す。認証の手段として、画像、指紋、音声等による生体認証、作業者が所持するセキュリティカードやバーコードなどを用いた物理認証が挙げられる。作業者情報１１３は、作業者の氏名、所属などを含む。

個別作業データ１２０は、複数の作業のそれぞれについて、作業の開始、作業中、及び作業の終了に関するデータを含む。図２では、複数の作業のうち、最初の作業に関するデータが例示されている。

個別作業データ１２０は、作業の開始に関するデータとして、データＩＤ１２１ａ、開始製品状態１２１ｂ、検出手段１２１ｃ、及び開始判定データ１２１ｄを含む。データＩＤ１２１ａは、作業の開始に関するデータセットを識別するための文字列である。開始製品状態１２１ｂは、作業が開始されるときの製品の状態を示すデータである。検出手段１２１ｃは、作業開始を判定するための、データの検出手段を示す。開始判定データ１２１ｄは、作業の開始を判定するためのデータである。

個別作業データ１２０は、作業の指示に関するデータとして、データＩＤ１２２ａ、指示手段１２２ｂ、及び指示データ１２２ｃをさらに含む。データＩＤ１２２ａは、作業の指示に関するデータセットを識別するための文字列である。指示手段１２２ｂは、作業の指示を作業者に向けて出力するための手段を示す。出力の手段は、ディスプレイへの表示、音声などである。指示データ１２２ｃは、作業者への具体的な指示内容を示すデータである。

個別作業データ１２０は、作業の終了に関するデータとして、データＩＤ１２３ａ、終了製品状態１２３ｂ、検出手段１２３ｃ、及び終了判定データ１２３ｄをさらに含む。データＩＤ１２３ａは、作業の終了に関するデータセットを識別するための文字列である。終了製品状態１２３ｂは、作業が終了したときの製品の状態を示すデータである。検出手段１２３ｃは、作業終了を判定するための、データの検出手段を示す。終了判定データ１２３ｄは、作業の終了を判定するためのデータである。

個別作業データ１２０は、２番目以降の作業のそれぞれについても、図２に例示したデータと同様の、作業の開始、作業中、及び作業の終了に関するデータを含む。

検出手段１２１ｃ及び１２３ｃとして、撮像装置２０から得られた画像を用いた検出、デジタル工具から送信された信号を用いた検出などが挙げられる。１つの作業について、その作業終了に関する検出手段が、その作業開始に関する検出手段と異なっていても良い。

一例として、画像から作業者の骨格が抽出されることが、検出手段１２１ｃ又は１２３ｃとして設定される。撮像装置２０は、作業現場を撮像する。分析装置１０は、撮像装置２０によって得られた画像を、人体の骨格を抽出するためのモデルに入力する。モデルは、例えばニューラルネットワークを含む。分析装置１０は、モデルからの出力結果を参照し、骨格が抽出された場合、作業が開始されたと判定する。又は、骨格に基づいて作業者が特定の物に触れたと判定される場合に、分析装置１０は、作業が開始されたと判定しても良い。

別の一例として、撮像された画像とテンプレート画像とのマッチングが、検出手段１２１ｃ又は１２３ｃとして設定される。撮像装置２０は、作業者に付帯されるスマートグラスに含まれる。撮像装置２０は、作業者が見ている光景を撮像する。分析装置１０は、撮像装置２０によって得られた画像と、予め用意したテンプレート画像と、を比較する。得られた画像の一部がテンプレート画像とマッチングした場合、分析装置１０は、作業が開始されたと判定する。テンプレート画像として、作業開始時の製品の画像、作業現場の画像などを用いることができる。

別の一例として、マーカの検出が、検出手段１２１ｃ又は１２３ｃとして設定される。作業開始の判定にマーカが用いられても良い。マーカは、例えば、Augmented Reality（ＡＲ）マーカである。作業現場の物がＡＲマーカとして予め登録される。マーカとして、さらに、Quick Response（ＱＲ）コード（登録商標）が用いられても良い。この場合、作業現場の物に、ＱＲコード（登録商標）が予め貼り付けられる。

さらに別の一例として、工具３０からの信号の検出が、検出手段１２１ｃ又は１２３ｃとして設定される。分析装置１０は、工具３０から作業を示す信号を受信した場合に、作業が開始されたと判定する。

図３に示すように、履歴データ１３０は、複数の作業のそれぞれについて、作業の開始時、作業中、及び作業の終了時の履歴を示す。図３では、複数の作業のうち、最初の作業の履歴が例示されている。

履歴データ１３０は、作業開始時の履歴データとして、データＩＤ１３１ａ、日時１３１ｂ、及び作業者１３１ｃを含む。データＩＤ１３１ａは、作業開始時の履歴に関するデータセットを識別するための文字列である。日時１３１ｂは、作業が開始された日時を示すデータである。作業者１３１ｃは、作業開始時の作業者を示すデータである。

履歴データ１３０は、作業中の履歴データとして、データＩＤ１３２ａ、日時１３２ｂ、及び作業者１３２ｃをさらに含む。データＩＤ１３２ａは、作業中の履歴に関するデータセットを識別するための文字列である。日時１３２ｂは、出力された指示が実行された日時を示すデータである。出力される指示の内容は、指示データ１２２ｃに基づく。作業者１３２ｃは、指示を実行した作業者を示すデータである。

履歴データ１３０は、作業終了時の履歴データとして、データＩＤ１３３ａ、日時１３３ｂ、作業者１３３ｃ、状態データ１３３ｄ、判定結果１３３ｅ、検出データ１３３ｆ、及びログデータ１３３ｇをさらに含む。データＩＤ１３３ａは、作業終了時の履歴に関するデータセットを識別するための文字列である。日時１３３ｂは、作業が終了した日時を示すデータである。作業者１３３ｃは、作業終了時の作業者を示すデータである。状態データ１３３ｄは、作業終了時の製品の状態を示すデータである。例えば、作業終了時の製品の画像が用いられる。判定結果１３３ｅは、作業が終了したか否か、検出手段１２３ｃによるデータが正常か否か、などの判定結果を示す。検出データ１３３ｆは、作業終了時に、検出手段１２３ｃによって得られたデータである。ログデータ１３３ｇは、作業中に工具３０によって得られたデータの履歴を示す。

履歴データ１３０は、２番目以降の作業のそれぞれについても、図３に例示したデータと同様の、作業の開始時、作業中、及び作業の終了時の履歴を示すデータを含む。

製造諸元データ１４０は、製造に関する要素を示すデータである。製造諸元データ１４０は、標準作業工数１４１を含む。標準作業工数１４１は、それぞれの作業の標準的な工数を示す。

図４に示すように、チェックリスト１５０は、各作業の名称１５１、各作業の開始時刻１５２、各作業の終了時刻１５３、各作業の工数１５４、及びチェック１５５を含む。開始時刻１５２及び終了時刻１５３は、それぞれ、分析装置１０による開始及び終了の判定結果に基づいて入力される。開始時刻１５２から終了時刻１５３までの期間が、工数１５４に対応する。チェック１５５は、作業が終了したと判定された場合に、入力される。

作業データ１００は、製品ごとに作成される。例えば、同じ種類の製品であっても、それぞれの製造工程において少なくとも一部の作業内容又は作業順序が互いに異なる場合は、製品ごとに作業データが作成される。

図５は、実施形態に係る分析装置による処理を示すフローチャートである。
分析装置１０は、認証手段１１２に従って、作業者を特定する（処理Ｓ１）。例えば、分析装置１０は、撮像装置２０から、作業者の顔の画像を受信する。分析装置１０は、画像から顔認識を行い、作業者を特定する。分析装置１０は、指紋センサから作業者の指紋データを受信し、指紋データに基づいて作業者を特定しても良い。分析装置１０は、マイクから作業者の音声データを受信し、音声データに基づいて作業者を特定しても良い。分析装置１０は、カードリーダから作業者のセキュリティカードの読み取り結果を受信し、その読み取り結果に基づいて作業者を特定しても良い。分析装置１０は、作業者ごとに割り当てられたバーコード等の読み取り結果を受信し、その読み取り結果に基づいて作業者を特定しても良い。

分析装置１０は、実行される作業に関する作業データを参照する（処理Ｓ２）。例えば、ユーザは、入力装置４０を用いて、実行される製造工程を選択する。分析装置１０は、その選択結果を受け付け、選択された作業データを参照する。作業者と実行される作業とが予め紐付けられていても良い。この場合、分析装置１０は、処理Ｓ１で特定された作業者に紐付けられた作業データを参照する。他の作業の進捗結果等に基づいて、実行される製造工程が自動的に選択されても良い。

分析装置１０は、撮像装置２０及び工具３０から継続的にデータを受信する。分析装置１０は、検出手段１２１ｃによって特定された検出手段のデータと、開始判定データ１２１ｄと、を比較し、作業の開始を判定する（処理Ｓ３）。

作業の開始が判定されると、分析装置１０は、指示データ１２２ｃに基づく作業指示を、出力装置５０に出力する（処理Ｓ４）。例えば、分析装置１０は、作業指示を、ディスプレイに表示させる。分析装置１０は、作業指示をスピーカから出力しても良い。ディスプレイを含むスマートグラスが用いられる場合、作業指示は、ＡＲ技術又はMixed Reality（ＭＲ）技術を用いて、現実空間に重ねて表示されても良い。

分析装置１０は、検出手段１２３ｃによって特定された検出手段のデータと、終了判定データ１２３ｄと、を比較し、作業の終了を判定する（処理Ｓ５）。一例として、分析装置１０は、工具３０から検出された信号が作業指示の内容の完了を示す場合、作業が終了したと判定する。別の一例として、分析装置１０は、撮像装置２０によって得られた画像と、予め用意したテンプレート画像と、を比較する。得られた画像の一部がテンプレート画像とマッチングした場合、分析装置１０は、作業が終了したと判定する。テンプレート画像として、作業終了時の製品の画像、作業現場の画像などを用いることができる。

例えば、作業の終了が判定されるまで、作業指示の出力が継続される。作業の終了が判定されると、分析装置１０は、作業データを更新する（処理Ｓ６）。例えば、分析装置１０は、履歴データ１３０に、終了した作業に関するデータを追加する。分析装置１０は、終了と判定された作業にチェックを付し、チェックリスト１５０を更新する。

分析装置１０は、選択された製造工程について、全ての作業が完了したか判定する（処理Ｓ７）。完了していない場合は、次の作業について、処理Ｓ３～Ｓ６が繰り返される。全ての作業が完了すると、分析装置１０は、処理を終了する。

実施形態の利点を説明する。
少数の製品ごとに製品設計が行われる場合がある。例えば、プラント、工場、大型船舶などの設備は、１つの製品ごとに設計が行われる。ここでは、そのような製品を、インデント製品と呼ぶ。インデント製品については、製品ごとに作業の内容や１つの作業での順序等が異なる。製造工程で要する時間も、製品ごとに異なる。

製品の品質を向上させるためには、作業のチェックが有効である。従来、作業を自動的にチェックする技術が用いられている。しかし、インデント製品については、上述した要因により、自動的な作業のチェックが容易ではない。このため、インデント製品の製造工程は、別の作業者又は監督者によってチェックされることが多い。一方で、インデント製品の製造コストの低減のためには、作業をチェックする人員を削減することが望ましい。

この課題について、本願の発明者らは、作業終了時の状態に着目する方法を見出した。すなわち、作業終了時の製品、作業、又は作業者の状態は、１つの作業での順序に拘わらず、作業が正しく実行されていれば一定となる。

この着想に基づき、実施形態では、分析装置１０は、撮像装置２０から、各作業の実行時の画像を受信する。分析装置１０は、工具３０から検出信号を受信する。分析装置１０は、複数の作業のそれぞれの終了を判定するための終了判定データを参照する。そして、分析装置１０は、画像、検出信号、及び終了判定データに基づいて、複数の作業のそれぞれの終了を判定する。

例えば、作業が終了していない場合、画像に写る製品の様子は、作業の手順ごとに様々である。一方で、作業終了時に、画像に写る製品の様子は、作業の手順に拘わらず一定である。作業が終了したときの製品の様子を終了判定データとして予め登録し、その終了判定データを用いることで、作業の終了を正確に判定できる。

同様に、作業中に工具３０から送信される信号は、作業の手順ごとに様々である。作業の手順によって、使用される工具３０の順序も異なる。一方で、作業終了までに検出される信号の種類、数などは、作業の手順に拘わらず一定である。作業が終了したときの検出信号に関する終了判定データを用いることで、作業の終了をより正確に判定できる。

作業の終了を判定することで、例えば、分析装置１０による作業終了の判定結果に基づいて、作業履歴を生成できる。判定結果と予め用意された作業の手順書等とを対比することで、作業に漏れが無いかも自動的に確認できる。実施形態によれば、インデント製品等の製品ごとに製造工程が異なる場合でも、作業を自動的に分析可能である。

また、一般的に、インデント製品のサイズは大きく、製造工程中での製品の全体の確認が困難である。製品の生産エリアも広く、作業場所の柔軟性も高い。作業者が製品の中で作業することもある。このため、撮像装置２０による画像を用いた判定のみでは、作業が撮像の範囲外で実行され、作業の終了を正確に判定できない可能性がある。この課題について、実施形態では、作業終了の判定に、工具３０からの検出信号を用いる。工具３０からの検出信号は、作業が行われる場所に拘わらず受信できる。画像に加えて検出信号を作業終了の判定に用いることで、作業の終了をより正確に判定できる。

一般的に、作業は、予め決められた順序に従って連続的に実行される。このため、作業の終了が判定されたタイミングを、次の作業の開始のタイミングと見なすことができる。ただし、より正確な作業の分析のためには、各作業の開始も判定されることが好ましい。上述したように、分析装置１０は、複数の作業のそれぞれの開始を判定するための開始判定データを参照しても良い。分析装置１０は、撮像装置２０からの画像、工具３０からの検出信号、及び終了判定データに基づいて、複数の作業のそれぞれの開始を判定する。

好ましくは、分析装置１０は、図５に示すフローチャートのように、複数の作業の１つが実行されている間、その作業に関する作業指示を出力装置５０に出力させる、これにより、作業者が、実行すべき作業を容易に把握できる。

好ましくは、分析装置１０は、図４に示すように、各作業の開始及び終了の判定結果に基づいて、各作業の工数を算出する。分析装置１０は、工数を、作業データ１００に記録する。分析装置１０は、算出された工数を、作業データ１００の標準作業工数と比較しても良い。分析装置１０は、算出された工数が標準作業工数を超える場合に、そのことを示す情報を出力装置５０に出力させても良い。

分析装置１０は、算出された工数に基づいて、複数の作業のコストを算出しても良い。記憶装置６０は、工数とコストとの関係を示すコストモデル（例えば関数）を記憶する。コストモデルは、ユーザにより予め準備される。分析装置１０は、各作業の工数が算出されると、各工数の和をそのコストモデルに入力する。分析装置１０は、コストモデルの出力値をコストとして取得する。分析装置１０は、コストを作業データに記録しても良いし、コストを出力装置５０に出力しても良い。

好ましくは、作業データは、図４に示すように、各作業の終了を確認するためのチェックシートを含む。分析装置１０は、開始及び終了の判定結果に基づいて、チェックシートにデータを入力する。チェックシートを確認することで、ユーザは、各作業が終了したか容易に把握できる。

分析装置１０は、出力された作業指示に従って作業が実行されたか判定しても良い。作業指示が実行されたか判定されることで、作業の抜けを抑制し、製品の品質を向上できる。

図６は、実施形態に係る分析装置による別の処理を示すフローチャートである。
図６に示すフローチャートは、図５に示すフローチャートと比較すると、処理Ｓ４に代えて処理Ｓ４ａ～Ｓ４ｆを含む。

１つの作業は、１つ以上のステップを含む。分析装置１０は、１つのステップに関する作業指示を出力する（処理Ｓ４ａ）。分析装置１０は、作業指示の出力後、画像又は検出信号に基づいて、実行された作業が作業指示に適合するか判定する（処理Ｓ４ｂ）。実行された作業が作業指示に適合しない場合、分析装置１０は、出力装置５０から通知を出力する（処理Ｓ４ｃ）。例えば、通知は、作業が誤っていることを示す。通知は、音で出力されても良いし、ディスプレイに出力されても良い。実行された作業が作業指示に適合する場合、分析装置１０は、その作業に含まれる全てのステップが終了したか判定する（処理Ｓ４ｄ）。

全てのステップが終了すると、分析装置１０は、その作業で実行された内容が、全体的な作業指示に適合するか判定する（処理Ｓ４ｅ）。実行された作業が全体的な作業指示に適合しない場合、分析装置１０は、出力装置５０から通知を出力する（処理Ｓ４ｆ）。例えば、ステップごとの作業指示として、持つべき部品、部品を取り付ける方向、ねじの向き、ねじ締めの強さなどが設定される。全体的な作業指示として、締結されたねじの数、組み立てられたユニットの状態（形状、位置）などが設定される。

実行された作業が全体的な作業指示に適合する場合、分析装置１０は、作業が終了したか判定する（処理Ｓ５）。実行された作業が全体的な作業指示に適合することが、作業終了の判定条件として設定されても良い。

上述した通り、インデント製品については、製品ごとに作業の手順等が異なりうる。生産エリアも広く、作業場所の柔軟性も高い。このため、１つの作業における細かなステップの終了を判定しようとすると、多くの検出器又は高性能な検出器が必要となり、製造コストが増加する。この課題について、実施形態では、１つの作業に含まれる１つ以上のステップが定義され、各ステップに対する作業指示が設定される。これにより、作業指示に対応した検出手段を用意すれば、そのステップの終了を判定可能となる。製造コストの増加を抑制しつつ、製品及び作業の質を向上できる。

図７～図１１は、実施形態に係る分析装置による出力例を示す模式図である。
一例として、製造される製品の一部（ユニット）の組み立て作業が行われる。作業者は、撮像装置２０、入力装置４０、及び出力装置５０を含むスマートグラスを着用する。図７は、スマートグラスを通して作業者が見ている光景を示す模式図である。

図７に示す例では、作業台２００の上に、部品２０１及び２０２が置かれている。例えば、部品２０１及び２０２のそれぞれのテンプレート画像が用意される。分析装置１０は、撮像装置２０からの画像とテンプレート画像とのマッチングにより、部品２０１及び２０２の組み立て作業の開始を判定する。又は、別の撮像装置２０が、作業台２００付近を撮像する。分析装置１０は、作業台２００付近に作業者の骨格が認識されると、作業の開始を判定する。分析装置１０は、作業者の骨格に基づいて作業者が部品２０１又は２０２に触れたと判定された場合に、作業の開始を判定しても良い。

分析装置１０は、作業の開始が判定されると、部品像２０３、記号２０４、及び完成像２０５を表示させる。部品像２０３は、部品２０２を示す。記号２０４は、部品２０２を、上方から部品２０１へ取り付けることを示している。完成像２０５は、部品２０２が部品２０１へ取り付けられた状態を示す。例えば、分析装置１０は、部品２０２及び組み立てられたユニットのcomputer-aided design（ＣＡＤ）図を参照し、それらのＣＡＤ図を部品像２０３及び完成像２０５として表示させる。

部品２０２が部品２０１へ取り付けられると、図８に示すように、部品２１０が得られる。例えば、部品２１０のテンプレート画像が用意される。分析装置１０は、撮像装置２０からの画像とテンプレート画像とのマッチングにより、部品２０２の部品２０１への載置のステップが完了したと判定する。分析装置１０は、次のステップの作業指示を表示させる。

図８に示す例では、部品２１０に、ねじの像２１２及び記号２１３が表示されている。記号２１３は、部品２０２へねじを締結することを示している。締結には、工具３０として機能するデジタルトルクレンチが用いられる。分析装置１０は、工具３０からの検出信号に基づいて、ねじの締結が開始されたか、ねじの締結方向は適切か、ねじの締結が完了したか、などをそれぞれ判定する。

分析装置１０は、作業中に、複数のステップの作業指示を全て表示させても良い。図９に示す例では、ユニットの組み立てにおける４つのステップの作業指示２２１～２２４と、メッセージ２２５と、を含む作業指示２２０が表示されている。記号２２６及び２２７により、完了したステップと、進行中のステップと、が示唆されている。メッセージ２２５は、進行中のステップに関する具体的な指示を示す。

分析装置１０は、図１０に示すように、作業中に、チェックシート２３０を表示させても良い。チェックシート２３０は、ステップの名称２３１、履歴２３２、工数２３３、及び差２３４を含む。履歴２３２は、それぞれのステップが完了したかを示す。完了したステップには、チェックが付されている。工数２３３は、それぞれのステップについて、実工数２３３ａ及び標準工数２３３ｂを含む。実工数２３３ａは、そのステップに実際に要した時間を示す。標準工数２３３ｂは、そのステップに要する標準の時間を示す。差２３４は、実工数２３３ａと標準工数２３３ｂとの差である。さらに、分析装置１０は、図１０に示すように、別の撮像装置２０から得られた画像２４０を表示させても良い。画像２４０には、作業者の骨格２４１が示されている。

図１１に示すように、完成像２０５、作業指示２２０、チェックシート２３０、及び画像から選ばれる１つ以上が、ＡＲ技術又はＭＲ技術により現実空間に重ねて、スマートグラスの出力装置５０に表示されても良い。ＭＲ技術により、完成像２０５、作業指示２２０、チェックシート２３０、及び画像から選ばれる１つ以上を選択可能であっても良い。例えば、選択されたデータが、縮小又は拡大される。

分析装置１０により、作業の中断が判定されても良い。例えば、作業開始の判定から作業終了の判定までの間、分析装置１０は、所定時間よりも長い時間、作業現場の画像から人体の骨格が検出されない場合に、作業が中断されていると判定する。中断の判定後、作業現場の画像から人体の骨格が再び検出された場合に、分析装置１０は、作業が再開されたと判定する。作業開始の判定から作業終了の判定までの間、分析装置１０は、所定時間よりも長い時間、作業者が工具３０を把持していることを示す検出信号が工具３０から送信されない場合に、作業が中断されていると判定しても良い。中断の判定後、工具３０の把持を示す検出信号が工具３０から送信された場合に、分析装置１０は、作業が再開されたと判定する。

図１２は、実施形態に係る分析装置による出力例を示す模式図である。
分析装置１０は、図１２に示すように、ガントチャート２６０を表示しても良い。ガントチャート２６０は、作業の名称２６１、開始時刻２６２、終了時刻２６３、作業時間２６４及びチャート２６５を含む。チャート２６５では、作業の時間帯と中断の時間帯が判別可能に表示されている。

分析装置１０、作業データ１００、及び製造される製品のデータ等を用いて、製造工程のシミュレーションが実行されても良い。

図１３は、実施形態に係る分析装置によるシミュレーション実行時の処理を示すフローチャートである。
ユーザは、シミュレートされる製造工程を選択する。分析装置１０は、その選択を受け付ける（処理Ｓ１１）。ユーザは、シミュレーションを実行する作業者と、コスト算出のためのコストモデルと、を選択する。分析装置１０は、それらの選択を受け付ける（処理Ｓ１２）。選択後、シミュレーションが開始される。

シミュレーションでは、ユーザは、撮像装置２０及び出力装置５０（ディスプレイ）を含むスマートグラスを着用する。分析装置１０は、製造工程に関する製品や、ユニット、部品等のデータ（例えば三次元ＣＡＤデータ）を取得する。分析装置１０は、各作業のシミュレーションにおいて、データに基づくオブジェクトをスマートグラスのディスプレイに表示させる。オブジェクトは、その作業が実際に実行されるときの製品、ユニット、又は部品である。撮像装置２０は、シミュレーション実行時の作業者の光景を撮像する。表示には、ＭＲ技術が用いられる。スマートグラスを着用した作業者が、表示された仮想のオブジェクトに対して作業を行うと、その作業がオブジェクトに反映される。

シミュレーションが開始されると、分析装置１０は、予め設定された作業データにおける開始判定データ及び終了判定データに基づいて、作業の開始及び終了を判定する（処理Ｓ１３）。開始及び終了の判定は、図５又は図６に示すフローチャートの処理Ｓ３～Ｓ６と同様に行われる。分析装置１０は、開始及び終了の判定結果から作業の工数を算出する（処理Ｓ１４）。分析装置１０は、選択されたコストモデルを用いてコストを算出する（処理Ｓ１５）。分析装置１０は、選択された作業者が実行すべき全ての作業が完了したか判定する（処理Ｓ１６）。

全ての作業が完了していない場合、分析装置１０は、その次の作業について、処理Ｓ１３を再度実行する。全ての作業が完了した場合、分析装置１０は、選択された製造工程において、別の作業者が行うべき作業が存在するか判定する（処理Ｓ１７）。別の作業者が行うべき作業が存在する場合、処理Ｓ１２が再度実行される。別の作業者が行うべき作業が存在しない場合、分析装置１０は、算出された工数及びコストに基づいて、作業データを更新する（処理Ｓ１８）。例えば、分析装置１０は、算出された工数に基づいて、標準作業工数を更新する。分析装置１０は、さらに、複数の作業における工数又はコストの分布を作成しても良い。

シミュレーションは、実際の製造工程の前に実行されても良いし、製造工程の完了後に行われても良い。製造工程の前にシミュレーションを実行することで、作業者が、作業を予め体験できる。これにより、実際の製造工程において、作業の質を向上できる。また、工数及びコストをより精度良く事前に見積もることができる。製造工程の後にシミュレーションを実行することで、標準作業工数よりも遅かった作業等について、作業者が練習できる。製造工程の前と後にシミュレーションを実行しても良い。製造工程後のシミュレーション結果に応じて、製造工程前のシミュレーションに基づいて設定された標準作業工数等のデータが修正されても良い。

図１４は、ハードウェア構成を示す模式図である。
分析装置１０は、例えば図１４に示すコンピュータ９０の構成をそれぞれ含む。コンピュータ９０は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、記憶装置９４、入力インタフェース９５、出力インタフェース９６、及び通信インタフェース９７を含む。分析装置１０の機能は、２台以上のコンピュータの協働により実現されても良い。

ＲＯＭ９２は、コンピュータ９０の動作を制御するプログラムを格納している。ＲＯＭ９２には、上述した各処理をコンピュータ９０に実現させるために必要なプログラムが格納されている。ＲＡＭ９３は、ＲＯＭ９２に格納されたプログラムが展開される記憶領域として機能する。

ＣＰＵ９１は、処理回路を含む。ＣＰＵ９１は、ＲＡＭ９３をワークメモリとして、ＲＯＭ９２又は記憶装置９４の少なくともいずれかに記憶されたプログラムを実行する。プログラムの実行中、ＣＰＵ９１は、システムバス９８を介して各構成を制御し、種々の処理を実行する。

記憶装置９４は、プログラムの実行に必要なデータや、プログラムの実行によって得られたデータを記憶する。

入力インタフェース（Ｉ／Ｆ）９５は、コンピュータ９０と入力装置９５ａとを接続する。入力Ｉ／Ｆ９５は、例えば、ＵＳＢ等のシリアルバスインタフェースである。ＣＰＵ９１は、入力Ｉ／Ｆ９５を介して、入力装置９５ａから各種データを読み込むことができる。

出力インタフェース（Ｉ／Ｆ）９６は、コンピュータ９０と出力装置９６ａとを接続する。出力Ｉ／Ｆ９６は、例えば、Digital Visual Interface（ＤＶＩ）やHigh-Definition Multimedia Interface（ＨＤＭＩ（登録商標））等の映像出力インタフェースである。ＣＰＵ９１は、出力Ｉ／Ｆ９６を介して、出力装置９６ａにデータを送信し、出力装置９６ａに画像を表示させることができる。

通信インタフェース（Ｉ／Ｆ）９７は、コンピュータ９０外部のサーバ９７ａと、コンピュータ９０と、を接続する。通信Ｉ／Ｆ９７は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ９１は、通信Ｉ／Ｆ９７を介して、サーバ９７ａから各種データを読み込むことができる。

記憶装置９４は、Hard Disk Drive（ＨＤＤ）及びSolid State Drive（ＳＳＤ）から選択される１つ以上を含む。入力装置９５ａは、マウス、キーボード、マイク（音声入力）、及びタッチパッドから選択される１つ以上を含む。出力装置９６ａは、ディスプレイ及びプロジェクタから選択される１つ以上を含む。タッチパネルのように、入力装置９５ａと出力装置９６ａの両方の機能を備えた機器が用いられても良い。

上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又は、他の非一時的なコンピュータで読取可能な記録媒体（non-transitory computer-readable storage medium）に記録されても良い。

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

以上で説明した、分析装置、分析システム、又は分析方法によれば、作業を自動的に分析可能である。コンピュータに、分析方法を実行させるプログラムを用いることで、同様の効果を得ることができる。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１：分析システム、 １０：分析装置、 ２０：撮像装置、 ３０：工具、 ４０：入力装置、 ５０：出力装置、 ６０：記憶装置、 ９０：コンピュータ、 ９１：ＣＰＵ、 ９２：ＲＯＭ、 ９３：ＲＡＭ、 ９４：記憶装置、 ９５：入力インタフェース、 ９５ａ：入力装置、 ９６：出力インタフェース、 ９６ａ：出力装置、 ９７：通信インタフェース、 ９７ａ：サーバ、 ９８：システムバス、 １００：作業データ、 １１０：作業者データ、 １２０：個別作業データ、 １３０：履歴データ、 １４０：製造諸元データ、 １５０：チェックリスト、 ２００：作業台、 ２０１，２０２：部品、 ２０３：部品像、 ２０５：完成像、 ２１０：部品、 ２１２：像、 ２２０：作業指示、 ２２５：メッセージ、 ２３０：チェックシート、 ２４０：画像、 ２４１：骨格、 ２６０：ガントチャート

Claims (12)

1. 製造工程における複数の作業に関する分析を実行する分析装置であって、
   前記複数の作業のそれぞれが実行されたときの画像を取得する撮像装置から、前記画像を受信し、
   前記複数の作業の少なくともいずれかで用いられる工具から、前記工具で検出された検出信号を受信し、
   前記複数の作業のそれぞれの終了を判定するための終了判定データを参照し、
   前記画像、前記検出信号、及び前記終了判定データに基づいて、前記複数の作業のそれぞれの終了を判定する、分析装置。
2. 前記複数の作業のそれぞれの開始を判定するための開始判定データをさらに参照し、
   前記画像、前記検出信号、及び前記終了判定データに基づいて、前記複数の作業のそれぞれの開始を判定する、請求項１記載の分析装置。
3. 前記複数の作業の１つが実行されている間、前記複数の作業の前記１つに関する作業指示を出力装置に出力させる、請求項２記載の分析装置。
4. 前記複数の作業のそれぞれの開始及び終了の判定結果に基づいて、前記複数の作業のそれぞれの工数を算出する、請求項２又は３に記載の分析装置。
5. 前記複数の作業のそれぞれにおける工数とコストとの関係を示すコストモデルを参照し、
   前記コストモデル及び算出された複数の前記工数に基づいて、前記複数の作業のコストを算出する、請求項４記載の分析装置。
6. 前記工具は、トルクセンサ、加速度センサ、及び角速度センサから選択された少なくとも１つを含む、請求項１～５のいずれか１つに記載の分析装置。
7. 前記複数の作業のそれぞれの終了を確認するためのチェックシートを参照し、
   前記複数の作業のそれぞれの終了の判定に応じて、前記チェックシートにチェックを記入する、請求項１～６のいずれか１つに記載の分析装置。
8. 前記複数の作業の１つ以上における作業指示を示す指示データを参照し、
   前記画像、前記検出信号、及び前記指示データに基づいて、前記複数の作業の前記１つ以上において、実行された作業が前記作業指示に適合するか判定する、請求項１～７のいずれか１つに記載の分析装置。
9. 請求項１～８のいずれか１つに記載の分析装置と、
   前記撮像装置と、
   前記工具と、
   を備えた分析システム。
10. コンピュータに、製造工程における複数の作業に関する分析を実行させる分析方法であって、
    前記コンピュータに、
    前記複数の作業のそれぞれが実行されたときの画像を取得する撮像装置から、前記画像を受信させ、
    前記複数の作業の少なくともいずれかで用いられる工具から、前記工具で検出された検出信号を受信させ、
    前記複数の作業のそれぞれの終了を判定するための終了判定データを参照させ、
    前記画像、前記検出信号、及び前記終了判定データに基づいて、前記複数の作業のそれぞれの終了を判定させる、
    分析方法。
11. コンピュータに、製造工程における複数の作業に関する分析を実行させるプログラムであって、
    前記コンピュータに、
    前記複数の作業のそれぞれが実行されたときの画像を取得する撮像装置から、前記画像を受信させ、
    前記複数の作業の少なくともいずれかで用いられる工具から、前記工具で検出された検出信号を受信させ、
    前記複数の作業のそれぞれの終了を判定するための終了判定データを参照させ、
    前記画像、前記検出信号、及び前記終了判定データに基づいて、前記複数の作業のそれぞれの終了を判定させる、
    プログラム。
12. 請求項１１に記載のプログラムを記憶した記憶媒体。

Images