JP2021047698A - 支援装置、支援装置の制御方法およびプログラム - Google Patents
支援装置、支援装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2021047698A JP2021047698A JP2019170557A JP2019170557A JP2021047698A JP 2021047698 A JP2021047698 A JP 2021047698A JP 2019170557 A JP2019170557 A JP 2019170557A JP 2019170557 A JP2019170557 A JP 2019170557A JP 2021047698 A JP2021047698 A JP 2021047698A
- Authority
- JP
- Japan
- Prior art keywords
- work
- improvement
- data
- support device
- attributes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 152
- 238000011156 evaluation Methods 0.000 claims abstract description 59
- 239000000284 extract Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】熟練工の存在に依存せずに、作業の改善を支援することができる支援装置、支援装置の制御方法およびプログラムを提供する。【解決手段】作業改善支援システムにおいて、支援装置は作業の改善を支援する装置であって、複数の作業データの作業属性に基づいて、作業の評価値をそれぞれ生成する評価手段と、複数の作業データの作業属性の中から評価値に基づいて基準データを抽出し、基準データと作業データの作業属性を比較する比較手段と、を有する。【選択図】図6
Description
本発明は、支援装置、支援装置の制御方法およびプログラムに関する。
工場での人手による組み立て作業は、作業者ごとの特性や習熟の程度の違いによって、作業効率や成果物の品質が変化してしまう。そのため、作業効率や成果物の品質を向上させる作業改善の取り組みが広く行われている。
作業改善のための方法の一つとして、作業に熟達した熟練工らが各作業者の様子を観察し、直接指導を行う方法がある。この方法では、指導を受けた作業員の作業が改善されることが期待できる一方で、指導者となる熟練工の負担が大きく、作業員の人数が多い場合には実施が困難となる場合がある。
作業員ごとに指導者を割り当てずに作業改善を実施する方法として、自動化されたシステムを利用する方法がある。自動化されたシステムを適用する方法の一例としては、作業の様子をカメラなどのセンサによって観測し、観測結果をシステムによって分析することで、改善点を抽出し、改善方法を提示する方法がある。
特許文献1には、モーションキャプチャを用いることで、熟練工と任意の作業者の作業データを比較し、差異が閾値以上であった場合に作業の修正を指示する画像を表示する方法が開示されている。この方法によれば、熟練工が直接指導することなく、作業改善が期待できる。
特許文献2には、作業時間の分布に基づいて、改善の対象となる箇所を抽出する方法が開示されている。この方法によれば、作業中の要改善箇所を自動的に抽出することができる。
特許文献1が開示する方法では、目標とすべき熟練工の作業を取得する必要がある。しかしながら、実績年数の浅い作業においては、熟練工は必ずしも存在しないため、適切な適用が困難という課題がある。
特許文献2が開示する方法では、作業の改善箇所が抽出される一方で、どのように改善すべきかが提示されないため、改善方法が自明とならない課題がある。
本発明の目的は、熟練工の存在に依存せずに、作業の改善を支援することができるようにすることである。
本発明の支援装置は、作業の改善を支援する支援装置であって、複数の作業データの作業属性に基づいて、作業の評価値をそれぞれ生成する評価手段と、前記複数の作業データの作業属性の中から前記評価値に基づいて基準データを抽出し、前記基準データと作業データの作業属性を比較する比較手段とを有する。
本発明によれば、熟練工の存在に依存せずに、作業の改善を支援することができる。
(第1の実施形態)
第1の実施形態は、蓄積された複数の作業映像に基づいて作業改善を支援する場合を例に説明する。本実施形態における作業改善支援システムは、工場内に設置されたネットワークカメラなどの映像から、作業が撮影された作業映像を抽出・蓄積し、複数の作業映像に共通する改善箇所について改善方法を提示する。
第1の実施形態は、蓄積された複数の作業映像に基づいて作業改善を支援する場合を例に説明する。本実施形態における作業改善支援システムは、工場内に設置されたネットワークカメラなどの映像から、作業が撮影された作業映像を抽出・蓄積し、複数の作業映像に共通する改善箇所について改善方法を提示する。
なお、本実施形態における作業は、1つ以上の作業ステップによって構成され、繰り返し実行される。作業の一例としては、例えば「カバーを被せる」、「正面のネジを締める」、「180度回転させる」、「正面のネジを締める」などの作業ステップで構成される「カバー取り付け」作業などである。
図1は、第1の実施形態による作業改善支援システム100の構成の一例を示す図である。作業改善支援システム100は、端末装置110、観測装置120、分析装置130、および改善支援装置140を有する。各装置と各要素は、それぞれ、結合されていてもよいし、いずれかに内包されるものであってもよい。また、各装置と各要素は、有線もしくは無線の通信部によって接続されていてもよい。
端末装置110は、作業改善支援システム100の使用者が使用するコンピュータ装置であり、入力部111と出力部112を有する。以後、特に言及がない場合、作業改善支援システム100の使用者は、作業改善支援システム100に対する入力操作および出力の確認を端末装置110によって行うものとする。端末装置110は、例えば、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、フィーチャーフォン、またはPHSなどである。
入力部111は、作業改善支援システム100の使用者による入力操作を受け付ける入力デバイスを1つ以上備え、入力デバイスを介して、作業改善支援システム100の使用者の入力操作を検出する。作業改善支援システム100の使用者による入力操作としては、改善支援装置140が提供する改善方法提示のユーザーインターフェース(UI)の操作などがある。入力部111の入力デバイスは、例えば、キーボード、マウス、タッチパネル、マイク、またはスイッチなどである。
出力部112は、作業改善支援システム100の各種の情報を出力する出力デバイスを1つ以上備え、出力デバイスを介して、作業改善支援システム100の使用者に情報を出力する。出力部112が出力する内容としては、例えば、観測装置120によって観測された作業映像、分析装置130による作業分析の結果、改善支援装置140が提示する改善方法、およびこれらに関するUIなどがある。出力される情報は、出力デバイスに対応してさまざまな形態であってもよい。例えば、出力デバイスが液晶パネルやプロジェクタなど表示機能を備える場合、出力部112は、画像やテキストなどを表示し、出力デバイスがスピーカーやヘッドホンなど音声出力機能を備える場合、出力部112は、音声や音楽、アラーム音などを出力してもよい。また、出力部112は、バイブレーションやランプの点灯、照明の変化などによって情報を出力してもよい。
観測装置120は、作業の様子を観測するセンサデバイスを備え、作業を観測した結果である作業データを分析装置130に出力する装置である。観測装置120のセンサデバイスは、カメラなどの撮像機器、距離センサ、マイク、温度センサ、加速度センサ、またはジャイロセンサなどである。観測装置120が備えるセンサデバイスは、特定の種類および個数に限定されず、複数種類および複数個数を備えていてもよい。作業データの内容は、センサデバイスの種類に対応し、カメラを用いる場合は映像データであり、マイクを用いる場合は音声データであり、各センサデバイスから取得可能な1種類以上のデータを含む。例えば、作業データは、映像データ、音声データ、またはセンサの出力データを含む。なお、観測装置120は、複数存在してもよい。また、観測装置120の設置方法は、特定の方法に限定されず、例えば、工場内の天井に設置してもよいし、生産装置や作業者に装着されていてもよい。
分析装置130は、観測装置120から入力された作業データを加工および分析することで、作業が備える作業属性を抽出する装置である。作業データおよび抽出された作業属性は、改善支援装置140に出力される。作業データが複数の作業を含む場合、分析装置130は、作業データを作業ごとに分割する。
作業属性の種類と数と抽出方法は、特定のものに限定されない。例えば、作業属性は、時間、人物の動き、物体の動き、物体の種類、物体の位置、人物の姿勢、または部位の位置を含む。また、作業属性は、作業の実行にかかった作業時間、作業者の動き方を示す動作情報、作業によって製作された成果物の品質、作業した人物、時間帯、作業に用いた道具の種類、または各物体の配置などである。また、作業属性は、これらの複数の組み合わせであってもよい。
作業データの一つが作業映像であるときに、分析装置130が、作業属性として、作業時間を抽出する方法の一例を説明する。この方法では、分析装置130は、あらかじめ学習した検出モデルによって、作業映像から作業の開始と終了のタイミングを検出することで、作業時間を計測する。検出モデルの学習には、学習データとなる作業映像および作業映像中の各作業の開始と終了のタイミングを示す時刻ラベルを用いる。検出モデルの定義には、ニューラルネットを用いてもよいし、隠れマルコフモデルなど、その他の認識アルゴリズムを用いてもよい。なお、検出モデルは、必ずしも学習によって獲得する必要はなく、ルールに基づくアルゴリズムを用いてもよい。
作業データの一つが成果物の画像であるときに、分析装置130が、作業属性として、成果物の品質を抽出する方法の一例を説明する。この方法では、分析装置130は、あらかじめ用意したテンプレート画像と作業データ中の画像との類似度を算出し、類似度の高さを品質として出力する。テンプレート画像は、特定の作業データから抽出することで用意してもよいし、複数の作業データから抽出された各画像を統計処理することで生成してもよい。また、類似度の算出は、画素値の二乗誤差に基づくものであってもよいし、画像中の対応する特徴点から抽出された特徴量の差分に基づくものであってもよい。その他、分析装置130は、あらかじめ学習した傷などの欠陥検出器を用いて、欠陥の有無によって品質を抽出してもよい。
改善支援装置140は、分析装置130から入力された作業データおよび作業属性に基づいて、作業の改善を支援し、作業の改善箇所および改善方法の案を出力する装置である。改善支援装置140は、記憶部146、設定部141、評価部142、比較部143、改善箇所抽出部144、および改善方法立案部145を有する。
設定部141は、改善支援装置140の振る舞いに関する各種設定のためのUIを提供し、UIを用いて設定された内容を評価部142および比較部143に出力する。以下、設定部141で設定する項目および内容を、改善設定と呼ぶ。改善設定の項目は、特定の種類に限定されず、例えば、作業改善の対象とする人物や作業ステップを設定してもよいし、時間の短さや作業の品質といった作業改善の観点や、各観点における目標値を設定してもよい。
図2は、設定部141がグラフィカルUI(GUI)を提供する場合の一例を示す図である。図2に示すGUIは、対象設定部201および改善観点設定部202を備える。
対象設定部201は、作業改善の対象とする作業の条件を設定することができる。対象設定部201は、改善対象とする条件の種類および入力部を表示する。改善対象とする条件としては、図2に示すように「対象作業」、「対象ステップ」、および「対象人物」などがあり、それぞれ、作業改善の対象とする作業の種類、作業中の特定のステップ、作業者を示している。対象設定部201の入力部は、これらの各条件をプルダウンメニューなどによって選択もしくは記述することで、作業改善の対象となる作業の条件を設定することができる。また、ユーザーによって条件を設定されなかった項目については、その項目による条件の絞り込みを行わなくてもよい。
改善観点設定部202は、どのような観点で作業を改善するかを設定する。作業改善の観点としては、例えば、図2に示すように作業時間や成果物の品質などがあり、ユーザーはチェックボタンなどによってこれらの観点を選択することができる。また、改善観点設定部202は、各観点における目標値を設定可能であってもよく、例えば、作業時間の最長時間や、成果物の品質が点数で表現される場合の最低点数などを設定することができる。
評価部142は、分析装置130から入力された複数の作業データおよび複数の作業データの作業属性と、設定部141から入力された改善設定とに基づいて、作業の評価値をそれぞれ生成し、作業データ、作業属性、および評価値を記憶部146に出力する。評価部142が評価値を生成する方法は、特定の方法に限定されず、改善設定に基づいて変化する場合がある。
例えば、改善設定の改善観点が作業時間を含む場合、評価部142は、作業時間が短ければ短いほど、高い評価値を生成する。また、例えば、改善観点が成果物の品質を含む場合、評価部142は、成果物の品質がよければよいほど、高い評価値を生成する。その他、改善観点が複数種類存在する場合、評価部142は、改善観点に対応する各作業属性の組み合わせに基づいて評価値を生成してもよい。例えば、評価部142は、成果物の品質が目標値以下の場合は品質に基づいて評価値を生成し、品質が目標値以上の場合は作業時間に基づいて評価値を生成してもよい。
評価値は、作業データが示す一連の作業全体に対応するものであってもよいし、作業データ中の各作業ステップもしくは特定のタイミングそれぞれに対応するものであってもよい。例えば、ある作業がネジ締めとふき取りの2ステップで構成される場合、評価部142は、それぞれのステップごとに評価値を生成してもよい。また、例えば、評価部142は、ネジ締めステップのうち、ネジを手に取った瞬間と、ネジを回した瞬間と、ネジを締め終わった瞬間それぞれについて評価値を生成してもよい。
記憶部146は、評価部142から入力された作業データ、作業属性、および評価値を記憶し、比較部143に出力する。以下、記憶部146が記憶するデータを総称して、記憶データと呼ぶ。記憶部146が記憶データを記憶する方法は、特定の方法に限定されず、例えば、記憶部146に入力された記憶データをすべて記憶してもよいし、改善設定で定義された改善対象の条件を満たす記憶データのみを記憶してもよい。さらに、記憶部146は、作業属性に基づくカテゴリごとに記憶データを分類して記憶してもよい。なお、記憶部146は、評価値のよい記憶データのみを記憶する場合であっても、単一の記憶データのみ記憶してもよいし、複数の記憶データを記憶してもよい。
比較部143は、設定部141から入力された改善設定および、記憶部146から入力された記憶データに基づいて、評価値のよい作業と改善対象の作業の差分を比較し、比較結果を改善箇所抽出部144および改善方法立案部145に出力する。
図3は、比較部143の制御方法を説明するフローチャートである。ステップS301〜S303は、それぞれ、処理ステップを表しており、原則として順番に実行される。ただし、作業改善支援システム100は、必ずしもこのフローチャートで説明するすべてのステップを行わなくともよい。以下、比較の基準となる記憶データを基準データと呼び、改善対象の記憶データを改善対象データと呼ぶ。
ステップS301では、比較部143は、記憶部146に記憶されている複数の記憶データ(作業属性)の中から評価値が最高の記憶データ(作業属性)を基準データとして抽出する。このとき、抽出される基準データは、単一であってもよいし、複数であってもよい。基準データは、改善対象の記憶データとの重複を許容するように抽出されてもよいし、重複を避けるように抽出されてもよい。
また、基準データは、改善対象データとの類似性に基づいて抽出されてもよい。例えば、比較部143は、改善対象の記憶データと評価値がより近い記憶データを抽出してもよいし、改善対象の人物が設定されている場合、年齢や性別など、改善対象の人物との特徴が近い人物の記憶データを優先して抽出してもよい。
ステップS302では、比較部143は、記憶部146に記憶されている複数の記憶データ(作業属性)の中から、改善設定で定義された改善対象の条件を満たす記憶データ(作業属性)を改善対象データとして抽出する。改善対象データは、単一であってもよいし、複数であってもよい。
ステップS303では、比較部143は、基準データと改善対象データを比較し、比較結果を出力する。基準データもしくは改善対象データが複数存在する場合、比較部143は、複数のデータに平均化や中央値探索などの統計処理を施すことで、代表データを抽出してから比較に用いてもよいし、個別のデータに対する比較を実施した後で、各比較結果を統合してもよい。基準データと改善対象データを比較する方法は、特定の方法に限定されない。
図4は、比較部143が作業ステップごとの手の動作軌跡に基づく比較を行う場合の一例を示す図である。動作軌跡401は、基準データの動作軌跡である。動作軌跡402は、改善対象データの動作軌跡である。差分403は、基準データの動作軌跡401と改善対象データの動作軌跡402の差分を示す。比較部143は、比較を行う際は、改善対象データの動作軌跡402上の各点から、基準データの動作軌跡401の最近傍点へのベクトルを求める。比較の方法は、この方法以外にも、作業ステップの開始時点からの経過時刻ごとに座標を比較してもよいし、作業ステップの開始位置や終了位置を揃えてから比較を行ってもよい。
また、例えば、作業者の時系列の姿勢情報が作業属性に含まれる場合、比較部143は、対応するタイミングにおける姿勢の差分を求めることで比較してもよい。その他、例えば、作業属性に物体の座標が含まれる場合、比較部143は、物体の座標の差分を求めることで比較してもよい。また、例えば、作業属性に作業中の各ステップの時刻が含まれる場合、比較部143は、各ステップもしくは特定ステップの実行タイミングの差によって比較してもよい。
改善箇所抽出部144は、比較部143から入力された改善対象データ、および比較の結果に基づいて、作業の改善箇所を抽出し、改善方法立案部145に出力する。
作業ステップごとの評価値が生成されている場合に、改善箇所抽出部144が改善箇所を抽出する方法の一例を説明する。この方法では、改善箇所抽出部144は、基準データとの評価値の差分を、改善対象データの作業ステップごとに求める。これにより、改善箇所抽出部144は、基準データと比べて最も評価値の低下が大きい作業ステップを改善箇所として抽出することができる。さらに、改善対象データが複数存在する場合、改善箇所抽出部144は、各改善対象データの評価値を各作業ステップについて平均、もしくは中央値などの統計量を求めることによって、改善箇所となる作業ステップを決定してもよい。これにより、改善箇所抽出部144は、外れ値を除外する効果が得られるため、恒常的に評価値の低い箇所を抽出することができる。
改善箇所抽出部144は、複数の作業データの作業属性のうちの同一人物に関する作業データの作業属性に基づいて、作業の改善箇所を抽出することができる。また、改善箇所抽出部144は、複数の作業データの作業属性のうちの観測された時間帯が共通する作業データの作業属性に基づいて、作業の改善箇所を抽出することができる。
改善方法立案部145は、比較部143から入力された基準データ、改善対象データ、比較の結果、および、改善箇所抽出部144から入力された改善箇所に基づいて、作業の改善方法を立案し、端末装置110の出力部112に出力する。
改善方法立案部145は、改善箇所に対応する作業について、比較結果から求めた基準データと改善対象データの差異に基づく改善方法を立案する。改善方法は、1つであってもよいし、複数であってもよい。
改善方法立案部145が改善方法を立案する方法は、特定の方法に限定されない。例えば、比較結果として改善箇所に含まれる作業ステップについて、図4に示すような手の動作軌跡の比較が入力されている。その場合、改善方法立案部145は、基準データの動作軌跡401と改善対象データの動作軌跡402間の差分403に基づいて、差分403を削減するような動きのベクトルを求めることができる。例えば、図4の差分403のように、改善対象データの動作軌跡402の前半は基準データの動作軌跡401よりも左寄りであり、改善対象データの動作軌跡402の後半は基準データの動作軌跡401よりも右寄りである。その場合、改善方法立案部145は、動作軌跡401および402間の差分ベクトルに基づいて、「動作の前半は現在よりも右に動き、後半は現在よりも左に動く」などの改善方法を立案することができる。改善方法としては、動きの方向だけではなく、「現在よりも15cm右」など、変化の量を含んでもよい。
改善方法を立案する他の方法として、改善方法立案部145は、工具や部品などの物体の位置の違いが比較結果から得られる場合、これらの物体の位置に基づく改善方法の立案を行ってもよい。例えば、基準データでは工具が作業台の上にあり、改善対象データでは工具が背後の棚に置かれている場合、改善方法立案部145は、「工具は作業台の上に置く」などの改善方法を立案してもよい。他にも、基準データでは部品が机上にあるが、改善対象データでは部品を作業者が把持している場合、改善方法立案部145は、「部品は手に持たず机上に置く」などの改善方法を立案してもよい。
改善方法立案部145が立案した改善方法は、端末装置110の出力部112に出力され、作業者やシステムの使用者に提示される。
図5は、改善方法立案部145がGUIによって改善方法を提示する場合の一例を示す図である。図5に示すGUIは、改善箇所表示部501、改善方法表示部502、基準映像表示部503、改善対象映像表示部504を備える。
改善箇所表示部501は、改善箇所抽出部144が抽出した作業の改善箇所を表示する。図5に示す例では、対象となる作業の種類および抽出された改善対象である作業ステップの名称が表示されている。ただし、改善箇所の表示方法は、特定の方法に限定されず、例えば、作業の開始から終了までをタイムライン表示し、改善箇所のタイムラインを強調表示する方法でもよい。
改善方法表示部502は、改善方法立案部145が立案した改善方法を表示する。図5に示す例では、改善方法表示部502は、「部品は手に持たず、作業台に置きましょう」、「工具を両手に持ちましょう」など、改善方法を言語化して表示する。ただし、改善方法の表示方法は、特定の方法に限定されず、例えば、言語ではなく図示によって表示してもよい。
基準映像表示部503は、基準データに対応する作業映像を再生表示する。作業映像は、作業全体の範囲を再生表示してもよいし、改善箇所に対応する部分を再生表示してもよい。
改善対象映像表示部504は、改善対象データに対応する作業映像を再生表示する。作業映像は、全体を再生表示してもよいし、改善箇所に対応する部分を再生表示してもよい。また、改善対象映像表示部504は、映像の再生速度や再生位置を基準映像表示部503の映像に合わせて変化させてもよい。例えば、基準データの作業映像の部分または全体が改善対象データの作業映像の対応箇所よりも長い場合、改善対象映像表示部504は、再生時間が一致するように改善対象データの映像再生速度を速くしてもよい。また、例えば、改善対象映像表示部504は、一方の作業ステップの再生が完了した場合、他方の作業ステップの再生が完了するまで再生を一時停止してもよい。
改善対象映像表示部504は、映像上に改善方法を重畳表示してもよい。例えば、動作の軌跡を変更させる改善方法が立案されている場合、改善対象映像表示部504は、動作を変化させるベクトルや目標とすべき軌跡を映像上に重畳表示してもよい。他にも、例えば、作業に関する物体の位置を変化させる改善方法が立案されている場合、改善対象映像表示部504は、映像中の物体および目標とすべき物体の位置を強調表示するなどしてもよい。
図6は、本実施形態による作業改善支援システム100の制御方法を説明するフローチャートである。ステップS601〜S610は、それぞれ、処理ステップを表しており、原則として順番に実行する。ただし、作業改善支援システム100は、必ずしもこのフローチャートで説明するすべてのステップを行わなくてもよい。
ステップS601では、設定部141は、改善支援装置140の改善設定を入力する。例えば、設定部141は、改善設定として、作業の種類や作業ステップなどの改善対象、作業時間や成果物の品質などの改善観点などを入力する。改善設定は、設定部141が提供するUIによって、作業改善支援システム100の使用者によって入力される。または、改善設定は、初期設定として、予め準備された改善設定を入力してもよい。
ステップS602では、観測装置120は、作業を観測し、作業データを取得する。例えば、観測装置120がカメラ装置の場合、観測装置120は、作業データとして映像を取得する。
ステップS603では、分析装置130は、作業データから作業属性を抽出もしくは推定する。例えば、分析装置130は、作業データの各時刻における作業ステップの種類などを推定する。抽出もしくは推定する作業属性の種類は、改善設定に基づいて変化してもよい。例えば、改善設定が作業時間を改善観点とするものである場合、分析装置130は、各作業ステップの経過時間を作業属性の一つとしてよい。
ステップS604では、評価部142は、作業データや作業属性に基づいて、作業の評価値を生成する。生成された評価値は、作業データおよび作業属性に紐づけて、記憶部146に記憶される。評価値の生成方法は、改善設定によって変化してもよい。例えば、評価部142は、改善観点が作業時間の場合は、作業時間が短いほど高評価とし、改善観点が成果物の欠陥である場合は、欠陥が少ないほど高評価とする。
ステップS605では、比較部143は、記憶部146から基準データを抽出する。ステップS605は、図3のステップS301と同様である。
ステップS606では、比較部143は、記憶部146から改善対象データを抽出する。ステップS606は、図3のステップS302と同様である。
ステップS607では、比較部143は、基準データと改善対象データを比較し、比較結果を出力する。ステップS607は、図3のステップS303と同様である。
ステップS608では、改善箇所抽出部144は、作業の改善箇所を抽出する。例えば、改善箇所抽出部144は、改善対象データでは評価値が低く、基準データでは評価値が高い作業ステップなどを抽出する。
ステップS609では、改善方法立案部145は、改善方法を立案する。例えば、改善方法立案部145は、改善対象データの動作軌跡402が基準データの動作軌跡401から乖離している場合、動作軌跡401および402の差異を削減する動作方法などを改善方法として立案する。
ステップS610では、改善方法立案部145は、出力部112を介して、改善方法を提示する。例えば、改善方法立案部145は、改善方法が言語化可能である場合は、文章を表示または音声を再生するなどして提示する。
以上のように、作業改善支援システム100は、作業改善の支援が可能である。ただし、作業改善支援システム100の処理フローは、上記の一例に限定されない。例えば、ステップS601は、ステップS603の後に実行してもよい。また、例えば、ステップS606は、ステップS607の後に実行してもよい。
作業改善支援システム100は、観測した作業を評価することで、基準となる作業を抽出し、作業の改善箇所および改善方法を提示する。これにより、作業改善支援システム100は、熟練工に依存しない方法で、作業改善を支援することができる。
なお、作業映像に基づく作業改善の支援について説明したが、作業映像以外の作業データを用いてもよい。例えば、作業データとして作業音声を用いてもよいし、作業データとして装置の稼働状況を用いてもよい。作業データが作業音声の場合、特定の音声が検出されるタイミングを作業属性としてもよい。
(第2の実施形態)
第2の実施形態では、作業改善支援システム100が、リアルタイムに観測された作業映像に基づいて作業改善を支援する場合を例に説明する。リアルタイムの作業映像に対して作業改善を支援する場合、作業映像の蓄積が不足するため、立案可能な改善方法の精度が低下してしまう可能性がある。一方で、改善方法を提示するタイミングでは、作業がまだ継続されているため、改善方法を提示した後の変化をフィードバックすることで、基準となる作業に近づけるためのより高精度な改善方法を提示することが期待できる。作業改善支援システム100は、作業の改善方法を提示した後、作業の様子がどのように変化したかに基づいて、改善方法を更新し、再度提示する。
第2の実施形態では、作業改善支援システム100が、リアルタイムに観測された作業映像に基づいて作業改善を支援する場合を例に説明する。リアルタイムの作業映像に対して作業改善を支援する場合、作業映像の蓄積が不足するため、立案可能な改善方法の精度が低下してしまう可能性がある。一方で、改善方法を提示するタイミングでは、作業がまだ継続されているため、改善方法を提示した後の変化をフィードバックすることで、基準となる作業に近づけるためのより高精度な改善方法を提示することが期待できる。作業改善支援システム100は、作業の改善方法を提示した後、作業の様子がどのように変化したかに基づいて、改善方法を更新し、再度提示する。
本実施形態における作業改善支援システム100は、第1の実施形態における作業改善支援システム100と共通する構成を含む。そのため、本実施形態では、第1の実施形態との差異部分について説明する。特に、比較部143および改善方法立案部145の差異を説明する。
改善支援装置140は、第1の実施形態における改善支援装置140と同様に、分析装置130から入力された作業データおよび作業属性に基づいて、作業の改善箇所および改善方法の案を出力する装置である。
比較部143は、設定部141から入力された改善設定および、記憶部146から入力された記憶データに基づいて、評価値のよい作業と改善対象の作業の差分を比較し、比較結果を改善箇所抽出部144および改善方法立案部145に出力する。
比較部143は、第1の実施形態における比較部143と同様の振る舞いをするほか、改善方法立案部145による改善方法の立案の前と後の記憶データ(作業属性)を比較し、改善方法の立案による作業の変化を出力する。改善方法提示前後の比較を行う方法は、基準データと改善対象データを比較する方法と同様であってもよいし、提示した改善方法に基づいて比較方法を変化させてもよい。例えば、「部品の位置を右にずらす」という改善方法が提示された場合、比較部143は、部品の座標による比較を行ってもよい。この場合、比較部143は、改善方法提示前後の作業の変化として、部品の位置の変化量および変化前後の位置を出力する。
改善方法立案部145は、第1の実施形態における改善方法立案部145と同様の振る舞いをする。そのほか、改善方法立案部145は、上記の改善方法立案部145による改善方法の立案の前と後の記憶データ(作業属性)の比較の結果(作業の変化)に基づいて、追加の作業の改善方法を立案および提示する。
例えば、改善方法立案部145は、「部品の位置を右にずらす」という改善方法を提示した後、比較部143から、部品の位置が右に5cmずらされたという作業の変化が入力されたとする。このとき、基準データの部品の位置がさらに右だった場合は、改善方法立案部145は、「もっと右にずらす」追加の改善方法を立案する。また、基準データの部品の位置が変化後よりも左だった場合は、改善方法立案部145は、「右にずらしすぎたため、左に少し戻す」という追加の改善方法を立案する。このように、改善方法立案部145は、改善方法の変化量や方向性を修正して再提示する。
以上説明したように、作業改善支援システム100は、改善方法を提示した後に、提示前後の作業の変化を比較し、その比較結果に基づいて、改善方法を更新することで、さらに作業を改善することができる。
なお、作業改善支援システム100は、作業の実施と並行して、リアルタイムに振る舞うことを想定しているが、必ずしもリアルタイムに動作させる必要はない。例えば、作業改善支援システム100は、記憶された作業映像に対して、後から改善方法を立案してもよい。この場合、作業改善支援システム100は、改善方法を提示した前後の作業映像を記憶しておく。
(第3の実施形態)
第3の実施形態では、作業改善支援システム100が、複数の拠点から観測された作業映像に基づいて、作業改善を支援する場合を例に説明する。他国に工場を新設する場合など、同様の作業を異なる拠点で実施することは広く行われており、拠点ごとに作業の効率や成果物の品質にバラつきが生じることが課題になっている。作業改善支援システム100は、異なる拠点間での使用を想定し、拠点間の差異を考慮しながら、作業改善を支援する。
第3の実施形態では、作業改善支援システム100が、複数の拠点から観測された作業映像に基づいて、作業改善を支援する場合を例に説明する。他国に工場を新設する場合など、同様の作業を異なる拠点で実施することは広く行われており、拠点ごとに作業の効率や成果物の品質にバラつきが生じることが課題になっている。作業改善支援システム100は、異なる拠点間での使用を想定し、拠点間の差異を考慮しながら、作業改善を支援する。
作業を実施する拠点が異なる場合、作業環境や作業に用いる道具、作業者の属性など複数の要素が変化しうる。そのため、基準とすべき作業が観測された状況と、改善対象の作業が実施されている状況とでは、大きく乖離がある場合があり、必ずしも基準の作業に近づけることができない。よって、作業改善支援システム100は、改善対象の作業の状況を推定し、類似する状況下で観測された作業に基づいて、作業改善の支援を実施する。
作業改善支援システム100は、第1の実施形態における作業改善支援システム100と共通する構成を含む。そのため、本実施形態では、第1の実施形態との差異部分について説明する。特に、比較部143の差異を説明する。
改善支援装置140は、第1の実施形態における改善支援装置140と同様に、分析装置130から入力された作業データおよび作業属性に基づいて、作業の改善箇所および改善方法の案を出力する装置である。
比較部143は、第1の実施形態における比較部143と同様に、基準データと改善対象データを比較し、比較結果を出力する。比較部143は、複数の改善対象データの作業属性に基づいて、作業属性が類似する記憶データ(作業属性)の中から基準データを抽出し、基準データと改善対象データの作業属性を比較する。これにより、改善支援装置140は、改善対象データの作業を改善することで、近づけることが可能な基準データに絞り込むことができる。
比較部143が改善対象データと類似する記憶データを抽出する方法は、特定の方法に限定されない。例えば、作業属性に装置や作業台の座標が含まれる場合、比較部143は、改善対象データにおけるこれらの座標との差が閾値以内である記憶データを抽出してもよい。これにより、比較部143は、装置の配置などの変更が困難な要素を除外した比較が可能となる。また、例えば、作業属性に観測装置120と作業者との相対位置が含まれている場合、比較部143は、改善対象データにおける相対位置との差が閾値以内である記憶データを抽出してもよい。これにより、比較部143は、観測装置120の設置方法によって生じる作業属性の差を除外した比較が可能となる。
比較部143は、作業ステップごとに異なる基準データを抽出してもよい。これにより、拠点ごとに得意な作業ステップが異なる場合であっても、比較部143は、より良い基準データを比較に用いることができる。
以上説明したように、作業改善支援システム100は、作業拠点の違いなどによって、改善が困難な要素を除外した上で、改善方法の立案を行い、作業改善を支援することができる。
なお、本実施形態は、複数の拠点によって、作業の状況が変化する場合を例に説明したが、同一の拠点における状況が変化した場合であっても適用可能である。
第1〜第3の実施形態によれば、改善支援装置140は、熟練工に依存しない方法で、作業の改善箇所および改善方法を提示し、作業改善を支援することができる。また、改善支援装置140は、工場内の作業改善に利用可能なほか、スポーツのフォーム改善などに利用することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
140 改善支援装置、141 設定部、142 評価部、143 比較部、144 改善箇所抽出部、145 改善方法立案部
Claims (14)
- 作業の改善を支援する支援装置であって、
複数の作業データの作業属性に基づいて、作業の評価値をそれぞれ生成する評価手段と、
前記複数の作業データの作業属性の中から前記評価値に基づいて基準データを抽出し、前記基準データと作業データの作業属性を比較する比較手段と
を有することを特徴とする支援装置。 - 前記比較の結果に基づいて、作業の改善箇所を抽出する改善箇所抽出手段をさらに有することを特徴とする請求項1に記載の支援装置。
- 前記比較の結果および前記改善箇所に基づいて、作業の改善方法を立案する改善方法立案手段をさらに有することを特徴とする請求項2に記載の支援装置。
- 前記比較手段は、前記基準データと条件を満たす作業データの作業属性とを比較することを特徴とする請求項1〜3のいずれか1項に記載の支援装置。
- 前記作業データは、映像データ、音声データ、またはセンサの出力データを含むことを特徴とする請求項1〜4のいずれか1項に記載の支援装置。
- 前記作業属性は、時間、人物の動き、物体の動き、物体の種類、物体の位置、人物の姿勢、または部位の位置を含むことを特徴とする請求項1〜5のいずれか1項に記載の支援装置。
- 前記比較手段は、前記複数の作業データの作業属性の中から前記評価値が最高の作業データの作業属性を前記基準データとして抽出することを特徴とする請求項1〜6のいずれか1項に記載の支援装置。
- 前記評価値は、作業時間または成果物の品質に基づく評価値であることを特徴とする請求項1〜7のいずれか1項に記載の支援装置。
- 前記改善箇所抽出手段は、前記複数の作業データの作業属性のうちの同一人物に関する作業データの作業属性に基づいて、作業の改善箇所を抽出することを特徴とする請求項2または3に記載の支援装置。
- 前記改善箇所抽出手段は、前記複数の作業データの作業属性のうちの観測された時間帯が共通する作業データの作業属性に基づいて、作業の改善箇所を抽出することを特徴とする請求項2または3に記載の支援装置。
- 前記比較手段は、前記改善方法立案手段による立案の前と後の作業データの作業属性を比較し、
前記改善方法立案手段は、前記改善方法立案手段による立案の前と後の作業データの作業属性の比較の結果に基づいて、作業の改善方法を立案することを特徴とする請求項3に記載の支援装置。 - 前記比較手段は、前記複数の作業データの作業属性が類似する作業データの作業属性の中から基準データを抽出し、前記基準データと前記作業データの作業属性を比較することを特徴とする請求項1〜11のいずれか1項に記載の支援装置。
- 作業の改善を支援する支援装置の制御方法であって、
複数の作業データの作業属性に基づいて、作業の評価値をそれぞれ生成する評価ステップと、
前記複数の作業データの作業属性の中から前記評価値に基づいて基準データを抽出し、前記基準データと作業データの作業属性を比較する比較ステップと
を有することを特徴とする支援装置の制御方法。 - コンピュータを、請求項1〜12のいずれか1項に記載された支援装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019170557A JP2021047698A (ja) | 2019-09-19 | 2019-09-19 | 支援装置、支援装置の制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019170557A JP2021047698A (ja) | 2019-09-19 | 2019-09-19 | 支援装置、支援装置の制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021047698A true JP2021047698A (ja) | 2021-03-25 |
Family
ID=74876350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170557A Pending JP2021047698A (ja) | 2019-09-19 | 2019-09-19 | 支援装置、支援装置の制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021047698A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022215184A1 (ja) * | 2021-04-07 | 2022-10-13 | 株式会社Fabric Tokyo | 情報処理システム |
-
2019
- 2019-09-19 JP JP2019170557A patent/JP2021047698A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022215184A1 (ja) * | 2021-04-07 | 2022-10-13 | 株式会社Fabric Tokyo | 情報処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115016638A (zh) | 提供虚拟指导的方法、计算机系统及计算机可读存储介质 | |
US11914851B2 (en) | Object detection device, object detection method, and recording medium | |
US20200160108A1 (en) | Object detection device, object detection method, and recording medium | |
US20170060828A1 (en) | Gesture based annotations | |
JP6076418B2 (ja) | 電子装置及び漫画制作方法 | |
JP2018124604A (ja) | 接客支援システム、接客支援装置及び接客支援方法 | |
JP2008108008A (ja) | 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体 | |
CN107924585B (zh) | 作业辅助装置、作业辅助方法以及存储介质 | |
JP2019032719A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2020091801A (ja) | 作業分析システムおよび作業分析方法 | |
CN107027041B (zh) | 场景展示方法及装置 | |
JP2021047698A (ja) | 支援装置、支援装置の制御方法およびプログラム | |
JP6914724B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11663680B2 (en) | Method and system for automatic work instruction creation | |
JP2020024665A (ja) | 情報処理方法、及び情報処理システム | |
JP6646134B2 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
JP2022068012A (ja) | 情報処理装置、情報処理方法 | |
JP2021056922A (ja) | 人動作支援システム及びその方法 | |
WO2023188417A1 (ja) | 作業分析装置 | |
JP6638281B2 (ja) | 情報処理装置及びプログラム | |
JPWO2019106987A1 (ja) | 作業支援システム、作業支援方法及びプログラム | |
CN115357519B (zh) | 一种测试方法、装置、设备及介质 | |
JP2023022585A (ja) | 評価支援プログラム、評価支援方法および情報処理装置 | |
WO2024034415A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US11989799B2 (en) | Visualized image display device |