JP2019067206A - 検出システム、検出方法及び検出プログラム - Google Patents

検出システム、検出方法及び検出プログラム Download PDF

Info

Publication number
JP2019067206A
JP2019067206A JP2017193017A JP2017193017A JP2019067206A JP 2019067206 A JP2019067206 A JP 2019067206A JP 2017193017 A JP2017193017 A JP 2017193017A JP 2017193017 A JP2017193017 A JP 2017193017A JP 2019067206 A JP2019067206 A JP 2019067206A
Authority
JP
Japan
Prior art keywords
worker
time
unit
detection
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017193017A
Other languages
English (en)
Other versions
JP7091629B2 (ja
Inventor
田中 正清
Masakiyo Tanaka
正清 田中
伸之 原
Nobuyuki Hara
伸之 原
勇作 藤井
Yusaku Fujii
勇作 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017193017A priority Critical patent/JP7091629B2/ja
Publication of JP2019067206A publication Critical patent/JP2019067206A/ja
Application granted granted Critical
Publication of JP7091629B2 publication Critical patent/JP7091629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ノウハウを容易に検出する。【解決手段】検出装置は、作業者による作業を測定した情報を取得する取得部を有する。また、検出装置は、作業を測定した情報から特定される第1の作業者による動作を、その他の第2の作業者による当該動作と比較する判定部を有する。さらに検出装置は、比較結果が所定の条件を満たす第1の作業者による動作を抽出する抽出部を有する。これにより、検出装置は、ノウハウの候補となる動作を抽出する。【選択図】図3

Description

本発明は、検出システム、検出方法及び検出プログラムに関する。
熟練作業者が経験的に体得した技能や暗黙知などのノウハウを特定する技術が知られている。例えば、上下水道施設を安全、安心かつ効率的に運用・管理するために必要なノウハウの蓄積と活用する運用ノウハウを自動抽出するプラント制御装置に関する技術が知られている。当該装置は、上下水道施設のプロセスデータの入出力等を行い、収集したすべてのデータを保存する。当該装置は、プロセスデータに基づいて対象データが上下水道処理プロセスのどのプロセスであるかを判別し、上下水道処理プロセスのどのプロセスかという情報からデータ間の相関関係を解析する。当該装置は、データ間の相関関係からデータ間における変動またはそれに関する制御目標値を設定し、操作に関するノウハウおよび知識を含む前記プロセスデータをデータの範囲ごとに分類することにより抽出する。
また、視聴希望場面を効率的に得ることができる情報収集装置に関する技術も知られている。当該装置は、料理番組のようなノウハウ紹介番組における出演者の発言の中から、視聴者が予め選択した「今日のポイント」のようなキーフレーズをサーチする。当該装置は、キーフレーズが見つかると、キーフレーズ前後の数分間をノウハウ場面として編集して記憶する。
特開2009−294731号公報 特開2003−274340号公報
しかし、ノウハウは必ずしも数値で示すことができるとは限らない。上記技術においては、数値化できないノウハウを特定できない場合がある。また、熟練作業者自身も、何がノウハウに該当するかに気付いていない場合が多い。上記技術においては、ノウハウを特定する際に、予めキーフレーズを特定する必要があるため、熟練作業者自身が気づいていないノウハウを特定できない場合がある。すなわち、上記技術においては、ノウハウを特定することは容易ではなく、ノウハウの抽出は、熟練作業者自身やキーフレーズを特定する者の能力に依存することになる。
一つの側面では、ノウハウを容易に検出できる検出システム、検出方法及び検出プログラムを提供することを目的とする。
一つの態様において、検出装置は、作業者による作業を測定した情報を取得し、作業を測定した情報から特定される第1の作業者による動作を、その他の第2の作業者による当該動作と比較する。検出装置は、比較結果が所定の条件を満たす第1の作業者による動作を抽出する。
一つの態様によれば、ノウハウを容易に検出できる。
図1は、作業者による作業時間の比較の一例を示す図である。 図2は、検出対象の一例を示す図である。 図3は、実施例1における検出システムの一例を示す図である。 図4は、実施例1における動作DBの一例を示す図である。 図5は、実施例1における条件DBの一例を示す図である。 図6は、実施例1における作業者DBの一例を示す図である。 図7は、実施例1における履歴DBの一例を示す図である。 図8は、実施例1における候補DBの一例を示す図である。 図9は、実施例1における結果画面の一例を示す図である。 図10は、実施例1における検出処理の一例を示すフローチャートである。 図11は、実施例2における検出システムの一例を示す図である。 図12は、実施例2における条件DBの一例を示す図である。 図13は、実施例2における視線範囲分割の一例を示す図である。 図14は、実施例2における視線停留割合の一例を示す図である。 図15は、検出プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する検出システム、検出方法及び検出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。
本実施例における検出システム1は、例えば工場の製造ライン等に設置され、各製造ラインの作業者が行う動作の検知結果に基づいて動作情報を取得する。検出システム1は、例えば熟練者による動作に関する動作情報を取得し、熟練者以外のその他の作業者による当該動作に関する動作情報と比較する。そして、検出システム1は、比較結果に応じて、ノウハウの候補と考えられる動作を抽出してユーザに提示する。なお、本実施例において、熟練者は第1の作業者の一例であり、熟練者以外のその他の作業者は第2の作業者の一例である。
一般に、熟練者による動作を、その他の作業者による動作と比較した場合、図1に示すように、通常は熟練者による動作の方が動きに無駄がなく迅速で、短い時間で完了することが多い。図1は、作業者による作業時間の比較の一例を示す図である。図1のテーブル9000は、同一の作業を初心者が行った場合と熟練者が行った場合における、全作業時間の比較を示す。なお、本実施例において、作業に含まれる、図1に示す「指示書準備」や「外観検査」などの作業を細分化した個別の動作を、単に「動作」と表記する場合がある。また、本実施例においては、動作情報として、個別の動作の開始のタイミングと終了のタイミングとにより特定される動作に要した時間を示す、動作時間を用いる例について説明する。
図1の符号9009に示すように、全ての動作における作業時間を合計した全作業時間においては、初心者の場合は「6分55秒」に対して熟練者の場合は「4分41秒」と短い時間であることがわかる。しかし、熟練者の方が初心者よりも動作に時間をかけている場合がある。例えば、図1の符号9001に示すように、「外観検査」の動作については、初心者は「2秒」で終了しているのに対し、熟練者は「10秒」と時間を大きくとっている。この場合、熟練者は部品の異常の見落としを防ぐために、初心者よりも時間をかけて慎重に外観検査を行っている可能性がある。例えば、初心者は部品を上から目視しているだけであるような場合において、熟練者は部品を持ち上げて下からも目視したり、部品を回転させたりするなど、異常を見落とさないために初心者よりもより多くの手間をかけている場合がある。
また、1つの動作にかかる時間そのものは初心者による動作より短くとも、複数の動作を含む作業における全作業時間に占める、当該動作にかかる時間の割合が、初心者による当該割合よりも高い場合も考えられる。図1のテーブル9100は、テーブル9000に示す各動作の作業時間が全作業時間に占める割合を、初心者と熟練者とで比較するものである。なお、以下において、作業者の動作時間が、当該作業者の全作業時間に占める割合を「時間割合」と表記する場合がある。
例えば、図1の符号9102に示すように、「ラベル貼付」の動作時間は、初心者「21秒」に対して熟練者「19秒」と、熟練者の方が短い。しかし、全作業時間に占める「ラベル貼付」の時間割合は、初心者「5.1%」に対して熟練者「6.8%」と、熟練者の方が大きくなっている。この場合、例えば初心者はラベルを剥がしてそのまま部品に貼り付けるだけであるのに対し、熟練者は部品のラベル貼付箇所の埃を拭うなど、作業ミスを減らすために初心者よりも手間をかけている可能性がある。このように、単に動作時間に着目するだけではなく、時間割合も見ることで、見落としていたノウハウの候補を発見できる場合もある。
本実施例において検出対象とする作業者による動作について、図2を用いて説明する。図2は、検出対象の一例を示す図である。図2に示す作業者4100は、例えばドライバ等の工具4001を用いて、又は部品4011などの材料を用いて、製品の組み立て作業を行う。本実施例における検出システム1は、例えばカメラなどのセンサ500aを用いて、作業者4100の動作に関する動作時間などの動作情報を取得する。
例えば、作業者4100が部品4011を製品に取り付ける動作について動作時間を取得した場合、初心者による当該動作の動作時間よりも長い場合が考えられる。この場合において、当該動作を撮影した動画を検証する等により、初心者が部品4011をそのまま手を伸ばして取るのに対し、作業者4100は一歩左に避けてから部品4011を取っていることが判明する場合がある。例えば、作業者4100は、部品4011をそのまま取りに行くと、上からぶら下がっている工具4001と部品4011とが衝突するおそれがあるため、工具4001を避けようと無意識のうちに行動している場合がある。
このように、本実施例における検出システム1は、熟練者による動作時間などの動作情報を、初心者などのその他の作業者による動作情報と比較し、時間をより費やす動作等をノウハウの候補として抽出するので、ノウハウを容易に検出できる。
[システム構成]
次に、本実施例における検出システム1について、図3を用いて説明する。図3は、実施例1における検出システムの一例を示す図である。図3に示す検出システム1は、検出装置100と、端末装置400と、センサ500a及び500bとを有する。なお、以下において、センサ500aと500bとを区別せずに表現する場合に、単に「センサ500」と表記する場合がある。
本実施例において、検出装置100は、端末装置400及びセンサ500と、無線又は有線の通信にて通信可能に接続される。なお、図3においては、端末装置400を1台、センサ500を2台含む検出システム1を示したが、実施の形態はこれに限られない。例えば、検出システム1が、複数の端末装置400a乃至400n(nは2以上の任意の自然数)を含んでもよく、センサ500を1つだけ含むような構成であってもよい。
図3に示す検出装置100は、センサ500が検知した作業者の動きに関する情報を取得して、熟練者の動作情報とその他の作業者の動作情報とを比較し、比較結果に基づいてノウハウの候補となる動作等を抽出する。検出装置100は、工場の製造ラインに設定されてもよく、例えばデータセンタ等のように製造ラインとは異なる場所に設置されてもよい。
図3に示す端末装置400は、検出装置100から出力された提示情報を、図示しない検出装置100のユーザに対して出力する装置である。端末装置400は、例えば据置型のコンピュータであるが、これに限られず、スマートフォンなどの携帯可能な端末であってもよい。また、検出装置100が液晶モニタ等の出力装置を備えるような構成であってもよい。
図3に示すセンサ500は、作業者の動きを検知する装置であり、例えばカメラや加速度センサ、赤外線センサ等である。センサ500は、例えば作業者を撮影し、撮影した映像を検出装置100に出力する。また、センサ500は、例えば図2に示すような作業者4100が使用する工具4001等に搭載され、作業者4100の動きに伴う工具4001等の移動を検知してもよい。さらに、センサ500は、部品箱等に設置された重量センサや、作業者が操作するスイッチ等であってもよい。
[機能ブロック]
次に、本実施例における検出装置100の機能ブロックについて、図3を用いて説明する。図3に示すように、本実施例における検出装置100は、通信部110と、記憶部120と、制御部130とを有する。
通信部110は、有線又は無線を問わず、端末装置400、センサ500など、その他のコンピュータ等との通信を制御する。通信部110は、例えばNIC(Network Interface Card)等の通信インタフェース等である。
記憶部120は、例えば制御部130が実行するプログラムなどの各種データなどを記憶する。また、記憶部120は、動作DB121、条件DB122、作業者DB123、履歴DB124及び候補DB125を有する。記憶部120は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
動作DB121は、各作業に含まれる動作に関する情報を記憶する。なお、動作DB121に記憶される情報は、例えば図示しない検出装置100のユーザ又は図示しない外部のコンピュータにより入力され、また後に説明する更新部135により更新される。図4は、実施例1における動作DBの一例を示す図である。図4に示すように、動作DB121は、例えば、「動作内容」と、「開始トリガ」及び「終了トリガ」と、「標準時間」及び「標準割合」とを、「動作ID」に対応付けて記憶する。
図4において、「動作ID」は、各作業に含まれる動作の種別を一意に識別する識別子(Identifier)を示す。「動作ID」において、冒頭の英字3文字は、作業を一意に識別する情報であり、続く2桁の数字は、当該作業における当該動作の順序を示す。すなわち、動作IDの冒頭の英字3文字が共通する動作は、同じ作業に含まれる。
図4に示す例において、「動作内容」は、当該動作IDにより識別される動作の内容を示す。「開始トリガ」及び「終了トリガ」は、後に説明する特定部132において、当該動作が開始されたと判定するトリガ、及び終了したと判定するトリガを記憶する。例えば、動作ID「AAA−02」は、「外観検査」に関する動作であり、作業者が「作業台から筐体を手に取る」動きを検知した時点で開始し、作業者が「筐体を作業台に戻す」動きを検知した時点で終了する。
図4に示す例において、「標準時間」は、当該動作に対応する標準的な作業者による動作時間を示し、「標準割合」は、当該標準時間が、動作に対応する標準的な作業者による全作業時間に占める割合を示す。例えば、動作ID「AAA−02」の標準時間は「2秒」であり、標準割合は「0.5%」であることが記憶される。
図3に戻って、条件DB122は、当該動作をノウハウの候補として抽出するか否かを判定するための条件を記憶する。図5は、実施例1における条件DBの一例を示す図である。図5に示すように、本実施例における条件DB122は、「判定対象」と、「判定条件」とを対応付けて記憶する。なお、条件DB122に記憶される情報は、例えば図示しない検出装置100のユーザ又は図示しない外部のコンピュータにより入力される。
図5において、「判定対象」は、動作時間や時間割合など、判定の対象とするパラメータを示す。「判定条件」は、当該パラメータについて、ノウハウの候補として抽出するか否かを判定するための条件を示す。図5に示す例においては、例えばある動作における熟練者の動作時間が、標準時間の「105%以上」であると判定された場合に、当該動作がノウハウの候補として抽出される。
図3に戻って、作業者DB123は、作業者ごとの熟練度を記憶する。図6は、実施例1における作業者DBの一例を示す図である。図6に示すように、作業者DB123は、作業者の「氏名」及び「熟練度」を「作業者ID」に対応付けて記憶する。なお、作業者DB123に記憶される情報は、例えば図示しない検出装置100のユーザ又は図示しない外部のコンピュータにより入力される。
図6に示す「作業者ID」は、作業者を一意に識別する識別子である。「氏名」は、当該作業者の氏名を、「熟練度」は、当該作業者の熟練度を、それぞれ記憶する。「熟練度」は、例えば「初心者」及び「熟練者」の二段階であるが、これに限られず、「標準的な作業者」などの他の段階を設けてもよく、また数値で示してもよい。
図3に戻って、履歴DB124は、特定された動作情報を記憶する。図7は、実施例1における履歴DBの一例を示す図である。図7に示すように、履歴DB124は、「作業者ID」と、「動作ID」と、「開始時刻」及び「終了時刻」と、「動作時間」及び「時間割合」と、その他の動作情報とを対応付けて記憶する。なお、履歴DB124に記憶される情報は、特定部132により入力される。
図3に戻って、候補DB125は、ノウハウの候補として特定された動作に関する情報を記憶する。図8は、実施例1における候補DBの一例を示す図である。図8に示すように、候補DB125は、「作業者ID」と「動作ID」とを対応付けて記憶する。なお、候補DB125に記憶される情報は、後に説明する判定部133により入力される。
図3に戻って、制御部130は、検出装置100の全体的な処理を司る処理部である。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。
制御部130は、取得部131、特定部132、判定部133、抽出部134及び更新部135を有する。なお、取得部131、特定部132、判定部133、抽出部134及び更新部135は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
取得部131は、動作を特定する情報を取得する。取得部131は、例えば、通信部110を通じて、センサ500から、動作を特定する情報として、カメラにより撮影された作業者の動作の画像データなどを取得する。取得部131は、取得した情報を、特定部132に出力する。なお、以下において、取得部131が取得する動作を特定する情報を、「センサデータ」と表記する場合がある。
特定部132は、センサデータを用いて、動作時間及び時間割合を特定する。特定部132は、動作DB121を参照し、例えば、画像データなどのセンサデータを公知の画像処理技術を用いて解析し、開始トリガ及び終了トリガに該当する動きを検知する。
特定部132は、センサデータから開始トリガに該当する動きを検知すると、検知した動作開始時刻を履歴DB124に記憶する。また、特定部132は、当該動作の終了トリガに該当する動きをセンサデータから検知すると、検知した動作終了時刻から動作開始時刻を差し引いて動作時間を算出する。さらに、特定部132は、全作業時間を特定すると、動作時間の全作業時間に占める時間割合を算出する。そして、特定部132は、検知した動作終了時刻並びに算出した動作時間及び時間割合を、履歴DB124に記憶する。
判定部133は、検知された動作が、ノウハウの候補となるか否かを判定する。判定部133は、動作DB121を参照し、履歴DB124に記憶された動作時間及び時間割合が、条件DB122に記憶された判定条件に該当するか否かを判定する。判定部133は、動作時間又は時間割合が判定条件に該当すると判定した場合、当該動作に関する動作ID及び作業者IDを、ノウハウの候補に関する情報として候補DB125に記憶する。なお、判定部133は、比較部の一例である。
抽出部134は、ノウハウの候補に関する情報を抽出して出力する。例えば、抽出部134は、候補DB125に記憶された動作ID及び作業者IDを抽出して、図9に示すような結果画面を出力する。図9は、実施例1における結果画面の一例を示す図である。図9に示すように、結果画面8000は、ノウハウの候補として抽出された動作の動作内容と、判定結果とを含む情報8100を含む。これにより、検出装置100のユーザに対して、作業者が有するノウハウが含まれる動作の候補を提示することができる。
更新部135は、取得された動作情報を用いて、動作DB121を更新する。更新部135は、作業者DB123に記憶された作業者の熟練度と、履歴DB124に記憶された動作時間及び時間割合とを用いて、標準時間及び標準割合を算出し、動作DB121に記憶する。
[処理の流れ]
次に、本実施例における処理について、図10を用いて説明する。図10は、実施例1における検出処理の一例を示すフローチャートである。図10に示すように、検出装置100の取得部131は、例えば図示しない操作部又は通信部110を通じて、図示しないユーザから開始指示を受け付けるまで待機する(S100:No)。
取得部131は、開始指示を受け付けたと判定した場合(S100:Yes)、通信部110を通じて、センサ500からセンサデータの取得を開始し、取得したセンサデータを特定部132に出力する(S101)。特定部132は、出力されたセンサデータを用いて、作業者による動作の開始を認識し、動作開始時刻を履歴DB124に記憶する(S102)。その後、特定部132は、出力されたセンサデータを用いて、作業者による動作の終了を認識するまで待機する(S110:No)。
特定部132は、作業者による動作の終了を認識すると(S110:Yes)、動作の終了の時刻から動作の開始の時刻を差し引くことにより、動作時間Tを特定し、履歴DB124に記憶する。次に、判定部133は、履歴DB124、条件DB122及び動作DB121を参照し、当該動作時間Tが判定条件に該当するか否かを判定する(S111)。
判定部133は、動作時間Tが判定条件に該当すると判定した場合(S111:Yes)、当該動作をノウハウとして特定し、候補DB125に記憶して(S112)、S120に移行する。一方、判定部133は、動作時間Tが判定条件に該当しないと判定した場合(S111:No)、S120に移行する。
次に、判定部133は、全ての動作が終了したか否かを判定する(S120)。抽出部134は、全ての動作が終了していないと判定した場合(S120:No)、S102に戻って処理を繰り返す。一方、抽出部134は、全ての動作が終了したと判定された場合(S120:Yes)、候補DB125に記憶された動作を、ノウハウの候補として出力し(S199)、処理を終了する。
[効果]
以上説明したように、本実施例における検出装置100は、作業者による作業を測定した情報を取得し、作業を測定した情報から特定される第1の作業者による動作を、その他の第2の作業者による当該動作と比較する。検出装置100は、比較結果が所定の条件を満たす第1の作業者による動作を抽出する。これにより、検出装置100は、個人の能力に依存することなく、ノウハウを容易に検出できる。
また、本実施例における検出装置100は、作業を測定した情報を用いて、作業を細分化した動作の開始及び終了を特定する。検出装置100は、特定された動作の開始及び終了により求められる第1の作業者による動作の所要時間と、第2の作業者による当該動作の所要時間とを比較し、比較結果が所定の閾値以上となる動作を抽出する。これにより、検出装置100は、動作時間のような定量的な情報を用いてノウハウを特定できる。
さらに、本実施例における検出装置100は、第1の作業者による動作の所要時間が第1の作業者による作業の所要時間全体に占める割合と、第2の作業者による当該動作の所要時間が第2の作業者による作業の所要時間全体に占める割合とを比較する。検出装置100は、比較結果が所定の閾値以上となる動作を抽出する。これにより、検出装置100は、通常よりも動作時間が短い熟練者の動作についても、ノウハウの検出漏れを抑制できる。
上記実施例では、作業者の動作時間に基づいてノウハウの候補となる動作を抽出していたが、実施の形態はこれに限られない。例えば、作業者の手の移動量や視線が注視する場所などを検出することにより、より具体的なノウハウを特定できる場合がある。
例えば、熟練者の動作は、初心者に比べると無駄がなく、動きが小さくなる場合が多いが、何らかの理由で、熟練者の方が初心者よりも手の動きが大きくなる場合もある。上で述べたように、熟練者が、例えば図2に示す工具4001との衝突を避けるために迂回して部品4011を取得するような場合、熟練者の手の移動量は、その他の作業者の手の作業量よりも大きくなることがある。
また、熟練者が同じような動きを繰り返すような場合もある。例えば、部品の異常の見落としを防ぐために部品を360度の各方向から目視しようとする場合、熟練者は部品を回転させる作業を繰り返すことがある。
さらに、熟練者が、作業台のある一点を注視していたり、逆に広範囲に視線を移動させていたりする場合にも、熟練者が身につけたノウハウに基づいて、無意識のうちに視線を動かしていることが想定できる。そこで、本実施例においては、作業者の手の移動量や視線にさらに着目して、ノウハウの候補となる動作を抽出する構成について説明する。
[機能ブロック]
本実施例における検出システムについて、図11を用いて説明する。図11は、実施例2における検出システムの一例を示す図である。なお、以下の実施例において、先に説明した図面に示す部位と同一の部位には同一の符号を付し、重複する説明は省略する。図11に示す検出システム2は、検出装置200と、端末装置400と、カメラ500cと、加速度センサ500dと、視線センサ500eとを有する。なお、以下において、カメラ500cと、加速度センサ500dと、視線センサ500eとを区別せずに表現する場合に、単に「センサ500」と表記する場合がある。
本実施例におけるカメラ500cは、例えば作業者を撮影し、撮影した映像を検出装置200に出力する。加速度センサ500dは、作業者の手や頭、足などの動きを検知し、検知結果を検出装置200に出力する。加速度センサ500dは、例えば図2に示すような作業者が使用する工具4001等に搭載されてもよく、また作業者自身が装着するような構成であってもよい。視線センサ500eは、作業者の視線の動きを検知し、検知結果を検出装置200に出力する。
次に、本実施例における検出装置200は、通信部110と、記憶部220と、制御部230とを有する。記憶部220は、例えば制御部230が実行するプログラムなどの各種データなどを記憶する。また、記憶部220は、動作DB221、条件DB222、作業者DB123、履歴DB224及び候補DB125を有する。記憶部220は、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
本実施例における動作DB221は、図4に示すような項目に加えて、手の移動量や視線の動き等、その他の動作情報に関する標準的な作業者による動作における数値の項目をさらに有する。
本実施例における条件DB222は、図5に示すようなレコードに加えて、手の移動量や視線の動き等、その他の動作情報に関する標準的な数値に関する項目をさらに有する。図12は、実施例2における条件DBの一例を示す図である。図12に示すように、条件DB222は、判定対象として「手の移動量」や「視線」などをさらに含み、対応する判定条件をさらに記憶する。なお、条件DB222は、「手の移動量」に関する判定条件として、標準割合と比較する際の閾値に加えて、例えば同一の作業を何回以上繰り返す等の条件をさらに記憶してもよい。また、条件DB222は、「視線」に関する判定条件として、標準割合と比較する際の閾値に加えて、例えば後に説明する同一範囲を見る時間の割合等の条件をさらに記憶してもよい。
本実施例における履歴DB224は、図7に示すような項目に加えて、その他の動作情報として「手の移動量」や「視線」等の検知結果に関する項目をさらに有する。
次に、制御部230は、検出装置200の全体的な処理を司る処理部である。制御部230は、例えば、CPUやMPU等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部230は、例えば、ASICやFPGA等の集積回路により実現されるようにしてもよい。
制御部230は、取得部231、特定部232、判定部233、抽出部134及び更新部135を有する。なお、取得部231、特定部232及び判定部233は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
本実施例における取得部231は、動作を特定する情報として、カメラ500cにより取得された画像データ等に加えて、加速度センサ500dにより取得された加速度データや、視線センサ500eにより取得された視線データ等をさらに取得する。取得部231は、取得したセンサデータを、特定部232に出力する。
特定部232は、センサデータを用いて、動作時間及び時間割合に加えて、さらに手の移動量や視線の動きを特定する。特定部232は、例えば動作時間中における加速度データを集計して、作業者の手の移動量を算出する。また、特定部232は、視点の移動に関する情報として、例えば動作時間中における作業者の視点データを集計して、作業者の視線の移動量を算出する。また、特定部232は、例えば動作時間中における作業者の視点の停留度合を集計する。そして、特定部232は、集計した手の移動量及び視点の移動に関する情報を、履歴DB224に記憶する。
本実施例における視線検知処理について、図13及び図14を用いて説明する。図13は、実施例2における視線範囲分割の一例を示す図である。本実施例において、特定部232は、図13に示すように、動作中に作業者の視線が向いている位置を、符号8100に示すように1から9までの複数の範囲に分割し、視線センサ500eにより検知される作業者の視線がどの範囲にあるかを特定する。
そして、特定部232は、動作中における作業者の視線の各範囲における停留時間を集計する。図14は、実施例2における視線停留割合の一例を示す図である。図14に示すように、特定部232は、符号8100に示す1から9までの範囲ごとに、作業者の視線が各範囲を向いている時間の割合8200を算出する。
判定部233は、動作DB121を参照し、履歴DB124に記憶された動作時間及び時間割合に加えて、手の移動量及び視線の移動が、条件DB222に記憶された判定条件に該当するか否かを判定する。判定部233は、判定条件に該当すると判定した場合、当該動作に関する動作ID及び作業者IDを、ノウハウの候補に関する情報として候補DB125に記憶する。
[処理の流れ]
本実施例における処理は、図10に示すフローチャートに基づいて進められる。例えば、S101において、取得部231は、センサデータとして、画像データに加えて、加速度データや視線データを合わせて取得する。また、S111において、判定部233は、動作時間及び時間割合に関する判定条件に加えて、手の移動量や視線に関する判定条件についても合わせて判定する。
[効果]
以上説明したように、本実施例における検出装置200は、作業者による手の移動量を、作業者による作業を測定した情報として取得し、第1の作業者による動作における手の移動量と、第2の作業者による当該動作における手の移動量とを比較する。検出装置200は、比較結果が所定の閾値以上となる動作を抽出する。また、本実施例における検出装置200は、作業者による視線の移動量を、作業者による作業を測定した情報として取得する。検出装置200は、第1の作業者による動作における視線が特定の範囲に滞留する時間が動作の所要時間全体に占める割合と、第2の作業者による当該動作における視線が当該特定の範囲に滞留する時間が当該動作の所要時間全体に占める割合とを比較する。検出装置200は、比較結果が所定の閾値以上となる動作を抽出する。これにより、検出装置200は、動作時間に加えて、手の移動量や視線の滞留度合といった定量的な情報をさらに用いてノウハウを特定できるので、より精度よくノウハウを容易に検出できる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。例えば、検出装置200は、作業者による動作の所要時間及び当該所要時間が当該作業者による作業の所要時間全体に占める割合、並びに作業者による手の移動量及び視線の移動量のうち複数の情報を用いて動作を比較してもよい。これにより、より精度よくノウハウを検出することができる。
また、検出装置100の特定部132が動作の開始や終了を特定するタイミングは一例であり、例えば工具に取り付けられたコードの伸縮度合いが所定の閾値以上となったことが検出された場合等であってもよい。また、作業者が部品箱等に設置された所定のスイッチを操作した場合や、重量センサにおいて部品が設置されたことが検出された場合など、動作の開始トリガや終了トリガは任意に設定することができる。
また、特定部132が、センサ500から取得された動作に関する情報を用いて、動作の種別、並びに動作の開始のタイミング及び終了のタイミングを特定する構成について説明したが、実施の形態はこれに限られない。例えば、センサ500が、動作の種別、並びに動作の開始のタイミング及び終了のタイミングを特定し、特定された動作に関する情報を検出装置100に出力するような構成であってもよい。
また、上記実施例では、一人の熟練者の動作からノウハウの候補を抽出する例について説明したが、これに限られず、複数の熟練者の動作情報を取得して、ノウハウの候補を抽出してもよい。例えば、熟練者が同じ動きを繰り返すような場合に限られず、複数の熟練者が同様の動きをしていて、かつ初心者は同様の動きをしないような場合に、当該動作をノウハウの候補として抽出してもよい。この場合、検出装置200は、複数の熟練者から取得された手の移動量が相互に似ているか否かをさらに判定してもよい。同様に、検出装置200は、複数の熟練者から取得された動作時間や時間割合、視線の動きなどが相互に似ているか否かをさらに判定してもよい。
[システム]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の検出装置100は、外部のセンサ500から作業者の動作に関する情報を取得するが、これに限られず、検出装置100がカメラ500cや加速度センサ500dなどのセンサを有するような構成であってもよい。
次に、上記実施例に示した検出装置100と同様の機能を実現する検出プログラムを実行するコンピュータの一例について説明する。図15は、検出プログラムを実行するコンピュータの一例を示す図である。なお、以下においては実施例1における検出装置100について説明するが、実施例2における検出装置200についても、同様の構成により実現できる。
図15に示すように、コンピュータ300は、各種演算処理を実行するCPU301と、ユーザからのデータの入力を受け付ける入力装置302と、ディスプレイ303とを有する。また、コンピュータ300は、記憶媒体からプログラム等を読み取る読み取り装置304と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置305と、カメラ306と、距離センサ307とを有する。また、コンピュータ300は、各種情報を一時記憶するRAM308と、ハードディスク装置309とを有する。そして、各装置301〜309は、バス310に接続される。
ハードディスク装置309は、検出プログラム309aを有する。CPU301は、検出プログラム309aを読み出してRAM308に展開する。
検出プログラム309aは、検出プロセス308aとして機能する検出プロセス308aの処理は、取得部131、特定部132、判定部133、抽出部134及び更新部135の処理に対応する。
なお、検出プログラム309aについては、必ずしも最初からハードディスク装置309に記憶させておかなくても良い。例えば、コンピュータ300に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ300が検出プログラム309aを読み出して実行するようにしてもよい。
1、2 検出システム
100、200 検出装置
110 通信部
120、220 記憶部
121、221 動作DB
122、222 条件DB
123 作業者DB
124、224 履歴DB
125 候補DB
130、230 制御部
131、231 取得部
132、232 特定部
133、233 判定部
134 抽出部
135 更新部
400 端末装置
500 センサ

Claims (8)

  1. 作業者による作業を測定した情報を取得する取得部と、
    前記作業を測定した情報から特定される第1の作業者による動作を、その他の第2の作業者による当該動作と比較する比較部と、
    前記動作の比較結果が所定の条件を満たす前記第1の作業者による動作を抽出する抽出部と
    を有する検出装置を含むことを特徴とする検出システム。
  2. 前記作業を測定した情報を用いて、前記作業を細分化した動作の開始及び終了を特定する特定部をさらに含み、
    前記比較部は、特定された前記動作の開始及び終了により求められる前記第1の作業者による前記動作の所要時間と、前記第2の作業者による当該動作の所要時間とを比較し、
    前記抽出部は、前記動作の所要時間の比較結果が所定の閾値以上となる動作を抽出することを特徴とする請求項1に記載の検出システム。
  3. 前記作業を測定した情報を用いて、前記作業を細分化した動作の開始及び終了を特定する特定部をさらに含み、
    前記比較部は、特定された前記動作の開始及び終了により求められる前記第1の作業者による前記動作の所要時間が前記第1の作業者による前記作業の所要時間全体に占める割合と、前記第2の作業者による当該動作の所要時間が前記第2の作業者による前記作業の所要時間全体に占める割合とを比較し、
    前記抽出部は、前記作業の所要時間全体に占める割合の比較結果が所定の閾値以上となる動作を抽出することを特徴とする請求項1に記載の検出システム。
  4. 前記取得部は、前記作業者による手の移動量を、前記作業者による作業を測定した情報として取得し、
    前記比較部は、前記第1の作業者による動作における手の移動量と、前記第2の作業者による当該動作における手の移動量とを比較し、
    前記抽出部は、前記手の移動量の比較結果が所定の閾値以上となる動作を抽出することを特徴とする請求項1乃至3のいずれか1つに記載の検出システム。
  5. 前記取得部は、前記作業者による視線の移動量を、前記作業者による作業を測定した情報として取得し、
    前記比較部は、前記第1の作業者による前記動作における前記視線が特定の範囲に滞留する時間が前記動作の所要時間全体に占める割合と、前記第2の作業者による当該動作における前記視線が当該特定の範囲に滞留する時間が当該動作の所要時間全体に占める割合とを比較し、
    前記抽出部は、前記視線が特定の範囲に滞留する時間の比較結果が所定の閾値以上となる動作を抽出することを特徴とする請求項1乃至4のいずれか1つに記載の検出システム。
  6. 前記比較部は、前記第1の作業者による前記動作の所要時間、前記第1の作業者による前記動作の所要時間が前記第1の作業者による前記作業の所要時間全体に占める割合、前記作業者による手の移動量及び前記作業者による視線の移動量のうち複数の情報を用いて、第1の作業者による動作を、第2の作業者による当該動作と比較することを特徴とする請求項1乃至5のいずれか1つに記載の検出システム。
  7. コンピュータが、
    作業者による作業を測定した情報を取得し、
    前記作業を測定した情報から特定される第1の作業者による動作を、その他の第2の作業者による当該動作と比較し、
    前記動作の比較結果が所定の条件を満たす前記第1の作業者による動作を抽出する
    処理を実行する検出方法。
  8. コンピュータに、
    作業者による作業を測定した情報を取得し、
    前記作業を測定した情報から特定される第1の作業者による動作を、その他の第2の作業者による当該動作と比較し、
    前記動作の比較結果が所定の条件を満たす前記第1の作業者による動作を抽出する
    処理を実行させる検出プログラム。
JP2017193017A 2017-10-02 2017-10-02 検出システム、検出方法及び検出プログラム Active JP7091629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017193017A JP7091629B2 (ja) 2017-10-02 2017-10-02 検出システム、検出方法及び検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193017A JP7091629B2 (ja) 2017-10-02 2017-10-02 検出システム、検出方法及び検出プログラム

Publications (2)

Publication Number Publication Date
JP2019067206A true JP2019067206A (ja) 2019-04-25
JP7091629B2 JP7091629B2 (ja) 2022-06-28

Family

ID=66338327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193017A Active JP7091629B2 (ja) 2017-10-02 2017-10-02 検出システム、検出方法及び検出プログラム

Country Status (1)

Country Link
JP (1) JP7091629B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021015224A (ja) * 2019-07-12 2021-02-12 マツダ株式会社 技能情報取得装置および該方法
WO2022244215A1 (ja) * 2021-05-20 2022-11-24 日本電信電話株式会社 手順学習装置、手順学習プログラム、及び手順学習方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
JP2016167265A (ja) * 2015-03-03 2016-09-15 株式会社ブロードリーフ プログラム、情報処理装置及び情報処理方法
JP2017068430A (ja) * 2015-09-29 2017-04-06 富士重工業株式会社 適応性評価装置、適応性評価方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
JP2016167265A (ja) * 2015-03-03 2016-09-15 株式会社ブロードリーフ プログラム、情報処理装置及び情報処理方法
JP2017068430A (ja) * 2015-09-29 2017-04-06 富士重工業株式会社 適応性評価装置、適応性評価方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021015224A (ja) * 2019-07-12 2021-02-12 マツダ株式会社 技能情報取得装置および該方法
WO2022244215A1 (ja) * 2021-05-20 2022-11-24 日本電信電話株式会社 手順学習装置、手順学習プログラム、及び手順学習方法
JP7409562B2 (ja) 2021-05-20 2024-01-09 日本電信電話株式会社 手順学習装置、手順学習プログラム、及び手順学習方法

Also Published As

Publication number Publication date
JP7091629B2 (ja) 2022-06-28

Similar Documents

Publication Publication Date Title
JP2015526168A5 (ja)
JP2022009097A (ja) 判別装置、判別方法およびプログラム
JP6817974B2 (ja) 計算機システム
JP7010542B2 (ja) 作業分析装置、作業分析方法、及びプログラム
WO2020026643A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN110866515A (zh) 厂房内对象行为识别方法、装置以及电子设备
JP6977296B2 (ja) 作業時間計測システム及びそれを用いた作業指示システム
WO2018008702A1 (ja) 振る舞い検知システム
JP2019087250A (ja) オブジェクト履歴関連付けにおけるシステムと方法
CN104951055B (zh) 设置设备的操作模式的方法和装置、以及空调设备
WO2010143361A1 (ja) 作業認識システム、作業認識装置および作業認識方法
JP2019067206A (ja) 検出システム、検出方法及び検出プログラム
WO2020039559A1 (ja) 情報処理装置、情報処理方法及び作業評価システム
JP6287486B2 (ja) 情報処理装置、方法及びプログラム
JP2017156978A (ja) 作業動作認識システム
AU2021204575A1 (en) Methods, apparatuses, devices and storage media for processing game states
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
JP2016050868A5 (ja)
JP2021096639A5 (ja) 情報処理方法、情報処理装置、機械設備、物品の製造方法、制御プログラム、記録媒体
WO2020115930A1 (ja) 手順検知装置、および手順検知プログラム
JP2020087091A (ja) 熟練度判定システム
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
CN113723355A (zh) 一种目标监控方法和装置、存储介质及电子装置
JP2020190964A (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN108700989A (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R150 Certificate of patent or registration of utility model

Ref document number: 7091629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150