JP2021131806A - 行動解析装置及び行動解析方法 - Google Patents

行動解析装置及び行動解析方法 Download PDF

Info

Publication number
JP2021131806A
JP2021131806A JP2020028092A JP2020028092A JP2021131806A JP 2021131806 A JP2021131806 A JP 2021131806A JP 2020028092 A JP2020028092 A JP 2020028092A JP 2020028092 A JP2020028092 A JP 2020028092A JP 2021131806 A JP2021131806 A JP 2021131806A
Authority
JP
Japan
Prior art keywords
person
behavior
position information
analysis device
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020028092A
Other languages
English (en)
Inventor
昂志 太田
Takashi Ota
昂志 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2020028092A priority Critical patent/JP2021131806A/ja
Priority to DE112020006780.7T priority patent/DE112020006780T5/de
Priority to US17/793,479 priority patent/US20230065834A1/en
Priority to PCT/JP2020/047060 priority patent/WO2021166402A1/ja
Priority to CN202080094471.7A priority patent/CN115004203A/zh
Publication of JP2021131806A publication Critical patent/JP2021131806A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063112Skill-based matching of a person or a group to a task
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】人の行動の監視や要改善箇所の発見を支援するための技術を提供する。【解決手段】行動解析装置が、所定のエリア内で所定の行動を行う人の位置情報を取得する取得部と、前記取得部により取得された位置情報の時系列データを蓄積するデータ蓄積部と、前記時系列データから位置情報の変化の周期的なパターンを解析することによって、1周期における位置情報の平均的な変化を表すモデルを生成するデータ解析部と、を有する。【選択図】図1

Description

本発明は、人の行動を解析するための技術に関する。
ものづくりの現場においては、生産効率の向上が重要な命題である。セル生産方式のように、人手による作業が多く且つ各作業者が複雑な作業を行う必要がある現場では、作業者によって作業の進め方や動き方などが異なり、作業者ごとの作業効率にばらつきが生じやすい。したがって、各作業者の動きの無駄を見つけたり、作業の遅延やミスが生じやすい箇所を見つけ、工程や作業内容の改善を図っていくことが望ましい。しかし従来は、監督者や熟練工が、各作業者の動きを監視し、動きの無駄や遅延・ミスの生じやすい作業を見つけるしか方法がなく、工程や作業内容の改善には多くの時間と高度なスキルを要するのが実情であった。
特許文献1には、熟練者のノウハウや事例を容易に検索可能なシステムを用意することで、作業者を支援する方法が提案されている。しかしながら、このようなシステムを提供するだけでは、作業効率の向上や工程改善につなげることは難しい。
特開2007−148938号公報
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、人の行動の監視や要改善箇所の発見を支援するための技術を提供することにある。
本開示は、所定のエリア内で所定の行動を行う人の位置情報を取得する取得部と、前記取得部により取得された位置情報の時系列データを蓄積するデータ蓄積部と、前記時系列データから位置情報の変化の周期的なパターンを解析することによって、1周期における位置情報の平均的な変化を表すモデルを生成するデータ解析部と、を有することを特徴とする行動解析装置を含む。
この構成によれば、人の行動(位置情報の変化)の傾向を表すモデルを自動で生成することができる。このモデルは、例えば、人ごとの行動の差を比較する目的、人ごとの行動の特徴(良い点、悪い点、無駄な動きなど)を把握する目的、所定のエリア又は所定の行動のなかの要改善箇所を見出す目的など、さまざまな用途に利用できる。
前記行動解析装置は、取得される1周期分の位置情報を前記モデルと比較することにより、非定常な行動を検知する評価部をさらに有してもよい。この構成によれば、人が非定常な行動を行った場合に自動で検知することができるので、人の行動監視に有用である。例えば、前記評価部は、前記1周期分の位置情報と前記モデルとのあいだで、対応する時点における位置情報の差、及び/又は、1周期の長さの差が所定の閾値を超えた場合に、非定常な行動と判定してもよい。これにより簡単な処理で非定常な行動を検知することができる。また、前記行動解析装置は、非定常な行動を検知した場合に通知を行う出力部をさらに有してもよい。
前記データ蓄積部は、一人又は複数の人の時系列データを蓄積するものであり、前記データ解析部は、人ごとに位置情報の変化の周期的なパターンを解析して、人ごとのモデルを生成してもよい。これにより、人ごとに異なる傾向をそれぞれ把握することができる。そして、前記評価部は、人ごとに前記1周期分の位置情報と前記モデルの比較を行ってもよい。これにより、人ごとの非定常行動を精度よく検知することができる。
前記行動解析装置は、複数の人の時系列データからそれぞれ生成された複数のモデルを相対的に評価することによって、前記複数の人それぞれの前記所定の行動に対する熟練度を判定する評価部をさらに有してもよい。この構成によれば、人ごとの熟練度を自動かつ簡単に把握することができる。前記評価部は、さらに、判定した熟練度に基づいて前記複数のモデルの中から熟練者のモデルを選択し、評価対象者のモデルと前記熟練者のモデルとの比較を行ってもよい。このような比較により、評価対象者の行動の良し悪しの評価や、評価対象者の行動のなかの要改善箇所の検知などが可能である。例えば、前記行動解析装置は、前記評価対象者のモデルと前記熟練者のモデルとの差を表す情報を出力する出力部をさらに有してもよい。例えば、管理者や監督者にこのような情報を提供することにより、要改善箇所の発見や工程改善の取組みを支援することができる。
前記評価部は、前記複数のモデルそれぞれの時間長さを相対的に評価することによって、前記複数の人の熟練度を判定してもよい。これにより、簡単な処理で熟練度を判定することができる。例えば、前記所定の行動が1つ以上の工程からなる作業である場合に、前記評価部は、前記複数のモデルのそれぞれから工程ごとの作業時間を求め、作業時間の長さに基づくクラス分けを工程ごとに行うことによって、前記複数の人それぞれの工程ごとの熟練度を判定してもよい。これにより、工程ごとの評価や要改善箇所の把握が可能となる。
前記取得部は、前記所定のエリアに存在する人をセンシングするセンサから取り込まれる情報を基に、人の位置情報を取得してもよい。前記センサは、例えば、画像センサでもよいし、人感センサでもよいし、又は、人が所持するデバイスとの組み合わせで人の位置を検知するセンサでもよい。また、前記取得部は、顔認識によって前記所定の行動を行っている人を識別してもよいし、前記所定の行動を行っている人を識別するための識別情報を外部から取得してもよい。
本発明は、上記手段の少なくとも一部を有する行動解析装置として捉えてもよいし、行動評価装置、行動監視装置、異常検知装置、熟練度評価装置、工程改善支援装置などとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む行動解析方法、行動評価方法、行動監視方法、異常検知方法、熟練度評価方法、工程改善支援方法などとして捉えてもよい。また、本発明は、このような方法の各ステップをプロセッサに実行させるためのプログラムや、そのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、人の行動の監視や要改善箇所の発見を支援するための技術を提供することが可能である。
図1は、生産ラインにおける作業者の行動解析の例を示す図である。 図2は、行動解析装置を備える監視システムの構成例を示すブロック図である。 図3は、行動解析装置によるデータ解析及びモデル生成のフローチャートである。 図4は、データ解析及びモデル生成の流れの模式図である。 図5は、行動解析装置による異常検知のフローチャートである。 図6は、異常検知の流れの模式図である。 図7は、行動解析装置による熟練度判定のフローチャートである。 図8は、熟練度判定の流れの模式図である。 図9は、行動解析装置によるモデル比較のフローチャートである。
<適用例>
図1を参照して、本発明の適用例の一つとして、生産ラインにおける作業者の行動解析に本発明を適用した例を説明する。
セル生産方式などの生産ラインにおいては、作業者が所定の作業エリア内を動きながら複数の作業工程を順にこなしていく。このとき、作業者は、所定の手順に従って作業を行うため、作業者の行動には一定の周期性・規則性が現れ得る。例えば、図1の左側は、作業者の位置情報の時間的変化をプロットしたグラフ(横軸が時間、縦軸が位置座標を示している。)であるが、位置情報の変化に周期的なパターン(破線)が現れていることがわかる。本手法では、時系列データから位置情報の変化の周期的なパターンを解析することによって、各作業者の1周期における位置情報の平均的な変化を表すモデルを生成する。このモデルは、当該作業者の行動の統計的傾向、すなわち、定常的な行動を表現するものである。
このようなモデルは、例えば、作業者ごとの傾向の見える化、異常な動き(非定常な行動)の判別・検知、作業への熟練度の評価、作業者同士の動きの比較などに利用できる。図1の右側は、モデルの利用例を示している。例えば、熟練者と新人Aのモデルを比較すると、パターンの形状は概ね同じであるが、新人Aのパターンの方が横長(つまり周期が長い)ので、新人Aは作業の習熟度が全体的に低いことがわかる。また、熟練者と新人Bのモデルを比較すると、新人Bは位置Xに対応する工程の習熟度が低いことがわかる。また、逐次取り込まれる作業者の行動をモデルと比較することにより、作業者の異常な動きを簡単に判別・検知することができる。同じ位置(工程)で異常な動きが頻発することが確認されたら、その工程に問題が存在する可能性がある。例えば、その工程で利用する機械の履歴と照らし合わせることで、機械の異常や故障の発見に役立てたり、その工程における作業手順の改善に役立てたりすることができる。
<実施形態>
(監視システムの構成)
図2を参照して、本発明の実施形態に係る行動解析装置について説明する。図2は、行動解析装置を備える監視システムの構成例を示すブロック図である。
監視システム1は、工場の生産ラインにおける作業者の作業状況を監視するためのシステムであり、主な構成として、行動解析装置10とセンサ11を有している。行動解析装置10とセンサ11の具体的構成は問わない。例えば、行動解析装置10とセンサ11は有線又は無線により互いに通信可能に接続されていてもよいし、一体的に構成(すなわち1つの筐体内に行動解析装置10とセンサ11が内蔵されている構成)でもよい。前者の構成の場合は、行動解析装置10の数とセンサ11の数は1対1に限らず、1対N、N対1、N対Nでもよい(Nは2以上の整数)。後者の構成の場合は、センサ11の制御系と行動解析装置10の機能とが同じプロセッサに実装されていてもよい。
(センサ)
センサ11は、生産ラインに存在する作業者の位置をセンシングするためのデバイスである。作業者の位置をセンシング可能であれば、センサ11の種類は問わない。例えば、作業者の行動エリアを撮影するように設置された画像センサでもよいし、行動エリア内の作業者の位置を検知する人感センサでもよい。人感センサとしては、例えば、赤外線センサ、電波式のセンサなどがある。あるいは、作業者が所持するデバイス(タグ、スマートフォン、BLEデバイス、発信機など)とセンサ11との組み合わせで作業者の位置を検知する仕組みを用いてもよい。センサ11のセンシング結果は行動解析装置10に逐次取り込まれる。
本実施形態では、センサ11として画像センサを用いる。画像センサは、広いエリアを1つのセンサで監視できる、複数の作業者の位置情報を同時に取得できる、位置情報の高精度な計測が可能であるなどの利点があるからである。画像センサは、広視野のカメラ(例えば魚眼カメラや全方位カメラ)と、カメラで取り込まれた画像を処理する画像処理部を有する。画像処理部は、例えば、画像から人の顔や人体を検出する機能、検出した顔や人体をトラッキングする機能、顔認識又は人体認識により個人を識別(同定)する機能などを有しているとよい。画像処理部は、例えば、プロセッサとメモリから構成され、プロセッサがメモリに記憶されたプログラムを読み込み実行することによって前述した機能が実現される。なお、前述した機能の全部又は一部をASICやFPGAなどのプロセッサで実現してもよい。
(行動解析装置)
行動解析装置10は、センサ11から取り込まれたセンシング結果を用いて、生産ラインで作業を行っている作業者の行動解析を行う装置である。本実施形態の行動解析装置10は、主な構成として、取得部101、データ蓄積部102、データ解析部103、評価部104、出力部105を有している。行動解析装置10は、例えば、プロセッサ(CPU)、ROM、RAM、ストレージ(HDD、SSDなど)、入力装置(キーボード、ポインティングデバイスなど)、表示装置などを備える汎用のコンピュータにより構成することができる。その場合、図2に示す構成101〜105は、プロセッサがROM又はストレージに記憶されたプログラムを読み込み実行することによって実現される。なお、構成101〜105のうちの全部又は一部をASICやFPGAなどのプロセッサで実現してもよい。また、クラウドコンピューティングや分散コンピューティングを利用して行動解析装置10の機能を実現してもよい。
取得部101は、センサ11からセンシング結果のデータを取得する機能を有する。センシング結果は、例えば、検知された作業者の位置情報と、検知時刻を示す時間情報とを含んでいる。また、センシング結果が、位置情報と時間情報以外の情報、例えば、作業者のID(作業者が誰であるかを示す識別情報)、生産ラインの番号などを含んでいてもよい。位置情報は、例えば、作業者が存在する位置を表す座標値である。位置情報の座標系は、センサ座標系でもよいしグローバル座標系でもよい。また、平面内の位置を示す2次元座標系を用いてもよいし、作業者の動きが単純な往復動とみなせる場合は1次元座標系を用いてもよい。なお、本実施形態ではセンサ11(画像センサ)側で作業者の位置情報を割り出す構成を採用したが、センサ11から生データ(画像センサの場合は画像データ)を取り込み、取得部101が生データの解析(画像データの場合は顔や人体の検出)を行い、作業者の位置情報を認識してもよい。また、取得部101が、画像データから顔認証などの技術により作業者の識別を行ってもよい。あるいは、センシング結果とは別に、作業者の識別情報が外部から取得部101に取り込まれてもよい。例えば、作業者が所持するIDカードから読み取られた識別情報が時間情報とともに取得部101に取り込まれ、時間情報を基に位置情報との紐づけが行われてもよい。あるいは、ユーザ(行動解析装置10の操作者)が作業者のIDを手入力してもよい。
データ蓄積部102は、取得部101により取得されたセンシング結果の時系列データを不揮発性のストレージ内に蓄積する機能を有する。図2は、蓄積された時系列データの一例を模式的に示している。図2の例では、作業者のID別に、生産ラインの番号、位置情報、及び、検知日時を示す時間情報が蓄積されている。
データ解析部103は、時系列データから位置情報の変化の周期的なパターンを解析することによって、1周期における位置情報の平均的な変化を表すモデルを生成する機能を有する。このとき、データ解析部103は、作業者ごとに時系列データの解析を行い、作業者ごとのモデルを生成する。すなわち、データ解析部103は、作業者ごとの行動の統計的傾向(定常的な行動)を表すモデルを生成するものといえる。
評価部104は、取得部101により新たに取得される1周期分の位置情報を、データ解析部103で生成されたモデルと比較することにより、非定常な行動を検知する機能を有する。また、評価部104は、複数の作業者の時系列データからそれぞれ生成された複数のモデルを相対的に評価することによって各作業者の熟練度を判定する機能、熟練者と非熟練者の間のモデル(行動の傾向)を比較する機能などを有する。
出力部105は、データ解析部103や評価部104により得られた情報を出力する機能を有する。出力部105は、行動解析装置10が備える表示装置に情報を出力してもよし、外部の装置に情報を伝送してもよい。例えば、管理者や監督者の端末に通知メッセージを送信するものでもよいし、他の装置に対して警告信号又は制御信号を送信するものでもよいし、音・光・振動などを発するものでもよい。
(モデルの生成)
図3及び図4を参照して、データ解析及びモデル生成の処理例を説明する。図3は、行動解析装置10によるデータ解析及びモデル生成のフローチャートであり、図4は、データ解析及びモデル生成の流れの模式図である。図3の処理は、統計学的に十分な量の時系列データがデータ蓄積部102に蓄積された状態で実行されるとよい。
ステップS300において、データ解析部103は、解析対象者を決定する。例えば、データ蓄積部102に複数の作業者のデータが蓄積されている場合、データ解析部103は、作業者ID順に順番に解析対象者を選択すればよい。あるいは、ユーザが解析対象者を指定してもよい。以後のステップS301〜S304の処理は、解析対象者ごとに実行される。
ステップS301では、データ解析部103が、データ蓄積部102から解析対象者の位置情報の時系列データ40を読み込む。
ステップS302では、データ解析部103が、位置情報の時系列データを周期ごとに分割し、「1周期分の位置情報の変化」の多数のサンプル41を抽出する。1周期の開始点及び終了点は、位置情報の時系列データのピーク(極大又は極小)により判別してもよいし、位置情報の値に基づき判別してもよい。例えば、作業が工程1〜工程nのn個の作業工程で構成されており、作業者が工程1〜工程nの作業を繰り返し実行する場合であれば、作業者の位置情報の値が工程1の作業場所に該当する範囲に入った時点で、1周期の終了(且つ、次の1周期の開始)と判定してもよい。
ステップS303では、データ解析部103は、ステップS302で抽出された複数のサンプル41を用いて、1周期における位置情報の平均的な変化を表すモデル42を生成する。例えば、データ解析部103は、時間的な位相を合わせて複数のサンプルの位置情報をプロットしたデータに対し、最小二乗法などで曲線をフィッティングすることにより
モデルを生成してもよい。あるいは、データ解析部103は、複数のサンプルの間で同じ位相(時点)の位置情報の平均値を算出し、平均値の点列(又はその点列にフィッティングした曲線)によりモデルを生成してもよい。また、ここで述べた方法以外の方法を利用してモデルを生成してもよい。なお、ステップS302で抽出されたすべてのサンプルをモデル生成に利用してもよいし、周期の長さがほぼ同じサンプルのみを用いてモデル生成を行ってもよい。
ステップS304では、データ解析部103が、ステップS303で生成したモデル42を解析対象者の作業者ID及びデータ解析に用いた時系列データの期間の情報と共にデータ蓄積部102に登録する。ここで登録されるデータを、以後、作業者個々の定常的(平準的)な行動を定義するデータという意味で「個人平準化データ」と呼ぶ。なお、データ蓄積部102には、同じ作業者に対し、時系列データの期間が異なる複数の個人平準化データを登録できるようにしてもよい。時間の経過とともに作業に対する習熟度が増し、行動の仕方が変化し得るからである。
ステップS305では、データ解析部103が、すべての作業者の処理が完了したかを確認し、未完了であればステップS301に戻り、次の作業者のデータ解析を行う。
(異常の検知)
図5及び図6を参照して、異常検知の処理例を説明する。図5は、行動解析装置10による異常検知のフローチャートであり、図6は、異常検知の流れの模式図である。図5の処理は、個人平準化データが生成・登録されると実行可能となる。なお、図5の処理は、オンラインで(すなわち、生産ラインの稼働中にセンサ11から逐次取り込まれるデータに対して)実行してもよいし、オフラインで(すなわち、データ蓄積部102などに蓄積されたデータを後から評価する目的で)実行してもよい。ここでは、オンラインでの処理について説明する。
ステップS500において、評価部104は、評価対象者を決定する。例えば、データ蓄積部102に複数の作業者の個人平準化データが登録されている場合、評価部104は、作業者ID順に順番に評価対象者を選択すればよい。あるいは、ユーザが評価対象者を指定してもよい。以後のステップS501〜S504の処理は、評価対象者ごとに実行される。
ステップS501では、評価部104が、データ蓄積部102から評価対象者の直近1周期分の位置情報のデータ60を読み込む。1周期の開始点及び終了点は、ステップS302で述べたものと同じ方法で判別すればよい。評価部104は、1周期分の位置情報の点列に対し曲線をフィッティングしてもよい。
ステップS502では、評価部104が、データ蓄積部102から評価対象者の個人平準化データ61を読み込み、ステップS501で取得した1周期分の位置情報60を個人平準化データ61と比較する。例えば、評価部104は、1周期分の位置情報60と個人平準化データ61とのあいだで、対応する時点(位相)における位置情報の値の差62や、1周期の長さの差63などを計算するとよい。これらの差62、63が所定の閾値を超えた場合には(ステップS503のYES)、出力部105が異常(評価対象者の非定常な行動)を検知した旨を通知する(ステップS504)。このとき、異常の有無だけでなく、異常が発生した作業ラインや作業工程を示す情報もあわせて通知するとよい。異常が発生した作業工程は、例えば、1周期分の位置情報60と個人平準化データ61との乖離が最も大きい位置64などから推定することができる。
ステップS505では、評価部104が、すべての作業者の処理が完了したかを確認し
、未完了であればステップS501に戻り、次の作業者の評価を行う。
(熟練度の判定)
図7及び図8を参照して、熟練度判定の処理例を説明する。図7は、行動解析装置10による熟練度判定のフローチャートであり、図8は、熟練度判定の流れの模式図である。図7の処理は、複数の作業者の個人平準化データが生成・登録されると実行可能となる。本実施形態では、複数の作業者の個人平準化データを相対的に評価することによって、複数の作業者それぞれの作業に対する熟練度を判定する。
ステップS700において、評価部104は、データ蓄積部102から複数の作業者の個人平準化データを取得する。そして、ステップS701において、評価部104は、個人平準化データから工程ごとの作業時間を計算する。位置情報の値と各工程の作業場所との対応関係はあらかじめ分かっているため、図8に示すように、位置情報の値に基づいて各工程の開始点・終了点を判別することができる。
ステップS702において、評価部104は、複数の作業者のデータから、各工程の作業時間の平均値及び分散を計算する。そして、ステップS703において、評価部104は、工程ごとに、作業者の熟練度によるクラス分けのための閾値を設定する。例えば、図8に示すように、作業時間が「平均値−1σ」(σは標準偏差)より短い人を「熟練者」、作業時間が「平均値−1σ」〜「平均値+1σ」の範囲にある人を「平均者」、作業時間が「平均値+1σ」より長い人を「新人」、というように3クラス分類してもよい。なお、閾値の設定方法やクラスの数はこれに限らず、適宜設計してよい。
ステップS704において、評価部104は、評価対象者を決定する。例えば、評価部104は、作業者ID順に順番に評価対象者を選択すればよい。あるいは、ユーザが評価対象者を指定してもよい。ステップS705において、評価部104は、評価対象者の個人平準化データから各工程の作業時間を計算し(ステップS701で計算済みであれば、その計算結果を流用してもよい)、ステップS703で設定された閾値との比較により、工程ごとの熟練度を決定する。本実施形態では、例えば、工程ごとの熟練度は、2(熟練者)、1(平均者)、0(新人)のように設定される。そして、ステップS706において、評価部104は、工程ごとの熟練度を加算することで、総合的な熟練度を計算する。例えば3つの工程が存在する場合、総合的な熟練度のスコアの最小値は0(工程ごとの熟練度がすべて0(新人)の場合)、最大値は6(工程ごとの熟練度がすべて2(熟練者)の場合)となる。
ステップS707では、評価部104が、ステップS705及びS706で計算した工程ごとの熟練度と総合的な熟練度のデータを、評価対象者の作業者ID及び評価に用いた個人平準化データの期間の情報と共にデータ蓄積部102に登録する。ここで登録されるデータを、以後、「熟練度データ」と呼ぶ。なお、データ蓄積部102には、同じ作業者に対し、個人平準化データの期間が異なる複数の熟練度データを登録できるようにしてもよい。時間の経過とともに熟練度が向上し得るからである。
ステップS708では、評価部104が、すべての作業者の処理が完了したかを確認し、未完了であればステップS704に戻り、次の作業者の熟練度の算出を行う。
(熟練者との比較)
図9を参照して、熟練者とのモデル比較の処理例を説明する。図9は、行動解析装置10によるモデル比較のフローチャートである。図9の処理は、個人平準化データ及び熟練度データが生成・登録されると実行可能となる。
ステップS900において、評価部104は、評価対象者を決定する。例えば、ユーザが評価対象者を指定してもよいし、評価部104が評価対象者を自動で選択してもよい。ステップS901では、評価部104が、データ蓄積部102から評価対象者の個人平準化データを読み込む。
また、ステップS902では、評価部104が、熟練度データに基づいて熟練者を一人選択し、その熟練者の個人平準化データをデータ蓄積部102から読み込む。例えば、総合的な熟練度が最も高い作業者を熟練者として選択してもよいし、特定の工程だけに着目するのであれば、その工程の熟練度と総合的な熟練度の両方が高い作業者を熟練者として選択してもよい。
ステップS903では、評価部104が、評価対象者の個人平準化データと熟練者の個人平準化データを比較する。そして、ステップS904において、出力部105が評価対象者の個人平準化データと熟練者の個人平準化データとの差を表す情報を出力する。例えば、図1の右側に示すように、評価対象者の個人平準化データと熟練者の個人平準化データとを時間軸上で重ねて表示してもよい。また、工程ごとの作業時間の差、全体の作業時間の差、作業時間の差が最も大きい工程を示す情報などを出力してもよい。
(本実施形態の利点)
以上述べた本実施形態の装置によれば、人の行動(位置情報の変化)の傾向を表すモデルである個人平準化データを自動で生成することができる。この個人平準化データは、例えば、人ごとの行動の差を比較する目的、人ごとの行動の特徴(良い点、悪い点、無駄な動きなど)を把握する目的、所定のエリア又は所定の行動のなかの要改善箇所を見出す目的など、さまざまな用途に利用できる。また、人が非定常な行動を行った場合に自動で検知することができるので、人の行動監視に有用である。また、人ごとの熟練度を自動かつ簡単に把握することができる。さらに、熟練者との比較により、評価対象者の行動の良し悪しの評価や、評価対象者の行動のなかの要改善箇所の検知などが可能である。例えば、管理者や監督者にこのような情報を提供することにより、要改善箇所の発見や工程改善の取組みを支援することができる。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態は、生産ラインにおける作業者の行動を解析及び評価の対象としたが、本発明は他の対象や用途にも利用可能である。他の対象になり得るのは、人が所定のエリア内で所定の行動を行うことが予定されている場合である。例えば、駅の改札や施設のゲートにおいて、通行者の行動を解析する用途にも本発明を適用可能である。
<付記1>
(1)所定のエリア内で所定の行動を行う人の位置情報を取得する取得部(101)と、
前記取得部(101)により取得された位置情報の時系列データを蓄積するデータ蓄積部(102)と、
前記時系列データから位置情報の変化の周期的なパターンを解析することによって、1周期における位置情報の平均的な変化を表すモデルを生成するデータ解析部(103)と、
を有することを特徴とする行動解析装置(10)。
1:監視システム
10:行動解析装置
11:センサ

Claims (16)

  1. 所定のエリア内で所定の行動を行う人の位置情報を取得する取得部と、
    前記取得部により取得された位置情報の時系列データを蓄積するデータ蓄積部と、
    前記時系列データから位置情報の変化の周期的なパターンを解析することによって、1周期における位置情報の平均的な変化を表すモデルを生成するデータ解析部と、
    を有することを特徴とする行動解析装置。
  2. 取得される1周期分の位置情報を前記モデルと比較することにより、非定常な行動を検知する評価部をさらに有する
    ことを特徴とする請求項1に記載の行動解析装置。
  3. 前記評価部は、前記1周期分の位置情報と前記モデルとのあいだで、対応する時点における位置情報の差、及び/又は、1周期の長さの差が所定の閾値を超えた場合に、非定常な行動と判定する
    ことを特徴とする請求項2に記載の行動解析装置。
  4. 非定常な行動を検知した場合に通知を行う出力部をさらに有する
    ことを特徴とする請求項3に記載の行動解析装置。
  5. 前記データ蓄積部は、一人又は複数の人の時系列データを蓄積するものであり、
    前記データ解析部は、人ごとに位置情報の変化の周期的なパターンを解析して、人ごとのモデルを生成し、
    前記評価部は、人ごとに前記1周期分の位置情報と前記モデルの比較を行う
    ことを特徴とする請求項2〜4のうちいずれか1項に記載の行動解析装置。
  6. 複数の人の時系列データからそれぞれ生成された複数のモデルを相対的に評価することによって、前記複数の人それぞれの前記所定の行動に対する熟練度を判定する評価部をさらに有する
    ことを特徴とする請求項1に記載の行動解析装置。
  7. 前記評価部は、さらに、判定した熟練度に基づいて前記複数のモデルの中から熟練者のモデルを選択し、評価対象者のモデルと前記熟練者のモデルとの比較を行う
    ことを特徴とする請求項6に記載の行動解析装置。
  8. 前記評価対象者のモデルと前記熟練者のモデルとの差を表す情報を出力する出力部をさらに有する
    ことを特徴とする請求項7に記載の行動解析装置。
  9. 前記評価部は、前記複数のモデルそれぞれの時間長さを相対的に評価することによって、前記複数の人の熟練度を判定する
    ことを特徴とする請求項6〜8のうちいずれか1項に記載の行動解析装置。
  10. 前記所定の行動は、1つ以上の工程からなる作業であり、
    前記評価部は、前記複数のモデルのそれぞれから工程ごとの作業時間を求め、作業時間の長さに基づくクラス分けを工程ごとに行うことによって、前記複数の人それぞれの工程ごとの熟練度を判定する
    ことを特徴とする請求項6〜9のうちいずれか1項に記載の行動解析装置。
  11. 前記取得部は、前記所定のエリアに存在する人をセンシングするセンサから取り込まれ
    る情報を基に、人の位置情報を取得する
    ことを特徴とする請求項1〜10のうちいずれか1項に記載の行動解析装置。
  12. 前記センサは、画像センサ、人感センサ、又は、人が所持するデバイスとの組み合わせで人の位置を検知するセンサである
    ことを特徴とする請求項11に記載の行動解析装置。
  13. 前記取得部は、顔認識によって前記所定の行動を行っている人を識別する
    ことを特徴とする請求項1〜12のうちいずれか1項に記載の行動解析装置。
  14. 前記取得部は、前記所定の行動を行っている人を識別するための識別情報を外部から取得する
    ことを特徴とする請求項1〜12のうちいずれか1項に記載の行動解析装置。
  15. 所定のエリア内で所定の行動を行う人の位置情報を取得するステップと、
    蓄積された位置情報の時系列データから位置情報の変化の周期的なパターンを解析することによって、1周期における位置情報の平均的な変化を表すモデルを生成するステップと、
    を有することを特徴とする行動解析方法。
  16. 請求項15に記載の行動解析方法の各ステップをプロセッサに実行させるためのプログラム。
JP2020028092A 2020-02-21 2020-02-21 行動解析装置及び行動解析方法 Pending JP2021131806A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020028092A JP2021131806A (ja) 2020-02-21 2020-02-21 行動解析装置及び行動解析方法
DE112020006780.7T DE112020006780T5 (de) 2020-02-21 2020-12-16 Verhaltensanalysevorrichtung und Verhaltensanalyseverfahren
US17/793,479 US20230065834A1 (en) 2020-02-21 2020-12-16 Behavior analysis device and behavior analysis method
PCT/JP2020/047060 WO2021166402A1 (ja) 2020-02-21 2020-12-16 行動解析装置及び行動解析方法
CN202080094471.7A CN115004203A (zh) 2020-02-21 2020-12-16 行动解析装置以及行动解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020028092A JP2021131806A (ja) 2020-02-21 2020-02-21 行動解析装置及び行動解析方法

Publications (1)

Publication Number Publication Date
JP2021131806A true JP2021131806A (ja) 2021-09-09

Family

ID=77391538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020028092A Pending JP2021131806A (ja) 2020-02-21 2020-02-21 行動解析装置及び行動解析方法

Country Status (5)

Country Link
US (1) US20230065834A1 (ja)
JP (1) JP2021131806A (ja)
CN (1) CN115004203A (ja)
DE (1) DE112020006780T5 (ja)
WO (1) WO2021166402A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1585066A3 (en) * 2000-03-31 2008-11-05 FUJIFILM Corporation Work data collection method
JP6092718B2 (ja) * 2013-06-11 2017-03-08 株式会社日立製作所 運用計画立案支援システム及び方法
CN107430397A (zh) * 2015-07-22 2017-12-01 三菱电机株式会社 活动记录装置、活动记录程序以及活动记录方法
JP6666744B2 (ja) * 2016-02-22 2020-03-18 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
JP6744025B2 (ja) * 2016-06-21 2020-08-19 日本電気株式会社 作業支援システム、管理サーバ、携帯端末、作業支援方法およびプログラム
JP2018067170A (ja) * 2016-10-20 2018-04-26 住友電装株式会社 生産管理システム及び生産管理方法
JP6824838B2 (ja) * 2017-07-07 2021-02-03 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
JP2019020913A (ja) * 2017-07-13 2019-02-07 株式会社東芝 情報処理装置、方法及びプログラム
US11599083B2 (en) * 2018-05-31 2023-03-07 Mitsubishi Electric Corporation Work analysis apparatus for analyzing work including series of actions performed by working subject

Also Published As

Publication number Publication date
WO2021166402A1 (ja) 2021-08-26
US20230065834A1 (en) 2023-03-02
DE112020006780T5 (de) 2022-12-01
CN115004203A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN108628281B (zh) 异常检测系统及异常检测方法
JP5641445B2 (ja) 監視システム、監視方法、及び監視プログラム
JP7017363B2 (ja) 異常検知装置および異常検知方法
JP6897037B2 (ja) 作業性評価装置
JP7040851B2 (ja) 異常検知装置、異常検知方法及び異常検知プログラム
JP2020507177A (ja) 定義されたオブジェクトを識別するためのシステム
US11568290B2 (en) Method for displaying, user interface unit, display device and inspection apparatus
CN110895716A (zh) 检查装置以及机器学习方法
JP2020177680A (ja) 作業分析装置、作業分析方法、及びプログラム
Umoh et al. Support vector machine-based fire outbreak detection system
CN113312696B (zh) 基于arima算法的桥梁健康状况动态预测告警方法
WO2021166402A1 (ja) 行動解析装置及び行動解析方法
Akhavian et al. Construction activity recognition for simulation input modeling using machine learning classifiers
CN110895717A (zh) 检查装置以及机器学习方法
JP2020086842A (ja) 異常検知装置、異常検知方法、制御プログラム、および記録媒体
JP2022082277A (ja) 検知プログラム、検知装置、および検知方法
JP2019215728A (ja) 情報処理装置、情報処理方法及びプログラム
JP2007313189A (ja) 動作判別装置、動作判別方法およびプログラム
JPWO2017183107A1 (ja) 非定常検出装置、非定常検出システムおよび非定常検出方法
JP5045129B2 (ja) 行動分析装置及びプログラム
CN108696722B (zh) 一种目标监测方法、系统及设备和存储介质
JP5874963B2 (ja) 移動体の動き分類方法及び移動体の動き分類システム
JP2020135099A (ja) 状態認識装置
KR20160053977A (ko) 모델 적응을 위한 장치 및 방법
KR102521000B1 (ko) 플랜트 설비 관리 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240521