JP2023132997A - 作業認識装置、作業認識方法、及び作業認識プログラム - Google Patents

作業認識装置、作業認識方法、及び作業認識プログラム Download PDF

Info

Publication number
JP2023132997A
JP2023132997A JP2022038635A JP2022038635A JP2023132997A JP 2023132997 A JP2023132997 A JP 2023132997A JP 2022038635 A JP2022038635 A JP 2022038635A JP 2022038635 A JP2022038635 A JP 2022038635A JP 2023132997 A JP2023132997 A JP 2023132997A
Authority
JP
Japan
Prior art keywords
worker
work
movement
standing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022038635A
Other languages
English (en)
Inventor
洋貴 和田
Hirotaka Wada
浩臣 音田
Hiroomi Onda
健太 西行
Kenta Nishiyuki
雅 宮崎
Masa Miyazaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2022038635A priority Critical patent/JP2023132997A/ja
Priority to PCT/JP2023/002319 priority patent/WO2023171167A1/ja
Publication of JP2023132997A publication Critical patent/JP2023132997A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Manufacturing & Machinery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】作業者が複数の作業台を移動して複数の作業を行う場合に、各作業の区切りを容易に設定することができる。【解決手段】作業認識装置は、作業者の動きに関する動き情報を取得する動き情報取得部と、前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得する作業手順取得部と、前記動き情報に基づいて、前記作業者の移動及び佇立を判定する移動佇立判定部と、前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定する区切り設定部と、設定した作業間の区切りに関する区切り情報を出力する出力部と、を備える。【選択図】図１

Description

開示の技術は、作業認識装置、作業認識方法、及び作業認識プログラムに関する。
特許文献１には、正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置であって、作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像する撮像部と、前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像部により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定部と、前記撮像部により撮像された作業動画と前記設定部により設定された前記区切情報とを含めるように前記判定用データを生成する生成部と、を備えることを特徴とする作業分析装置が開示されている。
特許文献２には、対象物に係る動作体の動作を認識するための動作認識システムであって、前記対象物の位置情報を取得する位置取得部と、位置情報とカメラを制御するためのパラメータとが対応付けられた第１の情報をもとに、前記対象物の位置情報に対応するパラメータを取得するパラメータ取得部と、前記パラメータ取得部により取得されたパラメータを前記カメラに送信するカメラ制御部と、前記カメラにより撮像された前記対象物の画像を取得する画像取得部と、位置情報と前記対象物の動作を認識するための領域を示す領域情報とが対応付けられた第２の情報をもとに、前記対象物の位置情報に対応する領域情報を取得する領域情報取得部と、前記画像取得部により取得された画像と、前記領域情報取得部により取得された領域情報とを出力する出力部と、を備える動作認識システムが開示されている。
特開２０２０－１４４８３０号公報 特開２０２１－１０６３３８号公報
工場の作業は、単一の作業台で完結することは稀であり、複数の作業台を移動して複数の作業を行う場合が多い。
しかしながら、特許文献１記載の技術は、単一の作業台で完結する作業のみを対象としており、複数の作業台を移動して複数の作業を行う場合に対しては適用が困難である、という問題があった。
また、特許文献２記載の技術は、広範囲に設置された複数のカメラを用いて作業者の大域的な位置を取得し、作業者の手及び物体にズームしたカメラで局所的な手及び物体の位置を捉えることで作業内容を認識する。
しかしながら、特許文献２記載の技術では、作業者の大局的な位置を捉えるカメラと、作業者の手及び物体にズームするカメラと、のそれぞれにおいて注視する領域を手動で設定する必要があり、手間がかかる、という問題があった。
開示の技術は、上記の点に鑑みてなされたものであり、作業者が複数の作業台を移動して複数の作業を行う場合に、各作業の区切りを容易に設定することができる作業認識装置、作業認識方法、及び作業認識プログラムを提供することを目的とする。
開示の第１態様は、作業認識装置であって、作業者の動きに関する動き情報を取得する動き情報取得部と、前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得する作業手順取得部と、前記動き情報に基づいて、前記作業者の移動及び佇立を判定する移動佇立判定部と、前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定する区切り設定部と、設定した作業間の区切りに関する区切り情報を出力する出力部と、を備える。
上記第１態様において、前記区切り設定部は、前記移動佇立判定部により前記作業者の状態が佇立から移動に切り替わったと判定した場合に、前記区切りの設定として前記作業の終了時間を前記区切り情報に記録し、前記移動佇立判定部により前記作業者の状態が移動から佇立に切り替わったと判定した場合に、前記区切りの設定として前記作業の開始時間を前記区切り情報に記録するようにしてもよい。
上記第１態様において、前記動き情報は、前記作業者を撮影した撮影画像であり、前記移動佇立判定部は、前記撮影画像に基づいて特定した前記作業者の関節の位置に基づいて、前記作業者の移動及び佇立を判定するようにしてもよい。
上記第１態様において、前記移動佇立判定部は、特定した前記作業者の全ての関節に外接する外接領域の中心位置の移動量に基づいて、前記作業者の移動及び佇立を判定するようにしてもよい。
上記第１態様において、前記移動佇立判定部は、特定した前記作業者の関節のうち体幹を示す関節の位置の移動量に基づいて、前記作業者の移動及び佇立を判定するようにしてもよい。
開示の第２態様は、作業認識方法であって、コンピュータが、作業者の動きに関する動き情報を取得し、前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得し、前記動き情報に基づいて、前記作業者の移動及び佇立を判定し、前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定し、設定した作業間の区切りに関する区切り情報を出力することを含む処理を実行する。
開示の第３態様は、作業認識プログラムであって、コンピュータに、作業者の動きに関する動き情報を取得し、前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得し、前記動き情報に基づいて、前記作業者の移動及び佇立を判定し、前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定し、設定した作業間の区切りに関する区切り情報を出力することを含む処理を実行させる。
開示の技術によれば、作業者が複数の作業台を移動して複数の作業を行う場合に、各作業の区切りを容易に設定することができる。
作業認識システムの構成図である。 作業者が複数の作業台を移動して作業を行う様子を上方から見た図である。 作業認識装置のハードウェア構成を示す構成図である。 作業認識装置の機能ブロック図である。 作業手順情報の一例を示す図である。 作業認識処理のフローチャートである。 歩行及び静止判定処理について説明するための図である。 歩行及び静止判定処理について説明するための図である。 歩行及び静止判定処理について説明するための図である。 作業の区切りについて説明するための図である。 区切り情報の一例を示す図である。 区切り情報の一例を示す図である。 区切り情報の一例を示す図である。
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。
図１は、作業認識システム１０の構成を示す。作業認識システム１０は、作業認識装置２０及びカメラ３０を備える。
作業認識装置２０は、カメラ３０で撮影された撮影画像に基づいて作業者Ｗが行う作業の作業内容を認識する。
作業者Ｗは、一例として作業台ＴＢに載置された作業の対象物Ｍを取り出して、作業スペースＳ上で所定の作業を行う。
具体的には、図２に示すように、作業者Ｗは、複数の作業台ＴＢを順次移動し、各作業台ＴＢで所定の作業を行う。図２の例では、８個の作業台ＴＢ１～ＴＢ８が作業者Ｗを囲むように配置されている。作業者Ｗは、作業台ＴＢ１～ＴＢ８まで順次移動して、作業１～１４を順次実行する。作業１～１４は一例として以下の作業であるが、作業内容はこれらに限られるものではない。
作業１：部品Ａと部品Ｂとを結合
作業２：ネジ締め
作業３：基板嵌め込み
作業４：圧着
作業５：電気検査
作業６：部品Ｃ装着
作業７：部品Ｄ装着
作業８：エアブラシ
作業９：検査
作業１０：説明書梱包
作業１１：製品箱詰め
作業１２：ラベル印刷
作業１３：ラベル貼り
作業１４：運搬ボックスに格納
図２に示すように、作業者Ｗは、作業台ＴＢ１で作業１、２を行い、作業台ＴＢ２で作業３、４を行い、作業台ＴＢ３で作業５を行い、作業台ＴＢ４で作業６、７を行い、作業台ＴＢ５で作業８、９を行い、作業台ＴＢ６で作業１０、１１を行い、作業台ＴＢ７で作業１２、１３を行い、作業台ＴＢ８で作業１４を行う。
以下では、複数の作業台を区別しない場合は単に作業台ＴＢと称する場合がある。なお、複数の作業台ＴＢの配置及び作業台ＴＢの数並びに作業の種類及び作業の数は図２の例に限られるものではない。
カメラ３０は、例えばＲＧＢのカラー動画像を撮影可能な撮影装置である。カメラ３０は、作業者Ｗの動き及び作業台ＴＢ１～ＴＢ８全体を認識しやすい位置に設置される。具体的には、本実施形態では、一例として図２に示すように作業者Ｗ及び作業台ＴＢ１～ＴＢ８を上方から見下ろす位置にカメラ３０が設置されている場合について説明する。なお、作業台ＴＢ１～ＴＢ８が横一列に配置されているような場合は、作業者Ｗ及び作業台ＴＢ１～ＴＢ８を正面から撮影可能な位置にカメラ３０に配置してもよい。
また、本実施形態では、カメラ３０が１台の場合について説明するが、複数台のカメラ３０を設けた構成としてもよい。
図３は、本実施形態に係る作業認識装置２０のハードウェア構成を示すブロック図である。図３に示すように、作業認識装置２０は、コントローラ２１を備える。コントローラ２１は、一般的なコンピュータを含む装置で構成される。
図３に示すように、コントローラ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）２１Ｄを備える。そして、ＣＰＵ２１Ａ、ＲＯＭ２１Ｂ、ＲＡＭ２１Ｃ、及びＩ／Ｏ２１Ｄがバス２１Ｅを介して各々接続されている。バス２１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。
また、Ｉ／Ｏ２１Ｄには、操作部２２、表示部２３、通信部２４、及び記憶部２５が接続されている。
操作部２２は、例えばマウス及びキーボードを含んで構成される。
表示部２３は、例えば液晶ディスプレイ等で構成される。
通信部２４は、カメラ３０等の外部装置とデータ通信を行うためのインターフェースである。
記憶部２５は、ハードディスク等の不揮発性の外部記憶装置で構成される。図３に示すように、記憶部２５は、作業認識プログラム２５Ａ、作業手順情報２５Ｂ、及び区切り情報２５Ｃ等を記憶する。
ＣＰＵ２１Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）、又は、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。
なお、作業認識プログラム２５Ａは、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、作業認識装置２０に適宜インストールすることで実現してもよい。
不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。
図４は、作業認識装置２０のＣＰＵ２１Ａの機能構成を示すブロック図である。図４に示すように、ＣＰＵ２１Ａは、機能的には、動き情報取得部４０、作業手順取得部４１、移動佇立判定部の一例としての歩行静止判定部４２、区切り設定部４３、及び出力部４４の各機能部を備える。ＣＰＵ２１Ａは、記憶部２５に記憶された作業認識プログラム２５Ａを読み込んで実行することにより各機能部として機能する。
動き情報取得部４０は、作業者Ｗの動きに関する動き情報を取得する。具体的には、動き情報取得部４０は、カメラ３０が作業者Ｗ及び作業台ＴＢ１～ＴＢ８を撮影した撮影画像を動き情報として取得する。なお、カメラ３０に代えて、モーションセンサ等を用いて作業者Ｗの動き情報を取得してもよい。
作業手順取得部４１は、作業者Ｗが複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報２５Ｂを記憶部２５から読み出すことにより取得する。図５に示すように、作業手順情報２５Ｂは、作業台ＴＢと作業台ＴＢで行われる作業内容との対応関係を表すテーブルデータである。作業手順情報２５Ｂは、予め記憶部２５に記憶される。
歩行静止判定部４２は、動き情報に基づいて、作業者Ｗの歩行及び静止を判定する。なお、静止とは、歩行していない状態をいう。従って、作業者Ｗの歩行及び静止を判定するとは、具体的には作業者Ｗが歩行しているか否かを判定することであり、歩行していないと判定した場合は作業者Ｗが静止していると判定する。また、静止とは、作業者Ｗの身体全体が静止している状態を指すものではない。従って、作業者Ｗが同じ場所で作業を行っている状態は、作業者Ｗは静止している状態であるとする。なお、歩行は移動の一例であり、静止は佇立の一例である。ここで、移動とは、歩行の他に小走り等の状態も含む概念である。また、佇立とは、移動していない状態をいい、作業者Ｗの身体が全く動かない状態だけでなく、その場で動いている状態を含む概念である。
歩行静止判定部４２は、動き情報取得部４０が取得した動き情報としての撮影画像に基づいて、作業者Ｗの関節の位置を特定する。そして、特定した作業者Ｗの関節の位置に基づいて、作業者Ｗの歩行及び静止を判定する。
具体的には、歩行静止判定部４２は、特定した作業者Ｗの全ての関節に外接する外接領域、すなわちバウンディングボックスの中心位置の移動量に基づいて、作業者Ｗの歩行及び静止を判定する。本実施形態では、バウンディングボックスは、作業者Ｗの全ての関節に外接する長方形又は正方形等の矩形形状をいうが、バウンディングボックスの形状はこれに限られるものではない。
作業者Ｗの関節を特定する方法としては、下記参考文献１に記載されたＯｐｅｎＰｏｓｅと呼ばれる公知の手法を用いることができる。ＯｐｅｎＰｏｓｅでは、撮影画像から作業者Ｗの骨格情報を検出することが可能である。具体的には、骨格情報は、作業者Ｗの体の部位及び関節等の特徴点の座標と、各特徴点を接続するリンクが定義されたリンク情報と、特徴点の身体の部位を表すラベルと、を含む。例えば特徴点は、作業者Ｗの目及び鼻等の顔の部位、首、肩、肘、手首、腰、膝、及び足首等の関節等を含む。
ＯｐｅｎＰｏｓｅでは、撮影画像を入力とし、骨格情報を出力とする学習モデルを、多数の撮影画像を教師データとして学習した学習済みモデルを用いる。このような学習済みモデルを得る学習方法としては、例えばＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等の公知の方法が用いられる。
（参考文献１） "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, and Yaser Sheikh, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.
なお、歩行静止判定部４２は、特定した作業者Ｗの関節のうち体幹を示す関節の位置の移動量に基づいて、作業者Ｗの歩行及び静止を判定するようにしてもよい。
区切り設定部４３は、作業手順取得部４１が取得した作業手順情報２５Ｂ及び歩行静止判定部４２による作業者Ｗの歩行及び静止の判定結果に基づいて、一連の作業における作業間の区切りを設定する。ここで、作業間の区切りとは、各作業の開始時間及び終了時間をいう。
出力部４４は、設定した作業間の区切りに関する区切り情報２５Ｃを出力する。区切り情報２５Ｃは、作業内容、作業の開始時間、及び作業の終了時間の対応関係を表すテーブルデータである。区切り情報２５Ｃの詳細については後述する。
次に、作業認識装置２０のＣＰＵ２１Ａで実行される作業認識処理について、図６に示すフローチャートを参照して説明する。
ステップＳ１００では、ＣＰＵ２１Ａが、作業者Ｗが作業台ＴＢ１～ＴＢ８において一連の作業１～１４を実行した様子をカメラ３０が撮影した動画像を取得する。
ステップＳ１０１では、ＣＰＵ２１Ａが、記憶部２５に記憶された作業手順情報２５Ｂを読み込むことにより取得する。
ステップＳ１０２では、ＣＰＵ２１Ａが、ステップＳ１００で取得した動画像に基づいて、一連の作業の開始時間を特定する。例えば、動画像を再生してオペレータに作業者Ｗが作業台ＴＢ１で作業１を開始した開始時間を指定させてもよいし、画像認識処理により作業者Ｗが作業台ＴＢ１で作業１を開始した開始時間を特定してもよい。
ステップＳ１０３では、ＣＰＵ２１Ａが、ステップＳ１００で取得した動画像に基づいて、作業者Ｗの歩行及び静止を判定する。すなわち作業者Ｗが歩行している状態なのか、静止している状態なのかを判定する。具体的には、ステップＳ１００で取得した動画像から時間的に連続する複数のフレーム画像を取り出し、取り出した複数のフレーム画像の各々について、前述したＯｐｅｎＰｏｓｅを用いた処理を実行することにより作業者Ｗの関節の位置を特定する。そして、複数のフレーム画像の各々について、特定した作業者Ｗの全ての関節に外接するバウンディングボックスの中心位置の移動量に基づいて、作業者Ｗが複数のフレーム画像の中で歩行したか否かを判定する。なお、本実施形態では、前述したように、作業者が歩行していない状態を静止している状態とする。
以下では、図７に示すように、４フレーム分のフレーム画像Ｆ１～Ｆ４に基づいて作業者Ｗが歩行したか否かを判定する場合について説明する。また、以下では、説明を簡単にするために、図７に示すように作業台ＴＢ１とＴＢ２がＸ方向に隣接して配置されている場合について説明する。なお、歩行したか否かの判定に用いるフレーム画像の数は４フレームに限られるものではない。
図７に示すように、フレーム画像Ｆ１～Ｆ４に対してＯｐｅｎＰｏｓｅを用いた処理を実行することにより作業者Ｗの関節Ｊの位置及び各関節Ｊを接続するリンクＬの情報が得られる。
そして、図８に示すように、フレーム画像Ｆ１～Ｆ４について、作業者Ｗの全ての関節Ｊに外接するバウンディングボックスＢ１～Ｂ４を求め、求めたバウンディングボックスＢ１～Ｂ４のＸ方向における中心位置Ｘ１～Ｘ４を算出する。図８の例では、Ｘ１＝１５、Ｘ２＝１３、Ｘ３＝１４、Ｘ４＝１４である。
次に、フレーム画像間における中心位置のＸ方向における移動量及び移動方向を求める。具体的には、フレーム画像Ｆ１とＦ２間における中心位置のＸ方向における移動量Ｍ１２、フレーム画像Ｆ２とＦ３間における中心位置のＸ方向における移動量Ｍ２３、フレーム画像Ｆ３とＦ４間における中心位置のＸ方向におけるＸ方向の移動量Ｍ３４を算出する。図８の例では、Ｍ１２＝－２、Ｍ２３＝１、Ｍ３４＝０である。
また、フレーム画像Ｆ１とＦ２間における中心位置のＸ方向における移動方向Ｄ１２、フレーム画像Ｆ２とＦ３間における中心位置のＸ方向における移動方向Ｄ２３、フレーム画像Ｆ３とＦ４間における中心位置のＸ方向における移動方向Ｄ３４を算出する。移動方向が右方向の場合はＲ、左方向はＬ、移動量が０の場合をＮとすると、図８の例では、Ｄ１２＝Ｌ、Ｄ２３＝Ｒ、Ｄ３４＝Ｎである。
そして、フレーム画像間における中心位置のＸ方向における移動量及び移動方向に基づいて、作業者Ｗが歩行したか否かを判定するための歩行条件を満たしたか否かを判定する。具体的には、歩行条件は、移動量Ｍ１２、Ｍ２３、Ｍ３４の全てが予め定めた閾値以上で、且つ、移動方向Ｄ１２、Ｄ２３、Ｄ３４の全てが次の作業を行う作業台の方向であるＲの場合である。この歩行条件を満たした場合に、作業者Ｗが次の作業を行う作業台ＴＢ２に向かって歩行したと判定する。閾値は、作業者Ｗが歩行したと判定できる値に設定され、例えば作業者Ｗの動きとフレーム画像における移動量との関係を予め測定した測定結果等に基づいて予め設定される。本実施形態では一例として閾値を「２」とする。従って、図８の例では、上記歩行条件を満たさないため、作業者Ｗは作業台ＴＢ１から作業台ＴＢ２に向かって歩行していないと判定する。すなわち静止していると判定する。
図９に、作業者Ｗが作業台ＴＢ１から作業台ＴＢ２に向かって歩行したと判定される場合の例を示す。図９の例では、Ｘ１＝１５、Ｘ２＝２６、Ｘ３＝５４、Ｘ４＝５８である。また、Ｍ１２＝１１、Ｍ２３＝２８、Ｍ３４＝４である。また、Ｄ１２＝Ｄ２３＝Ｄ３４＝Ｒである。この場合、上記の歩行条件を満たすため、作業者Ｗが作業台ＴＢ１からＴＢ２に向かって歩行したと判定する。
このように、４フレーム毎に作業者Ｗが次の作業台ＴＢに向かって歩行したか否かを判定する。
ステップＳ１０４では、ＣＰＵ２１Ａが、ステップＳ１０３の歩行及び静止が切り替わったか否かを判定する。すなわち、前回のステップＳ１０３で判定した作業者Ｗの状態から今回のステップＳ１０３で判定した作業者Ｗの状態が歩行から静止に切り替わったか否か及び静止から歩行に切り替わったか否かを判定する。
そして、歩行から静止に切り替わった場合又は静止から歩行に切り替わった場合はステップＳ１０５へ移行する。一方、歩行のままの場合又は静止のままの場合は、ステップＳ１０６へ移行する。
ステップＳ１０５では、ＣＰＵ２１Ａが、歩行から静止に切り替わった時間又は静止から歩行に切り替わった時間を作業間の区切りとして設定する。そして、歩行から静止に切り替わったタイミングが区切りとして設定された場合に、作業者Ｗが次の作業台に移動したと判定する。
例えば図１０に示すように、４フレーム毎に作業者Ｗが歩行したか否かを判定した結果、静止から歩行に切り替わる時間ｔ１、歩行から静止に切り替わる時間ｔ２、静止から歩行に切り替わる時間ｔ３を作業者Ｗの動作の区切りとして設定する。具体的には、静止から歩行に切り替わった時間を作業終了時間として設定し、歩行から静止に切り替わった時間を作業開始時間として設定し、区切り情報２５Ｃに記録する。
区切り情報２５Ｃは、例えば図１１に示すように、作業Ｎｏと、作業開始時間と、作業終了時間と、の対応関係を示すテーブルデータである。
図１０に示すように、ステップＳ１０２で特定した作業１の開始時間ｔ０から静止状態が継続し、ｔ１で歩行に切り替わる。図５に示す作業手順情報２５Ｂを参照すると、作業台ＴＢ１における作業内容は、作業１、２であるため、ｔ０からｔ１までは作業１、２が実行されたと考えられる。従って、図１１に示すように、作業１の開始時間として「００：００：００」を記録し、作業２の終了時間としてｔ１の時間である「００：００：５８」を記録する。すなわち、この場合の作業１、２の作業時間は５８秒である。
また、図１０に示すように、歩行から静止に切り替わったｔ２は、作業３の開始時間であると考えられる。また、図５に示す作業手順情報２５Ｂを参照すると、作業台ＴＢ２における作業内容は、作業３、４であるため、静止から歩行に切り替わったｔ３は作業４が終了した時間であると考えられる。従って、図１１に示すように、作業３の開始時間としてｔ２の時間である「００：０１：０５」を記録し、作業４の終了時間としてｔ３の時間である「００：０２：０５」を記録する。この場合、作業者Ｗが作業２を終了して作業台ＴＢ１から作業台ＴＢ２まで移動する移動時間が７秒、作業３、４の作業時間が１分となる。
また、作業者Ｗの状態が歩行から静止に切り替わったタイミングｔ２は、作業者Ｗが作業台ＴＢ１から作業台ＴＢ２に移動したタイミングであるため、ｔ２のタイミングが検出された場合に、作業者Ｗが作業台ＴＢ１から作業台ＴＢ２に移動したと判定することができる。
ここで、図１１に示すように、作業台ＴＢ１では、２つの作業１、２が行われることから、作業１の終了時間Ａ、作業２の開始時間Ｂは不明である。同様に、作業台ＴＢ２では、２つの作業３、４が行われることから、作業３の終了時間Ｃ、作業４の開始時間Ｄは不明である。
そこで、１つの作業台で複数の作業が行われる場合は、複数の作業の最初の作業の開始時間から最後の作業の終了時間までの作業時間を、作業の数で除算することにより、各作業の開始時間及び終了時間を記録する。
図１０の例では、作業１、２の作業時間は５８秒であり、作業の数は２である。従って、図１２に示すように、５８／２＝２９秒が作業１の終了時間となる。また、作業２も作業１と同じ作業台ＴＢ２で行われるので、作業２の開始時間も作業１の終了時間と同じ２９秒とする。
ステップＳ１０６では、ＣＰＵ２１Ａが、一連の作業の全ての作業について区切り情報２５Ｃへの記録が終了したか否かを判定する。具体的には、作業手順情報２５Ｂを参照して一連の作業の作業数を取得し、取得した作業数の作業の開始時間及び終了時間が全て区切り情報２５Ｃに記録されたか否かを判定する。例えば図１３に示すように、作業１～１４の全てについて開始時間及び終了時間が記録されたか否かを判定する。
そして、図１３の例のように、一連の作業の全ての作業について区切り情報２５Ｃへの記録が終了した場合はステップＳ１０７へ移行する。一方、一連の作業の全ての作業について区切り情報２５Ｃへの記録が終了していない場合はステップＳ１０３へ移行する。
ステップＳ１０７では、ＣＰＵ２１Ａが、全ての作業の開始時間及び終了時間が記録された区切り情報２５Ｃを記憶部２５に出力し、記憶する。
ステップＳ１０８では、ＣＰＵ２１Ａが、ステップＳ１００で取得した動画像にオペレータがアノテーションを付与するための編集処理を受け付け、オペレータの操作に応じて動画像を編集する編集処理を実行する。このとき、区切り情報２５Ｃを用いることにより、各作業の開始時間等に容易に動画像の再生位置を切り替えることができるため、アノテーションの編集作業の負担が軽減される。
このように、本実施形態では、作業者Ｗの作業を撮影した動画像に基づいて、作業者Ｗの状態が歩行から静止に切り替わったタイミング及び静止から歩行に切り替わったタイミングを作業の区切りとして設定するので、作業者Ｗが複数の作業台ＴＢで作業を行う場合に、作業の区切りを容易に設定することができる。
なお、本実施形態では、作業者Ｗの全ての関節に外接するバウンディングボックスのＸ方向における中心位置の移動量に基づいて作業者Ｗが歩行したか否かを判定する場合について説明したが、作業台ＴＢを移動する際の作業者Ｗの移動量がＸ方向よりもＹ方向の方が大きい場合は、バウンディングボックスのＹ方向における中心位置の移動量に基づいて作業者Ｗが歩行したか否かを判定するようにしてもよい。また、バウンディングボックスの重心位置を算出し、算出した重心位置のＸＹ平面における移動量に基づいて作業者Ｗが歩行したか否かを判定するようにしてもよい。
また、本実施形態では、作業者Ｗの全ての関節に外接するバウンディングボックスのＸ方向における中心位置の移動量に基づいて作業者Ｗが歩行したか否かを判定する場合について説明したが、歩行の判定方法はこれに限られない。例えば、作業者Ｗの関節のうち体幹を示す関節の位置の移動量に基づいて、作業者Ｗが歩行したか否かを判定するようにしてもよい。作業者Ｗが行う作業において動きが大きいのは腕及び手の部分であり、体幹の位置はほとんど動かないと考えられるためである。体幹を示す関節とは、例えば頭、首、腰の関節である。この場合、頭、首、腰の関節のＸ方向における平均位置を算出し、算出した平均位置の移動量に基づいて作業者Ｗが歩行したか否かを判定すればよい。
なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
また、上各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した作業認識処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の認識の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、作業認識処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
１０ 作業認識システム
２０ 作業認識装置
２１ コントローラ
２２ 操作部
２３ 表示部
２４ 通信部
２５ 記憶部
２５Ａ 作業認識プログラム
２５Ｂ 作業手順情報
２５Ｃ 区切り情報
３０ カメラ
４０ 動き情報取得部
４１ 作業手順取得部
４２ 歩行静止判定部
４３ 区切り設定部
４４ 出力部

Claims (7)

  1. 作業者の動きに関する動き情報を取得する動き情報取得部と、
    前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得する作業手順取得部と、
    前記動き情報に基づいて、前記作業者の移動及び佇立を判定する移動佇立判定部と、
    前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定する区切り設定部と、
    設定した作業間の区切りに関する区切り情報を出力する出力部と、
    を備えた作業認識装置。
  2. 前記区切り設定部は、前記移動佇立判定部により前記作業者の状態が佇立から移動に切り替わったと判定した場合に、前記区切りの設定として前記作業の終了時間を前記区切り情報に記録し、前記移動佇立判定部により前記作業者の状態が移動から佇立に切り替わったと判定した場合に、前記区切りの設定として前記作業の開始時間を前記区切り情報に記録する
    請求項１記載の作業認識装置。
  3. 前記動き情報は、前記作業者を撮影した撮影画像であり、
    前記移動佇立判定部は、前記撮影画像に基づいて特定した前記作業者の関節の位置に基づいて、前記作業者の移動及び佇立を判定する
    請求項１記載の作業認識装置。
  4. 前記移動佇立判定部は、特定した前記作業者の全ての関節に外接する外接領域の中心位置の移動量に基づいて、前記作業者の移動及び佇立を判定する
    請求項３記載の作業認識装置。
  5. 前記移動佇立判定部は、特定した前記作業者の関節のうち体幹を示す関節の位置の移動量に基づいて、前記作業者の移動及び佇立を判定する
    請求項３記載の作業認識装置。
  6. コンピュータが、
    作業者の動きに関する動き情報を取得し、
    前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得し、
    前記動き情報に基づいて、前記作業者の移動及び佇立を判定し、
    前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定し、
    設定した作業間の区切りに関する区切り情報を出力する
    ことを含む処理を実行する作業認識方法。
  7. コンピュータに、
    作業者の動きに関する動き情報を取得し、
    前記作業者が複数の作業台で行う一連の作業の予め定められた作業手順に関する作業手順情報を取得し、
    前記動き情報に基づいて、前記作業者の移動及び佇立を判定し、
    前記作業手順情報及び前記作業者の移動及び佇立の判定結果に基づいて、前記一連の作業における作業間の区切りを設定し、
    設定した作業間の区切りに関する区切り情報を出力する
    ことを含む処理を実行させる作業認識プログラム。
JP2022038635A 2022-03-11 2022-03-11 作業認識装置、作業認識方法、及び作業認識プログラム Pending JP2023132997A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022038635A JP2023132997A (ja) 2022-03-11 2022-03-11 作業認識装置、作業認識方法、及び作業認識プログラム
PCT/JP2023/002319 WO2023171167A1 (ja) 2022-03-11 2023-01-25 作業認識装置、作業認識方法、及び作業認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022038635A JP2023132997A (ja) 2022-03-11 2022-03-11 作業認識装置、作業認識方法、及び作業認識プログラム

Publications (1)

Publication Number Publication Date
JP2023132997A true JP2023132997A (ja) 2023-09-22

Family

ID=87936578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022038635A Pending JP2023132997A (ja) 2022-03-11 2022-03-11 作業認識装置、作業認識方法、及び作業認識プログラム

Country Status (2)

Country Link
JP (1) JP2023132997A (ja)
WO (1) WO2023171167A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528280B2 (ja) * 2015-12-28 2019-06-12 株式会社エクォス・リサーチ 移動体
JP7019796B2 (ja) * 2018-03-30 2022-02-15 株式会社日立製作所 身体機能自立支援装置およびその方法
JP7275983B2 (ja) 2019-02-28 2023-05-18 株式会社デンソーウェーブ 作業分析装置及び作業分析プログラム
JP7234787B2 (ja) * 2019-05-09 2023-03-08 オムロン株式会社 作業分析装置、作業分析方法およびプログラム
JP7332465B2 (ja) 2019-12-26 2023-08-23 株式会社日立製作所 動作認識システム、動作認識装置、および領域設定方法
JP7320479B2 (ja) 2020-08-27 2023-08-03 グローブライド株式会社 魚釣用リール及びバックラッシュ修正作業状態判定装置

Also Published As

Publication number Publication date
WO2023171167A1 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
JP4792824B2 (ja) 動作分析装置
CN111626105B (zh) 姿态估计方法、装置及电子设备
US20180336733A1 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
WO2018235219A1 (ja) 自己位置推定方法、自己位置推定装置および自己位置推定プログラム
JP2010113530A (ja) 画像認識装置及びプログラム
JP2019159885A (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP2007071835A (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
WO2023171167A1 (ja) 作業認識装置、作業認識方法、及び作業認識プログラム
JP2020126383A (ja) 動体検出装置、動体検出方法、動体検出プログラム
CN117444450A (zh) 一种焊缝焊接方法、电子设备和存储介质
JP2007048232A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN118829982A (zh) 作业识别装置、作业识别方法以及作业识别程序
WO2023176162A1 (ja) 作業認識装置、作業認識方法、及び作業認識プログラム
CN113192127B (zh) 一种图像处理方法、装置、电子设备和存储介质
JP7447238B2 (ja) 画像表示装置、画像表示方法、及びプログラム
JP6904315B2 (ja) 情報処理装置、制御システム、情報処理方法およびプログラム
WO2023176163A1 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム
WO2024018857A1 (ja) 作業認識装置、作業認識方法、及び作業認識プログラム
WO2024029411A1 (ja) 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム
WO2023090274A1 (ja) 作業認識装置、作業認識方法、及び作業認識プログラム
JP2020021170A (ja) 特定装置、特定方法及び特定プログラム
CN118843876A (zh) 作业识别装置、作业识别方法和作业识别程序
JP2020077397A (ja) 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体
WO2023171184A1 (ja) 動画像集約装置、動画像集約方法、及び動画像集約プログラム
JPH11175692A (ja) 関節の動きデータ収集装置