JP2023041969A - 作業分析装置および作業分析方法 - Google Patents
作業分析装置および作業分析方法 Download PDFInfo
- Publication number
- JP2023041969A JP2023041969A JP2023016323A JP2023016323A JP2023041969A JP 2023041969 A JP2023041969 A JP 2023041969A JP 2023016323 A JP2023016323 A JP 2023016323A JP 2023016323 A JP2023016323 A JP 2023016323A JP 2023041969 A JP2023041969 A JP 2023041969A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- work
- posture
- analysis
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 143
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000036544 posture Effects 0.000 claims description 159
- 238000000034 method Methods 0.000 claims description 45
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 2
- 230000008685 targeting Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 22
- 230000014759 maintenance of location Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000012800 visualization Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Manufacturing & Machinery (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができるようにする。【解決手段】映像の各フレーム画像から作業者の関節位置を推定して、その推定結果に基づいて、各フレーム画像における作業者の姿勢がトリガ姿勢に該当するか否かを判定して姿勢検知情報を記憶し、その姿勢検知情報に基づいて、作業者の作業状況に関する分析として、作業時間および滞留時間を計測する。【選択図】図12
Description
本発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法に関するものである。
工場では、作業者の作業状況を分析して、その分析結果に基づいて、作業の手順などを見直すことで、作業効率の向上を図ることができる。このため、作業者の作業状況に関する分析を効率的に行うことができる技術が望まれる。
このような作業者の作業状況を分析する技術として、従来、作業者が作業している様子をカメラで撮影し、その撮影した画像内の所定の位置に所定の画像パターンが存在する画像を抽出し、その抽出した画像が撮影されたタイミングを工程の区切りと判断して、抽出した画像の時間間隔を作業時間として計測する技術が知られている(特許文献1参照)。
さて、従来の技術では、作業に関係する物体(例えば瓶)が画像内の決まった位置に決まった状態で出現することに着目して、分析を行うようにしているが、物体の持ち方は作業者に応じて異なるため、画像パターンおよびその出現位置を作業者ごとに逐一指定しないと、精度の高い処理を行うことができない。このため、対象となる作業者がかなりの人数に達する場合には、分析のための管理者の設定業務に膨大な手間を要するという問題があった。
そこで、本発明は、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる作業分析装置および作業分析方法を提供することを主な目的とする。
本発明の作業分析装置は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。
また、本発明の作業分析方法は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。
本発明によれば、作業者の作業の様子を撮影した映像に対応させて滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができ、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。
前記課題を解決するためになされた第1の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。
これによると、作業者の作業の様子を撮影した映像に対応させて滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができ、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。
また、第1の発明は、前記プロセッサは、学習用の映像と、その映像に映る作業者の関節位置に関する情報、および作業者が定型姿勢をとっているか否かを表す情報と、に基づいて、作業者の関節位置および姿勢に関する機械学習を行って、関節位置推定用の学習情報および定型姿勢判定用の学習情報を取得し、前記関節位置推定用の学習情報に基づいて、前記関節位置の推定を行い、その推定結果と前記定型姿勢判定用の学習情報とに基づいて、前記定型姿勢の判定を行う構成とする。
これによると、関節位置の推定および定型姿勢の判定を精度よく行うことができる。なお、機械学習は、作業分析装置とは別の装置で行うようにしてもよい。
また、第3の発明は、前記プロセッサは、熟練者の作業時間を標準時間として取得して、前記作業時間と前記標準時間とを比較して、前記分析情報として、作業者の作業効率性を評価した評価情報を取得する構成とする。
これによると、各作業者の作業効率性の評価結果を管理者に提示することができる。このため、管理者が、各作業者の作業効率性を容易に把握することができる。
また、第4の発明は、前記プロセッサは、複数の作業者ごとに前記定型姿勢の判定を行い、その作業者ごとの判定結果に基づいて、作業者ごとの前記分析情報を生成し、その作業者ごとの分析情報を統計処理して、作業者ごとの作業状況に関する統計情報を生成する構成とする。
これによると、作業者ごとの作業状況を管理者が容易に比較することができる。
また、第5の発明は、前記プロセッサは、作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定し、判定した定形姿勢に応じた前記分析情報を生成する構成とする。
これによると、分析の精度を向上させ、また、多様な分析が可能になる。例えば、工程ごとに異なる姿勢を定形姿勢とすることで、作業中の工程を識別することができる。また、作業開始時と作業終了時とで異なる姿勢を定形姿勢とすることで、作業開始のタイミングと作業終了のタイミングとを識別することができる。
また、第6の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。
これによると、第1の発明と同様に、作業者の作業の様子を撮影した映像に対応させて滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができ、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る作業分析システムの全体構成図である。
この作業分析システムは、工場などにおける作業者の作業状況を分析して、その分析結果を管理者に提示するものであり、カメラ1と、レコーダ2と、サーバ3(作業分析装置)と、管理者端末4と、を備えている。
カメラ1は、作業者が持ち場で作業を行う様子を撮影する。
レコーダ2は、カメラ1から出力される映像を録画する。
サーバ3は、カメラ1またはレコーダ2から映像を取得して、その映像に基づいて、作業者の作業状況に関する分析を行って、その分析結果を出力する。
管理者端末4は、システム管理者や作業管理者が使用するものであり、PCやタブレット端末などで構成される。この管理者端末4では、サーバ3で行われる処理に関する各種の設定の操作をシステム管理者が行う。また、管理者端末4では、サーバ3から出力される分析結果を表示して作業管理者が閲覧する。
なお、サーバ3で行われる処理は、撮影と同時に行うリアルタイム処理でも、撮影後に行う事後処理でもよい。リアルタイム処理を行う場合には、カメラ1とサーバ3と管理者端末4とをネットワーク接続すればよい。また、事後処理のみを行う場合には、適宜な記憶媒体を介して、レコーダ2に蓄積した映像をサーバ3に転送するようにしてもよい。
次に、サーバ3で行われる分析処理について説明する。図2は、分析処理の概要を示す説明図である。
サーバ3では、作業者の作業状況を撮影した映像の各フレーム画像において、作業者が持ち場(担当エリア)にいるか否かを判定し、その判定結果に基づいて、作業者が持ち場にいる時間(滞留時間)を計測する。
具体的には、映像に作業者が出現すると、作業者が持ち場にいるものと判断して、映像から作業者を検出できない不在状態から、映像から作業者を検出できる滞留状態に変化したタイミングを滞留開始時刻とし、滞留状態から不在状態に変化したタイミングを滞留終了時刻として、滞留開始時刻から滞留終了時刻までの時間を滞留時間として取得する。
また、サーバ3では、映像の各フレーム画像において、作業者が所定のトリガ姿勢(定型姿勢)をとったか否かを判定し、その判定結果に基づいて、持ち場で作業者が実際に作業している時間(作業時間)を計測する。
本実施形態では、挙手をトリガ姿勢としており、作業者は、作業を開始する際に挙手し、また、作業を終了した際に挙手する。そして、作業中でない状態でトリガ姿勢を検知したタイミングを作業開始時刻とし、作業中である状態でトリガ姿勢を検知したタイミングを作業終了時刻として、作業開始時刻から作業終了時刻までの時間を作業時間として取得する。
なお、本実施形態では、作業者が作業開始時と作業終了時とで同一のトリガ姿勢(挙手)をとるようにしたが、作業開始時と作業終了時とで異なるトリガ姿勢をとるようにしてもよい。また、複数の工程の作業を順次行う場合には、工程の区切りとなるタイミング、例えば、各工程の作業を開始する際に、作業者がトリガ姿勢をとるようにしてもよい。
次に、サーバ3で行われるトリガ姿勢検知について説明する。図3は、トリガ姿勢検知の概要を示す説明図である。
本実施形態では、作業者の作業状況を撮影した映像の各フレーム画像において、作業者の身体の関節位置を推定して、その関節位置に基づいて、作業者の姿勢がトリガ姿勢(挙手)に該当するか否かを判定する。
図3に示す例では、作業者の下半身が隠れて見えないため、作業者の上半身に8つの関節位置(頭頂部、首、両肩、両肘、および両手首)が設定されている。なお、作業者の全身が映る場合には、上半身の8つの関節位置の他に、下半身の6つの関節位置(両股関節、両膝、および両足首)を加えて、合計で14個の関節位置を設定するようにしてもよい。
なお、本実施形態では、挙手をトリガ姿勢としたが、トリガ姿勢は挙手に限定されない。例えば、直立姿勢をトリガ姿勢としてもよい。また、このような作業と直接関係ない姿勢ではなく、作業中に作業者が必ずとる姿勢をトリガ姿勢としてもよい。例えば、溶接作業において作業者がフェイスガード用のマスクを顔に近づけた時の姿勢をトリガ姿勢としてもよい。また、計器を指差し確認する時の姿勢をトリガ姿勢としてもよい。また、部品ケースから部品を取り出す時の姿勢をトリガ姿勢としてもよい。
また、トリガ姿勢を複数設定して、作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定して、検知された定形姿勢に応じた分析を行うようにしてもよい。例えば、工程ごとに異なる姿勢を定形姿勢とすることで、工程を識別することができる。また、作業開始時と作業終了時とで異なる姿勢を定形姿勢とすることで、作業開始のタイミングと作業終了のタイミングとを識別することができる。
次に、サーバ3の概略構成について説明する。図4は、サーバ3の概略構成を示すブロック図である。
サーバ3は、映像入力部11と、画面出力部12と、記憶部13と、制御部14と、を備えている。
映像入力部11では、リアルタイム処理の場合には、カメラ1で撮影された映像が入力され、事後処理の場合にはレコーダ2で録画された映像が入力される。
画面出力部12では、制御部14で生成した分析結果表示画面が出力され、管理者端末4に分析結果表示画面が表示される。
記憶部13は、制御部14を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部13は、映像入力部11で取得した映像(学習用の映像および分析用の映像)を記憶する。また、記憶部13は、制御部14で生成した関節位置推定モデルおよび姿勢クラス推定モデル(学習情報)、姿勢検知情報、および分析情報を記憶する。
制御部14は、姿勢学習部21と、姿勢検知部22と、分析部23と、分析結果可視化部24と、を備えている。この制御部14は、プロセッサで構成され、制御部14の各部は、記憶部13に記憶されたプログラムをプロセッサで実行することで実現される。
姿勢学習部21では、学習用の映像を用いた機械学習により、関節位置推定モデル(関節位置推定用の学習情報)および姿勢クラス推定モデル(定型姿勢判定用の学習情報)を生成する。
姿勢検知部22では、姿勢学習部21で取得した関節位置推定モデルおよび姿勢クラス推定モデルを用いて、分析用の映像から作業者の関節位置を推定して、その推定結果に基づいて、作業者がトリガ姿勢をとっているか否かを判定して、関節位置の推定結果およびトリガ姿勢の判定結果を含む姿勢検知情報を取得する。
分析部23では、姿勢検知部22で取得した姿勢検知情報に基づいて、作業者の作業状況に関する分析情報を生成する。
分析結果可視化部24では、分析部23で取得した分析情報を可視化して管理者に提示する。本実施形態では、分析結果表示画面を生成して管理者端末4に表示する。
次に、サーバ3の姿勢学習部21について説明する。図5は、姿勢学習部21の概略構成を示すブロック図である。
姿勢学習部21は、学習用の映像を用いた機械学習により、関節位置推定モデルおよび姿勢クラス推定モデルを生成するものであり、映像取得部31と、アノテーション部32と、学習部33と、出力部34と、を備えている。
映像取得部31では、学習用の映像を記憶部13から取得する。なお、学習用の映像は、代表者として選出した作業者の作業状況をカメラ1で予め撮像したものである。
アノテーション部32では、管理者の操作入力に応じて、学習用の映像の各フレーム画像に対して、作業者の関節位置と、トリガ姿勢であるか否かを表す姿勢クラスラベルと、を設定して、アノテーション情報を生成する。なお、このアノテーション情報は、関節位置および姿勢クラスラベルを、各フレーム画像のID(フレーム番号)に対応付けたものである。
本実施形態では、まず、事前に作成された関節位置推定モデルを用いて、学習用の映像の各フレーム画像に対して関節位置を推定する処理を行い、この関節位置推定で取得した関節位置に誤りがあれば、管理者に関節位置を修正する操作を行わせて、正しい関節位置を設定する。
学習部33では、学習用の映像と、アノテーション部32で取得したアノテーション情報とを用いて、機械学習(ディープラーニング)を行い、関節位置推定モデルおよび姿勢クラス推定モデルを生成する。関節位置推定モデルは、学習用の映像の各フレーム画像と、そのフレーム画像に映る作業者の関節位置とを入力情報として、この入力情報から、出力情報としての関節位置を推定するニューラルネットワークである。姿勢クラス推定モデルは、関節位置を入力情報として、この入力情報から、出力情報としての姿勢クラスを推定する時系列ニューラルネットワークである。なお。この機械学習には、公知の技術を用いればよい。
出力部34では、学習部33で生成した関節位置推定モデルおよび姿勢クラス推定モデルを記憶部13に記憶する。
次に、管理者端末4に表示されるアノテーション情報設定画面について説明する。図6は、アノテーション情報設定画面を示す説明図である。
管理者端末4では、アノテーション情報(学習用の映像における関節位置および姿勢クラスラベル)を設定するためのアノテーション情報設定画面が表示される。
このアノテーション情報設定画面には、画像表示部41が設けられている。この画像表示部41には、学習用の映像のフレーム画像42が表示される。また、画像表示部41では、フレーム画像42上に作業者の関節位置を表すマーク43が表示される。この画面の初期状態では、予め作成した関節位置推定モデルを用いた関節位置推定で取得した関節位置に対応するマーク43が表示される。
また、このアノテーション情報設定画面には、「次の関節」のボタン44と、「次の画像」のボタン45と、が設けられている。画像表示部41に表示された全ての関節位置が適切であれば、「次の画像」のボタン45を管理者が操作して、次のフレーム画像の確認に進む。一方、適切でない関節位置がある場合には、「次の関節」のボタン44を管理者が操作して、修正対象となるマーク43を選択状態として、マウスなとの入力デバイスを操作して適切な位置を管理者が指定する。
また、このアノテーション情報設定画面には、クラスラベル指定部46が設けられている。このクラスラベル指定部46では、フレーム画像42に映る作業者がトリガ姿勢をとっているか否か(姿勢クラスラベル)を指定する。具体的には、作業者がトリガ姿勢をとっていない場合には「0」を選択し、作業者がトリガ姿勢をとっている場合には「1」を選択する。
次に、サーバ3で行われる姿勢学習処理の手順について説明する。図7は、姿勢学習処理の手順を示すフロー図である。
サーバ3の姿勢学習部21では、まず、映像取得部31において、学習用の映像を記憶部13から取得して、全てのフレーム画像を処理したか否かを判定する(ST101)。
ここで、全てのフレーム画像を処理していない場合には(ST101でNo)、アノテーション部32において、管理者の操作入力に応じて、対象となるフレーム画像に対して関節位置を設定する(ST102)。また、管理者の操作入力に応じて、対象となるフレーム画像に対して姿勢クラスラベルを設定する(ST103)。そして、ST101に戻る。
一方、全てのフレーム画像を処理した場合には(ST101でYes)、学習部33において、アノテーション情報、すなわち、学習用の映像の各フレーム画像における関節位置および姿勢クラスラベルに基づいて、機械学習を行う(ST104)。次に、出力部34において、学習結果、すなわち、学習部33で生成した関節位置推定モデルおよび姿勢クラス推定モデルを記憶部13に保存する(ST105)。
次に、サーバ3の姿勢検知部22について説明する。図8は、姿勢検知部22の概略構成を示すブロック図である。
姿勢検知部22は、分析用の映像の各フレーム画像から、作業者のトリガ姿勢を検知するものであり、映像取得部51と、関節位置推定部52と、トリガ姿勢判定部53と、出力部54と、を備えている。
映像取得部51では、分析用の映像を記憶部13から取得する。
関節位置推定部52では、記憶部13に記憶された関節位置推定モデルを用いて、分析用の映像の各フレーム画像から作業者を検出して、その作業者の身体の関節位置を推定する。
トリガ姿勢判定部53では、記憶部13に記憶された姿勢クラス推定モデルを用いて、関節位置推定部52で取得した各フレーム画像における作業者の関節位置に基づいて、作業者の姿勢がトリガ姿勢に該当するか否かを判定する。なお、複数のフレーム画像での関節位置に基づいて判定するようにしてもよい。
出力部54では、関節位置推定部52で取得した関節位置と、トリガ姿勢判定部53の判定結果、すなわち、作業者がトリガ姿勢をとっているか否かを表す姿勢クラスラベルと、を姿勢検知情報として記憶部13に記憶する。なお、この姿勢検知情報は、関節位置および姿勢クラスラベルを、各フレーム画像のID(フレーム番号)に対応付けるものである。
次に、サーバ3の分析部23について説明する。図9は、分析部23の概略構成を示すブロック図である。
分析部23は、姿勢検知部22で取得した姿勢検知情報に基づいて、作業者の作業状況に関する分析情報を生成するものであり、姿勢検知結果取得部61と、作業時間計測部62と、滞留時間計測部63と、出力部64と、を備えている。
姿勢検知結果取得部61では、記憶部13に記憶された姿勢検知情報を取得する。
作業時間計測部62では、持ち場で作業者が実際に作業している時間(作業時間)を計測する。具体的には、作業中でない状態でトリガ姿勢を検知したタイミングを作業開始時刻として、作業時間のカウントを開始し、作業開始時刻から現在までの時間を作業時間として取得する。また、作業中である状態でトリガ姿勢を検知したタイミングを作業終了時刻として、作業時間のカウントを停止し、作業開始時刻から作業終了時刻までの時間を作業時間として取得する。
滞留時間計測部63では、持ち場に作業者がいる時間(滞留時間)を計測する。具体的には、映像から作業者を検出したタイミングを滞留開始時刻として、滞留時間のカウントを開始し、滞留開始時刻から現在までの時間を滞留時間として取得する。また、映像から作業者を検出できなくなったタイミングを滞留終了時刻として、滞留時間のカウントを停止し、滞留開始時刻から滞留終了時刻までの時間を滞留時間として取得する。
なお、滞留時間計測部63では、姿勢検知情報において、有効な関節位置および姿勢クラスラベルが見つかったタイミングを滞留開始時刻とし、関節位置および姿勢クラスラベルが無効になる、すなわち、関節位置および姿勢クラスラベルが全て-1の値になったタイミングを滞留終了時刻とすればよい。
出力部64では、作業時間計測部62で取得した作業時間と、滞留時間計測部63で取得した滞留時間と、を分析情報として記憶部13に記憶する。
次に、サーバ3の分析結果可視化部24について説明する。図10は、分析結果可視化部24の概略構成を示すブロック図である。
分析結果可視化部24は、分析部23で生成した分析情報を可視化するものであり、映像取得部71と、分析結果取得部72と、画面生成部73と、を備えている。
映像取得部71では、分析用の映像を記憶部13から取得する。
分析結果取得部72では、分析情報(作業時間および滞留時間)を記憶部13から取得する。
画面生成部73では、分析情報を可視化した分析結果表示画面を生成する。この分析結果表示画面は、画面出力部12から管理者端末4に出力され、管理者端末4に分析結果表示画面が表示される。本実施形態では、分析結果表示画面に、分析用の映像を表示するとともに、分析情報(作業時間および滞留時間)を表示する。
次に、管理者端末4に表示される分析結果表示画面について説明する。図11は、分析結果表示画面を示す説明図である。
分析結果表示画面では、分析用の映像が表示され、この映像上に分析情報、すなわち、作業時間および滞留時間が重畳表示される。
ここで、複数の工程ごとの作業を順次、繰り返し行う場合には、滞留時間は、全ての工程を通した累積時間であり、2つの工程の間に作業者が持ち場から退出した場合には、作業者が不在である時間が除外される。また、作業時間は、現在の工程、すなわち、表示中の映像で作業者が作業中の工程の作業時間であり、作業中の工程の回数(例えば1回目)が表示される。
このように分析結果表示画面では、滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができる。また、滞留時間と作業時間とを比較して、両者の差分が大きい、すなわち、作業者が持ち場に来てから作業を開始するまでの時間が長い場合には、映像で作業者の行動を観察することで、作業の開始が遅れる原因を判断することができる。なお、この分析結果表示画面では、滞留時間および作業時間の両方を表示するようにしたが、図示しない設定画面からの作業管理者の操作より、滞留時間と作業時間のどちらか一方のみを選択して表示させることができる。
次に、サーバ3で行われる姿勢検知処理および分析処理の手順について説明する。図12は、姿勢検知処理および分析処理の手順を示すフロー図である。
サーバ3では、まず、姿勢検知部22の映像取得部51において、対象となる分析用の映像の全てのフレーム画像を処理したか否かを判定する(ST201)。ここで、全てのフレーム画像を処理していない場合には(ST201でNo)、関節位置推定部52において、対象となるフレーム画像から作業者の関節位置を推定する(ST202)。次に、トリガ姿勢判定部53において、関節位置に基づいて、作業者の姿勢がトリガ姿勢に該当するか否かを判定して、姿勢クラスラベルを設定する(ST203)。
次に、分析部23の滞留時間計測部63において、作業者が持ち場にいるか否かを判定する(ST204)。
ここで、作業者が持ち場にいる場合には(ST204でYes)、滞留時間のカウントを開始または継続する(ST205)。なお、前回までに作業者が持ち場にいない場合には、滞留時間のカウントを開始し、既に作業者が持ち場にいる場合には、滞留時間のカウントを継続する。
次に、作業時間計測部62において、姿勢クラスラベルに基づいて、作業者がトリガ姿勢をとっているか否かを判定する(ST207)。
ここで、作業者がトリガ姿勢をとっている場合には(ST207でYes)、次に、作業者が作業中であるか否かを判定する(ST208)。ここで、作業者が作業中でない場合には(ST208でNo)、作業時間のカウントを開始する(ST209)。そして、ST201に戻る。一方、作業者が作業中である場合には(ST208でYes)、作業時間のカウントを停止する(ST210)。そして、ST201に戻る。
また、作業者がトリガ姿勢をとっていない場合には(ST207でNo)、次に、作業者が作業中であるか否かを判定する(ST211)。ここで、作業者が作業中でない場合には(ST211でNo)、ST201に戻る。一方、作業者が作業中である場合には(ST211でYes)、作業時間のカウントを継続する(ST212)。そして、ST201に戻る。
また、作業者が持ち場にいない場合には(ST204でNo)、滞留時間のカウントを停止する(ST206)。そして、ST201に戻る。
また、全ての画像を処理した場合には(ST201でYes)、処理を終了する。
このようにしてサーバ3では、作業時間および滞留時間が計測され、管理者端末4において、作業時間および滞留時間が分析結果表示画面(図11参照)に表示される。
次に、本実施形態の第1の変形例について説明する。図13は、第1の変形例に係る分析部23の概略構成を示すブロック図である。
本変形例では、分析部23が評価部65を備えている。この評価部65では、熟練者の作業時間を標準時間として取得して、対象となる作業者の作業時間と標準時間とを比較して、作業者の作業習熟度(作業効率性)を評価する評価情報を取得する。なお、標準時間は、熟練者に実際に作業を行わせて取得すればよい。
具体的には、例えば、作業者の作業時間を2つのしきい値と比較して、作業者の作業習熟度を3段階で評価する。すなわち、作業時間と標準時間との差分が、第1のしきい値未満である場合には、「良」(◎)と判定し、差分が、第1のしきい値以上でかつ第2のしきい値未満である場合には、「可」(○)と判定し、差分が、第2のしきい値以上である場合には、「不可」(×)と判定する。
次に、第1の変形例に係る分析結果の可視化について説明する。図14は、第1の変形例に係る分析結果表示画面を示す説明図である。
本変形例では、分析結果表示画面に、カメラ1の映像を表示すると共に、分析結果である滞留時間、作業時間、標準時間、および評価結果(◎、○、×)を表示する。なお、この評価結果は、作業時間値の表示属性で表わしてもよく、例えば、作業時間値を色分け(緑、青、赤)したり、あるいは、作業時間値の文字サイズ、太さ、点滅速度などで評価結果が確認できるようにしてもよい。
ここで、複数の工程ごとの作業を順次、繰り返し行う場合には、滞留時間は、全ての工程を通した累積時間であり、作業時間は、現在の工程、すなわち、表示中の映像で作業者が作業中の工程の作業時間であり、標準時間は、現在の工程の標準時間であり、評価は、現在の工程に関する評価である。
このように本変形例では、分析結果表示画面に滞留時間、作業時間、標準時間、および評価結果(◎、○、×)が表示され、管理者は、評価結果に注目することで、対象となる作業者の作業習熟度(作業効率性)を簡単に確認することができる。
なお、本変形例では、評価結果などを分析結果表示画面に表示するようにしたが、作業者ごとの評価結果などを一覧表で表示するようにしてもよい。また、分析結果表示画面において、滞留時間、作業時間、標準時間、評価を表示するようにしたが、図示しない設定画面からの作業管理者の操作より、滞留時間または標準時間の表示を省略して表示させることができる。
次に、本実施形態の第2の変形例について説明する。図15は、第2の変形例に係る分析部23の概略構成を示すブロック図である。図16は、第2の変形例に係る分析結果としての統計情報を示す説明図である。
本変形例では、図15に示すように、分析部23が統計処理部66を備えている。この統計処理部66では、所定の集計期間(例えば1日)における作業者ごとの作業時間を統計処理(例えば平均化)して、作業者ごとの作業時間に関する統計情報を生成する。具体的には、図16(A)に示すように、作業者ごとの作業時間を比較する統計情報を生成する。また、図16(B)に示すように、特定の作業者の作業時間の推移状況を表す統計情報を生成する。
図16(A)に示す例では、作業者ごとの作業時間が棒グラフで表示されている。これにより、作業者ごとの作業時間を比較することができ、習熟度が低い作業者を管理者が把握することができる。
図16(B)に示す例では、指定した作業者に関する過去の所定の時点(1ヶ月前、2週間前、1週間前、前日(直近の就業日))における作業時間が棒グラフで表示されている。これにより、指定した作業者の作業習熟度がどのように変化したかを管理者が確認することができる。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
本発明に係る作業分析装置および作業分析方法は、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる効果を有し、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法などとして有用である。
1 カメラ
2 レコーダ
3 サーバ
4 管理者端末
11 映像入力部
12 画面出力部
13 記憶部
14 制御部(プロセッサ)
21 姿勢学習部
22 姿勢検知部
23 分析部
24 分析結果可視化部
2 レコーダ
3 サーバ
4 管理者端末
11 映像入力部
12 画面出力部
13 記憶部
14 制御部(プロセッサ)
21 姿勢学習部
22 姿勢検知部
23 分析部
24 分析結果可視化部
Claims (6)
- 作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、
前記プロセッサは、
前記映像から作業者の関節位置を推定し、
その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、
前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、
前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成することを特徴とする作業分析装置。 - 前記プロセッサは、
学習用の映像と、その映像に映る作業者の関節位置に関する情報、および作業者が定型姿勢をとっているか否かを表す情報と、に基づいて、作業者の関節位置および姿勢に関する機械学習を行って、関節位置推定用の学習情報および定型姿勢判定用の学習情報を取得し、
前記関節位置推定用の学習情報に基づいて、前記関節位置の推定を行い、その推定結果と前記定型姿勢判定用の学習情報とに基づいて、前記定型姿勢の判定を行うことを特徴とする請求項1に記載の作業分析装置。 - 前記プロセッサは、
熟練者の作業時間を標準時間として取得して、前記作業時間と前記標準時間とを比較して、前記分析情報として、作業者の作業効率性を評価した評価情報を取得することを特徴とする請求項1に記載の作業分析装置。 - 前記プロセッサは、
複数の作業者ごとに前記定型姿勢の判定を行い、
その作業者ごとの判定結果に基づいて、作業者ごとの前記分析情報を生成し、
その作業者ごとの分析情報を統計処理して、作業者ごとの作業状況に関する統計情報を生成することを特徴とする請求項1から請求項3のいずれかに記載の作業分析装置。 - 前記プロセッサは、
作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定し、
判定した定形姿勢に応じた前記分析情報を生成することを特徴とする請求項1から請求項4のいずれかに記載の作業分析装置。 - 作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、
前記映像から作業者の関節位置を推定し、
その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、
前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、
前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成することを特徴とする作業分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023016323A JP2023041969A (ja) | 2018-05-16 | 2023-02-06 | 作業分析装置および作業分析方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094271A JP2019200560A (ja) | 2018-05-16 | 2018-05-16 | 作業分析装置および作業分析方法 |
JP2023016323A JP2023041969A (ja) | 2018-05-16 | 2023-02-06 | 作業分析装置および作業分析方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094271A Division JP2019200560A (ja) | 2018-05-16 | 2018-05-16 | 作業分析装置および作業分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023041969A true JP2023041969A (ja) | 2023-03-24 |
Family
ID=68539965
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094271A Pending JP2019200560A (ja) | 2018-05-16 | 2018-05-16 | 作業分析装置および作業分析方法 |
JP2023016323A Pending JP2023041969A (ja) | 2018-05-16 | 2023-02-06 | 作業分析装置および作業分析方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094271A Pending JP2019200560A (ja) | 2018-05-16 | 2018-05-16 | 作業分析装置および作業分析方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11842511B2 (ja) |
JP (2) | JP2019200560A (ja) |
CN (1) | CN112189210A (ja) |
WO (1) | WO2019221081A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021131552A1 (ja) * | 2019-12-27 | 2021-07-01 | ||
US20210232810A1 (en) * | 2020-01-24 | 2021-07-29 | University Of Washington | Automated monitoring system for biomechanical postural assessment |
JP7180886B2 (ja) | 2020-02-18 | 2022-11-30 | Necプラットフォームズ株式会社 | 作業稼働率測定装置及び作業稼働率測定方法 |
JP7479201B2 (ja) | 2020-06-03 | 2024-05-08 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | クラス判定装置、クラス判定方法及びコンピュータプログラム |
JP7440352B2 (ja) | 2020-06-17 | 2024-02-28 | 株式会社日立製作所 | 教育コンテンツ作成システム及び方法 |
JP7231785B2 (ja) * | 2020-11-27 | 2023-03-01 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7354182B2 (ja) | 2021-05-31 | 2023-10-02 | 株式会社ブロードリーフ | モバイル作業分析装置及び作業分析方法 |
JP7106175B1 (ja) | 2021-08-31 | 2022-07-26 | スリーフィールズ株式会社 | 作業判別システム |
CN114758267A (zh) * | 2022-03-14 | 2022-07-15 | 北京明略软件系统有限公司 | 一种确定装卸作业效率的方法和装置 |
WO2024009467A1 (ja) * | 2022-07-07 | 2024-01-11 | 三菱電機株式会社 | コンベア制御装置、生産システム、及びコンベア制御プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006190166A (ja) * | 2005-01-07 | 2006-07-20 | Sharp Corp | 作業時間管理システム、作業時間管理方法、作業時間管理プログラム、及び、そのプログラムを記録した記録媒体 |
JP2007243846A (ja) | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法 |
DE102006048166A1 (de) | 2006-08-02 | 2008-02-07 | Daimler Ag | Verfahren zur Beobachtung einer Person in einem industriellen Umfeld |
JP2009032033A (ja) * | 2007-07-27 | 2009-02-12 | Omron Corp | 動作境界検出方法および作業分析システム |
JP5027053B2 (ja) * | 2008-05-30 | 2012-09-19 | 株式会社日立製作所 | 作業分析装置、生産管理方法及び生産管理システム |
CN102222342A (zh) * | 2010-04-16 | 2011-10-19 | 上海摩比源软件技术有限公司 | 人体运动跟踪及其识别方法 |
CN103221977B (zh) * | 2010-12-09 | 2015-10-14 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
CN102156859B (zh) * | 2011-04-21 | 2012-10-03 | 刘津甦 | 手部姿态与空间位置的感知方法 |
WO2015037273A1 (ja) * | 2013-09-12 | 2015-03-19 | 三菱電機株式会社 | 操作入力装置及び方法、並びにプログラム及び記録媒体 |
JP2015176253A (ja) * | 2014-03-13 | 2015-10-05 | オムロン株式会社 | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 |
JP2016157357A (ja) * | 2015-02-26 | 2016-09-01 | 株式会社日立製作所 | 作業者品質管理方法及び作業者品質管理装置 |
JP6717606B2 (ja) * | 2016-01-28 | 2020-07-01 | 株式会社ブロードリーフ | 作業分析支援装置、作業分析支援方法及びコンピュータプログラム |
JP6666744B2 (ja) * | 2016-02-22 | 2020-03-18 | 株式会社ブロードリーフ | コンピュータプログラム、作業分析支援方法及び作業分析支援装置 |
JP2017220018A (ja) * | 2016-06-07 | 2017-12-14 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
JP2018045395A (ja) * | 2016-09-13 | 2018-03-22 | 株式会社ジェイテクト | 教育支援装置 |
JP6444573B2 (ja) * | 2016-11-09 | 2018-12-26 | 三菱電機株式会社 | 作業認識装置および作業認識方法 |
JP6951685B2 (ja) * | 2018-01-12 | 2021-10-20 | オムロン株式会社 | 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム |
CN108596148B (zh) * | 2018-05-10 | 2022-03-29 | 华南理工大学 | 一种基于计算机视觉的建筑工人劳动状态分析系统及方法 |
CN112560745B (zh) * | 2020-12-23 | 2022-04-05 | 南方电网电力科技股份有限公司 | 一种电力作业现场人员甄别方法及相关装置 |
CN112819306A (zh) * | 2021-01-22 | 2021-05-18 | 同济大学 | 基于计算机视觉的工作效率评价方法、系统、设备及介质 |
CN115457656A (zh) * | 2022-09-05 | 2022-12-09 | 海尔数字科技(青岛)有限公司 | 操作时长的确定方法、装置、设备及存储介质 |
-
2018
- 2018-05-16 JP JP2018094271A patent/JP2019200560A/ja active Pending
-
2019
- 2019-05-13 US US17/055,304 patent/US11842511B2/en active Active
- 2019-05-13 WO PCT/JP2019/018998 patent/WO2019221081A1/ja active Application Filing
- 2019-05-13 CN CN201980032857.2A patent/CN112189210A/zh active Pending
-
2023
- 2023-02-06 JP JP2023016323A patent/JP2023041969A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210225029A1 (en) | 2021-07-22 |
US11842511B2 (en) | 2023-12-12 |
CN112189210A (zh) | 2021-01-05 |
JP2019200560A (ja) | 2019-11-21 |
WO2019221081A1 (ja) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023041969A (ja) | 作業分析装置および作業分析方法 | |
US20080123907A1 (en) | Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data | |
WO2021131552A1 (ja) | 作業分析装置及び作業分析方法 | |
US20190043385A1 (en) | Information processing system, information processor, information processing method and program | |
JP2006236255A (ja) | 人物追跡装置および人物追跡システム | |
WO2006022184A1 (ja) | カメラキャリブレーション装置及びカメラキャリブレーション方法 | |
KR20200081629A (ko) | 관절각 비교를 통한 단체 댄스 평가 장치 및 그 방법 | |
JP2019126657A (ja) | 検出装置、及び検出プログラム | |
JP2009032033A (ja) | 動作境界検出方法および作業分析システム | |
JP6618349B2 (ja) | 映像検索システム | |
US20120147170A1 (en) | Imaging method and imaging device | |
JP7486751B2 (ja) | 作業稼働率測定装置及び作業稼働率測定方法 | |
US20190041649A1 (en) | Display system, information processor, information processing method and program | |
CN116797648A (zh) | 材料变形过程的宽度测量方法、装置、设备、系统及介质 | |
JP2021077039A5 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN114005183B (zh) | 动作识别方法、装置、设备及存储介质 | |
JP2020087091A (ja) | 熟練度判定システム | |
CN110309722B (zh) | 基于动作热点图的体育运动视频动作识别方法 | |
CN111447403B (zh) | 一种视频显示方法、装置及系统 | |
JP2018136749A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN105282442B (zh) | 对焦方法及装置 | |
JP6736204B2 (ja) | 作業支援方法、作業支援プログラム及び作業支援装置 | |
JP7408731B1 (ja) | 行動検知方法、行動検知装置、行動検知システム | |
WO2020136924A1 (ja) | 動作分析装置、動作分析方法及び動作分析プログラム | |
JP2018005727A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |