JP6897037B2 - Workability evaluation device - Google Patents

Workability evaluation device Download PDF

Info

Publication number
JP6897037B2
JP6897037B2 JP2016180660A JP2016180660A JP6897037B2 JP 6897037 B2 JP6897037 B2 JP 6897037B2 JP 2016180660 A JP2016180660 A JP 2016180660A JP 2016180660 A JP2016180660 A JP 2016180660A JP 6897037 B2 JP6897037 B2 JP 6897037B2
Authority
JP
Japan
Prior art keywords
work
partial
workability
worker
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016180660A
Other languages
Japanese (ja)
Other versions
JP2018045512A (en
Inventor
直樹 土屋
直樹 土屋
康代 小竹
康代 小竹
安藤 丹一
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2016180660A priority Critical patent/JP6897037B2/en
Publication of JP2018045512A publication Critical patent/JP2018045512A/en
Application granted granted Critical
Publication of JP6897037B2 publication Critical patent/JP6897037B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Automatic Assembly (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、作業性を評価するための技術に関する。 The present invention relates to a technique for evaluating workability.

工場などの生産現場では、製品の組み立て作業の作業性を評価し、その結果を作業効率や安全性の向上などの工程改善に生かす取り組みがなされている。例えば特許文献1では、組立部品の3DCADデータと人体モデルを用いたシミュレーションにより組立作業性を評価するシステムが提案されている。また特許文献2では、作業者の動作を記録した動画像から抽出した部品の運動ベクトルとCADデータから求めた参照ベクトルの差分をとることで、作業者の動作に無駄がないかを評価するシステムが提案されている。 At production sites such as factories, efforts are being made to evaluate the workability of product assembly work and utilize the results for process improvement such as improvement of work efficiency and safety. For example, Patent Document 1 proposes a system for evaluating assembly workability by simulation using 3D CAD data of assembled parts and a human body model. Further, in Patent Document 2, a system for evaluating whether or not there is waste in the worker's movement by taking the difference between the motion vector of the part extracted from the moving image recording the worker's movement and the reference vector obtained from the CAD data. Has been proposed.

特開2014−100773号公報Japanese Unexamined Patent Publication No. 2014-100773 特開2009−122726号公報JP-A-2009-122726

しかしながら、特許文献1、2のシステムでは、作業に関わる対象物の構成や配置を定義するCADデータを与える必要があると共に、それらのCADデータをもとに作業性を評価するためのプログラムを開発しなければならない。しかし、一般に、作業性は、作業に関わる対象物の構成や配置のみではなく、作業者の特性、作業環境などの様々な要因の影響を受けるため、多様な作業について汎用的に対応可能な評価方法をあらかじめ作業性評価プログラムに組み込むことは困難である。したがって、従来のシステムでは、評価結果と実際の作業性とが一致しないことがあるという問題があった。 However, in the systems of Patent Documents 1 and 2, it is necessary to provide CAD data that defines the configuration and arrangement of objects involved in the work, and a program for evaluating workability is developed based on the CAD data. Must. However, in general, workability is affected not only by the composition and arrangement of objects involved in the work, but also by various factors such as the characteristics of the worker and the work environment. It is difficult to incorporate the method into the workability evaluation program in advance. Therefore, in the conventional system, there is a problem that the evaluation result and the actual workability may not match.

なお、ここまでの文脈では、組み立て作業を例に挙げて課題の説明を行ったが、同様の課題はあらゆる分野の作業性評価においても起こり得る。 In the context so far, the problem has been explained by taking the assembly work as an example, but the same problem can occur in the workability evaluation in all fields.

本発明は上記実情に鑑みなされたものであり、評価対象作業の実際の作業性を評価できる汎用性に優れた技術を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a highly versatile technique capable of evaluating the actual workability of the work to be evaluated.

上記目的を達成するため、本発明は以下の構成を採用する。 In order to achieve the above object, the present invention adopts the following configuration.

本発明の第一態様は、評価対象作業の作業性を評価する作業性評価装置であって、作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録する作業データ記録部と、前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、を有する作業性評価装置を提供する。 The first aspect of the present invention is a workability evaluation device that evaluates the workability of the work to be evaluated, and records information related to the operation of the worker as work data when the worker performs the work to be evaluated. A work data recording unit, a partial work classification unit that divides the entire work to be evaluated into a plurality of partial works by analyzing the movement of the worker included in the work data, and a plurality of samples of the work data. Provided is a workability evaluation device having a workability evaluation unit for obtaining an index related to workability for each partial work by evaluating the variation in the workability for each partial work.

この構成によれば、作業者が評価対象作業を実際に実施したときの記録である作業データを基に評価を行うため、現実の作業に即した作業性を評価することができる。また、作業データのばらつきを評価するという簡易かつ汎用的なアルゴリズムであるため、様々な種類の作業性評価に対し適用することができる。さらに、評価対象作業を小さい動作単位
である部分作業に分けたので、サンプル間での動作の対応付けや、問題個所の発見、作業性を阻害する要因の特定などが容易になるという利点もある。また、部分作業分類部は、作業データの中に含まれる作業者の動作を解析することにより部分作業の分類を行うので、実際の作業性を評価するのに適した単位で部分作業を生成することができる。なお本発明において「作業者」は、人でもよいし、人工知能により動作するAIロボットでもよい。
According to this configuration, since the evaluation is performed based on the work data which is the record when the worker actually performs the work to be evaluated, the workability according to the actual work can be evaluated. Further, since it is a simple and general-purpose algorithm that evaluates the variation of work data, it can be applied to various types of workability evaluation. Furthermore, since the work to be evaluated is divided into partial work, which is a small unit of movement, there is an advantage that it is easy to associate movements between samples, find problem areas, and identify factors that hinder workability. .. Further, since the partial work classification unit classifies the partial work by analyzing the movement of the worker included in the work data, the partial work is generated in a unit suitable for evaluating the actual workability. be able to. In the present invention, the "worker" may be a person or an AI robot operated by artificial intelligence.

例えば、前記部分作業分類部は、前記作業データの複数のサンプルに基づきDeep Learningにより動作を解析することによって、前記評価対象作業の全体を前記複数の部分作業に分けるとよい。Deep Learningによる機械学習を利用することにより、特段の事前知識が無くても、未知の評価対象作業を適切な単位の部分作業に分類することが可能である。言い換えると、作業データのサンプルを複数与えるだけで、作業性評価装置が、未知の評価対象作業を複数の部分作業に分類するための新たな分類能力を自ら獲得することができる。したがって、この構成によれば、作業性評価装置の汎用性及び適応性を格段に向上することができる。 For example, the partial work classification unit may divide the entire evaluation target work into the plurality of partial works by analyzing the operation by deep learning based on a plurality of samples of the work data. By using machine learning by Deep Learning, it is possible to classify an unknown evaluation target work into a partial work of an appropriate unit without any special prior knowledge. In other words, the workability evaluation device can acquire a new classification ability for classifying an unknown work to be evaluated into a plurality of partial works simply by giving a plurality of samples of work data. Therefore, according to this configuration, the versatility and adaptability of the workability evaluation device can be remarkably improved.

もちろん、機械学習以外の方法により部分作業への分類を行うこともできる。例えば、前記部分作業分類部は、前記作業データに基づき作業者の動作の変化点を検出し、前記動作の変化点を基に前記評価対象作業の全体を前記複数の部分作業に分類してもよい。この構成によっても、作業データのサンプルを複数与えるだけで、作業性評価装置が、未知の評価対象作業を複数の部分作業に分類することができる。 Of course, it is also possible to classify into partial work by a method other than machine learning. For example, the partial work classification unit may detect a change point of the worker's movement based on the work data and classify the entire evaluation target work into the plurality of partial work based on the change point of the movement. Good. Even with this configuration, the workability evaluation device can classify unknown evaluation target work into a plurality of partial work simply by giving a plurality of work data samples.

前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、前記作業性評価部は、部分作業ごとに各作業者の平均作業時間を算出し、部分作業ごとに平均作業時間の作業者間でのばらつきを表す指標を求めるとよい。平均作業時間の作業者間でのばらつきを表す指標を用いることで、作業の難易度を評価することができると考えられる。 The plurality of samples include a plurality of work data for each of the plurality of workers, and the workability evaluation unit calculates the average work time of each worker for each partial work, and the average work time for each partial work. It is advisable to find an index showing the variation among workers. It is considered that the difficulty level of the work can be evaluated by using an index showing the variation of the average work time among the workers.

前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、前記作業性評価部は、部分作業ごとに各作業者の作業時間のばらつきを算出し、部分作業ごとに各作業者の作業時間のばらつきを表す指標を求めるとよい。各作業者の作業時間のばらつきを表す指標を用いることで、作業の手順の自由度を評価することができると考えられる。 The plurality of samples include a plurality of work data of each of the plurality of workers, and the workability evaluation unit calculates the variation in the work time of each worker for each partial work, and each worker for each partial work. It is advisable to find an index showing the variation in working hours. It is considered that the degree of freedom of the work procedure can be evaluated by using an index showing the variation in the work time of each worker.

作業者の動きを検出する1つ以上のセンサを有し、前記作業データ記録部は、前記センサから得られるセンサデータを記録するとよい。これにより、作業者の動きを自動で収集することができる。またセンサデータにより作業者の動きを客観的な物理量として捉えることができる。例えば、前記センサは、作業者の身体に装着された動きセンサを含むとよい。身体に装着された動きセンサを用いることで、作業者の身体の動きを直接的かつ正確に捉えることができる。 It is preferable to have one or more sensors for detecting the movement of the operator, and the work data recording unit may record sensor data obtained from the sensors. This makes it possible to automatically collect the movements of the worker. In addition, the movement of the worker can be grasped as an objective physical quantity by the sensor data. For example, the sensor may include a motion sensor worn on the worker's body. By using the movement sensor attached to the body, it is possible to directly and accurately capture the movement of the worker's body.

なお、本発明は、上記構成ないし機能の少なくとも一部を有する作業性評価装置として捉えることができる。作業性評価装置は、単体の装置で構成してもよいし、複数の装置の組み合わせで構成してもよい。また、本発明は、上記処理の少なくとも一部を含む作業性評価方法、または、かかる方法をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。 The present invention can be regarded as a workability evaluation device having at least a part of the above configuration or function. The workability evaluation device may be composed of a single device or a combination of a plurality of devices. In addition, the present invention is a workability evaluation method including at least a part of the above processing, a program for causing a computer to execute such a method, or a computer-readable record in which such a program is recorded non-temporarily. It can also be regarded as a medium. Each of the above configurations and processes can be combined with each other to construct the present invention as long as there is no technical contradiction.

本発明によれば、評価対象作業の実際の作業性を評価することができる。また、本発明は、様々な作業の作業性評価に汎用的に適用できる。 According to the present invention, the actual workability of the work to be evaluated can be evaluated. Further, the present invention can be universally applied to the evaluation of workability of various works.

図1は作業性評価装置のハードウェア構成を示す外観図である。FIG. 1 is an external view showing a hardware configuration of a workability evaluation device. 図2は作業性評価装置の機能構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of the workability evaluation device. 図3A〜図3Cは部分作業を説明するための図である。3A to 3C are diagrams for explaining partial work. 図4は組み立て作業の一例を示す図である。FIG. 4 is a diagram showing an example of assembly work. 図5は作業性評価処理のフローチャートである。FIG. 5 is a flowchart of workability evaluation processing. 図6Aと図6Bは部分作業分類部の内部構成を示す図である。6A and 6B are diagrams showing the internal configuration of the partial work classification unit. 図7は部分作業分類部のフローチャートである。FIG. 7 is a flowchart of the partial work classification unit. 図8は部分作業リストの一例である。FIG. 8 is an example of a partial work list. 図9はDeep Learningの学習用データと分類結果の例を示す図である。FIG. 9 is a diagram showing an example of learning data and classification results of Deep Learning. 図10は評価結果の出力例である。FIG. 10 is an output example of the evaluation result.

本発明に係る作業性評価装置は、任意の作業の作業性を評価するためのシステムである(評価の対象となる作業を「評価対象作業」と呼ぶ)。以下に述べる実施形態では、工場での製品組み立て作業の作業性評価に本発明を適用した例を挙げるが、本発明の適用範囲はこの例に限られない。例えば、工場などの生産現場における監視作業・チェック作業・データ入力作業、装置やシステムの操作・運転・メンテナンス、手術における手技や手順、農業・漁業・林業における各種作業、オフィスワークでの作業、クリエイターの作業など、様々な分野やアプリケーションにおける作業性評価に適用することができる。また、本発明に係る装置で生成される作業性評価の結果(評価指標)は、工程改善、QC(Quality Control)活動、製品設計へのフィードバックなど、様々な目的に活用される。 The workability evaluation device according to the present invention is a system for evaluating the workability of any work (the work to be evaluated is referred to as "evaluation target work"). In the embodiment described below, an example in which the present invention is applied to the evaluation of workability of product assembly work in a factory is given, but the scope of application of the present invention is not limited to this example. For example, monitoring work / checking work / data entry work at production sites such as factories, operation / operation / maintenance of equipment and systems, procedures and procedures in surgery, various work in agriculture / fishery / forestry, work in office work, creators. It can be applied to workability evaluation in various fields and applications such as work of. Further, the workability evaluation result (evaluation index) generated by the apparatus according to the present invention is utilized for various purposes such as process improvement, QC (Quality Control) activity, and feedback to product design.

<作業性評価方法の概要>
従来システム(特許文献1)のようにCADデータを用いたシミュレーションにより作業性を評価する方法は、汎用性・実用性が低く、また作業者の特性や作業環境などの影響を考慮することができないという問題があった。このような点に鑑み、本実施形態の作業性評価方法は、作業者に評価対象作業を実際に実施させ、そのときの作業者の動作を記録したデータ(「作業データ」と呼ぶ)を解析することにより、評価対象作業の作業性を評価するというアプローチを採用する。この方法によれば、CADデータのような特別な定義情報を与える必要がないので、あらゆる種類の作業性評価に汎用的に適用することができる。また、作業者の実際の作業データを用いるので、作業の対象物の設計、作業手順、作業者の特性、作業環境などの影響がすべて考慮された、現実の作業に即した作業性評価を行うことができる。
<Outline of workability evaluation method>
The method of evaluating workability by simulation using CAD data like the conventional system (Patent Document 1) has low versatility and practicality, and cannot consider the influence of the characteristics of the worker and the work environment. There was a problem. In view of these points, the workability evaluation method of the present embodiment causes the worker to actually perform the work to be evaluated, and analyzes the data (referred to as "work data") that records the movement of the worker at that time. By doing so, the approach of evaluating the workability of the work to be evaluated is adopted. According to this method, it is not necessary to give special definition information such as CAD data, so that it can be universally applied to all kinds of workability evaluations. In addition, since the actual work data of the worker is used, the workability is evaluated according to the actual work, taking into consideration all the influences of the design of the work object, the work procedure, the characteristics of the worker, the work environment, etc. be able to.

図1に、本実施形態の作業性評価装置100を模式的に示す。作業性評価の大まかな流れは次のようになる。まず、評価対象作業の作業手順(作業標準)を設定する。例えば製品の組み立て作業の場合であれば、部品の組み立ての順番などが作業手順に定義される。そして、作業手順にしたがって作業者110に実際に作業を実施させる。このとき、作業性評価装置100は、作業者110又は作業で使用する物体111に取り付けたセンサ101によって、作業中の作業者110の動作を記録する。一又は複数の作業者に同じ作業を複数回実施させることで、複数サンプルの作業データを収集することができる。 FIG. 1 schematically shows the workability evaluation device 100 of the present embodiment. The general flow of workability evaluation is as follows. First, the work procedure (work standard) of the work to be evaluated is set. For example, in the case of product assembly work, the order of assembling parts is defined in the work procedure. Then, the worker 110 is made to actually carry out the work according to the work procedure. At this time, the workability evaluation device 100 records the operation of the worker 110 during the work by the sensor 101 attached to the worker 110 or the object 111 used in the work. By having one or a plurality of workers perform the same work a plurality of times, it is possible to collect work data of a plurality of samples.

ここで、作業性の良し悪しは、作業中の動作のばらつき、ひいては作業時間のばらつきに現れると仮定する。例えば、作業中の動作や作業時間が作業者間で大きくばらついている場合は、作業そのものの難易度が高いために(熟練しないと作業が安定しないために)、作業性が低下しているとみなすことができる。また、同じ作業者において動作や作業時
間が大きくばらついている場合は、作業手順の自由度が高すぎるために(動作の選択肢が多く、同じ作業を再現できないために)、作業性が低下しているとみなすことができる。このような仮定に基づき、本実施形態の作業性評価装置100は、複数サンプルの作業データにおけるばらつきから評価対象作業の作業性を評価する。詳細は後述する。
Here, it is assumed that the quality of workability appears in the variation in operation during work, and eventually in the variation in working time. For example, if the movements and working hours during work vary widely among workers, it is said that the workability is reduced because the work itself is difficult (because the work is not stable without skill). Can be regarded. In addition, if the movements and work times of the same worker vary widely, the degree of freedom in the work procedure is too high (because there are many choices of movements and the same work cannot be reproduced), and the workability is reduced. Can be considered to be. Based on such an assumption, the workability evaluation device 100 of the present embodiment evaluates the workability of the work to be evaluated from the variation in the work data of a plurality of samples. Details will be described later.

また、作業性評価装置100は、評価対象作業の全体を複数の部分作業(要素作業)に分け、部分作業ごとの作業性を個別に評価する。部分作業ごとの作業性が分かれば、作業性を低下させている問題個所を発見したり、作業性を阻害している要因を特定したりするのが容易になるからである。 Further, the workability evaluation device 100 divides the entire work to be evaluated into a plurality of partial works (elemental works), and individually evaluates the workability of each partial work. This is because if the workability of each partial work is known, it becomes easy to find a problematic part that deteriorates the workability and identify a factor that hinders the workability.

ところで、部分作業ごとの作業性評価を実現するにあたっては、評価対象作業の作業データを部分作業ごとのデータに分割する処理が必要となる。この処理は評価者が手作業で行ってもよいが、複数のサンプルから対応する部分作業を抽出する作業は難しく、また膨大な工数が必要となるため、現実的ではない。とはいえ、作業者ごと、作業の実施回ごとに、動作のばらつきや作業時間のばらつきがあるので、作業データを単純に分割することはできない。そこで、本実施形態の作業性評価装置100は、作業データに基づき作業者の動作を解析し、部分作業への分類を自動化する。詳細は後述する。 By the way, in order to realize the workability evaluation for each partial work, it is necessary to divide the work data of the work to be evaluated into the data for each partial work. This process may be performed manually by the evaluator, but it is not realistic because it is difficult to extract the corresponding partial work from a plurality of samples and a huge amount of man-hours are required. However, it is not possible to simply divide the work data because there are variations in operation and work time for each worker and each time the work is performed. Therefore, the workability evaluation device 100 of the present embodiment analyzes the movement of the worker based on the work data and automates the classification into the partial work. Details will be described later.

なお、図1では、作業者110として人を例示したが、人工知能により動作するAIロボットを作業者110としてもよい。例えば、AIロボットがDeep Learningなどの機械学習により作業の最適動作を学習していく過程においても作業中の動作や作業時間にばらつきが現れるため、このばらつきを基に当該作業の作業性を評価することが可能である。 Although a person is illustrated as the worker 110 in FIG. 1, an AI robot operated by artificial intelligence may be used as the worker 110. For example, even in the process in which an AI robot learns the optimum operation of a work by machine learning such as deep learning, the operation during the work and the work time vary, and the workability of the work is evaluated based on this variation. It is possible.

<作業性評価装置の構成>
図1と図2を参照して、作業性評価装置の構成について説明する。図1は、作業性評価装置のハードウェア構成を示す外観図であり、図2は、作業性評価装置の機能構成を示すブロック図である。
<Configuration of workability evaluation device>
The configuration of the workability evaluation device will be described with reference to FIGS. 1 and 2. FIG. 1 is an external view showing a hardware configuration of a workability evaluation device, and FIG. 2 is a block diagram showing a functional configuration of the workability evaluation device.

(ハードウェア構成)
作業性評価装置100は、主なハードウェアとして、1つ以上のセンサ101と情報処理装置102を有して構成される。
(Hardware configuration)
The workability evaluation device 100 includes one or more sensors 101 and an information processing device 102 as main hardware.

情報処理装置102は、例えば、ハードウェアプロセッサ(CPU)、メモリ、記憶装置(ハードディスク、半導体ディスクなどのストレージ)、入力装置(キーボード、マウス、タッチパネルなど)、表示装置、通信装置などのハードウェア資源を有する汎用のコンピュータにより構成することができる。図2に示す作業性評価装置100の機能は、記憶装置に格納されたプログラムがメモリにロードされ、プロセッサにより実行されることにより、実現されるものである。なお、情報処理装置102は、一台のコンピュータにより構成してもよいし、複数台のコンピュータによる分散コンピューティングにより構成してもよい。また、情報処理装置102の機能の一部をクラウドサーバにより実現してもよい。また、処理の高速化のため、情報処理装置102の機能の一部または全部を専用のハードウェア(例えばGPUやFPGA、ASICなど)を用いて実現することも可能である。 The information processing device 102 is, for example, a hardware resource such as a hardware processor (CPU), a memory, a storage device (storage of a hard disk, a semiconductor disk, etc.), an input device (keyboard, mouse, touch panel, etc.), a display device, a communication device, and the like. It can be configured by a general-purpose computer having. The function of the workability evaluation device 100 shown in FIG. 2 is realized by loading the program stored in the storage device into the memory and executing it by the processor. The information processing device 102 may be configured by one computer or may be configured by distributed computing by a plurality of computers. Further, a part of the functions of the information processing device 102 may be realized by a cloud server. Further, in order to speed up the processing, it is possible to realize a part or all of the functions of the information processing apparatus 102 by using dedicated hardware (for example, GPU, FPGA, ASIC, etc.).

センサ101は、作業者110の動作をデータとして記録するためのデバイスである。作業者110の動作を直接的または間接的に検出ないし推定することができれば、いかなる種類・方式のセンサを用いてもよい。例えば、センサ101には、作業者110をセンシングするセンサ、作業者110が作業中に取り扱う物体(以下「作業対象」と呼ぶ)111をセンシングするセンサ、作業者110と作業対象111の間の介在物をセンシング
するセンサなどが含まれる。以下、センサ101の一例を挙げるが、作業性評価装置100はすべてのセンサ101を備える必要はなく、装置構成、作業の種類や内容、用途などに応じて必要なセンサ101を設ければよい。
The sensor 101 is a device for recording the operation of the worker 110 as data. Any type and type of sensor may be used as long as the operation of the worker 110 can be directly or indirectly detected or estimated. For example, the sensor 101 includes a sensor that senses the worker 110, a sensor that senses an object (hereinafter referred to as a “work target”) 111 that the worker 110 handles during work, and an interposition between the worker 110 and the work target 111. Includes sensors that sense objects. Hereinafter, an example of the sensor 101 will be given, but the workability evaluation device 100 does not need to be provided with all the sensors 101, and the necessary sensors 101 may be provided according to the device configuration, the type and content of work, the application, and the like.

作業者110をセンシングするセンサ101としては、頭部・視線・手・足・胴体などの動きをセンシングする動きセンサを用いることができる。例えば、作業者110の左右の手首に装着した加速度センサや角加速度センサを用いることで、組み立て作業における右手と左手の動きを検出できる。さらに、指先に加速度センサや角加速度センサを装着することで、指先の動きを検出することもできる。作業者110に装着するセンサでなく、画像センサ(カメラ)で撮影した動画を解析することで作業者110の動きや周囲の物との関係をセンシングすることもできる。或いは、作業者110に装着したマーカを、磁気センサや赤外線センサで検知することで、作業者110の動きをセンシングすることもできる。 As the sensor 101 that senses the worker 110, a motion sensor that senses the movements of the head, the line of sight, the hands, the feet, the torso, and the like can be used. For example, by using an acceleration sensor or an angular acceleration sensor attached to the left and right wrists of the worker 110, it is possible to detect the movements of the right hand and the left hand in the assembly work. Further, by attaching an acceleration sensor or an angular acceleration sensor to the fingertip, the movement of the fingertip can be detected. It is also possible to sense the movement of the worker 110 and the relationship with surrounding objects by analyzing the moving image taken by the image sensor (camera) instead of the sensor attached to the worker 110. Alternatively, the movement of the worker 110 can be sensed by detecting the marker attached to the worker 110 with a magnetic sensor or an infrared sensor.

また、作業者110をセンシングするセンサ101としては、表情・目の動き・顔の動かし方をセンシングする顔画像センサ、心拍をセンシングする心拍センサ、脈拍をセンシングする脈拍センサ、手・足・首・胴など身体の各部に取り付けた電極で筋肉の動きをセンシングする筋電センサ、血圧をセンシングする血圧センサ、脳の各領域の脳波をセンシングする脳波センサ、各部の血流をセンシングする血流センサ、作業者110の視線の方向や注視している箇所をセンシングする画像センサなどを用いることができる。 The sensor 101 that senses the worker 110 includes a face image sensor that senses facial expressions, eye movements, and how the face moves, a heartbeat sensor that senses heartbeat, a pulse sensor that senses pulse, and hands, feet, neck, and so on. Myoelectric sensor that senses muscle movement with electrodes attached to each part of the body such as the torso, blood pressure sensor that senses blood pressure, brain wave sensor that senses brain waves in each area of the brain, blood flow sensor that senses blood flow in each part, An image sensor or the like that senses the direction of the line of sight of the worker 110 or the point of gaze can be used.

センサ101の形態は問わない。例えば、スマートフォンの備えるセンサを利用してもよいし、スマートウォッチやスマートグラスなどのウェアラブル装置の備えるセンサを利用してもよい。 The form of the sensor 101 does not matter. For example, a sensor provided in a smartphone may be used, or a sensor provided in a wearable device such as a smart watch or a smart glass may be used.

作業対象111とは、組み立て作業の場合であれば組み立ての対象となる部品であるし、装置の操作・運転の場合であればその装置である。作業対象111の状態も作業者110の動作に影響を与え得るので、間接的な情報として作業対象111の状態をセンシングした情報を用いることで、作業者110の動作の正確な評価に役立つ可能性がある。例えば、作業対象111の空間的な位置を検出するセンサ、作業対象111の姿勢を検出するセンサ、作業対象111の状態(加速度、温度、色、形状などの状態の変化)を検出するセンサ、作業対象111の環境状態(周囲の温度、湿度など環境に関する物理量や情報)を検出するセンサなどを例示できる。 The work target 111 is a part to be assembled in the case of assembly work, and the device in the case of operation / operation of the device. Since the state of the work target 111 can also affect the operation of the worker 110, using the information obtained by sensing the state of the work target 111 as indirect information may be useful for accurate evaluation of the movement of the worker 110. There is. For example, a sensor that detects the spatial position of the work target 111, a sensor that detects the posture of the work target 111, a sensor that detects the state of the work target 111 (changes in states such as acceleration, temperature, color, and shape), and work. An example is an example of a sensor that detects the environmental state of the target 111 (physical quantity and information related to the environment such as ambient temperature and humidity).

作業者110と作業対象111の間の介在物とは、組み立て作業の場合であれば組み立てに用いる工具や装置である。このような介在物の状態も作業者110の動作に影響を与え得るので、間接的な情報として介在物の状態をセンシングした情報を用いることで、作業者110の動作の正確な評価に役立つ可能性がある。例えば、介在物の空間的な位置を検出するセンサ、介在物の姿勢を検出するセンサ、介在物の状態(温度、色、形状などの状態の変化)を検出するセンサ、介在物の環境状態(周囲の温度、湿度など環境に関する物理量や情報)を検出するセンサなどを例示できる。また、作業者110の操作により介在物に作用する力、介在物に関連する物理量(加速度、振動、切削音など)などを検出するセンサを用いてもよい。例えば、自動車の運転の場合であれば、運転操作部に取り付けたセンサにより、ステアリング操作、アクセル操作、ブレーキ操作、各種のスイッチ操作などを検出してもよい。 The inclusions between the worker 110 and the work target 111 are tools and devices used for assembly in the case of assembly work. Since the state of such inclusions can also affect the movement of the worker 110, it is possible to use the information obtained by sensing the state of the inclusions as indirect information, which is useful for accurate evaluation of the movement of the worker 110. There is sex. For example, a sensor that detects the spatial position of the inclusion, a sensor that detects the posture of the inclusion, a sensor that detects the state of the inclusion (change in the state such as temperature, color, shape, etc.), and the environmental state of the inclusion ( Examples include sensors that detect physical quantities and information related to the environment such as ambient temperature and humidity. Further, a sensor that detects a force acting on the inclusions by the operation of the operator 110, a physical quantity related to the inclusions (acceleration, vibration, cutting sound, etc.) and the like may be used. For example, in the case of driving an automobile, a sensor attached to the driving operation unit may detect steering operation, accelerator operation, brake operation, various switch operations, and the like.

また、作業者110がAIロボットの場合は、AIロボットのモータ制御に用いられるエンコーダ、AIロボットが備えるカメラなどを、センサ101として用いることもできる。 When the worker 110 is an AI robot, an encoder used for controlling the motor of the AI robot, a camera included in the AI robot, and the like can also be used as the sensor 101.

(機能構成)
図2に示すように、作業性評価装置100は、センサ情報入力部201、作業対象情報入力部202、作業データ記録部203、部分作業分類部204、作業性評価部205、結果出力部206を有する。
(Functional configuration)
As shown in FIG. 2, the workability evaluation device 100 includes a sensor information input unit 201, a work target information input unit 202, a work data recording unit 203, a partial work classification unit 204, a workability evaluation unit 205, and a result output unit 206. Have.

センサ情報入力部201は、センサ101からセンサデータを取得する機能である。作業対象情報入力部202は、作業対象の情報(例えば、評価対象作業の種別、作業手順など)を取得する機能である。作業データ記録部203は、センサ情報入力部201により取得した情報に基づき、評価対象作業の開始から終了までの動作の記録(作業データ)を生成し、記憶装置に記録する機能である。例えば、同じ作業を複数の作業者に複数回ずつ行わせることで、作業者や習熟度の異なる複数の作業データが記録される。 The sensor information input unit 201 is a function of acquiring sensor data from the sensor 101. The work target information input unit 202 is a function of acquiring work target information (for example, evaluation target work type, work procedure, etc.). The work data recording unit 203 is a function of generating an operation record (work data) from the start to the end of the evaluation target work based on the information acquired by the sensor information input unit 201 and recording it in the storage device. For example, by having a plurality of workers perform the same work a plurality of times, a plurality of work data having different workers and proficiency levels are recorded.

部分作業分類部204は、作業データをもとに、評価対象作業の全体を複数の部分作業に分割・分類する機能である。作業性評価部205は、作業データのばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める機能である。結果出力部206は、作業性評価部205の評価結果を出力する機能である。 The partial work classification unit 204 is a function of dividing and classifying the entire evaluation target work into a plurality of partial works based on the work data. The workability evaluation unit 205 is a function of obtaining an index related to workability for each partial work by evaluating the variation of the work data for each partial work. The result output unit 206 is a function of outputting the evaluation result of the workability evaluation unit 205.

<作業の定義>
本実施形態では「作業」を「設定された目的(課題)を遂行するために作業者が身体の一部または全部を使って行う行為」と定義する。したがって、作業の実施過程では必ず作業者の動作が発生する。また、作業に対してはあらかじめ「作業手順」が設定されるが、その作業手順に従う限り、具体的な動作については任意とする。したがって、作業データの記録時には、作業を実施する作業者によって、あるいは、作業の習熟度合によって、作業の実施過程で行われる動作にある程度の違いが生じ得る。
<Definition of work>
In this embodiment, "work" is defined as "an act performed by a worker using a part or all of his / her body to accomplish a set purpose (task)". Therefore, the movement of the worker always occurs in the process of carrying out the work. In addition, a "work procedure" is set in advance for the work, but as long as the work procedure is followed, the specific operation is arbitrary. Therefore, when recording work data, there may be some differences in the operations performed in the process of performing the work, depending on the worker performing the work or the degree of proficiency in the work.

一つの「作業」は、複数の「部分作業」に分けることができる。図3Aに示すように、複数の部分作業を時間的に連続するように設定してもよいし、図3Bに示すように、複数の部分作業を離散的に設定してもよい。部分作業の個数や設定方法は任意であるが、図3Cに示すように、異なる作業データの間で部分作業の対応をとることを容易にするため、ある程度の動作のまとまりの単位で部分作業を設定することが好ましい。 One "work" can be divided into a plurality of "partial work". As shown in FIG. 3A, a plurality of partial works may be set to be continuous in time, or as shown in FIG. 3B, a plurality of partial works may be set discretely. The number of partial works and the setting method are arbitrary, but as shown in FIG. 3C, in order to facilitate the correspondence of partial works between different work data, the partial work is performed in units of a certain amount of operation. It is preferable to set it.

<作業性評価処理>
次に、工場での組み立て作業を例にとり、作業性評価装置100の動作を説明する。
<Workability evaluation process>
Next, the operation of the workability evaluation device 100 will be described by taking the assembly work in the factory as an example.

(組み立て作業の例)
図4は製品の組み立て作業の一例である。3つの穴があるベース部品401に、長さが違う3個の部品402a、402b、402cを取り付ける作業を想定する。ベース部品401にある穴401a、穴401b、穴401cに、部品箱403aにある部品402a、部品箱403bにある部品402b、部品箱403cにある部品402cをそれぞれ取り付ける。作業手順としては、
(1)部品402aを穴401aに挿入
(2)部品402bを穴401bに挿入
(3)部品403cを穴401cに挿入
という組み立ての順番だけが与えられているものとする。ベース部品401には前後にフレーム401d,401eが設けられているため、部品402a、部品402b、部品402cの取り付けは、フレーム401d,401eを避けて行う必要がある。
(Example of assembly work)
FIG. 4 is an example of product assembly work. It is assumed that three parts 402a, 402b, and 402c having different lengths are attached to the base part 401 having three holes. The parts 402a in the parts box 403a, the parts 402b in the parts box 403b, and the parts 402c in the parts box 403c are attached to the holes 401a, the holes 401b, and the holes 401c in the base part 401, respectively. As a work procedure
It is assumed that only the assembly order of (1) inserting the part 402a into the hole 401a (2) inserting the part 402b into the hole 401b (3) inserting the part 403c into the hole 401c is given. Since the base component 401 is provided with frames 401d and 401e in the front and rear, it is necessary to avoid the frames 401d and 401e when attaching the component 402a, the component 402b, and the component 402c.

(装置の動作)
図5のフローチャートに沿って、作業性評価装置100による作業性評価処理の流れを説明する。
(Operation of the device)
The flow of the workability evaluation process by the workability evaluation device 100 will be described with reference to the flowchart of FIG.

(1)作業データの記録
評価対象作業を作業者に複数回実施させ、作業データ記録部203によって、それぞれの作業データを記録する(ステップS500)。図4の例では、ベース部品401に3個の部品402a,402b,402cを順番に取り付ける作業について記録が行われる。すなわち、3個の部品402a,402b,402cのそれぞれについて、部品を部品箱からピックアップして、フレームや他の物体を避けながら、部品をベース部品401の穴に向けて移動させ、部品と穴の空間的姿勢を合わせて部品の先端を穴に差し込み、嵌め込みが完了したことを確認し手を離す、という一連の動作に関する情報が記録される。
(1) Recording of work data The work to be evaluated is performed by the worker a plurality of times, and each work data is recorded by the work data recording unit 203 (step S500). In the example of FIG. 4, the work of sequentially attaching the three parts 402a, 402b, and 402c to the base part 401 is recorded. That is, for each of the three parts 402a, 402b, 402c, the parts are picked up from the parts box and moved toward the holes of the base part 401 while avoiding the frame and other objects, and the parts and holes Information on a series of operations is recorded, in which the tip of the part is inserted into the hole in a spatial orientation, the fitting is completed, and the hand is released.

作業の開始と終了(データ記録の開始と終了)は、作業者がボタン押下などで指示してもよいし、センサ101の信号に基づき自動で判定してもよい。作業の実施は、一人の作業者が複数回行ってもよいし、複数の作業者が一回ずつまたは複数回ずつ行ってもよい。人による動作の違いや習熟によるノウハウ・技能を生かすため、望ましくは、複数の作業者それぞれに複数回ずつ実施させるとよい。これにより、同じ作業について複数の作業データが取得される。個々の作業データを「作業サンプル」または単に「サンプル」とも呼ぶ。 The start and end of the work (start and end of data recording) may be instructed by the operator by pressing a button or the like, or may be automatically determined based on the signal of the sensor 101. The work may be carried out by one worker a plurality of times, or by a plurality of workers once or a plurality of times. In order to make the best use of the know-how and skills due to the difference in movements between people and the proficiency, it is desirable to have a plurality of workers carry out the work multiple times. As a result, a plurality of work data are acquired for the same work. Individual work data is also called a "work sample" or simply a "sample".

作業データは、少なくとも、センサ情報入力部201から取得されるセンサデータを含む。また、必要に応じて、作業データは、作業対象情報入力部202から取得される作業対象の情報を含む場合もある。 The work data includes at least the sensor data acquired from the sensor information input unit 201. Further, if necessary, the work data may include work target information acquired from the work target information input unit 202.

本実施形態では、作業者110の右手首に装着された動きセンサ101により、単位時間ごと(例えば0.1秒ごと)の作業者110の右手首の位置および向きを記録した多次元ベクトルの時系列データが作業データとして記録される。例えば、3人の作業者がそれぞれ10回ずつ作業を行い、その動作を記録することにより、30個のサンプルが得られる。 In the present embodiment, when the multidimensional vector records the position and orientation of the right wrist of the worker 110 every unit time (for example, every 0.1 seconds) by the motion sensor 101 attached to the right wrist of the worker 110. Series data is recorded as work data. For example, 30 samples can be obtained by having three workers perform the work 10 times each and record the movements.

(2)部分作業の分類
次に、部分作業分類部204が、複数サンプルの作業データに基づき作業者の動作を解析することにより、評価対象作業の全体動作を複数の部分作業に分類すると共に、各サンプルの作業データを部分作業ごとのデータに分割する(ステップS501)。
(2) Classification of partial work Next, the partial work classification unit 204 analyzes the movement of the worker based on the work data of a plurality of samples, thereby classifying the entire movement of the work to be evaluated into a plurality of partial work, and at the same time. The work data of each sample is divided into data for each partial work (step S501).

部分作業の分類は、動きの変化に基づき行うことができる。作業サンプルごとに作業者の動作や作業時間は少しずつ異なるものの、作業手順や組み立て対象の設計による制約があるため、小さな部分作業の単位でみると動きの変化は概ね共通している。例えば、作業者110の手の動き(位置、向き、速度、角速度、加速度、角加速度など)を表す動きベクトルの変化点に着目すると、手の加速・減速・停止・方向転換などが分かるので、動きの変化(部分動作の切り替わり)を捉えることができる。あるいは、Deep Learningによる分類技術を利用してもよい。例えば、Deep Learning技術であるリカレントニューラルネットワーク(RNN)を用いて、時系列のデータを学習させることができる。複数の作業サンプルそれぞれの時系列データを学習データとして与え、Deep Learningによる学習を行うと、作業全体を所定個数の部分作業に分類する分類器が自動生成される。なお、本実施形態では部分作業の分類はデータ解析により自動で行うことを想定しているが、分類作業の一部を人が行うようにしてもよい。 Classification of partial work can be done based on changes in movement. Although the movement and work time of the worker are slightly different for each work sample, the change in movement is almost the same when viewed in small partial work units because there are restrictions due to the work procedure and the design of the assembly target. For example, focusing on the change point of the motion vector representing the movement of the hand of the worker 110 (position, direction, velocity, angular acceleration, acceleration, angular acceleration, etc.), the acceleration / deceleration / stop / change of direction of the hand can be known. It is possible to capture changes in movement (switching of partial movements). Alternatively, a classification technique based on Deep Learning may be used. For example, a recurrent neural network (RNN), which is a deep learning technique, can be used to train time-series data. When time-series data of each of a plurality of work samples is given as learning data and learning is performed by Deep Learning, a classifier that classifies the entire work into a predetermined number of partial works is automatically generated. In this embodiment, it is assumed that the partial work is automatically classified by data analysis, but a part of the classification work may be performed by a person.

部分作業の分類を行う際には、作業対象から検出された情報を用いてもよい。また、工具やアクチュエータ、他の機械など、介在物から検出された情報を加えて分類を行うこともできる。例えば、工具の振動や反力、位置、稼働状況などを検出して、分類情報として用いることができる。あるいは、隣のロボットのセンサ情報を分類情報として用いること
ができる。作業者の属性や作業対象の属性ごとに分類を行うようにしてもよい。部分作業は、必ずしも、人が見たときの作業単位と一致していなくてもよい。複数の作業サンプルのそれぞれから対応する部分作業が正確に抽出できさえすればよい。分類が適切であるかは、同じ分類に属するサンプルの間の類似度を用いて評価できる。適切に分類されていれば、サンプル間の類似度が高くなる。
When classifying the partial work, the information detected from the work target may be used. In addition, information detected from inclusions such as tools, actuators, and other machines can be added for classification. For example, it is possible to detect the vibration, reaction force, position, operating status, etc. of the tool and use it as classification information. Alternatively, the sensor information of the adjacent robot can be used as the classification information. Classification may be performed according to the attributes of the worker and the attributes of the work target. The partial work does not necessarily have to match the unit of work as seen by a person. It is only necessary that the corresponding partial work can be accurately extracted from each of the plurality of work samples. Appropriate classification can be assessed using the similarity between samples belonging to the same classification. If properly classified, the similarity between samples will be high.

図6Aに、部分作業分類部204の内部構成の一例として、動きの変化に基づき動作を分類する場合の構成例を示す。この部分作業分類部204は、動きベクトル抽出部601、変化点検出部602、類似点検出部603、分類生成部604、分類結果出力部605を有する。 FIG. 6A shows a configuration example in which movements are classified based on changes in movements as an example of the internal configuration of the partial work classification unit 204. The partial work classification unit 204 includes a motion vector extraction unit 601, a change point detection unit 602, a similarity point detection unit 603, a classification generation unit 604, and a classification result output unit 605.

図7のフローチャートに沿って、部分作業分類部204の処理フローを説明する。まず、動きベクトル抽出部601はサンプル(作業データ)を1つ読み込む(ステップS700)。動きベクトル抽出部601は、作業データから作業者の右手首の位置および向きを記録した多次元ベクトルの時系列データを読み出し、それを時間微分することによって速度および角速度を要素としてもつ動きベクトルの時系列データを生成する(ステップS701)。変化点検出部602は、動きベクトルの時系列データを解析することで、作業者の動きの変化点を検出する(ステップS702)。例えば、停止状態から動き始めた時、動きを止めた時、速度を急に上げた/下げた時、移動方向を変えた時などを動きの変化点として検出することができる。変化点検出部602は、検出した変化点を記述した変化点リストを作成する(ステップS703)。ステップS700〜S703の処理をすべてのサンプルについて行うことで(ステップS704)、30個のサンプルそれぞれの変化点リストが得られる。 The processing flow of the partial work classification unit 204 will be described with reference to the flowchart of FIG. 7. First, the motion vector extraction unit 601 reads one sample (work data) (step S700). The motion vector extraction unit 601 reads out time-series data of a multidimensional vector that records the position and orientation of the worker's right wrist from the work data, and by time-differentiating it, the motion vector has velocity and angular velocity as elements. Generate series data (step S701). The change point detection unit 602 detects the change point of the worker's movement by analyzing the time-series data of the motion vector (step S702). For example, it is possible to detect when the movement starts from a stopped state, when the movement is stopped, when the speed is suddenly increased / decreased, when the moving direction is changed, and the like as the change points of the movement. The change point detection unit 602 creates a change point list that describes the detected change points (step S703). By performing the processing of steps S700 to S703 for all the samples (step S704), a list of change points for each of the 30 samples is obtained.

次に、類似点検出部603が、複数のサンプルのうちの一つを代表サンプルとして選び、変化点リストを参照して、代表サンプルにおける変化点のそれぞれについて、他のサンプルにおける変化点のなかから動きの変化が類似する類似点を検出する(ステップS705)。これは、複数のサンプルの間で動作の対応点を探索する処理である。なお、代表サンプルはどのように選んでもよく、本実施形態では、複数のサンプルのうち変化点の数が最も少ないものを代表サンプルとして選ぶ。1つの変化点について類似点がみつからない場合もあれば、複数の類似点がみつかる場合もある。類似点の検出には、伸縮マッチングや遺伝的アルゴリズムを利用することができる。類似点検出部603は、代表サンプルにおける各変化点に対応する類似点を記述した類似点リストを作成する(ステップS706)。 Next, the similarity detection unit 603 selects one of the plurality of samples as the representative sample, refers to the change point list, and sets each of the change points in the representative sample from among the change points in the other samples. Similarities with similar movement changes are detected (step S705). This is a process of searching for a corresponding point of operation among a plurality of samples. The representative sample may be selected in any way, and in the present embodiment, the sample having the smallest number of change points among the plurality of samples is selected as the representative sample. In some cases, no similarities are found for one change point, and in other cases, multiple similarities are found. Stretch matching and genetic algorithms can be used to detect similarities. The similarity detection unit 603 creates a similarity list describing similarities corresponding to each change point in the representative sample (step S706).

次に、分類生成部604が、代表サンプルの変化点リストを基に、代表サンプルにおける作業の全体動作を複数の部分作業に分ける(ステップS707)。代表サンプルに含まれる変化点が少なければ(例えば数個であれば)、変化点で区切られる単位を部分作業としてもよい。変化点の数が多い場合(例えば数十以上)などは、変化点リストに含まれる変化点のうちから数個の特異点を抽出し、その特異点で区切られる単位を部分作業とすればよい。この場合、変化が特に大きい点、移動方向が変わる点、他のサンプルに類似点が存在する点などを優先的に特異点に選ぶとよい。なお、部分作業の分類作業の一部をユーザが行うようにしてもよい。例えば、分類生成部604により分類された部分作業を表示装置に提示し、ユーザによる修正(部分作業の統合や再分割)を可能にすることができる。 Next, the classification generation unit 604 divides the entire operation of the work in the representative sample into a plurality of partial work based on the change point list of the representative sample (step S707). If the representative sample contains few change points (for example, several), the unit separated by the change points may be a partial work. When the number of changing points is large (for example, several tens or more), several singular points may be extracted from the changing points included in the changing point list, and the unit separated by the singular points may be regarded as a partial work. .. In this case, it is preferable to preferentially select a point where the change is particularly large, a point where the moving direction changes, a point where similar points exist in other samples, and the like as singular points. The user may perform a part of the classification work of the partial work. For example, the partial work classified by the classification generation unit 604 can be presented to the display device, and the user can modify (integrate or subdivide the partial work).

次に、分類生成部604は、代表サンプルの動きベクトルの時系列データを部分作業ごとのデータに分割するとともに、類似点リストに基づき、他のサンプルの動きベクトルの時系列データについても部分作業ごとのデータに分割する(ステップS708)。最後に、分類結果出力部605が、部分作業リストを作成し出力する(ステップS709)。 Next, the classification generation unit 604 divides the time-series data of the motion vector of the representative sample into the data for each partial work, and also for each partial work for the time-series data of the motion vector of another sample based on the similarity list. (Step S708). Finally, the classification result output unit 605 creates and outputs a partial work list (step S709).

図8に部分作業リストの一例を示す。この部分作業リストは、各サンプルについて、作業者を特定する情報(作業者IDなど)、部分作業ごとの作業時間、部分作業ごとの動きベクトルの時系列データなどが記述されたリストである。 FIG. 8 shows an example of a partial work list. This partial work list is a list in which information for identifying a worker (worker ID, etc.), work time for each partial work, time-series data of a motion vector for each partial work, and the like are described for each sample.

なお、ここまで、動きの変化に基づき動作を分類する場合の構成および処理の例を説明したが、Deep Learningの技術を利用して動作の分類を行うことも可能である。その場合の部分作業分類部204は、図7Bのように、作業データを入力する作業データ入力部610と、入力された作業データを分類する深層ニューラルネットワーク611と、分類結果に基づき部分作業リストを作成し出力する分類結果出力部612とで構成できる。この構成の場合も、深層ニューラルネットワーク611による分類結果を提示し、ユーザによる修正を可能にしてもよい。 Up to this point, an example of the configuration and processing in the case of classifying the motion based on the change in the motion has been described, but it is also possible to classify the motion by using the technique of Deep Learning. In that case, the partial work classification unit 204 creates a work data input unit 610 for inputting work data, a deep neural network 611 for classifying the input work data, and a partial work list based on the classification result, as shown in FIG. 7B. It can be configured by the classification result output unit 612 that is created and output. Also in the case of this configuration, the classification result by the deep neural network 611 may be presented so that the user can modify it.

Deep Learningの技術を利用した場合、例えば、評価対象作業の始点から終点までの動作をN段階(例えば100段階)に分類することについて学習させることができる。この時、作業データ入力部610には、多くの作業者に評価対象作業を複数回実施させることにより得られた複数サンプルの作業データを学習用のデータとして入力するとよい。それぞれの作業データにおいて、作業の始点と終点ではデータ(作業者の手の位置など)が同一であるが、作業の途中(始点と終点の間)では作業データごとにデータが少しずつ異なり得る。それらを分類する学習をすることによって、データが類似する部分を分類する能力をもつ深層ニューラルネットワーク611を得ることができる。この場合、N段階に分類された各部分はそれぞれ隣の部分とつながっている。すると、いずれの作業者の動作も、類似する部分が同じ分類とされる。 When the technique of Deep Learning is used, for example, it is possible to learn about classifying the operation from the start point to the end point of the work to be evaluated into N stages (for example, 100 stages). At this time, the work data input unit 610 may input the work data of a plurality of samples obtained by having many workers perform the work to be evaluated a plurality of times as learning data. In each work data, the data (position of the worker's hand, etc.) is the same at the start point and the end point of the work, but the data may be slightly different for each work data in the middle of the work (between the start point and the end point). By learning to classify them, it is possible to obtain a deep neural network 611 capable of classifying parts having similar data. In this case, each part classified into N stages is connected to the adjacent part. Then, in the actions of all the workers, similar parts are classified into the same classification.

図9にDeep Learningの学習用データと分類結果の一例を示す。グラフ上に描画されたそれぞれの曲線が作業データを示している。グラフの縦軸はデータの値であり、横軸は時間である。なお、本実施形態では、作業データとして、作業者の手の水平方向の加速度と手または部品の位置情報を用いるためデータの値は多次元ベクトルとなるが、図9では図示の便宜のためデータの値を1次元で示している。また、作業データごとに総作業時間(始点から終点までの時間長さ)が異なり得るが、図9では、始点及び終点が一致するように(各作業データの総作業時間の長さが同じになるように)規格化している。Deep Learningでは、手の加速度情報だけでなく手または部品の位置情報に基いて分類を行う。したがって、手が近い位置にある動作は同じ部分に分類される。グラフの下方に、Deep Learningによる分類結果の一例を示す。この例では作業データ全体が6段階の部分に分類されており、それぞれの部分が部分作業に相当する。 FIG. 9 shows an example of learning data and classification results of Deep Learning. Each curve drawn on the graph shows the work data. The vertical axis of the graph is the value of the data, and the horizontal axis is the time. In the present embodiment, since the horizontal acceleration of the worker's hand and the position information of the hand or part are used as the work data, the data value is a multidimensional vector, but in FIG. 9, the data is shown for convenience. The value of is shown in one dimension. Further, the total work time (time length from the start point to the end point) may differ for each work data, but in FIG. 9, the start point and the end point are the same (the total work time length of each work data is the same). (To be) standardized. In Deep Learning, classification is performed based not only on the acceleration information of the hand but also on the position information of the hand or the part. Therefore, movements in which the hands are close to each other are classified into the same part. Below the graph, an example of the classification result by Deep Learning is shown. In this example, the entire work data is classified into six stages, and each part corresponds to a partial work.

(3)作業性の評価
作業性評価部205は、部分作業リストから部分作業を一つずつ選択し(ステップS502)、部分作業ごとの作業性を評価する。本実施形態では、部分作業の作業性を表す指標として、
(指標1)作業者間での平均作業時間のばらつき、及び、
(指標2)作業者ごとの作業時間のばらつき、
を計算する(ステップS503、S504)。
(3) Evaluation of workability The workability evaluation unit 205 selects partial work one by one from the partial work list (step S502) and evaluates the workability of each partial work. In this embodiment, as an index showing the workability of partial work,
(Indicator 1) Variation in average working time among workers, and
(Indicator 2) Variation in working time for each worker,
Is calculated (steps S503, S504).

指標1は部分作業の難易度(例えば、組み立て性の低さ)を表す指標であり、ばらつきが大きいほど、部分作業の難易度が高く、作業性が低いことを表している。また指標2は作業手順の自由度を表す指標であり、ばらつきが大きいほど、作業手順の自由度(つまり曖昧性)が高く、作業性が低いことを表している。なお、「ばらつき」には、例えば、分散、標準偏差、値域(最大値と最小値の差)などを用いることができる。 The index 1 is an index showing the difficulty level of the partial work (for example, low assembling property), and the larger the variation, the higher the difficulty level of the partial work and the lower the workability. Further, the index 2 is an index showing the degree of freedom of the work procedure, and the larger the variation, the higher the degree of freedom (that is, ambiguity) of the work procedure and the lower the workability. For "variation", for example, variance, standard deviation, range (difference between maximum value and minimum value) and the like can be used.

例えば、作業者A,B,Cの部分作業Wに関する作業時間の平均をxWA,xWB,xWC、分散をyWA,yWB,yWCとしたとき、指標1のばらつきが大きいとはxWA,xWB,xWCの分散が大きいことを意味し、指標2のばらつきが大きいとはyWA,yWB,yWCのそれぞれの値又はyWA,yWB,yWCのうちの代表値(例えば、平均値、中間値、最大値など)が大きいことを意味する。 For example, when the average work time of the workers A, B, and C regarding the partial work W is x WA , x WB , x WC , and the variance is y WA , y WB , y WC , the variation of the index 1 is large. means that x WA, x WB, the variance of x WC is large, the representative of the y WA, y WB, each value or y WA of y WC, y WB, y WC and variations of the index 2 is greater It means that the value (for example, average value, intermediate value, maximum value, etc.) is large.

部分作業リストに含まれるすべての部分作業について作業性を評価したら(ステップS505のYES)、ステップS506へ進む。 After evaluating the workability of all the partial works included in the partial work list (YES in step S505), the process proceeds to step S506.

(4)評価結果の出力
ステップS506では、結果出力部206が、作業性評価部205の評価結果を表示装置又は外部装置に対し出力する。
(4) Output of evaluation result In step S506, the result output unit 206 outputs the evaluation result of the workability evaluation unit 205 to the display device or the external device.

図10に評価結果の出力例を示す。この例では、評価対象作業W001、W002の部分作業ごとに、「評価」、「作業難易度」、「手順自由度」の3項目の評価結果が出力されている。「作業難易度」は、上述した指標1のばらつきの大きさを低/中/高の3段階で示すものであり、「手順自由度」は、上述した指標2のばらつきの大きさを低/中/高の3段階で示すものである。また「評価」は、作業難易度の結果と手順自由度の結果の総合評価であり、部分作業の作業性を◎/〇/△/×の4段階で示している。このような評価結果を出力することにより、評価対象作業のなかの問題個所(作業性の低い部分作業)や作業性を低下させている要因(作業が難しすぎるのか、作業手順が曖昧なのか)を容易に特定することができ、製品の設計の見直しや作業手順の改善に役立てることができる。 FIG. 10 shows an output example of the evaluation result. In this example, the evaluation results of three items of "evaluation", "work difficulty", and "procedure freedom" are output for each partial work of the evaluation target work W001 and W002. "Work difficulty" indicates the magnitude of the variation of the above-mentioned index 1 in three stages of low / medium / high, and "procedure freedom" indicates the magnitude of the variation of the above-mentioned index 2 in low / medium. It is shown in three stages of medium / high. In addition, "evaluation" is a comprehensive evaluation of the result of work difficulty and the result of procedure freedom, and the workability of partial work is shown in four stages of ◎ / ○ / △ / ×. By outputting such evaluation results, problem areas (partial work with low workability) and factors that reduce workability in the work to be evaluated (whether the work is too difficult or the work procedure is ambiguous) Can be easily identified, which can be useful for reviewing product design and improving work procedures.

なお、評価結果の出力に、各部分作業の作業時間の最小値やそのときの動作(移動経路、移動速度など)を表す情報を含めてもよい。このような情報を出力することにより、作業性の改善可能な度合いを把握したり、改善目標を設定したりするのが容易になる。また、各部分作業を行ったときに記録された情報を評価結果の出力に含めてもよい。これによい、作業性を低下させている要因の推定やその改善方法の検討が容易になる。 In addition, the output of the evaluation result may include information indicating the minimum value of the working time of each partial work and the operation (moving route, moving speed, etc.) at that time. By outputting such information, it becomes easy to grasp the degree of improvement in workability and set improvement targets. In addition, the information recorded when each partial work is performed may be included in the output of the evaluation result. This makes it easier to estimate the factors that reduce workability and to study how to improve them.

以上述べた本実施形態の作業性評価装置100によれば、作業者が評価対象作業を実際に実施したときの記録である作業データを基に評価を行うため、現実の作業に即した作業性を評価することができる。また、作業データのばらつきを評価するという簡易かつ汎用的なアルゴリズムであるため、様々な種類の作業性評価に対し適用することができる。さらに、評価対象作業を小さい動作単位である部分作業に分けたので、サンプル間での動作の対応付けや、問題個所の発見、作業性を阻害する要因の特定などが容易になるという利点もある。しかも、本実施形態の作業性評価装置100では、作業データに基づく動作解析によって部分作業への分類を自動的に行うことができる。したがって、作業性評価装置100の汎用性及び適応性を格段に向上することができる。 According to the workability evaluation device 100 of the present embodiment described above, since the evaluation is performed based on the work data which is the record when the worker actually performs the work to be evaluated, the workability is in line with the actual work. Can be evaluated. Further, since it is a simple and general-purpose algorithm that evaluates the variation of work data, it can be applied to various types of workability evaluation. Furthermore, since the work to be evaluated is divided into partial work, which is a small unit of movement, there is an advantage that it is easy to associate movements between samples, find problem areas, and identify factors that hinder workability. .. Moreover, the workability evaluation device 100 of the present embodiment can automatically classify into partial work by motion analysis based on work data. Therefore, the versatility and adaptability of the workability evaluation device 100 can be remarkably improved.

なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。 It should be noted that the configuration of the above-described embodiment is merely a specific example of the present invention, and is not intended to limit the scope of the present invention. The present invention can adopt various concrete configurations as long as it does not deviate from the technical idea.

例えば、本明細書に開示された技術思想は、以下のような発明として特定することもできる。
(付記1)
本発明は、評価対象作業の作業性を評価する作業性評価装置であって、
ハードウェアプロセッサと前記ハードウェアプロセッサに動作的に連結されたメモリと、ストレージとを有し、
前記ハードウェアプロセッサは前記ストレージに格納されたプログラムを前記メモリに
配置し、コンピュータの機能として、
作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして前記ストレージ内に記録する作業データ記録部と、
前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、
前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、
を有する。
(付記2)
本発明は、評価対象作業の作業性を評価する作業性評価方法であって、
少なくとも1つのハードウェアプロセッサによって、作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとしてストレージ内に記録するステップと、
少なくとも1つのハードウェアプロセッサによって、前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分類するステップと、
少なくとも1つのハードウェアプロセッサによって、前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求めるステップと、
を有する。
For example, the technical idea disclosed in the present specification can also be specified as the following invention.
(Appendix 1)
The present invention is a workability evaluation device for evaluating the workability of the work to be evaluated.
It has a hardware processor, memory operably linked to the hardware processor, and storage.
The hardware processor arranges a program stored in the storage in the memory, and functions as a computer.
A work data recording unit that records information related to the operation of the worker as work data in the storage when the worker performs the work to be evaluated.
A partial work classification unit that divides the entire work to be evaluated into a plurality of partial works by analyzing the movements of workers included in the work data.
A workability evaluation unit that obtains an index related to workability for each partial work by evaluating the variation of the work data in a plurality of samples for each partial work.
Have.
(Appendix 2)
The present invention is a workability evaluation method for evaluating the workability of the work to be evaluated.
A step of recording information related to the operation of the worker as work data in the storage when the worker performs the work to be evaluated by at least one hardware processor.
A step of classifying the entire work to be evaluated into a plurality of partial works by analyzing the behavior of the worker included in the work data by at least one hardware processor.
A step of obtaining an index related to workability for each partial work by evaluating the variation of the work data in a plurality of samples for each partial work by at least one hardware processor.
Have.

100:作業性評価装置、101:センサ、102:情報処理装置、110:作業者、111:物体(作業対象)
201:センサ情報入力部、202:作業対象情報入力部、203:作業データ記録部、204:部分作業分類部、205:作業性評価部、206:結果出力部
401:ベース部品、401a,401b,401c:穴、401d,401e:フレーム、402a,402b,402c:部品、403a,403b,403c:部品箱
601:ベクトル抽出部、602:変化点検出部、603:類似点検出部、604:分類生成部、605:分類結果出力部
610:作業データ入力部、611:深層ニューラルネットワーク、612:分類結果出力部
100: Workability evaluation device, 101: Sensor, 102: Information processing device, 110: Worker, 111: Object (work target)
201: Sensor information input unit, 202: Work target information input unit, 203: Work data recording unit, 204: Partial work classification unit, 205: Workability evaluation unit, 206: Result output unit 401: Base parts, 401a, 401b, 401c: Hole, 401d, 401e: Frame, 402a, 402b, 402c: Parts, 403a, 403b, 403c: Parts box 601: Vector extraction unit, 602: Change point detection unit, 603: Similarity detection unit, 604: Classification generation Unit, 605: Classification result output unit 610: Work data input unit, 611: Deep neural network, 612: Classification result output unit

Claims (9)

評価対象作業の作業性を評価する作業性評価装置であって、
人、又は、人工知能により動作するAIロボットの少なくとも一方を含む作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録する作業データ記録部と、
前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、
前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、
を有し、
前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、
前記作業性評価部は、部分作業ごとに各作業者の平均作業時間を算出し、部分作業ごとに平均作業時間の作業者間でのばらつきを表す指標を求め、当該指標で表されるばらつきが大きいほど当該部分作業の作業難易度が高いと評価し、部分作業ごとの作業難易度評価結果を出力することを特徴とする作業性評価装置。
A workability evaluation device that evaluates the workability of the work to be evaluated.
A work data recording unit that records information related to the movement of the worker as work data when a worker including at least one of a human or an AI robot operated by artificial intelligence performs the work to be evaluated.
A partial work classification unit that divides the entire work to be evaluated into a plurality of partial works by analyzing the movements of workers included in the work data.
A workability evaluation unit that obtains an index related to workability for each partial work by evaluating the variation of the work data in a plurality of samples for each partial work.
Have,
The plurality of samples include a plurality of work data of each of the plurality of workers.
The workability evaluating unit calculates an average work time of each worker in each partial work obtains an index representing the variation among workers of the average working time for each part work, variations represented in the index A workability evaluation device characterized in that the larger the value, the higher the work difficulty level of the partial work, and the evaluation result of the work difficulty level for each partial work is output.
記作業性評価部は、部分作業ごとに各作業者の作業時間のばらつきを算出し、部分作業ごとに各作業者の作業時間のばらつきを表す指標を求め、当該指標で表されるばらつきが大きいほど当該部分作業の作業手順の自由度が高いと評価し、部分作業ごとの作業手順の自由度評価結果を出力することを特徴とする請求項1に記載の作業性評価装置。 Before SL workability evaluating unit calculates a variation of the working time of each worker in each partial work obtains an index for each partial work represents the variation of the working time of each worker, variation represented in the index The workability evaluation device according to claim 1, wherein the larger the value is, the higher the degree of freedom of the work procedure of the partial work is evaluated, and the evaluation result of the degree of freedom of the work procedure for each partial work is output. 前記部分作業分類部は、前記作業データの複数のサンプルに基づきDeep Learningにより動作を解析することによって、前記評価対象作業の全体を前記複数の部分作業に分ける
ことを特徴とする請求項1又は2に記載の作業性評価装置。
Claim 1 or 2 is characterized in that the partial work classification unit divides the entire work to be evaluated into the plurality of partial works by analyzing the operation by deep learning based on a plurality of samples of the work data. The workability evaluation device described in 1.
前記部分作業分類部は、前記作業データに基づき作業者の動作の変化点を検出し、前記動作の変化点を基に前記評価対象作業の全体を前記複数の部分作業に分ける
ことを特徴とする請求項1又は2に記載の作業性評価装置。
The partial work classification unit is characterized in that it detects a change point of the worker's movement based on the work data and divides the entire evaluation target work into the plurality of partial work based on the change point of the movement. The workability evaluation device according to claim 1 or 2.
作業者の動きを検出する1つ以上のセンサを有し、
前記作業データ記録部は、前記センサから得られるセンサデータを記録する
ことを特徴とする請求項1〜4のうちいずれか1項に記載の作業性評価装置。
It has one or more sensors that detect the movement of the worker
The workability evaluation device according to any one of claims 1 to 4, wherein the work data recording unit records sensor data obtained from the sensor.
前記センサは、作業者の身体に装着された動きセンサを含む
ことを特徴とする請求項5に記載の作業性評価装置。
The workability evaluation device according to claim 5, wherein the sensor includes a motion sensor attached to the body of an operator.
コンピュータにより評価対象作業の作業性を評価する作業性評価方法であって、
人、又は、人工知能により動作するAIロボットの少なくとも一方を含む作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録するステップと、
前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分類するステップと、
前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価ステップと、
部分作業ごとの評価結果を出力する出力ステップと、
を有し、
前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、
前記作業性評価ステップでは、部分作業ごとに各作業者の平均作業時間を算出し、部分作業ごとに平均作業時間の作業者間でのばらつきを表す指標を求め、当該指標で表されるばらつきが大きいほど当該部分作業の作業難易度が高いと評価し、
前記出力ステップでは、部分作業ごとの作業難易度評価結果を出力する
ことを特徴とする作業性評価方法。
It is a workability evaluation method that evaluates the workability of the work to be evaluated by a computer.
A step of recording information related to the operation of the worker as work data when a worker including at least one of a human or an AI robot operated by artificial intelligence performs the work to be evaluated.
A step of classifying the entire work to be evaluated into a plurality of partial works by analyzing the movement of the worker included in the work data.
A workability evaluation step for obtaining an index related to workability for each partial work by evaluating the variation of the work data in a plurality of samples for each partial work.
An output step that outputs the evaluation result for each partial work,
Have,
The plurality of samples include a plurality of work data of each of the plurality of workers.
Wherein in the workability evaluating step calculates an average work time of each worker in each partial work obtains an index representing the variation among workers of the average working time for each part work, variations represented in the index The larger the value, the higher the difficulty of the partial work.
In the output step, a workability evaluation method is characterized in that an evaluation result of a work difficulty level for each partial work is output.
記作業性評価ステップでは、部分作業ごとに各作業者の作業時間のばらつきを算出し、部分作業ごとに各作業者の作業時間のばらつきを表す指標を求め、当該指標で表されるばらつきが大きいほど当該部分作業の作業手順の自由度が高いと評価し、
前記出力ステップでは、部分作業ごとの作業手順の自由度評価結果を出力する
ことを特徴とする請求項7に記載の作業性評価方法。
Prior Symbol workability evaluating step calculates the variation of the working time of each worker in each partial work obtains an index for each partial work represents the variation of the working time of each worker, variation represented in the index The larger the value, the higher the degree of freedom in the work procedure of the relevant partial work.
The workability evaluation method according to claim 7, wherein in the output step, an evaluation result of the degree of freedom of the work procedure for each partial work is output.
請求項7又は8に記載の作業性評価方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the workability evaluation method according to claim 7 or 8.
JP2016180660A 2016-09-15 2016-09-15 Workability evaluation device Active JP6897037B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016180660A JP6897037B2 (en) 2016-09-15 2016-09-15 Workability evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016180660A JP6897037B2 (en) 2016-09-15 2016-09-15 Workability evaluation device

Publications (2)

Publication Number Publication Date
JP2018045512A JP2018045512A (en) 2018-03-22
JP6897037B2 true JP6897037B2 (en) 2021-06-30

Family

ID=61694881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016180660A Active JP6897037B2 (en) 2016-09-15 2016-09-15 Workability evaluation device

Country Status (1)

Country Link
JP (1) JP6897037B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7049212B2 (en) * 2018-08-09 2022-04-06 株式会社東芝 Analytical systems, analytical methods, programs, and storage media
JP7070252B2 (en) * 2018-08-31 2022-05-18 オムロン株式会社 Performance measuring device, performance measuring method and performance measuring program
JP7070253B2 (en) * 2018-08-31 2022-05-18 オムロン株式会社 Performance measuring device, performance measuring method and performance measuring program
JP7103078B2 (en) * 2018-08-31 2022-07-20 オムロン株式会社 Work support equipment, work support methods and work support programs
JP7204478B2 (en) * 2018-12-26 2023-01-16 キヤノン株式会社 Information processing device and its control method
JP7385826B2 (en) 2019-11-08 2023-11-24 オムロン株式会社 Motion analysis device, motion analysis method, and motion analysis program
KR102439584B1 (en) * 2020-05-29 2022-09-01 한국로봇융합연구원 Apparatus and method for managing the work plan of multiple autonomous robots
US20210398416A1 (en) * 2020-06-19 2021-12-23 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hand hygiene compliance checking system with explainable feedback
JPWO2022259579A1 (en) * 2021-06-11 2022-12-15
WO2023242942A1 (en) * 2022-06-14 2023-12-21 日本電信電話株式会社 Schedule execution assistance device, method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2977626B2 (en) * 1991-03-19 1999-11-15 富士通株式会社 Work evaluation device
JP2006209468A (en) * 2005-01-28 2006-08-10 Yakahi Kikuko Work operation analysis device, work operation analysis method and work operation analysis program
JPWO2007126026A1 (en) * 2006-04-26 2009-09-10 ジャシィ株式会社 System for automatically extracting motion elements to be improved from work processes
JP5027053B2 (en) * 2008-05-30 2012-09-19 株式会社日立製作所 Work analysis apparatus, production management method, and production management system
JP5825906B2 (en) * 2011-07-28 2015-12-02 三菱重工業株式会社 Production management apparatus, process analysis method, and process analysis program
WO2015131157A1 (en) * 2014-02-28 2015-09-03 Vikas Gupta Gesture operated wrist mounted camera system
US20160125348A1 (en) * 2014-11-03 2016-05-05 Motion Insight LLC Motion Tracking Wearable Element and System
CN104867309A (en) * 2015-04-30 2015-08-26 深圳市全球锁安防系统工程有限公司 Middle aged and elderly people good health service intelligent wearing device and deep learning method

Also Published As

Publication number Publication date
JP2018045512A (en) 2018-03-22

Similar Documents

Publication Publication Date Title
JP6897037B2 (en) Workability evaluation device
US20180354127A1 (en) Operation information generating apparatus
JP7103078B2 (en) Work support equipment, work support methods and work support programs
JP6783713B2 (en) Human behavior estimation system
JP2020038440A (en) Motion recognition method and device
JPWO2019059364A1 (en) Remote control manipulator system and control device
Hernandez et al. Machine learning techniques for motion analysis of fatigue from manual material handling operations using 3D motion capture data
JP2022546644A (en) Systems and methods for automatic anomaly detection in mixed human-robot manufacturing processes
Bhattacharjee et al. Combining tactile sensing and vision for rapid haptic mapping
JP2021043839A (en) Learning system, analysis system, method for learning, method for analysis, program, and storage medium
CN111402287A (en) System and method for standardized assessment of activity sequences
Al-Amin et al. Sensor data based models for workforce management in smart manufacturing
Amatya et al. Real time kinect based robotic arm manipulation with five degree of freedom
Aoki et al. Segmentation of human body movement using inertial measurement unit
CN110826383B (en) Analysis system, analysis method, program, and storage medium
Gu et al. Fine manipulative action recognition through sensor fusion
Akhshik et al. Pressure Sensor Positioning for Accurate Human Interaction with a Robotic Hand
Faria et al. Identifying objects from hand configurations during in-hand exploration
Blanchet et al. From raw signals to human skills level in physical human-robot collaboration for advanced-manufacturing applications
US20230286159A1 (en) Remote control system
Fresnillo et al. A method for understanding and digitizing manipulation activities using programming by demonstration in robotic applications
Yang et al. Vision-based cutting control of deformable objects
Grzejszczak et al. Selection of Methods for Intuitive, Haptic Control of the Underwater Vehicle’s Manipulator
WO2023157230A1 (en) Learning device, processing device, learning method, posture detection model, program, and storage medium
WO2021039641A1 (en) Motion verbalization device, motion verbalization method, program, and motion recording device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150