JP2021125183A - Workload analysis apparatus, workload analysis method, and program - Google Patents

Workload analysis apparatus, workload analysis method, and program Download PDF

Info

Publication number
JP2021125183A
JP2021125183A JP2020020550A JP2020020550A JP2021125183A JP 2021125183 A JP2021125183 A JP 2021125183A JP 2020020550 A JP2020020550 A JP 2020020550A JP 2020020550 A JP2020020550 A JP 2020020550A JP 2021125183 A JP2021125183 A JP 2021125183A
Authority
JP
Japan
Prior art keywords
worker
work
sensor
workload
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020020550A
Other languages
Japanese (ja)
Inventor
一哲 北角
Kazunori Kitazumi
一哲 北角
清明 田中
Kiyoaki Tanaka
清明 田中
和哉 浦部
Kazuya Urabe
和哉 浦部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2020020550A priority Critical patent/JP2021125183A/en
Priority to PCT/JP2020/047062 priority patent/WO2021161651A1/en
Publication of JP2021125183A publication Critical patent/JP2021125183A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

To provide a more accurate object tracking recovery technology.SOLUTION: A workload analysis apparatus which visualizes load of a worker in a work process includes: a sensor for monitoring a state of the worker; a determination unit which determines whether the worker is working on the basis of data acquired by the sensor; and a display unit which displays workload of the worker on the basis of working time and non-working time of the worker in a predetermined period.SELECTED DRAWING: Figure 2

Description

本発明は、工場の作業工程ごとの負荷を分析および可視化するための技術に関する。 The present invention relates to a technique for analyzing and visualizing a load for each work process in a factory.

複数の要素作業からなる流れ作業を処理するにあたり、特定の工程に負荷が集中しないように適切に作業を分配することが求められる。また、一人が複数の工程を行うセル生産方式においては、他の作業場での仕掛品待ちにより作業が滞ることを避ける必要がある。 In processing an assembly line consisting of a plurality of elemental works, it is required to appropriately distribute the work so that the load is not concentrated on a specific process. Further, in the cell production method in which one person performs a plurality of processes, it is necessary to avoid delaying the work due to waiting for work in process at another work place.

従来、工場管理者によって入力された、作業者のスキル、作業難易度、および作業者の属性等の情報に基づいて、各作業への作業者割り当てを推薦する手法が提案されている(特許文献1,2)。しかしながら、作業者のスキル判断は難しく、適切な割り当ては困難である。また、作業者の入れ替えも適切な割り当てができない要因の一つである。 Conventionally, a method of recommending worker assignment to each work has been proposed based on information such as worker skills, work difficulty, and worker attributes input by the factory manager (Patent Documents). 1, 2). However, it is difficult to judge the skills of workers, and it is difficult to assign them appropriately. In addition, the replacement of workers is also one of the factors that prevent proper allocation.

特開平10−261122号公報Japanese Unexamined Patent Publication No. 10-261122 特開2017−68428号公報JP-A-2017-68428

実際の作業現場での作業工程ごとの負荷が可視化できれば、それに応じて工場管理者が作業配分や人員配分を調整する助けとなる。 If the load for each work process at the actual work site can be visualized, it will help the factory manager to adjust the work allocation and personnel allocation accordingly.

そこで、本発明は、作業工程ごとの作業者の負荷を分析および可視化可能な技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique capable of analyzing and visualizing a worker's load for each work process.

上記目的を達成するために本発明は、以下の構成を採用する。 In order to achieve the above object, the present invention adopts the following configuration.

本発明の第一側面は、
作業工程における作業者の負荷を可視化する作業負担分析装置であって、
前記作業者の状態をモニタリンするためのセンサと、
前記センサによって取得されるデータに基づいて、前記作業者が作業中であるか否かを判定する判定部と、
所定の期間における前記作業者の作業中の時間と作業中ではない時間に基づいて、前記作業者の作業負荷を表す表示を行う表示部と、
を備える作業負荷分析装置を提供する。
The first aspect of the present invention is
It is a work load analyzer that visualizes the load of workers in the work process.
A sensor for monitoring the worker's condition and
A determination unit that determines whether or not the worker is working based on the data acquired by the sensor, and a determination unit.
A display unit that displays the workload of the worker based on the time during which the worker is working and the time during which the worker is not working in a predetermined period.
Provide a workload analyzer equipped with.

この構成によれば、任意の時点において作業者が作業中であるか否かを判定でき、したがって、作業中の時間と作業中ではない時間を把握できる。これにより、作業工程における作業者の作業負荷を定量的に把握し、可視化することが可能となる。 According to this configuration, it is possible to determine whether or not the worker is working at any time, and therefore, it is possible to grasp the time during work and the time during non-work. This makes it possible to quantitatively grasp and visualize the workload of the worker in the work process.

前記センサは、一例として、作業者を撮像するカメラ、作業者に取り付けられたモーションセンサ、作業者が有するビーコンが発信する電波を検出するビーコン受信器が含まれる。カメラは、例えば、天井に取り付けられた魚眼カメラであり、その1台でも複数台でもよい。カメラを用いることで、作業者に負担を強いることなく、また、安価に、作業中であるか否かを判定できる。モーションセンサを使うと、作業者の動きを精度良く検出で
きる。ビーコン受信器を使うと、作業者の位置を検出できる。
Examples of the sensor include a camera that captures an image of an operator, a motion sensor attached to the operator, and a beacon receiver that detects radio waves transmitted by a beacon possessed by the operator. The camera is, for example, a fisheye camera mounted on the ceiling, and may be one or a plurality of the cameras. By using the camera, it is possible to determine whether or not the work is in progress without imposing a burden on the operator and at low cost. A motion sensor can be used to accurately detect the movement of an operator. Beacon receivers can be used to detect the location of workers.

前記判定部は、前記センサによって取得されるデータに基づいて、所定期間における前記作業者の特定部位の移動量の合計に基づいて、前記作業者が作業中であるか否かを判定してもよい。特定部位は、例えば、手首、手のひら、頭、胴体が挙げられるが、特定の部位に限定されない。特定部位は、作業工程に応じて定められてもよい。また、前記判定部は、複数の部位の移動量の合計に基づいて判定をしてもよい。 The determination unit may determine whether or not the worker is working based on the total amount of movement of the specific part of the worker in a predetermined period based on the data acquired by the sensor. good. Specific parts include, for example, wrists, palms, heads, and torso, but are not limited to specific parts. The specific part may be determined according to the work process. Further, the determination unit may make a determination based on the total amount of movement of the plurality of parts.

例えば、前記判定部は、前記カメラによって撮像される画像から前記作業者の骨格点を検出する姿勢検出部を有し、検出された骨格点の情報から前記作業者の特定部位の移動量を求めてもよい。また、前記判定部は、前記モーションセンサによって取得されるデータに基づいて、前記作業者の特定部位の移動量を求めてもよい。 For example, the determination unit has a posture detection unit that detects the skeleton point of the worker from the image captured by the camera, and obtains the movement amount of the specific part of the worker from the information of the detected skeleton point. You may. In addition, the determination unit may obtain the amount of movement of the specific part of the worker based on the data acquired by the motion sensor.

この構成は、作業中に特定部位の動きが大きい作業の判定に好適である。 This configuration is suitable for determining a work in which the movement of a specific part is large during the work.

前記判定部は、前記カメラによって撮像される画像から前記作業者の人体を検出する人体検出部を有し、所定のフレーム期間における、人体領域内のフレーム間差分の合計に基づいて、前記作業者が作業中であるか否かを判定してもよい。フレーム間差分の大きさは、動きの大きさと捉えることもできるので、本手法も作業者の移動量に基づく判定と考えることもできる。すなわち、上記構成と同様の効果を得ることができる。なお、人体領域全体のフレーム間差分に基づく代わりに、人体領域の特定領域におけるフレーム間差分に基づいて判定してもよい。 The determination unit has a human body detection unit that detects the human body of the worker from an image captured by the camera, and the worker is based on the total difference between frames in the human body region in a predetermined frame period. May determine if is in the process of working. Since the magnitude of the difference between frames can be regarded as the magnitude of movement, this method can also be considered as a judgment based on the amount of movement of the operator. That is, the same effect as the above configuration can be obtained. Instead of based on the inter-frame difference of the entire human body region, the determination may be made based on the inter-frame difference in a specific region of the human body region.

前記判定部は、前記センサによって取得されるデータに基づいて、所定の第1行動が検出された場合に作業が開始されたと判断し、所定の第2行動が検出された場合に作業が終了したと判断してもよい。第1行動は、作業工程の開始時に行う行動であることが好ましく、第2行動は、作業工程の終了時に行う行動であることが好ましい。例えば、第1行動はワークを取得する動作であり、第2行動はワークを置く動作でありうる。 Based on the data acquired by the sensor, the determination unit determines that the work has started when the predetermined first action is detected, and ends the work when the predetermined second action is detected. You may judge that. The first action is preferably an action performed at the start of the work process, and the second action is preferably an action performed at the end of the work process. For example, the first action may be an action of acquiring a work, and the second action may be an action of placing a work.

具体的には、前記判定部は、前記カメラによって撮像される画像から前記作業者の骨格点を検出する姿勢検出部を有し、検出された骨格点の情報から前記作業者の前記第1行動または前記第2行動を検出してもよい。また、前記判定部は、前記モーションセンサによって取得されるデータに基づいて、前記作業者の前記第1行動または前記第2行動を検出してもよい。 Specifically, the determination unit has a posture detection unit that detects the skeleton point of the worker from the image captured by the camera, and the first action of the worker from the information of the detected skeleton point. Alternatively, the second action may be detected. Further, the determination unit may detect the first action or the second action of the worker based on the data acquired by the motion sensor.

前記判定部は、前記センサによって取得されるデータに基づいて、前記作業者の所定の第1領域への進入が検出された場合に作業が開始されたと判断し、所定の第2領域への進入が検出された場合に作業が終了したと判断してもよい。第1行動は、作業工程の開始時に作業者が移動する領域であることが好ましく、第2行動は、作業工程の終了時に作業者が移動する領域であることが好ましい。なお、第2領域は、第1領域以外の領域として設定されてもよい。 Based on the data acquired by the sensor, the determination unit determines that the work has started when the worker's entry into the predetermined first area is detected, and determines that the work has started and enters the predetermined second area. It may be determined that the work is completed when is detected. The first action is preferably an area in which the worker moves at the start of the work process, and the second action is preferably an area in which the worker moves at the end of the work process. The second region may be set as an region other than the first region.

具体的には、前記判定部は、前記カメラによって撮像される画像から前記作業者の人体を検出する人体検出部を有し、検出された人体の位置に基づいて、前記作業者の前記第1領域または第2領域への進入を検出してもよい。また、前記判定部は、前記ビーコン受信器の検出結果に基づいて、前記作業者の前記第1領域または第2領域への進入を検出してもよい。 Specifically, the determination unit has a human body detection unit that detects the human body of the worker from an image captured by the camera, and the first unit of the worker is based on the detected position of the human body. The entry into the region or the second region may be detected. Further, the determination unit may detect the invasion of the worker into the first region or the second region based on the detection result of the beacon receiver.

前記判定部は、前記作業者が作業中であるか否かを出力するように機械学習された学習済みモデルを有し、前記センサによって取得されたデータを前記学習済みモデルに入力し
て、前記作業者が作業中であるか否かを判定してもよい。センサは、上述のようにカメラ、モーションセンサ、ビーコン受信器など任意である。また、複数種類のセンサから得られるデータの組み合わせを、学習済みモデルへの入力としてもよい。
The determination unit has a trained model that has been machine-learned to output whether or not the worker is working, and inputs the data acquired by the sensor into the trained model. It may be determined whether or not the worker is working. The sensor is arbitrary such as a camera, a motion sensor, and a beacon receiver as described above. Further, a combination of data obtained from a plurality of types of sensors may be input to the trained model.

本態様において、前記判定部は、複数の作業工程のそれぞれについて判定を行い、前記表示部は、作業工程ごとに前記作業負荷を表す表示を行ってもよい。この表示は、例えば、作業工程ごとに、所定の期間の各時刻において前記作業者が作業中であったか否かを表すグラフを含んでもよく、また、作業工程ごとに、作業開始から作業終了までに要する時間の平均を表す情報を含んでもよい。この構成によれば、作業工程ごとの作業負荷を比較可能である。 In this embodiment, the determination unit may make a determination for each of the plurality of work processes, and the display unit may display the workload for each work process. This display may include, for example, a graph showing whether or not the worker was working at each time of a predetermined period for each work process, and for each work process from the start to the end of the work. It may include information representing the average time required. According to this configuration, it is possible to compare the workload for each work process.

本発明は、上記手段の少なくとも一部を有する作業負荷分析装置として捉えてもよいし、作業負荷評価装置、作業負荷監視装置などとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む方法、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 The present invention may be regarded as a workload analysis device having at least a part of the above means, or may be regarded as a workload evaluation device, a workload monitoring device, or the like. Further, the present invention can be regarded as a method including at least a part of the above processing, a program for realizing such a method, or a recording medium in which the program is recorded non-temporarily. It should be noted that each of the above means and treatments can be combined with each other as much as possible to form the present invention.

本発明によれば、作業工程ごとの作業者の負荷を分析し可視化できる。 According to the present invention, the load on the worker for each work process can be analyzed and visualized.

本発明に係る作業負荷分析装置の適用例を示す図。The figure which shows the application example of the workload analyzer which concerns on this invention. 第1実施形態に係る作業負荷分析装置の構成を示す図。The figure which shows the structure of the workload analyzer which concerns on 1st Embodiment. 作業負荷分析装置が行う処理のフローチャート。Flowchart of processing performed by the workload analyzer. 作業工程ごとの作業負荷を表すグラフの例。An example of a graph showing the workload for each work process. 第2実施形態に係る作業負荷分析装置の構成を示す図。The figure which shows the structure of the workload analyzer which concerns on 2nd Embodiment. 第3実施形態に係る作業負荷分析装置の構成を示す図。The figure which shows the structure of the workload analyzer which concerns on 3rd Embodiment.

<適用例>
図1を参照して、本発明の適用例の一つについて説明する。図1は、工場などの製造ラインにおいて、本発明の実施形態に係る作業負荷分析装置10を、作業工程の負荷分析に適用した例を示している。
<Application example>
One of the application examples of the present invention will be described with reference to FIG. FIG. 1 shows an example in which the workload analyzer 10 according to the embodiment of the present invention is applied to load analysis of a work process in a production line such as a factory.

図1の例では、作業場の天井にカメラ20が設置されており、複数の作業者P1,P2を含む製造ラインを撮像する。カメラ20によって撮像された画像は、作業負荷分析装置10に取り込まれる。作業負荷分析装置10は、画像を分析して、作業者が作業中であるか否かを判定する。作業中か否かの判定を継続的に行うことで、工程ごとの作業負荷が求められる。求められた工程ごとの作業負荷は表示装置21に表示される。 In the example of FIG. 1, a camera 20 is installed on the ceiling of the work place, and an image is taken of a production line including a plurality of workers P1 and P2. The image captured by the camera 20 is captured by the workload analyzer 10. The workload analyzer 10 analyzes the image and determines whether or not the worker is working. By continuously determining whether or not work is in progress, the workload for each process can be obtained. The calculated workload for each process is displayed on the display device 21.

このような作業負荷分析装置10によれば、どの作業工程に負荷がかかっているかを容易に確認できる。したがって、管理者は、各工程の作業配分および人員配置を、実際の作業負荷を考慮して決定できる。 According to such a workload analyzer 10, it is possible to easily confirm which work process the load is applied to. Therefore, the manager can determine the work allocation and staffing of each process in consideration of the actual workload.

なお、本発明によって作業負荷を分析可能な対象は、ライン生産方式の作業場に限られずセル生産方式の作業場にも適用可能である。また、本発明は、物を製造する作業場に限られず、任意の作業を行うシーンに適用可能である。 The object to which the workload can be analyzed by the present invention is not limited to the workplace of the line production method, but can be applied to the workplace of the cell production method. Further, the present invention is not limited to the workplace where a product is manufactured, and can be applied to a scene in which an arbitrary work is performed.

<第1実施形態>
図2を参照して、本発明の実施形態に係る作業負荷分析装置10を適用した作業負荷分
析システムの具体的な構成例を説明する。
<First Embodiment>
A specific configuration example of a workload analysis system to which the workload analysis device 10 according to the embodiment of the present invention is applied will be described with reference to FIG.

(構成)
作業負荷分析装置10は、そのハードウェア構成要素として、1つ以上のプロセッサ、主記憶装置、補助記憶装置、通信装置、入力装置、出力装置を備え、プロセッサがコンピュータプログラムを実行することによって、以下の各種処理を実行する。なお、一部又は全部の処理は、専用のハードウェア回路によって実行されてもよい。
(composition)
The workload analyzer 10 includes one or more processors, a main storage device, an auxiliary storage device, a communication device, an input device, and an output device as hardware components thereof, and the processor executes a computer program to: Execute various processes of. Note that some or all of the processing may be executed by a dedicated hardware circuit.

本実施形態の作業負荷分析装置10は、その機能部として、画像取得部11、作業判定部12、グラフ生成・表示部16、および記憶部15を有する。画像取得部11は、カメラ20から画像を取得する。作業判定部12は、カメラ画像に基づいて、作業者が作業中であるか否かを判定し、判定結果を記憶部15に格納する。作業判定部12は、サブ機能部として、人体検出部13と姿勢検出部14を備える。人体検出部13はカメラ画像から人体が写っている領域を検出する。姿勢検出部14は、カメラ画像から人体(作業者)の骨格点を検出する。作業判定部12は、人体検出部13の人体検出結果と姿勢検出部14の姿勢(骨格点)検出結果の少なくともいずれかに基づいて、作業者が作業中であるか否かを判定し、本実施形態では、作業の開始時刻と終了時刻を記憶部15に格納する。グラフ生成・表示部16は、記憶部15に記憶されている作業開始時刻および作業終了時刻に基づいて、各作業工程の作業負荷を表すグラフを生成して、表示部16に表示する。作業負荷分析装置10の詳細については、以下でフローチャートともに説明する。 The workload analysis device 10 of the present embodiment has an image acquisition unit 11, a work determination unit 12, a graph generation / display unit 16, and a storage unit 15 as its functional units. The image acquisition unit 11 acquires an image from the camera 20. The work determination unit 12 determines whether or not the worker is working based on the camera image, and stores the determination result in the storage unit 15. The work determination unit 12 includes a human body detection unit 13 and a posture detection unit 14 as sub-function units. The human body detection unit 13 detects a region in which the human body is captured from the camera image. The posture detection unit 14 detects the skeleton point of the human body (worker) from the camera image. The work determination unit 12 determines whether or not the worker is working based on at least one of the human body detection result of the human body detection unit 13 and the posture (skeleton point) detection result of the posture detection unit 14. In the embodiment, the start time and the end time of the work are stored in the storage unit 15. The graph generation / display unit 16 generates a graph showing the workload of each work process based on the work start time and work end time stored in the storage unit 15, and displays the graph on the display unit 16. The details of the workload analyzer 10 will be described below together with the flowchart.

カメラ20は、魚眼レンズを含む光学系と撮像素子(CCDやCMOSなどのイメージセンサ)を有する撮像装置である。カメラ20は、例えば図1に示すように、作業場の天井などに、光軸を鉛直下向きにした状態で設置され、全方位(360度)の画像を撮影するとよい。したがって、カメラ20によって、作業者の状態をモニタリングすることができる。カメラ20は作業負荷分析装置10に対し有線(USBケーブル、LANケーブルなど)または無線(WiFiなど)で接続され、カメラ20で撮影された画像データは作業負荷分析装置10に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、10fps(1秒あたり10枚)で取り込まれるカラー(RGB)画像を用いることを想定している。 The camera 20 is an image pickup device having an optical system including a fisheye lens and an image pickup device (an image sensor such as a CCD or CMOS). As shown in FIG. 1, for example, the camera 20 may be installed on the ceiling of a work place or the like with the optical axis facing vertically downward, and may take an image in all directions (360 degrees). Therefore, the state of the worker can be monitored by the camera 20. The camera 20 is connected to the workload analyzer 10 by wire (USB cable, LAN cable, etc.) or wirelessly (WiFi, etc.), and the image data captured by the camera 20 is taken into the workload analyzer 10. The image data may be either a monochrome image or a color image, and the resolution, frame rate, and format of the image data are arbitrary. In this embodiment, it is assumed that a color (RGB) image captured at 10 fps (10 images per second) is used.

表示装置21は、作業負荷分析装置10から出力される画像データを表示する。表示装置21は、液晶ディスプレイ、有機ELディスプレイ、CRTディスプレイ、プロジェクタなどどのような種類の表示装置であってもよい。 The display device 21 displays the image data output from the workload analysis device 10. The display device 21 may be any kind of display device such as a liquid crystal display, an organic EL display, a CRT display, and a projector.

(処理)
図3は、作業負荷分析装置10が行う処理の全体フローチャートである。
(process)
FIG. 3 is an overall flowchart of the processing performed by the workload analyzer 10.

ステップS11において、画像取得部11はカメラ20によって撮像される画像(カメラ画像)を取得する。画像取得部11は、カメラ20での撮像と同時にリアルタイムで画像を取得してもよいし、カメラ20が記憶装置に保存した画像を取得してもよい。 In step S11, the image acquisition unit 11 acquires an image (camera image) captured by the camera 20. The image acquisition unit 11 may acquire an image in real time at the same time as the image is captured by the camera 20, or the image stored in the storage device by the camera 20 may be acquired.

以下のステップS12からS14の処理は、カメラ画像の各フレームについて実施してもよいし、所定フレームおきに実施してもよい。また、カメラ画像に複数の作業工程を行う複数の作業者が移っている場合には、複数の作業工程(作業者)のそれぞれについて処理を実施する。また、一人の作業者が複数の作業工程を行う場合には、一人の作業についても複数の作業工程のそれぞれについて処理を実施する。 The following steps S12 to S14 may be performed for each frame of the camera image, or may be performed at predetermined frame intervals. Further, when a plurality of workers who perform a plurality of work processes are transferred to the camera image, processing is performed for each of the plurality of work processes (workers). Further, when one worker performs a plurality of work processes, each of the plurality of work processes is also processed for one person's work.

ステップS12において、人体検出部13は、カメラ画像から人体が存在する推定され
る領域(バウンディングボックス)を検出する。人体検出は既存の任意のアルゴリズムを用いて行えばよい。例えば、HoG(Histgram of Gradient)特徴量またはHaar−like特徴量に基づく統計的機械学習によって学習された識別器を用いて人体検出が行える。また、例えば、深層学習のようなニューラルネットワークによって学習された識別器を用いて人体検出を行える。さらに、ブースティングやバギングなどのアンサンブル学習によって学習された、複数の弱識別器を組み合わせた識別器を用いてもよい。
In step S12, the human body detection unit 13 detects an estimated region (bounding box) in which the human body exists from the camera image. Human body detection may be performed using any existing algorithm. For example, human body detection can be performed using a classifier learned by statistical machine learning based on HoG (Histogram of Gradient) features or Haar-like features. Further, for example, the human body can be detected by using a discriminator learned by a neural network such as deep learning. Further, a classifier combining a plurality of weak classifiers learned by ensemble learning such as boosting and bagging may be used.

ステップS13において、姿勢検出部14は、カメラ画像から人体の骨格点(キーポイントとも呼ばれる)を検出する。姿勢検出部14は、頭頂部、首、肩、肘、手首、股関節、膝、足首など含む数十から百以上の骨格点の位置を検出する。姿勢検出には、深層学習ベースの推定モデルを用いることが好適である。姿勢検出処理は、カメラ画像の全体に対して行ってもよいし、人体検出によって検出される人体領域のみに行ってもよい。 In step S13, the posture detection unit 14 detects a skeleton point (also called a key point) of the human body from the camera image. The posture detection unit 14 detects the positions of dozens to hundreds of skeletal points including the crown, neck, shoulders, elbows, wrists, hip joints, knees, and ankles. It is preferable to use a deep learning-based estimation model for posture detection. The posture detection process may be performed on the entire camera image, or may be performed only on the human body region detected by the human body detection.

ステップS14において、作業判定部12は、カメラ画像に写っている作業者が作業中であるか否かを判定する。カメラ画像から作業者の作業状態を判定する方法はいくつか考えられる。 In step S14, the work determination unit 12 determines whether or not the worker shown in the camera image is working. There are several conceivable methods for determining the working state of the worker from the camera image.

[第1の方法:特定部位の動き量に基づく判定]
第1の方法は、直近の所定期間内における作業者の特定部位の移動量の合計に基づいて、作業者が作業中であるか否かを判定する。
[First method: Judgment based on the amount of movement of a specific part]
The first method determines whether or not the worker is working based on the total amount of movement of the specific part of the worker within the latest predetermined period.

例えば、直近の5秒間(50フレーム)における、右手(右手首)および左手(左手首)のフレーム間の移動量の合計に基づいて判定を行うことができる。この場合、合計移動量は以下の式により算出される。作業判定部12は、この合計移動量が閾値よりも大きければ作業中であると判定し、閾値よりも小さければ作業中ではないと判定する。

Figure 2021125183

ここで、pr(i)は時刻(フレーム)iにおける右手の位置(座標)であり、pl(i)は時刻(フレーム)iにおける右手の位置(座標)である。 For example, the determination can be made based on the total amount of movement between the frames of the right hand (right wrist) and the left hand (left wrist) in the last 5 seconds (50 frames). In this case, the total movement amount is calculated by the following formula. If the total movement amount is larger than the threshold value, the work determination unit 12 determines that the work is in progress, and if it is smaller than the threshold value, the work determination unit 12 determines that the work is not in progress.
Figure 2021125183

Here, p r (i) is the position (coordinates) of the right hand at the time (frame) i, and p l (i) is the position (coordinates) of the right hand at the time (frame) i.

ここでは、右手と左手の合計移動量に着目しているが、上半身、下半身、頭部などの情報を使用してもよい。また、3つ以上の部位の移動量を用いてもよいし、1つのみの部位の移動量を用いてもよい。 Here, the total amount of movement of the right hand and the left hand is focused on, but information such as the upper body, lower body, and head may be used. Further, the amount of movement of three or more parts may be used, or the amount of movement of only one part may be used.

[第2の方法:フレーム間差分に基づく判定]
第2の方法は、直近の所定期間における、人体領域のフレーム間差分の合計に基づいて、作業者が作業中であるか否かを判定する。
[Second method: Judgment based on inter-frame difference]
The second method determines whether or not the worker is working based on the sum of the inter-frame differences of the human body region in the most recent predetermined period.

作業判定部12は、フレーム間の人体領域の大きさを一致させる処理をした後、領域内の各画素値の絶対値差分の合計(フレーム間差分)を算出する。なお、絶対値差分の代わりに差分の二乗を用いてもよい。作業判定部12は、所定のフレーム期間における、人体領域内のフレーム間差分の合計が閾値よりも大きければ作業中であると判定し、閾値よりも小さければ作業中ではないと判定する。 The work determination unit 12 calculates the total of the absolute value differences (inter-frame differences) of the absolute value differences of each pixel value in the area after performing the process of matching the sizes of the human body regions between the frames. The square of the difference may be used instead of the absolute value difference. The work determination unit 12 determines that the work is in progress if the total of the inter-frame differences in the human body region in the predetermined frame period is larger than the threshold value, and determines that the work is not in progress if it is smaller than the threshold value.

[第3の方法:特定動作の検出に基づく判定]
第3の方法は、作業者が特定の動作(行動)を行ったことを検出することにより、作業
者が作業中であるか否かを判定する。
[Third method: Judgment based on detection of specific motion]
The third method determines whether or not the worker is working by detecting that the worker has performed a specific action (behavior).

作業判定部12は、作業工程の開始時に行う特徴的な動作(第1行動)が検出されたときに作業を開始したと判定し、作業工程の終了時に行う特徴的な動作(第2行動)が検出されたときに作業を開始したと判定する。作業開始時に特徴的な動作の例として、上流工程から渡されるワークを手に取る、所定の工具を手に取る、といった動作が挙げられる。また、作業終了時に特徴的な動作の例として、ワークを所定の場所に置く、所定の工具を置く、といった動作が挙げられる。これらは例示であり、その他の動作に基づいて作業状態を判定してもよい。例えば、腕や脚などの部位を所定のパターンで動かす動作が検出されたときに、作業開始または作業終了と判定してもよい。 The work determination unit 12 determines that the work has started when a characteristic action (first action) to be performed at the start of the work process is detected, and the work determination unit 12 determines that the work has started and performs a characteristic action (second action) to be performed at the end of the work process. Is detected, it is determined that the work has started. Examples of characteristic movements at the start of work include movements such as picking up a work handed over from an upstream process and picking up a predetermined tool. Further, as an example of a characteristic operation at the end of work, there are operations such as placing a work in a predetermined place and placing a predetermined tool. These are examples, and the working state may be determined based on other operations. For example, when an action of moving a part such as an arm or a leg in a predetermined pattern is detected, it may be determined that the work has started or the work has ended.

動作の検出は、姿勢検出部14によって検出される骨格点情報に基づいて検出すればよい。また、ワークや工具を手に取ったあるいは置いたという動作は、これらの物体を検出する物体検出技術も利用することで検出できる。 The motion may be detected based on the skeleton point information detected by the posture detection unit 14. In addition, the movement of picking up or placing a work or tool can be detected by using an object detection technique for detecting these objects.

[第4の方法:特定領域への侵入に基づく判定]
第4の方法は、作業者の位置に基づいて、作業者が作業中であるか否かを判定する。
[Fourth method: Judgment based on intrusion into a specific area]
The fourth method determines whether or not the worker is working based on the position of the worker.

作業判定部12は、作業者が所定の領域(第1領域)に侵入したときに作業を開始したと判定し、別の所定領域(第2領域)に侵入したときに作業を終了したと判定する。例えば、一人の作業者が複数の工程を行うセル生産方式で、作業工程ごとに異なる場所で作業を行うのであれば、対象の作業工程を行う場所(領域)が第1領域に相当し、それ以外の領域が第2領域に相当する。また、1つの作業工程で、作業開始時にある場所からワークを取得し、作業終了時に別の場所にワークを置く場合には、ワークを取得する場所が第1領域に相当し、ワークを置く場所が第2領域に相当する。 The work determination unit 12 determines that the work has started when the worker has invaded a predetermined area (first area), and has determined that the work has been completed when the worker has invaded another predetermined area (second area). do. For example, in a cell production method in which one worker performs a plurality of processes, if the work is performed in a different place for each work process, the place (area) where the target work process is performed corresponds to the first area, which corresponds to the first area. Areas other than the second area correspond to the second area. Further, in one work process, when a work is acquired from a certain place at the start of work and a work is placed in another place at the end of work, the place where the work is acquired corresponds to the first area and the place where the work is placed. Corresponds to the second region.

作業者の位置は、人体検出部13による検出結果によって取得することができる。カメラ20の撮影条件、および画像内での人体領域の位置と大きさから、作業者の位置する三次元的な場所が取得可能である。 The position of the worker can be acquired from the detection result by the human body detection unit 13. The three-dimensional location where the operator is located can be obtained from the shooting conditions of the camera 20 and the position and size of the human body region in the image.

[第5の方法:AIモデルを用いた判定]
第5の方法は、作業者に関する情報を入力として受け付け、作業者の作業状態を出力するようにあらかじめ機械学習された学習済みモデル(AIモデル)を用いて、作業者が作業中であるか否かを判定する。
[Fifth method: Judgment using AI model]
The fifth method is whether or not the worker is working by using a trained model (AI model) that has been machine-learned in advance to receive information about the worker as input and output the work state of the worker. Is determined.

学習モデルへの入力データは、直近の所定期間における骨格点情報およびフレーム画像の少なくとも一方を含む。学習モデルは、作業中であるか否かを示す正解フラグが付与された教師データを用いて、教師あり学習により生成することができる。 The input data to the training model includes at least one of the skeleton point information and the frame image in the most recent predetermined period. The learning model can be generated by supervised learning using teacher data to which a correct answer flag indicating whether or not the work is being performed is added.

作業判定部12は上記で述べた方法のうちの少なくともいずれかを用いて、作業者の作業状態を判定する。複数の判定方法を利用する場合には、所定数以上の方法で作業中と判定された場合に作業中と判定してもよい。所定数は、1でもよいし全部でもよい。また、複数の判定方法を利用する場合に、それぞれの判定結果を信頼度に応じて重み付け平均した値に基づいて、作業状態を判定してもよい。なお、採用する判定方法によっては、作業判定部12は、人体検出部13および姿勢検出部14のいずれかあるいは両方を有していなくてもよい。 The work determination unit 12 determines the work state of the worker by using at least one of the methods described above. When a plurality of determination methods are used, it may be determined that the work is in progress when it is determined that the work is in progress by a predetermined number or more of the methods. The predetermined number may be 1 or all. Further, when a plurality of determination methods are used, the working state may be determined based on a value obtained by weighting and averaging each determination result according to the reliability. Depending on the determination method to be adopted, the work determination unit 12 may not have either or both of the human body detection unit 13 and the posture detection unit 14.

ステップS15において、作業判定部12は、作業の開始時刻と作業の終了時刻を記憶部15に記憶する。作業判定部12は、直前のフレームにおいて作業者が作業状態(作業中か非作業中か)を記憶している。作業判定部12は、現在のフレームにおいて作業状態
が非作業中から作業中に変化した場合には現在フレームの時刻を作業開始時刻として記憶部15に記憶する。また、作業判定部12、作業状態が作業中から非作業中に変化した場合には現在フレームの時刻を作業終了時刻として記憶部15に記憶する。なお、作業開始時刻および作業終了時刻は、作業工程と関連付けられて記憶される。
In step S15, the work determination unit 12 stores the work start time and the work end time in the storage unit 15. The work determination unit 12 stores the work state (whether working or non-working) by the worker in the immediately preceding frame. When the work state changes from non-working to working in the current frame, the work determination unit 12 stores the time of the current frame as the work start time in the storage unit 15. Further, when the work determination unit 12 changes the work state from working to non-work, the time of the current frame is stored in the storage unit 15 as the work end time. The work start time and work end time are stored in association with the work process.

ここでは、作業開始時刻と作業終了時刻を記憶しているが、フレームごとの作業者の作業状態を記憶しても構わない。 Here, the work start time and the work end time are memorized, but the work state of the worker for each frame may be memorized.

ステップS16において、グラフ生成・表示部16は、作業工程ごとに、作業者が作業中である時間と作業中ではない時間に基づく、作業負荷を表すグラフを生成する。具体的には、グラフ生成・表示部16は、記憶部15に記憶されている作業工程ごとの作業開始時刻および作業終了時刻に基づいて、作業中の時間と非作業中の時間を求め、作業工程ごとの作業負荷を表すグラフを生成する。 In step S16, the graph generation / display unit 16 generates a graph representing the workload based on the time during which the worker is working and the time during which the worker is not working for each work process. Specifically, the graph generation / display unit 16 obtains the working time and the non-working time based on the work start time and the work end time for each work process stored in the storage unit 15, and works. Generate a graph showing the workload for each process.

ステップS17において、グラフ生成・表示部16は、生成されたグラフを表示装置21に表示する。 In step S17, the graph generation / display unit 16 displays the generated graph on the display device 21.

図4Aおよび図4Bは、グラフ生成・表示部16によって生成および表示されるグラフの例を示す。 4A and 4B show examples of graphs generated and displayed by the graph generation / display unit 16.

図4Aは、作業工程ごとに、所定の期間の各時刻において作業者が作業中であったか作業中でなかったかを示すグラフ401の例である。作業判定部12は、記憶部15に記憶されている作業開始時刻および作業終了時刻から、それぞれの時刻の作業状態が分かるので、グラフ401を生成可能である。このようなグラフからそれぞれの作業工程の負荷を容易に把握できる。図4Aの例では、工程B,工程Dの負荷が高く、工程Cは負荷が低く、工程Aは負荷が標準的であることが容易に把握できる。 FIG. 4A is an example of a graph 401 showing whether or not the worker was working at each time of a predetermined period for each work process. Since the work determination unit 12 can know the work state at each time from the work start time and the work end time stored in the storage unit 15, the graph 401 can be generated. From such a graph, the load of each work process can be easily grasped. In the example of FIG. 4A, it can be easily grasped that the load of the process B and the process D is high, the load of the process C is low, and the load of the process A is standard.

図4Bは、作業工程ごとに、作業開始から作業終了までに要する平均時間を表示するグラフ402の例である。作業判定部12は、記憶部15に記憶されている作業開始時刻と作業終了時刻の間の時間をそれぞれ求めて、これを平均することで、グラフ402を生成可能である。グラフ402には、標準作業時間を示す表示も含まれる。このようなグラフからもそれぞれの作業工程の負荷を容易に把握できる。図4Bの例では、工程3の負荷が高く、工程2,工程5は負荷が低く、工程1,工程4は負荷が標準的であることが容易に把握できる。 FIG. 4B is an example of a graph 402 displaying the average time required from the start of the work to the end of the work for each work process. The work determination unit 12 can generate the graph 402 by obtaining the time between the work start time and the work end time stored in the storage unit 15 and averaging them. Graph 402 also includes a display showing standard working hours. From such a graph, the load of each work process can be easily grasped. In the example of FIG. 4B, it can be easily understood that the load in step 3 is high, the load in steps 2 and 5 is low, and the load in steps 1 and 4 is standard.

なお、作業工程ごとの作業負荷は、必ずしもグラフィカルな表示によって示される必要はなく、文字(テキスト)によって示されても構わない。テキスト表示であっても作業負荷は把握できる。また、作業負荷に応じて、文字の色や大きさを変えたり、文字装飾を付加したりすることによって、より簡単に作業負荷を把握できる。 The workload for each work process does not necessarily have to be indicated by a graphical display, and may be indicated by characters (text). The workload can be grasped even in the text display. In addition, the workload can be grasped more easily by changing the color and size of the characters and adding character decoration according to the workload.

(本実施形態の有利な効果)
本実施形態によれば、作業工程ごとの作業負荷が可視化されるので、工場管理者は、実際の作業負荷に基づいて、作業配分や人員配分を調整することが可能となる。
(Advantageous effect of this embodiment)
According to this embodiment, since the workload for each work process is visualized, the factory manager can adjust the work allocation and the personnel allocation based on the actual workload.

また、本実施形態では、天井に設けられたカメラ20からの情報に基づいて作業者の作業状態を判断しており、作業者に対して負担がかからないという利点もある。 Further, in the present embodiment, the working state of the worker is determined based on the information from the camera 20 provided on the ceiling, and there is an advantage that the worker is not burdened.

<第2実施形態>
第1実施形態では、作業場に設置されたカメラ20によって作業者の状態をモニタリングしている。本実施形態では、作業者に取り付けられたモーションセンサを用いて、作業
者の状態をモニタリングする。
<Second Embodiment>
In the first embodiment, the state of the worker is monitored by the camera 20 installed in the work place. In the present embodiment, the state of the worker is monitored by using the motion sensor attached to the worker.

図5は、本実施形態に係る作業負荷分析装置50を適用した作業負荷分析システムの構成を示す図である。作業負荷分析装置50は、第1実施形態の作業負荷分析装置10と基本的に同様であるので、異なる部分について主に説明する。 FIG. 5 is a diagram showing a configuration of a workload analysis system to which the workload analysis device 50 according to the present embodiment is applied. Since the workload analyzer 50 is basically the same as the workload analyzer 10 of the first embodiment, different parts will be mainly described.

作業負荷分析装置50は、画像取得部11の代わりに、作業者に取り付けられたモーションセンサ22からモーションデータを取得するモーションデータ取得部17を有する。モーションセンサ22は、作業者の1つまたは複数の部位に取り付けられ、当該部位の動きの情報を、無線通信によりモーションデータ取得部17に送信する。モーションセンサ22は、典型的には、3軸加速度センサと3軸角速度センサ(ジャイロセンサ)と3軸地磁気センサを組み合わせた9軸センサであるが、3軸加速加速度センサのみで構成されてもよい。 The workload analysis device 50 has a motion data acquisition unit 17 that acquires motion data from a motion sensor 22 attached to the operator instead of the image acquisition unit 11. The motion sensor 22 is attached to one or a plurality of parts of the worker, and transmits the motion information of the part to the motion data acquisition unit 17 by wireless communication. The motion sensor 22 is typically a 9-axis sensor that combines a 3-axis acceleration sensor, a 3-axis angular velocity sensor (gyro sensor), and a 3-axis geomagnetic sensor, but may be composed of only a 3-axis acceleration acceleration sensor. ..

本実施形態では、モーションセンサ22から得られるモーションデータによって、作業者の特定部位の動きが把握できる。例えば、モーションセンサ22が作業者の右手および左手にそれぞれ取り付けられていれば、作業負荷分析装置50は、作業者の右手と左手の動きを取得できる。したがって、本実施形態では、作業判定部12は、モーションデータから得られる特定部位の動きに基づいて、所定期間における特定部位の移動量の合計を算出し、合計移動量に基づいて作業者が作業中であるか否かを判定できる(第1の方法)。あるいは、作業判定部12は、モーションデータから得られる特定部位の動きに基づいて特定動作を検出して、その検出結果から作業者が作業中であるか否かを判定してもよい(第3の方法)。また、作業判定部12は、モーションデータを学習モデルに入力して、作業者が作業中であるか否かを判定してもよい(第5の方法)。 In the present embodiment, the movement of a specific part of the operator can be grasped by the motion data obtained from the motion sensor 22. For example, if the motion sensor 22 is attached to the right hand and the left hand of the worker, respectively, the workload analyzer 50 can acquire the movements of the right hand and the left hand of the worker. Therefore, in the present embodiment, the work determination unit 12 calculates the total amount of movement of the specific part in a predetermined period based on the movement of the specific part obtained from the motion data, and the operator works based on the total amount of movement. It can be determined whether or not it is inside (first method). Alternatively, the work determination unit 12 may detect a specific motion based on the movement of the specific portion obtained from the motion data, and determine whether or not the worker is working from the detection result (third). the method of). Further, the work determination unit 12 may input motion data into the learning model and determine whether or not the worker is working (fifth method).

本実施形態によれば、第1実施形態のうち、特定部位の移動量に基づく作業状態判定、特定動作の検出に基づく作業状態判定、およびAIモデルを用いた作業状態判定が行える。 According to the present embodiment, in the first embodiment, the work state determination based on the movement amount of the specific part, the work state determination based on the detection of the specific motion, and the work state determination using the AI model can be performed.

なお、上記の説明ではカメラを採用していないが、カメラも更に利用してカメラ画像とモーションデータの両方を用いて、作業状態を判定するようにしても構わない。また、モーションセンサを利用する代わりに、モーションキャプチャの技術を用いて作業者の動きを取得してもよい。すなわち、作業者にマーカーを取り付けて複数台のカメラでマーカーを検出することで、マーカーが取り付けられた部位の動きを検出してもよい。 Although the camera is not adopted in the above description, the camera may be further used to determine the working state by using both the camera image and the motion data. Further, instead of using the motion sensor, the motion of the operator may be acquired by using the motion capture technique. That is, the movement of the portion to which the marker is attached may be detected by attaching the marker to the operator and detecting the marker with a plurality of cameras.

<第3実施形態>
本実施形態では、作業者に取り付けられたビーコン発信器から発信される電波を検出して、作業者の状態(位置)をモニタリングする。
<Third Embodiment>
In the present embodiment, the state (position) of the worker is monitored by detecting the radio wave transmitted from the beacon transmitter attached to the worker.

図6は、本実施形態に係る作業負荷分析装置60を適用した作業負荷分析システムの構成を示す図である。作業負荷分析装置60は、第1実施形態の作業負荷分析装置10と基本的に同様であるので、異なる部分について主に説明する。 FIG. 6 is a diagram showing a configuration of a workload analysis system to which the workload analysis device 60 according to the present embodiment is applied. Since the workload analyzer 60 is basically the same as the workload analyzer 10 of the first embodiment, different parts will be mainly described.

作業負荷分析装置60は、作業負荷分析装置10の構成に加えて、作業者が有するビーコン発信器が発信する電波を検出するビーコン受信器18をさらに備える。ビーコン発信器23は識別情報を含む電波を発信しており、ビーコン受信器18はこの電波を受信することでどのビーコン(作業者)がどこに位置するかを把握でき、すなわち所定領域への作業者の進入を検出できる。したがって、作業判定部12は、ビーコン受信器18による電波の検出結果に基づいて、第1領域または第2領域への作業者の進入を検出し、その検出結果に基づいて作業者の作業状態を判定できる(第4の方法)。 In addition to the configuration of the workload analyzer 10, the workload analyzer 60 further includes a beacon receiver 18 that detects radio waves transmitted by a beacon transmitter owned by the operator. The beacon transmitter 23 emits a radio wave including identification information, and the beacon receiver 18 can grasp which beacon (worker) is located where by receiving this radio wave, that is, a worker to a predetermined area. Can detect the invasion of. Therefore, the work determination unit 12 detects the entry of the worker into the first region or the second region based on the detection result of the radio wave by the beacon receiver 18, and determines the working state of the worker based on the detection result. It can be determined (fourth method).

作業者の位置は、カメラ画像に基づいて検出するよりも、ビーコンを用いて検出した方が精度良く求められる場合もあり、本実施形態はこのような場合に有効である。 The position of the worker may be more accurately detected by using a beacon than by detecting it based on a camera image, and this embodiment is effective in such a case.

なお、上記の説明では、カメラ20を採用しているが、特定領域への進入のみに基づいて作業状態を判定する場合には、カメラ20、人体検出部13、姿勢検出部14は省略可能である。また、本実施形態は第2実施形態と組み合わせて実施してもよい。さらに、ビーコン以外にも、人感センサ(赤外線センサまたは超音波センサあるいはその組み合わせ)によって作業者の位置を検出してもよい。 Although the camera 20 is used in the above description, the camera 20, the human body detection unit 13, and the posture detection unit 14 can be omitted when the working state is determined based only on the approach to the specific area. be. Further, this embodiment may be implemented in combination with the second embodiment. Further, in addition to the beacon, the position of the operator may be detected by a motion sensor (infrared sensor, ultrasonic sensor, or a combination thereof).

<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
<Others>
The above-described embodiment merely exemplifies a configuration example of the present invention. The present invention is not limited to the above-mentioned specific form, and various modifications can be made within the scope of its technical idea.

<付記>
1.作業工程における作業者の負荷を可視化する作業負担分析装置(10,50,60)であって、
前記作業者の状態をモニタリングするためのセンサ(20,22,23)と、
前記センサによって取得されるデータに基づいて、前記作業者が作業中であるか否かを判定する判定部(12)と、
所定の期間における前記作業者の作業中の時間と作業中ではない時間に基づいて、前記作業者の作業負荷を表す表示を行う表示部(16)と、
を備える作業負荷分析装置。
<Additional notes>
1. 1. It is a work load analyzer (10, 50, 60) that visualizes the load of workers in the work process.
Sensors (20, 22, 23) for monitoring the worker's condition and
A determination unit (12) that determines whether or not the worker is working based on the data acquired by the sensor, and a determination unit (12).
A display unit (16) that displays the workload of the worker based on the working time and the non-working time of the worker in a predetermined period.
A workload analyzer equipped with.

2.コンピュータ(10,50,60)が行う、作業工程における作業者の負荷を可視化する作業負担分析方法であって、
作業者の状態をモニタリングするセンサ(20,22,23)によって取得されるデータに基づいて、前記作業者が作業中であるか否かを判定する判定ステップ(S14)と、
所定の期間における前記作業者の作業中の時間と作業中ではない時間に基づいて、前記作業者の作業負荷を表す表示を行う表示ステップと(S16,S17)、
を含む作業負荷分析方法。
2. It is a work load analysis method that visualizes the load of workers in a work process performed by a computer (10, 50, 60).
A determination step (S14) for determining whether or not the worker is working based on the data acquired by the sensors (20, 22, 23) that monitor the state of the worker, and a determination step (S14).
A display step for displaying the workload of the worker based on the working time and the non-working time of the worker in a predetermined period (S16, S17).
Workload analysis methods including.

10:作業負荷分析装置 11:画像取得部 12:作業判定部
13:人体検出部 14:姿勢検出部 15:記憶部
16:グラフ生成・表示部 17:モーションデータ取得部 18:ビーコン受信器
20:カメラ 21:表示装置 22:モーションセンサ 23:ビーコン発信器
10: Workload analyzer 11: Image acquisition unit 12: Work judgment unit 13: Human body detection unit 14: Posture detection unit 15: Storage unit 16: Graph generation / display unit 17: Motion data acquisition unit 18: Beacon receiver 20: Camera 21: Display device 22: Motion sensor 23: Beacon transmitter

Claims (17)

作業工程における作業者の負荷を可視化する作業負荷分析装置であって、
前記作業者の状態をモニタリングするためのセンサと、
前記センサによって取得されるデータに基づいて、前記作業者が作業中であるか否かを判定する判定部と、
所定の期間における前記作業者の作業中の時間と作業中ではない時間に基づいて、前記作業者の作業負荷を表す表示を行う表示部と、
を備える作業負荷分析装置。
It is a workload analyzer that visualizes the load of workers in the work process.
A sensor for monitoring the worker's condition and
A determination unit that determines whether or not the worker is working based on the data acquired by the sensor, and a determination unit.
A display unit that displays the workload of the worker based on the time during which the worker is working and the time during which the worker is not working in a predetermined period.
A workload analyzer equipped with.
前記判定部は、前記センサによって取得されるデータに基づいて、所定期間における前記作業者の特定部位の移動量の合計に基づいて、前記作業者が作業中であるか否かを判定する、
請求項1に記載の作業負荷分析装置。
The determination unit determines whether or not the worker is working based on the total amount of movement of the specific part of the worker in a predetermined period based on the data acquired by the sensor.
The workload analyzer according to claim 1.
前記センサは前記作業者を撮像するカメラであり、
前記判定部は、前記カメラによって撮像される画像から前記作業者の骨格点を検出する姿勢検出部を有し、検出された骨格点の情報から前記作業者の特定部位の移動量を求める、
請求項2に記載の作業負荷分析装置。
The sensor is a camera that captures the worker.
The determination unit has a posture detection unit that detects the skeleton point of the worker from the image captured by the camera, and obtains the movement amount of the specific part of the worker from the information of the detected skeleton point.
The workload analyzer according to claim 2.
前記センサは前記作業者に取り付けられたモーションセンサであり、
前記判定部は、前記モーションセンサによって取得されるデータに基づいて、前記作業者の特定部位の移動量を求める、
請求項2に記載の作業負荷分析装置。
The sensor is a motion sensor attached to the worker.
The determination unit obtains the amount of movement of the specific part of the worker based on the data acquired by the motion sensor.
The workload analyzer according to claim 2.
前記センサは前記作業者を撮像するカメラであり、
前記判定部は、前記カメラによって撮像される画像から前記作業者の人体を検出する人体検出部を有し、所定のフレーム期間における、人体領域内のフレーム間差分の合計に基づいて、前記作業者が作業中であるか否かを判定する、
請求項1から4のいずれか1項に記載の作業負荷分析装置。
The sensor is a camera that captures the worker.
The determination unit has a human body detection unit that detects the human body of the worker from an image captured by the camera, and the worker is based on the total difference between frames in the human body region in a predetermined frame period. To determine if is working,
The workload analyzer according to any one of claims 1 to 4.
前記判定部は、前記センサによって取得されるデータに基づいて、第1行動が検出された場合に作業が開始されたと判断し、第2行動が検出された場合に作業が終了したと判断する、
請求項1から5のいずれか1項に記載の作業負荷分析装置。
Based on the data acquired by the sensor, the determination unit determines that the work has started when the first action is detected, and determines that the work has ended when the second action is detected.
The workload analyzer according to any one of claims 1 to 5.
前記センサは前記作業者を撮像するカメラであり、
前記判定部は、前記カメラによって撮像される画像から前記作業者の骨格点を検出する姿勢検出部を有し、検出された骨格点の情報から前記作業者の前記第1行動または前記第2行動を検出する、
請求項6に記載の作業負荷分析装置。
The sensor is a camera that captures the worker.
The determination unit has a posture detection unit that detects the skeleton point of the worker from the image captured by the camera, and the first action or the second action of the worker from the information of the detected skeleton point. To detect,
The workload analyzer according to claim 6.
前記センサは前記作業者に取り付けられたモーションセンサであり、
前記判定部は、前記モーションセンサによって取得されるデータに基づいて、前記作業者の前記第1行動または前記第2行動を検出する、
請求項6に記載の作業負荷分析装置。
The sensor is a motion sensor attached to the worker.
The determination unit detects the first action or the second action of the worker based on the data acquired by the motion sensor.
The workload analyzer according to claim 6.
前記判定部は、前記センサによって取得されるデータに基づいて、前記作業者の第1領域への進入が検出された場合に作業が開始されたと判断し、第2領域への進入が検出され
た場合に作業が終了したと判断する、
請求項1から8のいずれか1項に記載の作業負荷分析装置。
Based on the data acquired by the sensor, the determination unit determines that the work has started when the worker's entry into the first region is detected, and the entry into the second region is detected. If you decide that the work is done,
The workload analyzer according to any one of claims 1 to 8.
前記センサは前記作業者を撮像するカメラであり、
前記判定部は、前記カメラによって撮像される画像から前記作業者の人体を検出する人体検出部を有し、検出された人体の位置に基づいて、前記作業者の前記第1領域または第2領域への進入を検出する、
請求項9に記載の作業負荷分析装置。
The sensor is a camera that captures the worker.
The determination unit has a human body detection unit that detects the human body of the worker from an image captured by the camera, and the first region or the second region of the worker is based on the detected position of the human body. Detecting entry into,
The workload analyzer according to claim 9.
前記センサは、前記作業者が有するビーコンが発信する電波を検出するビーコン受信器であり、
前記判定部は、前記ビーコン受信器の検出結果に基づいて、前記作業者の前記第1領域または第2領域への進入を検出する、
請求項9に記載の作業負荷分析装置。
The sensor is a beacon receiver that detects radio waves transmitted by a beacon possessed by the worker.
The determination unit detects the worker's entry into the first region or the second region based on the detection result of the beacon receiver.
The workload analyzer according to claim 9.
前記判定部は、前記作業者が作業中であるか否かを出力するように機械学習された学習済みモデルを有し、前記センサによって取得されたデータを前記学習済みモデルに入力して、前記作業者が作業中であるか否かを判定する、
請求項1から11のいずれか1項に記載の作業負荷分析装置。
The determination unit has a trained model that has been machine-learned to output whether or not the worker is working, and inputs the data acquired by the sensor into the trained model. Determine if the worker is working,
The workload analyzer according to any one of claims 1 to 11.
前記判定部は、複数の作業工程のそれぞれについて判定を行い、
前記表示部は、作業工程ごとに前記作業負荷を表す表示を行う、
請求項1から12のいずれか1項に記載の作業負荷分析装置。
The determination unit makes a determination for each of the plurality of work processes.
The display unit displays the workload for each work process.
The workload analyzer according to any one of claims 1 to 12.
前記表示部は、作業工程ごとに、所定の期間の各時刻において前記作業者が作業中であったか否かを表すグラフを表示する、
請求項13に記載の作業負荷分析装置。
The display unit displays a graph showing whether or not the worker was working at each time of a predetermined period for each work process.
The workload analyzer according to claim 13.
前記表示部は、作業工程ごとに、作業開始から作業終了までに要する時間の平均を表す情報を表示する、
請求項13または14に記載の作業負荷分析装置。
The display unit displays information representing the average time required from the start of the work to the end of the work for each work process.
The workload analyzer according to claim 13 or 14.
コンピュータが行う、作業工程における作業者の負荷を可視化する作業負担分析方法であって、
作業者の状態をモニタリングするセンサによって取得されるデータに基づいて、前記作業者が作業中であるか否かを判定する判定ステップと、
所定の期間における前記作業者の作業中の時間と作業中ではない時間に基づいて、前記作業者の作業負荷を表す表示を行う表示ステップと、
を含む作業負荷分析方法。
It is a work load analysis method that visualizes the load of workers in the work process performed by a computer.
A determination step for determining whether or not the worker is working based on the data acquired by the sensor that monitors the state of the worker, and a determination step.
A display step for displaying the workload of the worker based on the working time and the non-working time of the worker in a predetermined period.
Workload analysis methods including.
請求項16に記載の方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to perform each step of the method according to claim 16.
JP2020020550A 2020-02-10 2020-02-10 Workload analysis apparatus, workload analysis method, and program Pending JP2021125183A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020020550A JP2021125183A (en) 2020-02-10 2020-02-10 Workload analysis apparatus, workload analysis method, and program
PCT/JP2020/047062 WO2021161651A1 (en) 2020-02-10 2020-12-16 Workload analysis device, workload analysis method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020020550A JP2021125183A (en) 2020-02-10 2020-02-10 Workload analysis apparatus, workload analysis method, and program

Publications (1)

Publication Number Publication Date
JP2021125183A true JP2021125183A (en) 2021-08-30

Family

ID=77291530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020020550A Pending JP2021125183A (en) 2020-02-10 2020-02-10 Workload analysis apparatus, workload analysis method, and program

Country Status (2)

Country Link
JP (1) JP2021125183A (en)
WO (1) WO2021161651A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271777B1 (en) 2022-09-27 2023-05-11 株式会社Avilen Program, method, work management device, and work management system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180162A (en) * 1998-12-11 2000-06-30 Hitachi Plant Eng & Constr Co Ltd Task analyzer
JP6629556B2 (en) * 2015-09-29 2020-01-15 株式会社Subaru Process composition support device and process composition support method
JP6676322B2 (en) * 2015-09-29 2020-04-08 株式会社Subaru Burden evaluation device, Burden evaluation method
DE112017002200T5 (en) * 2016-04-26 2019-01-24 Mitsubishi Electric Corporation Workers management facility
JP2018163556A (en) * 2017-03-27 2018-10-18 三菱重工業株式会社 Work management device, work management method, and program
JP7116968B2 (en) * 2017-12-27 2022-08-12 株式会社シナプスイノベーション Work performance management system and method
JP6817974B2 (en) * 2018-01-10 2021-01-20 株式会社 日立産業制御ソリューションズ Computer system
JP6844562B2 (en) * 2018-03-13 2021-03-17 オムロン株式会社 Annotation method, annotation device, annotation program and identification system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271777B1 (en) 2022-09-27 2023-05-11 株式会社Avilen Program, method, work management device, and work management system
JP2024047930A (en) * 2022-09-27 2024-04-08 株式会社Avilen Program, method, work management device, and work management system

Also Published As

Publication number Publication date
WO2021161651A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
JP6655727B2 (en) Monitoring system
JP6587489B2 (en) Image processing apparatus, image processing method, and image processing system
US9566004B1 (en) Apparatus, method and system for measuring repetitive motion activity
US10482613B2 (en) Movement monitoring system
JP6676322B2 (en) Burden evaluation device, Burden evaluation method
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
JP2011018094A (en) Patrol support system, method and program
CN114155492A (en) High-altitude operation safety belt hanging rope high-hanging low-hanging use identification method and device and electronic equipment
JP2006185109A (en) Image measurement device and image measurement method
WO2021161651A1 (en) Workload analysis device, workload analysis method, and program
KR20160076488A (en) Apparatus and method of measuring the probability of muscular skeletal disease
CN115797856A (en) Intelligent construction scene safety monitoring method based on machine vision
WO2013183738A1 (en) Information processing device, information processing method, program, and surveillance camera system
JP2017068428A (en) Workload evaluation device, workload evaluation method
JP2017068430A (en) Adaptability evaluation device, and adaptability evaluation method
JP2001101422A (en) Motion analyzer
JP2020095651A (en) Productivity evaluation system, productivity evaluation device, productivity evaluation method, and program
JP7463792B2 (en) Information processing system, information processing device, and information processing method
JP2019144861A (en) Safety determination device, safety determination system, and safety determination method
US20210142048A1 (en) Movement monitoring system
JP2022092365A (en) Position management system
JP2020008981A (en) Support device and program
US20220110548A1 (en) Movement monitoring system
JP7408731B1 (en) Behavior detection method, behavior detection device, behavior detection system
JP6621127B1 (en) Self-extraction monitoring system for medical accessories and self-extraction monitoring method for medical accessories