JP2012150613A - Work content measuring device and work management device - Google Patents

Work content measuring device and work management device Download PDF

Info

Publication number
JP2012150613A
JP2012150613A JP2011008165A JP2011008165A JP2012150613A JP 2012150613 A JP2012150613 A JP 2012150613A JP 2011008165 A JP2011008165 A JP 2011008165A JP 2011008165 A JP2011008165 A JP 2011008165A JP 2012150613 A JP2012150613 A JP 2012150613A
Authority
JP
Japan
Prior art keywords
information
work
sensor
worker
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011008165A
Other languages
Japanese (ja)
Inventor
Ikuo Kato
幾雄 加藤
Mayumi Nakamura
真弓 中村
Yasuhiro Sato
康弘 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011008165A priority Critical patent/JP2012150613A/en
Publication of JP2012150613A publication Critical patent/JP2012150613A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

PROBLEM TO BE SOLVED: To provide a work content measuring device and a work management device that are low-cost and have small environment loads while actualizing measurement of a work content of higher precision.SOLUTION: A work content measuring device acquires information associated with an operator and an operation object based upon images of the operator and the operation object to be operated by the operator, acquires information associated with the spatial position of a first sensor, provided to the operation object or a body connected to the operation object, which is detected by the first sensor itself, and integrates the information associated with the operator and operation object and the information associated with the spatial position of the first sensor to generate first integrated information representing a measurement result of the operation contents. The work content measuring device acquires information associated with the spatial position of a second sensor, provided to a part of the operator, which is detected by the second sensor itself, and further integrates the information associated with the spatial position of the second sensor with respect to the first integrated information to generate second integrated information, and outputs the second integrated information as a measurement result of the operation contents.

Description

本発明は、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置に関する。   The present invention relates to a work content measuring device that measures the work content of an operator and a work management device using the work content measuring device.

人の行動を測定するシステム(装置)が多数考案されており、このようなシステムを用いて、教育を行ったり、危険を警告したり、広告を行ったり、支援情報を与えたりすることが実現されている。具体的には、車に搭載されているカーナビゲーションや携帯電話にも多く利用されているGPS(Global Positioning System、全地球測位システム)やRFID(Radio Frequency IDentification)などにより人の位置を測定することにより作業内容を予測したり、カメラにより取得した作業者の画像情報を画像処理することにより作業者の作業を認識したりするシステムが考案されている。   Many systems (devices) for measuring human behavior have been devised, and these systems can be used to educate, warn of danger, advertise, and provide support information. Has been. Specifically, the position of a person is measured by GPS (Global Positioning System) or RFID (Radio Frequency IDentification), which is often used for car navigation and mobile phones installed in cars. Thus, a system has been devised that predicts the work content or recognizes the worker's work by performing image processing on the worker's image information acquired by the camera.

特許文献1に記載の手指衛生励行システムは、看護士に複数の加速度センサーを付着させ、これらの加速度センサーの信号を情報処理することにより、看護士の手洗いを測定し、手指の動き及びこれに対応する清潔さを予測し、看護士の手指衛生を管理するシステムである。このシステムでは、加速度センサーは手洗い場及び手洗い場の蛇口や石鹸には設けられておらず、看護士にのみ設けられており、それも手指ではなく腕などに設けられた加速度センサーの信号から予測することを実現している。   The hand hygiene practice system described in Patent Literature 1 attaches a plurality of acceleration sensors to the nurse and processes the signals of these acceleration sensors to measure the hand washing of the nurse, and the movement of the fingers and This system predicts the corresponding cleanliness and manages the hand hygiene of nurses. In this system, the accelerometer is not provided in the hand-washing area and the faucet or soap in the hand-washing area, and is provided only for the nurse. Has realized that.

また、特許文献1では、複数のカメラが利用されている。しかしながら、これらのカメラの画像は自由映像生成装置として用いられており、タイムスタンプを付与された上で、加速度センサーにより予測した手洗い状況を表示することに用いられているのみであり、確認または教育的な効果に用いられているのみである。   In Patent Document 1, a plurality of cameras are used. However, the images of these cameras are used as free video generation devices, and are only used to display the hand washing situation predicted by the acceleration sensor after being given a time stamp. It is only used for effective effects.

特許文献2に記載の危険運転予防意識判定システムは、自動車の運転手の帽子つまり頭部に加速度センサーを付着させ、この加速度センサーの信号を情報処理することにより、運転手の目視確認動作を測定し、危険運転予防意識を測定し、教育の必要な運転者を定量的に判定するシステムである。このシステムでは、加速度センサーは頭部以外にもアクセル及びブレーキを踏む右足にも付着させており、これら各センサーの信号を統合して情報処理して運転手の意図を予測することを実現している。   The dangerous driving prevention awareness determination system described in Patent Document 2 measures the visual confirmation operation of the driver by attaching an acceleration sensor to the cap of the automobile driver, that is, the head, and processing the signal of the acceleration sensor. It is a system that measures dangerous driving prevention awareness and quantitatively determines drivers who need education. In this system, the acceleration sensor is attached not only to the head but also to the right foot that steps on the accelerator and brake, and it is possible to predict the intention of the driver by integrating the signals of these sensors and processing the information. Yes.

また、特許文献2では、複数のカメラが利用されている。しかしながら、これらのカメラの画像は、車内映像に関しては、あくまで運転データ記録装置として、過去の運転の状況を表示することに用いられているのみであり、確認または教育的な効果に用いられているのみである。   In Patent Document 2, a plurality of cameras are used. However, these camera images are only used to display past driving conditions as driving data recording devices for in-vehicle images, and are used for confirmation or educational effects. Only.

特許文献3に記載の運転動作解析装置は、自動車の運転手のアクセル及びブレーキを踏む右足に加速度センサーを付着させた以外に、運転手の両手首にも加速度センサーを付着させ、さらには運転手が運転している、車本体にも加速度センサーを付着させ、これらからの信号を統合して情報処理して運転手の異常な運転動作を予測することを実現している。   In addition to attaching an acceleration sensor to the right foot of an automobile driver's accelerator and brake, the driving motion analysis device described in Patent Document 3 also attaches an acceleration sensor to both wrists of the driver. An acceleration sensor is also attached to the car body that is driving, and signals from these are integrated and information processing is performed to predict abnormal driving behavior of the driver.

また、特許文献3では、カメラが、両手首や右足に貼り付けたマーカを用いた光学式モーションキヤプチャとして設けられ、利用されている。しかしながら、このカメラの画像は、加速度センサーの代替であり、両手首や右足に付着させた加速度センサーと連携して用いられているわけではない。   In Patent Document 3, a camera is provided and used as an optical motion capture using markers attached to both wrists and right foot. However, this camera image is an alternative to the acceleration sensor and is not used in conjunction with an acceleration sensor attached to both wrists or right foot.

本発明は、上記事情に鑑みてなされたものであり、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置において、より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and in the work content measurement device that measures the work content of the worker and the work management device using the work content, at the same time realizing the measurement of the work content with higher accuracy, It is an object of the present invention to provide a work content measuring apparatus with low cost and low environmental load, and a work management apparatus using the work content measuring apparatus.

かかる目的を達成するために、本発明の作業内容測定装置は、作業者及び当該作業者により作業される作業対象の画像に基づいて作業者及び作業対象に係る情報を取得し、かつ、作業対象または当該作業対象とつながった物体に設けられた第1センサーにて自己検出された、当該第1センサーの空間的位置に係る情報を取得し、作業者及び作業対象に係る情報と、第1センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第1統合情報を生成する作業内容測定装置であって、作業者の一部に設けられた第2センサーにて自己検出された、当該第2センサーの空間的位置に係る情報を取得し、第1統合情報に対し、第2センサーの空間的位置に係る情報をさらに統合することで第2統合情報を生成し、第2統合情報を作業内容の測定結果として出力することを特徴とする。   In order to achieve such an object, the work content measuring apparatus of the present invention acquires information on the worker and the work target based on the worker and the image of the work target worked by the worker, and the work target. Alternatively, information on the spatial position of the first sensor, which is self-detected by a first sensor provided on an object connected to the work target, is acquired, and information on the worker and the work target is obtained. Is a work content measuring device that generates first integrated information indicating a measurement result of work content by integrating the information related to the spatial position of the work with a second sensor provided in a part of the worker The self-detected information related to the spatial position of the second sensor is acquired, and the second integrated information is generated by further integrating the information related to the spatial position of the second sensor with the first integrated information. Second integrated information And outputs as a measurement result of the work.

本発明の作業管理装置は、本発明の作業内容測定装置から入力した所定の作業内容の測定結果を示す統合情報に基づいて、作業の管理を行うことを特徴とする。   The work management apparatus according to the present invention is characterized in that work management is performed based on integrated information indicating measurement results of predetermined work contents input from the work content measurement apparatus according to the present invention.

本発明によれば、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置において、より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を実現することが可能となる。   According to the present invention, in a work content measuring device that measures the work content of an operator and a work management device using the work content, it is possible to measure the work content with higher accuracy, and at the same time, the work content is low cost and has a low environmental load It becomes possible to realize a measuring apparatus and a work management apparatus using the measuring apparatus.

本発明の第一の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a block diagram of the work content measurement apparatus which concerns on 1st embodiment of this invention, and a work management apparatus using the same. 本発明の第一の実施形態に係る作業内容測定装置のセンサーIIの信号の一例である。It is an example of the signal of the sensor II of the work content measuring apparatus which concerns on 1st embodiment of this invention. 本発明の第一の実施形態に係る作業内容測定装置置のセンサーIIの信号の別の例である。It is another example of the signal of the sensor II of the work content measuring device apparatus which concerns on 1st embodiment of this invention. 本発明の第二の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。It is a block diagram of the work content measurement apparatus which concerns on 2nd embodiment of this invention, and a work management apparatus using the same. 本発明の第三の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。It is a block diagram of the work content measuring apparatus which concerns on 3rd embodiment of this invention, and a work management apparatus using the same.

以下、本発明を実施するための形態について添付図面を参照して詳細に説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.

[第一の実施形態](請求項1に係る実施形態)
本発明の第一の実施形態に係る作業内容測定装置の構成について、図1に基づいて説明する。
First Embodiment (Embodiment according to Claim 1)
The configuration of the work content measuring apparatus according to the first embodiment of the present invention will be described with reference to FIG.

まず、図1に示す各符号について以下に説明する。1は、作業者11と作業の作業対象物12の画像情報を取得するカメラ(画像取得手段の一例)である。2は、カメラ1により取得した画像情報である。3は、画像情報2に対して画像処理を行う画像処理手段である。4は、画像処理手段3の後段となる、作業者情報/作業対象物情報取得手段である。5は、作業者情報/作業対象物情報取得手段で取得した作業者情報及び作業対象物情報である。6は、作業の作業対象物12またはその作業対象物12とつながった物体に設けられ、空間的情報を自己検出し、それを無線によって出力する信号出力型のセンサーI(第1センサーの一例)である。7は、センサーIから出力された無線信号を入力する無線信号入力手段(第1無線信号入力手段の一例)である。8は、センサーI7から入力された無線信号を処理する信号情報処理手段I(第1信号情報処理手段の一例)である。9は、信号情報処理手段I8によって取得したセンサー信号処理情報Iである。10は、作業者情報/作業対象物情報5及びセンサー信号処理情報I9を統合し、第1統合情報を生成する統合情報処理手段I(第1統合情報処理手段の一例)である。11は、作業者である。12は、作業対象物である。13は、作業対象物12を支持(載置)する台車である。なお、作業対象物12は、作業者11が所定の作業を行う対象(作業対象)の一例であり、その作業対象は必ずしも「物」である必要はない。   First, each symbol shown in FIG. 1 will be described below. Reference numeral 1 denotes a camera (an example of an image acquisition unit) that acquires image information of the worker 11 and the work target 12 of the work. Reference numeral 2 denotes image information acquired by the camera 1. Reference numeral 3 denotes image processing means for performing image processing on the image information 2. Reference numeral 4 denotes worker information / work object information acquisition means that is a subsequent stage of the image processing means 3. Reference numeral 5 denotes worker information and work object information acquired by the worker information / work object information acquiring means. 6 is a signal output type sensor I (an example of a first sensor) that is provided on a work target 12 for work or an object connected to the work target 12 and that self-detects spatial information and outputs it wirelessly. It is. Reference numeral 7 denotes wireless signal input means (an example of first wireless signal input means) for inputting the wireless signal output from the sensor I. Reference numeral 8 denotes signal information processing means I (an example of first signal information processing means) for processing a radio signal input from the sensor I7. 9 is sensor signal processing information I acquired by the signal information processing means I8. Reference numeral 10 denotes integrated information processing means I (an example of first integrated information processing means) that integrates worker information / work object information 5 and sensor signal processing information I9 to generate first integrated information. 11 is an operator. Reference numeral 12 denotes a work object. Reference numeral 13 denotes a cart that supports (places) the work object 12. Note that the work target 12 is an example of a target (work target) on which the worker 11 performs a predetermined work, and the work target is not necessarily a “thing”.

また、14a及び14bは、作業者11の左右の腕に設けられ、空間的情報を自己検出し、それを無線によって出力する信号出力型のセンサーII(第2センサーの一例)である。15は、センサーII14a及び14bから出力された無線信号を入力する無線信号入力手段(第2無線信号入力手段の一例)である。16は、センサーII14a及び14bから入力された無線信号を処理する信号情報処理手段II(第2信号情報処理手段の一例)である。17は、信号情報処理手段II16によって取得したセンサー信号処理情報IIである。18は、統合情報処理手段Iから出力された第1統合情報と、センサー信号処理情報IIとを統合し、第2統合情報として作業内容情報を生成する統合情報処理手段II(第2統合情報処理手段の一例)である。19は、測定した作業者の作業内容を示す作業内容情報である。20は、上記1〜19よりなる作業内容測定装置(作業者測定装置)である。21は、作業内容測定装置20を用いた作業管理装置(作業者管理装置)である。   Reference numerals 14a and 14b denote signal output type sensors II (an example of a second sensor) that are provided on the left and right arms of the worker 11 and that self-detect spatial information and output the information wirelessly. Reference numeral 15 denotes wireless signal input means (an example of second wireless signal input means) for inputting the wireless signals output from the sensors II 14a and 14b. Reference numeral 16 denotes signal information processing means II (an example of second signal information processing means) that processes radio signals input from the sensors II 14a and 14b. Reference numeral 17 denotes sensor signal processing information II acquired by the signal information processing means II16. 18 is an integrated information processing unit II (second integrated information processing unit) that integrates the first integrated information output from the integrated information processing unit I and the sensor signal processing information II and generates work content information as second integrated information. An example of means). Reference numeral 19 denotes work content information indicating the measured work content of the worker. 20 is a work content measuring device (worker measuring device) comprising the above 1-19. Reference numeral 21 denotes a work management device (worker management device) using the work content measuring device 20.

図1において、例えば、作業対象物12はオフィス用IT機器であるとし(以下、機器12ともいう)、作業者11は機器12の組み立て工場の作業者であるとする。機器12は、台車13の上に搭載され、工場内を運搬されると同時に、工場内で複数の部品を複数の作業者及び複数の工程により組みつけられる。工場では、組み立て進捗管理、作業の信頼性確認、部品の管理等のために、作業者の作業内容を測定できることで、工場の時間あたりの生産効率を向上し、作業者の負担を低減し、無駄な作業を低減し、これらにより環境負荷を低減させると同時に、製品としての信頼性を向上して製品利用者(ユーザ)の負荷を低減することができる。さらには、結果として低コスト化にも寄与しており製品利用者の負担を低減することができる。   In FIG. 1, for example, it is assumed that a work target 12 is an office IT device (hereinafter also referred to as a device 12), and a worker 11 is a worker in an assembly factory of the device 12. The device 12 is mounted on the carriage 13 and is transported in the factory, and at the same time, a plurality of parts are assembled in the factory by a plurality of workers and a plurality of processes. The factory can measure the worker's work contents for assembly progress management, work reliability confirmation, parts management, etc., improving the production efficiency per hour of the factory, reducing the burden on the worker, It is possible to reduce useless work, thereby reducing the environmental load, and at the same time, improve the reliability of the product and reduce the load on the product user (user). Furthermore, as a result, it contributes to cost reduction, and the burden on the product user can be reduced.

図1においては、カメラ1により、図中の2本の点線で示される範囲の特定の角度内の画像を取得することができる。この範囲に作業者11と作業対象物12を設定することにより、画像情報2として、作業者11及び作業対象物12の画像情報を取得することができる。画像処理手段3がこの画像情報2を画像処理することにより、作業者11の左右の手の形状と位置及び作業対象物12の形状と位置を計測することができる。この情報を基に作業者情報/作業対象物情報取得手段4により、あらかじめ記憶しておいた設定情報に基づいた相関評価手段や学習による評価手段等の評価手段をこれらの時系列データと組みわせて用いることで、作業者情報/作業対象物情報5を取得することができる。   In FIG. 1, an image within a specific angle within a range indicated by two dotted lines in the drawing can be acquired by the camera 1. By setting the worker 11 and the work target 12 within this range, the image information 2 of the worker 11 and the work target 12 can be acquired as the image information 2. The image processing means 3 performs image processing on the image information 2 so that the shape and position of the left and right hands of the worker 11 and the shape and position of the work object 12 can be measured. Based on this information, the worker information / work object information acquisition means 4 combines evaluation means such as correlation evaluation means based on setting information stored in advance or evaluation means by learning with these time-series data. It is possible to acquire worker information / work object information 5 by using them.

なお、上述した、カメラ1における2つの点線で示される範囲の特定の角度とは、カメラ1のレンズ焦点距離及びカメラ結像素子の大きさ及び開口で決まる「カメラの画角」以下の角度であり、焦点距離可変のズームレンズを持ちることにより、その画角を適宜変化させてもよい。人の全体動作の画像を取得することが必要な場合には作業者の身体全体を対象作業中に常に取得できる最少の角度とすることが好ましい。角度を大きくし過ぎると画像の分解能が劣化して画像処理時に誤差が生じやすくなり好ましくない。具体的には、高さ3mの天井付近にカメラを設置して立ち作業を機器に対して実施する場合には、30度〜75度となる(35mmフィルムカメラ換算で、レンズ焦点距離約28〜85mmに相当)。   The specific angle in the range indicated by the two dotted lines in the camera 1 described above is an angle equal to or smaller than the “camera angle of view” determined by the lens focal length of the camera 1, the size of the camera imaging element, and the aperture. Yes, the angle of view may be changed as appropriate by having a zoom lens with a variable focal length. When it is necessary to acquire an image of the entire movement of a person, it is preferable that the entire body of the worker is set to the minimum angle that can be always acquired during the target work. If the angle is too large, the resolution of the image deteriorates, and an error is likely to occur during image processing. Specifically, in the case where a camera is installed near the ceiling with a height of 3 m and the standing work is performed on the equipment, the angle is 30 degrees to 75 degrees (the lens focal length is about 28 to 35 mm film camera equivalent). Equivalent to 85 mm).

また、上述した、画像処理手段3における画像情報2に対する画像処理としては、輪郭抽出処理、輪郭追跡処理、ベクトル抽出処理、さらにはパターン認識処理により作業者の左右の手を認識した後、作業者の左右の手の形状と位置及び作業対象物の形状と位置を計測することができる。なお、画像処理手段3における画像処理方法は上記処理に限定されるわけではない。   In addition, as the image processing for the image information 2 in the image processing means 3 described above, after the left and right hands of the worker are recognized by the contour extraction processing, contour tracking processing, vector extraction processing, and pattern recognition processing, the worker The shape and position of the left and right hands and the shape and position of the work object can be measured. The image processing method in the image processing means 3 is not limited to the above processing.

また、上述した、あらかじめ記憶しておいた設定情報としては、作業対象物12に対する作業者11の工程(「部品Aをつける」、「機器の台車を移動する」等の要素工程)及び動作(「部品Aをつかむ」、「部品Aを移動する」、「部品Aを押す」、「部品Aをはなす」、「機器をつかむ」、「機器を(台車ごと)移動させる」等の要素動作)と、この工程及び動作に対応して取得した画像の画像処理結果との相関情報である。相関情報は、SVM(サポートベクターマシン)、ベイズ推論、ニューラルネットワーク等の統計処理を用いることで取得することができる。また、この統計処理を用いることで、相関評価手段、さらには学習による評価手段等の評価手段を適用することができる。   In addition, as the setting information stored in advance as described above, the process of the worker 11 with respect to the work object 12 (element processes such as “attaching part A”, “moving the bogie of equipment”) and operation ( Elemental actions such as “grab part A”, “move part A”, “push part A”, “release part A”, “grab equipment”, “move equipment (by carriage)” And correlation information with the image processing result of the image acquired corresponding to this process and operation. The correlation information can be acquired by using statistical processing such as SVM (support vector machine), Bayesian inference, neural network, or the like. Further, by using this statistical processing, correlation evaluation means, and further evaluation means such as learning evaluation means can be applied.

この評価手段を適用するに際しては、特定時刻の画像データをその時刻の作業の評価に単純に用いるのだけではなく、画像データの時系列データとしての変化情報を、別途事前の相関検証実験により取得した評価対象候補として記憶している時系列データとなる作業及び作業者に関わる情報と組み合わせて用いることで、画像データからその画像データに相関する作業及び作業者に関わる情報を評価する場合の精度が向上する。この組み合わせる情報としては、具体的には、時系列の画像データと作業との相関情報、時系列の画像データと作業者との相関情報、作業と作業者の相関情報、作業の時系列情報がある。   When applying this evaluation means, not only the image data at a specific time is simply used for the evaluation of the work at that time, but also change information as time series data of the image data is obtained by a separate prior correlation verification experiment. Accuracy when evaluating information related to work and workers correlating to the image data from the image data by using in combination with information related to the work and workers as time series data stored as the evaluation target candidates Will improve. Specifically, the information to be combined includes time series image data and work correlation information, time series image data and worker correlation information, work and worker correlation information, and work time series information. is there.

一方、図1において、空間的情報を自己検出する無線による信号出力型となる、3軸直線加速度センサー及び3軸ジャイロを設けたセンサーI6を作業対象物12に付着させており、これは無線により信号を出力する。そして、センサーI6からの信号は作業対象物12と空間的に非接続である無線信号入力手段7に入力される。この後、その信号は信号情報処理手段I8により処理され、センサー信号処理情報I9となる。統合情報処理手段I10は、センサー信号処理情報I9と、作業者情報/作業対象物情報5とに対して、統合情報処理を行う。ここでの統合情報処理とは、複数要素の情報を統合して統一的な出力をする処理(第1統合情報の出力)のことである。また、このときの作業内容としては、作業対象物12を90度回転する作業や、部品をはめ込み設置する作業や、部品をネジ締めする作業等、非常に複数の作業がある。   On the other hand, in FIG. 1, a sensor I6 provided with a three-axis linear acceleration sensor and a three-axis gyro, which is a wireless signal output type that self-detects spatial information, is attached to the work object 12, which is wirelessly connected. Output a signal. The signal from the sensor I6 is input to the wireless signal input means 7 that is spatially disconnected from the work object 12. Thereafter, the signal is processed by the signal information processing means I8 to become sensor signal processing information I9. The integrated information processing means I10 performs integrated information processing on the sensor signal processing information I9 and the worker information / work object information 5. The integrated information processing here is a process of outputting information by integrating plural elements of information (output of first integrated information). In addition, the work contents at this time include a very plurality of work such as a work of rotating the work object 12 by 90 degrees, a work of inserting and installing parts, and a work of screwing parts.

3軸直線加速度センサー及び3軸ジャイロを設けたセンサーI6は、そのセンサーの信号から、センサーの存在している相対空間情報を検出することができる。3軸直線加速度センサーの加速度が大きいときにはその大きい方向への手や腕などのセンサーを付けた部分への移動の加速度が大きい状態であり、軸ジャイロを設けたセンサーの場合には回転加速度が大きい場合である。また、3軸直線加速度センサーはその加速度を積分処理及び補正処理を実施することにより速度、2重積分処理及び補正処理を実施することで相対移動距離を算出することができる。積分処理に際しては、速度ゼロの特定が必須であるが、通常の作業工程においては、部品をつかむ瞬間は速度ゼロに近い状態であり、特定の部品をつかむ瞬間をこの3軸直線加速度センサー及び3軸ジャイロを設けたセンサーIの情報から検出することで、速度ゼロに近い状態を検出でき、これにより移動速度や相対移動距離を計算することができる。   The sensor I6 provided with the three-axis linear acceleration sensor and the three-axis gyro can detect the relative space information in which the sensor exists from the signal of the sensor. When the acceleration of the three-axis linear acceleration sensor is large, the acceleration of movement to the part with the sensor such as the hand or arm in the large direction is large, and in the case of the sensor provided with the axis gyro, the rotational acceleration is large. Is the case. Further, the triaxial linear acceleration sensor can calculate the relative movement distance by executing the speed, the double integration process and the correction process by executing the integration process and the correction process for the acceleration. In the integration process, it is essential to specify zero speed. However, in a normal work process, the moment of gripping a part is near zero speed, and the moment of gripping a specific part is determined by the three-axis linear acceleration sensor and 3 By detecting from the information of the sensor I provided with the axis gyro, a state close to zero speed can be detected, and thereby the moving speed and the relative moving distance can be calculated.

上記統合処理は、別途画像データより得られた作業者情報及び作業対象物情報5とセンサー信号処理情報I9とを一つの多次元データとして扱い、この一つの多次元データに対する多変量解析によって新たな作業者情報/作業対象物情報に関わる作業内容情報19を取得することである。具体的な情報処理手段としては、前述のSVM(サポートベクターマシン)、ベイズ推論、ニューラルネットワーク等の統計処理を用いることができる。   In the integration process, worker information and work object information 5 obtained separately from image data and sensor signal processing information I9 are handled as one multidimensional data, and new multivariate analysis is performed on the one multidimensional data. This is to obtain work content information 19 related to worker information / work object information. As specific information processing means, statistical processing such as the aforementioned SVM (support vector machine), Bayesian inference, neural network, or the like can be used.

このような状況で、上述の作業対象物12に付着したセンサーI6は、その作業対象物12とつながった物体となる、作業対象物12を設置した台車13に付着させてもよい。この場合、製品そのもの付着させずに工場で複数回利用する台車を用いているために、センサーI6の設置や回収、個々のキャリブレーション不要等の利点が生じる。   In such a situation, the sensor I6 attached to the work object 12 described above may be attached to the carriage 13 on which the work object 12 is installed, which is an object connected to the work object 12. In this case, since a cart that is used a plurality of times in the factory without using the product itself is used, there are advantages such as installation and recovery of the sensor I6 and the need for individual calibration.

上述した構成と同時に、空間的位置を自己検出する無線による信号出力型となる、3軸直線加速度センサー及び3軸ジャイロを設けたセンサーII14a及び14bを、作業者業対11の左右の腕に付着させており、これらは無線により信号を出力する。センサーII14の信号は、作業者と空間的に非接続である無線信号入力手段15に入力される。この後、その信号は信号情報処理手段II16により処理され、センサー信号処理情報II17となる。統合情報処理手段II18は、センサー信号処理情報II17と、第1統合情報(作業者情報/作業対象物情報5とセンサー信号処理情報I9とが統合されたもの)とに対して、統合情報処理を行う。ここでの統合情報処理とは、複数要素の情報を統合して統一的な出力をする処理(第2統合情報、すなわち作業内容情報の出力)のことである。この統合情報処理II17により、作業内容の測定結果としての作業内容情報19が出力される。   At the same time as the configuration described above, a wireless signal output type that self-detects the spatial position and sensors II14a and 14b provided with a three-axis linear acceleration sensor and a three-axis gyro are attached to the left and right arms of the worker industry pair 11. These output signals wirelessly. The signal of the sensor II 14 is input to the wireless signal input means 15 that is spatially disconnected from the worker. Thereafter, the signal is processed by the signal information processing means II16 to become sensor signal processing information II17. The integrated information processing means II18 performs integrated information processing on the sensor signal processing information II17 and the first integrated information (the worker information / work object information 5 and the sensor signal processing information I9 are integrated). Do. Here, the integrated information processing is a process of integrating information of a plurality of elements and performing a unified output (second integrated information, that is, output of work content information). By this integrated information processing II17, work content information 19 is output as a measurement result of the work content.

作業内容測定装置20と別体または一体となる作業管理装置21は、作業内容測定装置20で測定された作業内容を示す作業内容情報19を用いることにより、以下のような作業の管理を行う。作業管理装置21は、例えば、作業者11の組み立て進捗状況、作業状況、部品利用状況等を、作業内容測定装置20とは別にあらかじめまたはリアルタイムに工場の生産計画及び工程から取得する情報と統合することにより、作業者11が計画通りに組み立てているか、作業者11が忙しくて負荷が高くなっていないか、トラブルが発生してないか、身体の危険の可能性がないか、作業手順に間違いはないか、不足な部品はないか等を管理することができるようになる。   The work management device 21, which is separate from or integrated with the work content measurement device 20, uses the work content information 19 indicating the work content measured by the work content measurement device 20 to manage the following work. The work management device 21 integrates, for example, the assembly progress status, work status, and component usage status of the worker 11 with information acquired from the production plan and process of the factory in advance or in real time separately from the work content measurement device 20. Therefore, whether the worker 11 is assembled as planned, the worker 11 is busy and the load is not high, no trouble has occurred, there is no possibility of physical danger, or the work procedure is incorrect It is possible to manage whether there are any missing parts or missing parts.

従来は、画像情報2による作業者情報/作業対象物情報5からのみでは、画像情報2の取得に複数のカメラ1が必要であったり、CPU(Central Processing Unit)負荷の非常に大きいことからコスト高であったり、リアルタイム処理が困難で遅延が大きかったりするといった作業内容測定しかできなかった問題があった。そして、その問題を改善する技術としては、センサーI6に基づくセンサー信号処理情報I9を作業者情報/作業対象物情報5に統合(付加)することにより、作業対象物12が実際に動いた時刻及びその位置変化や衝撃を測定できることを利用して、カメラ1の個数を削減したり、CPU負荷を小さくしてコストを低減したり、リアルタイム処理を実現したりしていた。   Conventionally, only from the worker information / work object information 5 based on the image information 2 requires a plurality of cameras 1 to acquire the image information 2 and the load on the CPU (Central Processing Unit) is very high. There was a problem that it was only possible to measure the work content, such as being expensive, difficult to perform real-time processing, and having a large delay. As a technique for improving the problem, the sensor signal processing information I9 based on the sensor I6 is integrated (added) into the worker information / work object information 5 to obtain the time when the work object 12 actually moves and Utilizing the fact that the position change and impact can be measured, the number of cameras 1 is reduced, the CPU load is reduced, the cost is reduced, and real-time processing is realized.

しかしながら、センサーI6に基づくセンサー信号処理情報I9を付加しただけでは、実際の作業対象物12の位置変化や衝撃だけの測定となり、作業をする作業者11の動きを直接にセンサーI6で測定しているわけではないので、作業内容を測定するには不十分であり、画像処理をより複雑にすることがあったり、逆に作業内容測定の粒度が低下したり信頼性が低下したりしていた。   However, only by adding sensor signal processing information I9 based on sensor I6, only the positional change and impact of actual work object 12 are measured, and the movement of worker 11 who performs the work is directly measured by sensor I6. Because it is not, it is not enough to measure the work content, which may make the image processing more complicated, or conversely, the granularity of work content measurement is reduced or the reliability is reduced. .

そこで、本発明の第一の実施形態においては、従来のセンサー信号処理情報I9と作業者情報/作業対象物情報5を統合した統合情報処理手段I10からの出力情報(第1統合情報)に対して、さらに、実際に作業を行っている作業者11の動きを直接測定するセンサーII14a及び14bの信号に基づくセンサー信号処理情報II17を加えて統合している。よって、作業者11の動作基準で定義する作業内容に対して、その粒度を小さくしたり、信頼性を向上したりすることを実現できるようになる。   Therefore, in the first embodiment of the present invention, the output information (first integrated information) from the integrated information processing means I10 in which the conventional sensor signal processing information I9 and the worker information / work object information 5 are integrated. In addition, sensor signal processing information II17 based on the signals of sensors II14a and 14b that directly measure the movement of the worker 11 who is actually working is added and integrated. Therefore, it is possible to reduce the granularity or improve the reliability of the work content defined by the operation standard of the worker 11.

図2は、本発明の第一の実施形態である作業内容測定装置20において、作業者11の左腕に付着させたセンサーII14bで取得した信号を示す。図2において、横軸は相対時刻であり(単位は秒)、縦軸は加速度である(単位はmG)。また、x、y、zはそれぞれ、左腕を、その手の甲を水平にして前に出した場合に、前後がx(正は手前側)、左右がy(正は右手側)、上下がz(正は床側)である。図2は、作業対象物12(例えば複写機)が各台車13に1機ずつ設置されている場合において、作業者11が台車13ごとに複写機を45度回転する作業を含む組み立て作業を実施した場合に測定された信号を示している。別途、センサーI6は台車13に設定してある。また、センサーI6及びセンサーII14b(左手に装着)には、3軸直線加速度センサーからなる小型無線ハイブリッドセンサ WAA-00(ワイヤレステクノロジー株式会社製)を用いた。実際には、作業者11には複数個の加速度センサーを付着させている。   FIG. 2 shows a signal acquired by the sensor II 14b attached to the left arm of the worker 11 in the work content measuring apparatus 20 according to the first embodiment of the present invention. In FIG. 2, the horizontal axis represents relative time (unit: seconds), and the vertical axis represents acceleration (unit: mG). Also, x, y, and z, respectively, when the left arm is moved forward with the back of the hand horizontal, front and rear are x (positive is the front side), left and right are y (positive is the right hand side), and upper and lower are z ( Positive is the floor side). FIG. 2 shows an assembly work including an operation in which the worker 11 rotates the copying machine 45 degrees for each carriage 13 when one work object 12 (for example, a copying machine) is installed in each carriage 13. In this case, the measured signal is shown. Separately, the sensor I6 is set on the carriage 13. A small wireless hybrid sensor WAA-00 (manufactured by Wireless Technology Co., Ltd.) composed of a triaxial linear acceleration sensor was used for the sensor I6 and the sensor II14b (mounted on the left hand). Actually, a plurality of acceleration sensors are attached to the worker 11.

例えば図2における約0.7秒時から約1.5秒時の間(図中の両矢印で示す間)は、作業者11が、左手を用いて台車を45度回転させた状況でかつ左手が複写機12の一部を掴んでいるまたは触れている状況の信号を示しており、作業者11は左手の手の甲を、複写機12の組み立て中の裸のフレームを掴むために手の甲を左側に向けており、このため平均的に1000mG前後の加速度が加わっており、逆にZ軸は平均的に0レベル前後の加速度が加わっている。また、これらの作業内容及び時刻は、センサーI6及びセンサーII14bとは別途設けてある左右の手の動きを取得できるカメラを用いた画像情報により測定した。   For example, between about 0.7 seconds and about 1.5 seconds in FIG. 2 (indicated by the double arrows in the figure), the worker 11 rotates the carriage 45 degrees using the left hand and the left hand is The signal of a situation where a part of the copier 12 is being gripped or touched is shown, and the operator 11 points the back of his left hand and the back of his hand to the left to grab a bare frame during the assembly of the copier 12. For this reason, an acceleration of about 1000 mG is applied on average, and conversely, an acceleration of about 0 level is applied on the Z axis on the contrary. Further, these work contents and times were measured by image information using a camera that can acquire movements of the left and right hands separately provided from the sensor I6 and the sensor II14b.

このとき、作業者11が複写機12の裸のフレームを左手でつかんだ直後に、x・y・z軸とも急峻なピークを示しており、これは力を加えて複写機12に運動エネルギーを加えるために手に力が加わったことに対応している。また、作業者11が複写機12の裸のフレームを左手で離す直後に、x・y・z軸ともその量の大きな変化を示しており、これは力を加えて複写機12のフレームと一体となって動いていた左手を滑らかに離すと同時に、その次の工程に向けた準備をするために直ちに手を素早く動かすことと対応している。   At this time, immediately after the operator 11 grasps the bare frame of the copying machine 12 with his left hand, the x, y, and z axes show steep peaks, and this applies force to impart kinetic energy to the copying machine 12. Corresponds to the power added to the hand to add. Immediately after the operator 11 releases the bare frame of the copying machine 12 with his left hand, the x, y and z axes show a large change in the amount, which is applied to the frame of the copying machine 12 by applying force. The left hand that was moving is released smoothly, and at the same time, the hand is moved quickly to prepare for the next step.

ただし、図2において約1.5秒に縦実線として記載した、センサーII14bの信号以外に基づいて測定した作業者11が複写機12の裸のフレームを左手で離す時刻と、その時刻のセンサーII14bの比較的に滑らかな変位状態の信号からわかるように、作業者11が生産性効率向上のためにスムーズな作業をする場合には、要求される時間分解能にもよるが、作業者11に付着したセンサーII14bのみで信頼性の高い作業内容測定となるとは限らない。しかしながら、カメラ1の画像情報2に基づいて作業者11の左手と裸のフレームが接した時刻を検出することは可能であり、これらの情報を統合情報処理手段II18で処理することにより、より信頼性の高い作業内容測定を実現できることとなる。同様に、作業内容により、作業対象物12に付着したセンサーI6の信号に対しても、これらの情報を統合情報処理手段II18で処理することにより、より信頼性の高い作業内容測定を実現できることとなる。   However, the time when the worker 11 measured based on the signal other than the signal of the sensor II 14b shown in FIG. 2 as a vertical solid line at about 1.5 seconds and the bare frame of the copying machine 12 is released with the left hand, and the sensor II 14b at that time. As can be seen from the relatively smooth displacement state signal, when the worker 11 performs a smooth operation for improving the productivity efficiency, it adheres to the worker 11 depending on the required time resolution. The sensor II 14b alone does not always provide highly reliable work content measurement. However, it is possible to detect the time at which the left hand of the worker 11 is in contact with the naked frame based on the image information 2 of the camera 1, and processing this information by the integrated information processing means II 18 makes it more reliable. This makes it possible to realize highly reliable work content measurement. Similarly, by processing these pieces of information with the integrated information processing means II18 for the signal of the sensor I6 attached to the work object 12 depending on the work content, more reliable work content measurement can be realized. Become.

図2に示すように、作業者11に付着したセンサーII14bの信号に基づくセンサー信号処理情報II17を、従来のカメラによる画像情報2に基づく作業者情報/作業対象物情報5、及び、作業対象物12に付着したセンサーI6に基づくセンサー信号処理情報I7に加え、これらを統合情報処理することにより、作業者11の動作基準で定義する作業内容に対して、その粒度を小さくしたり、信頼性を向上したりすることを実現できるようになる。また、カメラによる左右の手の動きの画像情報が、その作業対象物12で遮蔽死角にあり取得できない場合にも、センサーI6の情報と合わせて、その作業内容測定の信頼性を向上することができるようになる。   As shown in FIG. 2, the sensor signal processing information II17 based on the signal of the sensor II14b attached to the worker 11 is used as the worker information / working object information 5 based on the image information 2 by the conventional camera, and the working object. In addition to the sensor signal processing information I7 based on the sensor I6 attached to 12, the integrated information processing reduces the granularity of the work content defined by the operation standard of the worker 11 or increases the reliability. It will be possible to improve. Further, even when the image information of the left and right hand movements by the camera is at the blind spot in the work object 12 and cannot be obtained, it is possible to improve the reliability of the work content measurement together with the information of the sensor I6. become able to.

図2は、センサーII14bの信号のみであるが、これと同様に、右腕、左右の上腕、腰、胸、頭部、足首等につけたセンサーにより、その工程に特徴を有する信号が得られており、その作業者11の工場での複写機の組み立てに関する多様な作業内容または作業対象物12に応じて適切に設けることが効果的であり、それら複数のセンサーからの信号を統合して情報処理することが好ましい。   FIG. 2 shows only the signal of sensor II 14b, but in the same way, signals attached to the right arm, left and right upper arms, waist, chest, head, ankle, etc., have signals characteristic of the process. It is effective to appropriately provide various work contents related to the assembly of the copying machine in the factory of the worker 11 or the work object 12, and the information from the plurality of sensors is integrated for information processing. It is preferable.

図3において、上側に示すグラフは、図2に示した特定の台車13を45度回転に対する作業内容を含むセンサーII14bの信号を示しており(図2と同データ)、下側に示すグラフは、上記とは異なる台車13を45度回転に対する作業内容を含むセンサーII14bの信号を示しており、図3において横軸及び縦軸及び条件は図2と同じである。図3に示すように、作業内容によりセンサーII14bの信号の相関が、異なる肯定でも、台車13ごと複写機12の45度の回転、といった共通の粒度の作業に対しては、非常に高いことがわかる。このため、これらの相関係数処理または主成分分析またはパターン認識処理等の情報処理を行うことにより、センサーII14bの出力から作業者11の動作基準で定義する作業内容の特定できる。   In FIG. 3, the graph shown on the upper side shows the signal of the sensor II 14b including the work content for 45 degrees rotation of the specific carriage 13 shown in FIG. 2 (same data as FIG. 2), and the graph shown on the lower side is The signal of the sensor II 14b including the work content for 45 degrees rotation of the carriage 13 different from the above is shown. In FIG. 3, the horizontal and vertical axes and the conditions are the same as those in FIG. As shown in FIG. 3, even if the correlation of the signal of the sensor II 14b differs depending on the work content, it is very high for work with a common granularity such as 45 degrees rotation of the copying machine 12 together with the carriage 13. Recognize. Therefore, by performing information processing such as correlation coefficient processing, principal component analysis, or pattern recognition processing, it is possible to specify the work content defined by the operation standard of the worker 11 from the output of the sensor II 14b.

なお、本実施形態では、図1において、統合情報処理手段を、統合情報処理手段I10と統合情報処理手段II18と2つの区分しているが、作業者情報/作業対象物情報5、センサー信号処理情報I9、センサー信号処理情報II17、の3つの情報に対して統合情報処理を行うものとして、統合統合情報処理Iと統合情報処理IIとを融合させた新たな統合情報処理IIIを設けた構成でも同様に効果的である。この場合、作業内容測定装置20の情報処理部分を一体化することで場合により小さくできると同時、ステップではなく同時に関連性のあるデータを扱うことでその測定内容の信頼性を向上することができる。ただし、情報処理すべきデータ種類が多くなり、情報処理手法によってはべき乗で増加する場合があり、場合によりステップ処理とした場合が効果的な場合もあり、これらは、作業内容、作業対象物、センサーI6及びセンサーII14の種類や数によって選択されるべきである。   In the present embodiment, in FIG. 1, the integrated information processing means is divided into two parts, that is, integrated information processing means I10 and integrated information processing means II18, but worker information / work object information 5, sensor signal processing Even in a configuration provided with a new integrated information processing III in which the integrated integrated information processing I and the integrated information processing II are integrated, as integrated information processing for the information I9 and the sensor signal processing information II17. It is equally effective. In this case, if the information processing part of the work content measuring apparatus 20 can be made smaller by integration, the reliability of the measurement content can be improved by simultaneously handling the relevant data instead of the step. . However, the number of data types to be processed increases, and depending on the information processing method, it may increase by a power. In some cases, it may be effective to use step processing. The selection should be made according to the type and number of the sensors I6 and II14.

また、本実施形態では、図1において、センサーI6の無線信号入力手段7とセンサーIIの無線信号入力手段15との構成を入れ替えた構成でも同様に効果的である。この場合にも、従来と比べて作業者11の動作基準で定義する作業内容の特定しやすくなる。この場合の具体的な構成としては、センサーI6は、作業者11に設けられ、作業者11の一部の空間的位置を自己検出し、また、センサーII16は、作業対象物12または作業対象物12とつながった物体に設けられ、作業対象物12または作業対象物12とつながった物体の空間的位置を自己検出する。   In this embodiment, the configuration in which the configuration of the wireless signal input means 7 of the sensor I6 and the wireless signal input means 15 of the sensor II in FIG. Also in this case, it becomes easier to specify the work content defined by the operation standard of the worker 11 as compared with the conventional case. As a specific configuration in this case, the sensor I6 is provided to the worker 11 and self-detects a part of the spatial position of the worker 11, and the sensor II16 includes the work object 12 or the work object. The self-detection is performed on the work object 12 or the spatial position of the object connected to the work object 12.

また、図2及び図3では、センサーI及びセンサーIIとして直線加速度センサーを用いたが、直線加速度センサーに限定する必要はなく、空間的位置を自己検出するセンサーIIが、ジャイロセンサーまたは地磁気センサーからなることを特徴とした作業内容測定装置であっても同様に効果的である。ただし、作業者の位置だけではなく、身体動作を検出できるセンサーであることが好ましい。   2 and 3, linear acceleration sensors are used as the sensors I and II. However, the sensor II is not limited to the linear acceleration sensor, and the sensor II that self-detects the spatial position may be a gyro sensor or a geomagnetic sensor. Even the work content measuring apparatus characterized by the above is similarly effective. However, it is preferable that the sensor is capable of detecting not only the position of the worker but also the body movement.

また、本実施形態において適用(測定)できる作業は、工場における複写機等の組み立て現場に限定されるものではない。建設現場で安全性が重要であったり、作業対象物を掴む作業者以外の第3者からの助言による支援が必要であったりする場合も同様に効果的である。これらの現場での教育にも同様に効果的である。さらには、自動車の運転手、医療現場、オフィスなどで、作業者の身体による作業とその対象物との関係が重要な業務では、本実施形態の作業内容測定装置20及びこれを用いた作業管理装置21は、その生産効率を向上し、作業の信頼性を向上し、作業の安全性を向上し、また結果として環境負荷を低減でき、低コスト化を実現できる等いろいろな効果を実現できる。   In addition, the work that can be applied (measured) in the present embodiment is not limited to the assembly site of a copying machine or the like in a factory. This is also effective when safety is important at the construction site or when assistance from a third party other than the worker holding the work object is required. It is equally effective for education in these fields. Furthermore, in a car driver, a medical site, an office, or the like where the relationship between the work performed by the worker's body and the object is important, the work content measuring apparatus 20 according to the present embodiment and work management using the work content measuring apparatus 20 are provided. The device 21 can realize various effects such as improving the production efficiency, improving the reliability of work, improving the safety of work, reducing the environmental load as a result, and realizing cost reduction.

以上説明したように、本実施形態によれば、カメラから取得した作業者及び作業対象物の画像情報に対する画像処理及び作業対象物に設けた空間的位置を自己検出するセンサーを用いた作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置に対し、より高精度の作業内容測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を実現することができる。   As described above, according to the present embodiment, image processing on the image information of the worker and the work object acquired from the camera and the worker using the sensor that self-detects the spatial position provided on the work object. A work content measuring device for measuring work content and a work management device using the work content measuring device that realizes highly accurate work content measurement, and at the same time, a low cost and low environmental load work content measuring device and work management using the same. An apparatus can be realized.

[第ニの実施形態](請求項2に係る実施形態)
本発明の第ニの実施形態を示す作業内容測定装置の構成について、図4に基づいて説明する。
[Second Embodiment] (Embodiment according to Claim 2)
The configuration of the work content measuring apparatus showing the second embodiment of the present invention will be described with reference to FIG.

図4は、本発明の第一の実施形態となる図1の構成に、第1制御手段(センサーI/II及び信号情報処理手段I/II制御手段)22を設けた構成である。この第1制御手段22は、カメラ1による画像情報2に基づいた作業者情報/作業対象物情報5(作業者情報または作業対象物情報のいずれか一方でもよい)に従って、センサーI、センサーII、信号情報処理手段I、信号情報処理手段IIのうちの複数又は単数を、同時にあるいは個別に制御する手段である。センサーI及びセンサーIIが無線出力を有したものであるならば、これらのセンサーに無線命令入力手段を設けるようにし、また、第1制御手段22に無線命令出力手段を設けるようにすることで、直接センサーI及びセンサーIIを制御することができる。信号情報処理手段I及び信号情報処理手段IIに対しては、有線により命令信号を出力して制御することができる。   FIG. 4 shows a configuration in which first control means (sensor I / II and signal information processing means I / II control means) 22 is provided in the configuration of FIG. 1 according to the first embodiment of the present invention. The first control means 22 is configured to detect the sensor I, the sensor II, the sensor information according to the worker information / work object information 5 (which may be either worker information or work object information) based on the image information 2 from the camera 1. It is means for controlling a plurality or one of signal information processing means I and signal information processing means II simultaneously or individually. If the sensors I and II have wireless outputs, these sensors are provided with wireless command input means, and the first control means 22 is provided with wireless command output means. Sensor I and sensor II can be controlled directly. The signal information processing means I and the signal information processing means II can be controlled by outputting a command signal by wire.

例えば、第1制御手段22は、作業者情報/作業対象物情報5を基に、作業者11が作業対象物12と70cm以上離れておりかつ作業対象物12の位置に変化が少ないと判断した場合には、作業者11により作業対象物12の位置や状態が変位することがないので、作業対象物12に付着させたセンサーI6、無線信号入力手段7及び信号情報処理手段I8を省電力モードに制御する。これにより、センサーI6の電池動作寿命を向上したり、無線信号入力手段7及び信号情報処理手段I8の消費電力を実現したり、さらにはこれに関連する通信付加を低減して環境負荷をより低減した作業内容測定装置20を実現したりできるようになる。   For example, based on the worker information / work object information 5, the first control unit 22 determines that the worker 11 is 70 cm or more away from the work object 12 and that the position of the work object 12 has little change. In this case, since the position and state of the work target 12 are not displaced by the worker 11, the sensor I6, the wireless signal input means 7 and the signal information processing means I8 attached to the work target 12 are set in the power saving mode. To control. Thereby, the battery operating life of the sensor I6 is improved, the power consumption of the wireless signal input means 7 and the signal information processing means I8 is realized, and further, the communication load related to this is reduced to further reduce the environmental load. The work content measuring apparatus 20 can be realized.

また、例えば、第1制御手段22は、作業者情報/作業対象物情報5を基に、作業者11が作業対象物12と10cm以下となった場合に、作業者11により作業対象物12への作業が生じる確立が高いと判断し、作業対象物12に付着させたセンサーI6のサンプリング周波数を増加するように制御したり、無線信号入力手段7の伝送レートを増加するように制御したり、信号情報処理手段I8の処理能力が向上するように制御したり、さらには、作業者情報/作業対象物情報5に応じて学習した最適な処理手段に変更するように制御したりする。これにより、より信頼性を高く、かつより環境負荷を低減した作業内容測定装置20を実現できるようになる。   Further, for example, the first control means 22 makes the worker 11 to the work object 12 when the worker 11 becomes 10 cm or less from the work object 12 based on the worker information / work object information 5. It is determined that there is a high probability that the above work will occur, and control is performed so as to increase the sampling frequency of the sensor I6 attached to the work object 12, or control is performed so as to increase the transmission rate of the wireless signal input means 7, Control is performed so as to improve the processing capability of the signal information processing means I8, and further control is performed so as to change to the optimum processing means learned according to the worker information / work object information 5. As a result, the work content measuring apparatus 20 with higher reliability and reduced environmental load can be realized.

本実施形態の第1制御手段22は、作業者情報/作業対象物情報5として上述した距離情報にのみに適用されるものではなく、カメラ1による画像情報2に基づいた作業者区別や作業対象物区別さらには作業内容やその時刻等に対応して、適切に、センサーI、センサーII、信号情報処理手段I、信号情報処理手段IIを制御することができる。   The first control means 22 according to the present embodiment is not applied only to the distance information described above as the worker information / work object information 5, but distinguishes the worker based on the image information 2 by the camera 1 and the work target. It is possible to appropriately control the sensor I, the sensor II, the signal information processing means I, and the signal information processing means II in accordance with the object distinction, the work content, the time, and the like.

[第三実施形態](請求項3に係る実施形態)
本発明の第三実施形態を示す作業内容測定装置の構成について、図5に基づいて説明する。
[Third embodiment] (Embodiment according to claim 3)
The configuration of the work content measuring apparatus showing the third embodiment of the present invention will be described with reference to FIG.

図5は、本発明の第一の実施形態となる図1の構成に、第2制御手段(画像処理手段制御手段)23を設けた構成である。この第2制御手段23は、センサーIIに対するセンサー信号処理情報IIに基づいて、カメラ1による画像情報2に対する画像処理手段3を制御することで、その画像処理設定を変化させることができる。   FIG. 5 shows a configuration in which second control means (image processing means control means) 23 is provided in the configuration of FIG. 1 according to the first embodiment of the present invention. The second control means 23 can change the image processing setting by controlling the image processing means 3 for the image information 2 by the camera 1 based on the sensor signal processing information II for the sensor II.

例えば、第2制御手段23は、センサーIIに対するセンサー信号処理情報IIに基づいて、作業者11が大きな動作、つまり大きな信号の変化または特定の作業内容を確認できるときには、作業者11が意味のある作業をしている可能性が高いと判断し、画像処理手段3に制御命令を出力する。この制御命令を入力した画像処理手段3は、特定の作業内容を分離する画像処理や高フレームレートでの画像処理等、制御命令を入力する以前とは異なる画像処理モードでの画像処理を、画像情報2に対して実施する。これにより、高い信頼性での作業内容測定能力を有することができるようになる。また、制御命令がない場合は、画像処理手段3を省エネモードとしておくことにより、環境負荷を低減することもきる。   For example, the second control means 23 is meaningful when the worker 11 can confirm a large operation, that is, a large signal change or a specific work content, based on the sensor signal processing information II for the sensor II. It is determined that there is a high possibility of working, and a control command is output to the image processing means 3. The image processing means 3 that has input this control command performs image processing in an image processing mode different from that before the input of the control command, such as image processing for separating specific work contents or image processing at a high frame rate. This is performed for information 2. Thereby, it becomes possible to have a work content measuring ability with high reliability. If there is no control command, the environmental load can be reduced by setting the image processing means 3 in the energy saving mode.

本実施形態の第2制御手段23は、センサーIIに対するセンサー信号処理情報IIに基づいた上述した作業者11の大きな動作や特定の作業内容の場合だけに適用されるものではなく、例えば、別途作業管理装置21として管理及び認識される特定の作業者区分や特定の作業対象区分のものが工程にある場合に、第2制御手段23により画像処理手段3を制御する等、他の場合にも効果的である。   The second control means 23 of the present embodiment is not applied only to the case of the above-described large operation of the worker 11 or specific work contents based on the sensor signal processing information II for the sensor II. Effective in other cases such as controlling the image processing means 3 by the second control means 23 when there is a specific worker category or specific work target category managed and recognized as the management device 21 in the process. Is.

なお、本実施形態の第2制御手段23を、図4の構成(第二の実施形態の構成)に加えるように構成してもよい。   In addition, you may comprise the 2nd control means 23 of this embodiment so that it may be added to the structure (structure of 2nd embodiment) of FIG.

以上、本発明の各実施形態について説明したが、上記各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。   As mentioned above, although each embodiment of this invention was described, it is not limited to said each embodiment, A various deformation | transformation is possible in the range which does not deviate from the summary.

例えば、上述した実施形態における動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。   For example, the operation in the above-described embodiment can be executed by hardware, software, or a combined configuration of both.

ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。   When executing processing by software, a program in which a processing sequence is recorded may be installed and executed in a memory in a computer incorporated in dedicated hardware. Or you may install and run a program in the general purpose computer which can perform various processes.

例えば、プログラムは、記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことが可能である。あるいは、プログラムは、CD−ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納(記録)しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。   For example, the program can be recorded in advance on a hard disk or a ROM (Read Only Memory) as a recording medium. Alternatively, the program is stored on a removable recording medium such as a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a USB (Universal Serial Bus) memory, a magnetic disc, and a semiconductor memory. It is possible to store (record) temporarily or permanently. Such a removable recording medium can be provided as so-called package software.

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。   The program may be wirelessly transferred from the download site to the computer in addition to being installed on the computer from the removable recording medium as described above. Or you may wire-transfer to a computer via networks, such as LAN (Local Area Network) and the internet. The computer can receive the transferred program and install it on a recording medium such as a built-in hard disk.

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。   In addition to being executed in time series in accordance with the processing operations described in the above embodiment, the processing capability of the apparatus that executes the processing, or a configuration to execute in parallel or individually as necessary Is also possible.

また、上記実施形態で説明した構成は、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。   In addition, the configuration described in the above embodiment can be configured to be a logical set configuration of a plurality of devices or to have functions of each device mixed.

1 カメラ
2 画像情報
3 画像処理手段
4 作業者情報/作業対象物情報取得手段
5 作業者情報/作業対象物情報
6 センサーI
7 無線信号入力手段
8 信号情報処理手段I
9 センサー信号処理情報I
10 統合情報処理手段I
11 作業者
12 作業対象物
13 台車
14a、14b センサーII
15 無線信号入力手段
16 信号情報処理手段II
17 センサー信号処理情報II
18 統合情報処理手段II
19 作業内容情報
20 作業内容測定装置
21 作業管理装置
22 第1制御手段
23 第2制御手段
DESCRIPTION OF SYMBOLS 1 Camera 2 Image information 3 Image processing means 4 Worker information / work object information acquisition means 5 Worker information / work object information 6 Sensor I
7 Radio signal input means 8 Signal information processing means I
9 Sensor signal processing information I
10 Integrated information processing means I
11 Worker 12 Work object 13 Dolly 14a, 14b Sensor II
15 Radio signal input means 16 Signal information processing means II
17 Sensor signal processing information II
18 Integrated information processing means II
19 Work content information 20 Work content measuring device 21 Work management device 22 First control means 23 Second control means

特開2009−282442号公報JP 2009-282442 A 特開2009−199583号公報JP 2009-199583 A 特開2007−334479号公報JP 2007-334479 A

Claims (5)

作業者及び当該作業者により作業される作業対象の画像に基づいて前記作業者及び前記作業対象に係る情報を取得し、かつ、前記作業対象または当該作業対象とつながった物体に設けられた第1センサーにて自己検出された、当該第1センサーの空間的位置に係る情報を取得し、前記作業者及び前記作業対象に係る情報と、前記第1センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第1統合情報を生成する作業内容測定装置であって、
前記作業者の一部に設けられた第2センサーにて自己検出された、当該第2センサーの空間的位置に係る情報を取得し、
前記第1統合情報に対し、前記第2センサーの空間的位置に係る情報をさらに統合することで第2統合情報を生成し、
前記第2統合情報を作業内容の測定結果として出力することを特徴とする作業内容測定装置。
First information provided on an object connected to the work target or the work target is acquired based on the image of the worker and the work target worked by the worker and information on the worker and the work target. Information relating to the spatial position of the first sensor detected by the sensor is acquired, and the information relating to the worker and the work target is integrated with the information relating to the spatial position of the first sensor. The work content measuring device for generating the first integrated information indicating the measurement result of the work content,
Obtaining information related to the spatial position of the second sensor, self-detected by a second sensor provided in a part of the worker;
The second integrated information is generated by further integrating the information related to the spatial position of the second sensor with respect to the first integrated information,
A work content measuring apparatus that outputs the second integrated information as a work content measurement result.
前記作業者及び前記作業対象の画像を取得する画像取得手段と、
前記画像取得手段により取得した前記画像に対して所定の画像処理を施す画像処理手段と、
前記画像処理手段により処理した前記画像から、前記作業者及び前記作業対象に係る情報を取得する作業者情報/作業対象情報取得手段と、
無線通信により前記第1センサーから信号を入力する第1無線信号入力手段と、
前記第1無線信号入力手段により入力した前記信号に処理を行い、前記第1のセンサーの空間的位置に係る情報を取得する第1信号情報処理手段と、
前記作業者情報/作業対象情報取得手段により取得した情報と、前記第1信号情報処理手段により取得した情報とを統合し、前記第1統合情報を生成する第1統合情報処理手段と、
無線通信により前記第2センサーから信号を入力する第2無線信号入力手段と、
前記第2無線信号入力手段により入力した前記信号に処理を行い、前記第2のセンサーの空間的位置に係る情報を取得する第2信号情報処理手段と、
前記第1統合情報処理手段により生成した前記第1統合情報と、前記第2信号情報処理手段により取得した情報とを統合し、前記第2統合情報を生成して出力する第2統合情報処理手段と、
を有することを特徴とする請求項1記載の作業内容測定装置。
Image acquisition means for acquiring an image of the worker and the work target;
Image processing means for performing predetermined image processing on the image acquired by the image acquisition means;
Worker information / work target information obtaining means for obtaining information on the worker and the work target from the image processed by the image processing means;
First wireless signal input means for inputting a signal from the first sensor by wireless communication;
First signal information processing means for processing the signal input by the first wireless signal input means and obtaining information relating to a spatial position of the first sensor;
First integrated information processing means for integrating the information acquired by the worker information / work target information acquiring means and the information acquired by the first signal information processing means to generate the first integrated information;
Second wireless signal input means for inputting a signal from the second sensor by wireless communication;
Processing the signal input by the second wireless signal input means, second signal information processing means for acquiring information relating to a spatial position of the second sensor;
Second integrated information processing means for generating and outputting the second integrated information by integrating the first integrated information generated by the first integrated information processing means and the information acquired by the second signal information processing means. When,
The work content measuring apparatus according to claim 1, further comprising:
前記作業者情報/作業対象情報取得手段により取得した前記作業者及び前記作業対象の少なくとも一方に係る情報に応じて、前記第1センサー、前記第2センサー、前記第1信号情報処理手段、前記第2信号情報処理手段のうち少なくとも1つに対して所定の設定を変化させる第1制御手段を有することを特徴とする請求項2記載の作業内容測定装置。   The first sensor, the second sensor, the first signal information processing means, the first signal information processing means, the first signal information processing means, the first signal information processing means, the first signal information processing means, and the first signal information processing means according to information related to at least one of the worker and the work target acquired by the worker information / work target information acquisition means 3. The work content measuring apparatus according to claim 2, further comprising first control means for changing a predetermined setting for at least one of the two-signal information processing means. 前記第2信号情報処理手段により取得した情報に基づいて、前記画像処理手段で行われる画像処理の設定を変化させる第2制御手段を有することを特徴とする請求項2または3記載の作業内容測定装置。   4. The work content measurement according to claim 2, further comprising: a second control unit that changes a setting of image processing performed by the image processing unit based on information acquired by the second signal information processing unit. apparatus. 請求項1から4のいずれか1項に記載の作業内容測定装置から入力した所定の作業内容の測定結果を示す統合情報に基づいて、作業の管理を行うことを特徴とする作業管理装置。   5. A work management apparatus that performs work management based on integrated information indicating a measurement result of predetermined work contents input from the work content measurement apparatus according to claim 1.
JP2011008165A 2011-01-18 2011-01-18 Work content measuring device and work management device Withdrawn JP2012150613A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011008165A JP2012150613A (en) 2011-01-18 2011-01-18 Work content measuring device and work management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011008165A JP2012150613A (en) 2011-01-18 2011-01-18 Work content measuring device and work management device

Publications (1)

Publication Number Publication Date
JP2012150613A true JP2012150613A (en) 2012-08-09

Family

ID=46792805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011008165A Withdrawn JP2012150613A (en) 2011-01-18 2011-01-18 Work content measuring device and work management device

Country Status (1)

Country Link
JP (1) JP2012150613A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014202597A (en) * 2013-04-04 2014-10-27 新日鐵住金株式会社 System and method for supporting dimension measurement of steel plate
KR20160077161A (en) * 2013-10-28 2016-07-01 케이엘에이-텐코 코포레이션 Methods and apparatus for measuring semiconductor device overlay using x-ray metrology
JP2019191117A (en) * 2018-04-27 2019-10-31 キヤノン株式会社 Image processing device, image processing method, and program
WO2020017160A1 (en) * 2018-07-18 2020-01-23 パナソニックIpマネジメント株式会社 Operation sequence identification device, operation sequence identification system, operation sequence identification method, and program
JP2020102245A (en) * 2020-03-05 2020-07-02 日本電気株式会社 Abnormal work detection system and abnormal work detection method
WO2022124419A1 (en) * 2020-12-11 2022-06-16 株式会社 情報システムエンジニアリング Information processing apparatus, information processing method, and information processing system
US20220230440A1 (en) * 2019-06-14 2022-07-21 Omron Corporation Information processing device, information processing method, and recording medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014202597A (en) * 2013-04-04 2014-10-27 新日鐵住金株式会社 System and method for supporting dimension measurement of steel plate
KR20160077161A (en) * 2013-10-28 2016-07-01 케이엘에이-텐코 코포레이션 Methods and apparatus for measuring semiconductor device overlay using x-ray metrology
JP2016540970A (en) * 2013-10-28 2016-12-28 ケーエルエー−テンカー コーポレイション Method and apparatus for measuring overlay of a semiconductor device using X-ray metrology
KR102152487B1 (en) 2013-10-28 2020-09-04 케이엘에이 코포레이션 Methods and apparatus for measuring semiconductor device overlay using x-ray metrology
JP2019191117A (en) * 2018-04-27 2019-10-31 キヤノン株式会社 Image processing device, image processing method, and program
US11521312B2 (en) 2018-04-27 2022-12-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2020017160A1 (en) * 2018-07-18 2020-01-23 パナソニックIpマネジメント株式会社 Operation sequence identification device, operation sequence identification system, operation sequence identification method, and program
CN112368725A (en) * 2018-07-18 2021-02-12 松下知识产权经营株式会社 Work sequence recognition device, work sequence recognition system, work sequence recognition method, and program
JPWO2020017160A1 (en) * 2018-07-18 2021-08-02 パナソニックIpマネジメント株式会社 Work sequence identification device, work sequence identification system, work sequence identification method, and program
US20220230440A1 (en) * 2019-06-14 2022-07-21 Omron Corporation Information processing device, information processing method, and recording medium
JP2020102245A (en) * 2020-03-05 2020-07-02 日本電気株式会社 Abnormal work detection system and abnormal work detection method
WO2022124419A1 (en) * 2020-12-11 2022-06-16 株式会社 情報システムエンジニアリング Information processing apparatus, information processing method, and information processing system

Similar Documents

Publication Publication Date Title
JP2012150613A (en) Work content measuring device and work management device
JP6811282B2 (en) Automatic data labeling used in self-driving cars
JP6754856B2 (en) Sensor-intensive framework for self-driving vehicles
CN110977985B (en) Positioning method and device
US10533857B2 (en) User terminal and control method thereof
US10810754B2 (en) Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation
JP6392972B2 (en) Method, persistent computer readable medium and system implemented by a computing system
JP4850984B2 (en) Action space presentation device, action space presentation method, and program
KR101622028B1 (en) Apparatus and Method for controlling Vehicle using Vehicle Communication
KR100922494B1 (en) Method for measuring pose of a mobile robot and method and apparatus for measuring position of the mobile robot using the method
JP6890639B2 (en) Automatic LIDAR calibration based on cross-validation for autonomous driving
CN114502335A (en) Method and system for trajectory optimization of a non-linear robotic system with geometric constraints
US20110125362A1 (en) Operation support apparatus and operation support method
KR20090009172A (en) Method and apparatus for measuring position of the mobile robot
WO2021252084A1 (en) Systems and methods for disengagement prediction and triage assistant
WO2021055133A1 (en) Orientation determination based on both images and inertial measurement units
JP5679121B2 (en) Robot motion prediction control method and apparatus
WO2023076694A1 (en) Robotic assistance device using reduction of cognitive load of a user
US11199561B2 (en) System and method for standardized evaluation of activity sequences
Parga et al. Tele-manipulation of robot arm with smartphone
Parga et al. Smartphone-based human machine interface with application to remote control of robot arm
JP4817854B2 (en) Peripheral object tracking device and peripheral object position prediction method
US20220319054A1 (en) Generating scene flow labels for point clouds using object labels
WO2018029904A1 (en) Driving tendency determination apparatus and driving tendency determination system
EP3916507A1 (en) Methods and systems for enabling human robot interaction by sharing cognition

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140401