JP2020177680A - Work analysis device, work analysis method, and program - Google Patents

Work analysis device, work analysis method, and program Download PDF

Info

Publication number
JP2020177680A
JP2020177680A JP2020116175A JP2020116175A JP2020177680A JP 2020177680 A JP2020177680 A JP 2020177680A JP 2020116175 A JP2020116175 A JP 2020116175A JP 2020116175 A JP2020116175 A JP 2020116175A JP 2020177680 A JP2020177680 A JP 2020177680A
Authority
JP
Japan
Prior art keywords
worker
work
position information
specified
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020116175A
Other languages
Japanese (ja)
Other versions
JP7010542B2 (en
Inventor
勇介 中尾
Yusuke Nakao
勇介 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JP2020177680A publication Critical patent/JP2020177680A/en
Application granted granted Critical
Publication of JP7010542B2 publication Critical patent/JP7010542B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

To provide a work analysis device, a work analysis method and a computer readable recording medium that can analyze actions of workers in working sites without relying on man power.SOLUTION: A work analysis device 10, which is the device for analyzing works workers conduct with respect to objects, comprises: a position information acquisition unit 11 that acquires first position information being image data with a depth output from a depth sensor shooting the worker, and second position information being image data output from a digital camera shooting the object; and an action identification unit 12 that identifies a position of a hand of the worker from the first position information, identifies the position of the object from the second position information, and identifies contents of the action the worker conducts in the work on the basis of the identified position of the hand of the worker and the identified position of the object.SELECTED DRAWING: Figure 1

Description

本発明は、作業者による作業を分析するための、作業分析装置、作業分析方法、及びこれらを実現するためのプログラムに関する。 The present invention relates to a work analyzer, a work analysis method, and a program for realizing these for analyzing work by a worker.

近年、工場等における生産現場においては、生産性の向上と原価の低減とを図るため、インダストリアル・エンジニアリング（以下「ＩＥ」と表記する。）が導入されている。一般に、ＩＥは、経営管理全般に関するＩＥと、生産に関するＩＥと、これら以外に関するＩＥとの大きく３つに分類される。このうち、生産に関するＩＥは、生産現場において特に重要である。 In recent years, industrial engineering (hereinafter referred to as "IE") has been introduced at production sites in factories and the like in order to improve productivity and reduce costs. In general, IE is roughly classified into three types: IE related to business management in general, IE related to production, and IE related to other than these. Of these, IE related to production is particularly important at the production site.

具体的には、生産に関するＩＥにおいては、ＭＯＤＡＰＴＳ（Modular Arrangement of
Predetermined Time Standards）法と呼ばれる手法を用いて、作業者による作業の分析が行なわれる（例えば、非特許文献１参照）。ＭＯＤＡＰＴＳ法では、人間の上肢の動作を中心とした基本動作が２１個の記号で表され、各記号には動作の内容と時間値とが含まれている。 Specifically, in IE related to production, MODAPTS (Modular Arrangement of)
A method called the Predetermined Time Standards) method is used to analyze the work by the operator (see, for example, Non-Patent Document 1). In the MODAPTS method, basic movements centered on human upper limb movements are represented by 21 symbols, and each symbol includes the content of the movement and the time value.

例えば、「机の上に置いてある（手元から約１５ｃｍ離れた位置にある）ボールペンを掴む動作」を想定する。この場合、作業者は、まず，手をボールペンまで移動させる動作（「移動動作（Movement）」を行ない、その後、ボールペンを掴む動作を行なう。ボールペンを掴むことによって移動動作は終了するので、ボールペンを掴む動作は終局動作（Terminal Activities）となる。 For example, assume "an operation of grasping a ballpoint pen placed on a desk (at a position about 15 cm away from the hand)". In this case, the operator first performs an operation of moving the hand to the ballpoint pen (“Movement””, and then performs an operation of grasping the ballpoint pen. Since the movement operation is completed by grasping the ballpoint pen, the ballpoint pen is moved. The grabbing action is the final activity.

そして、これらの動作は、ＭＯＤＡＰＴＳ法では、Ｍ３Ｇ１と分析される。また、これらの動作にかかる作業時間は、４ＭＯＤ＝０．５１６秒(１ＭＯＤ＝０．１２９秒)と算出される。 Then, these actions are analyzed as M3G1 in the MODEPTS method. The working time required for these operations is calculated as 4MOD = 0.516 seconds (1MOD = 0.129 seconds).

このように、ＭＯＤＡＰＴＳ法によれば、作業者が特定の作業を行う場合の所要時間を、実測することなく、作業動作から簡単に予測することが出来る。即ち、作業者が実行する作業動作さえ分かっていれば、作業のどこに無駄又は無理があるかを、時間を尺度にして簡単に評価することが出来る。結果、生産性の向上が図られると考えられる。 As described above, according to the MODAPTS method, the time required for a worker to perform a specific work can be easily predicted from the work operation without actually measuring it. That is, as long as the work operation performed by the worker is known, it is possible to easily evaluate where the work is wasteful or unreasonable on the scale of time. As a result, it is considered that productivity can be improved.

小松原明哲著 「モダプツ法による作業改善テキスト」日本モダプツ協会編、日本出版サービス、２００８年１０月、ｐ．２４−３３Akitetsu Komatsubara, "Text for Improving Work by the Modaputs Method," edited by the Japan Modaputs Association, Japan Publishing Service, October 2008, p. 24-33

ところで、ＭＯＤＡＰＴＳ法は、通常、作業者による作業の様子を撮影したビデオを用いて、人手によるビデオ分析にて行なわれている。つまり、分析者は、ビデオに写っている作業者の動作を目視して、この動作が予め分類されている動作のいずれであるかを判定し、判定結果を逐一記録している。このため、ＭＯＤＡＰＴＳ法の実行には、時間及び労力がかかり過ぎるという問題がある。 By the way, the MODAPTS method is usually performed by manual video analysis using a video of a state of work by an operator. That is, the analyst visually observes the movement of the worker in the video, determines which of the pre-classified movements is, and records the judgment result one by one. Therefore, there is a problem that it takes too much time and labor to execute the MODAPTS method.

本発明の目的の一例は、上記問題を解消し、人手によることなく、作業現場における作
業者の動作の分析を行ない得る、作業分析装置、作業分析方法、及びプログラムを提供す
ることにある。 An example of an object of the present invention is to provide a work analyzer, a work analysis method, and a program capable of solving the above-mentioned problems and analyzing the movement of a worker at a work site without human intervention.

上記目的を達成するため、本発明の一側面における作業分析装置は、作業者が対象物に対して行なう作業を分析するための装置であって、
前記作業者の手の位置を特定する第１の位置情報、及び前記対象物の位置を特定する第２の位置情報を取得する、位置情報取得部と、
前記第１の位置情報及び前記第２の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、動作特定部と、
を備えている、ことを特徴とする。 In order to achieve the above object, the work analysis device in one aspect of the present invention is a device for analyzing the work performed by the worker on the object.
A position information acquisition unit that acquires a first position information that specifies the position of the worker's hand and a second position information that specifies the position of the object.
An operation specifying unit that specifies the content of the operation performed by the worker in the work by using the first position information and the second position information.
It is characterized by having.

また、上記目的を達成するため、本発明の一側面における作業分析方法は、作業者が対象物に対して行なう作業を分析するための方法であって、
（ａ）前記作業者の手の位置を特定する第１の位置情報、及び前記対象物の位置を特定する第２の位置情報を取得する、ステップと、
（ｂ）前記第１の位置情報及び前記第２の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、 を有する、ことを特徴とする。 Further, in order to achieve the above object, the work analysis method in one aspect of the present invention is a method for analyzing the work performed by the worker on the object.
(A) A step of acquiring a first position information for specifying the position of the worker's hand and a second position information for specifying the position of the object.
(B) It is characterized in that it has a step and a step of specifying the content of the operation performed by the worker in the work by using the first position information and the second position information.

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、作業者が対象物に対して行なう作業を分析するためのプログラムであって、
前記コンピュータに、
（ａ）前記作業者の手の位置を特定する第１の位置情報、及び前記対象物の位置を特定する第２の位置情報を取得する、ステップと、
（ｂ）前記第１の位置情報及び前記第２の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を実行させる、プログラム。 Further, in order to achieve the above object, the program in one aspect of the present invention is a program for analyzing the work performed by the worker on the object by the computer.
On the computer
(A) A step of acquiring a first position information for specifying the position of the worker's hand and a second position information for specifying the position of the object.
(B) A step of identifying the content of the operation performed by the worker in the work by using the first position information and the second position information.
A program that runs.

以上のように、本発明における作業分析装置によれば、人手によることなく、作業現場における作業者の動作の分析を行なうことができる。 As described above, according to the work analyzer of the present invention, it is possible to analyze the movement of the worker at the work site without manual labor.

図１は、本発明の実施の形態１における作業分析装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a work analyzer according to a first embodiment of the present invention. 図２は、本発明の実施の形態１における作業分析装置の構成を具体的に示すブロック図である。FIG. 2 is a block diagram specifically showing the configuration of the work analyzer according to the first embodiment of the present invention. 図３は、本発明の実施の形態１で特定される移動動作の内容の一例を示す図である。FIG. 3 is a diagram showing an example of the content of the moving operation specified in the first embodiment of the present invention. 図４は、本発明の実施の形態１で特定される終局動作の内容の一例と識別子毎に終局動作の内容を規定するルールの一例とを示す図である。FIG. 4 is a diagram showing an example of the content of the final operation specified in the first embodiment of the present invention and an example of a rule that defines the content of the final operation for each identifier. 図５は、本発明の実施の形態１において、対象物の位置に応じて終局動作の内容を特定する場合の処理を説明するための図である。FIG. 5 is a diagram for explaining a process in the case of specifying the content of the final operation according to the position of the object in the first embodiment of the present invention. 図６は、本発明の実施の形態１における作業分析装置の動作を示すフロー図である。FIG. 6 is a flow chart showing the operation of the work analyzer according to the first embodiment of the present invention. 図７は、本発明の実施の形態１の変形例１において、作業者の顔の向きに応じて終局動作の内容を特定する場合の処理を説明するための図である。FIG. 7 is a diagram for explaining a process for specifying the content of the final operation according to the orientation of the worker's face in the first modification of the first embodiment of the present invention. 図８は、本発明の実施の形態２における作業分析装置の構成を示すブロック図である。FIG. 8 is a block diagram showing the configuration of the work analyzer according to the second embodiment of the present invention. 図９は、本発明の実施の形態２における作業分析装置の動作を示すフロー図である。FIG. 9 is a flow chart showing the operation of the work analyzer according to the second embodiment of the present invention. 図１０は、本発明の実施の形態１及び２における作業分析装置を実現するコンピュータの一例を示すブロック図である。FIG. 10 is a block diagram showing an example of a computer that realizes the work analyzer according to the first and second embodiments of the present invention.

（実施の形態１）
以下、本発明の実施の形態１における、作業分析装置、作業分析方法、およびプログラムについて、図１〜図６を参照しながら説明する。 (Embodiment 1)
Hereinafter, the work analyzer, the work analysis method, and the program according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 6.

［装置構成］
最初に、本発明の実施の形態１における作業分析装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態１における作業分析装置の概略構成を示すブロック図である。 [Device configuration]
First, the schematic configuration of the work analyzer according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a schematic configuration of a work analyzer according to a first embodiment of the present invention.

図１に示す、本実施の形態１における作業分析装置１０は、作業者が対象物に対して行なう作業を分析するための装置である。図１に示すように、作業分析装置１０は、位置情報取得部１１と、動作特定部１２とを備えている。 The work analysis device 10 according to the first embodiment shown in FIG. 1 is a device for analyzing the work performed by an operator on an object. As shown in FIG. 1, the work analysis device 10 includes a position information acquisition unit 11 and an operation identification unit 12.

位置情報取得部１１は、作業者の手の位置を特定する第１の位置情報と、対象物の位置を特定する第２の位置情報とを取得する。動作特定部１２は、第１の位置情報及び第２の位置情報を用いて、作業において作業者が行なった動作の内容を特定する。 The position information acquisition unit 11 acquires the first position information for specifying the position of the worker's hand and the second position information for specifying the position of the object. The motion specifying unit 12 specifies the content of the motion performed by the operator in the work by using the first position information and the second position information.

このように、本実施の形態では、人手を介することなく、作業分析装置１０によって、作業者の手及び対象物の位置情報から、動作の内容、例えば、手先のみを動かす動作であったのか、触るだけの動作であったのか等が特定される。従って、作業分析装置１０を用いれば、人手によることなく、作業現場における作業者の動作の分析が可能となる。 As described above, in the present embodiment, is it the operation of moving only the content of the operation, for example, the hand, from the position information of the worker's hand and the object by the work analysis device 10 without human intervention? It is specified whether the movement was just a touch. Therefore, if the work analysis device 10 is used, it is possible to analyze the movement of the worker at the work site without human intervention.

続いて、図２を用いて、本実施の形態１における作業分析装置１０の構成について更に具体的に説明する。図２は、本発明の実施の形態１における作業分析装置の構成を具体的に示すブロック図である。 Subsequently, the configuration of the work analyzer 10 according to the first embodiment will be described more specifically with reference to FIG. FIG. 2 is a block diagram specifically showing the configuration of the work analyzer according to the first embodiment of the present invention.

図２に示すように、本実施の形態１においては、作業分析装置１０には、デプスセンサ２０と、デジタルカメラ３０と、分析者の端末装置４０とが接続されている。デプスセンサ２０は、例えば、特定のパターンで赤外線レーザ光を出射する光源と、対象物で反射された赤外線を受光する撮像素子とを備えており、これらによって、画素毎の深度が付加された画像データを出力する。デプスセンサの具体例としては、Ｋｉｎｅｃｔ（登録商標）といった既存のデプスセンサが挙げられる。 As shown in FIG. 2, in the first embodiment, the depth sensor 20, the digital camera 30, and the analyst's terminal device 40 are connected to the work analysis device 10. The depth sensor 20 includes, for example, a light source that emits infrared laser light in a specific pattern and an image sensor that receives infrared rays reflected by an object, and image data to which depth for each pixel is added by these. Is output. Specific examples of the depth sensor include an existing depth sensor such as Kinect (registered trademark).

また、デプスセンサ２０は、作業者５０の動作を撮影可能となるように配置されている。従って、デプスセンサ２０から出力された深度付の画像データを用いて、作業者５０の四肢の各部位の座標と深度とを特定すれば、各部位の位置の検出が可能となる。即ち、本実施の形態１では、デプスセンサ２０から出力される深度付の画像データが、第１の位置情報として用いられる。 Further, the depth sensor 20 is arranged so that the operation of the worker 50 can be photographed. Therefore, if the coordinates and depth of each part of the limbs of the worker 50 are specified by using the image data with depth output from the depth sensor 20, the position of each part can be detected. That is, in the first embodiment, the image data with depth output from the depth sensor 20 is used as the first position information.

なお、デプスセンサ２０によって特定可能な部位としては、頭、首、右肩、右肘、右手首、右親指、右手先、左肩、左肘、左手首、左親指、左手先、胸部、胸腰部、骨盤部、右股関節、右膝、右くるぶし、右足、左股関節、左膝、左くるぶし、左足等が挙げられる。また、深度付の画像データから各部位の位置を検出するための処理としては、デプスセンサ２０で利用されている既存の処理を用いることができる。 The parts that can be identified by the depth sensor 20 include the head, neck, right shoulder, right elbow, right wrist, right thumb, right hand, left shoulder, left elbow, left wrist, left thumb, left hand, chest, chest and waist. Examples include the pelvis, right hip joint, right knee, right ankle, right foot, left hip joint, left knee, left ankle, and left foot. Further, as the process for detecting the position of each part from the image data with depth, the existing process used in the depth sensor 20 can be used.

また、図２において、デジタルカメラ３０は、作業の対象物６０を撮影可能となるように配置されており、対象物６０の位置の検出に用いられている。具体的には、対象物６０の上面には、図形マーカが付与されており、デジタルカメラ３０は、設定間隔で、図形マーカを含む画像データを出力する。従って、この画像データを用いて、図形マーカの位置を特定すれば、対象物６０の位置の検出が可能となる。本実施の形態１では、デジタルカメラ３０から出力される画像データが、第２の位置情報として用いられる。 Further, in FIG. 2, the digital camera 30 is arranged so that the object 60 for work can be photographed, and is used for detecting the position of the object 60. Specifically, a graphic marker is attached to the upper surface of the object 60, and the digital camera 30 outputs image data including the graphic marker at set intervals. Therefore, if the position of the graphic marker is specified using this image data, the position of the object 60 can be detected. In the first embodiment, the image data output from the digital camera 30 is used as the second position information.

また、図２に示すように、本実施の形態１においては、作業分析装置１０は、位置情報取得部１１及び動作特定部１２に加えて、作業時間予測部１３を備えている。作業時間予測部１３は、予め設定された動作の内容と時間との関係に、特定された動作の内容を照合することによって、作業にかかる作業時間を予測する。 Further, as shown in FIG. 2, in the first embodiment, the work analysis device 10 includes a work time prediction unit 13 in addition to the position information acquisition unit 11 and the operation identification unit 12. The work time prediction unit 13 predicts the work time required for the work by collating the content of the specified operation with the relationship between the content of the preset operation and the time.

位置情報取得部１１は、本実施の形態では、第１の位置情報として、デプスセンサ２０から出力される深度付の画像データを取得し、第２の位置情報として、デジタルカメラ３０から出力される画像データを取得する。また、位置情報取得部１１は、取得した各画像データを動作特定部１２に入力する。 In the present embodiment, the position information acquisition unit 11 acquires image data with a depth output from the depth sensor 20 as the first position information, and the image output from the digital camera 30 as the second position information. Get the data. Further, the position information acquisition unit 11 inputs each acquired image data to the operation specifying unit 12.

動作特定部１２は、本実施の形態１では、第１の位置情報として取得した深度付の画像データから、作業者５０の左右の手の位置を特定する。具体的には、動作特定部１２は、深度付の画像データから左右の手を検出し、検出した手毎に、画像上の２次元座標と深度とから、予め実空間に設定された座標系における３次元座標を算出する。 In the first embodiment, the motion specifying unit 12 identifies the positions of the left and right hands of the worker 50 from the image data with depth acquired as the first position information. Specifically, the motion specifying unit 12 detects the left and right hands from the image data with the depth, and for each detected hand, the coordinate system set in advance in the real space from the two-dimensional coordinates and the depth on the image. Calculate the three-dimensional coordinates in.

また、動作特定部１２は、第２の位置情報として取得した画像データから、対象物６０の位置を特定する。具体的には、動作特定部１２は、図形マーカを検出し、検出した図形マーカの画像上の２次元座標と、予め取得されている作業台６１の高さとから、予め実空間に設定された座標系における対象物６０の３次元座標を算出する。 Further, the motion specifying unit 12 specifies the position of the object 60 from the image data acquired as the second position information. Specifically, the motion specifying unit 12 detects the graphic marker, and is set in advance in the real space from the two-dimensional coordinates on the image of the detected graphic marker and the height of the work table 61 acquired in advance. The three-dimensional coordinates of the object 60 in the coordinate system are calculated.

更に、動作特定部１２は、第１の位置情報で特定した作業者５０の手の位置、第２の位置情報で特定した対象物６０の位置、及び両方の位置から求めた作業者５０の手と対象物６０との距離に基づいて、作業者５０が行なった動作の内容を移動動作と終局動作とに分けて特定する。 Further, the motion specifying unit 12 is the position of the hand of the worker 50 specified by the first position information, the position of the object 60 specified by the second position information, and the hand of the worker 50 obtained from both positions. Based on the distance between the object 60 and the object 60, the content of the operation performed by the worker 50 is specified as a moving operation and a final operation.

具体的には、作業者５０が行なう動作は、「手を伸ばす」、「持ってくる」といった手を移動させる動作（移動動作）と、「触る」、「掴む」、「置く」といった移動動作を終わらせる動作（終局動作）とで構成されている。動作特定部１２は、設定された間隔で、手と対象物との距離を繰り返し求め、求めた距離に基づいて、移動動作が行なわれている期間と、終局動作が行なわれている期間とを特定する。 Specifically, the movements performed by the worker 50 include movements (movement movements) such as "reaching" and "bringing" hands, and movement movements such as "touching", "grabbing", and "putting". It is composed of the operation to end (final operation). The motion specifying unit 12 repeatedly obtains the distance between the hand and the object at a set interval, and based on the obtained distance, determines the period during which the moving motion is performed and the period during which the final motion is performed. Identify.

例えば、動作特定部１２は、手と対象物の距離が閾値より大きい状態から閾値以下となったときに、手と対象物とが接触することになるので、この時点を移動動作「手を伸ばす」から終局動作「触る」又は「掴む」へと切り替わったタイミングと判断する。続いて、動作特定部１２は、終局動作へと切り替わるまでの作業者５０の手の移動距離を求める。更に、動作特定部１２は、移動距離に応じて、「指先の動作」、「手の動作」、「前腕の動作」、「上腕の動作」、「伸ばした腕の動作」のいずれであるかを判定し、判定結果を移動動作の内容として特定する。 For example, when the distance between the hand and the object falls below the threshold value from the state where the distance between the hand and the object is greater than the threshold value, the motion specifying unit 12 comes into contact with the hand and the object. It is judged that the timing is switched from the final operation "touch" or "grab". Subsequently, the motion specifying unit 12 obtains the moving distance of the hand of the worker 50 until the operation is switched to the final motion. Further, which of the "fingertip movement", "hand movement", "forearm movement", "upper arm movement", and "extended arm movement" is performed by the movement specifying unit 12 according to the moving distance. Is determined, and the determination result is specified as the content of the movement operation.

また、動作特定部１２は、手と対象物との距離が閾値以下の状態で、作業者の手と対象物とが移動を開始すると、終局動作から移動動作「持ってくる」に切り替わったと判断し、移動距離を求める。そして、この場合も、動作特定部１２は、上記と同様の判定をして、移動動作の内容を特定する。その後、再び、作業者の手と対象物との距離が閾値より大きくなったときは、手が対象物から離れているので、動作特定部１２は、移動動作から終局動作「置く」へと切り替わったタイミングと判断する。また、動作特定部１２は、この時点を動作の終了時点と判断する。 Further, the motion specifying unit 12 determines that when the operator's hand and the object start moving while the distance between the hand and the object is equal to or less than the threshold value, the motion specifying unit 12 switches from the final motion to the move motion "bring". And find the distance traveled. Then, also in this case, the motion specifying unit 12 makes the same determination as described above to specify the content of the moving motion. After that, when the distance between the worker's hand and the object becomes larger than the threshold value again, since the hand is away from the object, the motion specifying unit 12 switches from the moving motion to the final motion "put". Judge as the timing. Further, the motion specifying unit 12 determines that this point is the end point of the motion.

動作特定部１２は、終局動作については、例えば、対象物６０を識別する識別子を取得し、取得した識別子を、識別子毎に終局動作の内容を規定するルールに照合することによって特定することができる。また、動作特定部１２は、動作の終了時点での、対象物６０の位置に応じて、終局動作の内容を特定することもできる。 The operation specifying unit 12 can specify the ultimate operation by, for example, acquiring an identifier that identifies the object 60 and collating the acquired identifier with a rule that defines the content of the ultimate operation for each identifier. .. In addition, the motion specifying unit 12 can also specify the content of the final motion according to the position of the object 60 at the end of the motion.

ここで、図３〜図５を用いて、動作特定部１２及び作業時間予測部１３による処理について具体的に説明する。図３は、本発明の実施の形態１で特定される移動動作の内容の一例を示す図である。図４は、本発明の実施の形態１で特定される終局動作の内容の一例と識別子毎に終局動作の内容を規定するルールの一例とを示す図である。図５は、本発明の実施の形態１において、対象物の位置に応じて終局動作の内容を特定する場合の処理を説明するための図である。 Here, the processing by the operation specifying unit 12 and the working time prediction unit 13 will be specifically described with reference to FIGS. 3 to 5. FIG. 3 is a diagram showing an example of the content of the moving operation specified in the first embodiment of the present invention. FIG. 4 is a diagram showing an example of the content of the final operation specified in the first embodiment of the present invention and an example of a rule that defines the content of the final operation for each identifier. FIG. 5 is a diagram for explaining a process in the case of specifying the content of the final operation according to the position of the object in the first embodiment of the present invention.

動作特定部１２は、まず、移動動作が行なわれている期間を特定すると、作業者５０の左右の手の位置の変化に基づき、この期間における作業者５０の手の移動距離を求める。そして、動作特定部１２は、求めた移動距離に応じて、移動動作が、図３に示すＭ１〜Ｍ５のいずれに該当するかを判定する。そして、動作特定部１２は、判定結果を移動動作の内容として特定する。 First, the motion specifying unit 12 specifies the period during which the moving motion is performed, and then obtains the moving distance of the worker 50's hand during this period based on the change in the positions of the left and right hands of the worker 50. Then, the motion specifying unit 12 determines which of M1 to M5 shown in FIG. 3 corresponds to the moving motion according to the obtained moving distance. Then, the motion specifying unit 12 specifies the determination result as the content of the moving motion.

また、動作特定部１２は、例えば、端末装置４０からの通知、第２の位置情報である画像データの画像処理等によって、対象物６０を識別する識別子を取得する。そして、動作特定部１２は、取得した識別子を図４に示すルール（テーブル）に照合して、終局動作の内容が、Ｇ０、Ｇ１、Ｇ３、Ｐ０、Ｐ２、Ｐ５のいずれに該当するかを判定する。なお、終局動作が「掴む」及び「置く」のいずれであるかは、直前の手と対象物との距離の変化から判断される。 Further, the motion specifying unit 12 acquires an identifier that identifies the object 60 by, for example, notification from the terminal device 40, image processing of image data which is the second position information, and the like. Then, the operation specifying unit 12 collates the acquired identifier with the rule (table) shown in FIG. 4, and determines which of G0, G1, G3, P0, P2, and P5 the content of the final operation corresponds to. To do. It should be noted that whether the final action is "grasping" or "putting" is determined from the change in the distance between the immediately preceding hand and the object.

更に、動作特定部１２は、終局動作が「置く」であるときは、対象物６０の３次元座標に基づいて、図５に示すように、対象物６０が作業台６１のどこに置かれたかを判断することで、終局動作の内容の特定を行なうこともできる。 Further, when the final operation is "place", the motion specifying unit 12 determines where the object 60 is placed on the workbench 61 based on the three-dimensional coordinates of the object 60, as shown in FIG. By making a judgment, it is possible to specify the content of the final operation.

このように、本実施の形態１では、動作特定部１２は、ＭＯＤＡＰＴＳ法等で規定されている動作分類に沿って、移動動作及び終局動作を特定することができる。なお、図３〜図５に示す判断基準及びルールは、ＭＯＤＡＰＴＳ法に類似しているが、ＭＯＤＡＰＴＳ法そのままではない。本実施の形態１では、動作特定のための判断基準及びルールとして、ＭＯＤＡＰＴＳ法がそのまま用いられていても良い。 As described above, in the first embodiment, the motion specifying unit 12 can specify the moving motion and the final motion according to the motion classification defined by the MODAPTS method or the like. The judgment criteria and rules shown in FIGS. 3 to 5 are similar to the MODEPTS method, but are not the same as the MODEPTS method. In the first embodiment, the MODEPTS method may be used as it is as a judgment standard and a rule for specifying the operation.

また、作業時間予測部１３は、ＭＯＤＡＰＴＳ法等で規定されている動作時間に沿って作業時間を予測することができる。例えば、動作特定部１２が、作業者５０の動作の内容を「Ｍ３Ｇ１」と特定し、作業時間予測部１３において、ＭＯＤＡＰＴＳ法が採用されているとする。この場合、作業時間予測部１３は、作業時間を「４ＭＯＤ＝０．５１６秒（１ＭＯＤ＝０．１２９）」と予測する。 Further, the work time prediction unit 13 can predict the work time according to the operation time defined by the MODAPTS method or the like. For example, it is assumed that the motion specifying unit 12 specifies the content of the motion of the worker 50 as "M3G1", and the working time prediction unit 13 employs the MODAPTS method. In this case, the work time prediction unit 13 predicts the work time as "4MOD = 0.516 seconds (1MOD = 0.129)".

［装置動作］
次に、本発明の実施の形態１における作業分析装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態１における作業分析装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図５を参酌する。また、本実施の形態１では、作業分析装置１０を動作させることによって、作業分析方法が実施される。よって、本実施の形態１における作業分析方法の説明は、以下の作業分析装置１０の動作説明に代える。 [Device operation]
Next, the operation of the work analyzer 10 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 6 is a flow chart showing the operation of the work analyzer according to the first embodiment of the present invention. In the following description, FIGS. 1 to 5 will be referred to as appropriate. Further, in the first embodiment, the work analysis method is carried out by operating the work analysis device 10. Therefore, the description of the work analysis method in the first embodiment is replaced with the following description of the operation of the work analysis device 10.

図６に示すように、最初に、位置情報取得部１１が、第１の位置情報として、デプスセンサ２０から出力される深度付の画像データを取得し、第２の位置情報として、デジタルカメラ３０から出力される画像データを取得する（ステップＡ１）。 As shown in FIG. 6, first, the position information acquisition unit 11 acquires image data with a depth output from the depth sensor 20 as the first position information, and first receives the image data with depth as the second position information from the digital camera 30. Acquire the output image data (step A1).

次に、動作特定部１２は、第１の位置情報として取得した深度付の画像データから、作業者５０の手の位置を特定し、第２の位置情報として取得した画像データから、対象物６０の位置を特定する（ステップＡ２）。 Next, the motion specifying unit 12 identifies the position of the hand of the worker 50 from the image data with depth acquired as the first position information, and from the image data acquired as the second position information, the object 60 The position of (step A2) is specified.

次に、動作特定部１２は、ステップＡ２で特定した作業者５０の手の位置と対象物６０の位置とから、作業者５０の手と対象物６０との距離を算出する（ステップＡ３）。 Next, the motion specifying unit 12 calculates the distance between the worker 50's hand and the object 60 from the position of the worker 50's hand and the position of the object 60 specified in step A2 (step A3).

次に、動作特定部１２は、ステップＡ２で特定した作業者５０の手の位置、同じくステップＡ２で特定した対象物６０の位置、及びステップＡ３で算出した作業者５０の手と対象物６０との距離に基づいて、作業者５０が行なった動作の内容を特定する（ステップＡ４）。 Next, the motion specifying unit 12 includes the position of the hand of the worker 50 specified in step A2, the position of the object 60 also specified in step A2, and the hand of the worker 50 and the object 60 calculated in step A3. The content of the operation performed by the worker 50 is specified based on the distance of (step A4).

具体的には、ステップＡ４では、動作特定部１２は、手と対象物との距離から、移動動作の期間と終局動作の期間とを特定する。そして、動作特定部１２は、特定した各期間、手の位置の変化、対象物の位置の変化を総合し、図３〜図５に示す判断基準及びルールを用いて、作業者５０が行なった動作の内容を移動動作と終局動作とに分けて特定する。 Specifically, in step A4, the motion specifying unit 12 specifies the period of the moving motion and the period of the final motion from the distance between the hand and the object. Then, the motion specifying unit 12 integrates the changes in the position of the hand and the changes in the position of the object during each specified period, and is performed by the worker 50 using the determination criteria and rules shown in FIGS. 3 to 5. The content of the operation is specified separately for the movement operation and the final operation.

その後、作業時間予測部１３は、予め設定された動作の内容と時間との関係に、ステップＡ４で特定された動作の内容を照合することによって、作業にかかる作業時間を予測する（ステップＡ５）。 After that, the work time prediction unit 13 predicts the work time required for the work by collating the content of the operation specified in step A4 with the relationship between the content of the preset operation and the time (step A5). ..

［実施の形態１における効果］
以上のように、本実施の形態１では、画像データから、人手を介することなく、作業者の動作の内容が特定されると共に、その内容に基づいて作業時間が予測される。従って、本実施の形態１によれば、人によるビデオ分析を行なわずとも、ＭＯＤＡＰＴＳ法を実行することができる。 [Effect in Embodiment 1]
As described above, in the first embodiment, the content of the operation of the worker is specified from the image data without human intervention, and the working time is predicted based on the content. Therefore, according to the first embodiment, the MODAPTS method can be executed without performing video analysis by a person.

［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図６に示すステップＡ１〜Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における作業分析装置１０と作業分析方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、位置情報取得部１１、動作特定部１２、及び作業時間予測部１３として機能し、処理を行なう。 [program]
The program according to the first embodiment may be any program that causes a computer to execute steps A1 to A5 shown in FIG. By installing this program on a computer and executing it, the work analysis device 10 and the work analysis method according to the present embodiment can be realized. In this case, the CPU (Central Processing Unit) of the computer functions as a position information acquisition unit 11, an operation identification unit 12, and a work time prediction unit 13 to perform processing.

なお、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、位置情報取得部１１、動作特定部１２、及び作業時間予測部１３のいずれかとして機能しても良い。 The program in this embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer may function as any of the position information acquisition unit 11, the operation identification unit 12, and the work time prediction unit 13.

続いて、本実施の形態１における変形例１〜３について以下に説明する。 Subsequently, the modified examples 1 to 3 in the first embodiment will be described below.

［変形例１］
本変形例１では、位置情報取得部１１は、作業者５０の顔の向きを特定する顔情報を更に取得することができる。但し、本実施の形態１では、位置情報取得部１１は、作業者５０を撮影するデプスセンサ２０から深度付の画像データを取得しており、この深度付の画像データを顔情報として取得することができる。以下、図７を用いて説明する。図７は、本発明の実施の形態１の変形例１において、作業者の顔の向きに応じて終局動作の内容を特定する場合の処理を説明するための図である。 [Modification 1]
In the present modification 1, the position information acquisition unit 11 can further acquire face information that specifies the orientation of the face of the worker 50. However, in the first embodiment, the position information acquisition unit 11 acquires the image data with depth from the depth sensor 20 that captures the worker 50, and the image data with depth can be acquired as face information. it can. Hereinafter, it will be described with reference to FIG. FIG. 7 is a diagram for explaining a process for specifying the content of the final operation according to the orientation of the worker's face in the first modification of the first embodiment of the present invention.

本変形例１では、動作特定部１２は、深度付の画像データから、作業者の顔を検出し、検出した顔の向きを特定する。例えば、動作特定部１２は、画像上の２次元座標と深度とから、顔の左右の目の３次元座標を算出し、算出した左右の目の３次元座標から、更に顔の向きを算出する。また、動作特定部１２は、顔情報によって特定した作業者５０の顔の向きと、作業者５０の手の位置と、対象物６０の位置とに基づいて、終局動作の内容を特定する。 In the first modification, the motion specifying unit 12 detects the worker's face from the image data with depth and specifies the orientation of the detected face. For example, the motion specifying unit 12 calculates the three-dimensional coordinates of the left and right eyes of the face from the two-dimensional coordinates and the depth on the image, and further calculates the direction of the face from the calculated three-dimensional coordinates of the left and right eyes. .. Further, the motion specifying unit 12 specifies the content of the final motion based on the orientation of the face of the worker 50 specified by the face information, the position of the hand of the worker 50, and the position of the object 60.

具体的には、図７に示すように、動作特定部１２は、作業者の視線と手又は対象物との距離を算出し、算出した距離ｄが閾値Ｄ以上である場合（図７上図）は、作業者は、目の動きを要しない最も簡単な置く動作（Ｐ０）を行なっていると判断する。一方、動作特定部１２は、作業者の視線と手又は対象物との距離ｄが閾値Ｄ未満である場合（図７下図）は、目の動きと１回の位置修正を行なって置く動作（Ｐ２）を行なっていると判断する。本変形例１によれば、動作の内容の特定をより正確に行なうことが可能となる。 Specifically, as shown in FIG. 7, the motion specifying unit 12 calculates the distance between the worker's line of sight and the hand or the object, and the calculated distance d is equal to or greater than the threshold value D (FIG. 7, upper figure). ) Determines that the operator is performing the simplest placing operation (P0) that does not require eye movement. On the other hand, when the distance d between the operator's line of sight and the hand or the object is less than the threshold value D (the lower figure of FIG. It is judged that P2) is being performed. According to the first modification, it is possible to more accurately specify the content of the operation.

［変形例２］
本変形例２では、対象物６０が、作業者５０から作業の際に受けた操作のログを記録する機能を有している。この場合、動作特定部１２は、対象物６０から操作ログを取得し、取得した操作ログに基づいて、終局動作の内容を特定することができる。 [Modification 2]
In the second modification, the object 60 has a function of recording a log of operations received from the worker 50 during the work. In this case, the operation specifying unit 12 can acquire an operation log from the object 60 and specify the content of the final operation based on the acquired operation log.

具体的には、このような対象物６０としては、操作ログを記録可能な工具、同じく操作ログを記録可能な測定機器等が挙げられる。このような工具又は測定機器等が用いられる場合は、動作特定部１２は、操作ログから作業者５０の操作内容を特定できるので、操作内容に基づいて動作の内容を正確に特定できる。 Specifically, examples of such an object 60 include a tool capable of recording an operation log, a measuring device capable of recording an operation log, and the like. When such a tool, a measuring device, or the like is used, the operation specifying unit 12 can specify the operation content of the operator 50 from the operation log, so that the operation content can be accurately specified based on the operation content.

［変形例３］
本変形例３では、対象物６０が、それ自体の状態を特定するセンサを有し、センサが出力したセンサデータが、有線又は無線によって作業分析装置１０に送信されている。この場合、動作特定部１２は、対象物６０から、センサが出力したセンサデータを取得し、取得したセンサデータを用いて、動作の内容を特定することができる。 [Modification 3]
In the third modification, the object 60 has a sensor that identifies its own state, and the sensor data output by the sensor is transmitted to the work analyzer 10 by wire or wirelessly. In this case, the motion specifying unit 12 can acquire the sensor data output by the sensor from the object 60, and can specify the content of the motion by using the acquired sensor data.

このようなセンサとしては、加速度センサ、角速度センサ等が挙げられる。例えば、対象物６０に加速度センサが取り付けられているとする。この場合、動作特定部１２は、センサデータによって特定される加速度の値が閾値以上となった時点を、移動動作「持ってくる」が開始された時点と判断する。また、動作特定部１２は、加速度の値が閾値未満となった時点を、移動動作「持ってくる」から終局動作「置く」へと切り替わったタイミングと判断することができる。 Examples of such a sensor include an acceleration sensor and an angular velocity sensor. For example, it is assumed that an acceleration sensor is attached to the object 60. In this case, the motion specifying unit 12 determines that the time when the value of the acceleration specified by the sensor data becomes equal to or higher than the threshold value is the time when the moving motion “bring” is started. Further, the motion specifying unit 12 can determine that the time when the acceleration value becomes less than the threshold value is the timing when the movement motion “bring” is switched to the final motion “put”.

本変形例３によれば、移動動作が行なわれている期間と、終局動作が行なわれている期間との特定をより、正確に行なうことができ、結果、動作の内容を正確に特定できる。また、本変形例３は、対象物６０の位置を、デプスセンサ２０又はデジタルカメラ３０によって特定することが難しい場合に有効である。 According to the third modification, the period during which the movement operation is performed and the period during which the final operation is performed can be specified more accurately, and as a result, the content of the operation can be specified accurately. Further, the present modification 3 is effective when it is difficult to specify the position of the object 60 by the depth sensor 20 or the digital camera 30.

（実施の形態２）
次に、本発明の実施の形態２における、作業分析装置、作業分析方法、およびプログラムについて、図８及び図９を参照しながら説明する。 (Embodiment 2)
Next, the work analyzer, the work analysis method, and the program according to the second embodiment of the present invention will be described with reference to FIGS. 8 and 9.

［装置構成］
最初に、本発明の実施の形態２における作業分析装置の構成について図８を用いて説明する。図８は、本発明の実施の形態２における作業分析装置の構成を示すブロック図である。 [Device configuration]
First, the configuration of the work analyzer according to the second embodiment of the present invention will be described with reference to FIG. FIG. 8 is a block diagram showing the configuration of the work analyzer according to the second embodiment of the present invention.

図８に示すように、本実施の形態２における作業分析装置７０は、記憶部１４を備えており、この点で、図１及び図２に示した実施の形態１における作業分析装置１０と異なっている。以下、実施の形態１との相違点を中心に説明する。 As shown in FIG. 8, the work analysis device 70 according to the second embodiment includes a storage unit 14, which is different from the work analysis device 10 according to the first embodiment shown in FIGS. 1 and 2. ing. Hereinafter, the differences from the first embodiment will be mainly described.

本実施の形態２では、動作特定部１２は、動作が開始されてから終了するまでの実測値を求め、求めた実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデル１５を構築する。 In the second embodiment, the operation specifying unit 12 obtains an actually measured value from the start to the end of the operation, and uses the obtained actually measured value and the specified operation content to determine the operation content and time. A model 15 that defines the relationship is constructed.

また、動作特定部１２は、構築したモデル１５を記憶部１４に格納する。但し、既にモデル１５が構築されている場合は、動作特定部１２は、実測値の測定と動作内容の特定とが行なわれる度に、モデル１５を更新する。 Further, the motion specifying unit 12 stores the constructed model 15 in the storage unit 14. However, when the model 15 has already been constructed, the operation specifying unit 12 updates the model 15 every time the measured value is measured and the operation content is specified.

また、本実施の形態２では、作業時間予測部１３は、特定した動作の内容をモデル１５に適用することによって、作業者５０の作業にかかる作業時間を予測する。 Further, in the second embodiment, the work time prediction unit 13 predicts the work time required for the work of the worker 50 by applying the content of the specified operation to the model 15.

［装置動作］
次に、本発明の実施の形態２における作業分析装置７０の動作について図８を用いて説明する。図９は、本発明の実施の形態２における作業分析装置の動作を示すフロー図である。以下の説明においては、適宜図８を参酌する。また、本実施の形態２では、作業分析装置７０を動作させることによって、作業分析方法が実施される。よって、本実施の形態２における作業分析方法の説明は、以下の作業分析装置７０の動作説明に代える。 [Device operation]
Next, the operation of the work analyzer 70 according to the second embodiment of the present invention will be described with reference to FIG. FIG. 9 is a flow chart showing the operation of the work analyzer according to the second embodiment of the present invention. In the following description, FIG. 8 will be referred to as appropriate. Further, in the second embodiment, the work analysis method is implemented by operating the work analysis device 70. Therefore, the description of the work analysis method in the second embodiment is replaced with the following description of the operation of the work analysis device 70.

図９に示すように、最初に、位置情報取得部１１が、第１の位置情報として、デプスセンサ２０から出力される深度付の画像データを取得し、第２の位置情報として、デジタルカメラ３０から出力される画像データを取得する（ステップＢ１）。 As shown in FIG. 9, first, the position information acquisition unit 11 acquires image data with a depth output from the depth sensor 20 as the first position information, and first receives the image data with depth as the second position information from the digital camera 30. Acquire the output image data (step B1).

次に、動作特定部１２は、第１の位置情報として取得した深度付の画像データから、作業者５０の手の位置を特定し、第２の位置情報として取得した画像データから、対象物６０の位置を特定する（ステップＢ２）。 Next, the motion specifying unit 12 identifies the position of the hand of the worker 50 from the image data with depth acquired as the first position information, and from the image data acquired as the second position information, the object 60 The position of (step B2) is specified.

次に、動作特定部１２は、ステップＢ２で特定した作業者５０の手の位置と対象物６０の位置とから、作業者５０の手と対象物６０との距離を算出する（ステップＢ３）。 Next, the motion specifying unit 12 calculates the distance between the worker 50's hand and the object 60 from the position of the worker 50's hand and the position of the object 60 specified in step B2 (step B3).

次に、動作特定部１２は、ステップＢ２で特定した作業者５０の手の位置、同じくステップＢ２で特定した対象物６０の位置、及びステップＢ３で算出した作業者５０の手と対象物６０との距離に基づいて、作業者５０が行なった動作の内容を特定する（ステップＢ４）。以上のステップＢ１からＢ４は、図６に示したステップＡ１からＡ４と同様のステップである。 Next, the motion specifying unit 12 includes the position of the hand of the worker 50 specified in step B2, the position of the object 60 also specified in step B2, and the hand of the worker 50 and the object 60 calculated in step B3. The content of the operation performed by the worker 50 is specified based on the distance of (step B4). The above steps B1 to B4 are the same steps as steps A1 to A4 shown in FIG.

次に、動作特定部１２は、本実施の形態２では、内容を特定した動作の開始から終了までの実測値を取得する（ステップＢ５）。なお、実測値の取得は、作業分析装置７０に内蔵されたタイマー等を用いることによって可能である。 Next, in the second embodiment, the operation specifying unit 12 acquires the actually measured values from the start to the end of the operation whose contents are specified (step B5). It should be noted that the actual measurement value can be acquired by using a timer or the like built in the work analyzer 70.

次に、動作特定部１２は、ステップＢ４で特定された動作の内容とステップＢ５で取得された実測置とを用いてモデル１５の構築又は更新を実行する（ステップＢ６）。具体的には、動作特定部１２は、一般的な機械学習、統計分析等を行なうことによって、モデル１５の構築又は更新を実行する。 Next, the motion specifying unit 12 constructs or updates the model 15 by using the content of the motion specified in step B4 and the actually measured position acquired in step B5 (step B6). Specifically, the motion specifying unit 12 constructs or updates the model 15 by performing general machine learning, statistical analysis, and the like.

その後、作業時間予測部１３は、ステップＢ４で特定された動作の内容を、モデル１５に適用することによって、作業にかかる作業時間を予測する（ステップＢ７）。 After that, the work time prediction unit 13 predicts the work time required for the work by applying the content of the operation specified in step B4 to the model 15 (step B7).

［実施の形態２における効果］
以上のように、本実施の形態２によれば、実施の形態１と異なり、動作内容と時間との関係を予め設定しない場合であっても、過去の実測置を用いることで、作業時間を予測することができる。また、本実施の形態２によれば、作業者の作業時間の予測精度をよりいっそう向上できると考えられる。 [Effect in Embodiment 2]
As described above, according to the second embodiment, unlike the first embodiment, even if the relationship between the operation content and the time is not set in advance, the working time can be reduced by using the past actual measurement setting. Can be predicted. Further, according to the second embodiment, it is considered that the accuracy of predicting the working time of the worker can be further improved.

（物理構成）
ここで、実施の形態１及び２におけるプログラムを実行することによって、作業分析装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態１及び２における作業分析装置を実現するコンピュータの一例を示すブロック図である。 (Physical configuration)
Here, a computer that realizes a work analyzer by executing the programs of the first and second embodiments will be described with reference to FIG. FIG. 10 is a block diagram showing an example of a computer that realizes the work analyzer according to the first and second embodiments of the present invention.

図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。 As shown in FIG. 10, the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。 The CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations. The main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory). Further, the program according to the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. The program in the present embodiment may be distributed on the Internet connected via the communication interface 117.

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。 Further, specific examples of the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive. The input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse. The display controller 115 is connected to the display device 119 and controls the display on the display device 119.

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 The data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and another computer.

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。 Specific examples of the recording medium 120 include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic storage medium such as a flexible disk, or a CD-. Examples include optical storage media such as ROM (Compact Disk Read Only Memory).

なお、実施の形態１及び２における作業分析装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、作業分析装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。 The work analyzer according to the first and second embodiments can be realized by using the hardware corresponding to each part instead of the computer on which the program is installed. Further, the work analyzer may be partially realized by a program and the rest may be realized by hardware.

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記３０）によって表現することができるが、以下の記載に限定されるものではない。 A part or all of the above-described embodiments can be expressed by the following descriptions (Appendix 1) to (Appendix 30), but are not limited to the following descriptions.

（付記１）
作業者が対象物に対して行なう作業を分析するための装置であって、
前記作業者の手の位置を特定する第１の位置情報、及び前記対象物の位置を特定する第２の位置情報を取得する、位置情報取得部と、
前記第１の位置情報及び前記第２の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、動作特定部と、
を備えている、ことを特徴とする作業分析装置。 (Appendix 1)
A device for analyzing the work performed on an object by a worker.
A position information acquisition unit that acquires a first position information that specifies the position of the worker's hand and a second position information that specifies the position of the object.
An operation specifying unit that specifies the content of the operation performed by the worker in the work by using the first position information and the second position information.
A work analyzer characterized by being equipped with.

（付記２）
前記動作特定部が、前記第１の位置情報で特定した前記作業者の手の位置、前記第２の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、付記１に記載の作業分析装置。 (Appendix 2)
The worker's hand obtained from the position of the worker's hand specified by the first position information, the position of the object specified by the second position information, and both positions by the motion specifying unit. The work analyzer according to Appendix 1, wherein the content of the operation is specified as a movement operation and a final operation based on the distance between the object and the object.

（付記３）
前記動作特定部が、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
付記２に記載の作業分析装置。 (Appendix 3)
The operation specifying unit further acquires an identifier for identifying the object, collates the acquired identifier with a rule that defines the content of the final operation for each identifier, and specifies the content of the final operation.
The work analyzer according to Appendix 2.

（付記４）
前記動作特定部が、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
付記２に記載の作業分析装置。 (Appendix 4)
The operation specifying unit further specifies the content of the final operation according to the position of the object at the end of the operation.
The work analyzer according to Appendix 2.

（付記５）
前記動作特定部が、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
付記２に記載の作業分析装置。 (Appendix 5)
The motion specifying unit further identifies the content of the final motion based on the change in the position of the worker's hand and the change in the position of the object.
The work analyzer according to Appendix 2.

（付記６）
前記位置情報取得部が、前記作業者の顔の向きを特定する顔情報を更に取得し、
前記動作特定部が、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第１の位置情報で特定した前記作業者の手の位置と、前記第２の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
付記２に記載の作業分析装置。 (Appendix 6)
The position information acquisition unit further acquires face information that specifies the orientation of the worker's face.
The motion specifying unit is further specified by the orientation of the worker's face specified by the face information, the position of the worker's hand specified by the first position information, and the second position information. The content of the final operation is specified based on the position of the object.
The work analyzer according to Appendix 2.

（付記７）
前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
前記動作特定部が、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
付記２に記載の作業分析装置。 (Appendix 7)
The object has a function of recording a log of operations received from the worker during the work.
The operation specifying unit further acquires the operation log from the object, and specifies the content of the final operation based on the acquired operation log.
The work analyzer according to Appendix 2.

（付記８）
前記対象物が、当該対象物の状態を特定するセンサを有しており、
前記動作特定部が、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
付記２に記載の作業分析装置。 (Appendix 8)
The object has a sensor that identifies the state of the object.
The operation specifying unit further acquires sensor data output by the sensor from the object, and uses the acquired sensor data to specify the content of the operation.
The work analyzer according to Appendix 2.

（付記９）
予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、作業時間予測部を更に備えている、付記１〜８のいずれかに記載の作業分析装置。 (Appendix 9)
The work time prediction unit is further provided, which predicts the work time required for the work by collating the specified action contents with the relationship between the preset action contents and the time. 8. The work analyzer according to any one of 8.

（付記１０）
前記動作特定部が、更に、前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新し、
前記作業時間予測部が、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
付記９に記載の作業分析装置。 (Appendix 10)
The operation specifying unit further obtains an actually measured value from the start to the end of the operation, and defines the relationship between the content of the operation and the time by using the obtained measured value and the content of the specified operation. Build or update the model to
The work time prediction unit predicts the work time required for the work by applying the content of the specified operation to the model.
The work analyzer according to Appendix 9.

（付記１１）
作業者が対象物に対して行なう作業を分析するための方法であって、
（ａ）前記作業者の手の位置を特定する第１の位置情報、及び前記対象物の位置を特定する第２の位置情報を取得する、ステップと、
（ｂ）前記第１の位置情報及び前記第２の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を有する、ことを特徴とする作業分析方法。 (Appendix 11)
A method for analyzing the work that a worker does on an object.
(A) A step of acquiring a first position information for specifying the position of the worker's hand and a second position information for specifying the position of the object.
(B) A step of identifying the content of the operation performed by the worker in the work by using the first position information and the second position information.
A work analysis method characterized by having.

（付記１２）
前記（ｂ）のステップにおいて、前記第１の位置情報で特定した前記作業者の手の位置、前記第２の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、
付記１１に記載の作業分析方法。 (Appendix 12)
In the step (b), the worker determined from the position of the worker's hand specified by the first position information, the position of the object specified by the second position information, and both positions. Based on the distance between the hand and the object, the content of the motion is specified as a moving motion and a final motion.
The work analysis method according to Appendix 11.

（付記１３）
前記（ｂ）のステップにおいて、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
付記１２に記載の作業分析方法。 (Appendix 13)
In the step (b), further, an identifier for identifying the object is acquired, and the acquired identifier is collated with a rule that defines the content of the final operation for each identifier to specify the content of the final operation. To do
The work analysis method according to Appendix 12.

（付記１４）
前記（ｂ）のステップにおいて、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
付記１２に記載の作業分析方法。 (Appendix 14)
In the step (b), the content of the final operation is further specified according to the position of the object at the end of the operation.
The work analysis method according to Appendix 12.

（付記１５）
前記（ｂ）のステップにおいて、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
付記１２に記載の作業分析方法。 (Appendix 15)
In the step (b), the content of the final operation is further specified based on the change in the position of the worker's hand and the change in the position of the object.
The work analysis method according to Appendix 12.

（付記１６）
前記（ａ）のステップにおいて、前記作業者の顔の向きを特定する顔情報を更に取得し、
前記（ｂ）のステップにおいて、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第１の位置情報で特定した前記作業者の手の位置と、前記第２の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
付記１２に記載の作業分析方法。 (Appendix 16)
In the step (a), the face information for specifying the orientation of the worker's face is further acquired.
In the step (b), further, the orientation of the worker's face specified by the face information, the position of the worker's hand specified by the first position information, and the second position information. The content of the final operation is specified based on the position of the specified object.
The work analysis method according to Appendix 12.

（付記１７）
前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
前記（ｂ）のステップにおいて、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
付記１２に記載の作業分析方法。 (Appendix 17)
The object has a function of recording a log of operations received from the worker during the work.
In the step (b), the operation log is further acquired from the object, and the content of the final operation is specified based on the acquired operation log.
The work analysis method according to Appendix 12.

（付記１８）
前記対象物が、当該対象物の状態を特定するセンサを有しており、
前記（ｂ）のステップにおいて、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
付記１２に記載の作業分析方法。 (Appendix 18)
The object has a sensor that identifies the state of the object.
In the step (b), further, the sensor data output by the sensor is acquired from the object, and the acquired sensor data is used to specify the content of the operation.
The work analysis method according to Appendix 12.

（付記１９）
（ｃ）予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、ステップを更に有している、
付記１１〜１８のいずれかに記載の作業分析方法。 (Appendix 19)
(C) Further having a step of predicting the working time required for the work by collating the specified contents of the movement with the relationship between the contents of the preset movement and the time.
The work analysis method according to any one of Appendix 11-18.

（付記２０）
（ｄ）前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新する、ステップを更に有し、
前記（ｃ）のステップにおいて、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
付記１９に記載の作業分析方法。 (Appendix 20)
(D) Obtain the measured value from the start to the end of the operation, and use the obtained measured value and the specified operation content to construct a model that defines the relationship between the operation content and time. To update, have more steps,
By applying the content of the specified operation to the model in the step (c), the work time required for the work is predicted.
The work analysis method according to Appendix 19.

（付記２１）
コンピュータによって、作業者が対象物に対して行なう作業を分析するためのプログラムであって、
前記コンピュータに、
（ａ）前記作業者の手の位置を特定する第１の位置情報、及び前記対象物の位置を特定する第２の位置情報を取得する、ステップと、
（ｂ）前記第１の位置情報及び前記第２の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を実行させる、プログラム。 (Appendix 21)
A program for analyzing the work performed by a worker on an object using a computer.
On the computer
(A) A step of acquiring a first position information for specifying the position of the worker's hand and a second position information for specifying the position of the object.
(B) A step of specifying the content of the operation performed by the worker in the work by using the first position information and the second position information.
A program that runs.

（付記２２）
前記（ｂ）のステップにおいて、前記第１の位置情報で特定した前記作業者の手の位置、前記第２の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、
付記２１に記載のプログラム。 (Appendix 22)
In the step (b), the worker determined from the position of the worker's hand specified by the first position information, the position of the object specified by the second position information, and both positions. Based on the distance between the hand and the object, the content of the motion is specified as a moving motion and a final motion.
The program described in Appendix 21.

（付記２３）
前記（ｂ）のステップにおいて、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
付記２２に記載のプログラム。 (Appendix 23)
In the step (b), further, an identifier for identifying the object is acquired, and the acquired identifier is collated with a rule that defines the content of the final operation for each identifier to specify the content of the final operation. To do
The program described in Appendix 22.

（付記２４）
前記（ｂ）のステップにおいて、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
付記２２に記載のプログラム。 (Appendix 24)
In the step (b), the content of the final operation is further specified according to the position of the object at the end of the operation.
The program described in Appendix 22.

（付記２５）
前記（ｂ）のステップにおいて、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
付記２２に記載のプログラム。 (Appendix 25)
In the step (b), the content of the final operation is further specified based on the change in the position of the worker's hand and the change in the position of the object.
The program described in Appendix 22.

（付記２６）
前記（ａ）のステップにおいて、前記作業者の顔の向きを特定する顔情報を更に取得し、
前記（ｂ）のステップにおいて、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第１の位置情報で特定した前記作業者の手の位置と、前記第２の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
付記２２に記載のプログラム。 (Appendix 26)
In the step (a), the face information for specifying the orientation of the worker's face is further acquired.
In the step (b), further, the orientation of the worker's face specified by the face information, the position of the worker's hand specified by the first position information, and the second position information. The content of the final operation is specified based on the position of the specified object.
The program described in Appendix 22.

（付記２７）
前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
前記（ｂ）のステップにおいて、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
付記２２に記載のプログラム。 (Appendix 27)
The object has a function of recording a log of operations received from the worker during the work.
In the step (b), the operation log is further acquired from the object, and the content of the final operation is specified based on the acquired operation log.
The program described in Appendix 22.

（付記２８）
前記対象物が、当該対象物の状態を特定するセンサを有しており、
前記（ｂ）のステップにおいて、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
付記２２に記載のプログラム。 (Appendix 28)
The object has a sensor that identifies the state of the object.
In the step (b), further, the sensor data output by the sensor is acquired from the object, and the acquired sensor data is used to specify the content of the operation.
The program described in Appendix 22.

（付記２９）
前記コンピュータに、
（ｃ）予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、ステップを実行させる、
付記２１〜２８のいずれかに記載のプログラム。 (Appendix 29)
On the computer
(C) By collating the specified content of the operation with the relationship between the content of the preset operation and the time, the work time required for the work is predicted, and the step is executed.
The program according to any of Appendix 21-28.

（付記３０）
前記コンピュータに、
（ｄ）前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新する、ステップを実行させ、
前記（ｃ）のステップにおいて、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
付記２９に記載のプログラム。 (Appendix 30)
On the computer
(D) Obtain the measured value from the start to the end of the operation, and use the obtained measured value and the specified operation content to construct a model that defines the relationship between the operation content and time. Update, run steps,
By applying the content of the specified operation to the model in the step (c), the work time required for the work is predicted.
The program described in Appendix 29.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the structure and details of the present invention.

この出願は、２０１６年６月２３日に出願された日本出願特願２０１６−１２４８７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2016-124875 filed on June 23, 2016 and incorporates all of its disclosures herein.

以上のように、本発明における作業分析装置によれば、人手によることなく、作業現場における作業者の動作の分析を行なうことができる。本発明は、工場等の生産現場、機器の操作が必要な現場等に有用である。 As described above, according to the work analyzer of the present invention, it is possible to analyze the movement of the worker at the work site without manual labor. The present invention is useful at production sites such as factories, sites where equipment operation is required, and the like.

１０ 作業分析装置（実施の形態１）
１１ 位置情報取得部
１２ 動作特定部
１３ 作業時間予測部
１４ 記憶部
１５ モデル
２０ デプスセンサ
３０ デジタルカメラ
４０ 端末装置
５０ 作業者
６０ 対象物
６１ 作業台
７０ 作業分析装置（実施の形態２）
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス 10 Work analyzer (Embodiment 1)
11 Position information acquisition unit 12 Operation identification unit 13 Work time prediction unit 14 Storage unit 15 Model 20 Depth sensor 30 Digital camera 40 Terminal device 50 Worker 60 Object 61 Workbench 70 Work analysis device (Embodiment 2)
110 computer 111 CPU
112 Main memory 113 Storage device 114 Input interface 115 Display controller 116 Data reader / writer 117 Communication interface 118 Input device 119 Display device 120 Recording medium 121 Bus

Claims (10)

作業者が対象物に対して行なう作業を分析するための装置であって、
前記作業者を撮影するデプスセンサから出力された深度付の画像データである第１の位置情報と、前記対象物を撮影するデジタルカメラから出力された画像データである第２の位置情報とを取得する、位置情報取得手段と、
前記第１の位置情報から前記作業者の手の位置を特定し、前記第２の位置情報から前記対象物の位置を特定し、特定された前記作業者の手の位置と特定された前記対象物の位置とに基づいて、前記作業において前記作業者が行った動作の内容を特定する、動作特定手段と、
を備える作業分析装置。 A device for analyzing the work performed on an object by a worker.
Acquires the first position information which is the image data with depth output from the depth sensor for photographing the worker and the second position information which is the image data output from the digital camera for photographing the object. , Location information acquisition means,
The position of the worker's hand is specified from the first position information, the position of the object is specified from the second position information, and the specified target is the position of the worker's hand. An operation specifying means for specifying the content of an operation performed by the worker in the work based on the position of an object, and
A work analyzer equipped with. 前記動作特定手段は、特定された前記作業者の手の位置と特定された前記対象物の位置とに基づいて、前記作業者の手と前記対象物との距離を算出し、算出された前記距離に基づいて前記作業において前記作業者が行った動作の内容を特定する
請求項１に記載の作業分析装置。 The motion specifying means calculates the distance between the worker's hand and the object based on the specified position of the worker's hand and the specified position of the object, and the calculated distance is calculated. The work analyzer according to claim 1, wherein the content of the operation performed by the worker in the work is specified based on the distance. 前記動作特定手段は、前記作業者の四肢の各部位の座標と深度とに基づいて前記第１の位置情報から前記作業者の手の位置を特定する
請求項１又は２に記載の作業分析装置。 The work analyzer according to claim 1 or 2, wherein the motion specifying means identifies the position of the worker's hand from the first position information based on the coordinates and depth of each part of the worker's limbs. .. 前記動作特定手段は、前記対象物に付与されたマーカに基づいて前記第２の位置情報から前記対象物の位置を特定する
請求項１から３のいずれかに記載の作業分析装置。 The work analyzer according to any one of claims 1 to 3, wherein the motion specifying means identifies the position of the object from the second position information based on a marker given to the object. 前記動作特定手段は、前記作業者の手の位置の変化と前記対象物の位置の変化とに基づいて、前記作業において前記作業者が行った動作の内容を特定する
請求項１から４のいずれかに記載の作業分析装置。 The motion specifying means is any of claims 1 to 4 for specifying the content of the motion performed by the worker in the work based on the change in the position of the worker's hand and the change in the position of the object. Work analyzer described in Crab. 作業者が対象物に対して行なう作業を分析するための方法であって、
前記作業者を撮影するデプスセンサから出力された深度付の画像データである第１の位置情報と、前記対象物を撮影するデジタルカメラから出力された画像データである第２の位置情報とを取得し、
前記第１の位置情報から前記作業者の手の位置を特定し、前記第２の位置情報から前記対象物の位置を特定し、特定された前記作業者の手の位置と特定された前記対象物の位置とに基づいて、前記作業において前記作業者が行った動作の内容を特定する
作業分析方法。 A method for analyzing the work that a worker does on an object.
Acquires the first position information which is the image data with depth output from the depth sensor for photographing the worker and the second position information which is the image data output from the digital camera for photographing the object. ,
The position of the worker's hand is specified from the first position information, the position of the object is specified from the second position information, and the specified target is the position of the worker's hand. A work analysis method for specifying the content of an operation performed by the worker in the work based on the position of an object. 作業者が対象物に対して行なう作業を分析するためのプログラムであって、
コンピュータに、
前記作業者を撮影するデプスセンサから出力された深度付の画像データである第１の位置情報と、前記対象物を撮影するデジタルカメラから出力された画像データである第２の位置情報とを取得する、位置情報取得処理と、
前記第１の位置情報から前記作業者の手の位置を特定し、前記第２の位置情報から前記対象物の位置を特定し、特定された前記作業者の手の位置と特定された前記対象物の位置とに基づいて、前記作業において前記作業者が行った動作の内容を特定する、動作特定処理と、
を実行させる命令を含むプログラム。 A program for analyzing the work performed by a worker on an object.
On the computer
Acquires the first position information which is the image data with depth output from the depth sensor for photographing the worker and the second position information which is the image data output from the digital camera for photographing the object. , Location information acquisition processing,
The position of the worker's hand is specified from the first position information, the position of the object is specified from the second position information, and the specified target is the position of the worker's hand. An operation specifying process that specifies the content of an operation performed by the worker in the operation based on the position of an object, and
A program that contains instructions to execute. 前記動作特定処理は、特定された前記作業者の手の位置と特定された前記対象物の位置とに基づいて、前記作業者の手と前記対象物との距離を算出し、算出された前記距離に基づいて前記作業において前記作業者が行った動作の内容を特定する
請求項７に記載のプログラム。 In the motion specifying process, the distance between the worker's hand and the object is calculated based on the specified position of the worker's hand and the specified position of the object, and the calculated distance is calculated. The program according to claim 7, wherein the content of the operation performed by the worker in the work is specified based on the distance. 前記動作特定処理は、前記作業者の四肢の各部位の座標と深度とに基づいて前記第１の位置情報から前記作業者の手の位置を特定する
請求項７又は８に記載のプログラム。 The program according to claim 7 or 8, wherein the motion specifying process identifies the position of the worker's hand from the first position information based on the coordinates and depth of each part of the worker's limbs. 前記動作特定処理は、前記対象物に付与されたマーカに基づいて前記第２の位置情報から前記対象物の位置を特定する
請求項７から９のいずれかに記載のプログラム。
The program according to any one of claims 7 to 9, wherein the operation specifying process specifies the position of the object from the second position information based on the marker given to the object.
JP2020116175A 2016-06-23 2020-07-06 Work analyzer, work analysis method, and program Active JP7010542B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016124875 2016-06-23
JP2016124875 2016-06-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018523706A Division JP6733995B2 (en) 2016-06-23 2017-06-23 Work analysis device, work analysis method, and program

Publications (2)

Publication Number Publication Date
JP2020177680A true JP2020177680A (en) 2020-10-29
JP7010542B2 JP7010542B2 (en) 2022-01-26

Family

ID=60783904

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018523706A Active JP6733995B2 (en) 2016-06-23 2017-06-23 Work analysis device, work analysis method, and program
JP2020116175A Active JP7010542B2 (en) 2016-06-23 2020-07-06 Work analyzer, work analysis method, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018523706A Active JP6733995B2 (en) 2016-06-23 2017-06-23 Work analysis device, work analysis method, and program

Country Status (2)

Country Link
JP (2) JP6733995B2 (en)
WO (1) WO2017222070A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7254546B2 (en) * 2018-02-27 2023-04-10 キヤノン株式会社 Information processing device, information processing method and program
JP7252593B2 (en) * 2018-11-22 2023-04-05 株式会社ビー・ナレッジ・デザイン Information processing system, information processing method and program
JP7180886B2 (en) 2020-02-18 2022-11-30 Ｎｅｃプラットフォームズ株式会社 Work availability measuring device and work availability measuring method
CN116745808A (en) * 2021-01-28 2023-09-12 三菱电机株式会社 Job estimation device, job estimation method, and job estimation program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310617A (en) * 2001-04-18 2002-10-23 Matsushita Electric Works Ltd Work analysis system and method therefor
JP2003256756A (en) * 2002-03-05 2003-09-12 Osaka Gas Co Ltd Work space diagnosis method and device therefor
JP2009015809A (en) * 2007-06-07 2009-01-22 Ricoh Co Ltd Operation analysis device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4932048B1 (en) * 2011-07-21 2012-05-16 内浜化成株式会社 Work support system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310617A (en) * 2001-04-18 2002-10-23 Matsushita Electric Works Ltd Work analysis system and method therefor
JP2003256756A (en) * 2002-03-05 2003-09-12 Osaka Gas Co Ltd Work space diagnosis method and device therefor
JP2009015809A (en) * 2007-06-07 2009-01-22 Ricoh Co Ltd Operation analysis device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井坂英也 他: "情報制御システム", 日立評論, vol. 第98巻第３号, JPN6021028428, 1 March 2016 (2016-03-01), JP, pages 37 - 40, ISSN: 0004554420 *

Also Published As

Publication number Publication date
JP6733995B2 (en) 2020-08-05
WO2017222070A1 (en) 2017-12-28
JP7010542B2 (en) 2022-01-26
JPWO2017222070A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
JP7010542B2 (en) Work analyzer, work analysis method, and program
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
CN104936748B (en) Free-hand robot path teaching
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
CN108604393B (en) Information processing system, information processing device, information processing method, and computer-readable storage medium
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
CN104156068B (en) Virtual maintenance interaction operation method based on virtual hand interaction feature layer model
CN110114194B (en) System and method for determining a grip position for gripping an industrial object with two hands
KR101631011B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
JP2011110620A (en) Method of controlling action of robot, and robot system
JP6629556B2 (en) Process composition support device and process composition support method
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
US10296096B2 (en) Operation recognition device and operation recognition method
JP7114885B2 (en) Worksite monitoring devices and programs
US20200125839A1 (en) Method and system for automatic repetitive step and cycle detection for manual assembly line operations
US20160174897A1 (en) Sensor Embedded Wearable Technology Glove
JP6075888B2 (en) Image processing method, robot control method
CN110456902A (en) It is mobile to control the skeleton pattern in computer system to track user
KR20160076488A (en) Apparatus and method of measuring the probability of muscular skeletal disease
WO2021195916A1 (en) Dynamic hand simulation method, apparatus and system
Tran et al. Assessing human worker performance by pattern mining of Kinect sensor skeleton data
JP7376318B2 (en) annotation device
KR20200032990A (en) Method for modelling virtual hand on real hand and apparatus therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220106

R150 Certificate of patent or registration of utility model

Ref document number: 7010542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150