JP2013054703A - Work support system - Google Patents

Work support system Download PDF

Info

Publication number
JP2013054703A
JP2013054703A JP2011194394A JP2011194394A JP2013054703A JP 2013054703 A JP2013054703 A JP 2013054703A JP 2011194394 A JP2011194394 A JP 2011194394A JP 2011194394 A JP2011194394 A JP 2011194394A JP 2013054703 A JP2013054703 A JP 2013054703A
Authority
JP
Japan
Prior art keywords
worker
work
state
supply
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011194394A
Other languages
Japanese (ja)
Other versions
JP5641243B2 (en
Inventor
Kazuhiro Kosuge
一弘 小菅
Jun Kinugawa
潤 衣川
Yusuke Sugawara
雄介 菅原
Yasushi Tanaka
泰史 田中
Yuta Kawai
雄太 川合
Hironori Sugiyama
博紀 杉山
Akiyoshi Ito
昭芳 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Toyota Motor East Japan Inc
Original Assignee
Tohoku University NUC
Toyota Motor East Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Toyota Motor East Japan Inc filed Critical Tohoku University NUC
Priority to JP2011194394A priority Critical patent/JP5641243B2/en
Publication of JP2013054703A publication Critical patent/JP2013054703A/en
Application granted granted Critical
Publication of JP5641243B2 publication Critical patent/JP5641243B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

PROBLEM TO BE SOLVED: To provide a work support system, when a worker shifts to a next work earlier than a predetermined time in performing each predetermined work, eliminating a time loss of the worker in a support operation and actuating supply means concurrently with the movement of the worker, thus improving working efficiency.SOLUTION: The work support system includes: prediction means 10 for predicting behavior of a worker using Markov model generated from moving data of the worker; and supply means 20 for supplying the worker with components, tools, and other necessary objects on the basis of the behavior of the worker that has been predicted by the prediction means 10.

Description

本発明は、一連の作業を行う作業者に対して現在の作業状況を予測し、その予測した結果に基いて工具や部品などの必要な物品を作業者の手元に供給する、作業支援システムに関する。   The present invention relates to a work support system that predicts a current work situation for a worker who performs a series of work, and supplies necessary items such as tools and parts to a worker's hand based on the predicted result. .

生産効率の向上を目指した産業用ロボットによる工場の自動化が進みつつある。ところが、工場内には、ロボットによるハンドリングが困難な部品を組み付ける作業や、巧みな力加減が要求される作業や、状況判断が必要な作業など、ロボットが行うことの難しい作業が数多く存在するため、人手が必要な作業が未だに存在し、自動化が行われていない工程が数多く残されている。   Factory automation with industrial robots aimed at improving production efficiency is progressing. However, there are many tasks in the factory that are difficult for robots to perform, such as assembling parts that are difficult to handle by robots, tasks that require skillful adjustment, and tasks that require situational judgment. However, there are still many processes that require human intervention and are not automated.

そのような例として自動車の組立工程が挙げられる。こういった工程では、作業者は車体への部品の組み付け作業の他に、ボルト等の組付部品の選定、部品を組み付けるための工具の取り出しを行わなければならない。部品や工具を保管して収納されているワゴン台車は作業空間端に位置するため、作業者は作業場所とワゴン台車との間を、部品の供給と工具の交換のために行き来する必要がある。このように、作業者は本来の組み付け作業以外にその作業に付随する作業を行わなければならず、作業者はこれらの作業に多くの時間と手間をかけることを余儀なくされている。   An example of this is an automobile assembly process. In such a process, the worker must select an assembly part such as a bolt and take out a tool for assembling the part, in addition to the part assembly work on the vehicle body. Since wagon carts that store and store parts and tools are located at the edge of the work space, workers must move between the work site and the wagon cart to supply parts and change tools. . In this way, the worker must perform work associated with the work in addition to the original assembly work, and the worker is forced to spend a lot of time and effort on these work.

そこで、本発明者らは、作業に応じて必要な工具や部品をロボットアームにより作業者の手元へ配送する作業支援システムを研究開発してきた(例えば、特許文献1、非特許文献1)。以下、自動車の組立工程を例にとって説明する。   Therefore, the present inventors have researched and developed a work support system that delivers necessary tools and parts to a worker's hand using a robot arm according to the work (for example, Patent Document 1 and Non-Patent Document 1). Hereinafter, the assembly process of an automobile will be described as an example.

作業者は多くの作業を行う必要があり、各作業は作業工程表に作業内容毎にまとめられている。作業工程表には、各作業における車体に対する位置で指定される作業場所、その作業に必要な部品や工具なども定められている。よって、作業者は或る車体一台分の作業内容を決められた時間内にこなし、次の車体への組付作業に移行する。   The worker needs to perform a lot of work, and each work is summarized for each work content in the work process chart. The work process table also defines a work place designated by a position with respect to the vehicle body in each work, parts and tools necessary for the work, and the like. Therefore, the worker finishes the work contents for one vehicle body within a predetermined time, and shifts to the assembly work to the next vehicle body.

作業者は作業工程表に忠実に作業を行うものの実際には作業者によって差異がある。そのため作業者とロボットの協調作業を実現させるためにはロボットは作業者に応じて部品や工具の供給時間及び供給場所を適応的に変化させて部品や工具を手元に届ける必要がある。   Although workers work faithfully in the work schedule, there are actually differences among workers. Therefore, in order to realize cooperative work between the worker and the robot, it is necessary for the robot to deliver the component and tool to the hand by adaptively changing the supply time and supply location of the component and tool according to the worker.

そこで、本発明者らは、作業者の運動の統計的解析結果を基に作業者に応じてロボットがサポートすることを次のように考えた。このシステムでは、車体座標系を一定幅のメッシュで離散化し、各セル内で作業者が計測された割合を3種類の統計的なモデルを用いて表す。   Therefore, the present inventors have considered that the robot supports according to the worker based on the statistical analysis result of the worker's movement as follows. In this system, the vehicle body coordinate system is discretized with a fixed-width mesh, and the ratio of the workers measured in each cell is expressed using three types of statistical models.

統計的モデルの一つ目は、各作業において作業者がどの場所(セル)で作業を行っている割合が高いのかを表した確率(「位置に対する作業者の存在率」と呼ぶ。)を用いて、各作業に対してそれぞれの作業を行う可能性が高い場所(セル)を示す。これにより、部品や工具の供給位置を決定する。   The first statistical model uses a probability (referred to as “the presence rate of the worker with respect to the position”) that expresses in which place (cell) the worker is working in each work. Thus, a place (cell) that is highly likely to perform each work is shown. Thereby, the supply position of components or tools is determined.

統計的モデルの二つ目は、供給時刻を決定するために、ある時刻において各作業を行っている確率(「時間に対する作業の実行率」と呼ぶ。)を求める。   The second statistical model obtains the probability of performing each work at a certain time (referred to as “work execution rate with respect to time”) in order to determine the supply time.

統計的モデルの三つ目は、作業者の位置からどの作業を行っている可能性が高いのかを表す確率(「位置に対する作業の実行率」と呼ぶ。)を用いて、その時の作業者の位置から作業内容を推定し、作業進度の推定を行っている。   The third statistical model uses the probability (referred to as “work execution rate for position”) that indicates which work is likely to be performed from the position of the worker. The work content is estimated from the position, and the work progress is estimated.

この3つ目の統計的モデルを用いることにより、次の供給時刻よりも早く作業者が次の作業場所へ移動した場合には、作業者の位置から次の作業場所へ移動したことを認識し、供給時刻を修正し、修正前の供給時刻よりも早く、作業者の作業進度に合わせて作業者へ部品や工具の供給を行う。   By using this third statistical model, when the worker moves to the next work place earlier than the next supply time, it recognizes that the worker has moved from the worker's position to the next work place. The supply time is corrected, and parts and tools are supplied to the worker in accordance with the work progress of the worker earlier than the supply time before the correction.

このシステムでは、作業進度に合わせて、供給時刻について実時間の修正を行っている。これにより、作業者の作業進度が普段よりも早いペースで進んでいた場合、もともとの供給時刻よりも時間を前倒して作業者のもとへ部品や工具を供給することができる。   In this system, the actual time is corrected for the supply time in accordance with the work progress. As a result, when the work progress of the worker is proceeding at a faster pace than usual, the parts and tools can be supplied to the worker ahead of the original supply time.

WO2010/134603A1WO2010 / 134603A1

田中泰史、衣川潤、川合雄太、菅原雄介、小菅一弘、「生産現場における人間協調・共存型作業支援パートナロボット‐PaDY‐、−第6報 パーティクルフィルタを利用した作業者の位置推定手法の提案−」、第11回計測自動制御学会システムインテグレーション部門講演会予稿集、1E1-2、宮城県、2010年12月Yasushi Tanaka, Jun Kinukawa, Yuta Kawai, Yusuke Hagiwara, Kazuhiro Ogura, “Human Cooperation / Coexistence Work Support Partner Robot at Production Site -PaDY-,-6th Report: Proposal of Worker Position Estimation Method Using Particle Filters- ”Proceedings of the 11th Society of Instrument and Control Engineers System Integration Division, 1E1-2, Miyagi, December 2010

特許文献1に開示したシステムでは、3つの統計的モデルを用いて作業者の作業進度推定を行い、作業者に合わせた作業支援を行うことが可能となる。しかしながら、供給時刻の修正は、「位置に対する作業の実行率」を利用して、作業者の存在する場所から作業進度を推定することで実現している。そのため、この方法では、次の作業を行う場所へ作業者が移動し終える瞬間まで作業者が次の作業に移ったことが推定できない。つまり、作業者の移動終了直後にロボットアームが動作し始めるため、作業者が本来部品や工具を受け取りたい時刻に対して、ロボットアームが供給場所に移動する時間の分だけ作業者は待たなければならない。   In the system disclosed in Patent Document 1, it is possible to estimate the work progress of the worker using three statistical models and to perform work support in accordance with the worker. However, the correction of the supply time is realized by estimating the work progress from the place where the worker exists using the “work execution rate with respect to the position”. Therefore, in this method, it cannot be estimated that the worker has moved to the next work until the moment when the worker finishes moving to the place where the next work is performed. In other words, since the robot arm starts to operate immediately after the movement of the worker is completed, the worker must wait for the time for the robot arm to move to the supply location with respect to the time at which the worker originally wants to receive the parts and tools. Don't be.

そこで、本発明では、作業者が予め定められた各作業を行う際に所定の時間よりも早く次の作業に移った場合に支援動作における作業者のタイムロスをなくし、作業者の移動に合わせてロボットアームその他の供給手段を作動させて作業効率を向上させる、作業支援システムを提供することを目的とする。   Therefore, in the present invention, when the worker moves to the next work earlier than a predetermined time when performing each predetermined work, the time loss of the worker in the support operation is eliminated, and the movement of the worker is adjusted. An object of the present invention is to provide a work support system that operates a robot arm or other supply means to improve work efficiency.

本発明者らは作業支援システムを研究開発してきた経緯を踏まえ、繰り返し作業を行う作業者の振る舞いを予測する手法として、状態遷移確率を有するマルコフモデルを採用することを検討した。作業者は組立工程のように毎回同じ作業を繰り返すが、作業位置、作業時間などに対して曖昧さを伴って作業を行っている。複数の作業を手順通りに行うことから作業者の状態(例えば位置など)は作業が進むにつれて曖昧さを伴いながら別の状態に遷移していくと考えられるからである。   Based on the history of research and development of work support systems, the present inventors examined adopting a Markov model having a state transition probability as a technique for predicting the behavior of a worker who performs repetitive work. The worker repeats the same work every time as in the assembly process, but works with ambiguity with respect to the work position, work time, and the like. This is because the operator's state (for example, position) is considered to change to another state with ambiguity as the operation proceeds because a plurality of operations are performed according to the procedure.

上記目的を達成するために、本発明の作業支援システムは、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段と、予測手段によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段と、を備える。   In order to achieve the above object, the work support system of the present invention uses a Markov model generated from worker movement data to predict the worker's behavior, and the worker's behavior predicted by the prediction unit. And a supply means for supplying parts, tools, and other necessary items to the worker.

具体的な構成の一つとして、予測手段が、マルコフモデルから、任意の状態変数のままである期間(以下、「状態継続時間長」と呼ぶ。)の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する。   As one specific configuration, the prediction means calculates an expected value of a period (hereinafter referred to as “state duration length”) that remains an arbitrary state variable from the Markov model, and The movement trajectory of the worker is predicted by determining the movement destination when the state duration time elapses.

好ましくは、予測手段が、マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第1計算処理部と、第1計算処理部で求めた各作業毎の作業者の状態の期待値から、作業者が現在行っている作業を推定する第2計算処理部と、マルコフモデルから、任意の状態変数のままである期間(以下、「状態継続時間長」と呼ぶ。)の期待値を計算すること、その状態継続時間長が経過したときの移動先を決定することによって、予測される作業者の移動軌道を計算する第3計算処理部と、第2計算処理部で推定した現在の作業と第3計算処理部で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める第4計算処理部と、を備える。   Preferably, the prediction means extracts a state variable having a low state transition probability from the Markov model, and obtains an expected value of the worker's state for each work from the extracted state variable distribution; From the expected value of the worker's state for each operation obtained by the first calculation processing unit, the second calculation processing unit that estimates the current work performed by the worker and the Markov model By calculating the expected value for a certain period (hereinafter referred to as “state duration length”) and determining the destination when the state duration length has elapsed, the predicted movement trajectory of the worker is determined. Based on the third calculation processing unit to be calculated, the current operation estimated by the second calculation processing unit and the predicted movement trajectory calculated by the third calculation processing unit, the arrival time and the next operation to move to the next work location Fourth calculation to find the predicted trajectory to a place It includes a processing section, a.

さらに、第4計算処理部で求めたものであって次の作業場所へ移動する到達時間及び次の作業場所への予測移動軌道に基いて、供給手段の供給タイミング及び供給軌道を計算する供給軌道計算手段を備える。   Further, the supply trajectory calculated by the fourth calculation processing unit and for calculating the supply timing and the supply trajectory of the supply means based on the arrival time to move to the next work place and the predicted movement trajectory to the next work place A calculation means is provided.

具体的な別の構成として、予測手段が、マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第1計算処理部を備え、さらに、第1計算処理部で求めた期待値であって各作業毎の作業者が存在する位置の期待値から、供給位置を決定する供給位置決定手段を備える。   As another specific configuration, the predicting means extracts a state variable having a low state transition probability from the Markov model, and obtains an expected value of the worker's state for each work from the extracted state variable distribution. And a supply position determining means for determining a supply position from an expected value obtained by the first calculation processing unit and an expected value of a position where an operator for each operation exists.

本発明によれば、予測手段が、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測するので、供給手段がその予測した作業者の行動に基いて部品、工具その他の必要な物品を供給する。よって、作業者が予め定められた各作業を行った際に所定の時間よりも早く次の作業に移った場合であっても、次の作業に移る時刻は次の作業に移る前に予測できるので作業者のタイムロスを生じることなく、作業者の移動に併せて必要な物品を供給することができる。   According to the present invention, since the predicting means predicts the worker's behavior using the Markov model generated from the movement data of the worker, the supply means is based on the predicted operator's behavior, such as parts, tools, and the like. Supply the necessary items. Therefore, even when the worker performs each predetermined task and moves to the next task earlier than a predetermined time, the time to move to the next task can be predicted before moving to the next task. Therefore, it is possible to supply necessary articles as the worker moves without causing the worker to lose time.

さらに、具体的な構成によれば、作業者の移動データからマルコフモデルを生成し、作業者が新しい状態(例えばセル)に入る毎に移動軌道を予測する。作業者の移動先や移動時間を早い段階で予測し、次の作業の開始時刻と場所を予測して供給動作軌道を生成することで、作業者の作業の進捗から遅れることなく部品や工具の供給を行う。これにより、作業者が、特許文献1に開示されている手法で作成された作業者モデルに基づいて決定された供給時間より、早く作業を終える場合にも、次の作業場所に移動する前に、次の作業場所に移動が完了し、次の作業を開始する時刻と場所を予測し、これに基づきロボットアーム等の供給手段を駆動する。よって、作業者の作業の進捗から遅れることなく部品や工具の供給を行うことができ、作業効率が向上する。また、作業者の移動軌道を予測することで作業者との衝突リスクが低減されたロボットアームの軌道生成が可能となる。   Further, according to a specific configuration, a Markov model is generated from the movement data of the worker, and the movement trajectory is predicted every time the worker enters a new state (for example, a cell). By predicting the worker's destination and travel time at an early stage, predicting the start time and location of the next work and generating the supply operation trajectory, the parts and tools can be moved without delay from the worker's work progress. Supply. Thus, even when the worker finishes work earlier than the supply time determined based on the worker model created by the method disclosed in Patent Document 1, before moving to the next work place When the movement to the next work place is completed, the time and place where the next work is started are predicted, and the supply means such as the robot arm is driven based on this. Therefore, parts and tools can be supplied without delay from the progress of the work of the worker, and work efficiency is improved. Also, by predicting the movement trajectory of the worker, it is possible to generate a robot arm trajectory with reduced risk of collision with the worker.

本発明の実施形態に係る作業支援システムのブロック構成図である。It is a block block diagram of the work assistance system which concerns on embodiment of this invention. 作業空間の離散化を説明するための図である。It is a figure for demonstrating discretization of a work space. マルコフモデル生成手段におけるマルコフモデルの更新を模式的に示す図である。It is a figure which shows typically the update of the Markov model in a Markov model production | generation means. 作業者の移動軌道予測に関する説明図である。It is explanatory drawing regarding a worker's movement track | orbit prediction.

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本発明の実施形態に係る作業支援システム1は、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段10と、予測手段10によって予測した作業者の行動に基づいて、作業者に対して部品、工具その他の必要な物品を供給する供給手段20とを有する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
The work support system 1 according to the embodiment of the present invention is based on a prediction unit 10 that predicts a worker's behavior using a Markov model generated from the movement data of the worker, and a worker's behavior predicted by the prediction unit 10. Supply means 20 for supplying parts, tools and other necessary articles to the operator.

この作業支援システム1においては、先ず、予測手段10により、マルコフモデルを用いて作業者の一連の作業中の運動をモデル化し、そのモデルに基いて、作業毎の作業者位置、作業者の予測軌道、次の作業の開始時刻などを予測すること、及び、そのモデルに基いて現在の位置を特定すること、のうち一つ以上を行う。このように予測手段10により予測、推定した結果のうち、一又は複数の結果に基いて、供給手段20を制御して工具や部品その他の必要な物品を作業者に供給する。   In this work support system 1, first, the predicting means 10 models a worker's movement during a series of work using a Markov model, and based on the model, the worker position and the worker's prediction for each work. One or more of predicting the trajectory, the start time of the next operation, etc., and specifying the current position based on the model are performed. In this way, based on one or a plurality of results predicted and estimated by the prediction unit 10, the supply unit 20 is controlled to supply tools, parts, and other necessary articles to the operator.

作業支援システム1には、さらに、作業者の位置を計測する計測手段21と、計測手段21から入力された結果に基いてパーティクルフィルタなどを用いて作業者の位置を推定する作業者位置推定手段22と、予測手段10から入力された値であって作業に対する作業者の存在率の期待値に基いて供給位置を決定するための供給位置決定手段23と、供給手段20による供給タイミングの決定及び供給軌道の計算を行って供給手段20に対して供給軌道を出力する供給軌道計算手段24と、を備える。   The work support system 1 further includes a measuring unit 21 that measures the position of the worker, and a worker position estimating unit that estimates the position of the worker using a particle filter or the like based on a result input from the measuring unit 21. 22, a value input from the prediction means 10, a supply position determination means 23 for determining a supply position based on an expected value of the presence rate of the worker for the work, and determination of supply timing by the supply means 20 Supply trajectory calculation means 24 for calculating the supply trajectory and outputting the supply trajectory to the supply means 20.

作業者の作業空間が状態変数として複数のセルに区分されていることを前提にして説明すると、予測手段10は、作業者の移動データからマルコフモデルを生成し必要に応じて更新を行い、そのマルコフモデルを用いて作業者が次の作業場所へ移動する到達時間及び移動軌道などを予測するものである。   Assuming that the worker's workspace is divided into a plurality of cells as state variables, the prediction means 10 generates a Markov model from the worker's movement data and updates it as necessary. The Markov model is used to predict the arrival time, movement trajectory, and the like for the worker to move to the next work location.

ここで、マルコフモデルとは、マルコフ連鎖で記述される確率モデルであり、マルコフ連鎖とは、状態を離散的に表し未来の状態を現在の状態のみによって決定しようとする確率的手法の一つである。   Here, the Markov model is a probabilistic model described by a Markov chain, and the Markov chain is one of the probabilistic methods for discretely representing states and determining the future state only by the current state. is there.

作業者の作業空間が状態変数として複数のセルに分割されている場合を例に挙げて、マルコフモデルをどのように生成するかを説明する。
図2は、作業空間の離散化を説明するための図である。図2に示すように、状態変数が作業空間を離散化して定義される。例えば、作業空間が4m×8mの空間とすると32×64個のセルに区分し、各セルにセル番号を付してこれを状態変数として定義する。そして、或る時刻に或るセルに作業者が存在するとして現在のセルに留まるか隣接する他のセルに移動するかを状態遷移確率行列で記述する。この状態遷移確率行列を作成すること又は更新することをマルコフモデルの生成、更新と呼ぶ。この状態遷移確率行列に基いて作業者の移動軌道を予測する。
An example of how a Markov model is generated will be described by taking as an example a case where the worker's workspace is divided into a plurality of cells as state variables.
FIG. 2 is a diagram for explaining the discretization of the work space. As shown in FIG. 2, state variables are defined by discretizing the work space. For example, if the work space is a 4 m × 8 m space, it is divided into 32 × 64 cells, each cell is given a cell number, and this is defined as a state variable. Then, it is described in a state transition probability matrix whether the worker exists in a certain cell at a certain time and whether the worker stays in the current cell or moves to another adjacent cell. Creating or updating this state transition probability matrix is called Markov model generation / update. The movement trajectory of the worker is predicted based on this state transition probability matrix.

作業者の位置については、計測手段21によって、作業者の膝上の高さに設定されたLaser Range Finder(LRF)によって計測される。そして、作業者位置推定手段22が、計測された点群についてクラスタリング手法とパーティクルフィルタを適用して、作業者の位置を推定する。この推定手法については特許文献1に開示したものや非特許文献1に示されるもの、その他これらと同等のものを用いることができる。   The operator's position is measured by the measuring means 21 using a Laser Range Finder (LRF) set at a height above the operator's knee. Then, the worker position estimating means 22 applies the clustering method and the particle filter to the measured point group to estimate the worker position. As this estimation method, those disclosed in Patent Document 1, those disclosed in Non-Patent Document 1, and other equivalents can be used.

特許文献1に開示した推定手法では、LRFを腰の高さに一つと足の高さに一つ取り付けたセンサを用いて作業者の位置を計測している。この手法では、先ず、腰部と足部のLRFの計測点にクラスタリング手法を適用し、腰部と足部のクラスタを生成し、次に腰部のクラスタと足部のクラスタの位置関係から作業者と思われる腰部のクラスタを見つけ、このクラスタ内の点の平均値から作業者の代表点を求めて、この作業者の代表点から作業者の位置を特定する。   In the estimation method disclosed in Patent Document 1, the position of the worker is measured using a sensor in which one LRF is attached to the waist height and one to the foot height. In this method, the clustering method is first applied to the LRF measurement points of the lumbar region and the foot region, and a cluster of the lumbar region and the foot region is generated. The worker's representative point is obtained from the average value of the points in the cluster, and the worker's position is specified from the representative point of the worker.

非特許文献1に開示した推定手法は上述の特許文献1の手法を改良するものであり、先ず、LRFにより得られたデータ点から背景差分法を用いて障害物と作業者を区別して作業者のデータを抽出し、クラスタリング手法をその抽出結果に適用して生成したクラスタの数を作業者の数とする。次に、各々の作業者をパーティクルフィルタにより追跡することで、パートナーである作業者とそれ以外の作業者の位置推定を行うものである。ここで、パーティクルフィルタとは、多数のパーティクルを用いて過去の状態からの予測と現在の観測情報とを利用することにより、現在の状態を推定する手法である。   The estimation method disclosed in Non-Patent Document 1 is an improvement of the method of Patent Document 1 described above. First, an operator is distinguished from an obstacle and an operator using a background difference method from data points obtained by LRF. And the number of clusters generated by applying the clustering method to the extraction result is defined as the number of workers. Next, each worker is tracked by a particle filter to estimate the positions of the partner worker and other workers. Here, the particle filter is a method for estimating the current state by using a large number of particles and using prediction from a past state and current observation information.

予測手段10は、具体的には、マルコフモデル生成手段15と、マルコフモデル生成手段15により生成されたマルコフモデルを用いて作業に対する作業者存在位置の期待値を計算する第1計算処理部11と、作業者の現在の作業を推定する第2計算処理部12と、マルコフモデル生成手段15により生成されたマルコフモデルを用いて作業者の予測移動軌道を計算する第3計算処理部13と、次の作業場所への予測到達時間及び予測移動軌道を計算する第4計算処理部14と、を備える。   Specifically, the prediction unit 10 includes a Markov model generation unit 15, a first calculation processing unit 11 that calculates an expected value of the worker location for the work using the Markov model generated by the Markov model generation unit 15, and A second calculation processing unit 12 for estimating the current work of the worker, a third calculation processing unit 13 for calculating the predicted movement trajectory of the worker using the Markov model generated by the Markov model generation means 15, A fourth calculation processing unit 14 that calculates a predicted arrival time and a predicted movement trajectory to the work place.

第1計算処理部11は、マルコフモデル生成手段15により生成したマルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める。状態変数がセルの場合を例にとって具体的に説明すると、第1計算処理部11は、マルコフモデルにおいて同じセルに居続ける確率の高いセルを抽出し、その抽出したセルの分布を作業数だけのガウス分布で近似し、この中心の座標を各作業毎の作業者が存在する位置の期待値とする。セルの分布をガウス分布で近似しているが、セルの分布をガウス分布以外の近似式で求めてもよい。   The first calculation processing unit 11 extracts a state variable having a low state transition probability from the Markov model generated by the Markov model generation means 15, and from the distribution of the extracted state variables, the expected value of the worker's state for each operation Ask for. The case where the state variable is a cell will be specifically described as an example. The first calculation processing unit 11 extracts a cell having a high probability of staying in the same cell in the Markov model, and calculates the distribution of the extracted cell as many as the number of operations. Approximation is performed with a Gaussian distribution, and the coordinates of this center are set as the expected value of the position where the worker exists for each work. Although the cell distribution is approximated by a Gaussian distribution, the cell distribution may be obtained by an approximate expression other than the Gaussian distribution.

第2計算処理部12は、第1計算処理部11で求めた各作業毎の作業者位置に関するガウス分布その他の近似分布と、作業者位置推定手段22から入力される作業者の現在の位置(Xw,Yw)とを比較することにより、作業者が現在行っている作業を推定する。   The second calculation processing unit 12 includes a Gaussian distribution and other approximate distributions regarding the worker position for each work obtained by the first calculation processing unit 11 and the current position of the worker input from the worker position estimation means 22 ( Xw, Yw) are compared to estimate the work that the worker is currently performing.

第3計算処理部13は、マルコフモデル生成手段15で生成したマルコフモデルから、任意の状態変数のままである期間(「状態継続時間長」と呼ぶ。)の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する。状態変数がセルの場合を例にとって具体的に説明すると、第3計算処理部13は、マルコフモデル生成手段15により生成したマルコフモデルにおいて、作業者が各セルに留まり続ける期間(「状態継続時間長」と呼ぶ。)の期待値を計算すること、またその状態継続時間長が経過したときの移動先セルをその瞬間の遷移確率が最も高いセルへと決定する。これを繰り返すことにより、予測される作業者の移動軌道を計算する。   The third calculation processing unit 13 calculates an expected value of a period (referred to as “state duration length”) that remains an arbitrary state variable from the Markov model generated by the Markov model generation unit 15; and The movement trajectory of the worker is predicted by determining the movement destination when the state duration time elapses. The case where the state variable is a cell will be specifically described as an example. In the Markov model generated by the Markov model generation means 15, the third calculation processing unit 13 is a period during which an operator stays in each cell (“state duration time length”). ) And the destination cell when the state duration time has elapsed is determined to be the cell with the highest transition probability at that moment. By repeating this, the predicted movement trajectory of the worker is calculated.

第4計算処理部14は、第2計算処理部12で推定した現在の作業と第3計算処理部13で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める。   Based on the current work estimated by the second calculation processing unit 12 and the predicted movement trajectory calculated by the third calculation processing unit 13, the fourth calculation processing unit 14 determines the arrival time to move to the next work place and the next Find the predicted trajectory to the work place.

供給位置決定手段23は、第1計算処理部11で求めた値であって作業に対する作業者の存在率の期待値に基いて、供給位置(Xn,Yn)を決定する。   The supply position determination means 23 determines the supply position (Xn, Yn) based on the value calculated by the first calculation processing unit 11 and based on the expected value of the presence rate of the worker for the work.

供給軌道計算手段24は、供給手段20による供給タイミングの決定及び供給軌道の計算を行う。   The supply trajectory calculation means 24 determines the supply timing by the supply means 20 and calculates the supply trajectory.

本発明の実施形態に係る作業支援システム1の構成は上記のとおりであり、この構成によって、作業者の移動データから生成したマルコフモデルを用いて、作業者が次の作業場所へ移動する到達時間及び移動軌道について予測されるのかについて説明する。   The configuration of the work support system 1 according to the embodiment of the present invention is as described above. With this configuration, the arrival time for the worker to move to the next work location using the Markov model generated from the worker's movement data. And whether the movement trajectory is predicted will be described.

いま、作業空間が複数のセルに区分されてセル番号が付され、そのセル番号が状態変数として定義されているとする。また、図2に示すように、座標Xcと座標Ycからなる車体座標系Σcの作業空間をセルに分割し、車一台毎に作業者が一連の作業を繰り返し行うものとすると、計測手段21により、例えばLRFにより作業者の位置が計測されるので、作業者位置推定手段22により、自動車一台分の作業者の移動軌道データが得られる。マルコフモデル生成手段15にはその自動車一台分の作業者の移動軌道データが入力される。マルコフモデル生成手段15は、その入力を受けて状態遷移確率行列により記述されることにより、マルコフモデルを生成し、更新する。   Now, it is assumed that the work space is divided into a plurality of cells, cell numbers are assigned, and the cell numbers are defined as state variables. Further, as shown in FIG. 2, when the work space of the vehicle body coordinate system Σc composed of coordinates Xc and coordinates Yc is divided into cells and the operator repeats a series of operations for each vehicle, the measuring means 21 Thus, for example, since the position of the worker is measured by LRF, the worker's movement trajectory data for one vehicle can be obtained by the worker position estimating means 22. The Markov model generation means 15 receives the movement trajectory data of the worker for one vehicle. The Markov model generation means 15 receives the input and is described by the state transition probability matrix, thereby generating and updating the Markov model.

作業者の移動経路を予測するために、マルコフモデル生成手段15が作業者の行動データからマルコフモデルを生成する。いま、作業者の動きについて、図2に示すように、作業空間を複数のセルに区分けして各セルにセル番号を付して状態変数を定義する。作業者の作業空間、例えば車体座標系における作業空間をメッシュ状に離散化し、それぞれのセルに状態変数を定義する。各セルに対して離散時間間隔Δt(秒)毎に作業者の存在した回数をカウントし、統計的にマルコフモデルを生成する。   In order to predict the movement route of the worker, the Markov model generation means 15 generates a Markov model from the behavior data of the worker. Now, regarding the movement of the worker, as shown in FIG. 2, the work space is divided into a plurality of cells, and a cell number is assigned to each cell to define a state variable. An operator's work space, for example, a work space in the vehicle body coordinate system is discretized in a mesh shape, and a state variable is defined in each cell. For each cell, the number of times the worker is present is counted every discrete time interval Δt (seconds), and a Markov model is statistically generated.

本実施形態においては、状態遷移確率aijは各セルに固有であって、時間によって変化しない値である。つまり、あるセルに作業者が入ったら、この工程の作業開始からの時間は一切関係なく、ある状態継続時間長の期待値分の時間だけそのセルにとどまり、その後状態遷移確率の一番高いセルに移動する、というように作業者の運動をモデル化する。 In the present embodiment, the state transition probability a ij is unique to each cell and is a value that does not change with time. In other words, when an operator enters a cell, the time from the start of the operation of this process does not matter at all, it stays in that cell for the time of the expected value of a certain state duration, and the cell with the highest state transition probability To model the movement of the worker.

具体的に説明すると、式(1)を用いて、状態遷移確率aijを計算する。

Figure 2013054703

ここで、iは時間t−Δtのときの状態を示し、jは時間tのときの状態を示す。Nijは作業者が存在したセルがiからjへ遷移した回数を示し、Niは作業者がセルi に存在した回数を離散時間間隔ごとにカウントしたものである。この状態遷移確率aijを全iとjの組み合わせについてすべて求め、行列[aij]としてあらわしたものが本実施形態におけるマルコフモデルである。なお、i,jは状態変数の数がm個であれば、i,jは1≦i,j≦mの関係式を満たす自然数である。 More specifically, the state transition probability a ij is calculated using Equation (1).
Figure 2013054703

Here, i indicates a state at time t-Δt, and j indicates a state at time t. N ij indicates the number of times that the cell in which the worker was present has transitioned from i to j, and N i is the number of times that the worker has been present in cell i 2 at each discrete time interval. The Markov model in this embodiment is obtained by obtaining all the state transition probabilities a ij for all combinations of i and j and representing them as a matrix [a ij ]. Note that i and j are natural numbers satisfying the relational expression of 1 ≦ i and j ≦ m if the number of state variables is m.

ここで、状態空間の離散化については,作業者の運動の特徴を十分にモデル化するために細かく設定する必要があるが、後述する作業者の行動予測をする際の計算量や計算処理能力を考慮して決定すればよい。例えば4m×8mの状態空間を32×64マスに区分けすれば、作業空間を十分に網羅することが可能である。   Here, the discretization of the state space needs to be set in detail in order to fully model the characteristics of the worker's movement. It may be determined in consideration of. For example, if the state space of 4 m × 8 m is divided into 32 × 64 cells, the work space can be sufficiently covered.

このようにして作業者の移動データからマルコフモデルを生成する。図3に示すように、マルコフモデル生成手段15は、車一台分の作業者の移動軌道データの入力のたびにマルコフモデルを更新してもよいが、必ず更新しなければならないというわけではない。マルコフモデルの更新は、作業者の行動や移動軌道が作業者の作業に対する慣れや疲労等によりマルコフモデルが変化し得るため、その変化に対応するために行う。これはもちろん作業者ごとにマルコフモデルを生成しておき作業者固有のものとして使用してもよいし、ある程度再現性のある作業の場合や作業者の運動に対し敏感にモデルを変更したくない場合はあえて更新を行わなくてもよい。最新の作業者の癖をマルコフモデルに反映させるべく、例えば過去のマルコフモデルを更新タイミング毎に数%ずつ忘却してゆく忘却型マルコフモデル学習アルゴリズムを用いる。このアルゴリズムとしては、例えば公知のSDLE(Sequentially Discounting Laplace Estimation)アルゴリズムを利用することができる。   In this way, a Markov model is generated from the movement data of the worker. As shown in FIG. 3, the Markov model generation means 15 may update the Markov model each time the movement trajectory data of the worker for one vehicle is input, but it does not necessarily have to be updated. . The Markov model is updated in order to cope with changes in the Markov model because the behavior and movement trajectory of the worker can change due to the operator's familiarity with work and fatigue. Of course, a Markov model may be generated for each worker and used as a worker-specific one, or the model does not need to be changed in the case of work with some reproducibility or sensitive to the movement of the worker. In some cases, it is not necessary to update. In order to reflect the latest worker's habit in the Markov model, for example, a forgetting Markov model learning algorithm that forgets several percent of the past Markov model at every update timing is used. As this algorithm, for example, a well-known SDLE (Sequentially Discounting Laplace Estimation) algorithm can be used.

次に、上述の生成したマルコフモデルから作業行動をモデル化し作業行動を推定する。第1計算処理部11によって、作業に対する作業者の存在位置について期待値を計算する。この期待値は、まず作業数のみを既知とし、マルコフモデルにおいて同じセルに居続ける確率の高いセルを抽出し、その抽出したセルの分布を作業数だけのガウス分布その他の分布で近似する。具体的にはEMアルゴリズムを用いて各作業におけるガウス分布のパラメータを計算し、そのガウス分布の中心の座標を各作業毎の作業者が存在する位置の期待値とする。ここで、EMアルゴリズムとは、統計学において、確率モデルのパラメータを最尤法に基いて推定する手法であり、期待値(expectation,E)ステップと最大化(maximization,M)ステップとを交互に繰り替えることで計算を進行させるものである。   Next, the work behavior is modeled from the generated Markov model and the work behavior is estimated. The first calculation processing unit 11 calculates an expected value for the position of the worker with respect to the work. For this expected value, first, only the number of operations is known, cells having a high probability of staying in the same cell in the Markov model are extracted, and the distribution of the extracted cells is approximated by a Gaussian distribution or other distributions corresponding to the number of operations. Specifically, the parameters of the Gaussian distribution in each work are calculated using the EM algorithm, and the coordinates of the center of the Gaussian distribution are set as the expected value of the position where the worker exists for each work. Here, the EM algorithm is a technique for estimating a parameter of a probability model based on a maximum likelihood method in statistics, and an expectation (expectation, E) step and a maximization (maximization, M) step are alternately performed. The calculation is advanced by repeating.

作業者の現在の位置については、第2計算処理部12によって、前述のように計測手段21及び作業者位置推定手段22から求めた作業者の位置と、既に求めた分布であって各作業における作業者位置のガウス分布を比較することにより、作業者がその位置にいるならばどの作業を行っている確率が高いかが計算できるので、その作業を行っていると推定することができる。   As for the current position of the worker, the second calculation processing unit 12 uses the position of the worker obtained from the measuring means 21 and the worker position estimating means 22 as described above, and the distribution already obtained in each work. By comparing the Gaussian distributions of the worker positions, it is possible to calculate which work is likely to be performed if the worker is at that position. Therefore, it can be estimated that the work is being performed.

第3計算処理部13によって、作業者の移動軌道を予測する。作業者の移動軌道予測は、作業者の移動データから生成したマルコフモデルを利用して行われる。この予測は次の2つのステップから成っている。一つは、状態継続時間長の期待値の計算ステップであり、一つは状態遷移確率に従った遷移先の決定ステップである。   The third calculation processing unit 13 predicts the movement trajectory of the worker. The movement trajectory of the worker is performed using a Markov model generated from the movement data of the worker. This prediction consists of the following two steps. One is a step for calculating an expected value of the state duration time, and one is a step for determining a transition destination according to the state transition probability.

状態継続時間長の期待値の計算ステップについて説明する。
状態継続時間長とは、マルコフ過程において状態iに留まり続ける期間を意味する。状態継続時間を指定すると、式(2)から、状態iが指定した時間d(秒)続く確率pi(d)を求めることができる。

Figure 2013054703
The step of calculating the expected value of the state duration time will be described.
The state duration length means a period during which the state i remains in the Markov process. When the state duration is designated, the probability p i (d) that the state i continues for the designated time d (seconds) can be obtained from the equation (2).
Figure 2013054703

ここで、πiは初期確率を表す。状態継続時間長の期待値dexpは状態iが続く期間の平均を表したもので、式(3)から求めることができる。

Figure 2013054703
Here, π i represents an initial probability. The expected value d exp of the state duration time length represents the average of the period during which the state i continues, and can be obtained from Equation (3).
Figure 2013054703

この状態継続時間長の期待値は、作業者がこのセルに留まり続ける期間の長さの期待値であるので、このdexp後には別のセルに移動すると考えられる。したがって、移動軌道予測手法において、この期待値が移動時間を予測するために用いられる。 Since the expected value of the state duration time is an expected value of the length of the period during which the worker stays in this cell, it is considered that the cell moves to another cell after this d exp . Therefore, in the moving trajectory prediction method, this expected value is used to predict the moving time.

状態遷移確率に従って遷移先を決定するステップについて説明する。
状態継続時間長の考え方から、状態iが状態継続時間長の期待値dexpだけ続いた直後、状態は状態i以外の状態jに遷移すると考えられる。すなわち、この状態jはj≠iを満たす何れかの状態である。状態の遷移先は状態遷移確率に従い、状態遷移確率が最大である状態に決定される。
The step of determining the transition destination according to the state transition probability will be described.
From the viewpoint of the state duration length, it is considered that the state transitions to a state j other than the state i immediately after the state i continues by the expected value d exp of the state duration time length. That is, this state j is any state that satisfies j ≠ i. The state transition destination is determined according to the state transition probability to a state having the maximum state transition probability.

よって、以上の、状態継続時間長の期待値を計算するステップ(Step1)と状態遷移確率に従って遷移先を決定するステップ(Step2)とを順に繰り返すことにより、作業者の移動軌道を求めることができる。   Therefore, the movement trajectory of the worker can be obtained by sequentially repeating the above step (Step 1) for calculating the expected value of the state duration time and the step (Step 2) for determining the transition destination according to the state transition probability. .

図4は、作業者の移動軌道予測を説明するための例を示す図である。(a)はStep1とStep2とを繰り返し、予測される観測系列を求める様子を示したものであり、(b)は、予測された観測系列を基に、離散化された状態空間上において,予測される作業者の移動場所と移動経路を示している。   FIG. 4 is a diagram illustrating an example for explaining the movement trajectory prediction of the worker. (A) shows a state in which Step 1 and Step 2 are repeated to obtain a predicted observation sequence, and (b) shows a prediction on a discretized state space based on the predicted observation sequence. The movement location and movement route of the worker to be performed are shown.

予測の手順としては、まず現在の作業者が離散化された状態空間上の状態3に存在したとして、Step1により状態3に作業者が存在し続ける時間を計算する。次に、Step2によって状態遷移確率に従った遷移先を決定する。いま、遷移先が状態9になったとする。そして、再びStep1を行い、状態9に作業者が存在し続ける時間を求め、Step2を再び適用して次の遷移先を決める。   As a prediction procedure, first, assuming that the current worker exists in the state 3 on the discretized state space, the time during which the worker remains in the state 3 is calculated by Step 1. Next, the transition destination according to the state transition probability is determined by Step2. Assume that the transition destination is now in state 9. Then, Step 1 is performed again, the time during which the worker continues to exist in the state 9 is obtained, and Step 2 is applied again to determine the next transition destination.

このように、2つのステップを繰り返し、状態継続時間長の期待値の合計が対象とする予測時間Tpとなったときに、最終的な遷移状態が、予測されるTp時間後の作業者の移動場所である。図では、作業者の予測される移動場所は状態20であり、予測される移動経路は、3,9,14,20であり,各セルに滞在する時間を含めた移動軌道としては3,3,3,9,9,14,14,14,14,20,20,20,20となる。   In this way, when the two steps are repeated and the total expected value of the state duration time reaches the target prediction time Tp, the final transition state is the movement of the worker after the predicted Tp time. Is a place. In the figure, the predicted movement location of the worker is the state 20, the predicted movement paths are 3, 9, 14, and 20, and the movement trajectory including the time spent in each cell is 3, 3 , 3, 9, 9, 14, 14, 14, 14, 20, 20, 20, 20.

次に、第4計算処理部14では、第2計算処理部12で求まった作業者の現在位置と、第3計算処理部13で求まった予測移動軌道とから、次の作業場所への予測到達時刻と予測移動軌道の計算を行う。具体的には、現在の作業から次の作業を特定し、次の作業箇所への移動が終了する時刻を求め、これと現在の時間の差から到達時間を求める。また次の作業場所への予測移動軌道は全予測軌道のうち現在の場所から次作業場所までの軌道をそのまま用いる。なお、第3計算処理部13で求まる予測移動軌道とは、一連の作業を通して作業者の予測移動軌道であり、第4計算処理部14で求める予測移動軌道とは、次の作業場所への作業者の予測移動軌道である。つまり、第4計算処理部14では一連の作業者の予測軌道から、次の作業へ向かう予測軌道を抜き出している。   Next, the fourth calculation processing unit 14 predicts arrival at the next work location from the worker's current position obtained by the second calculation processing unit 12 and the predicted movement trajectory obtained by the third calculation processing unit 13. Calculate time and predicted trajectory. Specifically, the next work is identified from the current work, the time at which the movement to the next work location ends is obtained, and the arrival time is obtained from the difference between this and the current time. The predicted movement trajectory to the next work location uses the trajectory from the current location to the next work location out of all the predicted trajectories. Note that the predicted movement trajectory obtained by the third calculation processing unit 13 is the operator's predicted movement trajectory through a series of operations, and the predicted movement trajectory obtained by the fourth calculation processing unit 14 is the work to the next work place. This is the predicted movement trajectory of the person. That is, the fourth calculation processing unit 14 extracts a predicted trajectory toward the next work from a series of predicted trajectories of the workers.

以上のように予測手段10において、作業者に対する作業者の存在率の期待値と、次の作業場所への予測到達時間及び予測移動軌道とが求まる。   As described above, the prediction means 10 obtains the expected value of the worker presence rate with respect to the worker, the predicted arrival time to the next work place, and the predicted movement trajectory.

そこで、供給位置決定手段23において、第1計算処理部11から入力される「作業に対する作業者の存在率の期待値」が最も高い位置を供給位置(Xn,Yn)として決定する。この後、作業者が手を伸ばしやすい位置などのオフセット(Δxn,Δyn)を加えて最終供給位置とする。このオフセット値は教示などにより作業者の作業のしやすさなどを考慮した微調整を行うためにも用いられる。 Therefore, the supply position determination unit 23 determines the position having the highest “expected value of the presence rate of the worker for the work” input from the first calculation processing unit 11 as the supply position (Xn, Yn). Thereafter, an offset (Δx n , Δy n ) such as a position where the operator can easily reach his / her hand is added to obtain the final supply position. This offset value is also used for fine adjustment in consideration of ease of work of the operator by teaching or the like.

供給軌道計算手段24は、供給手段20によって作業者に対して部品、工具その他の必要な物品を供給するタイミングを決定すると共に、供給手段20の供給軌道x(t),y(t)を計算する。タイミングの決定は、予測手段10から入力される、次の作業場所への予測到達時間から、供給手段20によって部品、工具その他の物品を供給するタイミングを決定する。もっとも簡単には供給タイミングは作業者の予測到達時間をそのまま用いることができ、また意図的に前倒しの時間を設けて早めに供給することができる。供給手段20の軌道計算は、予測手段10から入力される、次の作業場所への作業者の予測移動軌道と、供給位置決定手段23から入力される供給位置に供給位置オフセット情報(ΔXn,ΔYn)を加えた最終供給位置と、決定した供給タイミングとから、供給手段11の供給軌道を計算する。ここで、供給軌道は、ただ単に工具、部品その他の必要な物品の補給位置から最終供給位置までを直線で結んだものを、時間軸に関して例えば多項式で補間した軌道でもよいし、作業者の予測移動軌道を考慮して衝突が起こりにくいように作成した軌道であってもよい。   The supply trajectory calculation means 24 determines the timing of supplying parts, tools and other necessary articles to the worker by the supply means 20 and calculates the supply trajectories x (t) and y (t) of the supply means 20. To do. The timing is determined from the predicted arrival time at the next work place input from the predicting means 10 and the timing for supplying parts, tools and other articles by the supplying means 20. In the simplest case, the estimated arrival time of the operator can be used as it is for the supply timing, and the supply can be performed early by intentionally providing a time for advance. The trajectory calculation of the supply means 20 includes the predicted movement trajectory of the worker to the next work place input from the prediction means 10 and the supply position offset information (ΔXn, ΔYn to the supply position input from the supply position determination means 23. The supply trajectory of the supply means 11 is calculated from the final supply position to which () is added and the determined supply timing. Here, the supply trajectory may simply be a trajectory obtained by interpolating a straight line from the replenishment position to the final supply position of tools, parts, and other necessary items, with a time axis, for example, using a polynomial, or an operator's prediction. It may be a trajectory created in consideration of the moving trajectory so that collision does not easily occur.

供給手段20は、ロボットアームや移動ロボットその他のロボット、ベルトコンベアその他の搬送機構を備え、供給軌道計算手段24から入力された供給軌道x(t),y(t)に従って、それらの機構の先端、例えばロボットアームの手の先を移動させる。この供給手段20には、搬送機構の他、作業に応じて部品、工具などの必要な物品のリストが情報として蓄積されており、供給軌道計算手段24からの入力により、そのリストアップの中から、必要な物品が選択され、搬送機構により、作業者の手元に供給される。   The supply means 20 includes a robot arm, a mobile robot and other robots, a belt conveyor and other transport mechanisms, and according to the supply trajectories x (t) and y (t) input from the supply trajectory calculation means 24, the tips of these mechanisms. For example, the hand of the robot arm is moved. In addition to the transport mechanism, the supply means 20 stores a list of necessary articles such as parts and tools according to the work, and the list from the list by the input from the supply trajectory calculation means 24 is stored. The necessary articles are selected and supplied to the operator's hand by the transport mechanism.

本発明の実施形態によれば、作業進行状況を推定し、作業者により作業が早く進んでいる場合にも、そのときの作業進度に合わせて、遅れることなく作業者に対して部品や工具など必要なものを供給することができる。   According to the embodiment of the present invention, when the work progress is estimated and the work is progressing quickly by the worker, the parts, tools, etc. are given to the worker without delay in accordance with the work progress at that time. You can supply what you need.

上述した本発明の実施形態では、特に、作業者の作業空間が状態変数として複数のセルに区分されている場合を例にとって説明しているが、例えば作業者の運動パターンを別途用意したセンサで取得し、この取得した運動パターンから作業状況を推定し、その推定値を状態変数としてもよい。状態変数をこのように設定しても、作業者の運動パターンから生成したマルコフモデルを用いて作業者が次の作業場所へ移動する到達時間及び移動軌道などを予測することができ、その予測結果に応じて作業者の移動軌道を求めて、供給手段を制御するようにしてもよい。   In the above-described embodiment of the present invention, the case where the worker's work space is divided into a plurality of cells as state variables has been described as an example. It is also possible to acquire the work situation from the acquired motion pattern and use the estimated value as a state variable. Even if the state variables are set in this way, it is possible to predict the arrival time and movement trajectory of the worker moving to the next work location using the Markov model generated from the movement pattern of the worker, and the prediction result Accordingly, the movement path of the worker may be obtained according to the control, and the supply means may be controlled.

1:作業支援システム
10:予測手段
11:第1計算処理部
12:第2計算処理部
13:第3計算処理部
14:第4計算処理部
15:マルコフモデル生成手段
20:供給手段
21:計測手段
22:作業者位置推定手段
23:供給位置決定手段
24:供給軌道計算手段
1: work support system 10: prediction means 11: first calculation processing section 12: second calculation processing section 13: third calculation processing section 14: fourth calculation processing section 15: Markov model generation means 20: supply means 21: measurement Means 22: Worker position estimation means 23: Supply position determination means 24: Supply trajectory calculation means

Claims (5)

作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段と、
上記予測手段によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段と、
を備える、作業支援システム。
A prediction means for predicting the behavior of the worker using a Markov model generated from the movement data of the worker;
Based on the worker's behavior predicted by the prediction means, supply means for supplying parts, tools and other necessary items to the worker;
A work support system comprising:
前記予測手段が、前記マルコフモデルから、任意の状態変数のままである期間(以下、「状態継続時間長」と呼ぶ。)の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する、請求項1に記載の作業支援システム。   The prediction means calculates an expected value of a period (hereinafter referred to as “state duration length”) that remains an arbitrary state variable from the Markov model, and the state duration length has elapsed. The work support system according to claim 1, wherein the movement trajectory of the worker is predicted by determining a movement destination at the time. 前記予測手段が、
前記マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第1計算処理部と、
上記第1計算処理部で求めた各作業毎に作業者の状態の期待値から、作業者が現在行っている作業を推定する第2計算処理部と、
前記マルコフモデルから、任意の状態変数のままである期間(以下、「状態継続時間長」と呼ぶ。)の期待値を計算すること、その状態継続時間長が経過したときの移動先を決定することによって、予測される作業者の移動軌道を計算する第3計算処理部と、
上記第2計算処理部で推定した現在の作業と上記第3計算処理部で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める第4計算処理部と、
を備える、請求項1に記載の作業支援システム。
The prediction means is
A first calculation processing unit that extracts a state variable having a low state transition probability from the Markov model, and obtains an expected value of the worker's state for each operation from the extracted state variable distribution;
A second calculation processing unit that estimates an operation currently performed by the worker from an expected value of the worker's state for each operation obtained by the first calculation processing unit;
From the Markov model, an expected value of a period that remains an arbitrary state variable (hereinafter referred to as “state duration length”) is calculated, and a destination is determined when the state duration length has elapsed. A third calculation processing unit for calculating the predicted movement trajectory of the worker,
Based on the current work estimated by the second calculation processor and the predicted movement trajectory calculated by the third calculation processor, the arrival time to move to the next work place and the predicted movement trajectory to the next work place are calculated. A fourth calculation processing unit to be obtained;
The work support system according to claim 1, comprising:
前記第4計算処理部で求めたものであって次の作業場所へ移動する到達時間及び次の作業場所への予測移動軌道に基いて、前記供給手段の供給タイミング及び供給軌道を計算する供給軌道計算手段を備える、請求項3に記載の作業支援システム。   A supply trajectory calculated by the fourth calculation processing unit for calculating the supply timing and the supply trajectory of the supply means based on the arrival time to move to the next work place and the predicted movement trajectory to the next work place. The work support system according to claim 3, further comprising a calculation unit. 前記予測手段が、前記マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第1計算処理部を備え、
さらに、上記第1計算処理部で求めた期待値であって各作業毎の作業者が存在する位置の期待値から、供給位置を決定する供給位置決定手段を備える、請求項1に記載の作業支援システム。
The prediction means includes a first calculation processing unit that extracts a state variable having a low state transition probability from the Markov model, and obtains an expected value of the worker's state for each operation from the extracted distribution of the state variable,
The work according to claim 1, further comprising a supply position determination unit that determines a supply position from an expected value obtained by the first calculation processing unit and an expected value of a position where an operator for each work exists. Support system.
JP2011194394A 2011-09-06 2011-09-06 Work support system Expired - Fee Related JP5641243B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011194394A JP5641243B2 (en) 2011-09-06 2011-09-06 Work support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011194394A JP5641243B2 (en) 2011-09-06 2011-09-06 Work support system

Publications (2)

Publication Number Publication Date
JP2013054703A true JP2013054703A (en) 2013-03-21
JP5641243B2 JP5641243B2 (en) 2014-12-17

Family

ID=48131603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011194394A Expired - Fee Related JP5641243B2 (en) 2011-09-06 2011-09-06 Work support system

Country Status (1)

Country Link
JP (1) JP5641243B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10166677B2 (en) 2014-12-26 2019-01-01 Honda Motor Co., Ltd. State prediction system
CN109767118A (en) * 2019-01-11 2019-05-17 沈阳建筑大学 A kind of limited buffer dynamic capacity method for obligating in there is the bus body painting workshop that can reentry process
CN110533296A (en) * 2019-07-31 2019-12-03 北京交通大学 The operation risk analysis method of the railway network
JP2020173275A (en) * 2015-08-03 2020-10-22 株式会社東芝 Information gathering system and information gathering method
WO2021192024A1 (en) * 2020-03-24 2021-09-30 ソニーグループ株式会社 Work management device and work status determination method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709606B (en) * 2016-12-29 2020-10-30 平安科技(深圳)有限公司 Personalized scene prediction method and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010134603A1 (en) * 2009-05-22 2010-11-25 関東自動車工業株式会社 Work-assisting robot system
JP2011170453A (en) * 2010-02-16 2011-09-01 Nippon Telegr & Teleph Corp <Ntt> Device, method and program for calculation of location existence probability, and travel route recommendation device, method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010134603A1 (en) * 2009-05-22 2010-11-25 関東自動車工業株式会社 Work-assisting robot system
JP2011170453A (en) * 2010-02-16 2011-09-01 Nippon Telegr & Teleph Corp <Ntt> Device, method and program for calculation of location existence probability, and travel route recommendation device, method and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10166677B2 (en) 2014-12-26 2019-01-01 Honda Motor Co., Ltd. State prediction system
JP2020173275A (en) * 2015-08-03 2020-10-22 株式会社東芝 Information gathering system and information gathering method
JP6995943B2 (en) 2015-08-03 2022-01-17 株式会社東芝 Information collection system and information collection method
US11579276B2 (en) 2015-08-03 2023-02-14 Kabushiki Kaisha Toshiba Information collection system and information collection method
CN109767118A (en) * 2019-01-11 2019-05-17 沈阳建筑大学 A kind of limited buffer dynamic capacity method for obligating in there is the bus body painting workshop that can reentry process
CN110533296A (en) * 2019-07-31 2019-12-03 北京交通大学 The operation risk analysis method of the railway network
CN110533296B (en) * 2019-07-31 2022-07-15 北京交通大学 Operation risk analysis method for railway network
WO2021192024A1 (en) * 2020-03-24 2021-09-30 ソニーグループ株式会社 Work management device and work status determination method

Also Published As

Publication number Publication date
JP5641243B2 (en) 2014-12-17

Similar Documents

Publication Publication Date Title
JP5641243B2 (en) Work support system
Kanazawa et al. Adaptive motion planning for a collaborative robot based on prediction uncertainty to enhance human safety and work efficiency
US9573273B2 (en) Robot simulation device for generating motion path of robot
EP2993001B1 (en) Method and apparatus for industrial robotic energy saving optimization using fly-by
JP6438450B2 (en) Machine learning apparatus, robot system, and machine learning method for learning processing sequence of laser processing robot
US9469029B2 (en) Method and apparatus for saving energy and reducing cycle time by optimal ordering of the industrial robotic path
Kinugawa et al. Adaptive task scheduling for an assembly task coworker robot based on incremental learning of human's motion patterns
CN108145709B (en) Method and apparatus for controlling robot
CN111629867A (en) Collision-free motion planning in closed motion systems
CN112428278A (en) Control method and device of mechanical arm and training method of man-machine cooperation model
JP5717033B2 (en) Work support system
EP2979825A1 (en) Method and apparatus for saving energy and reducing cycle time by using optimal robotic joint configurations
KR102300752B1 (en) Method and Apparatus for Collision-Free Trajectory Optimization of Redundant Manipulator given an End-Effector Path
Erdős et al. Process planning and offline programming for robotic remote laser welding systems
JP5137537B2 (en) Robot work motion optimization device
US20220019939A1 (en) Method and system for predicting motion-outcome data of a robot moving between a given pair of robotic locations
EP2810195A1 (en) Semi-autonomous digital human posturing
Muñoz et al. Geometrically constrained path planning for robotic grasping with Differential Evolution and Fast Marching Square
Angelov et al. Composing diverse policies for temporally extended tasks
JP2009274180A (en) Robot movement plan method and device using the same
Weng et al. Quantitative assessment at task-level for performance of robotic configurations and task plans
Stulp et al. Action-related place-based mobile manipulation
Reiter et al. An inverse optimal control approach for trajectory prediction of autonomous race cars
Lam et al. An efficient algorithm for discrete-time hidden mode stochastic hybrid systems
CN114967465A (en) Trajectory planning method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141014

R150 Certificate of patent or registration of utility model

Ref document number: 5641243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees