JP2020097091A - Robot interference determination device, robot interference determination method, robot control device, robot control system, human movement predictor, and human movement prediction method - Google Patents

Robot interference determination device, robot interference determination method, robot control device, robot control system, human movement predictor, and human movement prediction method Download PDF

Info

Publication number
JP2020097091A
JP2020097091A JP2019034202A JP2019034202A JP2020097091A JP 2020097091 A JP2020097091 A JP 2020097091A JP 2019034202 A JP2019034202 A JP 2019034202A JP 2019034202 A JP2019034202 A JP 2019034202A JP 2020097091 A JP2020097091 A JP 2020097091A
Authority
JP
Japan
Prior art keywords
robot
unit
interference determination
time
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019034202A
Other languages
Japanese (ja)
Other versions
JP7243979B2 (en
Inventor
霄光 寧
Xiao Guang Ning
霄光 寧
純一 出澤
Junichi IDESAWA
純一 出澤
志門 菅原
Shimon Sugawara
志門 菅原
康滉 菅原
Yasuaki Sugawara
康滉 菅原
天海 金
Tenkai Kin
天海 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Iwate University
AISing Ltd
Original Assignee
Omron Corp
Iwate University
Omron Tateisi Electronics Co
AISing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Iwate University, Omron Tateisi Electronics Co, AISing Ltd filed Critical Omron Corp
Publication of JP2020097091A publication Critical patent/JP2020097091A/en
Priority to JP2023003855A priority Critical patent/JP7462195B2/en
Application granted granted Critical
Publication of JP7243979B2 publication Critical patent/JP7243979B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

To avoid a decrease in production efficiency and space efficiency while securing human safety in an environment in which a person and a robot coexist.SOLUTION: A robot interference determination device (10) predicts a position and a velocity vector in the future of an operator (50), and determines the possibility of interference between the operator (50) and a robot (30) from the position and the velocity vector in the future of the operator (50) and a position and a velocity vector in the future of the robot (30).SELECTED DRAWING: Figure 1

Description

本発明は、ロボットと作業者などの検出対象物とが共存する環境下において、両者が接触等する可能性を判定するロボット干渉判定装置等に関する。 The present invention relates to a robot interference determination device or the like that determines the possibility of contact between a robot and an object to be detected such as a worker in an environment in which the two coexist.

従来、工場等の生産現場においてロボットと作業者とが不用意に接触するのを回避するための各種の試みが知られている。例えば、安全柵などによって人の作業エリアとロボットの作業エリアとを隔離する方法が知られているが、この方法では人とロボットとの協調作業が実行できず、生産効率およびスペース効率が低い。また、例えば、下掲の特許文献１および２には、ロボットの周囲に予め設けておいた領域内への人の侵入を監視してロボットの動作を制御したり、ロボットのトルクを制限したりする試みが開示されている。 Conventionally, various attempts have been known for avoiding careless contact between a robot and a worker in a production site such as a factory. For example, there is known a method of separating a work area of a person from a work area of a robot by a safety fence or the like, but this method cannot perform cooperative work between the person and the robot, resulting in low production efficiency and space efficiency. Further, for example, in Patent Documents 1 and 2 listed below, intrusion of a person into an area provided in advance around the robot is monitored to control the operation of the robot, or the torque of the robot is limited. Attempts to do so have been disclosed.

特開２０１０−２０８００２号公報JP, 2010-208002, A ドイツ公開特許公報第 ＤＥ １０２０１６２２２２４５ Ａ１German Published Patent Publication No. DE 102016222245 A1

しかしながら、上述のような従来技術には、以下に示すような課題がある。すなわち、固定の監視エリア内への人の侵入を検知してロボット動作を抑制する従来技術は、監視エリア内に人が侵入すると、人の安全が確保されている場合であっても、ロボット動作を抑制するので、生産効率およびスペース効率が低下する傾向がある。また、ロボットのトルクを制限する従来技術は、人の安全が確保されている場合であっても、ロボットのトルクを制限するので、生産効率が低下する傾向がある。 However, the above-mentioned conventional techniques have the following problems. That is, the conventional technique of detecting the intrusion of a person into the fixed surveillance area and suppressing the robot operation is such that when the person enters the surveillance area, the robot operation is performed even if the safety of the person is secured. Therefore, the production efficiency and the space efficiency tend to decrease. Further, the conventional technique of limiting the torque of the robot limits the torque of the robot even when the safety of human beings is secured, so that the production efficiency tends to decrease.

本発明の一態様は、前記の問題点に鑑みてなされたものであり、工場等の生産現場において作業者等の安全を確保しつつ、生産効率およびスペース効率の低下を回避したロボット干渉判定装置等を実現することを目的としている。 One aspect of the present invention has been made in view of the above problems, and a robot interference determination device that avoids a decrease in production efficiency and space efficiency while ensuring the safety of workers in a production site such as a factory. It is intended to realize such.

上記の課題を解決するために、本発明の一態様に係るロボット干渉判定装置は、所定の領域内に存在する対象物の現時点における、現時点までの位置の変化を示す情報を取得する対象物状態取得部と、ロボットにおける所定の可動部の所定時間後における予測位置および予測速度ベクトルを取得するロボット状態取得部と、前記対象物の、現時点までの位置の変化を示す情報に基づいて、前記所定時間後における前記対象物の予測位置および予測速度ベクトルを算出する予測部と、前記対象物の前記予測位置および前記予測速度ベクトルと、前記可動部の前記予測位置および前記予測速度ベクトルとに基づき、前記対象物と前記可動部との接触が生じる可能性があるか否かをリアルタイムで判定する干渉判定部と、を備えている。 In order to solve the above problems, a robot interference determination device according to an aspect of the present invention is an object state that acquires information indicating a change in position up to the present time of an object present in a predetermined area. An acquisition unit, a robot state acquisition unit that acquires a predicted position and a predicted velocity vector of a predetermined movable unit of the robot after a predetermined time, and the predetermined state based on information indicating a change in the position of the object up to the present time. A prediction unit that calculates a predicted position and a predicted velocity vector of the target object after a time, based on the predicted position and the predicted velocity vector of the target object, and the predicted position and the predicted velocity vector of the movable unit, An interference determination unit that determines in real time whether or not contact between the object and the movable unit may occur.

前記の構成によれば、前記ロボット干渉判定装置は、前記対象物の、現時点までの位置の変化を示す情報を取得し、この現時点までの位置の変化を示す情報を用いて、前記対象物の前記予測位置および前記予測速度ベクトルを算出する。前記対象物の、現時点までの位置の変化を示す情報は、例えば、前記対象物の現時点における位置（現在位置）、および、前記対象物の現時点における速度ベクトル（現在速度ベクトル）である。また、後述する図１５の表において入力として示す各種の情報も、各々、前記対象物の、現時点までの位置の変化を示す情報の例である。 According to the above configuration, the robot interference determination device acquires the information indicating the change in the position of the object up to the present time, and uses the information indicating the change in the position up to the present time, The predicted position and the predicted velocity vector are calculated. The information indicating the change in the position of the object up to the present time is, for example, the current position of the object (current position) and the current velocity vector of the object (current velocity vector). Further, various kinds of information shown as inputs in the table of FIG. 15 which will be described later are also examples of information indicating changes in the position of the target object up to the present time.

そして、前記ロボット干渉判定装置は、算出した前記対象物の前記予測位置および前記予測速度ベクトルと、前記可動部の前記予測位置および前記予測速度ベクトルとに基づき、前記対象物と前記可動部との接触が生じる可能性があるか否かをリアルタイムで判定する。 Then, the robot interference determination device, based on the predicted position and the predicted velocity vector of the calculated target object, and the predicted position and the predicted velocity vector of the movable portion, between the target object and the movable portion. Determine in real time whether contact may occur.

前記ロボット干渉判定装置は、安全柵を用いずに前記ロボットと前記対象物との干渉を回避することができるので、生産現場等の省スペース化を実現することができる。 Since the robot interference determination device can avoid the interference between the robot and the object without using a safety fence, it is possible to realize space saving at a production site or the like.

また、前記ロボット干渉判定装置は、前記ロボットと前記対象物との、前記所定時間後（つまり、未来）における干渉の可能性を現時点で判定するので、干渉の可能性があると判定した場合にも、干渉回避のための処理を現時点で余裕を持って実行できる。 Further, the robot interference determination device determines the possibility of interference between the robot and the target object after the predetermined time (that is, in the future) at the present time. Also, the process for avoiding interference can be executed with a margin at this moment.

ここで、現時点での干渉の可能性を現時点で判定する装置が、現時点での干渉の可能性があると判定した場合、現時点での干渉を回避するためには、前記ロボットの急減速および急停止等の動作が必要となり、どうしても生産効率が低下する。 Here, if the device that determines the possibility of interference at the present moment determines that there is the possibility of interference at the present moment, in order to avoid interference at the present moment, sudden deceleration and sudden movement of the robot are performed. Operations such as stopping are required, and production efficiency is inevitably reduced.

これに対し、前記ロボット干渉判定装置は、未来における干渉の可能性を現時点で判定するので、現時点での干渉の可能性を現時点で判定する場合に比べて、干渉を回避するために必要な前記ロボットの動作を、円滑かつ必要最小限のものにすることができる。つまり、前記ロボット干渉判定装置は、前記ロボットと前記対象物との干渉を回避しつつ、前記ロボットの急減速および急停止等による生産効率の低下を抑制することができる。 On the other hand, since the robot interference determination device determines the possibility of interference in the future at the present time, it is necessary to avoid the interference as compared with the case of determining the possibility of interference at the present time at the present time. The operation of the robot can be made smooth and minimum required. That is, the robot interference determination device can prevent a decrease in production efficiency due to sudden deceleration and sudden stop of the robot while avoiding interference between the robot and the object.

したがって、前記ロボット干渉判定装置は、工場等の生産現場において、例えば作業者等である前記対象物と前記ロボットとの干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, in the production site such as a factory, the robot interference determination device can prevent a decrease in production efficiency and space efficiency while avoiding interference between the robot and the object such as an operator. Produce the effect of.

前述の通り、前記対象物は、例えば作業者等の人であり、具体的には、人の全体または人の一部であり、また、人以外のモノ（例えば、モバイルロボットなど）であってもよい。前記対象物の位置とは、前記対象物が人の全体である場合には、例えば、人の重心の位置である。前記対象物が人の一部または人以外のモノである場合には、前記対象物の位置とは、人の一部の位置、または、人以外のモノの位置である。 As described above, the object is, for example, a person such as a worker, specifically, the whole person or a part of the person, and the thing other than the person (for example, a mobile robot). Good. The position of the object is, for example, the position of the center of gravity of the person when the object is the whole person. When the object is a part of a person or an object other than a person, the position of the object is a position of a part of the person or a position of an object other than the person.

前記予測部による対象物の予測速度ベクトルの算出は、対象物の各時点における位置および速度ベクトルの履歴を学習した結果を利用するものであってもよいし、また、単純予測を利用するもの、つまり、現在速度ベクトルの継続を前提とするものであってもよい。 The calculation of the predicted velocity vector of the target object by the prediction unit may use the result of learning the history of the position and the velocity vector at each time point of the target object, or using simple prediction, That is, it may be based on the continuation of the current velocity vector.

本発明の一態様に係るロボット干渉判定装置について、前記ロボットは、複数のアームが複数の関節で接続されている多関節マニピュレータを備えており、前記可動部は、前記多関節マニピュレータの所定の１以上の部分であってもよい。 In the robot interference determination device according to one aspect of the present invention, the robot includes an articulated manipulator in which a plurality of arms are connected by a plurality of joints, and the movable portion is a predetermined one of the articulated manipulators. It may be the above part.

前記の構成によれば、前記ロボット干渉判定装置は、複数のアームが複数の関節で接続されている多関節マニピュレータを備えた前記ロボットと、前記対象物との、前記所定時間後（つまり、未来）における干渉の可能性を、現時点で判定する。 According to the configuration, the robot interference determination device, the robot provided with the multi-joint manipulator in which a plurality of arms are connected by a plurality of joints, and the object, after the predetermined time (that is, future). ), the possibility of interference in

したがって、前記ロボット干渉判定装置は、工場等の生産現場において、例えば作業者等である前記対象物と、多関節マニピュレータを備えた前記ロボットとの干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the robot interference determination device reduces the production efficiency and the space efficiency while avoiding the interference between the object such as an operator and the robot including the articulated manipulator in a production site such as a factory. There is an effect that can suppress.

本発明の一態様に係るロボット干渉判定装置において、前記干渉判定部は、現時点から前記所定時間が経過した時点から、前記可動部の移動停止動作が開始し、前記可動部の移動が停止するまでの時間における、前記対象物の推定位置と前記可動部の推定位置との距離が所定値以内となる場合に、前記対象物と前記可動部との接触が生じる可能性があると判定してもよい。 In the robot interference determination device according to an aspect of the present invention, the interference determination unit, from the time when the predetermined time has elapsed from the current time, until the movement stop operation of the movable portion is started and the movement of the movable portion is stopped. Even if it is determined that the contact between the target object and the movable part may occur when the distance between the estimated position of the target object and the estimated position of the movable part is within a predetermined value at time Good.

前記の構成によれば、前記ロボット干渉判定装置は、現時点（ｔ０）から前記所定時間（Δｔ）が経過した時点（ｔ０＋Δｔ時点）から、前記可動部の移動が停止するまでの時間における、前記対象物の推定位置と前記可動部の推定位置との距離が所定値以内となると、前記対象物と前記可動部との接触が生じる可能性があると判定する。 According to the arrangement, the robot interference judgment device, in the time from the present time (t 0) the predetermined time (Delta] t) the time has elapsed (t 0 + Δt time), until the movement of the movable portion is stopped When the distance between the estimated position of the object and the estimated position of the movable portion is within a predetermined value, it is determined that the object may come into contact with the movable portion.

つまり、前記ロボット干渉判定装置は、前記可動部の移動が停止した時点での前記対象物の推定位置と前記可動部の推定位置との距離だけでなく、その途中までの各時点における前記対象物の推定位置と前記可動部の推定位置との距離を用いて、前述の判定を行う。 That is, the robot interference determination device is configured to detect not only the distance between the estimated position of the target object and the estimated position of the movable part at the time when the movement of the movable part is stopped, but also the target object at each point up to that point. The above-mentioned determination is performed by using the distance between the estimated position and the estimated position of the movable part.

したがって、前記ロボット干渉判定装置は、現時点（ｔ０）から前記所定時間（Δｔ）が経過した時点（であるｔ０＋Δｔ時点）から、前記可動部の移動が停止するまでの各時点における接触の可能性を考慮した判定を行うことができるとの効果を奏する。 Therefore, the robot interference determination device determines the contact at each time from when the predetermined time (Δt) has passed from the current time (t 0 ) (that is, t 0 +Δt time) until the movement of the movable part stops. An effect that it is possible to make a determination in consideration of the possibility is exhibited.

ここで、ＩＳＯ／ＴＣ１５０６６の５．５．４．２．３において、安全距離Ｓｐは、「Ｓｐ（ｔ０）＝Ｓｈ＋Ｓｒ＋Ｓｓ＋ｃ＋Ｚｄ＋Ｚｒ」と規定されている。そして、上記の規格においては、実際の分離距離が安全距離Ｓｐ以下となると、不用意な干渉の可能性があると判定することになる。これは、ロボットの移動停止時点における、人の推定位置（人が存在すると推定される位置）とロボットの推定位置（ロボットが存在すると推定される位置）との距離が、所定値（ｃ＋Ｚｄ＋Ｚｒ）以下（以内）となると、人とロボットとが干渉すると判定するものと読み替えることができる。 Here, in 5.5.4.2.3 of ISO / TC15066, safety distance Sp is defined as "Sp (t 0) = S h + S r + S s + c + Z d + Z r ". Then, according to the above standard, when the actual separation distance becomes equal to or less than the safety distance Sp, it is determined that there is a possibility of inadvertent interference. This is because the distance between the estimated position of the person (the position where the person is estimated to exist) and the estimated position of the robot (the position where the robot is estimated to exist) at the time when the robot stops moving is equal to or less than a predetermined value (c+Zd+Zr). When it is (within), it can be read as a determination that a human and a robot interfere with each other.

上述の定義式において、「Ｓｈ」は「現時点からロボットの移動が停止する時点までに、人が移動する距離」を、「Ｓｒ」は「現時点からロボットが停止動作を開始するまでに、ロボットが移動する距離」を示すものとする。「Ｓｓ」は「ロボットが停止動作を開始する時点からロボットの移動が停止する時点までに、ロボットが移動する距離」を示すものとする。「ｃ」は、「Ｄｅｐｔｈ ｐｅｎｅｔｒａｔｉｏｎ ｆａｃｔｏｒ」と呼ばれる、例えば、「人の中心（重心）等の検知位置から、その人の腕などの部分までの距離」等を示すものとする。「Ｚｄ」は「人体を検知するセンサの測定誤差」を、「Ｚｒ」は「ロボット制御における制御位置の誤差」を示すものとする。 In the above definition formula, “S h ”is “the distance a person moves from the present time to the time when the movement of the robot is stopped”, and “S r ” is “the movement of the robot from the present time to the start of the stopping operation,” The distance traveled by the robot". “S s ”denotes “the distance the robot moves from the time when the robot starts the stop operation to the time when the robot stops moving”. “C” is called “Depth penetration factor”, and indicates, for example, “a distance from a detection position such as the center (center of gravity) of the person to a portion such as the arm of the person”. “Z d ”denotes “measurement error of sensor for detecting human body”, and “Z r ”denotes “error of control position in robot control”.

安全距離Ｓｐに即して前記ロボット干渉判定装置の備える前記の構成を整理すれば、「前記対象物の推定位置」は「Ｓｈ」、「前記可動部の推定位置」は「Ｓｒ＋Ｓｓ」、「前記所定値」は「ｃ＋Ｚｄ＋Ｚｒ」に相当する。 If the configuration of the robot interference determination device is arranged according to the safety distance Sp, the “estimated position of the object” is “S h ”, and the “estimated position of the movable part” is “S r +S s”. The “predetermined value” corresponds to “c+Z d +Z r ”.

本発明の一態様に係るロボット干渉判定装置において、前記予測部は、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習することによって学習済モデルを生成する学習部を備え、前記学習済モデルによって前記対象物の前記予測位置および前記予測速度ベクトルを算出してもよい。 In the robot interference determination device according to one aspect of the present invention, the prediction unit learns to generate a learned model by learning at least one history of a position, a velocity vector, and an acceleration vector of the object at each time point. It may be provided with a section, and the predicted position and the predicted velocity vector of the object may be calculated by the learned model.

前記の構成によれば、前記ロボット干渉判定装置は、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習して学習済モデルを生成する。そして、前記ロボット干渉判定装置は、生成した学習済モデルを用いて、前記対象物の前記予測位置および前記予測速度ベクトルを算出する。 According to the above configuration, the robot interference determination device learns at least one history of the position, the velocity vector, and the acceleration vector of the object at each time point to generate the learned model. Then, the robot interference determination device calculates the predicted position and the predicted velocity vector of the object using the generated learned model.

したがって、前記ロボット干渉判定装置は、前記履歴の学習によって生成した前記学習済モデルを用いて、前記対象物の前記予測位置および前記予測速度ベクトルを高精度に算出することができるとの効果を奏する。 Therefore, the robot interference determination device has an effect that the predicted position and the predicted velocity vector of the object can be calculated with high accuracy by using the learned model generated by learning the history. ..

本発明の一態様に係るロボット干渉判定装置において、前記学習部は、前記対象物の、現時点までの位置の変化を示す情報を入力とし、前記対象物の加速度またはその後の位置を出力とする学習を行うことによって前記学習済モデルを生成してもよい。 In the robot interference determination device according to one aspect of the present invention, the learning unit receives information indicating a change in the position of the target object up to the current time, and outputs the acceleration of the target object or a position after that. The learned model may be generated by performing.

前記の構成によれば、前記ロボット干渉判定装置は、前記対象物の、現時点までの位置の変化を示す情報を入力とし、前記対象物の加速度またはその後の位置を出力とする学習を行う。 According to the above configuration, the robot interference determination device receives the information indicating the change in the position of the target object up to the present time, and performs learning by using the acceleration of the target object or the subsequent position as the output.

例えば、前記ロボット干渉判定装置は、時刻ごとの（つまり、各時点における）、前記対象物の位置および速度ベクトルを入力とし、時刻ごとの、前記対象物の加速度を出力とする学習用データについて、学習を行う。 For example, the robot interference determination device, for each time (that is, at each time point), with the position and velocity vector of the target object as input, for each time, learning data that outputs the acceleration of the target object, Learn.

前記ロボット干渉判定装置は、前記対象物の、現時点までの位置の変化を示す情報を入力とし、前記対象物の加速度またはその後の位置を出力とする学習用データを学習することで、前記対象物の前記予測位置および前記予測速度ベクトルを算出するための、高精度な学習済モデルを生成することができるとの効果を奏する。 The robot interference determination device receives the information indicating the change in the position of the target object up to the present time, and learns the learning data in which the acceleration of the target object or the position after that is output to learn the target object. It is possible to generate a highly accurate learned model for calculating the predicted position and the predicted velocity vector of.

本発明の一態様に係るロボット干渉判定装置は、前記対象物を識別する識別部をさらに備え、前記予測部は、前記識別部による識別結果に応じて前記対象物の予測位置および予測速度ベクトルの算出方法を変更してもよい。 The robot interference determination device according to an aspect of the present invention further includes an identification unit that identifies the target object, and the prediction unit determines the predicted position and the predicted velocity vector of the target object in accordance with the identification result by the identification unit. The calculation method may be changed.

前記の構成によれば、前記ロボット干渉判定装置は、複数の前記対象物の各々を識別し、複数の前記対象物の各々の予測位置および予測速度ベクトルを、複数の前記対象物の各々に応じて、算出する。 According to the above configuration, the robot interference determination device identifies each of the plurality of objects and determines a predicted position and a predicted velocity vector of each of the plurality of objects according to each of the plurality of objects. And calculate.

ここで、例えば複数の作業者の各々は、身長、体重等が異なり、また、各々に特有の動作の癖などを備えている。したがって、複数の作業者の各々について、予測位置および予測速度ベクトルを高精度に算出するには、複数の作業者の各々の状態・動作の履歴情報を学習し、その学習結果を利用するのが望ましい。 Here, for example, each of the plurality of workers is different in height, weight, and the like, and has a peculiar habit of motion. Therefore, in order to calculate the predicted position and the predicted velocity vector with high accuracy for each of the plurality of workers, it is necessary to learn the history information of the state and motion of each of the plurality of workers and use the learning result. desirable.

前記ロボット干渉判定装置は、複数の前記対象物の各々を識別し、各々に応じた算出方法により各々の予測位置および予測速度ベクトルを算出するので、各々の予測位置および予測速度ベクトルを高精度に算出することができるとの効果を奏する。 Since the robot interference determination device identifies each of the plurality of objects and calculates each predicted position and predicted velocity vector by a calculation method according to each, the predicted position and predicted velocity vector can be calculated with high accuracy. It is possible to calculate.

本発明の一態様に係るロボット干渉判定装置において、前記対象物状態取得部は、非接触で前記対象物の二次元または三次元位置を計測する計測装置による計測結果の履歴に基づき、前記対象物の、現時点までの位置の変化を示す情報を取得してもよい。 In the robot interference determination device according to one aspect of the present invention, the object state acquisition unit is configured to measure the object based on a history of measurement results obtained by a measurement device that measures the two-dimensional or three-dimensional position of the object in a non-contact manner. The information indicating the change in position up to the present time may be acquired.

前記の構成によれば、前記ロボット干渉判定装置は、前記対象物の計測位置の履歴を用いて、前記対象物の、現時点までの位置の変化を示す情報を取得する。前記ロボット干渉判定装置は、前記対象物の、現時点までの位置の変化を示す情報として、例えば、現時点における、前記対象物の位置および速度ベクトルを取得する。 According to the above configuration, the robot interference determination device uses the history of the measurement positions of the target object to acquire information indicating the change in the position of the target object up to the present time. The robot interference determination device acquires, for example, a position and a velocity vector of the target object at the present time, as information indicating a change in the position of the target object up to the present time.

したがって、前記ロボット干渉判定装置は、前記対象物の、現時点までの位置の変化を示す情報を、前記対象物の計測位置の履歴を用いて高精度に算出し、取得することができるとの効果を奏する。 Therefore, the robot interference determination device can highly accurately calculate and acquire the information indicating the change in the position of the target object up to the present time using the history of the measured position of the target object. Play.

本発明の一態様に係るロボット干渉判定装置において、前記ロボット状態取得部は、前記ロボットの動作を制御するロボット制御装置から制御情報を取得することにより、前記可動部の前記予測位置および前記予測速度ベクトルを取得してもよい。 In the robot interference determination device according to an aspect of the present invention, the robot state acquisition unit acquires the control information from a robot control device that controls the operation of the robot, and thereby the predicted position and the predicted speed of the movable unit. You may get a vector.

前記の構成によれば、前記ロボット干渉判定装置は、前記ロボット制御装置から、前記ロボットに対する制御を規定する制御情報を取得することにより、前記可動部の前記予測位置および前記予測速度ベクトルを取得する。したがって、前記ロボット干渉判定装置は、前記制御情報から、前記可動部についての、高精度な前記予測位置および前記予測速度ベクトルを取得することができるとの効果を奏する。 According to the above configuration, the robot interference determination device acquires the predicted position and the predicted velocity vector of the movable part by acquiring control information that defines control of the robot from the robot control device. .. Therefore, the robot interference determination device has an effect of being able to acquire the highly accurate predicted position and the predicted velocity vector of the movable part from the control information.

前記制御情報は、例えば、前記ロボット制御装置が前記ロボットに対する制御を実行する際に用いる動作プログラム等であり、前記ロボット干渉判定装置は、動作プログラム等を解析して、前記可動部の予測位置および予測速度ベクトルを算出する。 The control information is, for example, an operation program or the like used when the robot control device executes control on the robot, and the robot interference determination device analyzes the operation program or the like to predict a predicted position of the movable part and Calculate the predicted velocity vector.

本発明の一態様に係るロボット干渉判定装置は、前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性があると判定した場合に、前記ロボットの動作を制御するロボット制御装置に対して干渉回避を指示する指示信号を送信する指示部をさらに備えてもよい。 A robot interference determination device according to an aspect of the present invention is a robot control that controls the operation of the robot when the interference determination unit determines that the contact between the object and the movable unit may occur. The apparatus may further include an instruction unit that transmits an instruction signal for instructing the device to avoid interference.

前記の構成によれば、前記ロボット干渉判定装置は、前記対象物と前記可動部との接触が生じる可能性があると判定した場合、前記ロボットの動作を制御するロボット制御装置に対して干渉回避を指示する指示信号を送信する。したがって、前記ロボット干渉判定装置は、接触が生じる可能性があると判定すると、前記ロボット制御装置に前記指示信号を送信して、接触を回避することができるとの効果を奏する。 According to the above configuration, the robot interference determination device avoids interference with the robot control device that controls the operation of the robot when determining that the contact between the object and the movable portion may occur. An instruction signal for instructing is transmitted. Therefore, when the robot interference determination device determines that a contact may occur, the robot interference determination device transmits the instruction signal to the robot control device to avoid the contact.

前記指示信号は、単に干渉の可能性を警告するだけの信号（警告信号）であってもよく、接触を回避するためのロボットの具体的な動作の決定は、前記ロボット制御装置に実行させてもよい。また、前記指示信号は、前記ロボットの動作内容を指示する信号であってもよく、例えば、前記ロボットの動作を停止させ、または、前記ロボットに干渉を回避させることを指示する信号であってもよい。さらに、前記指示信号は、前記ロボットの動作を詳細に規定する制御指令であってもよく、例えば、動作を停止させるまでの時間、干渉を回避するための動作の方向・時間・距離などの内容を含む信号であってもよい。 The instruction signal may be a signal (warning signal) that merely warns of the possibility of interference, and the robot control device is caused to determine the specific operation of the robot for avoiding contact. Good. Further, the instruction signal may be a signal instructing the operation content of the robot, for example, a signal instructing to stop the operation of the robot or avoid the interference of the robot. Good. Furthermore, the instruction signal may be a control command that defines the motion of the robot in detail, and includes, for example, the time until the motion is stopped, the direction, time, and distance of the motion to avoid interference. It may be a signal including.

本発明の一態様に係るロボット干渉判定装置において、前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性があると判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくともいずれか一方の調整指示を示す前記指示信号を送信してもよい。 In the robot interference determination device according to one aspect of the present invention, when the interference determination unit determines that contact between the object and the movable unit may occur, the instruction unit causes the robot control device to operate. Alternatively, the instruction signal indicating the instruction to adjust at least one of the moving speed and the trajectory of the movable portion may be transmitted.

前記の構成によれば、前記ロボット干渉判定装置は、前記対象物と前記可動部との接触が生じる可能性があると判定した場合、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくとも一方の調整指示を示す前記指示信号を送信する。したがって、前記ロボット干渉判定装置は、接触が生じる可能性があると判定すると、前記可動部の移動速度および軌道の少なくとも一方を調整させ、接触を回避することができるとの効果を奏する。 According to the above configuration, when the robot interference determination device determines that contact between the object and the movable portion may occur, the robot control device instructs the robot control device to move the moving speed of the movable portion and The instruction signal indicating the adjustment instruction for at least one of the tracks is transmitted. Therefore, when the robot interference determination device determines that there is a possibility of contact, it is possible to adjust at least one of the moving speed and the trajectory of the movable portion and avoid contact.

本発明の一態様に係るロボット干渉判定装置において、前記指示部による前記調整指示の後に、前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性がないと判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくともいずれか一方を、前記調整指示が行われる前の状態に戻す指示を示す前記指示信号を送信してもよい。 In the robot interference determination device according to one aspect of the present invention, when the interference determination unit determines that there is no possibility of contact between the object and the movable unit after the adjustment instruction by the instruction unit. The instructing unit transmits to the robot control device the instructing signal indicating an instruction to return at least one of the moving speed and the trajectory of the movable unit to the state before the adjustment instruction is given. Good.

前記の構成によれば、前記ロボット干渉判定装置は、前記調整指示の後に、前記対象物と前記可動部との接触が生じる可能性がなくなると、前記可動部の移動速度および軌道の少なくとも一方を、調整の前の状態に戻すように、前記ロボット制御装置に指示する。したがって、前記ロボット干渉判定装置は、前記調整指示の後に、前記対象物と前記可動部との接触が生じる可能性がなくなると、前記可動部の移動速度および軌道の少なくとも一方を、調整の前の状態に戻すことができるとの効果を奏する。 According to the above configuration, the robot interference determination device sets at least one of the moving speed and the trajectory of the movable part when the possibility of contact between the object and the movable part after the adjustment instruction disappears. , The robot controller is instructed to return to the state before the adjustment. Therefore, when the possibility of contact between the object and the movable part disappears after the adjustment instruction, the robot interference determination device sets at least one of the moving speed and the trajectory of the movable part before the adjustment. The effect that it can be returned to a state is produced.

本発明の一態様に係るロボット干渉判定装置において、前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性を示す可能性評価値が第１の閾値以上であると判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくともいずれか一方の調整指示を示す前記指示信号を送信するとともに、前記可能性評価値が、前記第１の閾値よりも高い第２の閾値以上となったと前記干渉判定部が判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部を停止させる指示を示す前記指示信号を送信してもよい。 In the robot interference determination device according to one aspect of the present invention, the interference determination unit determines that a possibility evaluation value indicating a possibility of contact between the object and the movable unit is equal to or greater than a first threshold value. In this case, the instruction unit transmits to the robot control device the instruction signal indicating an adjustment instruction of at least one of the moving speed and the trajectory of the movable unit, and the possibility evaluation value is When the interference determination unit determines that the interference threshold is equal to or higher than a second threshold that is higher than the first threshold, the instruction unit instructs the robot controller to instruct the robot controller to stop the movable unit. May be sent.

前記の構成によれば、前記ロボット干渉判定装置は、前記可能性評価値が第１の閾値以上であると、前記可動部の移動速度および軌道の少なくとも一方の調整を指示し、前記可能性評価値が第２の閾値以上となると、前記可動部の停止を指示する。つまり、前記ロボット干渉判定装置は、前記対象物と前記可動部との接触が生じる可能性に応じて、前記可動部の移動を制御する。前記対象物と前記可動部との接触が生じる可能性がそれほど高くない（つまり、第１の閾値以上で第２の閾値未満である）場合、前記ロボット干渉判定装置は、前記可動部を停止させずに、前記可動部の移動速度および軌道の少なくともいずれか一方を調整する。前記対象物と前記可動部との接触が生じる可能性が第２の閾値以上である場合、前記ロボット干渉判定装置は、前記可動部を停止させる。 According to the above configuration, the robot interference determination device instructs the adjustment of at least one of the moving speed and the trajectory of the movable part when the possibility evaluation value is equal to or more than the first threshold value, and the possibility evaluation is performed. When the value becomes equal to or larger than the second threshold value, the stop of the movable portion is instructed. That is, the robot interference determination device controls the movement of the movable part according to the possibility of contact between the object and the movable part. When the possibility of contact between the object and the movable part is not so high (that is, it is equal to or more than the first threshold value and less than the second threshold value), the robot interference determination device stops the movable part. Instead, at least one of the moving speed and the trajectory of the movable part is adjusted. When the possibility of contact between the object and the movable part is equal to or higher than the second threshold value, the robot interference determination device stops the movable part.

したがって、前記ロボット干渉判定装置は、接触が生じる可能性に応じて、接触を回避するに必要十分な動作を前記ロボットに実行させるので、接触を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the robot interference determination device causes the robot to perform a necessary and sufficient operation for avoiding the contact depending on the possibility of the contact, so that it is possible to prevent the contact and at the same time suppress the deterioration of the production efficiency and the space efficiency. The effect that can be achieved.

上記の課題を解決するために、本発明の一態様に係るロボット干渉判定方法は、所定の領域内に存在する対象物の、現時点までの位置の変化を示す情報を取得する対象物状態取得ステップと、ロボットにおける所定の可動部の所定時間後における予測位置および予測速度ベクトルを取得するロボット状態取得ステップと、前記対象物の、現時点までの位置の変化を示す情報に基づいて、前記所定時間後における前記対象物の予測位置および予測速度ベクトルを算出する予測ステップと、前記対象物の前記予測位置および前記予測速度ベクトルと、前記可動部の前記予測位置および前記予測速度ベクトルとに基づき、前記対象物と前記可動部との接触が生じる可能性があるか否かをリアルタイムで判定する干渉判定ステップと、を含んでいる。 In order to solve the above problems, a robot interference determination method according to an aspect of the present invention is an object state acquisition step of acquiring information indicating a change in position of an object existing in a predetermined area up to the present time. And a robot state acquisition step of acquiring a predicted position and a predicted velocity vector of a predetermined movable part of the robot after a predetermined time, and based on information indicating a change in the position of the target object up to the present time, the predetermined time A prediction step of calculating a predicted position and a predicted velocity vector of the target object, a predicted position and a predicted speed vector of the target object, and the target based on the predicted position and the predicted speed vector of the movable part. An interference determination step of determining in real time whether or not a contact between an object and the movable portion may occur.

前記の方法によれば、前記ロボット干渉判定方法は、前記対象物の、現時点までの位置の変化を示す情報を取得し、この現時点までの位置の変化を示す情報を用いて、前記対象物の前記予測位置および前記予測速度ベクトルを算出する。前記対象物の、現時点までの位置の変化を示す情報は、例えば、前記対象物の現時点における位置（現在位置）、および、前記対象物の現時点における速度ベクトル（現在速度ベクトル）である。また、図１５の表において入力として示す各種の情報も、各々、前記対象物の、現時点までの位置の変化を示す情報の例である。 According to the method, the robot interference determination method acquires information indicating a change in position of the object up to the present time, and uses the information indicating the change in position up to the present time to detect the object. The predicted position and the predicted velocity vector are calculated. The information indicating the change in the position of the object up to the present time is, for example, the current position of the object (current position) and the current velocity vector of the object (current velocity vector). Further, each of various kinds of information shown as inputs in the table of FIG. 15 is also an example of information indicating a change in position of the target object up to the present time.

そして、前記ロボット干渉判定方法は、算出した前記対象物の前記予測位置および前記予測速度ベクトルと、前記可動部の前記予測位置および前記予測速度ベクトルとに基づき、前記対象物と前記可動部との接触が生じる可能性があるか否かをリアルタイムで判定する。 Then, the robot interference determination method, based on the calculated predicted position and the predicted velocity vector of the target object, and the predicted position and the predicted velocity vector of the movable portion, between the target object and the movable portion. Determine in real time whether contact may occur.

前記ロボット干渉判定方法は、安全柵を用いずに前記ロボットと前記対象物との干渉を回避することができるので、生産現場等の省スペース化を実現することができる。 Since the robot interference determination method can avoid the interference between the robot and the object without using a safety fence, it is possible to realize space saving at a production site or the like.

また、前記ロボット干渉判定方法は、前記ロボットと前記対象物との、前記所定時間後（つまり、未来）における干渉の可能性を現時点で判定するので、干渉の可能性があると判定した場合にも、干渉回避のための処理を現時点で余裕を持って実行できる。 Further, the robot interference determination method determines the possibility of interference between the robot and the target object after the predetermined time (that is, in the future) at the present time. Therefore, when it is determined that there is a possibility of interference, Also, the process for avoiding interference can be executed with a margin at this moment.

ここで、現時点での干渉の可能性を現時点で判定する方法が、現時点での干渉の可能性があると判定した場合、現時点での干渉を回避するためには、前記ロボットの急減速および急停止等の動作が必要となり、どうしても生産効率が低下する。 Here, if the method for determining the possibility of interference at the present moment determines that there is the possibility of interference at the present moment, in order to avoid the interference at the present moment, sudden deceleration and sudden movement of the robot are performed. Operations such as stopping are required, and production efficiency is inevitably reduced.

これに対し、前記ロボット干渉判定方法は、未来における干渉の可能性を現時点で判定するので、現時点での干渉の可能性を現時点で判定する場合に比べて、干渉を回避するために必要な前記ロボットの動作を、円滑かつ必要最小限のものにすることができる。つまり、前記ロボット干渉判定方法は、前記ロボットと前記対象物との干渉を回避しつつ、前記ロボットの急減速および急停止等による生産効率の低下を抑制することができる。 On the other hand, since the robot interference determination method determines the possibility of interference in the future at the present time, it is necessary to avoid the interference as compared with the case of determining the possibility of interference at the present time at the present time. The operation of the robot can be made smooth and minimum required. That is, the robot interference determination method can prevent a decrease in production efficiency due to sudden deceleration and sudden stop of the robot while avoiding interference between the robot and the object.

したがって、前記ロボット干渉判定方法は、工場等の生産現場において、例えば作業者等である前記対象物と前記ロボットとの干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the robot interference determination method can prevent a decrease in production efficiency and space efficiency while avoiding interference between the robot and the object such as a worker in a production site such as a factory. Produce the effect of.

上記の課題を解決するために、本発明の一態様に係るロボット制御装置は、前記ロボット干渉判定装置から前記指示信号を受信する受信部と、前記指示信号に基づき、前記ロボットの動作を制御するロボット制御部と、を備えている。 In order to solve the above problems, a robot control device according to an aspect of the present invention controls a movement of the robot based on a receiving unit that receives the instruction signal from the robot interference determination device and the instruction signal. And a robot controller.

前記の構成によれば、前記ロボット制御装置は、前記ロボット干渉判定装置から前記指示信号を受信し、受信した前記指示信号に基づいて、前記ロボットの動作を制御する。したがって、前記ロボット制御装置は、工場等の生産現場において、例えば作業者等である前記対象物と前記ロボットとの干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 According to the above configuration, the robot control device receives the instruction signal from the robot interference determination device, and controls the operation of the robot based on the received instruction signal. Therefore, in the production site such as a factory, the robot control device can prevent a decrease in production efficiency and space efficiency while avoiding interference between the robot and the object such as an operator. Produce an effect.

上記の課題を解決するために、本発明の一態様に係るロボット制御システムは、前記ロボット干渉判定装置と、前記ロボット制御装置と、非接触で前記対象物の二次元または三次元位置を計測し、計測結果を前記ロボット干渉判定装置に送信する計測装置と、を含んでいる。 In order to solve the above problems, a robot control system according to an aspect of the present invention measures the two-dimensional or three-dimensional position of the object in a non-contact manner with the robot interference determination device, the robot control device. , A measuring device for transmitting the measurement result to the robot interference determination device.

前記の構成によれば、前記ロボット制御システムは、前記ロボット干渉判定装置と、前記ロボット制御装置と、前記計測結果を前記ロボット干渉判定装置に送信する前記計測装置とを含む。したがって、前記ロボット制御システムは、工場等の生産現場において、例えば作業者等である前記対象物と前記ロボットとの干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 According to the above configuration, the robot control system includes the robot interference determination device, the robot control device, and the measurement device that transmits the measurement result to the robot interference determination device. Therefore, in the production site such as a factory, the robot control system can prevent a decrease in production efficiency and space efficiency while avoiding interference between the robot and the object such as a worker. Produce an effect.

本発明の一態様に係る人動作予測装置は、対象物である人の、位置の変化を示す情報を取得する対象物状態取得部と、前記対象物の位置の変化を示す情報に基づいて、その後における前記対象物の予測位置、予測速度ベクトルまたは予測加速度ベクトルを、学習済モデルによって予測する予測部と、を備え、前記予測部は、パラメータ調整を必要としないオンライン追加学習により前記学習済モデルを更新する学習部を備え、前記学習部は、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習することによって前記学習済モデルを更新する。 The human motion prediction apparatus according to an aspect of the present invention is based on an object state acquisition unit that acquires information indicating a change in position of a person who is an object, and information indicating a change in position of the object, A prediction unit that predicts a predicted position, a predicted velocity vector, or a predicted acceleration vector of the target object thereafter by a learned model, wherein the prediction unit is the learned model by online additional learning that does not require parameter adjustment. And a learning unit that updates the learned model by learning at least one history of the position, velocity vector, and acceleration vector of the object at each time point.

前記の構成によれば、パラメータ調整なしに学習済モデルを更新することができるので、動作パターンが時間経過と共に変化し得る人の動作を適切に予測することができる。 According to the above configuration, since the learned model can be updated without parameter adjustment, it is possible to appropriately predict a person's motion whose motion pattern may change with time.

前記学習部は、学習アルゴリズムとしてＤＬＴ（Dynamics Learning Tree）またはＤＢＴ（Deep Binary Tree）を用いてもよい。 The learning unit may use DLT (Dynamics Learning Tree) or DBT (Deep Binary Tree) as a learning algorithm.

前記学習部は、前記対象物の、ある時点までの位置の変化を示す情報を入力とし、前記対象物の加速度またはその後の位置を出力とする学習を行うことによって前記学習済モデルを更新してもよい。 The learning unit updates the learned model by performing learning with the information indicating the change in the position of the object up to a certain time as an input and performing the acceleration of the object or the position after that as output. Good.

前記予測部は、所定期間における前記対象物の位置の変化を示す情報を前記学習済モデルの入力とすることで、前記対象物の前記予測位置、前記予測速度ベクトル、または予測加速度ベクトルを予測してもよい。 The prediction unit predicts the predicted position of the target, the predicted velocity vector, or the predicted acceleration vector by inputting information indicating the change in the position of the target in a predetermined period as the input of the learned model. May be.

前記対象物は、複数の作業を行う作業者であり、前記所定期間が、予測直前の第１作業の期間だけでなく、前記第１作業の前の第２作業の期間も含むように、前記所定期間が設定されていてもよい。 The object is a worker who performs a plurality of works, and the predetermined period includes not only the period of the first work immediately before the prediction but also the period of the second work before the first work. The predetermined period may be set.

前記の構成によれば、学習部は、複数の作業の関連性を学習することができる。そのため、作業者の動きを適切に予測することができる。 According to the above configuration, the learning unit can learn the relevance of a plurality of tasks. Therefore, the movement of the worker can be appropriately predicted.

前記予測部は、前記所定期間における前記対象物の位置の変化を示す情報に、第１時間方向重み付きフィルタを適用したものを、前記学習済モデルの入力とすることで、前記対象物の前記予測位置、前記予測速度ベクトル、または予測加速度ベクトルを予測してもよい。 The predicting unit applies the first time-direction weighted filter to the information indicating the change in the position of the target object in the predetermined period as an input of the learned model, thereby The predicted position, the predicted velocity vector, or the predicted acceleration vector may be predicted.

前記学習部は、対象時刻の前後を含む期間における前記対象物の位置の変化を示す情報に、前記第１時間方向重み付きフィルタとは異なる第２時間方向重み付きフィルタを適用したものを前記対象時刻に関する入力として、学習を行い、前記予測部は、対象時刻以前の期間における前記対象物の位置の変化を示す情報に、前記第１時間方向重み付きフィルタを適用したものを、前記学習済モデルの入力とすることで、前記対象時刻より後の前記対象物の前記予測位置、前記予測速度ベクトル、または予測加速度ベクトルを予測してもよい。 The learning unit applies the second time-direction weighted filter different from the first time-direction weighted filter to the information indicating the change in the position of the target object in a period including before and after the target time. Learning is performed as an input regarding time, and the prediction unit applies the first time-direction weighted filter to information indicating a change in the position of the target object in a period before the target time, the learned model. May be used to predict the predicted position, the predicted velocity vector, or the predicted acceleration vector of the target object after the target time.

前記の構成によれば、学習時に用いる時間方向重み付きフィルタと、予測時に用いる時間方向重み付きフィルタとを、それぞれ最適化することができる。すなわち、学習に適した時間方向重み付きフィルタと、予測に適した時間方向重み付きフィルタとを用いることができ、予測の精度を向上させることができる。 According to the above configuration, the time-direction weighted filter used during learning and the time-direction weighted filter used during prediction can be optimized. That is, a time-direction weighted filter suitable for learning and a time-direction weighted filter suitable for prediction can be used, and the accuracy of prediction can be improved.

前記対象物の位置の変化を示す情報は、前記人の部位の位置、速度ベクトルまたは加速度ベクトルを含んでもよい。 The information indicating the change in the position of the object may include a position of the human body part, a velocity vector, or an acceleration vector.

前記対象物の位置の変化を示す情報は、前記人の複数の部位の位置、速度ベクトルまたは加速度ベクトルを含んでもよい。 The information indicating the change in the position of the object may include the position, velocity vector, or acceleration vector of the plurality of parts of the person.

本発明の一態様に係る人動作予測方法は、対象物である人の、位置の変化を示す情報を取得する対象物状態取得ステップと、前記対象物の位置の変化を示す情報に基づいて、その後における前記対象物の予測位置、予測速度ベクトルまたは予測加速度ベクトルを、学習済モデルによって予測する予測ステップと、パラメータ調整を必要としないオンライン追加学習により前記学習済モデルを更新する学習ステップであって、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習することによって前記学習済モデルを更新する学習ステップと、を含む。 A human motion prediction method according to an aspect of the present invention is based on an object state acquisition step of acquiring information indicating a change in position of a person who is an object, and information indicating a change in position of the object, A predicted step of predicting the predicted position, predicted velocity vector or predicted acceleration vector of the object thereafter, and a learning step of updating the learned model by online additional learning that does not require parameter adjustment, A learning step of updating the learned model by learning at least one history of the position, velocity vector, and acceleration vector of the object at each time point.

本発明の一態様によれば、工場等の生産現場において作業者等の安全を確保しつつ、生産効率およびスペース効率の低下を回避することができるとの効果を奏する。 According to one aspect of the present invention, it is possible to avoid a decrease in production efficiency and space efficiency while ensuring the safety of workers and the like in a production site such as a factory.

本発明の実施形態１に係る干渉判定装置等の要部構成を示すブロック図である。FIG. 3 is a block diagram showing a main configuration of an interference determination device and the like according to the first exemplary embodiment of the present invention. 図１の干渉判定装置を含む制御システムの全体概要を示す図である。It is a figure which shows the whole control system including the interference determination apparatus of FIG. 図２の制御システムにおいて実行される処理の概要を示すフロー図である。It is a flowchart which shows the outline of the process performed in the control system of FIG. 図３のフロー図における人軌道計算処理までの詳細を示すフロー図である。It is a flowchart which shows the detail to a human trajectory calculation process in the flowchart of FIG. 図３のフロー図における未来干渉判定処理からアームコントロール処理までの詳細を示すフロー図である。FIG. 4 is a flowchart showing details from future interference determination processing to arm control processing in the flowchart of FIG. 3. 図１の干渉判定装置が実行する学習処理と、学習処理の結果を利用した人軌道予測処理とについて説明する図である。It is a figure explaining the learning process which the interference determination apparatus of FIG. 1 performs, and the human trajectory prediction process using the result of a learning process. 図１の干渉判定装置が実行する未来干渉判定処理の一例を説明する図である。It is a figure explaining an example of the future interference determination process which the interference determination apparatus of FIG. 1 performs. 図２の制御システムを適用する環境の一例を示す図である。It is a figure which shows an example of the environment which applies the control system of FIG. センサの計測結果を利用して作業者の重心を算出する方法の一例を説明する図である。It is a figure explaining an example of a method of calculating a barycenter of a worker using a measurement result of a sensor. 学習処理の前に実行する学習用データの整形方法の一例を示す図である。It is a figure which shows an example of the shaping method of the data for learning performed before a learning process. 学習処理によって生成した予測用データの整形方法の一例を示す図である。It is a figure which shows an example of the shaping method of the prediction data produced|generated by the learning process. 図１の干渉判定装置が実行する人軌道予測処理の精度を示す図である。It is a figure which shows the precision of the human trajectory prediction process which the interference determination apparatus of FIG. 1 performs. 図１の干渉判定装置が実行する人軌道予測処理の精度を示す、図１２とは別の図である。FIG. 13 is a diagram different from FIG. 12 showing the accuracy of the human trajectory prediction process executed by the interference determination device of FIG. 1. 図８に例示したセンサの配置例とは異なる配置例を示す図である。It is a figure which shows the example of arrangement|positioning different from the example of arrangement|positioning of the sensor illustrated in FIG. 図１の干渉判定装置が学習する学習用データの例を示す図である。It is a figure which shows the example of the data for learning which the interference determination apparatus of FIG. 1 learns. 人動作予測装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of a human motion prediction apparatus. 参考例の入力データと予測結果とを示す図である。It is a figure which shows the input data and prediction result of a reference example. 動作例の人動作予測装置６０の入力データと予測結果とを示す図である。It is a figure which shows the input data of the human motion prediction apparatus 60 of an operation example, and a prediction result. 時間窓の幅と予測誤差との関係を示す図である。It is a figure which shows the relationship between the width of a time window and a prediction error.

〔実施形態１〕
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図１から図１５に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。本実施の形態においては、例えば干渉判定装置１０をロボット干渉判定装置の典型例として説明を行う。本発明の一態様に係る干渉判定装置１０についての理解を容易にするため、先ず、干渉判定装置１０を含む制御システム１の概要を、図２を用いて説明する。 [Embodiment 1]
Hereinafter, an embodiment according to one aspect of the present invention (hereinafter, also referred to as “the present embodiment”) will be described based on FIGS. 1 to 15. In the drawings, the same or corresponding parts will be denoted by the same reference characters and description thereof will not be repeated. In the present embodiment, for example, the interference determination device 10 will be described as a typical example of a robot interference determination device. In order to facilitate understanding of the interference determination device 10 according to one aspect of the present invention, first, an outline of the control system 1 including the interference determination device 10 will be described with reference to FIG.

§１．適用例
（制御システムの全体概要）
図２は、制御システム１の全体概要を示す図である。図２に例示するように、制御システム１は、干渉判定装置１０と、ロボット制御装置であるコントローラ２０と、センサ４０（計測装置）とを含んでいる。図２においては、センサ４０として、センサ４０（１）およびセンサ４０（２）が描かれているが、制御システム１が含むセンサ４０が複数であることは必須ではなく、制御システム１が含むセンサ４０は１つであってもよい。以下の説明において、センサ４０（１）とセンサ４０（２）とを区別する必要がない場合には、単に「センサ４０」と表記する。 §1. Application example (overall overview of control system)
FIG. 2 is a diagram showing an overall outline of the control system 1. As illustrated in FIG. 2, the control system 1 includes an interference determination device 10, a controller 20 that is a robot control device, and a sensor 40 (measurement device). In FIG. 2, the sensor 40(1) and the sensor 40(2) are illustrated as the sensor 40, but it is not essential that the control system 1 includes a plurality of sensors 40, and the sensor included in the control system 1 is not essential. There may be one 40. In the following description, when it is not necessary to distinguish between the sensor 40(1) and the sensor 40(2), they are simply referred to as "sensor 40".

制御システム１は、図２に示すような、ロボット３０と作業者５０（対象物）とが共存する工場等の生産現場において、ロボット３０と作業者５０とが不用意に接触するのを回避するための制御を実行する。特に、制御システム１は、作業者５０と、ロボット３０のアーム等、多関節マニピュレータを備えるロボット３０の所定部分（例えば、所定の可動部）とが不用意に接触するのを回避するための制御を実行する。ただし、以下の説明においては、記載の簡潔性を担保するため、作業者５０と「ロボット３０の所定部分」との接触を回避することを、作業者５０とロボット３０との接触を回避すると記載することがある。つまり、以下の説明において、「ロボット３０」との語は、ロボット３０の全体だけでなく、作業者５０との接触が回避されるべき「ロボット３０の所定部分」を指す場合にも用いる。同様に、以下の説明においては、「速度ベクトル」および「加速度ベクトル」は、各々、「速度」および「加速度」と略記することがある。 The control system 1 avoids careless contact between the robot 30 and the worker 50 in a production site such as a factory where the robot 30 and the worker 50 (object) coexist as shown in FIG. Control to run. In particular, the control system 1 is a control for avoiding inadvertent contact between the worker 50 and a predetermined part (for example, a predetermined movable part) of the robot 30 including the articulated manipulator such as the arm of the robot 30. To execute. However, in the following description, in order to ensure the simplicity of the description, it is described that avoiding the contact between the worker 50 and the “predetermined part of the robot 30” is avoiding the contact between the worker 50 and the robot 30. There is something to do. That is, in the following description, the term “robot 30” is used not only to refer to the entire robot 30, but also to “a predetermined portion of the robot 30” in which contact with the worker 50 should be avoided. Similarly, in the following description, “velocity vector” and “acceleration vector” may be abbreviated as “velocity” and “acceleration”, respectively.

センサ４０は、主として作業者５０（対象物）の二次元位置または三次元位置を非接触方式で計測し、特に、時間ごとの作業者５０の二次元位置または三次元位置を非接触方式で計測し、計測結果を干渉判定装置１０に通知する。センサ４０は、例えば、公知のライダー（LiDAR、Light Detection and Ranging）またはレーダー（RADAR、Radio Detection and Ranging）などを用いて実現することができ、例えば、作業者５０の可動領域、つまり、作業領域全体を監視できるように配置される。センサ４０は、例えばEthernet（登録商標）等の産業用ネットワークを介して、干渉判定装置１０に接続している。 The sensor 40 mainly measures the two-dimensional position or three-dimensional position of the worker 50 (object) by a non-contact method, and particularly measures the two-dimensional position or three-dimensional position of the worker 50 for each time by a non-contact method. Then, the measurement result is notified to the interference determination device 10. The sensor 40 can be realized by using, for example, a publicly known rider (LiDAR, Light Detection and Ranging) or radar (RADAR, Radio Detection and Ranging), and the like. Arranged so that the whole can be monitored. The sensor 40 is connected to the interference determination device 10 via an industrial network such as Ethernet (registered trademark).

図２に示すように、制御システム１は、複数のセンサ４０を用いて、作業者５０の二次元位置または三次元位置を計測してもよく、その場合、異なる種類の複数のセンサ４０を組み合わせてもよく、つまり、異種ＦＵＳＩＯＮ構成としてもよい。例えば、図２において、センサ４０（１）およびセンサ４０（２）の一方を二次元センサとし、他方を三次元センサとしてもよい。異なる種類の複数のセンサ４０を組み合わせて用いることにより、多元的な計測が可能となる。また、制御システム１は、同種の複数のセンサ４０を用いることによって、計測する作業者５０の二次元位置または三次元位置の精度を向上させてもよい。ただし、前述の通り、制御システム１が含むセンサ４０が複数であることは必須ではなく、制御システム１は１つのセンサ４０によって、作業者５０の二次元位置または三次元位置を計測してもよい。 As shown in FIG. 2, the control system 1 may measure the two-dimensional position or the three-dimensional position of the worker 50 by using a plurality of sensors 40. In that case, a plurality of sensors 40 of different types are combined. Alternatively, that is, a heterogeneous FUSION configuration may be adopted. For example, in FIG. 2, one of the sensor 40(1) and the sensor 40(2) may be a two-dimensional sensor and the other may be a three-dimensional sensor. By using a plurality of different types of sensors 40 in combination, multidimensional measurement is possible. Further, the control system 1 may improve the accuracy of the two-dimensional position or the three-dimensional position of the worker 50 to be measured by using the plurality of sensors 40 of the same type. However, as described above, it is not essential that the control system 1 includes a plurality of sensors 40, and the control system 1 may measure the two-dimensional position or the three-dimensional position of the worker 50 with one sensor 40. ..

コントローラ２０は、ロボット３０の動作を制御するロボット制御装置であり、例えば、後述するアームタスク２３に格納されている目標軌道および動作プログラムなどのデータに従って、ロボット３０の動作を制御する。また、コントローラ２０は、干渉判定装置１０からの指示信号に従って、ロボット３０の動作を制御する。例えば、コントローラ２０は、目標軌道を用いて生成したロボット３０への指令値を、干渉判定装置１０からの指示信号に従って修正し、修正した指令値に従った動作をロボット３０に実行させる。コントローラ２０は、例えばＰＬＣ（Programmable Logic Controller）、ＩＰＣ（Industrial PC）などを用いて実現することができる。 The controller 20 is a robot control device that controls the operation of the robot 30, and controls the operation of the robot 30 in accordance with data such as a target trajectory and an operation program stored in an arm task 23 described later, for example. Further, the controller 20 controls the operation of the robot 30 according to the instruction signal from the interference determination device 10. For example, the controller 20 corrects the command value to the robot 30 generated using the target trajectory according to the command signal from the interference determination device 10, and causes the robot 30 to perform the operation according to the corrected command value. The controller 20 can be realized using, for example, a PLC (Programmable Logic Controller), an IPC (Industrial PC), or the like.

ロボット３０は、コントローラ２０と接続しており、コントローラ２０によって動作を制御され、例えば、複数のアームが複数の関節で接続されている多関節マニピュレータを備える。 The robot 30 is connected to the controller 20, and its operation is controlled by the controller 20. For example, the robot 30 includes a multi-joint manipulator in which a plurality of arms are connected by a plurality of joints.

干渉判定装置１０は、センサ４０から取得する「時間ごとの作業者５０の二次元位置または三次元位置」を用いて、作業者５０の未来の（言い換えれば、将来の）「位置（二次元位置または三次元位置）および速度ベクトル」を予測する。例えば、干渉判定装置１０は、ｔ０時点の「作業者５０の、位置および速度ベクトル」を用いて、ｔ０＋Δｔ時点の「作業者５０の、位置および速度ベクトル」を、ｔ０時点で予測する。 The interference determination device 10 uses the “two-dimensional position or three-dimensional position of the worker 50 for each time” acquired from the sensor 40 to determine the future (in other words, future) “position (two-dimensional position) of the worker 50. Or three-dimensional position) and velocity vector". For example, the interference determination unit 10, "of the worker 50, the position and velocity vector" of the t 0 point using a "of the worker 50, the position and velocity vector" of the t 0 + Delta] t time to, prediction in t 0 point To do.

また、干渉判定装置１０は、コントローラ２０（特に、アームタスク２３）から、例えば、ロボット３０の動作を規定する「目標軌道および動作プログラム」などの情報（制御情報）を取得する。干渉判定装置１０は、取得した情報を用いて、ロボット３０（例えば、ロボット３０のアーム）の未来の「位置（二次元位置または三次元位置）および速度ベクトル」を予測する（算出する）。例えば、干渉判定装置１０は、ロボット３０の制御情報を用いて、ｔ０＋Δｔ時点の「ロボット３０の、位置および速度ベクトル」を、ｔ０時点で予測する。 Further, the interference determination device 10 acquires information (control information) such as “target trajectory and motion program” that defines the motion of the robot 30 from the controller 20 (particularly, the arm task 23). The interference determination device 10 predicts (calculates) the future “position (two-dimensional position or three-dimensional position) and velocity vector” of the robot 30 (for example, the arm of the robot 30) using the acquired information. For example, the interference determination device 10 uses the control information of the robot 30 to predict the “position and velocity vector of the robot 30” at time t 0 +Δt at time t 0 .

干渉判定装置１０は、作業者５０の未来（ｔ０＋Δｔ時点）の速度ベクトルとロボット３０の未来の速度ベクトルとを用いて、未来における安全距離を算出する。また、干渉判定装置１０は、作業者５０の未来（ｔ０＋Δｔ時点）の位置とロボット３０の未来の位置とを用いて、未来における分離距離を算出する。干渉判定装置１０は、算出した「未来（ｔ０＋Δｔ時点）における安全距離」と「未来（ｔ０＋Δｔ時点）における分離距離」とを比較して、作業者５０とロボット３０との未来における干渉の可能性を判定し、判定結果をコントローラ２０に通知する。「安全距離」および「分離距離」の概念について、詳細は図６を用いて後述する。 The interference determination device 10 calculates a safe distance in the future by using the future velocity vector of the worker 50 (at time t 0 +Δt) and the future velocity vector of the robot 30. Further, the interference determination device 10 uses the future position of the worker 50 (at time t 0 +Δt) and the future position of the robot 30 to calculate the separation distance in the future. The interference determination device 10 compares the calculated “safety distance at the future (t 0 +Δt time)” with the “separation distance at the future (t 0 +Δt time)” and compares the worker 50 with the robot 30 in the future. Is determined and the determination result is notified to the controller 20. Details of the concepts of “safety distance” and “separation distance” will be described later with reference to FIG.

具体的には、「未来における分離距離」が「未来における安全距離」よりも大きい場合、干渉判定装置１０は、作業者５０とロボット３０とが未来において干渉する可能性はないと判定し、この判定結果をコントローラ２０に通知する。また、「未来における分離距離」が「未来における安全距離」以下である場合、干渉判定装置１０は、作業者５０とロボット３０とが未来において干渉する可能性があると判定し、干渉を回避する指示をコントローラ２０に送信する。干渉判定装置１０は、干渉を回避する指示と共に、作業者５０の未来の「位置および速度ベクトル」等の干渉状態情報を、コントローラ２０に送信してもよい。 Specifically, when the “separation distance in the future” is larger than the “safety distance in the future”, the collision determination device 10 determines that there is no possibility that the worker 50 and the robot 30 will interfere with each other in the future. The controller 20 is notified of the determination result. If the “separation distance in the future” is less than or equal to the “safety distance in the future”, the interference determination device 10 determines that the worker 50 and the robot 30 may interfere with each other in the future, and avoids the interference. The instruction is transmitted to the controller 20. The interference determination device 10 may transmit interference state information such as a future “position and velocity vector” of the worker 50 to the controller 20 together with an instruction to avoid interference.

干渉判定装置１０により干渉可能性があると判定されると、干渉判定装置１０またはコントローラ２０は、ロボット３０の動作の予定（軌道計画）を修正して、未来における作業者５０とロボット３０との干渉を回避する。 When it is determined by the interference determination device 10 that there is a possibility of interference, the interference determination device 10 or the controller 20 corrects the operation schedule (trajectory plan) of the robot 30 so that the worker 50 and the robot 30 in the future may be corrected. Avoid interference.

例えば、干渉判定装置１０は、「作業者５０とロボット３０とが未来（ｔ＝ｔ０＋Δｔ）において干渉し得る」と現時点（ｔ＝ｔ０）で判定すると、「未来における安全距離」を「未来における分離距離」以下とする指示（指示信号）を、コントローラ２０に送信してもよい。すなわち、干渉判定装置１０は、「未来における安全距離」を「未来における分離距離」以下とする指示を、コントローラ２０に現時点で送信してもよい。干渉判定装置１０は、ロボット３０の、現時点から未来までの「速度ベクトルおよび目標軌道」の少なくとも一方を調整するように、コントローラ２０に現時点で指示することで、「未来における安全距離」を「未来における分離距離」以下の大きさにしてもよい。 For example, the interference determination device 10 determines that “the safe distance in the future” is “when the worker 50 and the robot 30 may interfere in the future (t=t 0 +Δt)” and at the present time (t=t 0 ). An instruction (instruction signal) to set the separation distance in the future or less may be transmitted to the controller 20. That is, the interference determination device 10 may transmit an instruction to set the “safety distance in the future” to be equal to or less than the “separation distance in the future” to the controller 20 at the present time. The interference determination device 10 instructs the controller 20 at the present time to adjust at least one of the "speed vector and the target trajectory" of the robot 30 from the present time to the future, thereby setting the "safety distance in the future" to the "future." The size may be equal to or smaller than the “separation distance in.

ただし、干渉可能性があると判定した干渉判定装置１０は、この判定結果と干渉状態情報とをコントローラ２０に送信し、干渉回避のための軌道計画の具体的な修正内容の決定については、コントローラ２０に実行させるようにしてもよい。 However, the interference determination device 10 that determines that there is a possibility of interference transmits the determination result and the interference state information to the controller 20, and the controller determines the specific correction content of the trajectory plan for avoiding interference. 20 may be made to perform.

（干渉判定装置についての整理）
干渉判定装置１０は、「未来における安全距離」および「未来における分離距離」の算出を動的に（つまり、随時）算出し、未来における干渉可能性の判定（干渉判定）を動的に行って、判定結果をコントローラ２０に通知する。干渉判定装置１０は、干渉の可能性があると判定すると、適宜、干渉の回避をコントローラ２０に指示し、例えば、ロボット３０の速度ベクトルおよび軌道の少なくとも一方を修正させる。言い換えれば、干渉判定装置１０は、時々刻々に、未来における干渉判定を行って、ロボット３０の速度ベクトルおよび軌道の少なくとも一方の修正などを、時々刻々に指示する。 (Organization of interference determination device)
The interference determination device 10 dynamically (ie, at any time) calculates the “safety distance in the future” and the “separation distance in the future”, and dynamically determines the possibility of interference in the future (interference determination). , Notifies the controller 20 of the determination result. When determining that there is a possibility of interference, the interference determination device 10 appropriately instructs the controller 20 to avoid interference, and corrects at least one of the velocity vector and the trajectory of the robot 30, for example. In other words, the interference determination device 10 makes future interference determinations every moment, and gives instructions every moment to modify at least one of the velocity vector and the trajectory of the robot 30.

したがって、干渉判定装置１０は、安全柵を用いずにロボット３０と作業者５０との干渉を回避することができるので、生産現場等の省スペース化を実現することができる。また、干渉判定装置１０は、未来における干渉可能性の判定に基づいて、現在から未来までのロボット３０の速度ベクトルおよび目標軌道の少なくとも一方を調整するので、ロボット３０によるスムーズな干渉回避動作を計画することができる。言い換えれば、未来についての予測情報を用いてロボット３０の動作を計画するので、ロボット３０の急減速、無駄な減速、無駄な停止などの発生を抑制することができ、成功率の高い軌道（つまり、動作の計画）を生成することが可能となる。「成功率が低い」とは、例えば、ロボット３０と作業者５０との干渉を回避するために、ロボット３０の動作の計画（軌道）を何度も作り直す必要があることをいう。ユーザは、干渉判定装置１０を用いることにより、生産現場等の省スペース化および生産効率の向上を実現することができる。 Therefore, the interference determination device 10 can avoid the interference between the robot 30 and the worker 50 without using a safety fence, and thus can save space in a production site or the like. In addition, the interference determination device 10 adjusts at least one of the velocity vector and the target trajectory of the robot 30 from the present time to the future based on the determination of the possibility of interference in the future, so a smooth interference avoidance operation by the robot 30 is planned. can do. In other words, since the operation of the robot 30 is planned using the prediction information about the future, it is possible to suppress the sudden deceleration, the unnecessary deceleration, the unnecessary stop, etc. of the robot 30, and the trajectory with a high success rate (that is, , An operation plan) can be generated. “Low success rate” means that, for example, in order to avoid the interference between the robot 30 and the worker 50, it is necessary to recreate the operation plan (trajectory) of the robot 30 many times. By using the interference determination device 10, the user can realize space saving in a production site and the like and improvement in production efficiency.

すなわち、干渉判定装置１０（ロボット干渉判定装置）は、所定の領域内に存在する作業者５０（対象物）の、現時点（ｔ０）までの位置の変化を示す情報（例えば、現時点における現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０））を取得する人状態情報生成部１１２（対象物状態取得部）と、ロボット３０（ロボットにおける所定の可動部）の所定時間Δｔ後における予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）を取得するロボット状態取得部１２１と、作業者５０の現時点までの位置の変化を示す情報に基づいて、所定時間Δｔ後における作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を算出する人軌道予測部１１３（予測部）と、作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）と、ロボット３０の予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）とに基づき、作業者５０とロボット３０との接触が生じる可能性があるか否かをリアルタイムで判定する未来干渉判定部１２２（干渉判定部）と、を備えている。 That is, the interference determination device 10 (robot interference determination device) uses information indicating a change in position of the worker 50 (object) existing in a predetermined area up to the current time (t 0 ) (for example, the current position at the current time). x h (t 0 ) and the current velocity vector v h (t 0 )) after a predetermined time Δt between the human state information generation unit 112 (object state acquisition unit) and the robot 30 (a predetermined movable unit in the robot). At a predetermined time based on the robot state acquisition unit 121 that acquires the predicted position x r (t 0 +Δt) and the predicted velocity vector v r (t 0 +Δt) at The human trajectory prediction unit 113 (prediction unit) that calculates the predicted position x h (t 0 +Δt) of the worker 50 and the predicted velocity vector v h (t 0 +Δt) after Δt, and the predicted position x h (of the worker 50) Based on t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt), the predicted position x r (t 0 +Δt) of the robot 30, and the predicted velocity vector v r (t 0 +Δt), the worker 50 and the robot 30. And a future interference determination unit 122 (interference determination unit) that determines in real time whether or not contact with is likely to occur.

前記の構成によれば、干渉判定装置１０は、「作業者５０の、現時点までの位置の変化を示す情報」を取得し、この「現時点までの位置の変化を示す情報」を用いて、所定時間Δｔ後における作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を予測する（算出する）。「作業者５０の、現時点までの位置の変化を示す情報」は、例えば、作業者５０の現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０）である。また、図１５の表において入力として示す各種の情報も、各々、前記対象物の、現時点までの位置の変化を示す情報の例である。 According to the above configuration, the interference determination device 10 acquires “information indicating a change in position of the worker 50 up to the present time” and uses the “information indicating a change in position up to the present time” to determine a predetermined value. The predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) of the worker 50 after the time Δt are predicted (calculated). The “information indicating the change in position of the worker 50 up to the present time” is, for example, the current position x h (t 0 ) of the worker 50 and the current velocity vector v h (t 0 ). Further, each of various kinds of information shown as inputs in the table of FIG. 15 is also an example of information indicating a change in position of the target object up to the present time.

そして、干渉判定装置１０は、算出した作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）と、ロボット３０の予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）とに基づき、作業者５０とロボット３０との接触が生じる可能性があるか否かをリアルタイムで判定する。 Then, the interference determination device 10 calculates the predicted position x h (t 0 +Δt) of the worker 50 and the predicted velocity vector v h (t 0 +Δt), and the predicted position x r (t 0 +Δt) and the predicted position of the robot 30. Based on the velocity vector v r (t 0 +Δt), it is determined in real time whether or not the contact between the worker 50 and the robot 30 may occur.

干渉判定装置１０は、安全柵を用いずにロボット３０と作業者５０との干渉を回避することができるので、生産現場等の省スペース化を実現することができる。 Since the interference determination device 10 can avoid the interference between the robot 30 and the worker 50 without using a safety fence, it is possible to realize space saving at a production site or the like.

また、干渉判定装置１０は、ロボット３０と作業者５０との、所定時間Δｔ（つまり、未来）における干渉の可能性を現時点ｔ０で判定するので、干渉の可能性があると判定した場合にも、干渉回避のための処理を現時点ｔ０で余裕を持って実行できる。 Further, the interference determination device 10 determines the possibility of interference between the robot 30 and the worker 50 in the predetermined time Δt (that is, the future) at the present time t 0 , and therefore when it is determined that there is a possibility of interference. Also, the process for avoiding interference can be executed with a margin at the present time t 0 .

ここで、現時点ｔ０での干渉の可能性を現時点ｔ０で判定する装置が、現時点ｔ０での干渉の可能性があると判定した場合、現時点ｔ０での干渉を回避するためには、ロボット３０の急減速および急停止等の動作が必要となり、どうしても生産効率が低下する。 Here, if the apparatus for determining the possibility of interference at the moment t 0 at the moment t 0 is, it is determined that there is a possibility of interference at the present time t 0, in order to avoid interference at the present time t 0 is Therefore, operations such as sudden deceleration and sudden stop of the robot 30 are required, which inevitably reduces the production efficiency.

これに対し、干渉判定装置１０は、未来における干渉の可能性を現時点ｔ０で判定するので、現時点ｔ０での干渉の可能性を現時点ｔ０で判定する場合に比べて、干渉を回避するために必要なロボット３０の動作を、円滑かつ必要最小限のものにすることができる。つまり、干渉判定装置１０は、ロボット３０と作業者５０との干渉を回避しつつ、ロボット３０の急減速および急停止等による生産効率の低下を抑制することができる。 On the other hand, since the interference determination device 10 determines the possibility of interference in the future at the present time t 0 , it avoids the interference as compared with the case of determining the possibility of interference at the present time t 0 at the present time t 0. Therefore, the operation of the robot 30 necessary for the purpose can be performed smoothly and to the minimum required. In other words, the interference determination device 10 can prevent a decrease in production efficiency due to sudden deceleration and sudden stop of the robot 30 while avoiding interference between the robot 30 and the worker 50.

したがって、干渉判定装置１０は、工場等の生産現場において、例えば作業者５０等である人（対象物）とロボット３０との干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the interference determination device 10 can prevent a decrease in production efficiency and space efficiency while avoiding interference between the robot 30 and a person (object) such as the worker 50 at a production site such as a factory. It has the effect of being able to.

前述の通り、対象物は、例えば作業者５０等の人であり、具体的には、人の全体または人の一部であり、また、人以外のモノ（例えば、モバイルロボットなど）であってもよい。対象物の位置とは、対象物が人（作業者５０）の全体である場合には、例えば、人の重心の位置である。対象物が人の一部または人以外のモノである場合には、対象物の位置とは、人の一部の位置、または、人以外のモノの位置である。 As described above, the object is, for example, a person such as the worker 50, specifically, the whole person or a part of the person, and is also a thing other than the person (for example, a mobile robot). Good. The position of the object is, for example, the position of the center of gravity of the person when the object is the entire person (worker 50). When the object is a part of a person or an object other than a person, the position of the object is a position of a part of the person or a position of an object other than the person.

人軌道予測部１１３による予測速度ベクトルｖｈ（ｔ０＋Δｔ）の算出は、対象物の各時点における位置ｘｈ（ｔ）および速度ベクトルｖｈ（ｔ）の履歴を学習した結果を利用するものであってもよい。また、人軌道予測部１１３による予測速度ベクトルｖｈ（ｔ０＋Δｔ）の算出は、単純予測を利用するもの、つまり、現在速度ベクトルｖｈ（ｔ０）の継続を前提とするものであってもよい。 Calculation of the predicted velocity vector v h (t 0 +Δt) by the human trajectory prediction unit 113 uses the result of learning the history of the position x h (t) and the velocity vector v h (t) at each time point of the object. May be In addition, the calculation of the predicted velocity vector v h (t 0 +Δt) by the human trajectory prediction unit 113 uses simple prediction, that is, the continuation of the current velocity vector v h (t 0 ) is assumed. Good.

干渉判定装置１０について、ロボット３０は、複数のアームが複数の関節で接続されている多関節マニピュレータを備えている。干渉判定装置１０によって作業者５０との干渉が判定される対象は、ロボット３０の全体であってもよいし、ロボット３０における所定の可動部、例えば、ロボット３０の多関節マニピュレータの所定の１以上の部分であってもよい。 Regarding the interference determination device 10, the robot 30 includes a multi-joint manipulator in which a plurality of arms are connected by a plurality of joints. The object whose interference with the worker 50 is determined by the interference determination device 10 may be the entire robot 30, or a predetermined movable part of the robot 30, for example, one or more predetermined ones of the multi-joint manipulator of the robot 30. May be part of.

前記の構成によれば、干渉判定装置１０は、複数のアームが複数の関節で接続されている多関節マニピュレータを備えたロボット３０と、作業者５０との、所定時間Δｔ後（つまり、未来）における干渉の可能性を、現時点ｔ０で判定する。 According to the above configuration, the interference determination device 10 allows the robot 30 including the articulated manipulator in which a plurality of arms are connected by a plurality of joints and the worker 50 after a predetermined time Δt (that is, in the future). The possibility of interference in is determined at the present time t 0 .

したがって、干渉判定装置１０は、工場等の生産現場において、例えば作業者５０等である対象物と、多関節マニピュレータを備えたロボット３０との干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the interference determination device 10 reduces the production efficiency and the space efficiency while avoiding the interference between the object such as the worker 50 and the robot 30 including the articulated manipulator at the production site such as a factory. There is an effect that it can be suppressed.

干渉判定装置１０において、人軌道予測部１１３は、各時点における、作業者５０の位置ｘｈ（ｔ）、速度ベクトルｖｈ（ｔ）、および、加速度ベクトルａｈ（ｔ）の少なくとも１つの履歴を学習することによって予測用データ（学習済モデル）を生成する学習部１１４を備える。人軌道予測部１１３は、予測用データによって、作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を算出する。 In the interference determination device 10, the human trajectory prediction unit 113, at each time point, at least one history of the position x h (t) of the worker 50, the velocity vector v h (t), and the acceleration vector a h (t). A learning unit 114 that generates prediction data (learned model) by learning The human trajectory prediction unit 113 calculates a predicted position x h (t 0 +Δt) of the worker 50 and a predicted velocity vector v h (t 0 +Δt) based on the prediction data.

前記の構成によれば、干渉判定装置１０は、作業者５０の各時点における位置ｘｈ（ｔ）、速度ベクトルｖｈ（ｔ）、および、加速度ベクトルａｈ（ｔ）の少なくとも１つの履歴を学習して学習済モデル（予測用データ）を生成する。そして、干渉判定装置１０は、生成した学習済モデルを用いて、作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を算出する。 According to the above configuration, the interference determination device 10 collects at least one history of the position x h (t), the velocity vector v h (t), and the acceleration vector a h (t) of the worker 50 at each time point. Learning is performed to generate a learned model (prediction data). Then, the interference determination device 10 calculates the predicted position x h (t 0 +Δt) of the worker 50 and the predicted velocity vector v h (t 0 +Δt) using the generated learned model.

したがって、干渉判定装置１０は、作業者５０の状態・動作（位置、速度ベクトル、加速度ベクトルの少なくとも１つ）に係る履歴の学習によって生成した予測用データを用いて、作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を高精度に算出することができるとの効果を奏する。 Therefore, the interference determination device 10 uses the prediction data generated by learning the history of the state/motion of the worker 50 (at least one of the position, velocity vector, and acceleration vector) to predict the predicted position x of the worker 50. It is possible to calculate h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) with high accuracy.

干渉判定装置１０において、学習部１１４は、作業者５０の、現時点までの位置の変化を示す情報（例えば、作業者５０の現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０）の少なくとも一方）を入力とし、作業者５０の加速度またはその後の位置ｘｈ（ｔ０＋Δｔ）を出力とする学習を行うことによって、予測用データを生成する。 In the interference determination device 10, the learning unit 114 includes information indicating a change in the position of the worker 50 up to the present time (for example, the current position x h (t 0 ) of the worker 50 and the current velocity vector v h (t 0 ). (At least one of the above) is input, and learning is performed by using the acceleration of the worker 50 or the position x h (t 0 +Δt) after that as the output to generate prediction data.

前記の構成によれば、干渉判定装置１０は、作業者５０の、現時点までの位置の変化を示す情報を入力とし、作業者５０の加速度またはその後の位置ｘｈ（ｔ０＋Δｔ）を出力とする学習を行う。 According to the above configuration, the interference determination device 10 inputs the information indicating the change in the position of the worker 50 up to the present time, and outputs the acceleration of the worker 50 or the position x h (t 0 +Δt) thereafter. Learn to do.

例えば、干渉判定装置１０は、時刻ごとの（つまり、各時点における）、作業者５０の位置および速度ベクトルを入力とし、時刻ごとの、作業者５０の加速度を出力とする学習用データについて、学習を行う。 For example, the interference determination device 10 learns learning data that receives the position and velocity vector of the worker 50 for each time (that is, at each time point) and outputs the acceleration of the worker 50 for each time. I do.

干渉判定装置１０は、作業者５０の、現時点までの位置の変化を示す情報を入力とし、作業者５０の加速度またはその後の位置ｘｈ（ｔ０＋Δｔ）を出力とする学習用データを学習することで、作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を算出するための、高精度な予測用データを生成することができるとの効果を奏する。 The interference determination device 10 learns learning data that receives the information indicating the change in the position of the worker 50 up to the current time and outputs the acceleration of the worker 50 or the position x h (t 0 +Δt) after that. Thus, it is possible to generate highly accurate prediction data for calculating the predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) of the worker 50. ..

干渉判定装置１０は、作業者５０を識別する識別部１１５をさらに備え、人軌道予測部１１３は、識別部１１５による識別結果に応じて作業者５０の予測位置および予測速度ベクトルの算出方法を変更する。 The interference determination device 10 further includes an identification unit 115 that identifies the worker 50, and the human trajectory prediction unit 113 changes the calculation method of the predicted position and the predicted velocity vector of the worker 50 according to the identification result by the identification unit 115. To do.

前記の構成によれば、干渉判定装置１０は、複数の作業者５０の各々を識別し、複数の作業者５０の各々の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を、複数の作業者５０の各々に応じて、算出する。 According to the above configuration, the interference determination device 10 identifies each of the plurality of workers 50, and the predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 of each of the plurality of workers 50. +Δt) is calculated for each of the plurality of workers 50.

ここで、例えば複数の作業者５０の各々は、身長、体重等が異なり、また、各々に特有の動作の癖などを備えている。したがって、複数の作業者５０の各々について、予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を高精度に算出するには、複数の作業者５０の各々の状態・動作の履歴情報を学習し、その学習結果を利用するのが望ましい。 Here, for example, each of the plurality of workers 50 is different in height, weight, and the like, and has a peculiar behavior or the like. Therefore, in order to calculate the predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) for each of the plurality of workers 50 with high accuracy, the state of each of the plurality of workers 50 is calculated. It is desirable to learn motion history information and use the learning result.

干渉判定装置１０は、複数の作業者５０の各々を識別し、各々に応じた算出方法により、つまり、各々についての予測用データを用いて、各々の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を算出する。したがって、干渉判定装置１０は、複数の作業者５０の各々の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を、各々についての学習済モデル（予測用データ）を用いて、高精度に算出することができるとの効果を奏する。 The interference determination device 10 identifies each of the plurality of workers 50, and uses the calculation method according to each worker, that is, the prediction data for each, to predict each predicted position x h (t 0 +Δt) and the predicted position x h (t 0 +Δt). The velocity vector v h (t 0 +Δt) is calculated. Therefore, the interference determination device 10 determines the predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) of each of the plurality of workers 50 as a learned model (prediction data) for each. By using this, it is possible to obtain an effect that it can be calculated with high accuracy.

干渉判定装置１０において、人状態情報生成部１１２は、非接触で作業者５０の二次元または三次元位置を計測するセンサ４０（計測装置）による計測結果の履歴に基づき、作業者５０の、現時点までの位置の変化を示す情報（例えば、現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０））を取得する。 In the interference determination device 10, the human state information generation unit 112 calculates the current state of the worker 50 based on the history of measurement results by the sensor 40 (measuring device) that measures the two-dimensional or three-dimensional position of the worker 50 in a non-contact manner. Information indicating changes in positions up to (for example, current position x h (t 0 ) and current velocity vector v h (t 0 )) is acquired.

前記の構成によれば、干渉判定装置１０は、作業者５０の計測位置ｘｈ（ｔ）の履歴を用いて、作業者５０の、現時点までの位置の変化を示す情報を取得する。干渉判定装置１０は、作業者５０の、現時点までの位置の変化を示す情報として、例えば、現時点における、作業者５０の現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０）を取得する。 According to the above configuration, the interference determination device 10 uses the history of the measured position x h (t) of the worker 50 to acquire the information indicating the position change of the worker 50 up to the present time. The interference determination device 10 uses, for example, the current position x h (t 0 ) of the worker 50 and the current velocity vector v h (t 0 ) as the information indicating the change in the position of the worker 50 up to the present time. get.

したがって、干渉判定装置１０は、作業者５０の、現時点までの位置の変化を示す情報を、作業者５０の計測位置ｘｈ（ｔ）の履歴を用いて高精度に算出し、取得することができるとの効果を奏する。 Therefore, the interference determination device 10 can highly accurately calculate and obtain information indicating the change in position of the worker 50 up to the present time using the history of the measured position x h (t) of the worker 50. It has the effect of being able to.

干渉判定装置１０において、ロボット状態取得部１２１は、ロボット３０の動作を制御するコントローラ２０（ロボット制御装置）から制御情報を取得することにより、ロボット３０の予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）を取得する。 In the interference determination device 10, the robot state acquisition unit 121 acquires the control information from the controller 20 (robot control device) that controls the operation of the robot 30 to calculate the predicted position x r (t 0 +Δt) and the predicted position of the robot 30. The velocity vector v r (t 0 +Δt) is acquired.

前記の構成によれば、干渉判定装置１０は、コントローラ２０から、ロボット３０に対する制御を規定する制御情報を取得することにより、ロボット３０の予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）を取得する。したがって、干渉判定装置１０は、前記制御情報から、ロボット３０についての、高精度な予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）を取得することができるとの効果を奏する。前記制御情報は、例えば、コントローラ２０がロボット３０に対する制御を実行する際に用いる動作プログラム等であり、干渉判定装置１０は、動作プログラム等を解析して、ロボット３０の予測位置および予測速度ベクトルを算出する。 According to the above-described configuration, the interference determination device 10 obtains the control position defining the control of the robot 30 from the controller 20, and thereby the predicted position x r (t 0 +Δt) of the robot 30 and the predicted velocity vector v r. Obtain (t 0 +Δt). Therefore, the effect that the interference determination device 10 can acquire the highly accurate predicted position x r (t 0 +Δt) and the predicted velocity vector v r (t 0 +Δt) of the robot 30 from the control information. Play. The control information is, for example, an operation program or the like used when the controller 20 controls the robot 30, and the interference determination device 10 analyzes the operation program or the like to determine the predicted position and the predicted velocity vector of the robot 30. calculate.

また、ロボット状態取得部１２１は、ロボット３０（特に、ロボット３０の可動部）の位置情報を解析して、ロボット３０（特に、ロボット３０の可動部）の予測位置および予測速度ベクトルを算出してもよい。例えば、ロボット状態取得部１２１は、コントローラ２０から、ロボット３０（特に、ロボット３０の可動部）の位置情報を取得し、位置情報の履歴に基づいて、予測位置および予測速度ベクトルを算出してもよい。 Further, the robot state acquisition unit 121 analyzes the position information of the robot 30 (particularly, the movable part of the robot 30) and calculates the predicted position and the predicted velocity vector of the robot 30 (particularly, the movable part of the robot 30). Good. For example, the robot state acquisition unit 121 acquires the position information of the robot 30 (particularly, the movable part of the robot 30) from the controller 20, and calculates the predicted position and the predicted velocity vector based on the history of the position information. Good.

さらに、ロボット状態取得部１２１は、コントローラ２０からロボット３０に送信される制御信号から、ロボット３０（特に、ロボット３０の可動部）の予測位置および予測速度ベクトルを算出してもよい。例えば、ロボット状態取得部１２１は、コントローラ２０からロボット３０に送信される制御信号の内容（各関節のモータ制御信号など）を解析して、ロボット３０（特に、ロボット３０の可動部）の予測位置および予測速度ベクトルを算出してもよい。 Further, the robot state acquisition unit 121 may calculate the predicted position and the predicted velocity vector of the robot 30 (particularly, the movable portion of the robot 30) from the control signal transmitted from the controller 20 to the robot 30. For example, the robot state acquisition unit 121 analyzes the content of the control signal transmitted from the controller 20 to the robot 30 (motor control signal of each joint, etc.), and predicts the predicted position of the robot 30 (particularly, the movable portion of the robot 30). And the predicted velocity vector may be calculated.

干渉判定装置１０は、未来干渉判定部１２２が、作業者５０とロボット３０との接触が生じる可能性があると判定した場合に、ロボット３０の動作を制御するコントローラ２０に対して干渉回避を指示する指示信号を送信する制御指示調整部１２３（指示部）をさらに備える。 When the future interference determination unit 122 determines that the worker 50 and the robot 30 may come into contact with each other, the interference determination device 10 instructs the controller 20 that controls the operation of the robot 30 to avoid interference. A control instruction adjusting unit 123 (instructing unit) that transmits an instruction signal to perform is further provided.

前記の構成によれば、干渉判定装置１０は、作業者５０とロボット３０との接触が生じる可能性があると判定した場合、ロボット３０の動作を制御するコントローラ２０に対して干渉回避を指示する指示信号を送信する。したがって、干渉判定装置１０は、接触が生じる可能性があると判定すると、コントローラ２０に前記指示信号を送信して、接触を回避することができるとの効果を奏する。 According to the above configuration, the interference determination device 10 instructs the controller 20, which controls the operation of the robot 30, to avoid interference when determining that the worker 50 and the robot 30 may come into contact with each other. Send an instruction signal. Therefore, when the interference determination device 10 determines that contact may occur, the interference determination device 10 transmits the instruction signal to the controller 20 and has the effect of avoiding contact.

前記指示信号は、単に干渉の可能性を警告するだけの信号（警告信号）であってもよく、接触を回避するためのロボット３０の具体的な動作の決定は、コントローラ２０に実行させてもよい。また、前記指示信号は、ロボット３０の動作内容を指示する信号であってもよく、例えば、ロボット３０の動作を停止させ、または、ロボット３０に干渉を回避させることを指示する信号であってもよい。さらに、前記指示信号は、ロボット３０の動作を詳細に規定する制御指令であってもよく、例えば、動作を停止させるまでの時間、干渉を回避するための動作の方向・時間・距離などの内容を含む信号であってもよい。 The instruction signal may be a signal (warning signal) that merely warns of the possibility of interference, and the controller 20 may determine the specific operation of the robot 30 to avoid contact. Good. Further, the instruction signal may be a signal instructing the operation content of the robot 30, for example, a signal instructing to stop the operation of the robot 30 or cause the robot 30 to avoid interference. Good. Further, the instruction signal may be a control command that defines the operation of the robot 30 in detail, and includes, for example, the time until the operation is stopped, the direction, time, and distance of the operation for avoiding interference. It may be a signal including.

干渉判定装置１０において、未来干渉判定部１２２が、作業者５０とロボット３０との接触が生じる可能性があると判定した場合に、制御指示調整部１２３は、コントローラ２０に対して、ロボット３０の移動速度および軌道の少なくともいずれか一方の調整指示を示す前記指示信号を送信してもよい。 In the interference determination device 10, when the future interference determination unit 122 determines that contact between the worker 50 and the robot 30 may occur, the control instruction adjustment unit 123 instructs the controller 20 of the robot 30. The instruction signal indicating the instruction to adjust at least one of the moving speed and the trajectory may be transmitted.

前記の構成によれば、干渉判定装置１０は、作業者５０とロボット３０との接触が生じる可能性があると判定した場合、コントローラ２０に対して、ロボット３０の移動速度および軌道の少なくとも一方の調整指示を示す前記指示信号を送信する。したがって、干渉判定装置１０は、接触が生じる可能性があると判定すると、ロボット３０の移動速度および軌道の少なくとも一方を調整させ、接触を回避することができるとの効果を奏する。 According to the above configuration, when it is determined that the worker 50 and the robot 30 may come into contact with each other, the interference determination device 10 instructs the controller 20 to detect at least one of the moving speed and the trajectory of the robot 30. The instruction signal indicating the adjustment instruction is transmitted. Therefore, when determining that contact may occur, the interference determination device 10 adjusts at least one of the moving speed and the trajectory of the robot 30, and has the effect of avoiding contact.

コントローラ２０（ロボット制御装置）は、干渉判定装置１０から前記指示信号を受信する受信部２２と、前記指示信号に基づき、ロボット３０の動作を制御するロボット制御部２１と、を備えている。 The controller 20 (robot control device) includes a reception unit 22 that receives the instruction signal from the interference determination device 10, and a robot control unit 21 that controls the operation of the robot 30 based on the instruction signal.

前記の構成によれば、コントローラ２０は、干渉判定装置１０から前記指示信号を受信し、受信した前記指示信号に基づいて、ロボット３０の動作を制御する。したがって、コントローラ２０は、工場等の生産現場において、例えば作業者５０等である対象物とロボット３０との干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 According to the above configuration, the controller 20 receives the instruction signal from the interference determination device 10 and controls the operation of the robot 30 based on the received instruction signal. Therefore, in the production site such as a factory, the controller 20 has an effect that it is possible to suppress a decrease in production efficiency and space efficiency while avoiding interference between an object such as the worker 50 and the robot 30. Play.

制御システム１（ロボット制御システム）は、干渉判定装置１０と、コントローラ２０と、非接触で作業者５０の二次元または三次元位置を計測し、計測結果を干渉判定装置１０に送信するセンサ４０（計測装置）と、を含んでいる。 The control system 1 (robot control system) measures the two-dimensional or three-dimensional position of the worker 50 without contact with the interference determination device 10, the controller 20, and the sensor 40 (which transmits the measurement result to the interference determination device 10. Measuring device).

前記の構成によれば、制御システム１は、干渉判定装置１０と、コントローラ２０と、計測結果（測域データ）を干渉判定装置１０に送信するセンサ４０とを含む。したがって、制御システム１は、工場等の生産現場において、例えば作業者５０等である対象物とロボット３０との干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 According to the above configuration, the control system 1 includes the interference determination device 10, the controller 20, and the sensor 40 that transmits the measurement result (range data) to the interference determination device 10. Therefore, in the production site such as a factory, the control system 1 can prevent the reduction of the production efficiency and the space efficiency while avoiding the interference between the object such as the worker 50 and the robot 30. Play.

これまでに図２を用いて概要を説明してきた干渉判定装置１０等について、次に、その構成の詳細について図１を参照しながら説明し、その後、干渉判定装置１０等が実行する処理について、図３から図５を参照しながら説明していく。 The interference determination device 10 and the like whose outline has been described above with reference to FIG. 2 will now be described with reference to FIG. 1 for details of the configuration, and then the processing performed by the interference determination device 10 and the like will be described. This will be described with reference to FIGS. 3 to 5.

§２．構成例
（干渉判定装置の詳細）
図１は、干渉判定装置１０等の要部構成を示すブロック図である。図１に示すように、干渉判定装置１０は、記憶部１３０以外の機能ブロックとして、人軌道処理部１１０と、調停部１２０と、を備えている。 §2. Configuration example (Details of interference determination device)
FIG. 1 is a block diagram showing the main configuration of the interference determination device 10 and the like. As illustrated in FIG. 1, the interference determination device 10 includes a human trajectory processing unit 110 and an arbitration unit 120 as functional blocks other than the storage unit 130.

人軌道処理部１１０は、作業者５０の未来の「位置（二次元位置または三次元位置）および速度ベクトル」の予測等を実行し、予測した作業者５０の未来の「位置および速度ベクトル」を、調停部１２０に通知する。人軌道処理部１１０は、センサ情報取得部１１１と、人状態情報生成部１１２と、人軌道予測部１１３と、学習部１１４と、識別部１１５とを含む。 The human trajectory processing unit 110 executes prediction of the future “position (two-dimensional position or three-dimensional position) and velocity vector” of the worker 50, etc., and calculates the predicted future “position and velocity vector” of the worker 50. , And notifies the arbitration unit 120. The human trajectory processing unit 110 includes a sensor information acquisition unit 111, a human state information generation unit 112, a human trajectory prediction unit 113, a learning unit 114, and an identification unit 115.

調停部１２０は、作業者５０およびロボット３０の各々についての、未来の「位置（二次元位置または三次元位置）および速度ベクトル」を用いて、作業者５０とロボット３０との未来における干渉の可能性を判定する。調停部１２０は、作業者５０とロボット３０とが未来において干渉する可能性があると判定すると、例えば、コントローラ２０に、未来における作業者５０とロボット３０との干渉を回避するように指示する。調停部１２０は、ロボット状態取得部１２１と、未来干渉判定部１２２と、制御指示調整部１２３とを含む。 The arbitration unit 120 uses the future “position (two-dimensional position or three-dimensional position) and velocity vector” of each of the worker 50 and the robot 30 to allow future interference between the worker 50 and the robot 30. Determine sex. When the arbitration unit 120 determines that the worker 50 and the robot 30 may interfere with each other in the future, the arbitration unit 120 instructs, for example, the controller 20 to avoid the interference between the worker 50 and the robot 30 in the future. The arbitration unit 120 includes a robot state acquisition unit 121, a future interference determination unit 122, and a control instruction adjustment unit 123.

干渉判定装置１０は、上述の各機能ブロックに加えて、判定結果を表示する構成などを備えていてもよいが、記載の簡潔性を担保するため、本実施の形態に直接関係のない構成は、説明およびブロック図から省略している。ただし、実施の実情に則して、干渉判定装置１０は、当該省略された構成を備えてもよい。図１に例示した上述の各機能ブロックは、例えば、ＣＰＵ（central processing unit）等が、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）等で実現された記憶装置（記憶部１３０）に記憶されているプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。以下、干渉判定装置１０における各機能ブロックについて説明する。 The interference determination device 10 may include a configuration for displaying a determination result in addition to the above-described functional blocks, but a configuration not directly related to the present embodiment is provided to ensure the simplicity of the description. , And is omitted from the description and block diagram. However, the interference determination device 10 may include the omitted configuration according to the actual situation of implementation. Each of the above-described functional blocks illustrated in FIG. 1 is, for example, a storage device (storage unit 130 in which a CPU (central processing unit) or the like is realized by a ROM (read only memory), an NVRAM (non-Volatile random access memory), or the like. ) Can be realized by reading the program stored in () into a RAM (random access memory) (not shown) and executing the program. Hereinafter, each functional block in the interference determination device 10 will be described.

（記憶部以外の機能ブロックの詳細）
センサ情報取得部１１１は、センサ４０から、センサ４０の計測した「作業者５０の時間ごとの二次元位置または三次元位置」を示すデータ（測域データ）を取得し、取得した測域データを、人状態情報生成部１１２に出力する。図２に例示するセンサ４０（１）およびセンサ４０（２）のように、センサ４０が複数のセンサ４０（１）〜（ｎ）（ｎは２以上の整数）を含む場合、センサ情報取得部１１１は、複数のセンサ４０の各々から取得した測域データを統合する。センサ情報取得部１１１は、例えば、複数のセンサ４０の各々から、複数のセンサ４０の各々のセンサ視点からの測域データを取得し、取得した複数の測域データの各々の角度および座標を変換し、複数の測域データを統合する。一例として、センサ情報取得部１１１は、Ｘ軸方向の測域データと、Ｙ軸方向の測域データとを統合して、Ｘ−Ｙ平面上の位置データを取得する。センサ情報取得部１１１は、統合した測域データを、人状態情報生成部１１２に出力する。 (Details of functional blocks other than storage)
The sensor information acquisition unit 111 acquires, from the sensor 40, data (range data) indicating the “two-dimensional position or three-dimensional position of the worker 50 for each time” measured by the sensor 40, and acquires the acquired range data. , To the human state information generation unit 112. When the sensor 40 includes a plurality of sensors 40(1) to 40(n) (n is an integer of 2 or more) like the sensor 40(1) and the sensor 40(2) illustrated in FIG. 2, the sensor information acquisition unit. 111 integrates the range data acquired from each of the plurality of sensors 40. The sensor information acquisition unit 111 acquires, for example, range finding data from each sensor viewpoint of the plurality of sensors 40, and converts each angle and coordinate of each of the plurality of acquired range finding data. And integrate multiple survey data. As an example, the sensor information acquisition unit 111 integrates the range data in the X-axis direction and the range data in the Y-axis direction to acquire position data on the XY plane. The sensor information acquisition unit 111 outputs the integrated range finding data to the human state information generation unit 112.

人状態情報生成部１１２は、センサ情報取得部１１１から取得した測域データを用いて、「作業者５０の時間ごとの二次元位置または三次元位置」を算出し、算出した「作業者５０の時間ごとの二次元位置または三次元位置」を人状態履歴データ１３１に格納する。また、人状態情報生成部１１２は、人状態履歴データ１３１の格納データと、センサ情報取得部１１１から取得した測域データを用いて算出した「作業者５０の時間ごとの二次元位置または三次元位置」とから、「作業者５０の時間ごとの速度ベクトル」を算出する。人状態情報生成部１１２は、算出した「作業者５０の時間ごとの速度ベクトル」を人状態履歴データ１３１に格納する。 The human state information generation unit 112 calculates the “two-dimensional position or three-dimensional position of the worker 50 for each hour” using the range finding data acquired from the sensor information acquisition unit 111, and calculates the calculated “worker 50 The “two-dimensional position or three-dimensional position for each time” is stored in the human state history data 131. In addition, the human state information generation unit 112 calculates “two-dimensional position or three-dimensional position of the worker 50 for each hour” calculated using the stored data of the human state history data 131 and the range data acquired from the sensor information acquisition unit 111. From the “position”, the “time vector of the worker 50” is calculated. The human state information generation unit 112 stores the calculated “speed vector of the worker 50 for each hour” in the human state history data 131.

つまり、人状態情報生成部１１２は、センサ４０から取得した測域データを用いて、「作業者５０の時間ごとの、位置および速度ベクトル」を算出し（取得し）、取得した「作業者５０の時間ごとの、位置および速度ベクトル」を人軌道予測部１１３に出力する。以下の説明においては、「作業者５０の、位置および速度ベクトル」を「作業者５０の状態」とも称し、「作業者５０の時間ごとの、位置（および速度ベクトル）」の履歴を「作業者５０の状態履歴（動作履歴）」とも称する。 That is, the human state information generation unit 112 calculates (acquires) the “position and velocity vector of the worker 50 for each time” using the range finding data acquired from the sensor 40, and acquires the acquired “worker 50”. The “position and velocity vector for each time” of the above is output to the human trajectory prediction unit 113. In the following description, the "position and velocity vector of the worker 50" is also referred to as "state of the worker 50", and the history of the "position (and velocity vector) of the worker 50 for each time" is "worker 50". It is also referred to as “50 state history (operation history)”.

ここで、センサ４０からの測域データには、例えば、作業者５０以外の対象についての計測結果等がノイズとして含まれている。そこで、人状態情報生成部１１２は、測域データからノイズを除去して、「作業者５０の時間ごとの位置」を算出する。 Here, the range data from the sensor 40 includes, for example, measurement results of objects other than the worker 50 as noise. Therefore, the human state information generation unit 112 removes noise from the range data and calculates the “position of the worker 50 for each hour”.

人状態情報生成部１１２は、例えば、「作業者５０の時間ごとの位置（二次元位置または三次元位置）」として、「時間ごとの、作業者５０の重心の位置（重心位置）」を算出する。「重心」は「体幹」と言い換えてもよい。すなわち、人状態情報生成部１１２が人軌道予測部１１３に出力し、人状態履歴データ１３１に格納する「作業者５０の時間ごとの位置」は、「時間ごとの、作業者５０の重心位置」である。同様に、人状態情報生成部１１２が人軌道予測部１１３に出力し、人状態履歴データ１３１に格納する「作業者５０の時間ごとの速度ベクトル」は、「時間ごとの、作業者５０の重心の速度ベクトル」である。 The human state information generation unit 112 calculates “the position of the center of gravity of the worker 50 for each time (the position of the center of gravity)” as the “position of the worker 50 for each time (two-dimensional position or three-dimensional position)”, for example. To do. The “center of gravity” may be restated as “trunk”. That is, the “position of the worker 50 for each hour” output by the human state information generation unit 112 to the human trajectory prediction unit 113 and stored in the human state history data 131 is “the position of the center of gravity of the worker 50 for each hour”. Is. Similarly, the “state vector of the worker 50 for each hour” output from the person state information generation unit 112 to the person trajectory prediction unit 113 and stored in the person state history data 131 is “the center of gravity of the worker 50 for each hour. Velocity vector.

人状態情報生成部１１２による重心位置の算出方法について、詳細は図９を用いて後述するが、人状態情報生成部１１２は、測域データが示す作業者５０の存在位置情報（作業者５０の存在を示す点群）から、作業者５０の重心の位置を算出する。 The method of calculating the position of the center of gravity by the human state information generation unit 112 will be described later in detail with reference to FIG. 9, but the human state information generation unit 112 includes the position information of the worker 50 indicated by the range data (the position of the worker 50). The position of the center of gravity of the worker 50 is calculated from the point group indicating the existence).

人状態情報生成部１１２は、識別部１１５から、複数の作業者５０の各々を識別する情報（識別情報）を取得し、取得した識別情報を、「作業者５０の時間ごとの、位置および速度ベクトル」と組み合わせて、人状態履歴データ１３１に格納する。人状態情報生成部１１２は、複数の作業者５０の各々について、その「時間ごとの、位置および速度ベクトル」を、人状態履歴データ１３１に格納する。つまり、人状態情報生成部１１２は、複数の作業者５０の各々の「時間ごとの、位置および速度ベクトル」の履歴を人状態履歴データ１３１に格納する。 The human state information generation unit 112 acquires information (identification information) for identifying each of the plurality of workers 50 from the identification unit 115, and uses the acquired identification information as “the position and speed of the worker 50 for each time. It is stored in the human state history data 131 in combination with the “vector”. The human state information generation unit 112 stores, for each of the plurality of workers 50, the “position and velocity vector for each time” in the human state history data 131. That is, the human state information generation unit 112 stores the history of “position and velocity vector for each hour” of each of the plurality of workers 50 in the human state history data 131.

また、人状態情報生成部１１２は、識別部１１５から取得する作業者５０の識別情報と、「現在の、作業者５０の位置および速度ベクトル」とから、複数の作業者５０の各々の「現在の、位置および速度ベクトル」を生成する。人状態情報生成部１１２は、生成した、複数の作業者５０の各々の「現在の、位置および速度ベクトル」を、人軌道予測部１１３に通知する。 Further, the human state information generation unit 112 uses the identification information of the worker 50 acquired from the identification unit 115 and the “current position and velocity vector of the worker 50” to determine the “current position” of each of the plurality of workers 50. , And position and velocity vectors. The human state information generation unit 112 notifies the human trajectory prediction unit 113 of the generated “current position and velocity vector” of each of the plurality of workers 50.

人軌道予測部１１３は、人状態情報生成部１１２から通知される「現在の、作業者５０の位置および速度ベクトル」を、学習部１１４が生成した学習済モデル（予測用データ）に入力して、「未来の、作業者５０の位置および速度ベクトル」を予測する。人軌道予測部１１３は、予測した「未来の、作業者５０の位置および速度ベクトル」を、調停部１２０（特に、未来干渉判定部１２２）に通知する。 The human trajectory prediction unit 113 inputs the “current position and velocity vector of the worker 50” notified from the human state information generation unit 112 to the learned model (prediction data) generated by the learning unit 114. , "Future position and velocity vector of worker 50" is predicted. The human trajectory prediction unit 113 notifies the arbitration unit 120 (particularly, the future interference determination unit 122) of the predicted “future position and velocity vector of the worker 50”.

ここで、人軌道予測部１１３は、例えば、人状態情報生成部１１２から通知される「現在の、作業者５０の重心の位置および速度ベクトル」を用いて、「未来の、作業者５０の重心の位置および速度ベクトル」を予測する。 Here, the human trajectory prediction unit 113 uses, for example, the “current position and velocity vector of the center of gravity of the worker 50” notified from the human state information generation unit 112, “the center of gravity of the worker 50 in the future”. Position and velocity vector".

言い換えれば、人軌道予測部１１３は、現在までの作業者５０の重心位置を示す情報から、作業者５０の未来の（つまり、将来の）人軌道（重心位置の移動を示す軌道）を予測し、予測した未来の人軌道を調停部１２０（特に、未来干渉判定部１２２）に通知する。 In other words, the human trajectory prediction unit 113 predicts a future (that is, future) human trajectory of the worker 50 (trajectory indicating movement of the center of gravity) from the information indicating the position of the center of gravity of the worker 50 up to the present. The arbitration unit 120 (particularly, the future interference determination unit 122) is notified of the predicted future human trajectory.

特に、人軌道予測部１１３は、複数の作業者５０の各々の「現在の、位置および速度ベクトル」から、複数の作業者５０の各々の予測用データ（学習済モデル）を用いて、複数の作業者５０の各々の「未来の、位置および速度ベクトル」を予測する。人軌道予測部１１３は、予測した、複数の作業者５０の各々の「未来の、位置および速度ベクトル」を、調停部１２０（特に、未来干渉判定部１２２）に通知する。 In particular, the human trajectory prediction unit 113 uses the prediction data (learned model) of each of the plurality of workers 50 from the “current, position and velocity vector” of each of the plurality of workers 50. Predict each "future, position and velocity vector" of each worker 50. The human trajectory prediction unit 113 notifies the arbitration unit 120 (particularly, the future interference determination unit 122) of the predicted “future position and velocity vector” of each of the plurality of workers 50.

人軌道予測部１１３は、学習部１１４による作業者５０の状態履歴の学習の結果を用いて、「現在の、作業者５０の重心の位置および速度ベクトル」から、「未来の、作業者５０の重心の位置および速度ベクトル」を予測する。 The human trajectory prediction unit 113 uses the result of learning of the state history of the worker 50 by the learning unit 114 to calculate “from the present position and velocity vector of the center of gravity of the worker 50” to “the future worker 50's position”. The position and velocity vector of the center of gravity" is predicted.

学習部１１４は、時刻ごとの（特に、現在の）、作業者５０の位置（特に、重心位置）および速度ベクトルを入力とし、時刻ごとの、作業者５０の加速度を出力とする学習用データについて、学習を行う。 The learning unit 114 receives the position (particularly, the center of gravity position) and the velocity vector of the worker 50 for each time (in particular, the present) as input, and the learning data that outputs the acceleration of the worker 50 for each time. , Learn.

ただし、学習用データが、「入力；時刻ごとの、作業者５０の位置および速度ベクトル」と、「出力：時刻ごとの、作業者５０の加速度」との組み合わせであることは必須ではない。詳細は図１５を用いて後述するが、学習用データは、時刻ごとの（特に、現在の）、作業者５０の位置および速度ベクトルの少なくともいずれか一方を入力とし、作業者５０の加速度またはその後の位置を出力とするものであればよい。 However, it is not essential that the learning data is a combination of “input; position and velocity vector of worker 50 for each time” and “output: acceleration of worker 50 for each time”. Although details will be described later with reference to FIG. 15, the learning data is input with at least one of the position and the velocity vector of the worker 50 for each time (particularly, current), and the acceleration of the worker 50 or Anything can be used as long as it outputs the position of.

学習部１１４は、学習によって、予測用データ（特に、後述する「予測用フィルタ前データ」）を生成する。学習部１１４は、例えば、ＤＢＴ（Deep Binary Tree）と呼ばれる学習アルゴリズムを用いた学習によって、学習済モデルとして、予測用データを生成する。言い換えれば、学習部１１４は、学習済モデルとして予測用データを生成する。人軌道予測部１１３は、この予測用データを用いて、「現在の、作業者５０の重心の位置および速度ベクトル」から、「未来の、作業者５０の重心の位置および速度ベクトル」を予測する。 The learning unit 114 generates prediction data (particularly, “pre-prediction filter data” described later) by learning. The learning unit 114 generates prediction data as a learned model by learning using a learning algorithm called DBT (Deep Binary Tree), for example. In other words, the learning unit 114 generates prediction data as a learned model. The human trajectory prediction unit 113 uses this prediction data to predict the "future position and velocity vector of the center of gravity of the worker 50" from the "current position and velocity vector of the center of gravity of the worker 50". ..

学習部１１４は、例えばバッチ学習を行う場合、必要十分な量の作業者５０の状態履歴（動作履歴）が蓄積されてから、学習を開始する。必要十分な量の作業者５０の状態履歴（動作履歴）が蓄積された後は、学習部１１４は、時々刻々と最新のものに更新される作業者５０の状態履歴（動作履歴）を用いて生成した最新の学習用データを学習して、時々刻々と学習済モデル（予測用データ）を更新する。作業者５０の動作は時々刻々と変化するため、或る時点から所定時間後の「作業者５０の、位置および速度ベクトル」を高精度に予測するには、その或る時点の最新の状態履歴を用いて生成した最新の学習用データを学習して得た学習済モデルを用いるのが望ましい。 For example, when performing the batch learning, the learning unit 114 starts the learning after the necessary and sufficient amount of the state history (operation history) of the worker 50 is accumulated. After the necessary and sufficient amount of the state history (motion history) of the worker 50 is accumulated, the learning unit 114 uses the state history (motion history) of the worker 50 that is updated to the latest one every moment. The generated latest learning data is learned, and the learned model (prediction data) is updated every moment. Since the motion of the worker 50 changes from moment to moment, in order to accurately predict the "position and velocity vector of the worker 50" after a predetermined time from a certain time point, the latest state history at that certain time point is required. It is desirable to use a trained model obtained by learning the latest learning data generated using.

学習部１１４がバッチ学習を行うことは必須ではなく、学習部１１４は、オンライン学習を行ってもよい。また、学習部１１４は、学習の方法を、バッチ学習からオンライン学習に切り替えてもよい。例えば、制御システム１の試験運転時に蓄積し、または、実運用の開始から所定期間の間に蓄積した作業者５０の状態履歴（動作履歴）について、学習部１１４は、バッチ学習を行ってもよい。そして、実運用を開始した後、または、「実運用の開始後、バッチ学習により学習済モデルを生成した」後は、学習部１１４は、オンライン学習によって時々刻々と学習済モデル（予測用データ）を更新してもよい。 It is not essential for the learning unit 114 to perform batch learning, and the learning unit 114 may perform online learning. The learning unit 114 may switch the learning method from batch learning to online learning. For example, the learning unit 114 may perform batch learning on the state history (operation history) of the worker 50 that is accumulated during the test operation of the control system 1 or during a predetermined period from the start of actual operation. .. Then, after the actual operation is started, or “after the actual operation is started, the learned model is generated by batch learning”, the learning unit 114 is learning the online model every moment by online learning (prediction data). May be updated.

学習部１１４は、人状態履歴データ１３１に格納された、複数の作業者５０の各々の状態履歴（動作履歴）から、複数の作業者５０の各々の学習用データを生成し、この「複数の作業者５０の各々の学習用データ」を学習する。学習部１１４は、複数の作業者５０の各々の学習用データを学習して、複数の作業者５０の各々の予測用データ（学習済モデル）を生成し、つまり、複数の作業者５０の各々について、「未来の、位置および速度ベクトル」を予測するための学習済モデルを生成する。 The learning unit 114 generates learning data for each of the plurality of workers 50 from the state history (operation history) of each of the plurality of workers 50 stored in the human state history data 131, and the The learning data of each worker 50” is learned. The learning unit 114 learns the learning data of each of the plurality of workers 50 to generate the prediction data (learned model) of each of the plurality of workers 50, that is, each of the plurality of workers 50. Generate a trained model for predicting the "future, position and velocity vector".

識別部１１５は、複数の作業者５０の各々を識別する情報（識別情報）を取得し、取得した識別情報を人状態情報生成部１１２に通知する。識別部１１５は、例えば、複数の作業者５０の各々が携帯するＩＤカードから識別情報を取得してもよい。また、識別部１１５は、例えば、複数の作業者５０の各々について顔認証等を実行して、識別情報を取得してもよい。 The identification unit 115 acquires information (identification information) for identifying each of the plurality of workers 50, and notifies the human state information generation unit 112 of the acquired identification information. The identification unit 115 may acquire identification information from an ID card carried by each of the plurality of workers 50, for example. Further, the identification unit 115 may acquire the identification information by performing face authentication or the like on each of the plurality of workers 50, for example.

ロボット状態取得部１２１は、未来（つまり、所定時間後）における「ロボット３０の、位置および速度ベクトル」を取得し、取得した未来における「ロボット３０の、位置および速度ベクトル」を、未来干渉判定部１２２に通知する。例えば、ロボット状態取得部１２１は、コントローラ２０（特に、アームタスク２３）から、コントローラ２０がロボット３０を制御する際に用いる制御情報（ロボット３０の動作を規定する「目標軌道および動作プログラム」などの情報）を取得する。ロボット状態取得部１２１は、取得した制御情報を解析して、未来における「ロボット３０の、位置および速度ベクトル」を取得する。 The robot state acquisition unit 121 acquires a “position and velocity vector of the robot 30” in the future (that is, after a predetermined time), and uses the acquired “position and velocity vector of the robot 30” in the future as a future interference determination unit. 122 is notified. For example, the robot state acquisition unit 121 receives from the controller 20 (particularly, the arm task 23) control information used when the controller 20 controls the robot 30 (such as “target trajectory and operation program that defines the operation of the robot 30”). Information). The robot state acquisition unit 121 analyzes the acquired control information and acquires the "position and velocity vector of the robot 30" in the future.

未来干渉判定部１２２は、未来（つまり、所定時間後）における「作業者５０の、位置および速度ベクトル」と、未来における「ロボット３０の、位置および速度ベクトル」とを用いて、作業者５０とロボット３０との接触が生じる可能性があるかを判定する。特に、未来干渉判定部１２２は、時々刻々に、未来における「作業者５０の、位置および速度ベクトル」と、未来における「ロボット３０の、位置および速度ベクトル」とを用いて、作業者５０とロボット３０との接触が生じる可能性があるかを判定する。未来干渉判定部１２２は、判定結果を制御指示調整部１２３に通知する。 The future interference determination unit 122 uses the “position and velocity vector of the worker 50” in the future (that is, after a predetermined time) and the “position and velocity vector of the robot 30” in the future to identify the worker 50 and the worker 50. It is determined whether contact with the robot 30 may occur. In particular, the future interference determination unit 122 uses the "position and velocity vector of the worker 50 in the future" and the "position and velocity vector of the robot 30" in the future at every moment. Determine if contact with 30 may occur. The future interference determination unit 122 notifies the control instruction adjustment unit 123 of the determination result.

前述の通り、人軌道予測部１１３は、現時点（ｔ＝ｔ０）で、現時点から所定時間（Δｔ）が経過した時点（ｔ＝ｔ０＋Δｔ）における「作業者５０の、位置および速度ベクトル」を予測し、予測結果を未来干渉判定部１２２に通知する。また、ロボット状態取得部１２１は、現時点（ｔ＝ｔ０）で、現時点から所定時間（Δｔ）が経過した時点（ｔ＝ｔ０＋Δｔ）における「ロボット３０の、位置および速度ベクトル」を取得し、取得した情報を未来干渉判定部１２２に通知する。 As described above, the human trajectory prediction unit 113, at the present time point (t=t 0 ), “the position and velocity vector of the worker 50” at the time point (t=t 0 +Δt) when the predetermined time (Δt) has elapsed from the present time point. And predict the prediction result to the future interference determination unit 122. Further, the robot state acquisition unit 121 acquires the “position and velocity vector of the robot 30” at the present time (t=t 0 ) and at a time (t=t 0 +Δt) when a predetermined time (Δt) has elapsed from the present time. The future interference determination unit 122 is notified of the acquired information.

「ｔ０＋Δｔ」時点から、ロボット３０の移動が停止する時点までのいずれかの時点において、作業者５０の推定位置とロボット３０の推定位置との距離が所定値以内となると、未来干渉判定部１２２は、作業者５０とロボット３０とが接触し得ると判定する。作業者５０およびロボット３０の各々の推定位置の算出方法について、詳細は図７を用いて後述する。 If the distance between the estimated position of the worker 50 and the estimated position of the robot 30 is within a predetermined value at any time from the time “t 0 +Δt” to the time when the movement of the robot 30 stops, the future interference determination unit 122 determines that the worker 50 and the robot 30 may come into contact with each other. The details of the method for calculating the estimated positions of the worker 50 and the robot 30 will be described later with reference to FIG. 7.

制御指示調整部１２３は、未来干渉判定部１２２によって「作業者５０とロボット３０とが接触し得る」と判定されると、作業者５０とロボット３０との干渉を回避するよう指示する指示信号を、コントローラ２０に送信する。制御指示調整部１２３は、例えば、「ロボット３０の動作を停止させずに、ロボット３０の移動速度および軌道の少なくとも一方を調整するよう指示する指示信号」を、または、「ロボット３０の動作を停止するよう指示する指示信号」を、送信する。 When the future interference determination unit 122 determines that “the worker 50 and the robot 30 may come into contact”, the control instruction adjustment unit 123 outputs an instruction signal for instructing to avoid the interference between the worker 50 and the robot 30. , To the controller 20. For example, the control instruction adjusting unit 123 may issue a “instruction signal for instructing to adjust at least one of the moving speed and the trajectory of the robot 30 without stopping the operation of the robot 30” or “stop the operation of the robot 30”. The instruction signal for instructing to do so is transmitted.

（記憶部の詳細）
記憶部１３０は、干渉判定装置１０が使用する各種データを格納する記憶装置である。なお、記憶部１３０は、干渉判定装置１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）干渉判定装置１０が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶してもよい。上記の（１）〜（４）のデータは、例えば、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）等の不揮発性記憶装置に記憶される。干渉判定装置１０は、図示しない一時記憶部を備えていてもよい。一時記憶部は、干渉判定装置１０が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）等の揮発性記憶装置で構成される。どのデータをどの記憶装置に記憶するのかについては、干渉判定装置１０の使用目的、利便性、コスト、または、物理的な制約等から適宜決定される。記憶部１３０はさらに人状態履歴データ１３１を格納している。 (Details of storage section)
The storage unit 130 is a storage device that stores various data used by the interference determination device 10. The storage unit 130 includes (1) a control program executed by the interference determination device 10, (2) an OS program, (3) an application program for executing various functions of the interference determination device 10, and (4). Various data read when the application program is executed may be stored non-temporarily. The data of (1) to (4) above are, for example, ROM (read only memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (registered trademark) (Electrically EPROM), HDD (Hard Disc Drive), etc. It is stored in the non-volatile storage device. The interference determination device 10 may include a temporary storage unit (not shown). The temporary storage unit is a so-called working memory that temporarily stores data used for calculation, a calculation result, and the like in the process of various processes executed by the interference determination device 10, and is a volatile storage such as a RAM (Random Access Memory). Composed of devices. Which data is stored in which storage device is appropriately determined based on the purpose of use, convenience, cost of the interference determination device 10, physical restrictions, and the like. The storage unit 130 further stores human state history data 131.

人状態履歴データ１３１には、「作業者５０の時間ごとの、位置および速度ベクトル」（の履歴）が格納され、特に、複数の作業者５０の各々の「時間ごとの、位置および速度ベクトル」（の履歴）が格納される。 The “history position and velocity vector of the worker 50” (history) is stored in the human state history data 131, and in particular, the “position and velocity vector of each hour” of the plurality of workers 50. (History of) is stored.

（コントローラの詳細）
コントローラ２０は、ロボット３０の動作を制御するロボット制御装置であり、例えば、後述するアームタスク２３に格納されている目標軌道および動作プログラムなどのデータに従って、ロボット３０の動作を制御する。また、コントローラ２０は、干渉判定装置１０からの指示信号に従って、ロボット３０の動作を制御する。すなわち、図１に例示するように、コントローラ２０は、ロボット制御部２１と、受信部２２と、アームタスク２３とを備えている。受信部２２は、干渉判定装置１０から指示信号を受信し、受信した指示信号をロボット制御部２１に通知する。アームタスク２３は、ロボット３０の動作を規定する「目標軌道および動作プログラム」などの情報を格納している。ロボット制御部２１は、受信部２２から通知された指示信号と、アームタスク２３に格納されている「目標軌道および動作プログラム」などの情報とに基づき、ロボット３０の動作を制御する。 (Details of controller)
The controller 20 is a robot control device that controls the operation of the robot 30, and controls the operation of the robot 30 in accordance with data such as a target trajectory and an operation program stored in an arm task 23 described later, for example. Further, the controller 20 controls the operation of the robot 30 according to the instruction signal from the interference determination device 10. That is, as illustrated in FIG. 1, the controller 20 includes a robot controller 21, a receiver 22, and an arm task 23. The receiver 22 receives the instruction signal from the interference determination device 10 and notifies the robot controller 21 of the received instruction signal. The arm task 23 stores information such as “target trajectory and motion program” that defines the motion of the robot 30. The robot controller 21 controls the operation of the robot 30 based on the instruction signal notified from the receiver 22 and the information such as the “target trajectory and operation program” stored in the arm task 23.

§３．動作例
図３は、制御システム１において実行される処理の概要を示すフロー図である。図３に示すように、制御システム１においては、先ず、センサ情報取得部１１１によってセンサ情報統合処理（Ｓ１１０）が実行され、次に、人状態情報生成部１１２によって人存在領域計算処理（Ｓ１２０）が実行される。人軌道予測部１１３によって人軌道計算処理（Ｓ１３０）が実行されると、未来干渉判定部１２２は、人軌道計算処理の結果等を用いて、未来干渉判定処理（Ｓ１４０）を実行する。未来干渉判定部１２２による未来干渉判定処理の結果、作業者５０とロボット３０とが未来において干渉する可能性があると判定されると、制御指示調整部１２３によって制御指示調整処理（Ｓ１５０）が実行される。そして、制御指示調整処理の結果等を用いて、コントローラ２０はロボット３０を制御し、例えば、ロボット３０のアームを制御する処理であるアームコントロール（Ｓ１６０）を実行する。 §3. Operation Example FIG. 3 is a flowchart showing an outline of processing executed in the control system 1. As shown in FIG. 3, in the control system 1, first, the sensor information acquisition unit 111 executes the sensor information integration process (S110), and then the human state information generation unit 112 performs the human presence area calculation process (S120). Is executed. When the human trajectory prediction unit 113 executes the human trajectory calculation process (S130), the future interference determination unit 122 executes the future interference determination process (S140) using the result of the human trajectory calculation process and the like. As a result of the future interference determination process by the future interference determination unit 122, when it is determined that the worker 50 and the robot 30 may interfere with each other in the future, the control instruction adjustment unit 123 executes the control instruction adjustment process (S150). To be done. Then, the controller 20 controls the robot 30 by using the result of the control instruction adjustment processing and the like, and executes, for example, arm control (S160) which is processing for controlling the arm of the robot 30.

図４は、図３のフロー図における人軌道計算処理までの詳細を示すフロー図である。図４に示すように、図３のセンサ情報統合処理（Ｓ１１０）は、センサ４０から、センサ４０の計測した「作業者５０の、時間ごとの（特に、現時点の）二次元位置または三次元位置」を示す測域データを取得する処理であるセンサ情報取得処理（Ｓ１１１）を含む。 FIG. 4 is a flowchart showing details up to the human trajectory calculation process in the flowchart of FIG. As shown in FIG. 4, the sensor information integration process (S110) of FIG. 3 is performed by the sensor 40 by measuring the “worker 50 two-dimensional position or three-dimensional position of the worker 50 per hour (especially at the present time)”. Sensor information acquisition processing (S111) that is processing for acquiring range finding data indicating "."

前述の通り、センサ４０が複数のセンサ（例えば、センサ４０（１）およびセンサ４０（２））を含む場合、センサ情報取得部１１１は、複数のセンサ４０の各々から、複数のセンサ４０の各々の測域データを取得する。そして、センサ情報取得部１１１は、取得した複数の測域データを統合する（測域データ統合処理、Ｓ１１２）。 As described above, when the sensor 40 includes a plurality of sensors (for example, the sensor 40(1) and the sensor 40(2)), the sensor information acquisition unit 111 determines that each of the plurality of sensors 40 is included in the plurality of sensors 40. Get the range data of. Then, the sensor information acquisition unit 111 integrates the acquired plurality of range finding data (range finding data integration process, S112).

図４に示すように、図３の人存在領域計算処理は、人推定処理（Ｓ１２１）、人重心計算処理（Ｓ１２２）、および、人重心バッファリング処理（Ｓ１２３）を含む。 As shown in FIG. 4, the person existing area calculation process of FIG. 3 includes a person estimation process (S121), a person centroid calculation process (S122), and a person centroid buffering process (S123).

先ず、人状態情報生成部１１２は、センサ情報取得部１１１から取得した測域データについて、ノイズ（作業者５０以外の対象についての計測結果等）を除去し、測域データから作業者５０の存在を示すデータだけを抽出する（人推定処理）。人状態情報生成部１１２は、例えば、人状態履歴データ１３１に格納された「作業者５０の時間ごとの、位置」（の履歴）を用いて、センサ情報取得部１１１から取得した測域データ（作業者５０の、現時点の位置を示すデータ）からノイズを除去する。 First, the human state information generation unit 112 removes noise (measurement results and the like for objects other than the worker 50) from the range data acquired from the sensor information acquisition unit 111, and the presence of the worker 50 in the range data. Only the data indicating is extracted (human estimation process). The human state information generation unit 112 uses, for example, (history of the position of the worker 50 for each hour) stored in the human state history data 131, the range data ( The noise is removed from the data indicating the current position of the worker 50).

人状態情報生成部１１２は、ノイズ除去した測域データから、つまり、作業者５０の存在を示すデータ（点群）から、作業者５０の現時点の重心位置を計算する。例えば、人状態情報生成部１１２は、作業者５０の存在を示す点群の平均から、作業者５０の現時点の重心位置を算出する（人重心計算処理）。 The human state information generation unit 112 calculates the current center-of-gravity position of the worker 50 from the noise-removed range data, that is, from the data (point cloud) indicating the presence of the worker 50. For example, the human state information generation unit 112 calculates the current center-of-gravity position of the worker 50 from the average of the point cloud indicating the presence of the worker 50 (human-center-of-gravity calculation process).

人状態情報生成部１１２は、算出した作業者５０の現時点の重心位置を、現在時刻と共に人状態履歴データ１３１に格納する（人重心バッファリング処理）。また、人状態情報生成部１１２は、人状態履歴データ１３１に格納済の「作業者５０の、時間ごとの位置」（の履歴）と、作業者５０の現時点の位置とから、作業者５０の現時点の速度を算出する。人状態情報生成部１１２は、算出した「作業者５０の、現時点の速度」を、「作業者５０の、現時点の位置（重心位置）」および現在時刻と共に、人状態履歴データ１３１に格納する。 The human state information generating unit 112 stores the calculated center-of-gravity position of the worker 50 at present in the human-state history data 131 together with the current time (person-center-of-gravity buffering process). In addition, the human state information generation unit 112 determines, based on the “history of the position of the worker 50” (history) stored in the human state history data 131 and the current position of the worker 50. Calculate the current speed. The human state information generation unit 112 stores the calculated “current speed of the worker 50” in the human state history data 131 together with the “current position (center of gravity position) of the worker 50” and the current time.

図３の人軌道計算処理は、図４に示すように、人軌道学習処理（Ｓ１３１）、学習結果を用いた人軌道予測処理（Ｓ１３２）、および、調停部への予測結果出力処理（Ｓ１３３）を含んでいる。 As shown in FIG. 4, the human trajectory calculation process of FIG. 3 is a human trajectory learning process (S131), a human trajectory prediction process using the learning result (S132), and a prediction result output process to the arbitration unit (S133). Is included.

人軌道学習処理において、学習部１１４は、時刻ごとの（特に、現在の）、作業者５０の位置（特に、重心位置）および速度ベクトルを入力とし、時刻ごとの、作業者５０の加速度を出力とする学習用データについて、学習を行う。学習部１１４は、学習によって、学習済モデルとして予測用データを生成する。 In the human trajectory learning process, the learning unit 114 inputs the position (particularly, the center of gravity position) and the velocity vector of the worker 50 for each time (in particular, the present), and outputs the acceleration of the worker 50 for each time. Learning is performed on the learning data set to. The learning unit 114 generates prediction data as a learned model by learning.

人軌道予測処理において、人軌道予測部１１３は、作業者５０の「現在の、位置および速度ベクトル」を、予測用データ（学習済モデル）に入力して、「未来の、作業者５０の位置および速度ベクトル」を予測する。そして、人軌道予測部１１３は、人軌道予測処理の結果を、つまり、予測した「未来の、作業者５０の位置および速度ベクトル」を、調停部１２０に通知する（Ｓ１３３）。 In the human trajectory predicting process, the human trajectory predicting unit 113 inputs the “current position and velocity vector” of the worker 50 into the prediction data (learned model) to calculate “the future position of the worker 50”. And the velocity vector". Then, the human trajectory prediction unit 113 notifies the arbitration unit 120 of the result of the human trajectory prediction processing, that is, the predicted “future position and velocity vector of the worker 50” (S133).

図５は、図３のフロー図における未来干渉判定処理からアームコントロール処理までの詳細を示すフロー図である。図３の未来干渉判定処理は、図５に示すように、ロボット軌道取得処理（Ｓ１４１）および未来の安全距離計算処理（Ｓ１４３）等を含んでいる。 FIG. 5 is a flowchart showing details from the future interference determination processing to the arm control processing in the flowchart of FIG. As shown in FIG. 5, the future interference determination process of FIG. 3 includes a robot trajectory acquisition process (S141) and a future safe distance calculation process (S143).

ロボット軌道取得処理（Ｓ１４１）において、ロボット状態取得部１２１は、未来における「ロボット３０の、位置および速度ベクトル」を取得し、取得した未来における「ロボット３０の、位置および速度ベクトル」を、未来干渉判定部１２２に通知する。例えば、ロボット状態取得部１２１は、アームタスク２３から、ロボット３０に係る制御情報を取得し、取得した制御情報を解析して、未来（つまり、所定時間後）における「ロボット３０の、位置および速度ベクトル」を取得する。 In the robot trajectory acquisition process (S141), the robot state acquisition unit 121 acquires the "position, velocity vector of the robot 30" in the future, and uses the acquired "position, velocity vector of the robot 30" in the future for future interference. Notify the determination unit 122. For example, the robot state acquisition unit 121 acquires the control information about the robot 30 from the arm task 23, analyzes the acquired control information, and determines “the position and speed of the robot 30” in the future (that is, after a predetermined time). Vector".

未来干渉判定部１２２は、人軌道予測の結果がバッファリングされているか、つまり、人軌道予測部１１３から「未来の、作業者５０の位置および速度ベクトル」が通知されているか、を判定する（Ｓ１４２）。人軌道予測部１１３から「未来の、作業者５０の位置および速度ベクトル」が通知されていない場合（Ｓ１４２でｆａｌｓｅ）、未来干渉判定部１２２は未来の安全距離計算処理を実行ができず、その旨を、制御指示調整部１２３を介してコントローラ２０に通知する。 The future interference determination unit 122 determines whether or not the result of the human trajectory prediction is buffered, that is, whether the “future position and velocity vector of the worker 50” is notified from the human trajectory prediction unit 113 ( S142). If the “future position and velocity vector of the worker 50” has not been notified from the human trajectory prediction unit 113 (false in S142), the future interference determination unit 122 cannot execute the future safety distance calculation process, and This is notified to the controller 20 via the control instruction adjusting unit 123.

人軌道予測部１１３から「未来の、作業者５０の位置および速度ベクトル」が通知されている場合（Ｓ１４２でｔｒｕｅ）、未来干渉判定部１２２は、未来の安全距離計算処理（Ｓ１４３）を実行する。例えば、未来干渉判定部１２２は、作業者５０およびロボット３０の各々の未来における速度ベクトルにより、未来における安全距離を算出する。また、作業者５０およびロボット３０の各々の未来における位置により、未来における分離距離を算出する。未来干渉判定部１２２は、算出した未来における安全距離と、未来における分離距離と比較し、未来において安全距離が保たれるかを、つまり、未来における分離距離が未来における安全距離よりも大きいかを、判定する（Ｓ１４４）。 When the “future position and velocity vector of the worker 50” is notified from the human trajectory prediction unit 113 (true in S142), the future interference determination unit 122 executes future safety distance calculation processing (S143). .. For example, the future interference determination unit 122 calculates the future safe distance from the future velocity vector of each of the worker 50 and the robot 30. Further, the future separation distance is calculated from the future positions of the worker 50 and the robot 30. The future interference determination unit 122 compares the calculated future safety distance with the future separation distance to determine whether the future safety distance is maintained, that is, whether the future separation distance is greater than the future safety distance. , (S144).

未来において安全距離が保たれる場合（Ｓ１４４でｔｒｕｅ）、未来干渉判定部１２２は、制御情報に従って動作するロボット３０の動作を修正する必要はないと判定し、その旨を、制御指示調整部１２３を介してコントローラ２０に通知する。未来において安全距離が保たれない場合（Ｓ１４４でｆａｌｓｅ）、つまり、「作業者５０とロボット３０とが接触し得る」と判定すると、未来干渉判定部１２２は、「作業者５０とロボット３０とが接触し得る」との判定結果を、制御指示調整部１２３に通知する。 When the safe distance is maintained in the future (true in S144), the future interference determination unit 122 determines that it is not necessary to correct the operation of the robot 30 that operates according to the control information, and to that effect the control instruction adjustment unit 123. The controller 20 is notified via. When the safe distance cannot be maintained in the future (false in S144), that is, when it is determined that “the worker 50 and the robot 30 can contact each other”, the future interference determination unit 122 determines that “the worker 50 and the robot 30 are in contact with each other”. The control instruction adjusting unit 123 is notified of the determination result that “there is a possibility of contact”.

「作業者５０とロボット３０とが接触し得る」との判定結果を未来干渉判定部１２２から通知されると、制御指示調整部１２３は、安全軌道生成処理（Ｓ１５１）を実行する。例えば、制御指示調整部１２３は、未来における安全距離と、未来における分離距離とを比較して、ロボット３０を停止させる指示信号を、または、ロボット３０の速度および軌道の少なくとも一方を調整させる指示信号を、コントローラ２０に送信する。 When the future interference determination unit 122 is notified of the determination result that "the worker 50 and the robot 30 may come into contact", the control instruction adjustment unit 123 executes the safe trajectory generation process (S151). For example, the control instruction adjusting unit 123 compares the future safety distance with the future separation distance, and issues an instruction signal for stopping the robot 30, or an instruction signal for adjusting at least one of the speed and the trajectory of the robot 30. Is transmitted to the controller 20.

コントローラ２０（特に、ロボット制御部２１）は、ロボット３０（例えば、ロボット３０のアーム）の動作を制御するアームコントロール処理（Ｓ１６０）を実行する。受信部２２が、干渉判定装置１０から、未来の安全距離計算処理を実行していないとの報告、または、未来において安全距離が保たれるとの報告を受信すると、ロボット制御部２１は、アームタスク２３に格納されている制御情報に基づき、ロボット３０を制御する。受信部２２が、干渉判定装置１０から、指示信号と作業者５０とロボット３０とが接触し得るとの報告とを受信すると、ロボット制御部２１は、アームタスク２３に格納されている制御情報に従ったロボット３０に対する制御を、指示信号に従って修正する。 The controller 20 (particularly, the robot control unit 21) executes an arm control process (S160) that controls the operation of the robot 30 (for example, the arm of the robot 30). When the reception unit 22 receives from the interference determination device 10 a report that the future safety distance calculation process is not being executed or a report that the safety distance will be maintained in the future, the robot control unit 21 causes the arm The robot 30 is controlled based on the control information stored in the task 23. When the reception unit 22 receives the instruction signal and the report that the worker 50 and the robot 30 may come into contact with each other from the interference determination device 10, the robot control unit 21 updates the control information stored in the arm task 23. The control for the robot 30 that follows is modified according to the instruction signal.

これまでに図３、図４、および図５を参照しながら説明してきた干渉判定装置１０が実行する処理（言い換えれば、干渉判定装置１０が実行するロボット干渉判定方法）は、以下のように整理することができる。すなわち、干渉判定装置１０が実行する制御方法（ロボット干渉判定方法）は、所定の領域内に存在する作業者５０（対象物）の、現時点（ｔ０）までの位置の変化を示す情報（例えば、現時点における現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０））を取得する対象物状態取得ステップ（人存在領域計算処理、Ｓ１２０）と、ロボット３０（ロボットにおける所定の可動部）の所定時間Δｔ後における予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）を取得するロボット状態取得ステップ（ロボット軌道取得処理、Ｓ１４１）と、作業者５０の現時点までの位置の変化を示す情報に基づいて、所定時間Δｔ後における作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を算出する予測ステップ（人軌道予測処理、Ｓ１３２）と、作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）と、ロボット３０の予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）とに基づき、作業者５０とロボット３０との接触が生じる可能性があるか否かをリアルタイムで判定する干渉判定ステップ（Ｓ１４４）と、を含んでいる。 The processing executed by the interference determination device 10 (in other words, the robot interference determination method executed by the interference determination device 10) described so far with reference to FIGS. 3, 4, and 5 is summarized as follows. can do. That is, the control method (robot interference determination method) executed by the interference determination device 10 is information indicating a change in the position of the worker 50 (object) existing in a predetermined area up to the present time (t 0 ) (for example, , The current position x h (t 0 ) and the current velocity vector v h (t 0 )) at the present time, the object state acquisition step (human presence region calculation process, S120), and the robot 30 (predetermined movable part of the robot). ), a robot state acquisition step (robot trajectory acquisition processing, S141) for acquiring the predicted position x r (t 0 +Δt) and the predicted velocity vector v r (t 0 +Δt) after the predetermined time Δt, and up to the present time of the worker 50. Of the predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) of the worker 50 after a predetermined time Δt based on the information indicating the change in the position of the human trajectory prediction process. , S132), the predicted position x h (t 0 +Δt) of the worker 50 and the predicted velocity vector v h (t 0 +Δt), the predicted position x r (t 0 +Δt) of the robot 30, and the predicted velocity vector v r ( interference determination step (S144) for determining in real time whether or not there is a possibility of contact between the worker 50 and the robot 30, based on t 0 +Δt).

前記の方法によれば、前記ロボット干渉判定方法は、「作業者５０の、現時点までの位置の変化を示す情報」を取得し、この「現時点までの位置の変化を示す情報」を用いて、所定時間Δｔ後における作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）を予測する（算出する）。「作業者５０の、現時点までの位置の変化を示す情報」は、例えば、作業者５０の現在位置ｘｈ（ｔ０）および現在速度ベクトルｖｈ（ｔ０）である。また、図１５の表において入力として示す各種の情報も、各々、前記対象物の、現時点までの位置の変化を示す情報の例である。 According to the method, the robot interference determination method acquires “information indicating a change in position of the worker 50 up to the present time” and uses the “information indicating change in position up to the present time”, The predicted position x h (t 0 +Δt) of the worker 50 and the predicted velocity vector v h (t 0 +Δt) after the predetermined time Δt are predicted (calculated). The “information indicating the change in position of the worker 50 up to the present time” is, for example, the current position x h (t 0 ) of the worker 50 and the current velocity vector v h (t 0 ). Further, each of various kinds of information shown as inputs in the table of FIG. 15 is also an example of information indicating a change in position of the target object up to the present time.

そして、前記ロボット干渉判定方法は、算出した作業者５０の予測位置ｘｈ（ｔ０＋Δｔ）および予測速度ベクトルｖｈ（ｔ０＋Δｔ）と、ロボット３０の予測位置ｘｒ（ｔ０＋Δｔ）および予測速度ベクトルｖｒ（ｔ０＋Δｔ）とに基づき、作業者５０とロボット３０との接触が生じる可能性があるか否かをリアルタイムで判定する。 Then, in the robot interference determination method, the predicted position x h (t 0 +Δt) and the predicted velocity vector v h (t 0 +Δt) of the calculated worker 50, the predicted position x r (t 0 +Δt) of the robot 30, and Based on the predicted velocity vector v r (t 0 +Δt), it is determined in real time whether or not the contact between the worker 50 and the robot 30 may occur.

前記ロボット干渉判定方法は、安全柵を用いずにロボット３０と作業者５０との干渉を回避することができるので、生産現場等の省スペース化を実現することができる。 Since the robot interference determination method can avoid the interference between the robot 30 and the worker 50 without using a safety fence, it is possible to save space in a production site or the like.

また、前記ロボット干渉判定方法は、ロボット３０と作業者５０との、所定時間Δｔ（つまり、未来）における干渉の可能性を現時点ｔ０で判定するので、干渉の可能性があると判定した場合にも、干渉回避のための処理を現時点ｔ０で余裕を持って実行できる。 Further, in the robot interference determination method, since the possibility of interference between the robot 30 and the worker 50 in the predetermined time Δt (that is, the future) is determined at the present time t 0, it is determined that there is a possibility of interference. Also, the process for avoiding interference can be executed with a margin at the present time t 0 .

ここで、現時点ｔ０での干渉の可能性を現時点ｔ０で判定する装置が、現時点ｔ０での干渉の可能性があると判定した場合、現時点ｔ０での干渉を回避するためには、ロボット３０の急減速および急停止等の動作が必要となり、どうしても生産効率が低下する。 Here, if the apparatus for determining the possibility of interference at the moment t 0 at the moment t 0 is, it is determined that there is a possibility of interference at the present time t 0, in order to avoid interference at the present time t 0 is Therefore, operations such as sudden deceleration and sudden stop of the robot 30 are required, which inevitably reduces the production efficiency.

これに対し、前記ロボット干渉判定方法は、未来における干渉の可能性を現時点ｔ０で判定するので、現時点ｔ０での干渉の可能性を現時点ｔ０で判定する場合に比べて、干渉を回避するために必要なロボット３０の動作を、円滑かつ必要最小限のものにすることができる。つまり、前記ロボット干渉判定方法は、ロボット３０と作業者５０との干渉を回避しつつ、ロボット３０の急減速および急停止等による生産効率の低下を抑制することができる。 On the other hand, in the robot interference determination method, the possibility of interference in the future is determined at the present time t 0 , and therefore the interference is avoided as compared with the case of determining the possibility of interference at the present time t 0 at the present time t 0. Therefore, the operation of the robot 30 required for the operation can be performed smoothly and to the minimum required. That is, the robot interference determination method can prevent a decrease in production efficiency due to sudden deceleration and sudden stop of the robot 30 while avoiding interference between the robot 30 and the worker 50.

したがって、前記ロボット干渉判定方法は、工場等の生産現場において、例えば作業者５０等である人（対象物）とロボット３０との干渉を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the robot interference determination method suppresses a decrease in production efficiency and space efficiency while avoiding interference between the robot 30 and a person (object) such as a worker 50 at a production site such as a factory. There is an effect that can be.

（学習処理および人軌道予測処理について）
図６は、干渉判定装置１０が実行する学習処理と、学習処理の結果を利用した人軌道予測処理とについて説明する図である。具体的には、図６の（Ａ）は、干渉判定装置１０（特に、学習部１１４）が実行する学習処理を、図６の（Ｂ）は、干渉判定装置１０（特に、人軌道予測部１１３）が実行する人軌道予測処理を、示している。 (About learning process and human trajectory prediction process)
FIG. 6 is a diagram illustrating a learning process executed by the interference determination device 10 and a human trajectory prediction process using the result of the learning process. Specifically, FIG. 6A illustrates the learning process executed by the interference determination device 10 (in particular, the learning unit 114), and FIG. 6B illustrates the interference determination device 10 (in particular, the human trajectory prediction unit). 113) shows a human trajectory prediction process executed by 113).

（学習処理について）
学習部１１４は、人状態履歴データ１３１に格納された「作業者５０の時間ごとの、位置（重心位置）」（の履歴）を用いて、以下の式により、「作業者５０の時間ごとの、速度ベクトルおよび加速度ベクトル」を計算する。すなわち、「ｘｔ」を「時刻ｔにおける、作業者５０の位置（重心位置）」とし、「ｖｔ」を「時刻ｔにおける、作業者５０の速度ベクトル」とし、「Δｔ」を「微小時間」として、ｖｔは、 (About learning process)
The learning unit 114 uses (history of the position (center of gravity position) of the worker 50 for each hour) stored in the human state history data 131 according to the following formula, , Velocity vector and acceleration vector". That is, “x t ”is the “position of the worker 50 at the time t (center of gravity position)”, “v t ” is the “velocity vector of the worker 50 at the time t”, and “Δt” is the “minute time”. , V t is

Figure 2020097091
Figure 2020097091

と定義する。 It is defined as.

また、「時刻ｔにおける、作業者５０の加速度ベクトル」を示す「ａｔ」は、 Further, “at” indicating “the acceleration vector of the worker 50 at the time t ” is

Figure 2020097091
Figure 2020097091

と定義する。 It is defined as.

学習部１１４は、上述の数式１および２を用いて計算した、「時刻ｔにおける、作業者５０の速度ベクトルｖｔおよび加速度ベクトルａｔ」と、「時刻ｔにおける、作業者５０の位置（重心位置）ｘｔ」について、図６の（Ａ）に示す学習を行う。すなわち、学習部１１４は、時刻ｔにおける位置ｘｔおよび時刻ｔにおける速度ベクトルｖｔの入力に対し時刻ｔの加速度ベクトルａｔの出力を学習する。学習部１１４は、例えば、ＤＢＴと呼ばれる学習アルゴリズムを用いた学習の結果として、予測用データを生成する。 Learning unit 114, was calculated using Equation 1 and 2 above, the "at time t, velocity vector v t and the acceleration vector a t the operator 50", at "time t, the position of the worker 50 (the center of gravity For position “x t ”, learning shown in FIG. 6(A) is performed. That is, the learning unit 114 learns the output of the acceleration vector a t at the time t with respect to the input of the position x t at the time t and the velocity vector v t at the time t. The learning unit 114 generates prediction data as a result of learning using a learning algorithm called DBT, for example.

（人軌道予測処理について）
図６の（Ｂ）に示すように、人軌道予測部１１３は、例えばＤＢＴを用いた学習により学習部１１４が生成した学習済モデル（予測用データ）を用いて、「時刻ｔにおける、作業者５０の加速度ベクトルの予測値ａｐｔ」を取得する。すなわち、人軌道予測部１１３は、予測用データ（学習済モデル）に、「時刻ｔにおける、作業者５０の位置ｘｔ」および「時刻ｔにおける、作業者５０の速度ベクトルｖｔ」を入力して、「時刻ｔにおける、作業者５０の加速度ベクトルの予測値ａｐｔ」を取得する（第１予測処理）。そして、人軌道予測部１１３は、「時刻ｔ＋Δｔにおける、作業者５０の速度ベクトルｖｔ＋Δｔ」および「時刻ｔ＋Δｔにおける、作業者５０の位置ｘｔ＋Δｔ」の各々を以下の式により計算する（第２予測処理）。すなわち、「ｘｔ」を「時刻ｔにおける、作業者５０の位置（重心位置）」とし、「ｖｔ」を「時刻ｔにおける、作業者５０の速度ベクトル」とし、「ａｐｔ」を「時刻ｔにおける予測加速度ベクトル」とし、「Δｔ」を「微小時間」として、ｖｔ＋Δｔは、 (About human trajectory prediction processing)
As shown in (B) of FIG. 6, the human trajectory prediction unit 113 uses the learned model (prediction data) generated by the learning unit 114 by learning using DBT, for example, “the worker at the time t. The predicted value “ap t ”of the acceleration vector of 50 is acquired. That is, human trajectory prediction unit 113 is input to the calculation data (learned model), "at time t, the position x t of the worker 50""at time t, velocity vector v t worker 50" and Te, acquires "at time t, the predicted value ap t of the acceleration vector of the operator 50" (first prediction processing). The human trajectory prediction unit 113 "at time t + Delta] t, the velocity vector v t + Delta] t of the operator 50""at time t + Delta] t, the position x t + Delta] t of the worker 50" and is calculated by the following equation each (second prediction processing). That is, “x t ”is the “position of the worker 50 at the time t (center of gravity position)”, “v t ” is the “velocity vector of the worker 50 at the time t ”, and “ap t ” is the “time”. v t+Δt is defined as “predicted acceleration vector at t”, “Δt” as “minute time”,

Figure 2020097091
Figure 2020097091

として計算される。 Calculated as

また、「時刻ｔ＋Δｔにおける、作業者５０の位置」を示す「ｘｔ＋Δｔ」は、 Further, “x t+Δt ” indicating “the position of the worker 50 at the time t+Δt ” is

Figure 2020097091
Figure 2020097091

として計算される。 Calculated as

人軌道予測部１１３は、第１予測処理および第２予測処理を繰り返すことによって、人軌道予測を、つまり、作業者５０の位置（重心位置）の変化の軌跡の予測を行う。 The human trajectory prediction unit 113 predicts the human trajectory, that is, the trajectory of the change in the position (center of gravity position) of the worker 50 by repeating the first prediction process and the second prediction process.

（未来干渉判定処理について）
図７は、干渉判定装置１０が実行する未来干渉判定処理の一例を説明する図である。干渉判定装置１０は、例えば、ＩＳＯ／ＴＣ１５０６６の５．５．４．２．３に規定される「安全距離Ｓｐ」との概念を用いて、未来干渉判定処理を実行する。安全距離Ｓｐの概念について、以下に概要を説明する。 (About future interference determination processing)
FIG. 7 is a diagram illustrating an example of future interference determination processing executed by the interference determination device 10. The interference determination device 10 executes the future interference determination process using, for example, the concept of “safety distance Sp” defined in 5.5.4.3.3 of ISO/TC15066. The concept of the safety distance Sp will be outlined below.

（安全距離Ｓｐについて）
或る時点（時刻ｔ０）において、センサ等により、その或る時点における「人の、速度ベクトル（ｖｈ（ｔ０））および位置（ｘｈ（ｔ０））」と、その或る時点における「ロボット（ロボット可動部）の、速度ベクトル（ｖｒ（ｔ０））および位置（ｘｒ（ｔ０））」とを取得する。時刻ｔ０時点における、ロボットの速度ベクトルｖｒ（ｔ０）および位置ｘｒ（ｔ０）は、ロボットの制御情報を用いて算出してもよい。 (About safety distance Sp)
At a certain time (time t 0 ), a sensor or the like is used to detect “the person's velocity vector (v h (t 0 )) and position (x h (t 0 ))” at that certain time and that certain time. It acquires the "robot (the robot movable portion), the velocity vector (v r (t 0)) and the position (x r (t 0))" in. The velocity vector v r (t 0 ) and the position x r (t 0 ) of the robot at time t 0 may be calculated using the control information of the robot.

ｘｈ（ｔ０）とｘｒ（ｔ０）との差により、その或る時点の「人とロボットとの分離距離（Ｄｒ（ｔ０））」を算出する。また、ｖｈ（ｔ０）とｖｒ（ｔ０）とにより、以下に示す安全距離計算公式を用いて、その或る時点における「人に接触する前にロボットが停止するための、所要の最短距離（最短安全許容距離（Ｓｐ（ｔ０）））」を算出する。そして、Ｄｒ（ｔ０）とＳｐ（ｔ０）とを比較し、「Ｄｒ（ｔ０）がＳｐ（ｔ０）よりも大きい」場合、人とロボットとは干渉しないと判定し、「Ｄｒ（ｔ０）がＳｐ（ｔ０）以下である」場合、干渉すると判定をする。 The “separation distance (Dr(t 0 )) between the person and the robot” at a certain point of time is calculated from the difference between x h (t 0 ) and x r (t 0 ). Further, by using v h (t 0 ) and v r (t 0 ), the safety distance calculation formula shown below is used, and at a certain point in time, “the required time for the robot to stop before touching a person The shortest distance (shortest safe allowable distance (Sp(t 0 ))) is calculated. Then, Dr(t 0 ) is compared with Sp(t 0 ), and if “Dr(t 0 ) is larger than Sp(t 0 )”, it is determined that a human and a robot do not interfere with each other, and “Dr( If t 0 ) is Sp(t 0 ) or less”, it is determined that interference occurs.

ＩＳＯ／ＴＣ１５０６６の５．５．４．２．３において、安全距離Ｓｐは、以下の安全距離計算公式により定義される。すなわち、或る時点（時刻ｔ０）における安全距離Ｓｐ（ｔ０）は、「Ｓｐ（ｔ０）＝Ｓｈ＋Ｓｒ＋Ｓｓ＋ｃ＋Ｚｄ＋Ｚｒ」と規定されている。以下の説明において、或る時点（時刻ｔ０）は、「センサ（例えば、センサ４０）が人（例えば、作業者５０）を検知した時間（時刻）」とも言い換えることができる。また、以下の説明において、時刻ｔ０からＴｒ経過した「時刻ｔ０＋Ｔｒ」において、ロボット（例えば、ロボット３０）が停止動作を開始し始めるものとし、ロボットが停止するのはさらにＴｓが経過した「時刻ｔ０＋Ｔｒ＋Ｔｓ」であるものとする。また、ロボットが停止動作を開始し始めてから、ロボットが停止するまでのロボットの速度ベクトルを、つまり、減速動作中のロボットの速度ベクトルを、「ｖｓ（ｔ）」と表わすものとする。減速動作中のロボットの速度ベクトルｖｓ（ｔ）は、ロボットの制御情報を用いて算出してもよい。 In 5.5.4.2.3 of ISO/TC15066, the safety distance Sp is defined by the following safety distance calculation formula. In other words, safety distance Sp (t 0) at a certain time point (time t 0) is defined as "Sp (t 0) = S h + S r + S s + c + Z d + Z r ". In the following description, a certain time point (time t 0 ) can also be referred to as “a time (time point) at which the sensor (for example, the sensor 40) detects a person (for example, the worker 50)”. In the following description, the "time t 0 + T r" has elapsed T r from the time t 0, the robot (e.g., robot 30) is assumed to start to start the stop operation, the robot to stop further T s It is assumed that is the time “time t 0 +T r +T s ”. In addition, the velocity vector of the robot from the start of the stop operation of the robot to the stop of the robot, that is, the velocity vector of the robot during the deceleration operation is represented as “v s (t)”. The velocity vector v s (t) of the robot during the deceleration operation may be calculated using the control information of the robot.

図７に示すように、上述の安全距離計算公式において、「Ｓｈ」は、「現時点（時刻ｔ０）からロボットの移動が停止する時点（ｔ０＋Ｔｒ＋Ｔｓ）までに、人が移動する距離」を示しており、つまり、 As shown in FIG. 7, in the above safety distance calculation formula, “S h ”means that “the person moves from the current time (time t 0 ) to the time when the robot stops moving (t 0 +T r +T s ). "Distance to do", that is,

Figure 2020097091
Figure 2020097091

である。 Is.

「Ｓｒ」は、「現時点（時刻ｔ０）からロボットが停止動作を開始する時点ｔ０＋Ｔｒまでに、ロボットが移動する距離」を示しており、つまり、 “S r ”denotes “the distance the robot moves from the current time (time t 0 ) to the time t 0 +T r at which the robot starts the stopping operation”, that is,

Figure 2020097091
Figure 2020097091

である。 Is.

「Ｓｓ」は、「ロボットが停止動作を開始する時点ｔ０＋Ｔｒからロボットの移動が停止する時点ｔ０＋Ｔｒ＋Ｔｓまでに、ロボットが移動する距離」を示しており、つまり、 “S s ”indicates “the distance the robot moves from the time t 0 +T r at which the robot starts the stop operation to the time t 0 +T r +T s at which the robot stops moving”, that is,

Figure 2020097091
Figure 2020097091

である。 Is.

また、上述の安全距離計算公式において、「ｃ」は、「Ｄｅｐｔｈ ｐｅｎｅｔｒａｔｉｏｎ ｆａｃｔｏｒ」と呼ばれる、人の中心（重心）等の検知位置から、その人の腕などの部分までの距離を示している。「Ｚｄ」は「人体を検知するセンサの測定誤差」を示しており、「Ｚｒ」は「ロボット制御における制御位置の誤差」を示している。 Further, in the above safety distance calculation formula, “c” indicates the distance from the detection position such as the center (center of gravity) of a person, which is called “Depth penetration factor”, to a part such as the arm of the person. “Z d ”denotes “measurement error of sensor for detecting human body”, and “Z r ”denotes “error of control position in robot control”.

安全距離Ｓｐの概念において、或る時点（時刻ｔ０）の分離距離Ｄｒ（ｔ０）と、或る時点における、人およびロボットの各々の速度ベクトル（ｖｈ（ｔ０）およびｖｒ（ｔ０））から算出される最短安全許容距離Ｓｐ（ｔ０）との大小が判定される。時刻ｔ０における分離距離Ｄｒ（ｔ０）が、最短安全許容距離Ｓｐ（ｔ０）よりも大きいと、人とロボットとは干渉しないと判定され、Ｄｒ（ｔ０）がＳｐ（ｔ０）以下であると、干渉すると判定される。 In the concept of the safety distance Sp, the separation distance Dr(t 0 ) at a certain time (time t 0 ) and the velocity vectors (v h (t 0 ) and v r (t) of the human and the robot at a certain time, respectively. 0 )) and the size of the shortest safe allowable distance Sp(t 0 ) are determined. If the separation distance Dr(t 0 ) at the time t 0 is larger than the shortest safe allowable distance Sp(t 0 ), it is determined that the human and the robot do not interfere with each other, and Dr(t 0 ) is equal to or less than Sp(t 0 ). Then, it is determined that the interference occurs.

図７に例示される通り、分離距離Ｄｒ（ｔ０）と最短安全許容距離Ｓｐ（ｔ０）とが等しい場合、「ロボットの移動が停止する時点（ｔ０＋Ｔｒ＋Ｔｓ）における、人の位置（推定位置）」と、「ロボットの移動が停止する時点（ｔ０＋Ｔｒ＋Ｔｓ）における、ロボットの位置（推定位置）」との差（距離）は、「ｃ＋Ｚｄ＋Ｚｒ」に一致することになる。図７に示すように、「ロボットの移動が停止する時点（ｔ０＋Ｔｒ＋Ｔｓ）における、人の推定位置」は、「人が、現時点（時刻ｔ０）の位置からＳｈだけ移動した位置」である。また、「ロボットの移動が停止する時点における、ロボットの推定位置」は、「ロボットが、現時点（時刻ｔ０）の位置からＳｒ＋Ｓｓだけ移動した位置」である。 As illustrated in FIG. 7, when the separation distance Dr(t 0 ) is equal to the shortest safety permissible distance Sp(t 0 ), “the movement of the robot is stopped (t 0 +T r +T s ) The difference (distance) between the "position (estimated position)" and the "position (estimated position) of the robot at the time (t 0 +T r +T s ) at which the robot stops moving" matches "c+Z d +Z r ". Will be done. As shown in FIG. 7, “the estimated position of the person at the time (t 0 +T r +T s ) at which the movement of the robot stops” is “the person has moved Sh from the current position (time t 0 )”. Position". In addition, the “estimated position of the robot at the time when the movement of the robot stops” is the “position where the robot moves by S r +S s from the position at the present time (time t 0 )”.

ここで、ｃ、Ｚｄ、Ｚｒの各々を予め求めておくことにより、「ｃ＋Ｚｄ＋Ｚｒ」は所定値として扱うことができる。つまり、安全距離Ｓｐの概念は、ロボットの移動停止時点（ｔ０＋Ｔｒ＋Ｔｓ）における、人の推定位置とロボットの推定位置との距離が、所定値（ｃ＋Ｚｄ＋Ｚｒ）以下（以内）となると、人とロボットとが干渉すると判定するものと理解することができる。 Here, “c+Z d +Z r ”can be treated as a predetermined value by previously obtaining each of c, Z d , and Z r . That is, the concept of the safety distance Sp is that the distance between the estimated position of the person and the estimated position of the robot at the time when the movement of the robot is stopped (t 0 +T r +T s ) is within a predetermined value (c+Z d +Z r ) or less (within). Then, it can be understood that it is determined that the human and the robot interfere with each other.

（干渉判定装置への適用）
干渉判定装置１０は、未来（ｔ０＋Δｔ）における「作業者５０の位置および速度ベクトル」と、未来における「ロボット３０の位置および速度ベクトル」とを用いて、未来における最短安全許容距離Ｓｐ（ｔ０＋Δｔ）を算出する。そして、干渉判定装置１０は、未来（ｔ０＋Δｔ）における最短安全許容距離Ｓｐ（ｔ０＋Δｔ）を用いて、未来における作業者５０とロボット３０との干渉の可能性を判定する。 (Application to interference determination device)
The interference determination device 10 uses the “position and velocity vector of the worker 50” in the future (t 0 +Δt) and the “position and velocity vector of the robot 30” in the future to determine the shortest safe allowable distance Sp(t in the future. 0 + Δt) is calculated. The interference determination unit 10 uses the future (t 0 + Δt) minimum safety margin distance in Sp (t 0 + Δt), and determines the possibility of interference with the operator 50 and the robot 30 in the future.

具体的には、先ず、人軌道予測部１１３が、「現時点（つまり、時刻ｔ０）の、作業者５０の位置および速度ベクトル」を、学習部１１４が生成した予測用データに入力して、「未来（ｔ０＋Δｔ）における、作業者５０の位置および速度ベクトル」を予測する。また、ロボット状態取得部１２１は、制御情報を解析して、未来（ｔ０＋Δｔ）における「ロボット３０の、位置および速度ベクトル」を取得する。 Specifically, first, the human trajectory prediction unit 113 inputs “the position and velocity vector of the worker 50 at the present time (that is, time t 0 )” into the prediction data generated by the learning unit 114, The "position and velocity vector of the worker 50 in the future (t 0 +Δt)" is predicted. Further, the robot state acquisition unit 121 analyzes the control information and acquires the “position and velocity vector of the robot 30” in the future (t 0 +Δt).

次に、未来干渉判定部１２２は、未来（ｔ０＋Δｔ）における、作業者５０およびロボット３０の各々の「位置および速度ベクトル」から、ロボットの移動停止時点（ｔ０＋Δｔ＋Ｔｒ＋Ｔｓ）における、作業者５０およびロボット３０の各々の位置を算出する。未来干渉判定部１２２は、未来における、作業者５０およびロボット３０の各々の「位置および速度ベクトル」から、安全距離計算公式により、ロボットの移動停止時点における、作業者５０およびロボット３０の各々の推定位置を算出する。未来干渉判定部１２２は、ロボットの移動停止時点（ｔ０＋Δｔ＋Ｔｒ＋Ｔｓ）における、作業者５０の推定位置とロボット３０の推定位置との距離が、所定値（ｃ＋Ｚｄ＋Ｚｒ）以下であると、人とロボットとが干渉すると判定する。 Next, the future interference determination unit 122 determines from the “position and velocity vector” of each of the worker 50 and the robot 30 in the future (t 0 +Δt) at the movement stop time (t 0 +Δt+T r +T s ) of the robot, The positions of the worker 50 and the robot 30 are calculated. The future interference determination unit 122 estimates each of the worker 50 and the robot 30 at the time when the movement of the robot is stopped from the “position and velocity vector” of each of the worker 50 and the robot 30 in the future according to the safety distance calculation formula. Calculate the position. In the future interference determination unit 122, the distance between the estimated position of the worker 50 and the estimated position of the robot 30 at the time when the robot stops moving (t 0 +Δt+T r +T s ) is less than or equal to a predetermined value (c+Z d +Z r ). Then, it is determined that the human and the robot interfere with each other.

未来干渉判定部１２２により、人とロボットとが干渉すると判定されると、制御指示調整部１２３は、両者の干渉を回避するよう指示する指示信号を生成し、例えば、未来における最短安全許容距離Ｓｐ（ｔ０＋Δｔ）を小さくするよう指示する指示信号を生成する。言い換えれば、制御指示調整部１２３は、ロボット３０の移動速度および軌道の少なくとも一方を調整して、ロボットの移動停止時点（ｔ０＋Δｔ＋Ｔｒ＋Ｔｓ）における、ロボット３０の推定位置を修正する指示信号を生成する。制御指示調整部１２３は、ロボットの移動停止時点（ｔ０＋Δｔ＋Ｔｒ＋Ｔｓ）における、作業者５０の推定位置とロボット３０の推定位置との距離を、所定値（ｃ＋Ｚｄ＋Ｚｒ）よりも大きくするための指示信号を、コントローラ２０に送信する。 When the future interference determination unit 122 determines that the human and the robot interfere with each other, the control instruction adjustment unit 123 generates an instruction signal instructing to avoid the interference between the human and the robot, and, for example, the shortest safe allowable distance Sp in the future. An instruction signal for instructing to reduce (t 0 +Δt) is generated. In other words, the control instruction adjusting unit 123 adjusts at least one of the moving speed and the trajectory of the robot 30 to correct the estimated position of the robot 30 at the time when the robot stops moving (t 0 +Δt+T r +T s ). To generate. The control instruction adjusting unit 123 sets the distance between the estimated position of the worker 50 and the estimated position of the robot 30 at the time when the robot stops moving (t 0 +Δt+T r +T s ) to be larger than a predetermined value (c+Z d +Z r ). An instruction signal to do so is transmitted to the controller 20.

干渉判定装置１０は、各時点で、「各時点の未来における、作業者５０およびロボット３０の各々の、位置および速度ベクトル」を用いて、作業者５０とロボット３０との干渉の可能性を判定する。そして、干渉の可能性があると判定した時点で、干渉判定装置１０は、例えばロボット３０の移動速度および軌道の少なくとも一方を調整して、未来における最短安全許容距離Ｓｐ（ｔ０＋Δｔ）を小さくさせる。 The interference determination device 10 determines the possibility of interference between the worker 50 and the robot 30 at each time point by using “the position and velocity vector of each of the worker 50 and the robot 30 in the future at each time point”. To do. Then, when it is determined that there is a possibility of interference, the interference determination device 10 adjusts, for example, at least one of the moving speed and the trajectory of the robot 30 to reduce the shortest safe allowable distance Sp(t 0 +Δt) in the future. Let

図７を用いて説明してきた「安全距離Ｓｐ」との概念、および、この概念の干渉判定装置１０への適用は、以下のように整理することができる。すなわち、干渉判定装置１０において、未来干渉判定部１２２は、現時点（ｔ０）から所定時間Δｔが経過した時点（ｔ０＋Δｔ時点）から、ロボット３０が移動停止動作を開始し、ロボット３０の移動が停止するまでの時間における、作業者５０の推定位置とロボット３０の推定位置との距離が所定値以内となる場合に、作業者５０とロボット３０との接触が生じる可能性があると判定する。 The concept of “safety distance Sp” described with reference to FIG. 7 and the application of this concept to the interference determination device 10 can be summarized as follows. That is, in the interference determination unit 10, future interference determination unit 122, from the present time when the (t 0) from a predetermined time Delta] t has elapsed (t 0 + Δt time), the robot 30 starts moving stop operation, the movement of the robot 30 When the distance between the estimated position of the worker 50 and the estimated position of the robot 30 is within a predetermined value in the time until the stop, it is determined that the worker 50 and the robot 30 may come into contact with each other. ..

前記の構成によれば、干渉判定装置１０は、現時点ｔ０から所定時間Δｔが経過した時点（ｔ０＋Δｔ時点）から、ロボット３０の移動が停止する時点までのいずれかの時点において、作業者５０の推定位置とロボット３０の推定位置との距離が所定値以内となると、作業者５０とロボット３０との接触が生じる可能性があると判定する。 According to the above configuration, the interference determination device 10 allows the worker to determine whether the worker moves at any time from the time when the predetermined time Δt has passed from the current time t 0 (time t 0 +Δt) to the time when the movement of the robot 30 stops. When the distance between the estimated position of 50 and the estimated position of the robot 30 is within a predetermined value, it is determined that the worker 50 and the robot 30 may come into contact with each other.

つまり、干渉判定装置１０は、ロボット３０の移動が停止した時点での作業者５０の推定位置とロボット３０の推定位置との距離だけでなく、その途中までの各時点における作業者５０の推定位置とロボット３０の推定位置との距離を用いて、前述の判定を行う。 That is, the interference determination device 10 determines not only the distance between the estimated position of the worker 50 at the time when the movement of the robot 30 is stopped and the estimated position of the robot 30, but also the estimated position of the worker 50 at each point up to that point. And the estimated position of the robot 30 are used to make the above determination.

したがって、干渉判定装置１０は、「現時点ｔ０から所定時間Δｔが経過した時点であるｔ０＋Δｔ時点」から、「ロボット３０の移動が停止する時点」までの各時点における接触の可能性を考慮した判定を行うことができるとの効果を奏する。 Therefore, the interference determination device 10 considers the possibility of contact at each time from “the time t 0 +Δt, which is the time when the predetermined time Δt has passed from the current time t 0 ”, to “the time when the movement of the robot 30 stops”. The effect that the determined judgment can be performed is produced.

（指示信号について）
制御指示調整部１２３は、未来干渉判定部１２２によって「作業者５０とロボット３０とが接触し得る」と判定されると、作業者５０とロボット３０との干渉を回避するよう指示する指示信号を、コントローラ２０に送信する。制御指示調整部１２３は、以下のような指示信号をコントローラ２０に送信することによって、干渉回避動作によるロボット３０の生産性低下を回避・抑制してもよい。 (About instruction signal)
When the future interference determination unit 122 determines that “the worker 50 and the robot 30 may come into contact”, the control instruction adjustment unit 123 outputs an instruction signal for instructing to avoid the interference between the worker 50 and the robot 30. , To the controller 20. The control instruction adjusting unit 123 may avoid or suppress the productivity decrease of the robot 30 due to the interference avoidance operation by transmitting the following instruction signal to the controller 20.

（生産性を向上するための調整）
干渉判定装置１０は、「未来において、接触が発生し得る」との判定を「ｔ＝ｔ０」の時点において下した場合、未来における接触を回避するために、ロボット３０の速度および軌道の少なくとも一方の調整を、「ｔ＝ｔ０」の時点において実行する。 (Adjustments to improve productivity)
When the interference determination device 10 makes a determination “contact may occur in the future” at the time “t=t 0 ”, at least the speed and trajectory of the robot 30 are avoided in order to avoid contact in the future. One adjustment is executed at the time point of "t=t 0 ".

干渉判定装置１０は、「ｔ＝ｔ０」の時点での調整後に、「未来において、接触が発生し得る」との判定を「ｔ＝ｔ０＋ｔ’」の時点において下した場合、未来における接触を回避するために、ロボット３０の速度および軌道の少なくとも一方の調整を、「ｔ＝ｔ０＋ｔ’」の時点で実行する。 If the interference determination device 10 determines at the time of “t=t 0 +t′” that “contact may occur in the future” after the adjustment at the time of “t=t 0 ”, In order to avoid contact, at least one of the speed and the trajectory of the robot 30 is adjusted at “t=t 0 +t′”.

干渉判定装置１０は、「ｔ＝ｔ０」の時点での調整後に、「未来において、接触は発生しない」との判定を「ｔ＝ｔ０＋ｔ’」の時点において下した場合、生産性を向上するための調整を、ロボット３０の速度および軌道の少なくともについて、「ｔ＝ｔ０＋ｔ’」の時点で実行する。生産性を向上するための調整とは、例えば、ロボット３０の速度（加速）および軌道の少なくとも一方を、「ｔ＝ｔ０」の時点での調整の前の状態に戻す調整である。 Interference determination unit 10, after the adjustment at the time of "t = t 0", "in the future, contact does not occur" as ruled determined that at the time of "t = t 0 + t '", the productivity The adjustment for improvement is executed at least at the speed and the trajectory of the robot 30 at the time point “t=t 0 +t′”. The adjustment for improving the productivity is, for example, an adjustment for returning at least one of the velocity (acceleration) and the trajectory of the robot 30 to the state before the adjustment at the time of “t=t 0 ”.

すなわち、干渉判定装置１０において、制御指示調整部１２３による前記調整指示の後に、未来干渉判定部１２２が、作業者５０とロボット３０との接触が生じる可能性がないと判定した場合に、制御指示調整部１２３は、コントローラ２０に対して、ロボット３０の移動速度および軌道の少なくともいずれか一方を、前記調整指示が行われる前の状態に戻す指示を示す前記指示信号を送信してもよい。 That is, in the interference determination device 10, when the future interference determination unit 122 determines that there is no possibility of contact between the worker 50 and the robot 30 after the adjustment instruction by the control instruction adjustment unit 123, the control instruction is issued. The adjustment unit 123 may transmit to the controller 20 the instruction signal indicating an instruction to return at least one of the moving speed and the trajectory of the robot 30 to the state before the adjustment instruction is given.

前記の構成によれば、干渉判定装置１０は、前記調整指示の後に、作業者５０とロボット３０との接触が生じる可能性がなくなると、ロボット３０の移動速度および軌道の少なくとも一方を、調整の前の状態に戻すように、コントローラ２０に指示する。したがって、干渉判定装置１０は、前記調整指示の後に、作業者５０とロボット３０との接触が生じる可能性がなくなると、ロボット３０の移動速度および軌道の少なくとも一方を、調整の前の状態に戻すことができるとの効果を奏する。 According to the above configuration, the interference determination device 10 adjusts at least one of the moving speed and the trajectory of the robot 30 when the possibility of contact between the worker 50 and the robot 30 disappears after the adjustment instruction. The controller 20 is instructed to return to the previous state. Therefore, the interference determination device 10 returns at least one of the moving speed and the trajectory of the robot 30 to the state before the adjustment when the possibility of contact between the worker 50 and the robot 30 disappears after the adjustment instruction. It has the effect of being able to.

（距離に応じた調整内容）
「未来において、接触が発生し得る」と判定した場合であっても、ロボット３０の動作を停止するのではなく、ロボット３０の速度および軌道の少なくとも一方を調整すれば接触を回避できるときには、干渉判定装置１０は、ロボット３０の動作を停止させない。干渉判定装置１０は、ロボット３０の速度および軌道の少なくとも一方を調整して、ロボット３０と作業者５０との接触を回避する。 (Adjustment according to distance)
Even when it is determined that “a contact may occur in the future”, if the contact can be avoided by adjusting at least one of the speed and the trajectory of the robot 30, instead of stopping the operation of the robot 30, the interference may occur. The determination device 10 does not stop the operation of the robot 30. The interference determination device 10 adjusts at least one of the speed and the trajectory of the robot 30 to avoid contact between the robot 30 and the worker 50.

ロボット３０の速度および軌道の少なくとも一方を調整しただけでは接触を回避できないと判定した場合、干渉判定装置１０は、ロボット３０の動作を停止させる。例えば、ロボット３０と作業者５０との距離が予め設定しておいた制限距離以下となって、ロボット３０の速度および軌道の少なくとも一方を調整しただけでは接触を回避できないと判定した場合、干渉判定装置１０は、ロボット３０の動作を停止させる。 When it is determined that the contact cannot be avoided only by adjusting at least one of the speed and the trajectory of the robot 30, the interference determination device 10 stops the operation of the robot 30. For example, when it is determined that the distance between the robot 30 and the worker 50 is equal to or less than the preset limit distance and contact cannot be avoided only by adjusting at least one of the speed and the trajectory of the robot 30, the collision determination is performed. The device 10 stops the operation of the robot 30.

すなわち、干渉判定装置１０において、未来干渉判定部１２２が、作業者５０とロボット３０との接触が生じる可能性を示す可能性評価値が第１の閾値以上であると判定した場合に、制御指示調整部１２３は、コントローラ２０に対して、ロボット３０の移動速度および軌道の少なくともいずれか一方の調整指示を示す前記指示信号を送信する。また、前記可能性評価値が、前記第１の閾値よりも高い第２の閾値以上となったと未来干渉判定部１２２が判定した場合に、制御指示調整部１２３は、コントローラ２０に対して、ロボット３０を停止させる指示を示す前記指示信号を送信する。 That is, in the interference determination device 10, when the future interference determination unit 122 determines that the possibility evaluation value indicating the possibility of contact between the worker 50 and the robot 30 is equal to or higher than the first threshold value, the control instruction is issued. The adjustment unit 123 transmits to the controller 20 the instruction signal indicating an instruction to adjust at least one of the moving speed and the trajectory of the robot 30. Further, when the future interference determination unit 122 determines that the possibility evaluation value is equal to or higher than the second threshold value that is higher than the first threshold value, the control instruction adjustment unit 123 causes the controller 20 to move to the robot 20. The instruction signal indicating the instruction to stop 30 is transmitted.

前記の構成によれば、干渉判定装置１０は、前記可能性評価値が第１の閾値以上であると、ロボット３０の移動速度および軌道の少なくとも一方の調整を指示し、前記可能性評価値が第２の閾値以上となると、ロボット３０の停止を指示する。つまり、干渉判定装置１０は、作業者５０とロボット３０との接触が生じる可能性に応じて、ロボット３０の移動を制御する。作業者５０とロボット３０との接触が生じる可能性がそれほど高くない（つまり、第１の閾値以上で第２の閾値未満である）場合、干渉判定装置１０は、ロボット３０を停止させずに、ロボット３０の移動速度および軌道の少なくともいずれか一方を調整する。作業者５０とロボット３０との接触が生じる可能性が第２の閾値以上である場合、干渉判定装置１０は、ロボット３０を停止させる。 According to the above configuration, when the possibility evaluation value is equal to or higher than the first threshold, the interference determination device 10 instructs the adjustment of at least one of the moving speed and the trajectory of the robot 30, and the possibility evaluation value is When it is equal to or larger than the second threshold value, an instruction to stop the robot 30 is issued. That is, the interference determination device 10 controls the movement of the robot 30 in accordance with the possibility of contact between the worker 50 and the robot 30. When the possibility of contact between the worker 50 and the robot 30 is not so high (that is, it is equal to or more than the first threshold value and less than the second threshold value), the interference determination device 10 does not stop the robot 30, At least one of the moving speed and the trajectory of the robot 30 is adjusted. When the possibility of contact between the worker 50 and the robot 30 is equal to or higher than the second threshold value, the interference determination device 10 stops the robot 30.

したがって、干渉判定装置１０は、接触が生じる可能性に応じて、接触を回避するに必要十分な動作をロボット３０に実行させるので、接触を回避しつつ、生産効率およびスペース効率の低下を抑制することができるとの効果を奏する。 Therefore, the interference determination device 10 causes the robot 30 to perform a necessary and sufficient operation for avoiding contact depending on the possibility of contact, so that the reduction of production efficiency and space efficiency is suppressed while avoiding contact. It has the effect of being able to.

（制御システムの適用環境について）
図８は、制御システム１を適用する環境の一例を示す図である。制御システム１を適用する環境として、例えば、図８に示すような、作業者５０とロボット３０とがそれぞれ机の前で作業し、作業の成果物を手前のベルトコンベアに流す状況を想定することができる。図８に示す例では、通路と作業領域との間の距離が１．６ｍ程度であって、ベルトコンベアが存在すると仮定し、また、作業者５０が立って作業できるように机の高さを１ｍと想定した。図８に示す例では、作業者５０を挟むように、作業者５０の両脇にセンサ４０を配置することによって、センサ４０によって検出することのできない作業者５０の領域をできるだけ小さくした。 (About the application environment of the control system)
FIG. 8 is a diagram showing an example of an environment to which the control system 1 is applied. As an environment to which the control system 1 is applied, assume, for example, a situation in which the worker 50 and the robot 30 work in front of a desk and the work products are sent to a belt conveyor in the front, as shown in FIG. You can In the example shown in FIG. 8, it is assumed that the distance between the passage and the work area is about 1.6 m and a belt conveyor is present, and the height of the desk is set so that the worker 50 can stand and work. I assumed 1m. In the example shown in FIG. 8, by arranging the sensors 40 on both sides of the worker 50 so as to sandwich the worker 50, the area of the worker 50 that cannot be detected by the sensor 40 is made as small as possible.

センサ４０の配置に際しては、センサ４０を配置する高さについて、以下の点に留意した。すなわち、センサ４０を作業者５０の頭の高さに配置するのは、センサ４０のレーザなどの測定波が作業者５０の目に入射する可能性があるため、望ましくない。センサ４０を作業者５０の腰の高さに配置するのは、体幹計算（つまり、重心位置の算出）の結果が作業者５０の状態に左右されにくいため、望ましい。センサ４０を作業者５０の太ももの高さに配置するのは、太ももの開き具合により体幹計算の結果がずれるため、望ましくない。センサ４０を作業者５０のくるぶしの高さに配置するのは、作業者５０の足の幅（足をどの程度開いているか）によって体幹計算の結果がずれるため、望ましくない。 When arranging the sensor 40, the following points were taken into consideration regarding the height at which the sensor 40 is arranged. That is, it is not desirable to arrange the sensor 40 at the height of the head of the worker 50 because the measurement wave of the laser or the like of the sensor 40 may enter the eyes of the worker 50. It is desirable to dispose the sensor 40 at the height of the waist of the worker 50 because the result of the trunk calculation (that is, calculation of the position of the center of gravity) is not easily influenced by the condition of the worker 50. It is not desirable to dispose the sensor 40 at the height of the thigh of the worker 50 because the result of the core calculation shifts depending on the opening degree of the thigh. It is not desirable to arrange the sensor 40 at the height of the ankle of the worker 50 because the result of the core calculation shifts depending on the width of the leg of the worker 50 (how much the leg is open).

（重心の算出方法について）
図９は、センサ４０の計測結果を利用して作業者の重心を算出する方法の一例を説明する図である。図９において、星印は作業者５０の重心の位置（重心位置）を示しており、星印の周囲を囲む各点は、測域データが示す作業者５０の存在位置（作業者５０の存在を示す点）を示している。人状態情報生成部１１２は、図９に示すような作業者５０の存在を示す点群から、公知の重心算出方法を利用して、星印で示す作業者５０の重心位置を算出する。 (About the method of calculating the center of gravity)
FIG. 9 is a diagram illustrating an example of a method of calculating the center of gravity of an operator using the measurement result of the sensor 40. In FIG. 9, the star mark indicates the position of the center of gravity of the worker 50 (the center of gravity position), and the points surrounding the star mark indicate the position of the worker 50 (the existence of the worker 50) indicated by the range data. Point) is shown. The human state information generation unit 112 calculates the position of the center of gravity of the worker 50 indicated by an asterisk from the point cloud indicating the presence of the worker 50 as shown in FIG. 9 by using a known method of calculating the center of gravity.

（学習処理および人軌道予測処理についての留意点）
人軌道予測処理、および、人軌道予測処理の実行に際して利用する学習済モデルを生成する学習処理について、干渉判定装置１０は、具体的には以下に示す処理を実行する。人状態情報生成部１１２は、「作業者５０の時間ごとの、重心位置（体幹位置）」を取得し、この「作業者５０の時間ごとの、重心位置（体幹位置）」の履歴から、学習部１１４が学習する学習用データが生成される。学習部１１４は、「作業者５０の時間ごとの、重心位置（体幹位置）」の履歴から、「学習用フィルタ前データ（つまり、フィルタ処理の実行前の学習用データ）」を生成し、この学習用フィルタ前データを整形して、「学習用フィルタ済データ」を取得する。そして、学習部１１４は、この学習用フィルタ済データについて学習を行い、学習済モデルとして、「予測用フィルタ前データ」を生成する。人軌道予測部１１３は、「予測用フィルタ前データ」を整形して「予測用フィルタ済データ」を取得し、この「予測用フィルタ済データ」を用いて、「未来の、作業者５０の重心の位置および速度ベクトル」を予測する。以下、図１０および図１１の各々を用いて、学習用データおよび予測用データの各々について、整形処理（フィルタ処理）を説明する。 (Points to note regarding learning processing and human trajectory prediction processing)
Regarding the human trajectory prediction process and the learning process of generating a learned model used when the human trajectory prediction process is executed, the interference determination device 10 specifically performs the following processes. The human state information generation unit 112 acquires “the center of gravity position (trunk position) of the worker 50 for each hour”, and from the history of the “center of gravity position (trunk position) of the worker 50 for each hour” Learning data to be learned by the learning unit 114 is generated. The learning unit 114 generates “learning pre-filtering data (that is, learning data before execution of filter processing)” from the history of “the center of gravity position (trunk position) of the worker 50 for each time”, This learning pre-filtering data is shaped to obtain "learning filtered data". Then, the learning unit 114 performs learning on the filtered data for learning and generates "pre-filtering data for prediction" as a learned model. The human trajectory prediction unit 113 shapes the “pre-prediction filter data” to obtain the “prediction filtered data”, and uses this “prediction filtered data” to “future center of gravity of the worker 50”. Position and velocity vector". Hereinafter, the shaping process (filter process) for each of the learning data and the prediction data will be described with reference to FIGS. 10 and 11.

（学習用データの整形について）
図１０は、学習処理の前に実行する学習用データの整形方法の一例を示す図である。学習部１１４は、以下の２つの方針に従って、学習用データの整形を実行する。第一に、学習部１１４は、学習用データの整形に際して、元のデータ（つまり、学習用フィルタ前データ）にできるだけ沿うような波形を、「学習用フィルタ済データ」として生成する。 (About shaping of learning data)
FIG. 10 is a diagram showing an example of a learning data shaping method executed before the learning process. The learning unit 114 executes the shaping of the learning data according to the following two policies. First, when shaping the learning data, the learning unit 114 generates, as the “learning filtered data”, a waveform that is as close as possible to the original data (that is, the learning unfiltered data).

また、図１０の（Ａ）に示すように、「実測値の加速度（つまり、フィルタ前の加速度）」は、ほぼノイズのようなデータとなる。そこで、第二に、学習部１１４は、図１０の（Ｂ）に示す「フィルタ済の加速度」を、図１０の（Ｂ）に示す「フィルタ済の速度」から計算して取得する。 Further, as shown in FIG. 10A, the “actually measured acceleration (that is, the acceleration before filtering)” is almost noise-like data. Therefore, secondly, the learning unit 114 calculates and acquires the “filtered acceleration” shown in FIG. 10B from the “filtered speed” shown in FIG. 10B.

学習部１１４は、例えばバッチ学習をする場合、未来のデータも用いて、重み付け移動平均フィルタを適用して、学習用フィルタ前データから学習用フィルタ済データを生成する。学習部１１４は、生成した学習用フィルタ済データを学習用データとして、これを学習する。 For example, when performing batch learning, the learning unit 114 applies a weighted moving average filter also using future data to generate learning filtered data from the learning unfiltered data. The learning unit 114 learns the generated filtered data for learning as learning data.

（予測用データの整形について）
図１１は、学習処理によって生成した予測用データの整形方法の一例を示す図である。人軌道予測部１１３は、以下の２つの方針に従って、予測用データの整形を実行する。第一に、人軌道予測部１１３は、リアルタイムで予測を実行するため、過去のデータ（現時点よりも前の予測用データ）のみを用いる。 (About shaping of prediction data)
FIG. 11 is a diagram illustrating an example of a shaping method of the prediction data generated by the learning process. The human trajectory prediction unit 113 shapes the prediction data according to the following two policies. First, the human trajectory prediction unit 113 uses only past data (prediction data prior to the present time) in order to perform prediction in real time.

また、図１１の（Ａ）に示すように、「フィルタ前の加速度」は、ほぼノイズのようなデータとなる。そこで、第二に、人軌道予測部１１３は、図１１の（Ｂ）に示す「フィルタ済の加速度」を、図１１の（Ｂ）に示す「フィルタ済の速度」から計算して取得する。 Further, as shown in FIG. 11A, the “acceleration before filtering” is almost noise-like data. Therefore, secondly, the human trajectory prediction unit 113 calculates and acquires the “filtered acceleration” shown in FIG. 11B from the “filtered speed” shown in FIG. 11B.

人軌道予測部１１３は、学習部１１４による学習用データの整形と同様に、重み付け移動平均フィルタを適用して、予測用フィルタ前データから予測用フィルタ済データを生成する。人軌道予測部１１３は、生成した予測用フィルタ済データを学習済モデルとして用いて、「現在の、作業者５０の重心の位置および速度ベクトル」を入力して、「未来の、作業者５０の重心の位置および速度ベクトル」を予測する。 The human trajectory prediction unit 113 applies a weighted moving average filter in the same manner as the learning data is shaped by the learning unit 114, and generates prediction filtered data from the prediction unfiltered data. The human trajectory prediction unit 113 inputs the "current position and velocity vector of the center of gravity of the worker 50" using the generated filtered data for prediction as a learned model, and the "future position of the worker 50" is input. The position and velocity vector of the center of gravity" is predicted.

（人軌道予測処理の精度について）
工場等の生産現場では主に反復動作が行われると考えられるため、簡単な反復動作を予測対象として、干渉判定装置１０の実行する人軌道予測処理について、予測精度を実験によって検証した。具体的には、「１分間に３０往復程度、その場で体を左右に揺らし、体幹（重心）の移動範囲は約３０ｃｍ」という内容の反復動作について、実験を行った。 (About the accuracy of human trajectory prediction processing)
Since it is considered that the repetitive motion is mainly performed in the production site such as a factory, the prediction accuracy of the human trajectory prediction process executed by the interference determination device 10 was verified by an experiment with the simple repetitive motion as a prediction target. Specifically, an experiment was performed on a repetitive motion of "shaking the body right and left on the spot for about 30 reciprocations per minute and moving the trunk (center of gravity) about 30 cm".

図１２は、干渉判定装置１０が実行する人軌道予測処理の精度を示す図であり、特に、０秒時点での予測用データから２秒先まで予測した結果の抜粋を示している。図１２に示すように、ヒト位置予測結果が約０．５秒あたりまでは高精度な予測ができていることを確認することができた。 FIG. 12 is a diagram showing the accuracy of the human trajectory prediction processing executed by the interference determination device 10, and particularly shows an excerpt of the result of prediction from the prediction data at 0 second to 2 seconds ahead. As shown in FIG. 12, it was confirmed that the human position prediction result was highly accurate until about 0.5 seconds.

図１３は、干渉判定装置１０が実行する人軌道予測処理の精度を示す、図１２とは別の図である。具体的には、図１３は、予測モデル（関数）の精度の確認方法として、クロスバリデーションを実施した場合の結果を示している。すなわち、先ず、センサ４０によって測定したデータを、トレーニングセットとテストセットとに分けた。次に、トレーニングセットを用いて構築した予測モデル（関数）に、テストセットの説明変数を代入して、目的変数の計算値を取得した。そして、取得した計算値と、テストセットの目的変数の測定値とを比較した。その際、予測値と実測値との絶対誤差を計算し、予測結果の数だけ平均を計算した。 FIG. 13 is a diagram different from FIG. 12 showing the accuracy of the human trajectory prediction process executed by the interference determination device 10. Specifically, FIG. 13 shows a result when cross validation is performed as a method of confirming the accuracy of the prediction model (function). That is, first, the data measured by the sensor 40 was divided into a training set and a test set. Next, the explanatory variables of the test set were substituted into the prediction model (function) constructed using the training set to obtain the calculated value of the objective variable. Then, the obtained calculated value was compared with the measured value of the objective variable of the test set. At that time, the absolute error between the predicted value and the measured value was calculated, and the average was calculated for the number of predicted results.

図１２に示すのと同様に、図１３に示す検証結果においても、ヒト位置予測結果が約０．５秒あたりまでは高精度な予測ができていることを確認することができた。 Similar to the case shown in FIG. 12, it was possible to confirm in the verification result shown in FIG. 13 that the human position prediction result was highly accurate until about 0.5 seconds.

§４．変形例
（人位置検出方法について）
図１４は、図８に例示したセンサ４０の配置例とは異なる、センサ４０の配置例を示す図である。図８に例示したように、複数または単数のセンサ４０を作業者５０の近傍に設置してもよいし、図１４の（Ａ）に例示するように、複数または単数のセンサ４０をロボット３０に設置してもよい。また、図１４の（Ｂ）Ｂに例示するように、複数または単数のセンサ４０を生産現場等の天井に設置してもよい。 §4. Modified example (about human position detection method)
FIG. 14 is a diagram showing an arrangement example of the sensor 40 different from the arrangement example of the sensor 40 illustrated in FIG. 8. As illustrated in FIG. 8, a plurality of or a single sensor 40 may be installed in the vicinity of the worker 50, or as illustrated in FIG. May be installed. Further, as illustrated in FIG. 14B, a plurality of or a single sensor 40 may be installed on the ceiling of a production site or the like.

（学習および人軌道予測について）
これまで、人軌道予測部１１３が、学習部１１４による作業者５０の状態履歴の学習の結果を用いて、「現在の、作業者５０の重心の位置および速度ベクトル」から、「未来の、作業者５０の重心の位置および速度ベクトル」を予測する例を説明してきた。しかしながら、「未来の、作業者５０の重心の位置および速度ベクトル」を予測するのに、学習部１１４による学習の結果を用いることは、人軌道予測部１１３にとって必須ではない。 (About learning and human trajectory prediction)
Up to now, the human trajectory prediction unit 113 uses the result of the learning of the state history of the worker 50 by the learning unit 114, from “current position and velocity vector of the center of gravity of the worker 50” to “future, work An example of predicting the position and velocity vector of the center of gravity of the person 50 has been described. However, it is not essential for the human trajectory prediction unit 113 to use the result of learning by the learning unit 114 to predict “the future position and velocity vector of the center of gravity of the worker 50”.

例えば、人軌道予測部１１３は、単純予測によって、つまり、「現在の、作業者５０の速度ベクトル」が不変であると想定して、「未来の、作業者５０の位置および速度ベクトル」を予測してもよい。 For example, the human trajectory prediction unit 113 predicts the “future position and speed vector of the worker 50” by simple prediction, that is, assuming that the “current speed vector of the worker 50” is unchanged. You may.

また、学習部１１４による作業者５０の状態履歴の学習について、学習用データは図６の（Ａ）に示すものに限られるものではない。図１５に、学習部１１４が学習する学習用データの例を示す。 Further, regarding the learning of the state history of the worker 50 by the learning unit 114, the learning data is not limited to that shown in FIG. FIG. 15 shows an example of learning data learned by the learning unit 114.

図１５は、干渉判定装置１０が学習する学習用データの例を示す図である。図１５において、「ｘ」は「人（作業者５０）の重心の位置（重心位置）」を、「ｖ」は「人（作業者５０）の重心の速度」を、「ａ」は「人（作業者５０）の重心の加速度」を示している。また、「ｔ」は「現在時刻」を、「ｃ」は「時刻ｔまでに人が停止した時間」を示している。図１５に示す表において、各データは、一次元ないし二次元のデータとする。図１５において、複数時刻のデータを扱っているパターンではサンプリング間隔は線形だけでなく非線形な場合もあり、また、入力と出力とのサンプリング間隔が異なるパターンもある。図１５に示す表における各データは、例えば、重み付き移動平均による整形データであるものとする。 FIG. 15 is a diagram showing an example of learning data learned by the interference determination device 10. In FIG. 15, “x” indicates “the position of the center of gravity of the person (worker 50) (center of gravity position)”, “v” indicates the “speed of the center of gravity of the person (worker 50)”, and “a” indicates “the person”. The acceleration of the center of gravity of the (worker 50) is shown. Further, “t” indicates “current time”, and “c” indicates “time when a person stops before time t”. In the table shown in FIG. 15, each data is one-dimensional or two-dimensional data. In FIG. 15, in the pattern handling data at a plurality of times, the sampling interval may be not only linear but also non-linear, and there is also a pattern in which the sampling interval between the input and the output is different. Each data in the table shown in FIG. 15 is assumed to be shaping data by a weighted moving average, for example.

図１５に示すように、学習部１１４は、各時点における、作業者５０の位置ｘｈ（ｔ）、速度ベクトルｖｈ（ｔ）、および、加速度ベクトルａｈ（ｔ）の少なくとも１つの履歴を学習する。図１５には、学習用モデルについて、作業者５０の各時点における位置、速度ベクトル、および、加速度ベクトルの少なくとも１つの履歴（「現時点の、位置、速度ベクトル、および、加速度ベクトルの少なくとも２つ」を含む）を入力とする例が示されている。同様に、図１５には、学習用モデルについて、「作業者５０の各時点における位置の履歴」または「現時点の加速度ベクトル」を出力とする例が示されている。 As illustrated in FIG. 15, the learning unit 114 collects at least one history of the position x h (t) of the worker 50, the velocity vector v h (t), and the acceleration vector a h (t) at each time point. learn. FIG. 15 illustrates at least one history of the position, velocity vector, and acceleration vector of the worker 50 at each time point (“at least two of the current position, velocity vector, and acceleration vector”) for the learning model. Is included as an input. Similarly, FIG. 15 illustrates an example in which the “history of position of the worker 50 at each time point” or the “acceleration vector at the current time point” is output for the learning model.

前述の通り、学習部１１４は、例えば、作業者５０の現在位置および現在速度ベクトルの少なくともいずれか一方を入力とし、作業者５０の加速度またはその後の位置を出力とする学習用データについて、学習を行う。 As described above, the learning unit 114, for example, learns about learning data in which at least one of the current position and the current velocity vector of the worker 50 is input and the acceleration of the worker 50 or the subsequent position is output. To do.

ただし、学習部１１４の行う学習はこれに限られるものではない。図１５に例示するように、学習部１１４は、「作業者５０（対象物）の、現時点までの位置の変化を示す情報」を入力とし、「作業者５０の、未来における位置の変化を示す情報」を出力とする学習データを学習すればよい。 However, the learning performed by the learning unit 114 is not limited to this. As illustrated in FIG. 15, the learning unit 114 inputs “information indicating a change in position of the worker 50 (object) up to the present time” and indicates “change in position of the worker 50 in the future”. Learning data that outputs "information" may be learned.

（学習アルゴリズムについて）
また、これまでに説明してきた例では、学習部１１４が学習アルゴリズムとしてＤＢＴ（Deep Binary Tree）を利用する例について説明してきたが、学習部１１４が利用する学習アルゴリズムは、ＤＢＴに限られるものではない。学習部１１４はニューラルネットワーク等を用いた学習を実行し、学習済モデルとして、予測用データを生成してもよい。 (About learning algorithm)
In the examples described so far, the learning unit 114 uses the DBT (Deep Binary Tree) as a learning algorithm, but the learning algorithm used by the learning unit 114 is not limited to DBT. Absent. The learning unit 114 may perform learning using a neural network or the like and generate prediction data as a learned model.

〔ソフトウェアによる実現例〕
干渉判定装置１０の機能ブロック（具体的には、センサ情報取得部１１１、人状態情報生成部１１２、人軌道予測部１１３、学習部１１４、識別部１１５、ロボット状態取得部１２１、未来干渉判定部１２２、および、制御指示調整部１２３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（CenＴｒal Processing Unit）を用いてソフトウェアによって実現してもよい。 [Example of software implementation]
Functional blocks of the interference determination device 10 (specifically, sensor information acquisition unit 111, human state information generation unit 112, human trajectory prediction unit 113, learning unit 114, identification unit 115, robot state acquisition unit 121, future interference determination unit 122 and the control instruction adjusting unit 123) may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software using a CPU (CenTral Processing Unit). May be.

後者の場合、干渉判定装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the interference determination device 10 includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) in which the program and various data are recorded so that they can be read by a computer (or CPU). Alternatively, it is provided with a storage device (these are referred to as a “recording medium”), a RAM (Random Access Memory) for expanding the program, and the like. Then, the computer (or CPU) reads the program from the recording medium and executes the program to achieve the object of the present invention. As the recording medium, a “non-transitory tangible medium”, for example, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。実施形態１では、作業者とロボットとの干渉を回避する例を説明した。ただしこれに限らず、作業者の軌道の予測結果を他の目的に使用してもよい。 [Embodiment 2]
Another embodiment of the present invention will be described below. For convenience of description, members having the same functions as the members described in the above embodiment will be designated by the same reference numerals, and the description thereof will not be repeated. In the first embodiment, an example of avoiding the interference between the worker and the robot has been described. However, the present invention is not limited to this, and the prediction result of the trajectory of the worker may be used for other purposes.

そもそも、ニューラルネットワーク等を用いた学習アルゴリズム（例えばDeep Learning等）では、追加学習によって学習済モデルの更新を行うために、学習のためのパラメータを手動で調整する必要がある。作業者（人）が同じ作業を繰り返し行う場合であっても、作業者の動作パターンは、作業者の疲労等に応じて変化し得る。そのため、精度の高い予測を行うためには、学習済モデルの更新を行う必要がある。しかしながら、手動でパラメータ調整が必要な学習アルゴリズムを用いると、リアルタイムで学習済モデルの更新を適切に行うことが難しい。 In the first place, in a learning algorithm using a neural network or the like (for example, Deep Learning), it is necessary to manually adjust parameters for learning in order to update the learned model by additional learning. Even when the worker (person) repeatedly performs the same work, the motion pattern of the worker may change according to the fatigue of the worker. Therefore, it is necessary to update the learned model in order to perform highly accurate prediction. However, when a learning algorithm that requires manual parameter adjustment is used, it is difficult to appropriately update the learned model in real time.

一方で、ＤＬＴ（Dynamics Learning Tree）またはＤＢＴ（Deep Binary Tree）のような学習アルゴリズムは、パラメータ調整を必要としないオンライン追加学習により学習済モデルを更新する。それゆえ、ＤＬＴまたはＤＢＴを学習アルゴリズムとして用い、リアルタイムで学習済モデルの更新を行うことで、作業者の動作を適切に予測することができる。ここで、オンライン追加学習は、単にネットワークを介して追加学習を行うことを指すのではなく、現場で生じる新しいデータ（人の動き）を用いてリアルタイムで追加学習を行うことを指している。 On the other hand, a learning algorithm such as DLT (Dynamics Learning Tree) or DBT (Deep Binary Tree) updates the learned model by online additional learning that does not require parameter adjustment. Therefore, by using DLT or DBT as a learning algorithm and updating the learned model in real time, the motion of the worker can be appropriately predicted. Here, the online additional learning does not refer to simply performing additional learning via a network, but refers to performing additional learning in real time using new data (movement of a person) generated in the field.

［構成例］
（人動作予測装置の構成）
図１６は、人動作予測装置６０の要部構成を示すブロック図である。人動作予測装置６０は、人軌道処理部１１０、および記憶部１３０を備える。人軌道処理部１１０は、作業者５０の未来の「位置（二次元位置または三次元位置）および速度ベクトル」の予測を実行し、予測した作業者５０の未来の「位置および速度ベクトル」を、外部の他の装置に出力する。他の装置は、サーバ、ロボットを制御するコントローラ、または表示装置等であってよい。 [Example of configuration]
(Configuration of human motion prediction device)
FIG. 16 is a block diagram showing a main configuration of the human motion prediction device 60. The human motion prediction device 60 includes a human trajectory processing unit 110 and a storage unit 130. The human trajectory processing unit 110 executes prediction of the future “position (two-dimensional position or three-dimensional position) and velocity vector” of the worker 50, and calculates the predicted future “position and velocity vector” of the worker 50 by Output to another external device. The other device may be a server, a controller that controls a robot, a display device, or the like.

人動作予測装置６０の一態様では、人軌道予測部１１３は、所定期間における作業者５０の位置の履歴を学習済モデル（予測用データ）の入力として、学習済モデルの更新および「未来の、作業者５０の位置」の予測を行う。 In one aspect of the human motion prediction apparatus 60, the human trajectory prediction unit 113 updates the learned model and “future of the future,” using the history of the position of the worker 50 in a predetermined period as an input of the learned model (prediction data). The position of the worker 50" is predicted.

人状態情報生成部１１２は、複数の作業者５０の各々の「時間ごとの、位置」の履歴を人状態履歴データ１３１に格納する。人状態情報生成部１１２は、生成した、複数の作業者５０の各々の「現在の、位置」を、人軌道予測部１１３に通知する。また、人状態情報生成部１１２は、「現在を含む所定期間における作業者５０の位置」（位置の履歴）を、人軌道予測部１１３に通知する。 The human state information generation unit 112 stores the history of “positions by time” of each of the plurality of workers 50 in the human state history data 131. The human state information generation unit 112 notifies the human trajectory prediction unit 113 of the generated “current position” of each of the plurality of workers 50. Further, the human state information generating unit 112 notifies the human trajectory predicting unit 113 of “the position of the worker 50 in a predetermined period including the present” (position history).

人軌道予測部１１３は、人状態情報生成部１１２から通知される「現在を含む所定期間における作業者５０の位置」を、学習部１１４が生成した学習済モデル（予測用データ）に入力して、「未来の、作業者５０の位置」を予測する。 The human trajectory prediction unit 113 inputs the “position of the worker 50 in a predetermined period including the present” notified from the human state information generation unit 112 to the learned model (prediction data) generated by the learning unit 114. , "The future position of the worker 50" is predicted.

ここで、人軌道予測部１１３は、例えば、人状態情報生成部１１２から通知される「現在を含む所定期間における作業者５０の位置」（位置の履歴）を用いて、「未来の、作業者５０の重心の位置」を予測する。 Here, the human trajectory prediction unit 113 uses, for example, the “position of the worker 50 in a predetermined period including the present time” (position history) notified from the human state information generation unit 112, to indicate “future worker The position of the center of gravity of 50" is predicted.

言い換えれば、人軌道予測部１１３は、現在までの作業者５０の重心位置を示す情報から、作業者５０の未来の（つまり、将来の）人軌道（重心位置の移動を示す軌道）を予測する。 In other words, the human trajectory prediction unit 113 predicts the future (that is, future) human trajectory of the worker 50 (trajectory indicating the movement of the center of gravity) from the information indicating the position of the center of gravity of the worker 50 up to the present time. ..

学習部１１４は、所定期間における時刻ごとの作業者５０の位置（特に、重心位置）を入力とし、所定期間より後の作業者５０の位置を出力とする学習用データについて、学習を行う。学習部１１４は、例えばＤＬＴまたはＤＢＴと呼ばれる学習アルゴリズムを用いて、学習済モデルを生成する。また、実運用を開始した後（一度、学習済モデルを生成した後）、学習部１１４は、該学習アルゴリズムを用いて、学習済モデルを更新する。 The learning unit 114 performs learning on learning data in which the position of the worker 50 (in particular, the position of the center of gravity) at each time in a predetermined period is input and the position of the worker 50 after the predetermined period is output. The learning unit 114 generates a learned model using a learning algorithm called DLT or DBT, for example. After starting the actual operation (after generating the learned model once), the learning unit 114 updates the learned model using the learning algorithm.

［動作例］
図４に示す処理フローと同様に、人動作予測装置６０では、センサ情報取得部１１１によってセンサ情報統合処理（Ｓ１１０）が実行され、人状態情報生成部１１２によって人存在領域計算処理（Ｓ１２０）が実行され、人軌道予測部１１３によって人軌道計算処理（Ｓ１３０）が実行される。ただし、予測結果出力処理（Ｓ１３３）では、実施形態１の調停部の代わりに他の装置へ予測結果が出力される。 [Operation example]
In the human motion prediction apparatus 60, the sensor information acquisition unit 111 executes the sensor information integration process (S110), and the human state information generation unit 112 performs the human presence area calculation process (S120) as in the process flow shown in FIG. Then, the human trajectory predicting unit 113 executes the human trajectory calculation process (S130). However, in the prediction result output process (S133), the prediction result is output to another device instead of the arbitration unit of the first embodiment.

（学習済モデルの更新）
人軌道学習処理（Ｓ１３１、学習ステップ）において、学習部１１４は、所定期間における時刻ごとの作業者５０の位置（位置の履歴）を入力とし、所定期間より後の作業者５０の位置を出力とする学習用データについて、学習を行う。学習部１１４は、学習によって、学習済モデルを更新する。 (Update of learned model)
In the human trajectory learning process (S131, learning step), the learning unit 114 inputs the position (history of position) of the worker 50 at each time in a predetermined period and outputs the position of the worker 50 after the predetermined period. Learning is performed on the learning data. The learning unit 114 updates the learned model by learning.

より具体的には、学習部１１４は、所定期間における「作業者５０の時間ごとの、重心位置（体幹位置）」の履歴から、「学習用フィルタ前データ（つまり、フィルタ処理の実行前の学習用データ）」を生成し、この学習用フィルタ前データを整形して、「学習用フィルタ済データ」を取得する。学習部１１４は、学習用フィルタ前データに、学習用時間方向重み付きフィルタ（第２時間方向重み付きフィルタ）を適用し、学習用フィルタ済データを生成する。学習用時間方向重み付きフィルタは、時間方向の重み付き移動平均フィルタであり、例えば以下で示される。 More specifically, the learning unit 114 determines, based on the history of the “center of gravity position (trunk position) of the worker 50 for each time period” in a predetermined period, “learning pre-filter data (that is, before performing the filtering process). "Learning data)" is generated, and this learning pre-filtering data is shaped to obtain "learning filtered data". The learning unit 114 applies a learning time-direction weighted filter (second time-direction weighted filter) to the learning filter pre-data to generate learning filtered data. The learning time-direction weighted filter is a time-direction weighted moving average filter, and is shown below, for example.

Ｘｔ＝０．１ｘｔ−２＋０．２ｘｔ−１＋０．４ｘｔ＋０．２ｘｔ＋１＋０．１ｘｔ＋２
ｘは学習用フィルタ前データにおける位置を示し、添字ｔは時刻を示し、Ｘは学習用フィルタ済データにおける位置を示す。学習用時間方向重み付きフィルタは、対象時刻ｔの前後を含む期間（時刻ｔ−２からｔ＋２）における位置ｘの履歴に重みを付けて平均したものを、対象時刻ｔのフィルタ後の位置Ｘｔとする。 X t = 0.1x t-2 + 0.2x t-1 + 0.4x t + 0.2x t + 1 + 0.1x t + 2
x indicates the position in the pre-learning filter data, subscript t indicates the time, and X indicates the position in the learning filtered data. The time-direction weighting filter for learning weights and averages the history of the position x in a period including the time before and after the target time t (time t−2 to t+2), and calculates the position X t after the filter at the target time t. And

所定期間は、異なる複数の作業を順に行う作業者５０の、複数の作業の期間が含まれるようにあらかじめ設定されている。学習部１１４は、この学習用フィルタ済データを学習済モデルに対する入力および出力として使用することで、学習済モデルを更新する。なお、学習済モデルを生成するときも、学習部１１４は、同様にして学習を行う。 The predetermined period is set in advance so as to include a plurality of work periods of the worker 50 who sequentially performs a plurality of different works. The learning unit 114 updates the learned model by using the learned filtered data as an input and an output for the learned model. The learning unit 114 also performs learning in the same manner when generating a learned model.

（人軌道予測）
人軌道予測処理（Ｓ１３２）において、人軌道予測部１１３は、所定期間（現時点を含む）における時刻ごとの作業者５０の位置（位置の履歴）を、学習済モデルに入力して、「未来の、作業者５０の位置」を予測する。 (Human trajectory prediction)
In the human trajectory predicting process (S132), the human trajectory predicting unit 113 inputs the position (history of the position) of the worker 50 for each time in a predetermined period (including the current time) into the learned model, and the "future , Position of the worker 50”.

より具体的には、人軌道予測部１１３は、所定期間における「作業者５０の時間ごとの、重心位置（体幹位置）」の履歴から、「予測用フィルタ前データ（つまり、フィルタ処理の実行前の予測用データ）」を生成し、この予測用フィルタ前データを整形して、「予測用フィルタ済データ」を取得する。人軌道予測部１１３は、予測用フィルタ前データに、予測用時間方向重み付きフィルタ（第１時間方向重み付きフィルタ）を適用し、予測用フィルタ済データを生成する。予測用時間方向重み付きフィルタは、時間方向の重み付き移動平均フィルタであり、例えば以下で示される。 More specifically, the human trajectory predicting unit 113, based on the history of the “center of gravity position (trunk position) of the worker 50 for each time period” in a predetermined period, reads “pre-filtering data (that is, execution of filter processing). "Previous prediction data)" is generated, the prediction pre-filter data is shaped, and "prediction filtered data" is acquired. The human trajectory prediction unit 113 applies a prediction time-direction weighted filter (first time-direction weighted filter) to the prediction pre-filter data to generate prediction filtered data. The prediction time direction weighted filter is a time direction weighted moving average filter, and is shown below, for example.

Ｘｔ＝０．０５ｘｔ−４＋０．０５ｘｔ−３＋０．１ｘｔ−２＋０．２ｘｔ−１＋０．６ｘｔ
ｘは予測用フィルタ前データにおける位置を示し、添字ｔは時刻を示し、Ｘは予測用フィルタ済データにおける位置を示す。予測用時間方向重み付きフィルタは、対象時刻ｔ以前の期間（時刻ｔ−４からｔ）における位置ｘの履歴に重みを付けて平均したものを、対象時刻ｔのフィルタ後の位置Ｘｔとする。 X t = 0.05x t-4 + 0.05x t-3 + 0.1x t-2 + 0.2x t-1 + 0.6x t
x indicates a position in the pre-filtering data for prediction, subscript t indicates the time, and X indicates a position in the filtered data for prediction. The prediction time-direction weighted filter weights the history of the position x in the period before the target time t (time t-4 to t) and averages it, and sets it as the post-filter position X t at the target time t. ..

所定期間は、異なる複数の作業を順に行う作業者５０の、複数の作業の期間が含まれるようにあらかじめ設定されている。人軌道予測部１１３は、この予測用フィルタ済データを学習済モデルに対する入力として使用することで、学習済モデルの出力として現時点より未来の作業者５０の位置を得る。また、人軌道予測部１１３は、予測した未来の作業者５０の位置を用いてさらに未来の作業者５０の位置を予測することもできる。このようにして、人軌道予測部１１３は、「未来の、作業者５０の位置」を予測する。 The predetermined period is set in advance so as to include a plurality of work periods of the worker 50 who sequentially performs a plurality of different works. The human trajectory prediction unit 113 uses the predicted filtered data as an input to the learned model to obtain the position of the worker 50 in the future from the present time as the output of the learned model. Further, the human trajectory prediction unit 113 can also predict the position of the future worker 50 by using the predicted position of the future worker 50. In this way, the human trajectory prediction unit 113 predicts the "future position of the worker 50".

ここでは、学習用時間方向重み付きフィルタが予測用時間方向重み付きフィルタと異なる例を示したが、同じフィルタ（予測用時間方向重み付きフィルタ）を用いてもよい。 Here, an example in which the learning time-direction weighted filter is different from the prediction time-direction weighted filter is shown, but the same filter (prediction time-direction weighted filter) may be used.

（参考例の予測結果）
図１７は、参考例の入力データと予測結果とを示す図である。横軸は時間［ｓ］を示し、縦軸は作業者５０の位置（ｘ座標、ｙ座標）［ｍ］を示す。時刻ｔ１が現時点であり、時刻ｔ１以前の所定期間Ｐ１における作業者５０の位置（ｘ軸入力値、ｙ軸入力値）が、直近の未来を予測するために学習済モデルへの入力データとして用いられる。時刻ｔ１より後のｘ軸予測値、ｙ軸予測値は、学習済モデルも出力として得られた作業者５０の位置の予測結果である。時刻ｔ１より後のｘ軸実測値、ｙ軸実測値は、後に実際に測定された作業者５０の位置を示す。なお位置のデータは０．０４秒毎のデータである。 (Prediction result of reference example)
FIG. 17 is a diagram showing the input data and the prediction result of the reference example. The horizontal axis represents time [s], and the vertical axis represents the position (x coordinate, y coordinate) [m] of the worker 50. The time t1 is the current time, and the position of the worker 50 (x-axis input value, y-axis input value) in the predetermined period P1 before the time t1 is used as input data to the learned model to predict the immediate future. To be The x-axis prediction value and the y-axis prediction value after the time t1 are the prediction results of the position of the worker 50, which was obtained as the output of the learned model. The x-axis actually measured value and the y-axis actually measured value after the time t1 indicate the position of the worker 50 actually measured later. The position data is data every 0.04 seconds.

参考例では、所定期間Ｐ１は、作業者５０の予測直前の１つの作業Ａの時間が含まれる程度に短く設定されている。１つの作業においては、作業者５０はあまり動かない場合がある。そのような場合、予測の精度が低下し、予測値（ここではｙ軸予測値）は実測値と大きく異なってしまうことがある。 In the reference example, the predetermined period P1 is set short enough to include the time of one work A immediately before the prediction of the worker 50. The worker 50 may not move much in one work. In such a case, the accuracy of the prediction may decrease, and the predicted value (here, the y-axis predicted value) may be significantly different from the actually measured value.

（動作例の予測結果）
図１８は、動作例の人動作予測装置６０の入力データと予測結果とを示す図である。横軸は時間［ｓ］を示し、縦軸は作業者５０の位置（ｘ座標、ｙ座標）［ｍ］を示す。時刻ｔ２が現時点であり、時刻ｔ２以前の所定期間Ｐ２における作業者５０の位置（ｘ軸入力値、ｙ軸入力値）が、直近の未来を予測するために学習済モデルへの入力データとして用いられる。時刻ｔ２より後のｘ軸予測値、ｙ軸予測値は、学習済モデルも出力として得られた作業者５０の位置の予測結果である。時刻ｔ２より後のｘ軸実測値、ｙ軸実測値は、後に実際に測定された作業者５０の位置を示す。なお位置のデータは０．０４秒毎のデータである。 (Prediction result of operation example)
FIG. 18: is a figure which shows the input data of the human motion prediction apparatus 60 of an operation example, and a prediction result. The horizontal axis represents time [s], and the vertical axis represents the position (x coordinate, y coordinate) [m] of the worker 50. Time t2 is the present time, and the position of the worker 50 (x-axis input value, y-axis input value) in the predetermined period P2 before time t2 is used as input data to the learned model to predict the immediate future. To be The x-axis prediction value and the y-axis prediction value after the time t2 are the prediction results of the position of the worker 50, which is also obtained as an output from the learned model. The x-axis actual measurement value and the y-axis actual measurement value after the time t2 indicate the position of the worker 50 actually measured later. The position data is data every 0.04 seconds.

動作例では、所定期間Ｐ２は、各作業の時間より長く設定されている。具体的には、所定期間Ｐ２は、作業者５０の予測直前の１つの作業Ａだけでなく、作業Ａの前の作業Ｂの期間も含むように長く設定されている。そのため、学習済モデルへの入力データには、複数の作業Ａ、Ｂに関する作業者５０の位置の履歴が含まれる。また、入力データには、作業Ａから別の作業Ｂへの遷移過程の作業者５０の位置の履歴が含まれる。このように、予測直前の作業Ａの前の作業Ｂにおける作業者５０の情報も予測に使用することにより、予測の精度が向上する。動作例の予測値（ｘ軸予測値、ｙ軸予測値）は実測値とよく一致している。 In the operation example, the predetermined period P2 is set longer than the time of each work. Specifically, the predetermined period P2 is set to be long so as to include not only one work A immediately before the prediction of the worker 50 but also a work B before the work A. Therefore, the input data to the learned model includes the history of the position of the worker 50 regarding the plurality of works A and B. The input data also includes a history of the position of the worker 50 in the transition process from the work A to another work B. Thus, the accuracy of the prediction is improved by using the information of the worker 50 in the work B before the work A immediately before the prediction for the prediction. The predicted values (x-axis predicted value, y-axis predicted value) of the operation example are in good agreement with the actually measured values.

（予測精度）
図１９は、時間窓の幅と予測誤差との関係を示す図である。横軸は、時間窓の幅（入力データとして使用する所定期間の長さ）［ｓ］を示す。縦軸は、未来のある時刻における作業者５０の位置についての予測誤差（実測値と予測値との差）［ｍ］を示す。時間窓の幅（所定期間Ｐ２の長さ）が小さいと、予測精度が落ちる（予測誤差が大きくなる）ことが分かる。一方で、異なる２つの作業Ａ、Ｂを含む程度に時間窓の幅がある程度長ければ（この例では、８．９６秒以上であれば）、時間窓の幅が少し変化しても、予測精度はあまり変わらない。 (Prediction accuracy)
FIG. 19 is a diagram showing the relationship between the width of the time window and the prediction error. The horizontal axis represents the width of the time window (the length of the predetermined period used as input data) [s]. The vertical axis represents the prediction error (difference between the actual measurement value and the prediction value) [m] for the position of the worker 50 at a certain time in the future. It can be seen that the prediction accuracy decreases (the prediction error increases) when the width of the time window (the length of the predetermined period P2) is small. On the other hand, if the width of the time window is long enough to include two different tasks A and B (in this example, if it is 8.96 seconds or more), the prediction accuracy is improved even if the width of the time window changes slightly. Does not change much.

［変形例］
以上では、作業者５０の位置の履歴を学習済モデルへの入力とし、未来の位置を出力させる例を説明したが、本発明はこれに限らない。例えば、作業者５０の位置の履歴、速度ベクトルの履歴、および／または、加速度ベクトルの履歴を学習済モデルへの入力とし、未来の作業者５０の位置、速度ベクトル、および／または、加速度ベクトルを学習済モデルからの出力としてもよい。作業者５０の位置の履歴、速度ベクトルの履歴、および／または、加速度ベクトルの履歴は、作業者５０の位置の変化を示す情報である。また、未来の期間の作業者５０の位置の履歴、速度ベクトルの履歴、および／または、加速度ベクトルの履歴を学習済モデルからの出力としてもよい。 [Modification]
The example in which the history of the position of the worker 50 is input to the learned model and the future position is output has been described above, but the present invention is not limited to this. For example, the history of the position of the worker 50, the history of the velocity vector, and/or the history of the acceleration vector is used as an input to the learned model, and the position, the velocity vector, and/or the acceleration vector of the future worker 50 is set. It may be output from the learned model. The history of the position of the worker 50, the history of the velocity vector, and/or the history of the acceleration vector are information indicating changes in the position of the worker 50. Further, the history of the position of the worker 50 in the future period, the history of the velocity vector, and/or the history of the acceleration vector may be output from the learned model.

また、作業者５０の位置は、作業者５０の重心に限らず、作業者５０の１つまたは複数の部位の位置であってもよい。 The position of the worker 50 is not limited to the center of gravity of the worker 50, and may be the position of one or a plurality of parts of the worker 50.

また、学習部１１４はニューラルネットワーク等を用いた学習を実行し、学習済モデルを生成してもよい。 The learning unit 114 may also perform learning using a neural network or the like to generate a learned model.

〔ソフトウェアによる実現例〕
人動作予測装置６０の機能ブロック（具体的には、センサ情報取得部１１１、人状態情報生成部１１２、人軌道予測部１１３、学習部１１４、および識別部１１５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。 [Example of software implementation]
The functional blocks of the human movement prediction device 60 (specifically, the sensor information acquisition unit 111, the human state information generation unit 112, the human trajectory prediction unit 113, the learning unit 114, and the identification unit 115) are integrated circuits (IC chips). It may be realized by a logic circuit (hardware) formed in the above, or may be realized by software using a CPU (Central Processing Unit).

後者の場合、人動作予測装置６０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the human motion prediction apparatus 60 is a ROM (Read Only Memory) in which a CPU that executes instructions of a program that is software that realizes each function, the above program, and various data are recorded so that they can be read by a computer (or CPU). ) Or a storage device (these are referred to as a “recording medium”), a RAM (Random Access Memory) for expanding the program, and the like. Then, the computer (or CPU) reads the program from the recording medium and executes the program to achieve the object of the present invention. As the recording medium, a “non-transitory tangible medium”, for example, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, but various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining the technical means disclosed in the different embodiments Is also included in the technical scope of the present invention.

１ 制御システム（ロボット制御システム）
１０ 干渉判定装置（ロボット干渉判定装置）
２０ コントローラ（ロボット制御装置）
２１ ロボット制御部
２２ 受信部
３０ ロボット
４０ センサ（計測装置）
５０ 作業者（対象物）
６０ 人動作予測装置
１１２ 人状態情報生成部（対象物状態取得部）
１１３ 人軌道予測部（予測部）
１１４ 学習部
１２１ ロボット状態取得部
１２２ 未来干渉判定部（干渉判定部）
１１５ 識別部
１２３ 制御指示調整部（指示部）
Ｓ１２０ 人存在領域計算処理（対象物状態取得ステップ）
Ｓ１４１ ロボット軌道取得処理（ロボット状態取得ステップ）
Ｓ１３２ 人軌道予測処理（予測ステップ）
Ｓ１４４ 干渉判定ステップ 1 Control system (robot control system)
10 Interference determination device (robot interference determination device)
20 controller (robot controller)
21 robot control unit 22 receiving unit 30 robot 40 sensor (measuring device)
50 worker (object)
60 human motion prediction device 112 human state information generation unit (object state acquisition unit)
113 Human trajectory prediction unit (prediction unit)
114 learning unit 121 robot state acquisition unit 122 future interference determination unit (interference determination unit)
115 identification unit 123 control instruction adjustment unit (instruction unit)
S120 Human presence area calculation process (object state acquisition step)
S141 Robot trajectory acquisition process (robot state acquisition step)
S132 Human trajectory prediction processing (prediction step)
S144 Interference determination step

Claims (25)

所定の領域内に存在する対象物の、現時点までの位置の変化を示す情報を取得する対象物状態取得部と、
ロボットにおける所定の可動部の所定時間後における予測位置および予測速度ベクトルを取得するロボット状態取得部と、
前記対象物の、現時点までの位置の変化を示す情報に基づいて、前記所定時間後における前記対象物の予測位置および予測速度ベクトルを算出する予測部と、
前記対象物の前記予測位置および前記予測速度ベクトルと、前記可動部の前記予測位置および前記予測速度ベクトルとに基づき、前記対象物と前記可動部との接触が生じる可能性があるか否かをリアルタイムで判定する干渉判定部と、
を備えるロボット干渉判定装置。 An object state acquisition unit that acquires information indicating a change in position up to the present time of an object existing in a predetermined area,
A robot state acquisition unit that acquires a predicted position and a predicted velocity vector of a predetermined movable unit of the robot after a predetermined time,
A prediction unit that calculates a predicted position and a predicted velocity vector of the target object after the predetermined time, based on information indicating a change in the position of the target object up to the present time,
Based on the predicted position and the predicted velocity vector of the object and the predicted position and the predicted velocity vector of the movable part, it is determined whether or not contact between the object and the movable part may occur. An interference determination unit that determines in real time,
A robot interference determination device including. 前記ロボットは、複数のアームが複数の関節で接続されている多関節マニピュレータを備えており、前記可動部は、前記多関節マニピュレータの所定の１以上の部分である請求項１に記載のロボット干渉判定装置。 The robot interference according to claim 1, wherein the robot includes a multi-joint manipulator in which a plurality of arms are connected by a plurality of joints, and the movable portion is one or more predetermined portions of the multi-joint manipulator. Judgment device. 前記干渉判定部は、現時点（ｔ０）から前記所定時間（Δｔ）が経過した時点（であるｔ０＋Δｔ時点）から、前記可動部の移動停止動作が開始し、前記可動部の移動が停止するまでの時間における、前記対象物の推定位置と前記可動部の推定位置との距離が所定値以内となる場合に、前記対象物と前記可動部との接触が生じる可能性があると判定する請求項１または２に記載のロボット干渉判定装置。 The interference determination unit starts the movement stop operation of the movable portion and stops the movement of the movable portion from a time point (that is, t 0 +Δt time point) when the predetermined time (Δt) has elapsed from the current time point (t 0 ). When the distance between the estimated position of the object and the estimated position of the movable portion is within a predetermined value in the time until it is determined that contact between the object and the movable portion may occur. The robot interference determination device according to claim 1 or 2. 前記予測部は、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習することによって学習済モデルを生成する学習部を備え、前記学習済モデルによって前記対象物の前記予測位置および前記予測速度ベクトルを算出する請求項１〜３のいずれか一項に記載のロボット干渉判定装置。 The prediction unit includes a learning unit that generates a learned model by learning at least one history of a position, a velocity vector, and an acceleration vector at each time point of the object, and the prediction model includes a learning model. The robot interference determination device according to claim 1, wherein the predicted position and the predicted velocity vector are calculated. 前記学習部は、前記対象物の、現時点までの位置の変化を示す情報を入力とし、前記対象物の加速度またはその後の位置を出力とする学習を行うことによって前記学習済モデルを生成する請求項４に記載のロボット干渉判定装置。 The learning unit generates the learned model by performing learning using, as an input, information indicating a change in the position of the target object up to the present time and outputting the acceleration of the target object or the subsequent position. 4. The robot interference determination device according to item 4. 前記対象物を識別する識別部をさらに備え、
前記予測部が、前記識別部による識別結果に応じて前記対象物の予測位置および予測速度ベクトルの算出方法を変更する請求項１〜５のいずれか一項に記載のロボット干渉判定装置。 Further comprising an identification unit for identifying the object,
The robot interference determination device according to any one of claims 1 to 5, wherein the prediction unit changes a method of calculating the predicted position and the predicted velocity vector of the target object according to the identification result by the identification unit. 前記対象物状態取得部は、非接触で前記対象物の二次元または三次元位置を計測する計測装置による計測結果の履歴に基づき、前記対象物の、現時点までの位置の変化を示す情報を取得する請求項１〜６のいずれか一項に記載のロボット干渉判定装置。 The object state acquisition unit acquires information indicating a change in position of the object up to the present time based on a history of measurement results by a measuring device that measures the two-dimensional or three-dimensional position of the object without contact. The robot interference determination device according to any one of claims 1 to 6. 前記ロボット状態取得部は、前記ロボットの動作を制御するロボット制御装置から制御情報を取得することにより、前記可動部の前記予測位置および前記予測速度ベクトルを取得する請求項１〜７のいずれか一項に記載のロボット干渉判定装置。 The robot state acquisition unit acquires the predicted position and the predicted velocity vector of the movable unit by acquiring control information from a robot control device that controls the operation of the robot. The robot interference determination device according to the item. 前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性があると判定した場合に、前記ロボットの動作を制御するロボット制御装置に対して干渉回避を指示する指示信号を送信する指示部をさらに備える請求項１〜８のいずれか一項に記載のロボット干渉判定装置。 When the interference determination unit determines that the contact between the object and the movable unit may occur, an instruction signal for instructing interference avoidance is transmitted to a robot control device that controls the operation of the robot. The robot interference determination device according to any one of claims 1 to 8, further comprising: 前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性があると判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくともいずれか一方の調整指示を示す前記指示信号を送信する請求項９に記載のロボット干渉判定装置。 When the interference determination unit determines that the contact between the object and the movable unit may occur, the instruction unit instructs the robot control device to determine the moving speed and the trajectory of the movable unit. The robot interference determination device according to claim 9, wherein the instruction signal indicating at least one of the adjustment instructions is transmitted. 前記指示部による前記調整指示の後に、前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性がないと判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくともいずれか一方を、前記調整指示が行われる前の状態に戻す指示を示す前記指示信号を送信する請求項１０に記載のロボット干渉判定装置。 When the interference determination unit determines that there is no possibility of contact between the object and the movable unit after the adjustment instruction by the instruction unit, the instruction unit instructs the robot control device. The robot interference determination device according to claim 10, wherein the instruction signal indicating an instruction to return at least one of a moving speed and a trajectory of the movable portion to a state before the adjustment instruction is transmitted is transmitted. 前記干渉判定部が、前記対象物と前記可動部との接触が生じる可能性を示す可能性評価値が第１の閾値以上であると判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部の移動速度および軌道の少なくともいずれか一方の調整指示を示す前記指示信号を送信するとともに、
前記可能性評価値が、前記第１の閾値よりも高い第２の閾値以上となったと前記干渉判定部が判定した場合に、前記指示部は、前記ロボット制御装置に対して、前記可動部を停止させる指示を示す前記指示信号を送信する請求項１０に記載のロボット干渉判定装置。 When the interference determination unit determines that the possibility evaluation value indicating the possibility of contact between the target object and the movable unit is equal to or greater than a first threshold value, the instruction unit causes the robot control device to operate. On the other hand, while transmitting the instruction signal indicating the adjustment instruction of at least one of the moving speed and the trajectory of the movable portion,
When the interference determination unit determines that the possibility evaluation value is equal to or higher than a second threshold value that is higher than the first threshold value, the instruction unit instructs the robot control device to move the movable unit. The robot interference determination device according to claim 10, wherein the instruction signal indicating an instruction to stop is transmitted. 所定の領域内に存在する対象物の、現時点までの位置の変化を示す情報を取得する対象物状態取得ステップと、
ロボットにおける所定の可動部の所定時間後における予測位置および予測速度ベクトルを取得するロボット状態取得ステップと、
前記対象物の、現時点までの位置の変化を示す情報に基づいて、前記所定時間後における前記対象物の予測位置および予測速度ベクトルを算出する予測ステップと、
前記対象物の前記予測位置および前記予測速度ベクトルと、前記可動部の前記予測位置および前記予測速度ベクトルとに基づき、前記対象物と前記可動部との接触が生じる可能性があるか否かをリアルタイムで判定する干渉判定ステップと、
を備えるロボット干渉判定方法。 An object state acquisition step of acquiring information indicating a change in position up to the present time of an object existing in a predetermined area,
A robot state acquisition step of acquiring a predicted position and a predicted velocity vector of a predetermined movable part of the robot after a predetermined time,
A predicting step of calculating a predicted position and a predicted velocity vector of the target object after the predetermined time, based on the information indicating the change in position of the target object up to the present time,
Based on the predicted position and the predicted velocity vector of the object and the predicted position and the predicted velocity vector of the movable part, it is determined whether or not contact between the object and the movable part may occur. An interference determination step of determining in real time,
And a robot interference determination method. 請求項９〜１２のいずれか一項に記載のロボット干渉判定装置から前記指示信号を受信する受信部と、
前記指示信号に基づき、前記ロボットの動作を制御するロボット制御部と、
を備えるロボット制御装置。 A receiving unit that receives the instruction signal from the robot interference determination device according to any one of claims 9 to 12,
A robot controller that controls the operation of the robot based on the instruction signal;
A robot control device including. 請求項９〜１２のいずれか一項に記載のロボット干渉判定装置と、
請求項１４に記載のロボット制御装置と、
非接触で前記対象物の二次元または三次元位置を計測し、計測結果を前記ロボット干渉判定装置に送信する計測装置と、
を備えるロボット制御システム。 A robot interference determination device according to any one of claims 9 to 12,
A robot controller according to claim 14;
A measuring device that measures the two-dimensional or three-dimensional position of the object in a non-contact manner, and sends the measurement result to the robot interference determination device,
A robot control system including. 対象物である人の、位置の変化を示す情報を取得する対象物状態取得部と、
前記対象物の位置の変化を示す情報に基づいて、その後における前記対象物の予測位置、予測速度ベクトルまたは予測加速度ベクトルを、学習済モデルによって予測する予測部と、を備え、
前記予測部は、パラメータ調整を必要としないオンライン追加学習により前記学習済モデルを更新する学習部を備え、
前記学習部は、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習することによって前記学習済モデルを更新する、人動作予測装置。 An object state acquisition unit that acquires information indicating a change in position of a person who is an object,
Based on information indicating a change in the position of the target object, a predicted position of the target object thereafter, a predicted velocity vector or a predicted acceleration vector, a prediction unit for predicting by a learned model,
The prediction unit includes a learning unit that updates the learned model by online additional learning that does not require parameter adjustment,
The human motion prediction device, wherein the learning unit updates the learned model by learning at least one history of a position, a velocity vector, and an acceleration vector of the object at each time point. 前記学習部は、学習アルゴリズムとしてＤＬＴ（Dynamics Learning Tree）またはＤＢＴ（Deep Binary Tree）を用いる、請求項１６に記載の人動作予測装置。 The human motion prediction apparatus according to claim 16, wherein the learning unit uses DLT (Dynamics Learning Tree) or DBT (Deep Binary Tree) as a learning algorithm. 前記学習部は、前記対象物の、ある時点までの位置の変化を示す情報を入力とし、前記対象物の加速度またはその後の位置を出力とする学習を行うことによって前記学習済モデルを更新する請求項１６または１７に記載の人動作予測装置。 The learning unit updates the learned model by performing learning by inputting information indicating a change in the position of the object up to a certain point of time and outputting the acceleration of the object or a position thereafter. Item 16. The human motion prediction device according to Item 16 or 17. 前記予測部は、所定期間における前記対象物の位置の変化を示す情報を前記学習済モデルの入力とすることで、前記対象物の前記予測位置、前記予測速度ベクトル、または予測加速度ベクトルを予測する、請求項１６から１８のいずれか一項に記載の人動作予測装置。 The prediction unit predicts the predicted position, the predicted velocity vector, or the predicted acceleration vector of the target object by inputting information indicating a change in the position of the target object in a predetermined period as the input of the learned model. The human motion prediction apparatus according to any one of claims 16 to 18. 前記対象物は、複数の作業を行う作業者であり、
前記所定期間が、予測直前の第１作業の期間だけでなく、前記第１作業の前の第２作業の期間も含むように、前記所定期間が設定されている、請求項１９に記載の人動作予測装置。 The object is a worker who performs a plurality of works,
The person according to claim 19, wherein the predetermined period is set such that the predetermined period includes not only the period of the first work immediately before the prediction but also the period of the second work before the first work. Motion prediction device. 前記予測部は、前記所定期間における前記対象物の位置の変化を示す情報に、第１時間方向重み付きフィルタを適用したものを、前記学習済モデルの入力とすることで、前記対象物の前記予測位置、前記予測速度ベクトル、または予測加速度ベクトルを予測する、請求項１９または２０に記載の人動作予測装置。 The predicting unit applies the first time-direction weighted filter to the information indicating the change in the position of the target object in the predetermined period as an input of the learned model, thereby The human motion prediction device according to claim 19 or 20, which predicts a predicted position, the predicted velocity vector, or the predicted acceleration vector. 前記学習部は、対象時刻の前後を含む期間における前記対象物の位置の変化を示す情報に、前記第１時間方向重み付きフィルタとは異なる第２時間方向重み付きフィルタを適用したものを前記対象時刻に関する入力として、学習を行い、
前記予測部は、対象時刻以前の期間における前記対象物の位置の変化を示す情報に、前記第１時間方向重み付きフィルタを適用したものを、前記学習済モデルの入力とすることで、前記対象時刻より後の前記対象物の前記予測位置、前記予測速度ベクトル、または予測加速度ベクトルを予測する、請求項２１に記載の人動作予測装置。 The learning unit applies the second time-direction weighted filter different from the first time-direction weighted filter to the information indicating the change in the position of the target object in a period including before and after the target time. As a time input, learn,
The predicting unit applies the first time-direction weighted filter to the information indicating the change in the position of the target object in the period before the target time, and inputs the learned model to the target model. The human motion prediction device according to claim 21, which predicts the predicted position, the predicted velocity vector, or the predicted acceleration vector of the object after the time. 前記対象物の位置の変化を示す情報は、前記人の部位の位置、速度ベクトルまたは加速度ベクトルを含む、請求項１６から２２のいずれか一項に記載の人動作予測装置。 23. The human motion prediction device according to claim 16, wherein the information indicating the change in the position of the target object includes a position, a velocity vector, or an acceleration vector of the part of the person. 前記対象物の位置の変化を示す情報は、前記人の複数の部位の位置、速度ベクトルまたは加速度ベクトルを含む、請求項１６から２３のいずれか一項に記載の人動作予測装置。 The human motion prediction device according to any one of claims 16 to 23, wherein the information indicating a change in the position of the target object includes positions, velocity vectors, or acceleration vectors of a plurality of parts of the person. 対象物である人の、位置の変化を示す情報を取得する対象物状態取得ステップと、
前記対象物の位置の変化を示す情報に基づいて、その後における前記対象物の予測位置、予測速度ベクトルまたは予測加速度ベクトルを、学習済モデルによって予測する予測ステップと、
パラメータ調整を必要としないオンライン追加学習により前記学習済モデルを更新する学習ステップであって、前記対象物の各時点における位置、速度ベクトル、および加速度ベクトルの少なくとも１つの履歴を学習することによって前記学習済モデルを更新する学習ステップと、を含む人動作予測方法。 An object state acquisition step of acquiring information indicating a change in position of a person who is an object,
Based on the information indicating the change in the position of the target object, a predicted position of the target object thereafter, a predicted velocity vector or a predicted acceleration vector, a prediction step of predicting by a learned model,
A learning step of updating the learned model by online additional learning that does not require parameter adjustment, the learning by learning at least one history of a position, a velocity vector, and an acceleration vector at each time point of the object. Human motion prediction method including a learning step of updating the completed model.
JP2019034202A 2018-12-14 2019-02-27 Robot interference determination device, robot interference determination method, robot control device, robot control system, human motion prediction device, and human motion prediction method Active JP7243979B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023003855A JP7462195B2 (en) 2018-12-14 2023-01-13 ROBOT INTERFERENCE DETECTION DEVICE, ROBOT INTERFERENCE DETECTION METHOD, ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, HUMAN OPERATION PREDICTION DEVICE, AND HUMAN OPERATION PREDICTION METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018234628 2018-12-14
JP2018234628 2018-12-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023003855A Division JP7462195B2 (en) 2018-12-14 2023-01-13 ROBOT INTERFERENCE DETECTION DEVICE, ROBOT INTERFERENCE DETECTION METHOD, ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, HUMAN OPERATION PREDICTION DEVICE, AND HUMAN OPERATION PREDICTION METHOD

Publications (2)

Publication Number Publication Date
JP2020097091A true JP2020097091A (en) 2020-06-25
JP7243979B2 JP7243979B2 (en) 2023-03-22

Family

ID=71105597

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019034202A Active JP7243979B2 (en) 2018-12-14 2019-02-27 Robot interference determination device, robot interference determination method, robot control device, robot control system, human motion prediction device, and human motion prediction method
JP2023003855A Active JP7462195B2 (en) 2018-12-14 2023-01-13 ROBOT INTERFERENCE DETECTION DEVICE, ROBOT INTERFERENCE DETECTION METHOD, ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, HUMAN OPERATION PREDICTION DEVICE, AND HUMAN OPERATION PREDICTION METHOD

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023003855A Active JP7462195B2 (en) 2018-12-14 2023-01-13 ROBOT INTERFERENCE DETECTION DEVICE, ROBOT INTERFERENCE DETECTION METHOD, ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, HUMAN OPERATION PREDICTION DEVICE, AND HUMAN OPERATION PREDICTION METHOD

Country Status (1)

Country Link
JP (2) JP7243979B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196010A1 (en) * 2021-03-15 2022-09-22 オムロン株式会社 Control device, control system, control method, and program
JPWO2023089817A1 (en) * 2021-11-22 2023-05-25
US20230211496A1 (en) * 2020-06-25 2023-07-06 Fanuc Corporation Robot control device
EP4254105A1 (en) 2022-04-01 2023-10-04 OMRON Corporation Work management system, method, and program
US11833691B2 (en) 2021-03-30 2023-12-05 Samsung Electronics Co., Ltd. Hybrid robotic motion planning system using machine learning and parametric trajectories
US11945117B2 (en) 2021-03-10 2024-04-02 Samsung Electronics Co., Ltd. Anticipating user and object poses through task-based extrapolation for robot-human collision avoidance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010120139A (en) * 2008-11-21 2010-06-03 New Industry Research Organization Safety control device for industrial robot
JP2010208002A (en) * 2009-03-12 2010-09-24 Ihi Corp Device and method for controlling robot device
JP2018012159A (en) * 2016-07-21 2018-01-25 富士電機株式会社 Robot system, control method of robot system, and program
DE102016222245A1 (en) * 2016-11-14 2018-05-30 Volkswagen Aktiengesellschaft Device and method for acting on objects
JP2018103345A (en) * 2016-12-28 2018-07-05 川崎重工業株式会社 Robot system
JP6393433B1 (en) * 2018-02-09 2018-09-19 株式会社ビコー Information processing apparatus, information processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010120139A (en) * 2008-11-21 2010-06-03 New Industry Research Organization Safety control device for industrial robot
JP2010208002A (en) * 2009-03-12 2010-09-24 Ihi Corp Device and method for controlling robot device
JP2018012159A (en) * 2016-07-21 2018-01-25 富士電機株式会社 Robot system, control method of robot system, and program
DE102016222245A1 (en) * 2016-11-14 2018-05-30 Volkswagen Aktiengesellschaft Device and method for acting on objects
JP2018103345A (en) * 2016-12-28 2018-07-05 川崎重工業株式会社 Robot system
JP6393433B1 (en) * 2018-02-09 2018-09-19 株式会社ビコー Information processing apparatus, information processing method, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230211496A1 (en) * 2020-06-25 2023-07-06 Fanuc Corporation Robot control device
US11945117B2 (en) 2021-03-10 2024-04-02 Samsung Electronics Co., Ltd. Anticipating user and object poses through task-based extrapolation for robot-human collision avoidance
WO2022196010A1 (en) * 2021-03-15 2022-09-22 オムロン株式会社 Control device, control system, control method, and program
US11833691B2 (en) 2021-03-30 2023-12-05 Samsung Electronics Co., Ltd. Hybrid robotic motion planning system using machine learning and parametric trajectories
JPWO2023089817A1 (en) * 2021-11-22 2023-05-25
WO2023089817A1 (en) * 2021-11-22 2023-05-25 三菱電機株式会社 Information processing device, simulation system, simulation method, and simulation program
EP4254105A1 (en) 2022-04-01 2023-10-04 OMRON Corporation Work management system, method, and program

Also Published As

Publication number Publication date
JP7243979B2 (en) 2023-03-22
JP7462195B2 (en) 2024-04-05
JP2023029629A (en) 2023-03-03

Similar Documents

Publication Publication Date Title
JP2020097091A (en) Robot interference determination device, robot interference determination method, robot control device, robot control system, human movement predictor, and human movement prediction method
JP7122776B2 (en) Workspace safety monitoring and equipment control
JP5283622B2 (en) Monitoring method and apparatus using camera for preventing collision of machine
US20200004247A1 (en) Controlling movement of autonomous device
US12036683B2 (en) Safe motion planning for machinery operation
US11478934B2 (en) Method and apparatus for controlling robot
US10591905B2 (en) Work region estimation device, control device, control system, work region estimation method, and non-transitory computer-readable recording medium
JP2020093373A (en) Robot interference determination device, robot interference determination method, robot control device, and robot control system
EP4260992A1 (en) System and method for verifying positional and spatial information using depth sensors
WO2023037443A1 (en) Robot control device, learning device, and inference device
WO2023095926A1 (en) Robot control device, robot control system, and robot control method
JP7186414B2 (en) Speed detection system for moving object, speed detection device and its program
US20240012383A1 (en) Clustering and detection system and method for safety monitoring in a collaborative workspace
CN107924181B (en) Work area estimation device, work area estimation method, control device, control system, and storage medium
JP2022013038A (en) Robot and control device thereof, and movement range estimation device and program thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230228

R150 Certificate of patent or registration of utility model

Ref document number: 7243979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150