JP2016209991A - Robot control device, controlling method, and program - Google Patents
Robot control device, controlling method, and program Download PDFInfo
- Publication number
- JP2016209991A JP2016209991A JP2016084451A JP2016084451A JP2016209991A JP 2016209991 A JP2016209991 A JP 2016209991A JP 2016084451 A JP2016084451 A JP 2016084451A JP 2016084451 A JP2016084451 A JP 2016084451A JP 2016209991 A JP2016209991 A JP 2016209991A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- human
- person
- contact
- recognition state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000000007 visual effect Effects 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 12
- 230000004044 response Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 20
- 230000009471 action Effects 0.000 description 17
- 210000003128 head Anatomy 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 241000282412 Homo Species 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- OOYGSFOGFJDDHP-KMCOLRRFSA-N kanamycin A sulfate Chemical group OS(O)(=O)=O.O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CN)O[C@@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](N)[C@H](O)[C@@H](CO)O2)O)[C@H](N)C[C@@H]1N OOYGSFOGFJDDHP-KMCOLRRFSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Abstract
Description
本発明は、ロボットの制御装置、制御方法およびシステムに関する。 The present invention relates to a robot control apparatus, control method, and system.
産業用ロボットを使用する際には、人間とロボットとの接触を回避するための安全制御装置（ロボット制御装置）が必要である。例えば、特許文献１には、作業者が進入禁止領域に侵入した場合、ロボットを停止するか動力電源を遮断するロボット制御装置が開示されている。特許文献２には、作業者とロボットの現在位置および移動速度から、作業者とロボットの将来位置を予測する安全制御装置が開示されている。特許文献２の安全制御装置は、作業者とロボットの将来位置に基づいて、作業者とロボットとが接触するかを予測し、接触すると予測した場合に安全制御を行う。 When using an industrial robot, a safety control device (robot control device) for avoiding contact between a human and the robot is necessary. For example, Patent Document 1 discloses a robot control device that stops a robot or shuts off a power supply when an operator enters an entry prohibited area. Patent Document 2 discloses a safety control device that predicts future positions of workers and robots from the current positions and movement speeds of the workers and robots. The safety control device disclosed in Patent Document 2 predicts whether the worker and the robot will come into contact based on the future positions of the worker and the robot, and performs safety control when the contact is predicted.
特許文献１のロボット制御装置では、作業者が進入禁止領域（ロボットの動作領域）に侵入する度にロボットが停止してしまう。ロボットが停止する度に、ロボットの作業効率が低下する。
特許文献２の安全制御装置は、ロボットと作業者が将来接触すると予測する場合には、ロボットを停止する。この予測は、作業者とロボットの現在位置および移動速度に基づいて行われる。したがって、特許文献２の安全制御装置では、作業者がロボットとの接触可能性を認識しているか否かに関わらずロボットを停止してしまうことがある。
本発明は、上記した従来技術の課題を解決すべく考案されたものであり、本発明の目的は、人間とロボットとの接触を回避すると共に、ロボットの作業効率をより向上することができるロボット制御装置を提供することである。
In the robot control apparatus of Patent Document 1, the robot stops every time an operator enters the entry prohibition area (robot operation area). Each time the robot stops, the work efficiency of the robot decreases.
The safety control device disclosed in Patent Literature 2 stops the robot when it is predicted that the robot and the worker will contact each other in the future. This prediction is performed based on the current positions and moving speeds of the worker and the robot. Therefore, in the safety control device of Patent Document 2, the robot may be stopped regardless of whether or not the operator recognizes the possibility of contact with the robot.
The present invention has been devised to solve the above-described problems of the prior art, and an object of the present invention is to avoid a contact between a human and the robot and improve the robot's work efficiency. It is to provide a control device.
本発明の１つの態様によるロボット制御装置は、ロボットの位置を取得する取得手段と、人間を含む画像から前記人間の位置を検出する検出手段と、前記ロボットの位置と前記人間の位置とに基づいて、前記ロボットと前記人間との接触を予測する予測手段と、前記画像から抽出される前記人間に関する所定の情報に基づいて、前記ロボットについての前記人間の認識状態を推定する推定手段と、前記予測手段の予測結果と前記推定手段の推定結果とに基づいて、前記ロボットの動作を制御する制御手段と、を備える。 A robot control apparatus according to one aspect of the present invention is based on acquisition means for acquiring a position of a robot, detection means for detecting the position of the human from an image including a person, the position of the robot, and the position of the human. Predicting means for predicting contact between the robot and the human, estimating means for estimating the human recognition state of the robot based on predetermined information about the human extracted from the image, Control means for controlling the operation of the robot based on the prediction result of the prediction means and the estimation result of the estimation means.
本発明によれば、人間とロボットとの接触を回避すると共に、ロボットの作業効率をより向上することができる。 According to the present invention, it is possible to avoid contact between a human and a robot and further improve the working efficiency of the robot.
以下、本発明の実施形態によるロボット制御装置を含むロボットシステムについて、図面を参照しながら詳細に説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の実施形態によって限定されない。例えば、実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。
（実施形態１）
実施形態１では、撮像画像から取得される、ロボットと人間の接触を予測するのに用いる人間の位置情報と人間の認識状態を推定するのに用いる人間の情報とに基づいて、ロボットの危険回避動作を制御する。
図１は、実施形態１のロボットシステム１００の構成を示している。ロボットシステム１００は、ロボット１０１と、視覚センサ１０２と、ロボット制御装置１０と、を有する。
Hereinafter, a robot system including a robot control apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. The technical scope of the present invention is determined by the scope of the claims, and is not limited by the following embodiments. For example, the configuration of the embodiment can be appropriately modified or changed according to the specifications of the apparatus to which the present invention is applied and various conditions (usage conditions, environment of use, etc.).
(Embodiment 1)
In the first embodiment, the risk avoidance of the robot is obtained based on the human position information used for predicting the contact between the robot and the human and the human information used for estimating the human recognition state, which are obtained from the captured image. Control the behavior.
FIG. 1 shows a configuration of a
ロボット１０１は、アーム（図示せず）とハンド（図示せず）とを有する。ロボット１０１が多関節型ロボットである場合、ロボット１０１は、複数のアームと関節を有する。ロボット１０１のハンドは、ロボット１０１の用途に応じたツールであり、本実施形態では、部品を把持して１つの位置（以下、「位置Ａ」と称する。）から他の位置（以下、「位置Ｂ」と称する。）に移動するときに使用される。ロボット１０１は、後述するロボット制御装置１０の制御部２０１に接続されている。ロボット１０１は、必要に応じて、アームの土台となるベース部、アームを駆動するサーボモータ、および当該サーボモータの角度位置を検出する手段（エンコーダ）等を備える。
The
視覚センサ１０２は、画像を撮像する手段である。本実施形態では、視覚センサ１０２は、視点の異なる複数の撮像カメラを含む。視覚センサ１０２は、複数の撮像カメラのうち任意の数のカメラを使用して撮像を行うことができる（例えば、全ての撮像カメラを使用することもできるし、１つの撮像カメラだけを使用することもできる）。視覚センサ１０２は、撮像カメラにより撮像される画像に、人間（作業者）が含まれるように撮像を行う。視覚センサ１０２は、後述するロボット制御装置１０の画像情報取得部２０３に接続されている。
The
ロボット制御装置１０は、制御部２０１、ロボット位置取得部２０２、画像情報取得部２０３、人間位置検出部２０４、接触予測部２０５、人間情報抽出部２０６、認識状態推定部２０７、および危険回避対応動作決定部２０８を備える。
ロボット制御装置１０の制御部２０１は、ロボット１０１の動作を制御する。ロボット制御部２０１は、まず、作業者から指示（ティーチング）を受ける。具体的には、例えば、制御部２０１は、ロボット１０１により部品を位置Ａから位置Ｂへ移動させる動作を指示（ティーチング）される。この指示は、例えば、作業者によって入力される。当該指示に基づき、制御部２０１は、障害物を回避して当該部品を位置Ａから位置Ｂに移動するロボット１０１の軌道を生成（プランニング）する。ロボット１０１の軌道のデータは、ロボット１０１が位置Ａから位置Ｂに部品を移動する際の、ロボット１０１を構成するアームとハンドの各部材の時系列の位置と関節角、および各部材の形状寸法を含む。
The
The
位置Ａは、ロボット１０１の動作開始点で、位置Ｂはロボット１０１の動作終了点となる。そして、制御部２０１は、ロボット１０１で位置Ａから位置Ｂへ部品を移動させるためのロボット１０１の軌道のデータを保持する。
また、制御部２０１は、後述する危険回避対応動作決定部２０８で決定された危険回避対応動作に従って、ロボット１０１を制御する。
なお、部品の当初の位置が予め指定された位置でない場合は、視覚センサ１０２により部品の置いてある位置（当初の位置）Ａを検出（取得）する。そして、取得した位置Ａに基づき部品の移動先である位置Ｂへ部品を移動するロボット１０１の軌道をプランニングしてもよい。
Position A is the operation start point of the
In addition, the
If the initial position of the part is not a position designated in advance, the
ロボット位置取得部２０２は、ロボット１０１の位置を算出することによりロボット１０１の位置を取得する。本実施形態で、ロボット１０１の位置とは、ロボット１０１を構成するアームとハンドが位置Ａから位置Ｂへ部品を移動する際に通過する空間的な領域を意味する。つまり、ロボット１０１の位置は、位置Ａから位置Ｂまでのロボット１０１の動作範囲（移動経路）を意味する。ロボット１０１の位置を、ロボット１０１が位置Ａから位置Ｂに移動する際に通過する空間的な領域（経路）としたのは、人間が位置Ａから位置Ｂの間で移動するロボット１０１と接触する可能性があるかを推定するためである。
ロボット位置取得部２０２は、制御部２０１に接続されており、制御部２０１が保持しているロボット１０１の軌道のデータを、制御部２０１から受け取る（取得する）。ロボット位置取得部２０２は、ロボット１０１の軌道のデータから、ロボット１０１を構成するアームとハンドが位置Ａから位置Ｂへ部品を移動する際に通過する空間的な領域を、ロボット１０１の位置として算出する。
The robot
The robot
なお、ロボット１０１が部品を位置Ａから位置Ｂに移動するときの空間的な領域の全てをロボットの位置としなくてもよい。例えば、ロボット１０１が位置Ａと位置Ｂの途中にあるとき、ロボット１０１の現在の位置から位置Ｂへ部品を移動する際に通過する空間的な領域を、ロボット１０１の位置としてもよい。この際、ロボット位置取得部２０２は、ロボット１０１の現在の位置を、制御部２０１から受け取る。このようにすることで、ロボット１０１が位置Ａからロボット１０１の現在の位置へ移動するまでに通過した空間的な領域を、上記した「ロボット１０１の位置」から除くことが出来る。
Note that not all of the spatial areas when the
画像情報取得部２０３は、二次元画像と距離画像を取得する手段である。画像情報取得部２０３は、例えば、ビデオキャプチャボードやメモリなどで構成されている。画像情報取得部２０３は、視覚センサ１０２に接続されている。画像情報取得部２０３は、二次元画像と距離画像を算出するために、まず、視覚センサ１０２が撮像した画像を視覚センサ１０２から受け取る。そして、画像情報取得部２０３は、受け取った当該撮像画像から、二次元画像と距離画像を生成（算出）する。二次元画像と距離画像には、人間（作業者）の画像が含まれるようにする。距離画像を生成する場合、画像情報取得部２０３は、視覚センサ１０２の複数の撮像カメラによって撮像された複数の画像を基に、ステレオ法で撮影物体の距離画像を算出する。各距離画像は点群により形成されている。
The image
なお、距離画像の生成は、画像情報取得部２０３を使用せずに行ってもよい。例えば、視覚センサ１０２が、距離画像を生成してもよい。また、図示しない距離画像生成手段を設け、当該距離画像生成手段により距離画像を生成してもよい。さらに、撮像カメラと、当該撮像カメラとは異なる位置から撮影物体に光のパターンを投影する手段とを用いて、パターン投影法などのアクティブ方式の三次元計測手法により、撮影物体の距離画像を生成してもよい。
The generation of the distance image may be performed without using the image
人間位置検出部２０４は、人間（作業者）の位置を検出する手段である。人間の位置を検出するために、人間位置検出部２０４は、まず、画像情報取得部２０３で取得した距離画像を領域分割（セグメンテーション）する。また、人間位置検出部２０４は、画像情報取得部２０３で取得した二次元画像から人間の頭部を検出する。そして、人間位置検出部２０４は、領域分割して得られた距離画像の複数の領域のうち、二次元画像の人間の頭部に対応する部分を含む領域を人間の領域とし、その距離画像の点群を現在の人間の位置とする。人間の頭部の検出は、例えば、人間の肩から頭部の形状であるΩ形状を検出することにより行う。
The human
接触予測部２０５は、人間とロボット１０１が接触するかを推測する手段である。接触予測部２０５は、ロボット位置取得部２０２と人間位置検出部２０４とに接続されており、ロボット位置取得部２０２の算出結果（ロボットの位置）と人間位置検出部２０４の検出結果（人間の位置）とを受け取る。接触予測部２０５は、ロボット１０１の位置と人間の位置とが重なる位置を、人間とロボット１０１が接触する可能性がある位置（接触予測情報）と予測する。
The
人間情報抽出部２０６は、画像から人間（作業者）の情報を抽出する手段である。本実施形態では、人間の情報は、作業者の顔の向きまたは視線の向きである。人間情報抽出部２０６は、画像情報取得部２０３に接続されており、画像情報取得部２０３で算出した二次元画像を画像情報取得部２０３から受け取る。そして、人間情報抽出部２０６は、当該二次元画像から人間の頭部を検出し、人間の情報として当該頭部から顔の向きまたは視線の向きを抽出（検出）する。人間の頭部の検出は、例えば、人間の肩から頭部の形状であるΩ形状を検出することにより行う。頭部からの顔の向きの検出は、例えば、顔の器官である目、鼻、口の局所的な明暗差を利用したHaar-like特徴に基づいて顔の向きを検出することにより行う。頭部から視線の向きを検出する場合は、まず、顔の器官である目、鼻、口の局所的な明暗差を利用したHaar-like特徴に基づいて顔の向きを検出すると共に目の領域を抽出する。そして、抽出した目の領域の中の瞳の位置と顔の向きとから視線の向きを検出する。
The human
認識状態推定部２０７は、人間（作業者）がロボット１０１を見ているか否かを推定する手段である。認識状態推定部２０７は、接触予測部２０５と人間情報抽出部２０６に接続されており、接触予測部２０５で予測した接触予測位置と人間情報抽出部２０６で抽出した顔または視線の向きの情報を、接触予測部２０５と人間情報抽出部２０６から受け取る。そして、認識状態推定部２０７は、当該予測した接触予測位置と抽出した顔または視線の向きから、人間と接触する可能性のあるロボット１０１の位置が人間の視野範囲内にあるか否かを判断し、当該判断に基づいて、人間がロボット１０１を見ているか否かを推定する。認識状態推定部２０７は、人間がロボット１０１を見ていると推定した場合、人間がロボット１０１を認識していると推定する。
The recognition
危険回避対応動作決定部２０８は、人間がロボット１０１を認識しているか否かによって、どのような危険回避対応動作を取るかを決定する手段である。危険回避対応動作決定部２０８は、認識状態推定部２０７に接続されており、認識状態推定部２０７の推定結果を認識状態推定部２０７から受け取る。接触予測部２０５で人間とロボット１０１が接触すると予測され、かつ、認識状態推定部２０７が人間はロボット１０１を認識していないと推定した場合、危険回避対応動作決定部２０８は、ロボット１０１の動作を変更して第一の危険回避対応動作を取るという決定をする。第一の危険回避対応動作とは、ロボットの動作速度を（接触予測前の速度より）減速し、その後、ロボットと人との間の距離が予め設定したマージン以下の距離になったらロボットを停止する動作である。接触予測部２０５で人間とロボット１０１が接触すると予測され、かつ、認識状態推定部２０７で人間がロボット１０１を認識していると推定された場合、第二の危険回避対応動作を取るという決定をする。第二の危険回避対応動作とは、接触予測部２０５でロボットと人間との接触予測に用いる、人間の位置とロボット１０１の位置との間の距離のマージンと、ロボットの動作速度とのうち少なくとも何れかひとつを変更する危険回避対応動作である。この場合もまた、ロボットと人との間の距離が予め設定したマージン以下の距離になったらロボットを停止する。
The danger avoidance corresponding
危険回避対応動作決定部２０８が決定した内容は、制御部２０１に伝達される。制御装置２０１は、当該決定の内容に基づいて、ロボット１０１の動作を制御する。
図２は、実施形態１のロボット制御装置１０の処理の流れを示すフローチャートである。図２では、人間情報抽出部２０６が、人間の情報として、作業者の視線の向きを抽出（検出）する場合を説明する。
Ｓ１００では、ロボット位置取得部２０２が、制御部２０１から受け取ったロボット１０１の軌道のデータに基づいて、ロボット１０１の位置（動作範囲）を算出する。より詳しくは、ロボット位置取得部２０２は、ロボットの軌道データに基づいて、ロボット１０１が位置Ａから位置Ｂに移動する際に通過する空間的な領域を算出し、これをロボット１０１の位置とする（ロボット位置の取得）。
The content determined by the danger avoidance handling
FIG. 2 is a flowchart illustrating a processing flow of the
In S100, the robot
なお、上記したように、ロボット１０１の現在の位置から位置Ｂへ部品を移動する際に通過する空間的な領域を、ロボット１０１の位置としてもよい。この場合、ロボット１０１の軌道のデータと、制御部２０１が保持しているロボット１０１の現在の位置とから、ロボット１０１の位置を算出する。このようにすることで、ロボット１０１が位置Ａからロボット１０１の現在の位置へ移動する際にすでに通過した空間的な領域を、ロボット１０１の位置から除くことが出来る。Ｓ１００の後、Ｓ２００に進む。
As described above, a spatial region that passes when moving a part from the current position of the
Ｓ２００では、画像情報取得部２０３が、視覚センサ１０２から受け取った画像に基づいて、二次元画像と距離画像を算出（取得）する。Ｓ２００の後、Ｓ３００に進む。
Ｓ３００では、人間位置検出部２０４が、現在の人間の位置を検出する。より詳しくは、人間位置検出部２０４は、Ｓ２００で取得した距離画像の点群を領域分割すると共に、二次元画像から人間の頭部を検出する。領域分割した距離画像の複数領域のうち、二次元画像の頭部に対応する点群を含む分割領域を人間の領域とし、この領域の点群を現在の人間の位置とする。人間の頭部の検出は、例えば、人間の肩から頭部の形状であるΩ形状を検出することにより行う。Ｓ３００の後、Ｓ４００に進む。
In S <b> 200, the image
In S300, the
Ｓ４００では、接触予測部２０５が、人間とロボット１０１との接触の可能性を予測する（接触予測）。より詳しくは、Ｓ３００で検出した人間の位置である点群のうち、Ｓ１００で取得したロボット１０１の位置である空間的な領域の中に存在する点群の位置を、人間とロボット１０１が接触する可能性がある位置（接触予測情報）とする。
Ｓ４００で予測した位置は、人間とロボット１０１が接触する可能性があるロボットの接触予測部分の位置となる。
In S400, the
The position predicted in S400 is the position of the predicted contact portion of the robot where the human and the
なお、ロボット１０１の位置は、位置Ａから位置Ｂにロボット１０１が移動する際にロボット１０１が通過する領域としなくてもよい。例えば、現在のロボット１０１の位置および移動速度、ならびに、現在の人間の位置および移動速度から、ロボット１０１と人間の将来位置を予測して、ロボット１０１と人間との接触予測位置を推定してもよい。Ｓ４００の後、Ｓ５００に進む。Ｓ５００では、接触可能性の有無を判定する。Ｓ４００で人間とロボット１０１が接触する可能性がある位置がない場合は、接触可能性が無いと判定され（Ｓ５００：Ｎｏ）、Ｓ６００に進む。Ｓ６００では、危険回避対応動作決定部２０８が、ロボット１０１の動作を変更しないという決定をする。そして、制御部２０１は、この決定に基づいて、ロボット１０１の動作を変更しないという制御を行う。Ｓ６００の後、Ｓ１００に戻り、Ｓ１００〜Ｓ５００の処理を行う。
Note that the position of the
Ｓ４００で人間とロボット１０１が接触する可能性がある位置がある場合は、Ｓ５００で接触可能性が有ると判定され（Ｓ５００：Ｙｅｓ）、Ｓ７００に進む。
Ｓ７００では、人間情報抽出部２０６が、Ｓ２００で取得した二次元画像から人間の頭部を検出し、人間の情報として、当該頭部から作業者の視線の向きを抽出（検出）する。作業者の視線の向きを検出するには、まず、顔の器官である目、鼻、口の局所的な明暗差を利用した、例えば、Haar-like特徴により顔の向きを検出して、その後、目の領域を抽出する。さらに、抽出した目の領域の中の瞳位置と顔の向きとから視線の向きを検出する。Ｓ７００の後、Ｓ８００に進む。Ｓ８００では、認識状態推定部２０７が、人間の視野範囲を算出する。認識状態推定部２０７は、Ｓ７００で検出した視線の向きを、人間の視野の中心とし、人間の視野角を、例えば、視野の中心に対して、横方向は左右に９０度、縦方向は上が６０度、下が７０度として、視野範囲を算出する。Ｓ８００の後、Ｓ９００に進む。
If there is a position where there is a possibility of contact between the human and the
In S700, the human
Ｓ９００では、認識状態推定部２０７が、Ｓ８００で算出した視野範囲（視野角）内に、Ｓ４００で予測した、人間とロボット１０１が接触する可能性がある位置（ロボット接触予測部分位置）が含まれているかを算出する。Ｓ９００の後、Ｓ１０００に進む。Ｓ１０００では、認識状態推定部２０７が、Ｓ９００の算出結果に基づいて、人間とロボット１０１が接触する可能性がある位置を、人間が見ているか否かを判定する。より詳しくは、Ｓ９００でロボット１０１の接触する可能性がある位置が、人間の視野範囲内にあるという算出がなされていれば、Ｓ１０００でロボット１０１の接触予測部分の位置が見えていると判定する（Ｓ１０００：Ｙｅｓ）。一方、Ｓ９００でロボット１０１の接触予測部分の位置が、人間の視野範囲内にないという算出がなされていれば、Ｓ１０００でロボット１０１の接触する可能性がある位置が人間には見えていないと判定する（Ｓ１０００：Ｎｏ）。
In S900, the position (the robot contact predicted partial position) predicted by S400 that the human being and the
本実施形態では、Ｓ８００からＳ１０００で、ロボット１０１についての人間の認識状態の推定（判定）を行っている。人間が人間とロボット１０１が接触する可能性があるロボットの位置を見ている状態であれば、人間がロボット１０１を認識していると推定する（Ｓ１０００：Ｙｅｓ）。つまり、人間の視野範囲（視野角）内にロボット１０１の接触予測部分の位置が入っている状態を、ロボット１０１について人間が認識している状態であると推定（判定）する。人間が人間とロボット１０１が接触する可能性があるロボットの位置を見ていない状態であれば、人間がロボット１０１を認識していない状態と推定する（Ｓ１０００：Ｎｏ）。
Ｓ１０００の判定がＮｏの場合、Ｓ１１００に進む。Ｓ１１００では、人間とロボット１０１との接触による危険を回避するため、ロボット１０１の動作を変更して第一の危険回避対応動作を実行する。第一の危険回避対応動作とは、ロボット１０１の動作を止めたり速度を遅くしたりといった変更を行う制御である。Ｓ１１００の後、Ｓ１３００に進む。
In the present embodiment, the human recognition state of the
If the determination in S1000 is No, the process proceeds to S1100. In S1100, in order to avoid danger due to contact between the human and the
Ｓ１０００の判定がＹｅｓの場合、Ｓ１２００に進む。Ｓ１２００では、人間がロボット１０１を認識していると推定されるので、第一の危険回避対応動作とは異なる、第二の危険回避対応動作を実行する。第二の危険回避対応動作とは、ロボット１０１の動作を変更する、または、Ｓ４００で予測する人間とロボット１０１が接触する可能性がある位置を求める際に用いる、人間の位置とロボット１０１の位置の距離のマージンを変更する、のうち少なくともいずれか一つを変更する制御である。本来、人間の位置とロボット１０１の位置の距離がゼロで接触するが、より安全性を持たせるため、距離のマージンを設定している。距離のマージンとは、接触予測判定をする際の人間の位置とロボットの位置との間の距離の余裕である。例えばマージンを０ｍｍと設定すると、人間の位置とロボットの位置との間の距離が０ｍｍのときに接触すると予測判定する。それに対してマージンを１００ｍｍと設定することにより、人間の位置とロボットの位置との間の距離が１００ｍｍ以下の場合に接触すると予測判定して、その距離以下になった場合にロボットの動きを止める。こうすることで実際にはロボットと人が衝突することなくロボットを事前に止めることが確実となり、より安全性を高めることが出来る。Ｓ１２００の後、Ｓ１３００に進む。Ｓ１３００では、ロボット１０１の移動が完了しているかを判定する。つまり、Ｓ１３００では、ロボット１０１が位置Ｂに到達したかを判定する。ロボット１０１の移動が完了していなければ（Ｓ１３００：Ｎｏ）、Ｓ１００に戻る。ロボット１０１の移動が完了していれば（Ｓ１３００：Ｙｅｓ）、処理を終了する。
When determination of S1000 is Yes, it progresses to S1200. In S1200, since it is presumed that the human is recognizing the
人間が認識していないと推定された場合の第一の危険回避対応動作と、認識していると推定された場合の第二の危険回避対応動作の、より詳しい内容について、数値例を挙げて説明する。本実施形態では、人間がロボット１０１を認識していないと推定された場合、第一の危険回避対応動作の一つとして、例えば、ロボット１０１の動作速度を接触予測前の速度２００ｍｍ／ｓｅｃより減速した５０ｍｍ／ｓｅｃとしたり止めてもよい。なお、人間の位置とロボット１０１の位置の現在の距離が、予め定められた距離のマージン１００ｍｍ以下の場合は、ロボット１０１を停止する。また、第一の危険回避対応動作として、人間との接触を避けるため、Ｓ４００で予測された人間とロボット１０１が接触する可能性がある位置をロボット１０１が通過しないように、制御部２０１で生成されたロボット１０１の軌道データを、変更してもよい。人間がロボット１０１を認識していると推定された場合、安全性を保持した上、ロボットが作業を継続するように、第一の危険回避対応動作とは異なる、第二の危険回避対応動作を実行する。第二の危険回避対応動作とは、ロボット１０１の動作を変更する、または、Ｓ４００で予測する人間とロボット１０１が接触する可能性がある位置を求める際に用いる、人間の位置とロボット１０１の位置の距離のマージンを変更する、のうち少なくともいずれか一つ(どちらか一方、または、両方)を変更する制御を実行する。第二の危険回避対応動作の一つとして、例えば、接触予測に用いるロボット位置と人間の位置との距離のマージンである初期値１００ｍｍを２００ｍｍに変更し、かつ、ロボットの動作速度は接触予測前の速度２００ｍｍ／ｓｅｃと変えない、危険回避対応動作を実行する。別の第二の危険回避対応動作として、接触予測に用いるロボット位置と人間の位置との距離のマージンである初期値１００ｍｍは変えず、かつ、ロボットの動作速度は接触予測前の速度２００ｍｍ／ｓｅｃと第一の危険回避対応動作の減速速度５０ｍｍ／ｓｅｃとの中間の１００ｍｍ／ｓｅｃに変更してもよい。更に、接触予測に用いるロボット位置と人間の位置との距離のマージンである初期値１００ｍｍを５０ｍｍに変更し、かつ、ロボットの動作速度は接触予測前の速度２００ｍｍ／ｓｅｃから１００ｍｍ／ｓｅｃに減速してもよい。この場合も、人間とロボットの距離が予め定められた距離のマージン以下の場合は、ロボット１０１を停止する。
Give numerical examples for more detailed contents of the first danger avoidance response action when it is estimated that humans do not recognize and the second danger avoidance action when it is estimated that humans recognize it. explain. In the present embodiment, when it is estimated that a human is not recognizing the
以上述べたように、本実施形態では、Ｓ１００〜Ｓ５００でロボット１０１との接触可能性を予測し、更に、Ｓ７００〜Ｓ１０００でロボット１０１についての人間の認識状態の推定を行っている。つまり、本実施形態では、ロボット１０１と接触する可能性がある場合（Ｓ５００：Ｙｅｓ）に、ただちにロボット１０１に対して危険回避のための制御を行わない。ロボットと接触する可能性がある場合には、人間がロボット１０１を見ているかを推定し、危険回避のためどのような制御を行う（危険回避対応動作を取る）かの決定を行っている。このようにすることで、人間がロボット１０１を認識している場合は、認識していない場合の第一の危険回避対応動作とは異なる、第二の危険回避対応動作を行うという設定をすることができる。従って、ロボット１０１の停止や減速に起因するロボット１０１の作業停滞・遅延が減り、ロボット１０１の作業効率の低下が抑制される。その結果、ロボット１０１との接触を回避することができると共に、ロボット１０１の作業効率を向上することができる。
As described above, in this embodiment, the possibility of contact with the
実施形態１では、人間との共存環境下で運用できるロボットと、人間との接触を回避する制御をどのように行うかは、接触予測に加え、人間がロボットを見ている状態であるか否かに基づいて、判断（決定）される。換言すると、実施形態１では、ロボットと人間の接触を回避する制御をどのように行うかは、ロボットについての人間の認識状態に基づいて、判断される。
なお、図２の例では、Ｓ７００において、人間情報抽出部２０６が、人間の情報として、人間の視線の向きを抽出（検出）するとしたが、人間の情報として、人間の顔の向きを抽出してもよい。つまり、人間の情報は、人間の視線の向きではなく、人間の顔の向きであってもよい。その場合、例えば、人間の顔がロボット１０１側にあるならば人間がロボット１０１を認識していると推定（判定）する。そして、人間の顔がロボット１０１を背にしているならば、人間がロボット１０１を認識していない（見ていない）と推定する。
In the first embodiment, how to perform control for avoiding contact between a robot that can be operated in a coexistence environment with a human and a human is based on whether the human is looking at the robot in addition to the contact prediction. It is judged (determined) based on In other words, in the first embodiment, how to perform control to avoid contact between the robot and the human is determined based on the human recognition state of the robot.
In the example of FIG. 2, in S700, the human
また、上記した「人間」はロボット１０１を使用して作業をする作業者に限定されない。本実施形態では、画像情報取得部２０３で取得した画像に含まれている任意の人間（視覚センサ１０２の撮像カメラで撮像した画像に映っている人間）に対して、当該人間のための危険回避対応動作を行うことができる。従って、危険回避の対象となる人間は、ロボットを使用して作業をする作業者以外の人間（例えば、侵入者や部品補充者やメンテナンス者など）であってもよい。換言すると、上記した「人間」は、視覚センサ１０２によって撮像された全ての人間（一人ひとり）を意味する場合もある。本明細書の以下の説明においても、「人間」という用語はこの意味で用いられる。
さらに、本実施形態では、ロボット１０１の動作を変更した後に（Ｓ１１００）、人間が移動した場合、再度Ｓ５００の判断またはＳ１０００の判断を行う。そして、Ｓ５００で、ロボット１０１との接触の可能性がないと判断されれば、ロボット１０１の作業を元の速度で行うようにする。
Further, the above-mentioned “human” is not limited to a worker who works using the
Further, in the present embodiment, after the operation of the
（変形例）
図３は、実施形態１の変形例のロボットシステム１１０の構成を示す図である。この変形例の説明において、実施形態１と同様な構成要素には同じ参照符号を付け、当該構成要素の詳細な説明は省略する。
変形例のロボットシステム１１０は、ロボット１０１と、視覚センサ１０２と、ロボット制御装置１４とを備えている。変形例のロボット１０１と視覚センサ１０２は、実施形態１と同じである。変形例のロボットシステム１１０のロボット制御装置１４は、実施形態１のロボットシステム１００のロボット制御装置１０と異なっている。より詳しくは、実施形態１の危険回避対応動作決定部２０８が、変形例では危険回避対応動作決定部２３８になっている。また、実施形態１の認識状態推定部２０７が、変形例では認識状態推定部２３７になっている。
(Modification)
FIG. 3 is a diagram illustrating a configuration of a
The modified
さらに、実施形態１では、接触予測部２０５で予測された、人間とロボット１０１が接触する可能性がある位置（接触予測情報）が、認識状態推定部２０７に入力されているが、変形例では危険回避対応動作決定部２３８に入力されている。変形例の認識状態推定部２３７は、人間がロボット１０１を見ている状態なのかを推定（判定）する際、人間とロボット１０１が接触する可能性のある位置（接触予測情報）は用いない。
認識状態推定部２３７は、人間情報抽出部２０６で抽出した人間の顔の向きまたは視線の向きから、当該人間が予め設定した領域または方向を見ているかを判断する。そして、認識状態推定部２３７は、その判断結果に基づいて、人間がロボット１０１を見ている状態にあるのかを推定する。例えば、ロボット１０１が部品を位置Ｂに置いた後、人間が当該部品に他の部品を組み付ける場合、位置Ｂで人間とロボット１０１が接触する可能性がある。そこで、位置Ｂを含む位置Ｂの近傍の領域を予め設定しておき、当該領域が人間の視野範囲内にあるか否かで、人間がロボット１０１を見ているか否かを推定する。
Furthermore, in the first embodiment, the position (contact prediction information) predicted by the
The recognition
危険回避対応動作決定部２３８は、認識状態推定部２３７で推定した人間のロボット認識状態と、接触予測部２０５で予測した接触予測情報（人間とロボット１０１が接触する可能性がある位置）の有無とから、危険回避対応動作を決定する。人間がロボット１０１と接触する可能性のある位置を見ていなくて、かつ、接触予測情報がある場合、危険回避対応動作決定部２３８は、接触による危険を回避するため、例えば、ロボット１０１の動作を停止するという第一の危険回避動作を実行する決定を出す。人間がロボット１０１と接触する可能性のある位置を見ていて、かつ、接触予測情報がある場合は、この変形例では、ロボット１０１の動作は第二の危険回避動作を実行する。つまり、予め設定した領域であるロボット１０１と接触する可能性のある位置の方向を人間が見ているか否かと、人間とロボット１０１との接触の可能性の有無とから、どのような危険回避対応動作が必要であるかを判断する。
よって、この変形例においても、接触予測と作業者の認識状態とに基づいてどのような危険回避制御を行うかを決定している。このような危険回避対応動作の決定を行うことにより、ロボット１０１の停止や減速の回数が減少する。つまり、ロボット１０１の作業が滞る機会が減少する。したがって、ロボット１０１との接触を回避することができると共に、ロボット１０１の作業効率（生産性）を向上することができる。
The danger avoidance handling
Therefore, also in this modification, what kind of danger avoidance control is performed is determined based on the contact prediction and the worker's recognition state. By determining such a danger avoidance response operation, the number of times the
（実施形態２）
実施形態１では、ロボット１０１についての人間の認識状態は、人間がロボット１０１を見ているか否かで判断した。本発明は、このような態様に限定されない。例えば、ロボット１０１についての人間の認識状態は、人間がロボット１０１を見ていること以外のことも考慮してよい。実施形態２では、ロボット１０１と人間との接触回避のためどのような危険回避対応動作を行うかを判断する際の、ロボット１０１についての人間の認識状態は、人間がロボット１０１を見ていて、かつ、ロボット１０１を意識している状態にあるか否かで判断する。
(Embodiment 2)
In the first embodiment, the human recognition state of the
図４は、実施形態２のロボットシステム１２０の構成を示している。実施形態２の説明において、実施形態１と同様な構成要素には同じ参照符号を付け、当該構成要素の詳細な説明は省略する。実施形態２のロボットシステム１２０は、ロボット１０１と、視覚センサ１０２と、ロボット制御装置１１とを備えている。実施形態２のロボット１０１と視覚センサ１０２は、実施形態１と同じである。実施形態２のロボットシステム１２０のロボット制御装置１１は、実施形態１のロボットシステム１００のロボット制御装置１０と異なっている。より詳しくは、実施形態１の認識状態推定部２０７が、実施形態２では認識状態推定部２１７になっている。また、実施形態２では、制御部２０１が、認識状態推定部２１７に、ロボット１０１の軌道に関する情報（データ）を入力する。
FIG. 4 shows a configuration of the
実施形態２のロボット制御装置１１の認識状態推定部２１７は、人間がロボット１０１を見ている状態であって、かつ、ロボット１０１を意識している状態を、人間がロボット１０１を認識している状態と推定（判断）する。人間と接触する可能性があるロボット１０１の位置を人間が見ているか否かに加えて、人間がロボットを意識しているか否かを判定することで、さらに安全性を高めることが出来る。そこで、本実施形態では、人間がロボットを意識しているかについても推定を行う。本実施形態では、ロボット１０１と接触する可能性がある位置を、人間が目で追っているか否かで、ロボット１０１を意識しているか否かを推定する。
The recognition
図５は、実施形態２のロボット制御装置１１の処理の流れを示すフローチャートである。図５のフローチャート（実施形態２）と図２のフローチャート（実施形態１）を比較すると、図２のＳ８００、Ｓ９００およびＳ１０００が、図５ではＳ８１０、Ｓ９１０およびＳ１０１０になっている。それ以外のステップは、図２と図５において同じである。図５のＳ８１０、Ｓ９１０およびＳ１０１０は、ロボット１０１についての認識状態の推定にかかわるステップである。つまり、実施形態２は、ロボット１０１についての認識状態の推定に関する処理が実施形態１と異なる。
FIG. 5 is a flowchart illustrating a flow of processing of the
Ｓ１００〜Ｓ７００までは実施形態１と同じであるので説明を省略する。図５のフローチャートでは、Ｓ７００の後、Ｓ８１０に進む。
Ｓ８１０では、Ｓ７００で抽出した人間の視線の向きから、人間の視線の動きを算出する。実施形態１では、画像情報取得部２０３で取得した現在の画像から、現在の人間の情報（視線の向き）を抽出した。実施形態２では、現在の人間の情報だけでなく、過去に抽出した人間の情報（視線の向き）も利用することにより、視線の動きを算出する。例えば、視覚センサ１０２と画像情報取得部２０３により一定時間Δｔ毎に画像情報を取得していれば、時系列の視線の向きのデータが得られる。例えば、画像情報を取得した時刻をｔ、ｔ＋Δｔ、ｔ＋２・Δｔ、・・・とすると、時系列の視線の向きのデータは、時刻ｔにおけるデータ、時刻ｔ＋Δｔにおけるデータ、時刻ｔ＋２・Δｔにおけるデータ、・・・からなる。この時系列の視線の向きのデータから、人間の視線の動きを算出することができる。Ｓ８１０で視線の動きを算出したならば、Ｓ９１０に進む。
Since S100 to S700 are the same as those in the first embodiment, the description thereof is omitted. In the flowchart of FIG. 5, the process proceeds to S810 after S700.
In S810, the movement of the human line of sight is calculated from the direction of the human line of sight extracted in S700. In the first embodiment, the current human information (the direction of the line of sight) is extracted from the current image acquired by the image
Ｓ９１０では、Ｓ４００で予測した人間とロボット１０１が接触する可能性がある位置（ロボットの接触予測部分の位置）の動きを算出する。この動きはロボット１０１の動きと言えるので、図５のＳ９１０では「ロボットの動きを算出」すると記載してある。制御部２０１が保持しているロボット１０１の軌道のデータから、Ｓ４００で予測した人間とロボット１０１が接触する可能性がある位置のうち、時刻ｔ、ｔ＋Δｔ、ｔ＋２・Δｔ、・・・におけるロボット１０１の接触予測部分の位置を算出（抽出）する。
In S910, a motion of a position (position of the predicted contact portion of the robot) at which the human and the
Ｓ１０１０では、Ｓ８１０で取得した視線の動きが、Ｓ９１０で算出したロボット１０１の接触予測部分の位置の動き（ロボットの動き）に追従しているかを判定する。画像情報を取得した時刻ｔ、ｔ＋Δｔ、ｔ＋２・Δｔ、・・・において、人間の視線の向きの延長線上もしくは延長線付近に、ロボット１０１の接触する可能性がある部分の位置があれば、視線の動きが、ロボット１０１の動きに追従していると判定する（Ｓ１０１０：Ｙｅｓ）。人間の視線の動きがロボット１０１の動きに追従している場合、人間がロボット１０１を意識していると推定する。本実施形態では、Ｓ１０１０の判定がＹｅｓの状態が、人間がロボット１０１を見ていて、かつ、ロボット１０１を意識している状態である。
In S1010, it is determined whether the movement of the line of sight acquired in S810 follows the movement of the position of the predicted contact portion of the robot 101 (movement of the robot) calculated in S910. When the image information is acquired at times t, t + Δt, t + 2 · Δt,..., If there is a position of a portion where the
Ｓ１０１０の判定がＹｅｓの場合、Ｓ１２００に進む。Ｓ１２００の処理内容は実施形態１と同じである。人間の視線がロボット１０１の動きに追従しているので、実施形態１と同様に、第一の危険回避対応動作と異なる、ロボットの動作速度を変更する、または、人間の位置と、ロボット１０１の位置と、の距離のマージンの少なくともいずれか一つを変更する、第二の危険回避対応動作の制御を行う。Ｓ１２００の後、Ｓ１３００に進む。Ｓ１３００の処理内容も実施形態１と同じである。
Ｓ１０１０の判定がＮｏの場合、Ｓ１１００に進む。Ｓ１１００の処理内容も実施形態１と同じである。人間の視線がロボット１０１の動きに追従していないので、危険回避対応動作を取る必要があると判断されて、ロボットを止めたり遅くしたりといった動作の変更を行う制御を実行する。
When determination of S1010 is Yes, it progresses to S1200. The processing content of S1200 is the same as that of the first embodiment. Since the human line of sight follows the movement of the
If the determination in S1010 is No, the process proceeds to S1100. The processing content of S1100 is the same as that of the first embodiment. Since the human line of sight does not follow the movement of the
以上述べたように、実施形態２では、Ｓ１００〜Ｓ５００でロボット１０１との接触可能性を予測し、更に、Ｓ７００〜Ｓ１０１０でロボット１０１についての人間の認識状態の推定を行っている。本実施形態において、人間の認識状態の推定は、人間がロボット１０１を見ていて、かつ、ロボット１０１を意識しているかを推定することにより行う。本実施形態では、人間がロボット１０１を見ていても、ロボット１０１を意識していないと推定されれば、第一の危険回避対応動作を実行する。人間がロボット１０１を見ていて、かつ、ロボット１０１を意識していると推定されれば、第二の危険回避対応動作を実行する。
As described above, in the second embodiment, the possibility of contact with the
実施形態２では、人間がロボット１０１を見ていて、かつ、ロボット１０１を意識している状態を、人間がロボットを認識している状態と推定する。そして、ロボット１０１を意識していないと推定できる場合には、人間がロボットに接触する可能性があると判断し、第一の危険回避対応動作を実行する。よって、ロボット１０１を意識していない人間が、ロボット１０１に接触することを防止することができる。
In the second embodiment, a state where a human is watching the
また、実施形態１と同じように、実施形態２では、ロボット１０１と接触する可能性がある場合（Ｓ５００：Ｙｅｓ）であっても、ただちにロボット１０１に対して危険回避のための制御を行わない。ロボットと接触する可能性がある場合には、人間の視線がロボット１０１の動きに追従しているかを推定（判定）し、危険回避のためどのような制御を行うかの決定を行っている。このようにすることで、人間がロボット１０１を見ておりかつ意識している場合（人間がロボット１０１を認識している場合）は、意識していない場合の第一の危険回避対応動作とは異なる、第二の危険回避対応動作を行うという設定をすることができる。従って、ロボット１０１の停止や減速に起因するロボット１０１の作業停滞・遅延が減り、ロボット１０１の作業効率の低下が抑制される。よって、ロボット１０１との接触を回避することができると共に、ロボット１０１の作業効率（生産性）を向上することができる。
なお、図５の説明では、人間がロボット１０１を意識しているかどうかは、人間の視線の動きに基づいて判断したが、人間の顔の向きの動きに基づいて判断してもよい。
Further, as in the first embodiment, in the second embodiment, even when there is a possibility of contact with the robot 101 (S500: Yes), the
In the description of FIG. 5, whether or not a human is conscious of the
さらに、人間がロボットを認識しているか否かを推定する際、ロボットから人間に対し、人間が知覚可能な報知情報を発信し、その報知情報に応じた人間の反応を検出することで、人間が認識しているか否かを判定してもよい。報知情報は、色や輝度を変化させる光学的に報知を行うことのできる液晶表示装置やＬＥＤなどのデバイスで構成される。光学的な報知を行う以外に、音声的に報知を行うスピーカやブザーなどを利用してもよい。また、触覚など、人間の他の感覚器に刺激を与えることで報知を行ってもよい。 Furthermore, when estimating whether or not a human is recognizing the robot, the robot transmits human-perceivable notification information to the human and detects a human reaction according to the notification information. It may be determined whether or not is recognized. The notification information is configured by a device such as a liquid crystal display device or an LED that can optically change the color and brightness. In addition to optical notification, a speaker or buzzer that performs voice notification may be used. Moreover, you may alert | report by giving irritation | stimulation to other human sense organs, such as a tactile sense.
（その他の実施形態）
実施形態１では、ロボット１０１についての人間の認識状態は、人間がロボット１０１を見ている状態であるとした。また、実施形態２では、ロボットについての人間の認識状態は、人間がロボット１０１を見ていて、かつ、ロボット１０１を意識している状態であるとした。しかしながら、本発明における、ロボット１０１についての人間の認識状態は、上記した状態に限定されない。本発明における、ロボット１０１についての人間の認識状態は、人間がロボット１０１を認識しているか否かを推定（判断）できる状態であればどのようなものであってもよい。例えば、人間がロボット１０１を見ていなくても、人間に注意喚起がなされている状態（例えば、音、光、振動などにより人間にロボット１０１を意識させている状態）は、人間がロボット１０１について認識している状態であるとしてもよい。
(Other embodiments)
In the first embodiment, it is assumed that the human recognition state of the
実施形態１および実施形態２では、人間の情報は、人間の視線の向き、または、顔の向きであるとした。しかしながら、本発明における人間の情報は、上記したものに限定されない。本発明における人間の情報は、人間がロボット１０１を認識しているか否かを推定できるものであればどのようなものであってもよい。例えば、人間の情報は、人間の体の向き（見ている向き、上半身の向き）でもよいし、人間の体が前を向いているか後ろを向いているかでもよい。例えば、人間の体の前面が視覚センサ１０２により検出（撮像）できるなら、人間の体が前を向いているとする。また、人間の情報は、人間の姿勢でもよいし（例えば、しゃがんでいるか否か）、人間の顔の表情でもよいし、顔の表情の変化であってもよい。
In the first embodiment and the second embodiment, it is assumed that the human information is the direction of the human line of sight or the direction of the face. However, the human information in the present invention is not limited to the above. The human information in the present invention may be any information as long as it can be estimated whether or not the human recognizes the
１０…ロボット制御装置、１０１…ロボット、１０２…視覚センサ、２０１…制御部、２０２…ロボット位置取得部、２０３…画像情報取得部、２０４…人間位置検出部、２０５…接触予測部、２０６…人間情報抽出部、２０７…認識状態推定部、２０８…危険回避対応動作決定部
DESCRIPTION OF
Claims (14)
人間を含む画像から前記人間の位置を検出する検出手段と、
前記ロボットの位置と前記人間の位置とに基づいて、前記ロボットと前記人間との接触を予測する予測手段と、
前記画像から抽出される前記人間に関する所定の情報に基づいて、前記ロボットについての前記人間の認識状態を推定する推定手段と、
前記予測手段の予測結果と前記推定手段の推定結果とに基づいて、前記ロボットの動作を制御する制御手段と、
を備えることを特徴とするロボット制御装置。 Obtaining means for obtaining the position of the robot;
Detecting means for detecting the position of the person from an image including the person;
Predicting means for predicting contact between the robot and the human based on the position of the robot and the position of the human;
Estimation means for estimating the human recognition state of the robot based on predetermined information about the human extracted from the image;
Control means for controlling the operation of the robot based on the prediction result of the prediction means and the estimation result of the estimation means;
A robot control device comprising:
人間を含む画像から前記人間の位置を検出するステップと、
前記ロボットの位置と前記人間の位置とに基づいて、前記ロボットと前記人間との接触を予測する予測ステップと、
前記画像から抽出される前記人間に関する所定の情報に基づいて、前記ロボットについての前記人間の認識状態を推定する推定ステップと、
前記予測ステップの予測結果と前記推定ステップの推定結果とに基づいて、前記ロボットの動作を制御するステップと、
を有することを特徴とするロボット制御方法。 Obtaining the position of the robot;
Detecting the position of the person from an image including the person;
A predicting step for predicting contact between the robot and the human based on the position of the robot and the position of the human;
An estimation step for estimating the human recognition state of the robot based on predetermined information about the human extracted from the image;
Controlling the operation of the robot based on the prediction result of the prediction step and the estimation result of the estimation step;
A robot control method comprising:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015093839 | 2015-05-01 | ||
| JP2015093839 | 2015-05-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016209991A true JP2016209991A (en) | 2016-12-15 |
| JP6824622B2 JP6824622B2 (en) | 2021-02-03 |
Family
ID=57549226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016084451A Active JP6824622B2 (en) | 2015-05-01 | 2016-04-20 | Robot controls, control methods and systems |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6824622B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018158393A (en) * | 2017-03-22 | 2018-10-11 | 日本電気株式会社 | Safety control device, safety control method and program |
| WO2019035362A1 (en) * | 2017-08-18 | 2019-02-21 | 三菱電機株式会社 | Robot control device and robot system using same |
| JP2019141496A (en) * | 2018-02-23 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | Interaction device, interaction method, interaction program and robot |
| US10421187B2 (en) | 2017-01-26 | 2019-09-24 | Fanuc Corporation | Robot program modification device, robot control device, robot simulation device, and robot program modification method |
| JP2020006494A (en) * | 2018-07-12 | 2020-01-16 | ファナック株式会社 | robot |
| WO2020075526A1 (en) | 2018-10-12 | 2020-04-16 | ソニー株式会社 | Food preparation system, method for controlling food preparation system, and program |
| JP2020189367A (en) * | 2019-05-22 | 2020-11-26 | セイコーエプソン株式会社 | Robot system |
| US11254005B2 (en) | 2018-10-12 | 2022-02-22 | Fanuc Corporation | Robot control device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007181888A (en) * | 2006-01-05 | 2007-07-19 | Advanced Telecommunication Research Institute International | Communication robot system |
| JP2008137127A (en) * | 2006-12-04 | 2008-06-19 | Matsushita Electric Ind Co Ltd | Robot control method |
| WO2011089885A1 (en) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | Danger presentation device, danger presentation system, danger presentation method, and program |
| WO2012039280A1 (en) * | 2010-09-21 | 2012-03-29 | トヨタ自動車株式会社 | Mobile body |
| WO2014008929A1 (en) * | 2012-07-10 | 2014-01-16 | Siemens Aktiengesellschaft | Robot arrangement and method for controlling a robot |
-
2016
- 2016-04-20 JP JP2016084451A patent/JP6824622B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007181888A (en) * | 2006-01-05 | 2007-07-19 | Advanced Telecommunication Research Institute International | Communication robot system |
| JP2008137127A (en) * | 2006-12-04 | 2008-06-19 | Matsushita Electric Ind Co Ltd | Robot control method |
| WO2011089885A1 (en) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | Danger presentation device, danger presentation system, danger presentation method, and program |
| JPWO2011089885A1 (en) * | 2010-01-25 | 2013-05-23 | パナソニック株式会社 | Danger presentation device, danger presentation system, danger presentation method and program |
| WO2012039280A1 (en) * | 2010-09-21 | 2012-03-29 | トヨタ自動車株式会社 | Mobile body |
| WO2014008929A1 (en) * | 2012-07-10 | 2014-01-16 | Siemens Aktiengesellschaft | Robot arrangement and method for controlling a robot |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10421187B2 (en) | 2017-01-26 | 2019-09-24 | Fanuc Corporation | Robot program modification device, robot control device, robot simulation device, and robot program modification method |
| JP7052203B2 (en) | 2017-03-22 | 2022-04-12 | 日本電気株式会社 | Safety control devices, safety control methods and programs |
| JP2018158393A (en) * | 2017-03-22 | 2018-10-11 | 日本電気株式会社 | Safety control device, safety control method and program |
| WO2019035362A1 (en) * | 2017-08-18 | 2019-02-21 | 三菱電機株式会社 | Robot control device and robot system using same |
| JPWO2019035362A1 (en) * | 2017-08-18 | 2019-11-07 | 三菱電機株式会社 | Robot control device and robot system using the same |
| JP2019206080A (en) * | 2017-08-18 | 2019-12-05 | 三菱電機株式会社 | Robot control device, and robot system using the same |
| JP2019141496A (en) * | 2018-02-23 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | Interaction device, interaction method, interaction program and robot |
| JP7109207B2 (en) | 2018-02-23 | 2022-07-29 | パナソニックホールディングス株式会社 | Interaction device, interaction method, interaction program and robot |
| JP2020006494A (en) * | 2018-07-12 | 2020-01-16 | ファナック株式会社 | robot |
| US11130241B2 (en) | 2018-07-12 | 2021-09-28 | Fanuc Corporation | Robot |
| DE102019210012B4 (en) | 2018-07-12 | 2022-06-09 | Fanuc Corporation | robot |
| DE102019210012A1 (en) | 2018-07-12 | 2020-01-16 | Fanuc Corporation | robot |
| US11254005B2 (en) | 2018-10-12 | 2022-02-22 | Fanuc Corporation | Robot control device |
| WO2020075526A1 (en) | 2018-10-12 | 2020-04-16 | ソニー株式会社 | Food preparation system, method for controlling food preparation system, and program |
| JP2020189367A (en) * | 2019-05-22 | 2020-11-26 | セイコーエプソン株式会社 | Robot system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6824622B2 (en) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6824622B2 (en) | Robot controls, control methods and systems | |
| US10379513B2 (en) | Monitoring system, monitoring device, and monitoring method | |
| EP3715065B1 (en) | Controlling a robot in the presence of a moving object | |
| US8816874B2 (en) | Danger presentation device, danger presentation system, danger presentation method and program | |
| US9122266B2 (en) | Camera-based monitoring of machines with mobile machine elements for collision prevention | |
| US10732643B2 (en) | Control system, moving object, and control apparatus | |
| US11148299B2 (en) | Teaching apparatus and teaching method for robots | |
| US10712566B2 (en) | Information displaying system provided with head-mounted type display | |
| US9905016B2 (en) | Robot identification system | |
| Chance et al. | An assistive robot to support dressing-strategies for planning and error handling | |
| JP2005250990A (en) | Operation support apparatus | |
| KR101615687B1 (en) | Collision detection robot remote control system and method thereof | |
| JP2017061026A (en) | Robot control device, robot control method, robot system and computer program | |
| JP7036399B2 (en) | Autonomous mobile robots, their control devices and motion control programs | |
| US20220176560A1 (en) | Control system, control method, and control unit | |
| JP2021065971A (en) | Robot teaching system, image forming method and program | |
| JP2018158393A (en) | Safety control device, safety control method and program | |
| CN111565898B (en) | Operation guidance system | |
| JP6885909B2 (en) | Robot control device | |
| US11691237B2 (en) | Machine control device | |
| RU2685996C1 (en) | Method and system for predictive avoidance of manipulator collision with human being | |
| Vogel et al. | A projection-based sensor system for ensuring safety while grasping and transporting objects by an industrial robot | |
| Budiharto | Multiple moving obstacles avoidance for humanoid service robot using stereo vision and Bayesian approach | |
| US11698434B2 (en) | Machine control device | |
| KR20150050224A (en) | Apparatus and methdo for abnormal wandering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210113 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6824622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |