JP2022084501A - 画像分割及び表面筋電図に基づくロボットの教示システム及び方法 - Google Patents

画像分割及び表面筋電図に基づくロボットの教示システム及び方法 Download PDF

Info

Publication number
JP2022084501A
JP2022084501A JP2021007163A JP2021007163A JP2022084501A JP 2022084501 A JP2022084501 A JP 2022084501A JP 2021007163 A JP2021007163 A JP 2021007163A JP 2021007163 A JP2021007163 A JP 2021007163A JP 2022084501 A JP2022084501 A JP 2022084501A
Authority
JP
Japan
Prior art keywords
robot
joint
joint arm
human body
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021007163A
Other languages
English (en)
Other versions
JP7067816B1 (ja
Inventor
潘勇
Yong Pan
陳成軍
Chengjun Chen
李東年
Dongnian Li
趙正旭
Zhengxu Zhao
洪軍
Jun Hong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Application granted granted Critical
Publication of JP7067816B1 publication Critical patent/JP7067816B1/ja
Publication of JP2022084501A publication Critical patent/JP2022084501A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Automation & Control Theory (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

【課題】画像分割及び表面筋電図に基づくロボットの教示システムを提供する。【解決手段】ロボットの教示システムであって、それはＲＧＢーＤカメラ１と、表面筋電図センサー２と、ロボット３とコンピューター４を備え、ＲＧＢーＤカメラにより、ロボットの教示シーンのビデオを採集してコンピューターに送信し、表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、コンピューターは人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。【選択図】図１

Description

本発明は画像分割及び表面筋電図に基づくロボットの教示システム及び方法に関し、ロボットと知的生産分野に属する。
伝統的な産業用ロボット本体（以下、ロボットを略称する）の教示システムに、ティーチペンダントやドラッグ教示と2つの方法を採用している。その中で、ドラッグ教示する場合、通常、ロボットの終端に、一つの6軸力覚センサが設置されることで、ロボットの教示中の軌跡情報を取得するだけでなく、プレゼンテーション中の相反矯正力情報も取得することができる。この方法を使う場合、ロボット教示を比較的に実現しやすいが、終端力の検出方式に基づく力制御の応答が遅い一方、6軸力覚センサの価格が高くて、実行コストが高い。また、もう一つの既存方案がある。ロボットの関節において、レデューサーの出力端に、トルクセンサとデュアルエンコーダを配置することで、フレキシブル関節又は弾性アクチュエータに形成する。このような方法により、動力学に基づく位置制御を行うことで力制御を実現できるが、関節にトルクセンサなどが配置されるため、関節の構造が複雑になり、関節の駆動チェーンの剛性が低下するという課題がある。
上記課題を解決するために、本発明は、画像分割及び表面筋電図に基づくロボットの教示システムを提供する。深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサーにより人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。
以上の目的を実現するために、本発明の使用する技術的な解決方案一は以下の通りである。画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記RGB－Dカメラと、表面筋電図センサーとロボットは何れも前記コンピューターと通信接続され、前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーは教示者の前腕に身につけられ、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューターは人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
好ましくは、前記コンピューターに、ロボットの関節アーム分割モジュールと、人体の関節分割モジュールと、距離検出モジュールが実行され、前記ロボットの関節アーム分割モジュールは、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記する。前記人体の関節分割モジュールは、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。前記距離検出モジュールは、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
好ましくは、前記コンピューターに、表面筋電図検出モジュールとロボットの通信制御モジュールが実行され、前記表面筋電図検出モジュールは、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信する。前記ロボットの通信制御モジュールは、表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録する。前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
好ましくは、前記距離検出モジュールは、具体的に以下のステップを実行する。S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像、及び人体の関節分割モジュールに分割された人体の各関節の距離画像を点群へ変換する。S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
好ましくは、前記コンピューターに、拡張現実検証モジュールが実行され、それは仮想ロボットモデルと、拡張現実表示モジュールと、ARカードを備え、具体的なプロセスは以下の通りである。S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成する。S62、ロボットの運動を制御し、ロボットのエンドエフェクタを順次にARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
本発明は、また画像分割及び表面筋電図に基づくロボットの教示方法を提供する。
本発明の使用する技術的な解決方案二は以下の通りである。画像分割及び表面筋電図に基づくロボットの教示方法であって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記表面筋電図センサーは教示者の前腕に身につけられ、この方法は次のステップを実行する。前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターは次のステップを実行する。S1、前記ビデオ情報からロボットの関節アームを識別する。S2、前記ビデオ情報から人体の関節を識別する。S3、人体の関節とロボットの関節アームの接触部位を検出する。S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算する。S5、信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
好ましくは、前記ステップS1からS3までは具体的には以下の通りである。S1、トレーニングできた深層学習の画像分割ネットワークを介して前記ビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記する。S2、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。S3、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
好ましくは、前記ステップS4とS5は具体的には以下の通りである。S4、コンピューターは信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信する。S5、前記ロボットの通信制御モジュールは表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
好ましくは、前記ステップS3は具体的には以下の通りである。S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュールに分割された人体の各関節の距離画像をそれぞれ点群へ変換する。S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
好ましくは、前記コンピューターは、拡張現実表示ステップS 6を実行して、教示パスに対して検証を行う。前記ステップS6は具体的には以下の通りである。S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成する。S62、ロボットの運動を制御し、ロボットのエンドエフェクタをARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
従来の技術と比べて、本発明の有益な効果は以下の通りである。本発明は、画像分割及び表面筋電図に基づくロボットの教示システムに関し、深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサーにより人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。本発明の教示システムは、全体の仕組みが簡単であり、簡単に配置できる他、コストも低い。また、教示方法は簡単で操作しやすく、力に対する検出応答速度が速く、ロボットを正確に制御して教示動作を行うことができる。
本発明の教示システムの構造を示す図である。 本発明の教示フローチャートである。 本発明の衝突検出モジュールのフローチャートである。 本発明の表面筋電図検出モジュールのフローチャートである。
本発明をよりよく理解するために、これから図面と具体的な実施形態をもって、本発明について具体的に説明する。
（実施形態1）
図1と図2に示すように、画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラ1と、表面筋電図センサー2と、ロボット3とコンピューター4を備え、前記RGB－Dカメラ1と、表面筋電図センサー2（例えばマルチジェスチャーバンド等の装置）とロボット3は何れも前記コンピューター4と通信接続され、前記RGB－Dカメラ1により、前記ロボット3の教示シーンのビデオを採集して前記コンピューター4に送信し、コンピューター４は前記ビデオ情報からロボット３の作業シーンのカラー画像と深層画像を取得する。前記表面筋電図センサー2は教示者の前腕に身につけられ、前記表面筋電図センサー2により、人体の表面筋電図や、慣性力の加速度信号を採集してコンピューター4に送信し、前記コンピューター4により、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューター4は人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
説明すべきなのは、本実施形態において、前記ロボットは、即ち産業用ロボット本体は、通常ロボットベースと、ロボットベースと接続しているロボット機械アームと、ロボット機械アームと接続しているエンドエフェクタと、を備える。前記ロボット機械アームは多くの関節アームから接続して構成される。前記エンドエフェクタは、ロボット機械アームに接続されて、また、ある機能を持つツールのことを指し、例えば、溶接ガンや掴み具等。図１に示すように、図に示すエンドエフェクタは掴み具となる。
図2に示すように、前記コンピューター4に、ロボットの関節アーム分割モジュール4-1と、人体の関節分割モジュール4-2と、距離検出モジュール4-3と、表面筋電図検出モジュール4-4と、ロボットの通信制御モジュール4-5が実行される。
前記ロボットの関節アーム分割モジュール4-1は、FCNN、U-Net、DeepLab、Mask R-CNNのようなトレーニングできた深層学習の画像分割ネットワークを介して前記ビデオ情報（主は距離画像）を画像分割し、リアルタイムにロボットの各関節アームを識別し、また、ロボットの各関節アームのタイプも検出し、前記ロボットの関節アームのタイプとは、ロボットの関節アームが何番目の関節アームであるかと、この関節で、ロボットはどの方向に回転するかという2つの属性を含む。続いて、ビデオ画像に異なる関節アームを異なる色に標記する。具体的には、前記ロボットの関節アーム分割モジュール4-1は、トレーニングデータの合成と、深層学習ネットワークモデルのトレーニングと、深層学習ネットワークのリアルタイム分割という三つのステップに分けられ、具体的に以下の通り実行する。
まずは、ロボットモデルのトレーニングデータを作成する。前記トレーニングデータは、仮想ロボットモデルのトレーニングデータと、真実ロボットのトレーニングデータを備える。前記仮想ロボットモデルのトレーニングデータとは、コンピューター4に基づいてモデル化して、レンダリングにより、複数の監視角度において、且つロボット3の異なる位置姿勢におけるロボットの距離画像データセット、及び距離画像に対応する画像ラベルセットを指す。前記コンピューター4におけるモデル化するのは、SOLIDWORKS等の3次元CADソフトウェアを使って仮想ロボットの3次元モデルを作成することである。前記画像ラベルセットとは、異なる色によりレンダリングをしたロボットモデルの異なる関節アームのことを指す。前記監視角度とは、深度カメラと監視されるロボット3間の角度のことを指し、ロボットモデルは設定範囲内に運動して、複数の監視角度に形成する。前記真実ロボットのトレーニングデータとは、RGB-Dカメラ1を使ってロボット3の距離画像を撮影し、距離画像に対してノイズ除去処理を行った後、labelmeのような画像アノテーションツールを使って、ノイズ除去処理された後のロボットの距離画像における各関節を異なる色にて標記することで、真実ロボットの距離画像データセットと画像ラベルセットを得る。
次は、ロボットの関節アーム分割モデルをトレーニングする。前記仮想トレーニングデータと真実トレーニングデータをFCNN、U-Net、DeepLab、Mask R-CNNのような画像分割の深層学習ネットワークモデルに送信してトレーニングを行う。画像分割の深層学習ネットワークモデルは、画像ラベルセットに標記されているロボットの関節アームのピクセル情報に基づいて、当該標記されている関節アームの様子や輪郭を学習し、深層学習ネットワークのトレーニングパラメータを取得する。
最後は、リアルタイム検出を行う。ロボット3の作業現場で、RGB-Dカメラ1を設置してロボット3の作業シーン画像を撮影し、画像をトレーニングできた画像分割モデルに送信してロボットの関節アームを分割し、ロボット3の異なる関節アームを認識してから作業シーン画像に異なる色にて標記する。
前記人体の関節分割モジュール4-2は、いつくかの方法により、ビデオ情報に人体の骨格ノードを識別することが可能であり、例えば、KinectカメラやRGB-Dカメラ1に提供された距離画像を利用して、特徴抽出やランダムフォレスト、深層学習等を使って、人体の関節及びその所属部位（例えば手関節、頭関節等）を識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。
前記距離検出モジュール4-3は、ビデオ情報における距離画像を介して、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボット3のどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
図3に示すように、本実施形態において、前記距離検出モジュール4-3は、ロボットの関節アーム分割モジュール4-1と人体の関節分割モジュール4-2に分割された各箇所の関節情報に基づいて、それを部位別のラベルが付いている点群に変換して衝突検出を行い、衝突が発生した場合、ロボット3の運転モードに応じて、表面筋電図検出モジュール4?4又はロボットの通信制御モジュール4?5に異なる情報を送信する。具体的に以下のステップを実行する。S31、前記ロボットの関節アーム分割モジュール4-1に分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュール4-2に分割された人体の各関節の距離画像をそれぞれ点群へ変換する。S32、ロボット3の異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュール4-4に信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュール4-5に衝突信号を出すことで、ロボット3の運行を停止させるようになる。
前記表面筋電図検出モジュール4-4は、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュール4-5に送信する。
図4に示すように、前記表面筋電図検出モジュール4-4は、人体の表面筋電図と慣性力の加速度信号を採集してから、その表面筋電図、慣性力の加速度信号を処理した後、特性値を抽出して、深層学習ネットワークに入力してトレーニングを行い、その後、トレーニングできた深層学習ネットワークにより表面筋電図に対して識別、分析することで、圧力の大きさ及び圧力の方向を識別する。具体的な実行ステップは以下の通りである。S41、人体の表面筋電図と慣性力の加速度信号を採集し、事前処理を行い、例えば、フーリエ変換にて元採集時の時間領域を周波数領域に変換してから、デジタルフィルタを行って特性値を抽出する。S42、表面筋電図データセットと慣性力の加速度信号データセットを作成する。人からロボットの関節アームへの圧力に基づいて、動作に対応する表面筋電図や、慣性力の加速度信号を採集し、S41の事前処理に抽出された特性値に基づいて、データセットを作成し、対応なレベルも設置し、本発明では、人体座標系などの角度で人体の圧力方向のデータラベルを設定する。S43、作成したデータセットを深層学習ネットワークモデルに送信してトレーニングを行い、例えば、CNN、RNN、転移学習等の深層学習方案を行う。S44、オンラインで圧力の大きさ及び方向をリアルタイム識別する。深さ学習モデルのトレーニングが終わったら、S41で処理したデータを使って、オンラインで人体の表面筋電図や、圧力の大きさ及び方向をリアルタイム識別し、また、圧力の方向を人体座標系からロボット座標系に変換する。S45、圧力の大きさが設定最小閾値に達しているかどうかを判断し、圧力の大きさが設定最小閾値を超えているかどうかに基づいて、人体とロボット関節アームが接触しているかどうかを判断し、圧力の大きさ、方向、ロボット関節アームのタイプをロボットの通信制御モジュール4-5に送信する。
前記ロボットの通信制御モジュール4-5は、表面筋電図検出モジュール4-4から送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボット3 の運動パラメータを記録する。前記ロボットの通信制御モジュール4-5は、衝突信号を受けた後ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。
前記ロボットの通信制御モジュール4-5の実行ステップは以下の通りである。S51、ロボット3の運転モードを設定し、本実施形態では、ロボット3の運転モードを教示モードと作業モードに分けられる。S52、教示モータの下で、表面筋電図検出モジュール4-4から送信した圧力の大きさ、方向、ロボット関節アームのタイプを受けて、ロボットの関節アームの運動を制御し、圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御する。S53、作業モードの下で、 ロボットの通信制御モジュール4-5は、距離検出モジュール4-3から送信した衝突信号を受けた後、ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。S54、教示中のロボット3 の運動パラメータを記録する。
本実施形態において、前記コンピューター4に、拡張現実検証モジュール4-6が実行され、それは仮想ロボットモデルと、拡張現実表示モジュールと、ARカード5を備え、具体的なプロセスは以下の通りである。S61、ロボット3のパラメータを使って仮想ロボットの三次元モデルを作成し、拡張現実検証モジュール4-6により仮想ロボットモデルをロ-ド、識別して、またその運動を制御できるために、各関節アームの運動関係に基づいて、仮想ロボット関節の自由度（自由度は即ちDOFのこと）ノードを加えて、また木構造を作成し、モーションプランニングモジュールの運動パラメータを利用して、仮想ロボットの運動学モデルを作成する。S62、コンピューターによりロボットの運動を制御し、エンドエフェクタを順次にARカード5の4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカード5のコーナーポイントがロボット座標系における座標を取得し、前記ARカード5の4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボット3と重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュール4-5が教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
本発明は、画像分割及び表面筋電図に基づくロボットの教示システムに関し、深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサー2により人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。本発明の教示システムは、全体の仕組みが簡単であり、簡単に配置できる他、コストも低い。また、教示方法は簡単で操作しやすく、力に対する検出応答速度が速く、ロボット3を正確に制御して教示動作を行うことができる。
（実施形態2）
図1と図2に示すように、画像分割及び表面筋電図に基づくロボット3の教示方法であって、それはRGB－Dカメラ1と、表面筋電図センサー2と、ロボット3とコンピューター4を備え、前記RGB－Dカメラ1と、表面筋電図センサー2（例えばマルチジェスチャーバンド等の装置は教示者の前腕に身につけられ、前記RGB－Dカメラ1により、前記ロボット3の教示シーンのビデオを採集して前記コンピューター4に送信し、コンピューター4は、前記ビデオ情報からロボット3の教示シーンのカラー画像と距離画像を取得する。前記表面筋電図センサー2により、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューター4に送信し、前記コンピューター4は次のステップを実行する。S1、前記ビデオ情報からロボットの関節アームを識別する。S2、前記ビデオ情報から人体の関節を識別する。S3、人体の関節とロボットの関節アームの接触部位を検出する。S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算する。S5、コンピューター4から信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
説明すべきなのは、本実施形態において、前記ロボットは、即ち産業用ロボット本体は、通常ロボットベースと、ロボットベースと接続しているロボット機械アームと、ロボット機械アームと接続しているエンドエフェクタと、を備える。前記ロボット機械アームは多くの関節アームから接続して構成される。前記エンドエフェクタは、ロボット機械アームに接続されて、また、ある機能を持つツールのことを指し、例えば、溶接ガンや掴み具等。図１に示すように、図に示すエンドエフェクタは掴み具となる。
図2に示すように、前記ステップS1からS3までは具体的には以下の通りである。S1、FCNN、U-Net、DeepLab、Mask R-CNNのようなトレーニングできた深層学習の画像分割ネットワークを介してビデオ情報（主は距離画像）を画像分割し、ロボット3の各関節アーム及びそのタイプを識別し、前記ロボットの関節アームのタイプとは、ロボットの関節アームが何番目の関節アームであるかと、この関節で、ロボットはどの方向に回転するかという2つの属性を含む。続いて、ビデオ画像に異なる関節アームを異なる色に標記する。具体的は、前記深層学習の画像分割ネットワークを以下の通りトレーニングを行う。まずは、ロボットモデルのトレーニングデータを作成する。前記トレーニングデータは、仮想ロボットモデルのトレーニングデータと、真実ロボットのトレーニングデータを備える。前記仮想ロボットモデルのトレーニングデータとは、コンピューター4に基づいてモデル化して、レンダリングにより、複数の監視角度において、且つロボット3の異なる位置姿勢におけるロボットの距離画像データセット、及び距離画像に対応する画像ラベルセットを生成する。前記コンピュータ4におけるモデル化するのは、SOLIDWORKS等の3次元CADソフトウェアを使って仮想ロボットの3次元モデルを作成することである。前記画像ラベルセットとは、異なる色によりレンダリングをしたロボットモデルの異なる関節アームのことを指す。前記監視角度とは、深度カメラと監視されるロボット3間の角度のことを指し、ロボットモデルは設定範囲内に運動して、複数の監視角度に形成する。前記真実ロボットのトレーニングデータとは、RGB-Dカメラ1を使ってロボット3の距離画像を撮影し、距離画像に対してノイズ除去処理を行った後、labelmeのような画像アノテーションツールを使って、ノイズ除去処理された後のロボットの距離画像における各関節を異なる色にて標記することで、真実ロボットの距離画像データセットと画像ラベルセットを得る。次は、前記仮想トレーニングデータと真実トレーニングデータをFCNN、U-Net、DeepLab、Mask R-CNNのような画像分割の深層学習ネットワークモデルに送信してトレーニングを行う。画像分割の深層学習ネットワークモデルは、画像ラベルセットに標記されているロボットの関節アームのピクセル情報に基づいて、当該標記されている関節アームの様子や輪郭を学習し、深層学習ネットワークのトレーニングパラメータを取得する。最後は、ロボット3の作業現場で、RGB-Dカメラ1を設置してロボット3の作業シーン画像を撮影し、画像をトレーニングできた画像分割モデルに送信してロボットの関節アームを分割し、ロボット3の異なる関節アームを認識してから作業シーン画像に異なる色にて標記する。S2、前記ビデオ情報における人体の骨格ノードを識別して、骨格ノードに対して分割、標記して、また、各骨格ノードの座標情報を計算する。具体的は、いつくかの方法により、ビデオ情報に人体の骨格ノードを識別することが可能であり、例えば、KinectカメラやRGB-Dカメラ1に提供された距離画像を利用して、特徴抽出やランダムフォレスト、深層学習等を使って、人体の関節及びその所属部位（例えば手関節、頭関節等）を識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。S3、ビデオ情報における距離画像を介して、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボット3のどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
図3に示すように、前記ステップS3は以下の実施形態を採用することができる。分割されたロボットの関節アームと人体の各関節情報に基づいて、それを部位別のラベルが付いている点群に変換して衝突検出を行い、衝突が発生した場合、ロボット3の運転モードに応じて、表面筋電図検出モジュール4?4又はロボットの通信制御モジュール4?5に異なる情報を送信する。具体的に以下のステップを実行する。S31、分割されたロボットの各関節アームの距離画像と、分割された人体の各関節の距離画像をそれぞれ点群へ変換する。S32、ロボット3の異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュール4-4に信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュール4-5に衝突信号を出すことで、ロボット3の運行を停止させるようになる。
前記ステップS4とステップS5は以具体的には以下の通りである。図4に示すように、コンピューター4が信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュール4-5に送信する。具体的は、コンピューター4は、表面筋電図、慣性力の加速度信号を処理した後、特性値を抽出して、深層学習ネットワークに入力してトレーニングを行い、その後、トレーニングできた深層学習ネットワークにより表面筋電図に対して識別、分析することで、圧力の大きさ及び圧力の方向を識別する。具体的な実行ステップは以下の通りである。S41、人体の表面筋電図と慣性力の加速度信号を採集し、事前処理を行い、例えば、フーリエ変換にて元採集の時の時間領域を周波数領域に変換してから、デジタルフィルタを行って特性値を抽出する。S42、表面筋電図データセットと慣性力の加速度信号データセットを作成する。人がロボットの関節アームへの圧力に基づいて、動作に対応する表面筋電図や、慣性力の加速度信号を採集し、S41の事前処理に抽出された特性値に基づいて、データセットを作成し、対応なレベルも設置し、本発明では、人体座標系などの角度で人体の圧力方向のデータラベルを設定する。S43、作成したデータセットを深層学習ネットワークモデルに送信してトレーニングを行い、例えば、CNN、RNN、転移学習等の深層学習方案を行う。S44、オンラインで圧力の大きさ及び方向をリアルタイム識別する。深さ学習モデルのトレーニングが終わったら、S41で処理したデータを使って、オンラインで人体の表面筋電図や、圧力の大きさ及び方向をリアルタイム識別し、また、圧力の方向を人体座標系からロボット座標系に変換する。S45、圧力の大きさが設定最小閾値に達しているかどうかを判断し、圧力の大きさが設定最小閾値を超えているかどうかに基づいて、人体とロボット関節アームが接触しているかどうかを判断し、圧力の大きさ、方向、ロボット関節アームのタイプをロボットの通信制御モジュール4-5に送信する。
前記ステップS5について、前記ロボットの通信制御モジュール4-5は、表面筋電図検出モジュール4-4から送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボット3 の運動パラメータを記録する。前記ロボットの通信制御モジュール4-5は、衝突信号を受けた後ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。具体的な実行ステップは以下の通りである。S51、ロボット3の運転モードを設定し、本実施形態では、ロボット3の運転モードを教示モードと作業モードに分けられる。S52、教示モータの下で、表面筋電図検出モジュール4-4から送信した圧力の大きさ、方向、ロボット関節アームのタイプを受けて、ロボットの関節アームの運動を制御し、圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御する。S53、作業モードの下で、 ロボットの通信制御モジュール4-5は、距離検出モジュール4-3から送信した衝突信号を受けた後、ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。S54、教示中のロボット3 の運動パラメータを記録する。
本実施形態において、拡張現実検証モジュールを介して教示パスに対して検証を行うステップS6がある。具体的は以下の通りである。S61、ロボット3のパラメータを使って仮想ロボットの三次元モデルを作成し、拡張現実検証モジュール4-6により仮想ロボットモデルをロ-ド、識別して、またその運動を制御できるために、各関節アームの運動関係に基づいて、仮想ロボット関節の自由度（自由度は即ちDOFのこと）ノードを加えて、また木構造を作成し、モーションプランニングモジュールの運動パラメータを利用して、仮想ロボットの運動学モデルを作成する。S62、コンピューターによりロボットの運動を制御し、エンドエフェクタを順次にARカード5の4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカード5のコーナーポイントがロボット座標系における座標を取得し、前記ARカード5の4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボット3と重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュール4-5が教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
本発明は、画像分割及び表面筋電図に基づくロボットの教示方法に関し、深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサー2により人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。本発明の教示システムは、全体の仕組みが簡単であり、簡単に配置できる他、コストも低い。また、教示方法は簡単で操作しやすく、力に対する検出応答速度が速く、ロボット3を正確に制御して教示動作を行うことができる。
上記の実例の説明は本技術分野の当業者が本発明の技術理念及びその特徴に対する理解及び実施することに手伝うだけに用いられる。それによって、本発明の保護範囲を制限してはいけない。本発明の原理から逸脱しない前提において、実施した改善又は修正は、いずれも本発明の保護範囲とみなすべきである。

Claims (10)

  1. 画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記RGB－Dカメラと、表面筋電図センサーとロボットは何れも前記コンピューターと通信接続され、前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーは教示者の前腕に身につけられ、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューターは人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現することを特徴とする画像分割及び表面筋電図に基づくロボットの教示システム。
  2. 前記コンピューターに、ロボットの関節アーム分割モジュールと、人体の関節分割モジュールと、距離検出モジュールが実行され、
    前記ロボットの関節アーム分割モジュールは、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記し、
    前記人体の関節分割モジュールは、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算し、
    前記距離検出モジュールは、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出して、前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出して、そうでなければ、警戒信号を出し、作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出すことを特徴とする請求項１に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
  3. 前記コンピューターに、表面筋電図検出モジュールとロボットの通信制御モジュールが実行され、
    前記表面筋電図検出モジュールは、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信し、
    前記ロボットの通信制御モジュールは、表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御することを特徴とする請求項２に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
  4. 前記距離検出モジュールは、具体的に以下のステップを実行することを特徴とする請求項３に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
    S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像を点群へ変換し、
    S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成し、
    S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進んで、
    S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出し、そうでなければ、警戒信号を出すし、作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
  5. 前記コンピューターに、拡張現実検証モジュールが実行され、それは仮想ロボットモデルと、拡張現実表示モジュールと、ARカードを備え、具体的なプロセスは以下の通りであることを特徴とする請求項３に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
    S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成し、
    S62、ロボットの運動を制御し、ロボットのエンドエフェクタを順次にARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせて、
    S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
  6. 画像分割及び表面筋電図に基づくロボットの教示方法であって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記表面筋電図センサーは教示者の前腕に身につけられ、この方法は次のステップを実行し、前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターは次のステップを実行することを特徴とする画像分割及び表面筋電図に基づくロボットの教示方法。
    S1、前記ビデオ情報からロボットの関節アームを識別し、
    S2、前記ビデオ情報から人体の関節を識別し、
    S3、人体の関節とロボットの関節アームの接触部位を検出し、
    S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算し、
    S5、コンピューターから信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
  7. 前記ステップS1からS3までは具体的に以下の通りであることを特徴とする請求項６に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
    S1、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記し、
    S2、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算し、
    S3、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出し、そうでなければ、警戒信号を出し、作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
  8. 前記ステップS4とS5は具体的に以下の通りであることを特徴とする請求項７に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
    S4、コンピューターは信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信し、
    S5、前記ロボットの通信制御モジュールは表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
  9. 前記ステップS3は具体的に以下の通りであることを特徴とする請求項８に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
    S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュールに分割された人体の各関節の距離画像をそれぞれ点群へ変換し、
    S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成し、
    S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進んで、
    S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出し、そうでなければ、警戒信号を出し、作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
  10. 前記コンピューターは、拡張現実表示ステップS6を実行して、教示パスに対して検証を行い、前記ステップS6は具体的に以下の通りであることを特徴とする請求項８に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
    S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成し、
    S62、ロボットの運動を制御し、ロボットのエンドエフェクタをARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができ、ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせて、
    S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
JP2021007163A 2020-11-26 2021-01-20 画像分割及び表面筋電図に基づくロボットの教示システム及び方法 Active JP7067816B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011348771.1 2020-11-26
CN202011348771.1A CN112454333B (zh) 2020-11-26 2020-11-26 基于图像分割及表面肌电信号的机器人示教系统及方法

Publications (2)

Publication Number Publication Date
JP7067816B1 JP7067816B1 (ja) 2022-05-16
JP2022084501A true JP2022084501A (ja) 2022-06-07

Family

ID=74808643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021007163A Active JP7067816B1 (ja) 2020-11-26 2021-01-20 画像分割及び表面筋電図に基づくロボットの教示システム及び方法

Country Status (3)

Country Link
US (1) US11504846B2 (ja)
JP (1) JP7067816B1 (ja)
CN (1) CN112454333B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
CN114800442B (zh) * 2022-03-22 2023-07-25 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN114782691B (zh) * 2022-04-20 2022-10-11 安徽工程大学 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN115178944B (zh) * 2022-08-04 2024-05-24 广东工业大学 一种安全强化学习的狭窄空间机器人作业规划方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202537A (ja) * 2014-04-14 2015-11-16 ファナック株式会社 力に応じて動かすロボットのロボット制御装置およびロボットシステム
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222920A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 位置教示装置及び位置教示方法
JP6497021B2 (ja) * 2014-10-01 2019-04-10 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
US10048851B2 (en) * 2015-03-19 2018-08-14 Denso Wave Incorporated Apparatus for operating robots
CN107717983A (zh) * 2017-08-21 2018-02-23 北京精密机电控制设备研究所 一种仿人机械臂示教控制方法
CN108340351B (zh) * 2018-01-31 2023-05-05 广东工业大学 一种机器人示教装置、方法及示教机器人
CN108127669A (zh) * 2018-02-08 2018-06-08 华南理工大学 一种基于动作融合的机器人示教系统及实施方法
EP4241661A1 (en) * 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
CN109397265B (zh) * 2018-11-13 2020-10-16 华中科技大学 一种基于动力学模型的关节型工业机器人拖拽示教方法
CN109676615B (zh) * 2019-01-18 2021-08-06 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
US20210122045A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation In-hand object pose tracking
CN110992777B (zh) * 2019-11-20 2020-10-16 华中科技大学 多模态融合的示教方法、装置、计算设备及存储介质
CN110815190B (zh) * 2019-11-20 2021-07-27 福州大学 一种工业机器人拖动示教方法及系统
CN111267073B (zh) * 2020-03-24 2022-11-15 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202537A (ja) * 2014-04-14 2015-11-16 ファナック株式会社 力に応じて動かすロボットのロボット制御装置およびロボットシステム
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN112454333B (zh) 2022-02-11
US11504846B2 (en) 2022-11-22
US20220161422A1 (en) 2022-05-26
JP7067816B1 (ja) 2022-05-16
CN112454333A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
JP7067816B1 (ja) 画像分割及び表面筋電図に基づくロボットの教示システム及び方法
CN110253570B (zh) 基于视觉的工业机械臂人机安全系统
US11813749B2 (en) Robot teaching by human demonstration
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
Li et al. Survey on mapping human hand motion to robotic hands for teleoperation
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
WO2008001793A1 (fr) Dispositif de robot et son procédé de commande
Zhang et al. A real-time upper-body robot imitation system
CN113829343A (zh) 基于环境感知的实时多任务多人人机交互系统
CN116985134A (zh) 一种基于机器人图像处理的伺服控制方法与系统
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
Takizawa et al. Learning from observation of tabletop knotting using a simple task model
CN111702787A (zh) 人机协作控制系统及控制方法
Wang et al. Design and implementation of humanoid robot behavior imitation system based on skeleton tracking
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
JP7249221B2 (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
TWI725630B (zh) 加工路徑生成裝置及其方法
Tsitos et al. Handling vision noise through robot motion control in a real-time teleoperation system
TWI831531B (zh) 利用機械手臂模擬人體姿態的方法及系統
CN117340914B (zh) 一种仿人机器人体感控制方法及控制系统
WO2023100282A1 (ja) データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム
US20230120598A1 (en) Robot program generation method from human demonstration
KR101378752B1 (ko) 전시용 로봇 및 그 제어 방법
TWM641347U (zh) 利用機械手臂模擬人體姿態的系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7067816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150