JP2020089944A - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP2020089944A JP2020089944A JP2018228386A JP2018228386A JP2020089944A JP 2020089944 A JP2020089944 A JP 2020089944A JP 2018228386 A JP2018228386 A JP 2018228386A JP 2018228386 A JP2018228386 A JP 2018228386A JP 2020089944 A JP2020089944 A JP 2020089944A
- Authority
- JP
- Japan
- Prior art keywords
- image
- robot
- robot system
- robot hand
- flexible body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
【課題】ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステムを提供すること。【解決手段】本発明によれば、ロボットシステムであって、ロボットハンドと、撮像装置と、情報処理装置とを備え、前記ロボットハンドは、空間座標における所定の範囲内を変位し、ヒトが把持している柔軟体を把持可能に構成され、前記撮像装置は、前記柔軟体と前記ヒトとを画像として撮像可能に構成され、前記情報処理装置は、前記画像に基づいて、前記柔軟体の位置と前記ヒトの位置とを認識し、前記ロボットハンドが、前記ヒトと非接触に且つ前記柔軟体を前記ヒトから受け取ることができるように、前記ロボットハンドの位置・姿勢を制御可能に構成される、ロボットシステムが提供される。【選択図】図1
Description
本発明は、ロボットシステムに関する。
産業界や医療業界では、ヒトに代わってロボットが用いられることがある。例えば、産業界では、ロボットを用いて搬送、ピックアップ等のタスクを実施することが行われている。特許文献1には剛体であるワークの搬送を行うワーク搬送システムが開示されている。
一方で、ロボットが不得意なタスクも存在し、このようなタスクが含まれるラインでは、ヒトの手によってなされることとなる。例えば、特許文献1に開示されるようなシステムでは、タオルやシーツ等の柔軟体の搬送ラインに使用することが難しいと考えられる。なぜなら、柔軟体は逐次その形状が変化し、また無地のものが多いため、ロボットがその特徴と捉えにくいからである。さらにロボットが苦手なタスクだけをヒトの手によって行い、それ以外のタスクをロボットによって行うことも考えられるが、ロボットとヒトとが近接して作業をするには安全面の問題を考慮しなければならない。
本発明は、かかる事情を鑑みてなされたものであり、ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステムを提供することを目的とする。
本発明によれば、ロボットシステムであって、ロボットハンドと、撮像装置と、情報処理装置とを備え、前記ロボットハンドは、空間座標における所定の範囲内を変位し、ヒトが把持している柔軟体を把持可能に構成され、前記撮像装置は、前記柔軟体と前記ヒトとを画像として撮像可能に構成され、前記情報処理装置は、前記画像に基づいて、前記柔軟体の位置と前記ヒトの位置とを認識し、前記ロボットハンドが、前記ヒトと非接触に且つ前記柔軟体を前記ヒトから受け取ることができるように、前記ロボットハンドの位置・姿勢を制御可能に構成される、ロボットシステムが提供される。
本発明に係るロボットシステムは、撮像装置が、柔軟体とヒトとを画像として撮像し、情報処理装置が、かかる画像に基づいて柔軟体の所定部位の位置とヒトの位置とを認識する。そして、情報処理装置によって、ロボットハンドがヒトと非接触に且つ柔軟体をヒトから受け取ることができるように、ロボットハンドの位置・姿勢が制御される。このような構成によって、ヒトに対する安全性を維持しながら、ヒトとともに柔軟体を取り扱う搬送ラインに組み込むことができる、という効果を奏する。換言すると、ヒトへの物理的な危険性を限りなく小さくすることができる。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CLPD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.全体構成
第1節では、本実施形態に係るロボットシステム1の全体構成を説明する。図1は、本実施形態に係るロボットシステム1の構成概要を示す図である。ロボットシステム1は、撮像装置2と、情報処理装置3と、機構制御装置4と、ロボットハンド5とを備え、これらが電気的に接続されたシステムである。以下各構成要素についてさらに詳述する。
第1節では、本実施形態に係るロボットシステム1の全体構成を説明する。図1は、本実施形態に係るロボットシステム1の構成概要を示す図である。ロボットシステム1は、撮像装置2と、情報処理装置3と、機構制御装置4と、ロボットハンド5とを備え、これらが電気的に接続されたシステムである。以下各構成要素についてさらに詳述する。
1.1 撮像装置2
撮像装置2は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ(カメラ)であり、特に高速ビジョンと称するフレームレートが高いものが採用されることが好ましい。フレームレートは、例えば、100fps以上であり、好ましくは、250fps以上であり、更に好ましくは500fps又は1000fpsである。具体的には例えば、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000fps(ヘルツ)であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。より具体的には、撮像装置2は、第1の撮像装置21及び第2の撮像装置22からなる。
撮像装置2は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ(カメラ)であり、特に高速ビジョンと称するフレームレートが高いものが採用されることが好ましい。フレームレートは、例えば、100fps以上であり、好ましくは、250fps以上であり、更に好ましくは500fps又は1000fpsである。具体的には例えば、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000fps(ヘルツ)であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。より具体的には、撮像装置2は、第1の撮像装置21及び第2の撮像装置22からなる。
<第1の撮像装置21>
第1の撮像装置21は、ロボットハンド5に設けられる。より詳細には、第1の撮像装置21は、ロボットハンド5における一対の把持部521,522との相対的な姿勢がロボットハンド5の位置に関わらず一定であるように設けられる。ロボットハンド5の変位に伴ってその撮像範囲が変化し、特に、柔軟体Fの所定部位Fpを第1の画像IM1として撮像可能に構成される。そして、柔軟体Fが変位・変形した場合においても、第1の画像IM1中における柔軟体Fの所定部位Fpの位置を高い時間分解能で逐次把握し、所定部位Fpが第1の画像IM1における規定の位置に来るようにロボットハンド5が制御される。
第1の撮像装置21は、ロボットハンド5に設けられる。より詳細には、第1の撮像装置21は、ロボットハンド5における一対の把持部521,522との相対的な姿勢がロボットハンド5の位置に関わらず一定であるように設けられる。ロボットハンド5の変位に伴ってその撮像範囲が変化し、特に、柔軟体Fの所定部位Fpを第1の画像IM1として撮像可能に構成される。そして、柔軟体Fが変位・変形した場合においても、第1の画像IM1中における柔軟体Fの所定部位Fpの位置を高い時間分解能で逐次把握し、所定部位Fpが第1の画像IM1における規定の位置に来るようにロボットハンド5が制御される。
<第2の撮像装置22>
第2の撮像装置22は、ロボットハンド5とは異なる位置に設けられる。より詳細には、第2の撮像装置22は、ロボットハンド5の変位に関わらず規定の撮像範囲を撮像するように構成される。特に、ロボットハンド5に近接して作業をすることとなるユーザUを第2の画像IM2として撮像可能に構成される。ユーザUがロボットハンド5に近接して作業をする場合において、接触による事故に注意する必要がある。具体的には例えば、ユーザUが把持している柔軟体Fをロボットハンド5に受け渡すタスクを行うにあたり、ユーザUの安全性を鑑みて、ユーザUとロボットハンド5との接触を回避する必要がある。本実施形態に係るロボットシステム1では、第2の画像IM2に基づいて、ユーザUとロボットハンド5との相対的位置を高い時間分解能で逐次把握し、ロボットハンド5がユーザUに接触しないように制御がなされる。
第2の撮像装置22は、ロボットハンド5とは異なる位置に設けられる。より詳細には、第2の撮像装置22は、ロボットハンド5の変位に関わらず規定の撮像範囲を撮像するように構成される。特に、ロボットハンド5に近接して作業をすることとなるユーザUを第2の画像IM2として撮像可能に構成される。ユーザUがロボットハンド5に近接して作業をする場合において、接触による事故に注意する必要がある。具体的には例えば、ユーザUが把持している柔軟体Fをロボットハンド5に受け渡すタスクを行うにあたり、ユーザUの安全性を鑑みて、ユーザUとロボットハンド5との接触を回避する必要がある。本実施形態に係るロボットシステム1では、第2の画像IM2に基づいて、ユーザUとロボットハンド5との相対的位置を高い時間分解能で逐次把握し、ロボットハンド5がユーザUに接触しないように制御がなされる。
ここで、逐次形状が変化する柔軟体Fを撮像するための第1の撮像装置21のフレームレートは、特に高いことが好ましい。したがって、第1の撮像装置21のフレームレートをf_1とし、第2の撮像装置22のフレームレートをf_2と定義すると、f_1≧f_2を満たすように実施してもよい。
1.2 情報処理装置3
図2は、情報処理装置3の構成概要を示す機能ブロック図である。情報処理装置3は、通信部31と、記憶部32と、制御部33とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
図2は、情報処理装置3の構成概要を示す機能ブロック図である。情報処理装置3は、通信部31と、記憶部32と、制御部33とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
<通信部31>
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、撮像装置2とは、所定の高速通信規格において通信可能に構成されることが好ましい。このような構成により、高いフレームレートを有する撮像装置2から画像IM(第1の画像IM1,第2の画像IM2の総称)を取得することができる。また、通信部31は、後述のロボットハンド5のアームモジュール51における複数の回転部512の角度を逆運動学に基づいて所望の角度に制御するための情報である制御情報CIを、機構制御装置4に送信可能に構成される。また、現在の回転部512の角度が情報として取得可能(エンコーダ)に構成されると、さらに好ましい。このような構成により、ロボットハンド5における一対の把持部521,522を、空間座標中の所望の位置に変位させるような制御が可能となる。
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、撮像装置2とは、所定の高速通信規格において通信可能に構成されることが好ましい。このような構成により、高いフレームレートを有する撮像装置2から画像IM(第1の画像IM1,第2の画像IM2の総称)を取得することができる。また、通信部31は、後述のロボットハンド5のアームモジュール51における複数の回転部512の角度を逆運動学に基づいて所望の角度に制御するための情報である制御情報CIを、機構制御装置4に送信可能に構成される。また、現在の回転部512の角度が情報として取得可能(エンコーダ)に構成されると、さらに好ましい。このような構成により、ロボットハンド5における一対の把持部521,522を、空間座標中の所望の位置に変位させるような制御が可能となる。
<記憶部32>
記憶部32は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部32は、撮像装置2によって撮像され、且つ通信部31が受信した画像IMを記憶する。画像IMは、例えばRGB各8ビットのピクセル情報を具備する配列情報である。また、記憶部32は、制御部33における画像処理部331(後述)が画像IMに対して実行する所定の画像処理プログラムと、特に第1の画像IM1に基づいて実行される柔軟体Fの所定部位Fpのトラッキング演算プログラムとを記憶する。かかるトラッキング演算プログラムによってロボットハンド5を制御するための制御情報CIが制御部33におけるトラッキング演算部332によって逐次決定される。また、記憶部32は、これ以外にも制御部33によって実行されるロボットシステム1に係る種々のプログラム等を記憶している。
記憶部32は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部32は、撮像装置2によって撮像され、且つ通信部31が受信した画像IMを記憶する。画像IMは、例えばRGB各8ビットのピクセル情報を具備する配列情報である。また、記憶部32は、制御部33における画像処理部331(後述)が画像IMに対して実行する所定の画像処理プログラムと、特に第1の画像IM1に基づいて実行される柔軟体Fの所定部位Fpのトラッキング演算プログラムとを記憶する。かかるトラッキング演算プログラムによってロボットハンド5を制御するための制御情報CIが制御部33におけるトラッキング演算部332によって逐次決定される。また、記憶部32は、これ以外にも制御部33によって実行されるロボットシステム1に係る種々のプログラム等を記憶している。
<制御部33>
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には画像IMに対する画像処理機能、柔軟体Fにおける所定部位Fpのトラッキングに関する演算機能が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、画像処理部331及びトラッキング演算部332として実行されうる。なお、図3においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。以下、画像処理部331、及びトラッキング演算部332についてさらに詳述する。
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には画像IMに対する画像処理機能、柔軟体Fにおける所定部位Fpのトラッキングに関する演算機能が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、画像処理部331及びトラッキング演算部332として実行されうる。なお、図3においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。以下、画像処理部331、及びトラッキング演算部332についてさらに詳述する。
[画像処理部331]
画像処理部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。画像処理部331は、撮像装置2から送信され且つ通信部31によって受信された画像IMに対して、所定の画像処理を実行するように構成される。より具体的には、画像処理部331は、第1の撮像装置21から送信され且つ通信部31によって受信された第1の画像IM1に対して、所定の画像処理を実行し、柔軟体Fにおける所定部位Fpとそれ以外の非所定部位Fqとを区別可能にする。その結果、情報処理装置3が所定部位Fpを抽出・認識することとなる。
画像処理部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。画像処理部331は、撮像装置2から送信され且つ通信部31によって受信された画像IMに対して、所定の画像処理を実行するように構成される。より具体的には、画像処理部331は、第1の撮像装置21から送信され且つ通信部31によって受信された第1の画像IM1に対して、所定の画像処理を実行し、柔軟体Fにおける所定部位Fpとそれ以外の非所定部位Fqとを区別可能にする。その結果、情報処理装置3が所定部位Fpを抽出・認識することとなる。
これは例えば、撮像された第1の画像IM1を、画像に関する所定のパラメータ(明度等)にしきい値を決めてバイナリ化することで実施される。また、第1の撮像装置21から見ると、所定部位Fpと非所定部位Fqとが区別できるものの、ヒトの目から見ると、所定部位Fpと非所定部位Fqとが区別できないことが好ましい。換言すると、柔軟体Fは、所定部位Fpと非所定部位Fqとがヒトの目から見て略同じ色に見えるように実施されることが好ましい。なぜなら、衛生面を重視するタオルやシーツにおいて、ヒトの目から異物のように視認されるマーカー等を採用することは適切ではないと考えられるからである。すなわち、このような効果を有するように、所定部位Fpと非所定部位Fqとに分光特性の違いを設ける。柔軟体Fがタオルであるとすれば、所定部位Fpとは、かかるタオルに縫い付けられたマーカーである。
図3は、柔軟体Fの所定部位Fpとして機能する素材の分光特性の一例を示している。また、図4は、図3に対応する好ましい撮像装置2(特に第1の撮像装置21)の分光特性の一例を示している。図3に示される素材は、ヒトが感知できない近赤外領域において高い反射率を有する。このため、このような近赤外領域を感知可能な図4に示されるような第1の撮像装置21を採用することで、所定部位Fpと非所定部位Fqとがヒトの目から見て略同じ色に見えつつ、且つ第1の撮像装置21が柔軟体Fにおける所定部位Fpと非所定部位Fqとを区別可能に撮像することができる。第1の撮像装置21を使用するにあたり、フィルタによって可視光領域をカットするように構成されてもよいし、可視光及び近赤外の両方の領域に係る情報を取得可能に構成されてもよい。
さらに、第1の画像IM1の一部の所定領域ROIに対して画像処理を行うように実施してもよい。特に、所定部位Fpのトラッキングを高い制御レートにて行うため、所定部位Fpは、画像IMの決まった位置(例えば画像中心)の近傍にあることとなり、この決まった位置の近傍領域を所定領域ROIとすることで、画像処理をするピクセル数を削減することができる。これにより、情報処理装置3における画像処理演算の負荷を小さくすることができ、高い制御レートでのトラッキングを実施することができる。
さらに、画像処理部331は、第2の撮像装置22から送信され且つ通信部31によって受信された第2の画像IM2に対して、所定の画像処理を実行し、ユーザUとロボットハンド5とを区別可能にする。その結果、情報処理装置3がユーザUとロボットハンド5(特に一対の把持部521,522)との相対的な位置関係を把握することとなる。これは例えば、撮像された第2の画像IM2を、画像に関する所定のパラメータ(明度等)にしきい値を決めてバイナリ化することで実施される。
[トラッキング演算部332]
トラッキング演算部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。トラッキング演算部332は、画像処理部331による画像処理によって抽出された柔軟体Fにおける所定部位Fpをロボットハンド5における一対の把持部521,522に位置合わせするような制御演算を実行する。
トラッキング演算部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。トラッキング演算部332は、画像処理部331による画像処理によって抽出された柔軟体Fにおける所定部位Fpをロボットハンド5における一対の把持部521,522に位置合わせするような制御演算を実行する。
前述の通り、第1の撮像装置21は、ロボットハンド5における一対の把持部521,522との相対的な姿勢がロボットハンド5の位置に関わらず一定であるように、ロボットハンド5上に設けられているので、第1の画像IM1における所定部位Fpを目標位置に合わせるように第1の撮像装置21の位置を変位させることで、第1の撮像装置21と相対的な位置関係が固定された一対の把持部521,522の位置合わせを行うことができる。
すなわち、トラッキング演算部332は、これらの制御に係る制御情報CIを演算し、通信部31を介してこれを機構制御装置4に送信する。そして、制御情報CIに基づいて、機構制御装置4がアームモジュール51の各回転部512の角度制御に係る制御電圧V1及び把持モジュール52の位置・姿勢制御に書かう制御電圧V2を送電する。
ただし、かかるトラッキングにあたっては、第2の画像IM2によって得られたユーザUとロボットハンド5との相対的な位置関係の情報を用いて、ロボットハンド5とユーザUとの接触が回避されることを優先することが好ましい。例えば、ユーザUとロボットハンド5との距離が既定値以下である場合には、前述の第1の画像IM1に基づいて行われる所定部位Fpと一対の把持部521,522との位置合わせ(トラッキング)を行わないといった条件を設けるとよい。換言すると、第2の画像IM2において、ユーザUとロボットハンド5との距離が規定値以下である場合は、ロボットハンド5を柔軟体Fに近づける制御を不実行とすればよい。
なお、トラッキング演算部332の演算レートは、第1の撮像装置21のフレームレート同様、高いことが好ましい。例えば、100ヘルツ以上であり、好ましくは、250ヘルツ以上であり、更に好ましくは500ヘルツ又は1000ヘルツである。具体的には例えば、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000ヘルツであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
ロボットシステム1全体としては、第1の撮像装置21のフレームレート及びトラッキング演算部332の演算レートの低い方が、トラッキングに係る制御レートとして機能する。換言すると、当該フレームレート及び演算レートを同程度に高くすることで、予測を用いずにフィードバック制御のみで柔軟体Fにおける所定部位Fpのトラッキングを実施することができる。
1.3 機構制御装置4
機構制御装置4は、不図示の記憶部や制御部を備えている。記憶部は、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。制御部は、例えば中央処理装置(Central Processing Unit:CPU)として実施されうる。制御部は、記憶部に記憶された所定のプログラムを読み出すことによって、ロボットハンド5の制御に関する種々の機能を実現する。
機構制御装置4は、不図示の記憶部や制御部を備えている。記憶部は、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。制御部は、例えば中央処理装置(Central Processing Unit:CPU)として実施されうる。制御部は、記憶部に記憶された所定のプログラムを読み出すことによって、ロボットハンド5の制御に関する種々の機能を実現する。
また、機構制御装置4は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段又は、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等の無線通信手段を必要に応じて有することで、外部機器と接続可能に構成されるとよい。特に、ロボットハンド5とは、専用通信規格において高速通信可能に構成されることが好ましい。
より具体的には、機構制御装置4は、不図示の制御部によって、ロボットハンド5を構成するアームモジュール51の各回転部512の角度と、把持モジュール52の位置・姿勢とを制御可能に構成される。機構制御装置4は、情報処理装置3と接続され、情報処理装置3における通信部31から送信された制御情報CIを受信すると、かかる制御情報CIに基づいて制御電圧V1,V2をロボットハンド5に送電する。このような制御としては、例えばPD制御、PI制御、又はPID制御等が適宜採用されうる。制御に係る各係数は、制御情報CIに含まれるように実施してもよいし、制御情報CIに基づいて機構制御装置4によって決定されるように実施してもよい。また、必要に応じて好ましい値を設定すればよい。
特に、機構制御装置4の制御レート(ロボットハンド5の駆動レート)は、第1の撮像装置21のフレームレート及び情報処理装置3の演算レート同様、高いことが好ましい。例えば、100ヘルツ以上であり、好ましくは、250ヘルツ以上であり、更に好ましくは500ヘルツ又は1000ヘルツである。具体的には例えば、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000ヘルツであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。また、ロボットシステム1の系全体としてのレイテンシを小さくすべく、機構制御装置4に使用されるオペレーション・システムは、リアルアイムオペレーション・システムであることが好ましい。
1.4 ロボットハンド5
ロボットハンド5は、アームモジュール51と、アームモジュール51の先端に取り付けられた把持モジュール52とから構成される。なお、アームモジュール51及び把持モジュール52の形状や構造については、あくまでも一例であり特に限定されるものではない。
ロボットハンド5は、アームモジュール51と、アームモジュール51の先端に取り付けられた把持モジュール52とから構成される。なお、アームモジュール51及び把持モジュール52の形状や構造については、あくまでも一例であり特に限定されるものではない。
<アームモジュール51>
アームモジュール51は、複数のアーム部511と、アーム部511の関節として又は把持モジュール52との接続箇所として機能する複数の回転部512とを備える。各回転部512は、機構制御装置4により送電された制御電圧V1によって所望の角度となるように制御される。また、これにより、アームモジュール51に接続された後述の把持モジュール52の位置・姿勢が制御される。
アームモジュール51は、複数のアーム部511と、アーム部511の関節として又は把持モジュール52との接続箇所として機能する複数の回転部512とを備える。各回転部512は、機構制御装置4により送電された制御電圧V1によって所望の角度となるように制御される。また、これにより、アームモジュール51に接続された後述の把持モジュール52の位置・姿勢が制御される。
<把持モジュール52>
把持モジュール52は、アームモジュール51と1つの回転部512を介して接続されている。把持モジュール52は、その先端に一対の把持部521,522を有する。特に、把持モジュール52は、当該把持モジュール52内での一対の把持部521,522の相対位置を制御可能に構成される。一対の把持部521,522は、ユーザUが自身の手UHで把持している柔軟体Fの所定部位Fpを把持するように構成される。また、把持モジュール52には、第1の撮像装置21が設けられる。より詳細には、第1の撮像装置21は、把持部521,522との相対的な姿勢がロボットハンド5の位置に関わらず一定であるように設けられる。ロボットハンド5における一対の把持部521,522の相対位置は、機構制御装置4により送電された制御電圧V2によって所望に制御される。
把持モジュール52は、アームモジュール51と1つの回転部512を介して接続されている。把持モジュール52は、その先端に一対の把持部521,522を有する。特に、把持モジュール52は、当該把持モジュール52内での一対の把持部521,522の相対位置を制御可能に構成される。一対の把持部521,522は、ユーザUが自身の手UHで把持している柔軟体Fの所定部位Fpを把持するように構成される。また、把持モジュール52には、第1の撮像装置21が設けられる。より詳細には、第1の撮像装置21は、把持部521,522との相対的な姿勢がロボットハンド5の位置に関わらず一定であるように設けられる。ロボットハンド5における一対の把持部521,522の相対位置は、機構制御装置4により送電された制御電圧V2によって所望に制御される。
ここで、アームモジュール51を制御することによる一対の把持部521,522の可動ストロークは、広範囲にわたるものの、把持モジュール52を制御することによる一対の把持部521,522の可動ストロークは、アームモジュール51に比して狭い範囲に限定されることが好ましい。また、アームモジュール51の駆動レートは、把持モジュール52の駆動レートに比べて低くてもよい。すなわち、一対の把持部521,522を所望の位置に制御するにあたり、大まかな位置合わせをアームモジュール51の制御(低周波制御)によって行い、さらなる位置の微調整を把持モジュール52の制御(高周波制御)によって行うようにしてもよい。つまり、前述の機構制御装置4の制御レート(ロボットハンド5の駆動レート)についてさらに詳述するならば、アームモジュール51の駆動レートをf_3とし、把持モジュール52の駆動レートをf_4と定義すると、f_3≦f_4を満たすように実施してもよい。かかる場合、安全面を考慮してユーザUとロボットハンド5との接触を回避するにあたり、まずは高い駆動レートで制御可能な把持モジュール52をユーザUの位置する方向と逆方向に制御することが好ましい。その後、必要に応じて低い駆動レートで制御されるアームモジュール51をユーザUの位置する方向と逆方向に制御すればよい。
2.ロボットシステム1の動作フロー
第2節では、前述のような構成を有するロボットシステム1の動作フローの一例を説明する。図5は、ロボットシステム1の動作フローを示している。以下、図5におけるステップS1〜S5に沿って説明する。
第2節では、前述のような構成を有するロボットシステム1の動作フローの一例を説明する。図5は、ロボットシステム1の動作フローを示している。以下、図5におけるステップS1〜S5に沿って説明する。
[開始]
(ステップS1)
ユーザUが柔軟体Fにおける非所定部位Fqを手UHで把持しながら、ロボットハンド5に対して柔軟体Fを提示する(ステップS2へ続く)。
(ステップS2)
情報処理装置3における画像処理部331は、第1の撮像装置21によって撮像された第1の画像IM1に対して所定のパラメータ(明度等)のしきい値を決めて第1の画像IM1をバイナリ化する。これにより、柔軟体Fの所定部位Fpが抽出される(ステップS3へ続く)。
(ステップS1)
ユーザUが柔軟体Fにおける非所定部位Fqを手UHで把持しながら、ロボットハンド5に対して柔軟体Fを提示する(ステップS2へ続く)。
(ステップS2)
情報処理装置3における画像処理部331は、第1の撮像装置21によって撮像された第1の画像IM1に対して所定のパラメータ(明度等)のしきい値を決めて第1の画像IM1をバイナリ化する。これにより、柔軟体Fの所定部位Fpが抽出される(ステップS3へ続く)。
(ステップS3)
情報処理装置3におけるトラッキング演算部332は、ステップS2にバイナリ化された第1の画像IM1に基づいて所定部位Fpと一対の把持部521,522(第1の撮像装置21との配置関係から位置が既知)との距離を演算する。そして、かかる距離を0に近づけるような制御情報CIが演算される(ステップS4へ続く)。
情報処理装置3におけるトラッキング演算部332は、ステップS2にバイナリ化された第1の画像IM1に基づいて所定部位Fpと一対の把持部521,522(第1の撮像装置21との配置関係から位置が既知)との距離を演算する。そして、かかる距離を0に近づけるような制御情報CIが演算される(ステップS4へ続く)。
(ステップS4)
ステップS3において演算された制御情報CIに基づいて、機構制御装置4が制御電圧V1,V2をロボットハンド5に送電する。これによって、アームモジュール51における各回転部512の角度や把持モジュール52の位置・姿勢が所望に制御される(ステップS5へ続く)。
ステップS3において演算された制御情報CIに基づいて、機構制御装置4が制御電圧V1,V2をロボットハンド5に送電する。これによって、アームモジュール51における各回転部512の角度や把持モジュール52の位置・姿勢が所望に制御される(ステップS5へ続く)。
(ステップS5)
ステップS2〜ステップS4を繰り返すことによって、一対の把持部521,522が柔軟体Fに近づき、一対の把持部521,522がユーザUから柔軟体Fを受け取ることで、受渡のタスクが完了する。ただし、第2の画像IM2においてユーザUとロボットハンド5との接触が考えられる場合には、ステップS2〜S4に代えて、ユーザUとロボットハンド5との距離を保つ制御が優先的に実行される。受渡完了後は、ロボットシステム1が適切な位置に柔軟体Fを搬送することで、従来ヒトによってなされていた柔軟体Fの搬送ラインを補助することができる。
[終了]
ステップS2〜ステップS4を繰り返すことによって、一対の把持部521,522が柔軟体Fに近づき、一対の把持部521,522がユーザUから柔軟体Fを受け取ることで、受渡のタスクが完了する。ただし、第2の画像IM2においてユーザUとロボットハンド5との接触が考えられる場合には、ステップS2〜S4に代えて、ユーザUとロボットハンド5との距離を保つ制御が優先的に実行される。受渡完了後は、ロボットシステム1が適切な位置に柔軟体Fを搬送することで、従来ヒトによってなされていた柔軟体Fの搬送ラインを補助することができる。
[終了]
3.変形例
第3節では、本実施形態に係るロボットシステム1の変形例について説明する。すなわち、次のような態様によって、ロボットシステム1を更に創意工夫してもよい。
第3節では、本実施形態に係るロボットシステム1の変形例について説明する。すなわち、次のような態様によって、ロボットシステム1を更に創意工夫してもよい。
第一に、本実施形態では、第1の画像IM1において柔軟体Fの所定部位Fpを抽出し、第2の画像IM2においてユーザUとロボットハンド5との相対的位置関係を認識するものとして説明したが、第1の画像IM1においてユーザUとロボットハンド5との相対的位置関係が把握できる場合は、かかる情報を安全性の確保のために用いてもよい。逆に第2の画像IM2において柔軟体Fの所定部位Fpを抽出し、これを一対の把持部521,522の位置制御に用いてもよい。
第二に、本実施形態では、撮像装置2として、第1の撮像装置21及び第2の撮像装置22を採用したが、これらの何れか一方を採用するように実施してもよい。かかる場合、何れか一方によって得られた画像IMから、柔軟体Fの所定部位Fpと、ユーザU及びロボットハンド5の相対的位置関係との両方が把握・認識可能に構成されることに留意されたい。
第三に、前述の実施形態では、一対の把持部521,522の位置が既知となるように配置されているが、さらに精度を向上させるために、一対の把持部521,522の先端等に不図示のマーカーを設けて、第1の画像IM1から一対の把持部521,522の詳細な位置を抽出できるように実施してもよい。
第四に、情報処理装置3及び機構制御装置4を分けず、1つの情報処理装置として実施してもよい。
第五に、撮像装置2以外に別個のセンサを付加してもよい。例えば、力覚センサが有効であると考えられる。画像処理のエラーでユーザUとロボットハンド5との接触が回避されなかった場合に備え、力覚センサを導入して接触力等の情報を取得し、これに基づいてトラッキング演算部332が安全性を考慮した制御情報CIを演算するように実施してもよい。
4.結言
以上のように、本実施形態によれば、ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステム1を実施することができる。
以上のように、本実施形態によれば、ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステム1を実施することができる。
かかるロボットシステム1は、ロボットハンド5と、撮像装置2と、情報処理装置(情報処理装置3及び機構制御装置4)とを備え、ロボットハンド5は、空間座標における所定の範囲内を変位し、ヒト(ユーザU)が把持している柔軟体Fを把持可能に構成され、撮像装置2は、柔軟体Fとヒト(ユーザU)とを画像IMとして撮像可能に構成され、情報処理装置(情報処理装置3及び機構制御装置4)は、画像IMに基づいて、柔軟体Fの位置とヒト(ユーザU)の位置とを認識し、ロボットハンド5が、ヒト(ユーザU)と非接触に且つ柔軟体Fをヒト(ユーザU)から受け取ることができるように、ロボットハンド5の位置・姿勢を制御可能に構成される。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 :ロボットシステム
2 :撮像装置
21 :第1の撮像装置
22 :第2の撮像装置
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :画像処理部
332 :トラッキング演算部
4 :機構制御装置
5 :ロボットハンド
51 :アームモジュール
511 :アーム部
512 :回転部
52 :把持モジュール
521 :把持部
522 :把持部
CI :制御情報
F :柔軟体
Fp :所定部位
Fq :非所定部位
IM :画像
IM1 :第1の画像
IM2 :第2の画像
U :ユーザ
UH :手
V1 :制御電圧
V2 :制御電圧
2 :撮像装置
21 :第1の撮像装置
22 :第2の撮像装置
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :画像処理部
332 :トラッキング演算部
4 :機構制御装置
5 :ロボットハンド
51 :アームモジュール
511 :アーム部
512 :回転部
52 :把持モジュール
521 :把持部
522 :把持部
CI :制御情報
F :柔軟体
Fp :所定部位
Fq :非所定部位
IM :画像
IM1 :第1の画像
IM2 :第2の画像
U :ユーザ
UH :手
V1 :制御電圧
V2 :制御電圧
Claims (10)
- ロボットシステムであって、
ロボットハンドと、撮像装置と、情報処理装置とを備え、
前記ロボットハンドは、
空間座標における所定の範囲内を変位し、
ヒトが把持している柔軟体を把持可能に構成され、
前記撮像装置は、前記柔軟体と前記ヒトとを画像として撮像可能に構成され、
前記情報処理装置は、
前記画像に基づいて、前記柔軟体の位置と前記ヒトの位置とを認識し、
前記ロボットハンドが、前記ヒトと非接触に且つ前記柔軟体を前記ヒトから受け取ることができるように、前記ロボットハンドの位置・姿勢を制御可能に構成される、
ロボットシステム。 - 請求項1に記載のロボットシステムにおいて、
前記ロボットハンドの駆動レート、及び前記撮像装置のフレームレートは、100ヘルツ以上である、
ロボットシステム。 - 請求項1又は請求項2に記載のロボットシステムにおいて、
前記撮像装置は、第1及び第2の撮像装置を含む複数の撮像装置であり、
前記第1の撮像装置は、
前記ロボットハンドに設けられ、前記ロボットハンドの変位に伴ってその撮像範囲が変化し、
前記柔軟体を第1の画像として撮像可能に構成され、
前記第2の撮像装置は、
前記ロボットハンドとは異なる位置に設けられ、
前記ロボットハンドの変位に関わらず規定の撮像範囲を撮像し、これにより前記ロボットハンドと前記ヒトとを第2の画像として撮像可能に構成され、
前記情報処理装置は、
前記第1の画像に基づいて、前記柔軟体の位置を認識し、
前記第2の画像に基づいて、前記ロボットハンドと前記ヒトとの相対的な位置関係を認識可能に構成される、
ロボットシステム。 - 請求項3に記載のロボットシステムにおいて、
前記第1の画像に前記ヒトが入るときは、前記情報処理装置は、前記第1の画像に基づいて、前記ロボットハンドと前記ヒトとの相対的な位置関係を認識可能に構成される、
ロボットシステム。 - 請求項3又は請求項4に記載のロボットシステムにおいて、
前記第1の撮像装置のフレームレートをf_1と定義し、前記第2の撮像装置のフレームレートをf_2と定義すると、
f_1≧f_2
を満たすように実施される、
ロボットシステム。 - 請求項3〜請求項5の何れか1つに記載のロボットシステムにおいて、
前記第2の画像において前記ヒトと前記ロボットハンドとの距離が規定値以下である場合は、前記情報処理装置は、前記ロボットハンドを前記柔軟体に近づける制御を不実行とする、
ロボットシステム。 - 請求項1〜請求項6の何れか1つに記載のロボットシステムにおいて、
前記ロボットハンドは、アームモジュールと、把持モジュールとを備え、これらは互いに接続され、
前記アームモジュールは、複数の関節を備え、前記関節の角度を制御することによって、当該アームモジュールに接続された前記把持モジュールの位置・姿勢を制御可能に構成され、
前記把持モジュールは、
前記柔軟体を把持する把持部を備え、
当該把持モジュール内での前記把持部の相対位置を制御可能に構成される、
ロボットシステム。 - 請求項7に記載のロボットシステムにおいて、
前記アームモジュールの駆動レートをf_3と定義し、前記把持モジュールのレートをf_4と定義すると、
f_3≦f_4
を満たすように実施される、
ロボットシステム。 - 請求項1〜請求項8の何れか1つに記載のロボットシステムにおいて、
前記柔軟体は、所定部位とこれ以外の非所定部位との分光特性が異なるように構成され、
前記第1の撮像装置は、前記情報処理装置が前記所定部位と前記非所定部位とを区別可能に、前記第1の画像を撮像し、
前記ロボットハンドは、前記所定部位を把持するように構成される、
ロボットシステム。 - 請求項9に記載のロボットシステムにおいて、
前記柔軟体は、前記所定部位と前記非所定部位とが前記ヒトから見て略同じ色に見えるように実施される、
ロボットシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228386A JP2020089944A (ja) | 2018-12-05 | 2018-12-05 | ロボットシステム |
PCT/JP2019/036289 WO2020115985A1 (ja) | 2018-12-05 | 2019-09-17 | ロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228386A JP2020089944A (ja) | 2018-12-05 | 2018-12-05 | ロボットシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020089944A true JP2020089944A (ja) | 2020-06-11 |
Family
ID=70975053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018228386A Pending JP2020089944A (ja) | 2018-12-05 | 2018-12-05 | ロボットシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020089944A (ja) |
WO (1) | WO2020115985A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006013829A1 (ja) * | 2004-08-02 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 物品運搬用ロボット、物品運搬システム、及び物品運搬方法 |
JP2007216381A (ja) * | 2004-07-13 | 2007-08-30 | Matsushita Electric Ind Co Ltd | ロボット |
JP2011042011A (ja) * | 2009-08-21 | 2011-03-03 | Tokyo Metropolitan Univ | ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボット |
JP2011115207A (ja) * | 2009-11-30 | 2011-06-16 | Ist Corp | 布製品の折り畳みシステム |
US20140277679A1 (en) * | 2013-03-15 | 2014-09-18 | Northeastern University | Systems and Methods of using a Hieroglyphic Machine Interface Language for Communication with Auxiliary Robotics in Rapid Fabrication Environments |
-
2018
- 2018-12-05 JP JP2018228386A patent/JP2020089944A/ja active Pending
-
2019
- 2019-09-17 WO PCT/JP2019/036289 patent/WO2020115985A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007216381A (ja) * | 2004-07-13 | 2007-08-30 | Matsushita Electric Ind Co Ltd | ロボット |
WO2006013829A1 (ja) * | 2004-08-02 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 物品運搬用ロボット、物品運搬システム、及び物品運搬方法 |
JP2011042011A (ja) * | 2009-08-21 | 2011-03-03 | Tokyo Metropolitan Univ | ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボット |
JP2011115207A (ja) * | 2009-11-30 | 2011-06-16 | Ist Corp | 布製品の折り畳みシステム |
US20140277679A1 (en) * | 2013-03-15 | 2014-09-18 | Northeastern University | Systems and Methods of using a Hieroglyphic Machine Interface Language for Communication with Auxiliary Robotics in Rapid Fabrication Environments |
Also Published As
Publication number | Publication date |
---|---|
WO2020115985A1 (ja) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11072068B2 (en) | Robot apparatus and method of controlling robot apparatus | |
CN106945007B (zh) | 机器人系统、机器人、以及机器人控制装置 | |
JP5953658B2 (ja) | ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置 | |
US20190193947A1 (en) | Article transfer apparatus, robot system, and article transfer method | |
CN109648605B (zh) | 机器人系统 | |
JP6454960B2 (ja) | ロボット、ロボットシステム、ロボット制御装置 | |
JP7111114B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
US20180056523A1 (en) | Robot control device, robot, and robot system | |
JP2013184257A (ja) | ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム | |
US20170203434A1 (en) | Robot and robot system | |
CN110781714B (zh) | 图像处理装置、图像处理方法 | |
Yang et al. | Real-time human-robot interaction in complex environment using kinect v2 image recognition | |
US20180215044A1 (en) | Image processing device, robot control device, and robot | |
JP5223407B2 (ja) | 冗長ロボットの教示方法 | |
JP2015226968A (ja) | ロボット、ロボットシステム、制御装置、及び制御方法 | |
US20160306340A1 (en) | Robot and control device | |
Sriram et al. | Mobile robot assistance for disabled and senior citizens using hand gestures | |
JP2015182212A (ja) | ロボットシステム、ロボット、制御装置、及び制御方法 | |
US10369703B2 (en) | Robot, control device, and robot system | |
JP2006224291A (ja) | ロボットシステム | |
WO2020115985A1 (ja) | ロボットシステム | |
CN111085993A (zh) | 与人进行协同作业的机器人系统以及机器人控制方法 | |
JP2013180369A (ja) | 適応性機械 | |
JP7353948B2 (ja) | ロボットシステム及びロボットシステムの制御方法 | |
JP4956964B2 (ja) | ロボットハンドの把持制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221129 |