JP2018069401A - 監視システム、監視装置、および監視方法 - Google Patents

監視システム、監視装置、および監視方法 Download PDF

Info

Publication number
JP2018069401A
JP2018069401A JP2016214062A JP2016214062A JP2018069401A JP 2018069401 A JP2018069401 A JP 2018069401A JP 2016214062 A JP2016214062 A JP 2016214062A JP 2016214062 A JP2016214062 A JP 2016214062A JP 2018069401 A JP2018069401 A JP 2018069401A
Authority
JP
Japan
Prior art keywords
robot
area
worker
protection
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016214062A
Other languages
English (en)
Other versions
JP6822069B2 (ja
Inventor
敏之 樋口
Toshiyuki Higuchi
敏之 樋口
哲也 赤木
Tetsuya Akagi
哲也 赤木
喜東 谷
Yoshiharu Tani
喜東 谷
郁雄 松川
Ikuo Matsukawa
郁雄 松川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2016214062A priority Critical patent/JP6822069B2/ja
Priority to US15/705,279 priority patent/US10379513B2/en
Priority to CN201710837968.3A priority patent/CN108008663B/zh
Priority to EP17191539.0A priority patent/EP3315268B1/en
Publication of JP2018069401A publication Critical patent/JP2018069401A/ja
Application granted granted Critical
Publication of JP6822069B2 publication Critical patent/JP6822069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428Safety, monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061Avoiding collision or forbidden zones
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/24Pc safety
    • G05B2219/24024Safety, surveillance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37631Means detecting object in forbidden zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40203Detect position of operator, create non material barrier to protect operator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/49Nc machine tool, till multiple
    • G05B2219/49137Store working envelop, limit, allowed zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/49Nc machine tool, till multiple
    • G05B2219/49152Feedhold, stop motion if machine door is open, if operator in forbidden zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/49Nc machine tool, till multiple
    • G05B2219/49157Limitation, collision, interference, forbidden zones, avoid obstacles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Manipulator (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】作業環境の設計を容易にする監視システム、監視装置、および監視方法を提供する。【解決手段】三次元空間での作業者およびロボットの位置を特定し、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定し(S2)、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定し(S6)、作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限し(S8)、設定した複数の防護領域のうちから実行する防護領域に切替え、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域(S14)と、共通領域においてロボットが作業する場合の防護領域(S16)とを設定可能である。【選択図】図7

Description

本技術は、安全に作業できるように作業者およびロボットの動作を監視する監視システム、監視装置、および監視方法に関する。
産業用ロボット(以下、「ロボット」という。)と、作業者とが共存して作業する作業環境において、ロボットに作業者が巻き込まれる事故の主な原因は、ロボットと作業者との接触事故である。従来から、ロボットと作業者との接触事故を防ぎつつ、作業者とロボットと近接して共存できる作業環境を構築する技術が提案されている(特許文献1)。
特許文献1記載の発明では、作業者の作業領域とロボットの作業領域とが重なる共通領域(ロボットの作業と作業者の作業との双方が行われる協調空間)が存在する。ロボットおよび作業者のうちの少なくとも一方による該共通領域への侵入を検知するために、ロボット側に一対の光線式安全装置と作業者側にもう一対の光線式安全装置が設置される。
特許第5035768号公報
上述の特許文献1において、たとえば、一のロボットを中心に作業者が作業できる共通領域を複数設ける場合には、該複数の共通領域それぞれに対して、ロボット側に一対の光線式安全装置と作業者側に一対の光線式安全装置を設置する必要がある。この光線式安全装置の設置は、ロボットの大きさや作業スピード、ワークサイズなどを考慮し、適切な安全距離を確保して設置する必要がある。そのため、作業環境の設計が煩雑になるという問題があった。
本技術は、このような問題に鑑み、作業者の作業領域とロボットの作業領域とが重なる共通領域が存在する作業環境の設計を容易にする監視システム、監視装置、および監視方法を提供する。
本発明のある局面によれば、安全に作業できるように作業者およびロボットの動作を監視する監視装置を含む監視システムであって、三次元空間での作業者およびロボットの位置を特定する少なくとも1つの三次元検出部と、三次元検出部が認識できる空間座標において、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定する領域設定部と、三次元検出部で特定した作業者およびロボットの位置に基づき、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定する判定部と、判定部で作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限する制限部と、領域設定部で複数の防護領域を設定した場合、設定した複数の防護領域のうちから実行する防護領域に切替える切替部とを備え、領域設定部は、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域と、共通領域においてロボットが作業する場合の防護領域とを設定可能である。
好ましくは、設定した複数の防護領域のうちから実行する防護領域を選択する選択スイッチをさらに備え、切替部は、選択スイッチに基づき、実行する防護領域に切替える。
好ましくは、三次元検出部が認識できる空間座標において、ロボットの位置を検知するための検知領域を設定する検知領域設定部をさらに備え、判定部は、三次元検出部で特定したロボットの位置に基づき、ロボットが検知領域にあるか否かを判定し、切替部は、判定部でロボットが検知領域にあると判定した場合、実行する防護領域に切替える。
好ましくは、三次元検出部が認識できる空間座標において、ロボットの位置を検知するための検知領域を設定する検知領域設定部をさらに備え、判定部は、三次元検出部で特定したロボットの位置に基づき、ロボットが検知領域にあるか否かを判定し、切替部は、選択スイッチが操作されても、判定部でロボットが検知領域にいないと判定した場合、防護領域の切替えを中止する。
好ましくは、三次元検出部が認識できる空間座標において、作業者が防護領域への侵入を警告するための警告領域を防護領域の外側に設定する警告領域設定部をさらに備える。
好ましくは、領域設定部で設定した防護領域を視覚的に表示する表示部をさらに備える。
本発明の別の局面に従う監視装置は、安全に作業できるように作業者およびロボットの動作を監視し、三次元空間での作業者およびロボットの位置を特定する少なくとも1つの三次元検出部が認識できる空間座標において、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定する領域設定部と、三次元検出部で特定した作業者およびロボットの位置に基づき、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定する判定部と、判定部で作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限する制限部と、領域設定部で複数の防護領域を設定した場合、設定した複数の防護領域のうちから実行する防護領域に切替える切替部とを備え、領域設定部は、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域と、共通領域においてロボットが作業する場合の防護領域とを設定可能である。
本発明の別の局面に従う監視方法は、安全に作業できるように作業者およびロボットの動作を監視し、三次元空間での作業者およびロボットの位置を特定する少なくとも1つの三次元検出部が認識できる空間座標において、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定するステップと、三次元検出部で特定した作業者およびロボットの位置に基づき、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定するステップと、作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限するステップと、複数の防護領域を設定した場合、設定した複数の防護領域のうちから実行する防護領域に切替えるステップとを備え、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域と、共通領域においてロボットが作業する場合の防護領域とを設定可能である。
本技術に係る監視システム、監視装置、および監視方法によれば、作業者の作業領域とロボットの作業領域とが重なる共通領域が存在する作業環境の設計を容易にする。
本実施の形態に従う監視システムの構成例を示す図である。 監視装置のハードウェア構成例の一例を示す図である。 作業者用防護領域の一例を示す図である。 作業者が、作業対象物を載置台に載置していることを示す図である。 ロボット防護領域の一例を示す図である。 監視装置の機能構成例を示す図である。 監視システムのフローチャートを示す図である。 第2実施形態の作業者用防護領域を示す図である。 第2実施形態のロボット用防護領域を示す図である。 第2実施形態の監視装置の機能構成例を示す図である。 第2実施形態の監視システムの処理フローを示す図である。 第3実施形態の監視装置の機能構成例を示す図である。 第3実施形態の監視システムのフローチャートを示す図である。 作業領域などの各領域を示す図である。 変形例の作業者用防護領域を示す図である。 変形例のロボット用防護領域を示す図である。 変形例の監視装置の機能構成例を示す図である。 変形例の監視システムのフローチャートを示す図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
[第1実施形態]
<監視システム1の構成例>
まず、第1実施形態に従う監視装置を含む監視システム1の構成例について説明する。
図1は、本実施の形態に従う監視システム1の構成例を示す図である。図1を参照して、本実施の形態に従う監視システム1は、監視装置100と、三次元検出部としての2台のカメラ4とを含む。
監視システム1は、作業者300とロボット400とが協調して作業する作業領域α(三次元空間)内で、作業者300が安全に作業できるように後述する防護領域を設定して作業者300およびロボット400の動作を監視する。本実施形態のロボット400は、台部402と、アーム404とを含む。ロボット400は移動せずにその場で固定された状態でアーム404などが動作を行なう。カメラ4が三次元空間内での画像(動画)を撮像することにより、監視装置100は、作業領域αでの作業者300の位置およびロボット400の位置を特定する。カメラ4は、カメラ4は、レンズなどの光学系に加えて、撮像素子を含む。撮像素子は、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどである。カメラ4は2台備えることにより、作業領域αを三次元的に撮像することができる。また、1対のカメラ(2台のカメラ)を複数組備えるようにしてもよい。なお、図1の例では、作業領域αに、1台のロボット400および一人の作業者300が記載されているが、ロボット400は2台以上存在するようにしてもよく、作業者300は二人以上存在するようにしてもよい。
<監視装置100のハードウェア構成例>
図2は、監視装置100のハードウェア構成例の一例を示したものである。図2を参照して、監視装置100は、プログラムを実行するCPU(Central Processing Unit)121と、データを不揮発的に格納するROM(Read Only Memory)122と、データを揮発的に格納するRAM(Random Access Memory)123と、情報の送受信を行なう通信IF(interface)128とを備える。ROM122に、CPU121が実行するプログラムなどが格納されている。
<防護領域について>
次に、防護領域について説明する。防護領域は、作業者300およびロボット400のうちの少なくとも一方が侵入したと判定されると、作業領域α内の全てのロボット400の動作が制限される領域である。このように、防護領域は、作業者300の作業領域とロボット400の作業領域とが重なる共通領域が存在する作業環境において、作業者300およびロボット400の安全な作業を確保するための領域である。ロボット400の動作の制限とは、ロボット400の動作を完全に停止させることである。防護領域は、複数の領域を設定することが可能であり、例えば、作業者300が共通領域で作業する場合に設定される作業者用防護領域と、ロボット400が共通領域で作業する場合に設定されるロボット用防護領域とを含む。
図3は、作業者用防護領域の一例を示す図である。図3の例では、作業者300は作業対象物500を保持している。作業対象物500は、作業者300およびロボット400により作業が行われる対象物である。作業者300は作業対象物500を載置台600に載置する。なお、載置台600が、作業者300の作業領域とロボット400の作業領域とが重なる共通領域である。その後、ロボット400は、載置台600に載置された作業対象物500に対して、作業を行なう。本実施形態では、ロボット400は、作業対象物500に対してラベル(図示せず)を貼る作業を行なう。作業が終了した作業対象物500(つまり、ラベルが貼られた作業対象物500)は、コンベアー(特に図示せず)などにより、終了後スペース610に移動される。
図3の例では、作業者300の作業とは、「作業対象物500を載置台600に載置すること」である。また、ロボット400の作業とは、「載置台600に載置された作業対象物500に対してラベルを貼ること」である。作業者300の作業領域とロボット400の作業領域とは載置台600(共通領域)で重なっており、作業者300の作業とロボット400の作業とを順に行なうことにより、作業対象物500に対してラベルを貼ることができる。しかし、載置台600において作業者300の作業とロボット400の作業とが同じタイミングで行われると、作業者300とロボット400との接触事故が発生する可能性がある。そこで、監視装置100は、当該接触事故を防ぐために、作業者300が載置台600において安全に作業することができるように主にロボット400の動きを監視する作業者用防護領域と、ロボット400が載置台600において安全に作業することができるように主に作業者300の動きを監視するロボット用防護領域とを設定している。
図3の例では、ハッチングが付された領域が、作業者用防護領域602である。載置台600の領域は、作業者300の作業領域と、ロボット400の作業領域とが重なる領域に含まれる。以下では、載置台600の領域を共通領域600Aという。作業者用防護領域602は、作業者300が作業するときに、該作業者とロボット400と衝突しないように仮想的に設定された領域である。作業者300とロボット400との少なくとも一方が、作業者用防護領域602に侵入したと監視システム1により判定された場合には、監視システム1は、作業領域α内に存在する全てのロボット400の動作を制限する。また、図3に示すように、何ら作業をしていないロボット400の位置を「初期位置」という。図3のロボット400は、初期位置に存在する。
図3の例での作業者用防護領域602は、載置台600を基準として作業者300とは反対側の領域のうち、初期位置に存在するロボット400が存在する初期位置領域400aを除外した領域である。そのため、監視システム1は、ロボット400が初期位置から動き出した場合、作業者用防護領域602に侵入したと判定することができる。
図4は、作業者300が、作業対象物500を載置台600に載置していることを示す図である。図4に示すように、作業者用防護領域602が設定されている状態では、ロボット400の動作が制限されることなく、作業者300は、安全に作業を行なうことができる(作業対象物500を載置台600に載置させることができる)。作業者用防護領域602が設定されている状態では、ロボット400は動作しない。
作業者300が作業を終了した後(作業対象物500を載置台600に載置させた後)、作業者300は、選択スイッチ350を操作する。選択スイッチ350が操作されると、監視装置100は、作業者用防護領域から、ロボット防護領域に切替える。図5は、ロボット防護領域の一例を示す図である。図5の例では、ハッチングが付された領域が、ロボット用防護領域604である。
図5の例では、作業対象物500が、載置台600に載置されている。ロボット400は、載置台600に載置された作業対象物500に対して作業を行なう。ロボット用防護領域604は、ロボット400が作業するときに、該ロボット400と作業者300とが衝突しないように仮想的に設定された領域である。作業者300とロボット400との少なくとも一方が、ロボット用防護領域604に侵入したと監視システム1に判定された場合には、監視システム1は、作業領域α内に存在する全てのロボット400の動作を制限する。
図5の例でのロボット用防護領域604は、ロボット400の周縁の領域および載置台600の周縁の領域から、ロボットが作業するときに該ロボット400が通過する全ての領域400bを除外した領域である。そのため、監視システム1は、ロボット400が初期位置から動き出した場合でも、ロボット用防護領域604に侵入したと判定することはないが、載置台600の周縁に作業者300が近付くとロボット用防護領域604に侵入したと判定することができる。
このように、本実施形態の監視システム1は、作業者用防護領域602およびロボット用防護領域604のいずれか一方を仮想的に設定することができる。作業者用防護領域602は、共通領域600Aにおいて作業者300が作業する場合の防護領域である。ロボット用防護領域604は、共通領域600Aにおいてロボット400が作業する場合の防護領域である。また、作業領域αには、表示装置800が設置されている。表示装置800は監視装置100と接続されている。表示装置800は、設定されている防護領域を視覚的に表示領域800aに表示する。たとえば、図3に示すように、作業者用防護領域602が設定されているときには、表示装置800は、作業者用防護領域602を視覚的に表示する。また、ロボット用防護領域604が設定されているときには、表示装置800は、ロボット用防護領域604を視覚的に表示する。このような表示装置800を備えることにより、作業者300は、設定されている防護領域を認識できることから、作業の安全性を高めることができる。
<監視装置100の機能構成例>
次に、監視装置100の機能構成例などについて説明する。図6は、監視装置100の機能構成例を示した図である。監視装置100は、領域設定部102と、判定部104と、制限部106と、切替部108とを備える。なお、CPU121が、監視装置100は、領域設定部102と、判定部104と、制限部106と、切替部108として機能する。
また、監視装置100は、表示装置800と、選択スイッチ350と、カメラ4と、ロボットの動作を制御するロボットコントローラ200とに接続されている。領域設定部102は、カメラ4が撮像できる空間座標において、作業者300およびロボット400の安全な作業を確保するため少なくとも1つの防護領域を設定する。本実施形態の領域設定部102が設定する防護領域は、2つの防護領域である。該2つの防護領域は、作業者用防護領域602と、ロボット用防護領域604とである。
作業者300などにより選択スイッチ350が操作されたときには、該操作されたことを示す操作信号が、該選択スイッチ350から切替部108に対して送信される。切替部108は、該操作信号を受信すると、領域設定部102に切替信号を送信する。領域設定部102が切替信号を受信すると、領域設定部102は、2つの防護領域のうち設定していた防護領域から、他方の防護領域に切替える。たとえば、領域設定部102が作業者用防護領域602を設定している場合において、選択スイッチ350が操作されたときには、領域設定部102は、ロボット用防護領域604を設定する(ロボット用防護領域604に切替える)。領域設定部102がロボット用防護領域604を設定している場合において、選択スイッチ350が操作されたときには、領域設定部102は、作業者用防護領域602を設定する(作業者用防護領域602に切替える)。
領域設定部102は、設定している防護領域を示す情報を表示装置800および判定部104に対して送信する。領域設定部102が、防護領域を示す情報を送信するタイミングは、該防護領域が切替えられたタイミングとすればよい。また、カメラ4で撮像された撮像画像は、判定部104に入力される。判定部104は、該撮像画像に対して画像処理を行なうことにより、領域設定部102により入力された防護領域に、作業者300およびロボット400のうち少なくとも一方が侵入したか否かを判定する。領域設定部102から入力された防護領域は、3次元の座標(x座標、y座標、z座標)の範囲を示すものである。以下、該判定手法の一例について説明する。
判定部104は、撮像画像内において、作業者300およびロボット400を認識する。該認識の手法の一例として、ROM122には、作業者300の特徴量、およびロボット400の特徴量がモデルとして予め格納されている。たとえば、作業者300の特徴量は、人間(作業者)の顔、および作業者が着用している作業服などである。また、ロボット400の特徴量は、ロボット400の色および形状などである。判定部104は、抽出された特徴量と、ROM122に格納されている特徴量との差分に応じて一致度を算出する。たとえば、この差分が大きければ、判定部104により算出される一致度は小さくなり、この差分が小さければ、判定部104により算出される一致度は大きくなる。判定部104は、一致度が予めさめられた閾値よりも高い特徴量の部分(領域)を作業者300またはロボット400として認識する。なお、作業者300およびロボット400の特定の手法は、これに限らず、他の手法を用いるようにしてもよい。
判定部104は、作業者300およびロボット400を認識することにより、該作業者300の座標(x座標、y座標、z座標)の範囲および該ロボット400の座標(x座標、y座標、z座標)の範囲を特定する。判定部104は、特定した作業者300の座標の範囲のうち少なくとも一部が、防護領域の座標の範囲に属すると判定した場合には、該作業者300が該防護領域に侵入したと判定する。また、判定部104は、特定したロボット400の座標の範囲のうち少なくとも一部が、防護領域の座標の範囲に属すると判定した場合には、該ロボット400が該防護領域に侵入したと判定する。
このように、判定部104は、カメラ4による撮像画像で特定された作業者300およびロボット400の位置に基づき、作業者300およびロボット400のうち少なくとも一方が防護領域に侵入したか否かを判定する。作業者300およびロボット400のうち少なくとも一方が防護領域に侵入したと判定部104で判定された場合に、該侵入したことを示す判定信号を制限部106に対して送信する。なお、判定部104で作業者300およびロボット400のいずれも防護領域に侵入していないと判定された場合には、該判定信号を制限部106に送信しない。
制限部106は、判定信号を受信すると、制限信号をロボットコントローラ200に対して送信する。ロボットコントローラ200は制限信号を受信すると、作業領域α内の全てのロボットの動作を完全に停止させる。
また、表示装置800は、領域設定部102から送信された防護領域に基づいて、該領域設定部102が設定している防護領域を視覚的に表示する。
<監視システム1のフローチャート>
次に、図7を用いて、監視装置100のフローチャートを説明する。図7は、監視システム1のフローチャートを示す図である。作業領域αの管理者などにより、作業領域αでの作業を開始させるための開始操作が実行されたときに、図7のフローチャートに示す処理は開始される。まず、S2において、領域設定部102により、作業領域α内の各ロボットについて防護領域が設定されているか否かが判断される。
該判断の手法の一例を説明する。領域設定部102により設定されている防護領域を示す防護領域情報が、RAM103に格納される。領域設定部102により、たとえば作業者用防護領域602が設定されているときには、該作業者用防護領域602を特定可能な作業者用防護領域情報がRAM103に格納される。また、領域設定部102により、たとえばロボット用防護領域604が設定されているときには、ロボット用防護領域を特定可能なロボット用防護領域情報がRAM103に格納される。領域設定部102は、防護領域情報(作業者用防護領域情報およびロボット用防護領域情報のいずれか一方)が、RAM103に格納されていると判断された場合には、S2でYESと判断する。一方、領域設定部102は、RAM103に防護領域情報が格納されていないと判断した場合には、S2でNOと判断する。たとえば、前日の作業が終了した際に、防護領域情報がRAM103に格納されている(残存している)場合には、S2でYESと判断される。一方、前日の作業が終了した際に、防護領域情報がRAM103に格納されていない(消去された)場合には、S2でNOと判断される。
S2でYESと判断された場合には、S4に進む。一方、S2でNOと判断された場合には、S6に進む。S4において、領域設定部102は、デフォルトの防護領域として、作業者用防護領域を設定する。これにより、作業者300は、スムーズに自分の作業を開始させることができる。
S6において、領域設定部102により設定されている防護領域(作業者用防護領域602およびロボット用防護領域604のうちのいずれかの防護領域)に、作業者300およびロボット400のうち少なくとも一方が侵入したか否かが判定部104により判断される。判定部104により作業者300およびロボット400のうち少なくとも一方が防護領域に侵入したと判断されると(S6のYES)、S8に進む。また、判定部104により作業者300およびロボット400のいずれもが防護領域に侵入していないと判断されると(S6のNO)、S10に進む。
S8において、制限部106は、作業領域α内の全てのロボット400の動作を制限する(制限信号をロボットコントローラ200に送信する)。S8の処理が終了すると、監視システム1の処理は終了する。S10において、切替部108は、選択スイッチ350が操作されたか否かが判断される。選択スイッチ350が操作されたと判断されると(S10のYES)、領域設定部102は、設定している防護領域を切り替える。たとえば、S12において、領域設定部102が作業者用防護領域602を設定していると判断した場合には(S12のYES)、S16において、領域設定部102は、ロボット用防護領域604を設定する。一方、領域設定部102がロボット用防護領域604を設定していると判断した場合には(S12のNO)、領域設定部102は、S14において、作業者用防護領域602を設定する。S14およびS16の処理が終了すると、S18に進む。
S18において、終了操作が実行されたか否かが判断される。ここで、終了操作とは、作業領域α内での作業が終了したときなどに、作業領域αの管理者などにより実行される操作である。S18において、NOと判断された場合には、S6に戻る。一方、S18において、YESと判断された場合には、監視装置100の処理は終了する。
<第1実施形態の効果>
次に、第1実施形態の効果について説明する。第1実施形態の監視システム1は、カメラ4で、作業者300およびロボット400による防護領域への侵入を検出可能である。したがって、たとえば、一のロボットを中心に作業者が作業できる共通領域を複数設けるような場合であっても、作業者300の作業領域とロボット400の作業領域とが重なる共通領域600Aが存在する作業環境(作業領域αでのロボット400の配置など)の設計を容易にすることができる。また、本実施形態では、作業領域αと、作業領域α以外の領域を隔離するための安全柵を不要とする。したがって、該安全柵を要する監視システムと比較して、作業ラインの設備コストを削減できる。
また、第1実施形態の監視システム1では、防護領域として、作業者用防護領域602とロボット用防護領域604とを切り替えることができる。したがって、作業者300が作業する場合およびロボット400が作業する場合のいずれの場合においても、作業者300の安全性を担保できる。
また、監視システム1は、作業者300などによる選択スイッチ350の操作により、防護領域を切り替える。したがって、該作業者300の作業ペースに合わせて防護領域を切り替えることができることから、該作業者300の利便性を向上させることができる。
[第2実施形態]
次に、第2実施形態に従う監視装置を含む監視システム2について説明する。図8は、第2実施形態の作業者用防護領域602を示す図である。図9は、第2実施形態のロボット用防護領域604を示す図である。また、監視システム2の構成例は、図1と同様である。
監視システム2と監視システム1とを比較すると、図8および図9に示すように、監視システム2は、検知領域650が設けられている点、および選択スイッチ350の代わりにロボット開始スイッチ700が設けられている点で、監視システム1とは異なる。
図8の例では、作業者300は、作業対象物500を保持している。また、ロボット400は、初期位置に存在している。作業者300は作業対象物500を載置台600に載置した後に、該作業者300は該ロボット開始スイッチ700を操作する。ロボット開始スイッチ700が作業者300などにより操作された場合において、作業者用防護領域602が設定されているときには、ロボット用防護領域604に切替えられるとともに、ロボット400の動作が開始する。なお、ロボット開始スイッチ700が作業者300などにより操作された場合において、ロボット用防護領域604が設定されているときには、該ロボット用防護領域604の設定が維持される。また、ロボット400の作業中に、ロボット開始スイッチ700が作業者300などにより操作された場合には、該ロボットの作業は続行される。
図9の例では、ロボット400は、載置台600に載置された作業対象物500に対して処理を実行している。その後、ロボット400の処理が終了すると、ロボット400は、初期位置に戻る。ここで、検知領域650は、初期位置に存在するロボット400の領域に含まれる位置に設けられている。つまり、ロボット400が初期位置に存在する場合には、該ロボット400は検知領域650に存在することになる。ロボット400が検知領域650に存在すると判断された場合において、ロボット用防護領域604が設定されているときには、作業者用防護領域602が設定される。なお、ロボット400が検知領域650に存在すると判断された場合において、作業者用防護領域602が設定されていると判断された場合には、作業者用防護領域602の設定が維持される。
このように、第2実施形態では、作業者用防護領域602からロボット用防護領域604への切替は、ロボット開始スイッチ700の操作が契機となる一方、ロボット用防護領域604から作業者用防護領域602への切替は、ロボット400が検知領域650(初期位置)に位置したことが契機となる。
図10は、第2実施形態の監視装置160の機能構成例を示した図である。図10を用いて監視装置160の機能構成例を説明する。また、図10の説明においては、図6の説明とは異なる箇所を主に説明する。
ロボット開始スイッチ700が操作されたときには、該操作されたことを示す操作信号が、該ロボット開始スイッチ700から切替部108およびロボットコントローラ200に対して送信される。ロボットコントローラ200は、該操作信号を受信すると、該操作されたロボット開始スイッチに対応するロボット400の動作を開始させる。また、判定部104は、撮像画像から、ロボット400が検知領域650に存在すると判定した場合には、該判定した旨を示す検知領域判定信号が切替部108に送信される。検知領域650の座標(x座標、y座標、z座標)の範囲は予め定められており、所定の記憶領域(たとえば、RAM103)に格納されている。
切替部108は、検知領域判定信号を受信すると、切替信号を領域設定部102に送信することにより、ロボット用防護領域604に設定されている場合には作業者用防護領域602に切替えさせる。
図11は、第2実施形態の監視システム2の処理フローを示す図である。S6において、NOと判断された場合には、S30に進む。S30において、切替部108は、ロボット開始スイッチ700が操作されたか否かを判断する。切替部108により、ロボット開始スイッチ700が操作されたと判断された場合(S30のYES)には、S34に進む。一方、切替部108により、ロボット開始スイッチ700が操作されていないと判断された場合(S30のNO)には、S36に進む。
S34では、領域設定部102は、判定部104により作業者用防護領域602が設定されている場合には、ロボット用防護領域604に切り替える。なお、S34では、領域設定部102は、ロボット用防護領域604が設定されている場合には、領域設定部102は、ロボット用防護領域604の設定を維持する。S34の処理が終了すると、S18に進む。
また、S36では、判定部104は、ロボット400の動作後(ロボットの作業終了後)、該ロボット400が検知領域650に存在するか否かを判定する。つまり、S36では、ロボット400の作業が終了した後に、該ロボット400が検知領域650に戻ってきたか否かが判定される。判定部104により、ロボット400が検知領域650に存在すると判定された場合(S36のYES)には、S38に進む。また、判定部104により、ロボット400が検知領域650に存在しないと判定された場合(S36のNO)には、S18に進む。
S38では、領域設定部102は、判定部104によりロボット用防護領域604が設定されている場合には、作業者用防護領域602に切り替える。なお、S38では、領域設定部102は、作業者用防護領域602が設定されていると判定された場合には、領域設定部102は、作業者用防護領域602の設定を維持する。
第2実施形態の監視システム2によれば、ロボット400の処理が終了することにより、ロボット400が初期位置に戻った場合には、該ロボット400が検知領域650に存在することになる。該ロボット400が検知領域650に存在すると判定された場合には、ロボット用防護領域604から作業者用防護領域602に切替えられる。このように、第2実施形態の監視システム2によれば、ロボット400の処理が終了したときに、作業者300の操作を必要とせずに、自動的に、ロボット用防護領域604から作業者用防護領域602に切替える。したがって、作業者300の利便性を向上させることができる。
[第3実施形態]
次に、第3実施形態に従う監視装置を含む監視システム3について説明する。また、監視システム3の構成例は、図1と同様である。監視システム3では、第1実施形態で説明した選択スイッチ350と、検知領域650とを組合わせたものである。また、第3実施形態の作業者用防護領域602およびロボット用防護領域604については、図8および図9のロボット開始スイッチ700が選択スイッチ350に代替された図である。
第3実施形態では、図8に示すように、ロボット400が検知領域650に存在する場合(たとえば、ロボット400が初期位置に存在することにより、作業を実行していない場合)において、選択スイッチ350が操作されたときには、防護領域は切替えられる。一方、図9に示すように、ロボット400が検知領域650に存在しない場合(たとえば、ロボット400が作業中である場合)において、選択スイッチ350が操作されたとしても、防護領域は切替えられない。
図12は、第3実施形態の監視装置170の機能構成例を示したものである。ロボット400が検知領域650に存在すると判定部104により判定されている場合において、選択スイッチ350が操作されたときには、切替部108は、防護領域を領域設定部102に切替えさせる。一方、ロボット400が検知領域650に存在しないと判定部104により判定されている場合において、選択スイッチ350が操作されても、切替部108は、防護領域を領域設定部102に切替えさせない(防護領域の切替えを中止する)。
図13は、第3実施形態の監視システム3のフローチャートを示した図である。S10において、切替部108は、選択スイッチ350が操作されたか否かが判断される。選択スイッチ350が操作されたと判断されると(S10のYES)、S40に進む。
S40において、判定部104は、ロボット400が検知領域650に存在するか否かを判定する。S40においてロボットが検知領域650に存在すると判定された場合には(S40のYES)、作業者用防護領域602が設定されている筈なので、S16において、領域設定部102は、ロボット用防護領域604を設定する。なお、S16において、ロボット用防護領域604が設定されている場合には、領域設定部102は、作業者用防護領域602を設定する。S16の処理が終了するとS18に進む。また、S40においてロボットが検知領域650に存在しないと判定された場合(S40のNO)、つまり、ロボット400が作業中であること、およびロボット用防護領域604が設定されていることのいずれもの可能性が高い場合には、防護領域の切替を行わず(作業者用防護領域602に切替えず)、S18の処理に進む。
次に、第3実施形態の監視システム3の効果について説明する。仮に、選択スイッチ350が操作された場合において、ロボット400が検知領域650に存在しない場合(たとえば、図9に示すように、ロボット400が作業中である場合)に、作業者用防護領域に切替えられると、作業者は該作業者用防護領域に侵入可能となってしまう。そうすると、作業者用防護領域に侵入した作業者300は、作業中のロボット400と衝突する可能性がある。これに対し、第3実施形態の監視システム1によれば、選択スイッチ350が操作された場合において、ロボット400が検知領域650に存在しない場合(たとえば、図9に示すように、ロボット400が作業中である可能性が高い場合)には、防護領域は切替えられない(作業者用防護領域に切替えられずにロボット防護領域の設定は維持されたままである)。したがって、作業者300が、作業中のロボット400と衝突することを防止できることから、作業者300の安全性を高めることができる。
また、監視システム3は、作業者300などによる選択スイッチ350の操作により、防護領域を切り替える。したがって、該作業者300の作業ペースに合わせて防護領域を切り替えることができることから、該作業者300の利便性を向上させることができる。
また、監視システム3は、ロボット400の処理が終了したときに、作業者300の操作を必要とせずに、自動的に、ロボット用防護領域604から作業者用防護領域602に切替える。したがって、作業者300の利便性を向上させることができる。
[領域について]
次に、作業領域αの他に設けられている領域を説明する。図14は、作業領域αなどの各領域を示した図である。図14の例では、各領域を上から見たものである。上述したように、作業領域α内に設置されている全てのロボット400についての防護領域は、該作業領域αに含まれる。また、図14の例では、作業領域αの全てを含む領域として警告領域βが設けられている。警告領域βは、カメラ4が認識できる空間座標において、作業者300が防護領域(作業領域α)への侵入を警告するための領域である。作業者300が、警告領域βに侵入したと判定部104により判定された場合には、警告装置(図示せず)が警告領域βに侵入した旨の警告報知を実行する。警告報知は、たとえば、警告装置が警告音の出力処理と、警告メッセージの表示処理とのうち少なくとも一方を含む。
このように、作業領域αの外部の領域に警告領域βを仮想的に設けることにより、作業領域α内での安全性を高めることができる。また、図14の思想は、第1実施形態〜第3実施形態の監視システムのうち少なくとも1つの監視システムに適用可能である。
[変形例]
以上、本発明の実施例を図面により説明してきたが、本発明はこの実施例に限定されるものではない。本発明は、上記の実施例に限られず、種々の変形、応用が可能である。以下、本発明に適用可能な変形例などについて説明する。
[防護領域を切替える契機について]
次に、本変形例に従う監視装置を含む監視システム4について説明する。また、監視システム4の構成例は、図1と同様である。上述した各実施形態では、防護領域を切替える契機として、選択スイッチ350への操作、ロボット400が検知領域650に存在することなどを例示した。しかしながら、防護領域を切替える契機は他の契機としてもよい。たとえば、防護領域を切替える契機は、作業者の位置としてもよい。
図15は、本変形例の作業者用防護領域602の一例を示す図である。また、図16は、本変形例のロボット用防護領域604の一例を示す図である。また、図15および図16に示すように、作業者300が作業するための領域である作業者領域900が定められている。作業者領域900とは、作業者300が作業する場合に、該作業者300が存在する領域であって、たとえば、載置台600の近傍の領域である。なお、図16に示すように、作業者領域900は、ロボット用防護領域604の一部と重畳されている。また、図15および図16に示すように、選択スイッチ350が省略されている。
本変形例では、図15に示すように、作業者300が作業者領域900に侵入したときには、防護領域が作業者防護領域602に切替る。これとともに、ロボット400が動作中であれば該ロボット400の動作は停止し、ロボット400が停止中であれば該ロボット400の停止は維持される。
また、図16に示すように、作業者300が作業者領域900に存在しなくなった場合には、防護領域がロボット防護領域604に切替る。これとともに、ロボット400が停止中であり、かつロボット400が実行すべき処理が存在している場合には、ロボット400が該処理の実行を開始する。
図17は、本変形例の監視装置180の機能構成例を示した図である。図17と、図6とを比較すると、選択スイッチ350の記載が省略されている点、および判定部104から切替部108に対して判定信号が送信されている点で異なり、その他の点では一致する。
判定部104は、カメラ4で特定した作業者300の位置に基づき、作業者300が作業者領域900に侵入したか否か、つまり、作業者300が作業者領域900に存在していない状態から作業者領域900に存在した状態に変化したか否かを判定する。作業者300が作業者領域900に侵入したと判定部104が判定した場合には、作業者300が作業者領域900に侵入した旨を示す判定信号を切替部108に対して送信する。切替部108は、該判定信号を受信すると、領域設定部102に切替信号を送信する。
また、判定部104は、作業者300が作業者領域900に存在しなくなったか否か、つまり、作業者300が作業者領域900に存在している状態から作業者領域900に存在していない状態に変化したか否かを判定する。作業者300が作業者領域900に存在しなくなったと判定部104が判定した場合には、作業者300が作業者領域900に存在しなくなった旨を示す判定信号を切替部108に対して送信する。切替部108は、該判定信号を受信すると、領域設定部102に切替信号を送信する。
次に、図18を用いて、監視システム4のフローチャートを説明する。図18は、監視システム4のフローチャートを示す図である。図18において、S4の処理が終了すると、S60に進む。S60では、判定部104は、作業者300が作業者領域900に侵入したか否かを判定する。S60においてYESと判断された場合には、S14に進む。S14の処理が終了すると、S62において、監視装置180(たとえば、制限部106)は、ロボット400を初期位置に移動させる(図15参照)。また、S62において、ロボット400が初期位置に存在している場合には、該ロボット400の初期位置への制御を維持する。S62の処理が終了すると、S18に進む。
また、S60において、NOと判断された場合には、S61に進む。S61では、作業者300が作業者領域900から存在しなくなったか否かを判断する。S61において、YESと判断された場合には、S16に進む。S16の処理が終了すると、S64に進む。S64では、ロボット400が停止中であり、かつロボット400が実行すべき処理が存在している場合には、ロボット400が該処理の実行を開始する(動作を開始する)。S64において、ロボット400が動作中である場合には、該ロボット400の動作を維持する。また、S64において、ロボット400が停止中であっても、ロボット400が実行すべき処理が存在していない場合には、該ロボット400の停止は維持される。
本変形例の構成であれば、作業者300が、作業者領域900に侵入したと判定部104により判定された場合には(S60のYES)、作業者300は何ら操作することなく自動的に、防護領域が作業者用防護領域に切替えられる(S14)。したがって、作業者300の安全性を高めることができつつ、作業者300の利便性を向上させることができる。また、作業者300が、作業者領域900に存在しなくなったと判定部104により判定された場合には(S61のYES)、防護領域がロボット用防護領域に切替えられる(S16)。したがって、作業者300は何ら操作することなく自動的に、防護領域がロボット用防護領域に切替えられることから、ロボット400の作業効率(稼働率)を向上させることができつつ、作業者300の利便性を向上させることができる。
[防護領域の数について]
本実施形態では、防護領域の数は、作業者用防護領域602とロボット用防護領域604との2つであるとして説明した。しかしながら、防護領域の数は1であってもよく、3以上であってもよい。防護領域の数が1である場合には、たとえば、作業者用防護領域602およびロボット用防護領域604のうちのいずれか1つとしてもよい。また、安全性を考慮すると、1の防護領域は、ロボット用防護領域604とすることが好ましい。
次に、防護領域の数が3以上である構成について説明する。このような構成を採用した場合には、たとえば、作業者用防護領域602が複数種類存在するようにしてもよい。領域設定部102は、複数種類の作業者用防護領域602のうち、作業者の作業の種類に応じた作業者用防護領域に設定する。たとえば、作業者の作業の種類に応じて、作業者が侵入可能な領域が異なる構成について説明する。このような構成を採用している監視システムにおいて、作業者300が第1作業を行なう場合には、領域設定部102は、第1作業に応じた第1作業者用防護領域を設定し、作業者300が第2作業を行なう場合には、領域設定部102は、第2作業に応じた第2作業者用防護領域を設定する。第1作業者用防護領域および第2作業者用防護領域を図3を用いて説明すると、たとえば、第1作業者用防護領域は図3に示す作業者用防護領域602であり、第2作業者用防護領域は図3に示す作業者用防護領域602から載置台600の下の部分の領域を除外した領域である。
防護領域の数が3以上である構成については、ロボット用防護領域604が複数種類存在するようにしてもよい。領域設定部102は、複数種類のロボット用防護領域604のうち、ロボット400の作業の種類に応じたロボット用防護領域に設定する。たとえば、ロボットの作業の種類に応じて、ロボットの少なくとも一部が侵入可能な領域が異なる構成について説明する。このような構成を採用している監視システムにおいて、ロボット400が第1作業を行なう場合には、領域設定部102は、第1作業に応じた第1ロボット用防護領域を設定し、ロボット400が第2作業を行なう場合には、領域設定部102は、第2作業に応じた第2ロボット用防護領域を設定する。第1ロボット用防護領域および第2ロボット用防護領域を図5を用いて説明すると、たとえば、第1ロボット用防護領域は図5に示すロボット用防護領域604であり、第2ロボット用防護領域は図5に示すロボット用防護領域604から右端の領域を除外した領域である。
このように、作業者用防護領域およびロボット用防護領域のうち少なくとも一方の防護領域を複数種類、仮想的に設定可能とすることにより、本変形例の監視システムは、より細やかな防護領域の設定を実行することができる。
[ロボットの動作の制限について]
(1) 上述した実施形態では、作業者300およびロボット400のうち少なくとも一方が、設定されている防護領域に侵入したと判定された場合には、作業領域α内の全てのロボットの動作が制限されるとして説明した。しかしながら、作業者300およびロボット400のうち少なくとも一方が、設定されている防護領域に侵入したと判定された場合には、該防護領域に対応するロボット400のみの動作を制限するようにしてもよい。このような構成によれば、該ロボット400のみの動作を制限する一方、他のロボット400の動作は制限されないことから、全てのロボット400の動作を制限するものと比較して、作業領域α内での作業効率を向上させることができる。
(2) また、上述した実施形態では、ロボット400の制限とは、ロボット400の動作を完全に停止させることであるとして説明した。しかしながら、ロボット400の制限は、ロボット400の動作速度を遅めることであるとしてもよい。
[ロボットが移動可能である場合]
作業領域α内のロボットのうち少なくとも1のロボットが移動可能である場合にも、本願発明は、適用可能である。たとえば、作業者と、移動可能ロボットとが協調して作業している場合において、作業者防護領域からロボット防護領域に切替える契機が成立したときには、領域設定部は、該移動可能ロボットの位置の座標を検出し、座標に基づいて、ロボット防護領域を設定するようにしてもよい。また、該座標から該ロボット防護領域を変換するためのパラメータは予め定めておき、所定の記憶領域(たとえば、RAM103)に格納するようにしてもよい。このような構成を採用した監視システムであっても、上述した各実施形態の効果を奏する。
[その他]
また、監視装置における処理は、各ハードウェアおよびCPU121により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリに予め記憶されている場合がある。また、ソフトウェアは、メモリカードその他の記録媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、ICカードリーダライタその他の読取装置によりその記録媒体から読み取られて、あるいは、通信IFを介してダウンロードされた後、フラッシュメモリに一旦格納される。そのソフトウェアは、CPU121によってフラッシュメモリから読み出され、さらにフラッシュメモリに実行可能なプログラムの形式で格納される。CPU121は、そのプログラムを実行する。
図2に示される監視装置100を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュメモリ、メモリカードその他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。
なお、記録媒体としては、DVD-ROM、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
4 カメラ、100 監視装置、102 領域設定部、103 RAM、104 判定部、106 制限部、108 切替部、122 ROM、200 ロボットコントローラ、300 作業者、350 選択スイッチ、400 ロボット、400a 初期位置領域、400b 領域、402 台部、404 アーム、500 作業対象物、600 載置台、600A 共通領域、602 作業者用防護領域、604 ロボット用防護領域。
本発明のある局面によれば、安全に作業できるように作業者およびロボットの動作を監視する監視装置を含む監視システムであって、三次元空間での作業者およびロボットの位置を特定する少なくとも1つの三次元検出部と、三次元検出部が認識できる空間座標において、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定する領域設定部と、三次元検出部で特定した作業者およびロボットの位置に基づき、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定する判定部と、判定部で作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限する制限部と、領域設定部で複数の防護領域を設定した場合、設定した複数の防護領域のうちから判定を実行する防護領域切替える切替部とを備え、領域設定部は、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域と、共通領域においてロボットが作業する場合の防護領域とを設定可能である。
好ましくは、設定した複数の防護領域のうちから判定を実行する防護領域を選択する選択スイッチをさらに備え、切替部は、選択スイッチに基づき、判定を実行する防護領域切替える。
好ましくは、三次元検出部が認識できる空間座標において、ロボットの位置を検知するための検知領域を設定する検知領域設定部をさらに備え、判定部は、三次元検出部で特定したロボットの位置に基づき、ロボットが検知領域にあるか否かを判定し、切替部は、判定部でロボットが検知領域にあると判定した場合、判定を実行する防護領域切替える。
本発明の別の局面に従う監視装置は、安全に作業できるように作業者およびロボットの動作を監視し、三次元空間での作業者およびロボットの位置を特定する少なくとも1つの三次元検出部が認識できる空間座標において、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定する領域設定部と、三次元検出部で特定した作業者およびロボットの位置に基づき、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定する判定部と、判定部で作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限する制限部と、領域設定部で複数の防護領域を設定した場合、設定した複数の防護領域のうちから判定を実行する防護領域切替える切替部とを備え、領域設定部は、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域と、共通領域においてロボットが作業する場合の防護領域とを設定可能である。
本発明の別の局面に従う監視方法は、安全に作業できるように作業者およびロボットの動作を監視し、三次元空間での作業者およびロボットの位置を特定する少なくとも1つの三次元検出部が認識できる空間座標において、作業者およびロボットの安全な作業を確保するため少なくとも1つの防護領域を設定するステップと、三次元検出部で特定した作業者およびロボットの位置に基づき、作業者およびロボットのうち少なくとも一方が防護領域に侵入したか否かを判定するステップと、作業者およびロボットのうち少なくとも一方が防護領域に侵入したと判定した場合、ロボットの動作を制限するステップと、複数の防護領域を設定した場合、設定した複数の防護領域のうちから判定を実行する防護領域切替えるステップとを備え、作業者の作業領域とロボットの作業領域とが重なる共通領域において作業者が作業する場合の防護領域と、共通領域においてロボットが作業する場合の防護領域とを設定可能である。

Claims (10)

  1. 安全に作業できるように作業者およびロボットの動作を監視する監視装置を含む監視システムであって、
    三次元空間での前記作業者および前記ロボットの位置を特定する少なくとも1つの三次元検出部と、
    前記三次元検出部が認識できる空間座標において、前記作業者および前記ロボットの安全な作業を確保するため少なくとも1つの防護領域を設定する領域設定部と、
    前記三次元検出部で特定した前記作業者および前記ロボットの位置に基づき、前記作業者および前記ロボットのうち少なくとも一方が前記防護領域に侵入したか否かを判定する判定部と、
    前記判定部で前記作業者および前記ロボットのうち少なくとも一方が前記防護領域に侵入したと判定した場合、前記ロボットの動作を制限する制限部と、
    前記領域設定部で複数の前記防護領域を設定した場合、設定した複数の前記防護領域のうちから実行する前記防護領域に切替える切替部とを備え、
    前記領域設定部は、前記作業者の作業領域と前記ロボットの作業領域とが重なる共通領域において前記作業者が作業する場合の前記防護領域と、前記共通領域において前記ロボットが作業する場合の前記防護領域とを設定可能である、監視システム。
  2. 設定した複数の前記防護領域のうちから実行する前記防護領域を選択する選択スイッチをさらに備え、
    前記切替部は、前記選択スイッチに基づき、実行する前記防護領域に切替える、請求項1に記載の監視システム。
  3. 前記三次元検出部が認識できる空間座標において、前記ロボットの位置を検知するための検知領域を設定する検知領域設定部をさらに備え、
    前記判定部は、前記三次元検出部で特定した前記ロボットの位置に基づき、前記ロボットが前記検知領域にあるか否かを判定し、
    前記切替部は、前記判定部で前記ロボットが前記検知領域にあると判定した場合、実行する前記防護領域に切替える、請求項1に記載の監視システム。
  4. 前記三次元検出部が認識できる空間座標において、前記ロボットの位置を検知するための検知領域を設定する検知領域設定部をさらに備え、
    前記判定部は、前記三次元検出部で特定した前記ロボットの位置に基づき、前記ロボットが前記検知領域にあるか否かを判定し、
    前記切替部は、前記選択スイッチが操作されても、前記判定部で前記ロボットが前記検知領域にいないと判定した場合、前記防護領域の切替えを中止する、請求項2に記載の監視システム。
  5. 前記判定部は、前記三次元検出部で特定した前記作業者の位置に基づき、前記作業者が前記作業者の作業領域にあるか否かを判定し、
    前記切替部は、前記判定部で前記作業者が前記作業者の作業領域にあると判定した場合、実行する前記防護領域に切替える、請求項1〜請求項4のいずれか1項に記載の監視システム。
  6. 前記切替部は、前記判定部で前記作業者が前記作業者の作業領域にいないと判定した場合、実行する前記防護領域に切替える、請求項5に記載の監視システム。
  7. 前記三次元検出部が認識できる空間座標において、前記作業者が前記防護領域への侵入を警告するための警告領域を前記防護領域の外側に設定する警告領域設定部をさらに備える、請求項1〜請求項6のいずれか1項に記載の監視システム。
  8. 前記領域設定部で設定した前記防護領域を視覚的に表示する表示部をさらに備える、請求項1〜請求項7のいずれか1項に記載の監視システム。
  9. 安全に作業できるように作業者およびロボットの動作を監視する監視装置であって、
    三次元空間での前記作業者および前記ロボットの位置を特定する少なくとも1つの三次元検出部が認識できる空間座標において、前記作業者および前記ロボットの安全な作業を確保するため少なくとも1つの防護領域を設定する領域設定部と、
    前記三次元検出部で特定した前記作業者および前記ロボットの位置に基づき、前記作業者および前記ロボットのうち少なくとも一方が前記防護領域に侵入したか否かを判定する判定部と、
    前記判定部で前記作業者および前記ロボットのうち少なくとも一方が前記防護領域に侵入したと判定した場合、前記ロボットの動作を制限する制限部と、
    前記領域設定部で複数の前記防護領域を設定した場合、設定した複数の前記防護領域のうちから実行する前記防護領域に切替える切替部とを備え、
    前記領域設定部は、前記作業者の作業領域と前記ロボットの作業領域とが重なる共通領域において前記作業者が作業する場合の前記防護領域と、前記共通領域において前記ロボットが作業する場合の前記防護領域とを設定可能である、監視装置。
  10. 安全に作業できるように作業者およびロボットの動作を監視する監視方法であって、
    三次元空間での前記作業者および前記ロボットの位置を特定する少なくとも1つの三次元検出部が認識できる空間座標において、前記作業者および前記ロボットの安全な作業を確保するため少なくとも1つの防護領域を設定するステップと、
    前記三次元検出部で特定した前記作業者および前記ロボットの位置に基づき、前記作業者および前記ロボットのうち少なくとも一方が前記防護領域に侵入したか否かを判定するステップと、
    前記作業者および前記ロボットのうち少なくとも一方が前記防護領域に侵入したと判定した場合、前記ロボットの動作を制限するステップと、
    複数の前記防護領域を設定した場合、設定した複数の前記防護領域のうちから実行する前記防護領域に切替えるステップとを備え、
    前記作業者の作業領域と前記ロボットの作業領域とが重なる共通領域において前記作業者が作業する場合の前記防護領域と、前記共通領域において前記ロボットが作業する場合の前記防護領域とを設定可能である、監視方法。
JP2016214062A 2016-11-01 2016-11-01 監視システム、監視装置、および監視方法 Expired - Fee Related JP6822069B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016214062A JP6822069B2 (ja) 2016-11-01 2016-11-01 監視システム、監視装置、および監視方法
US15/705,279 US10379513B2 (en) 2016-11-01 2017-09-15 Monitoring system, monitoring device, and monitoring method
CN201710837968.3A CN108008663B (zh) 2016-11-01 2017-09-15 监测系统、监测装置以及监测方法
EP17191539.0A EP3315268B1 (en) 2016-11-01 2017-09-18 Monitoring device and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016214062A JP6822069B2 (ja) 2016-11-01 2016-11-01 監視システム、監視装置、および監視方法

Publications (2)

Publication Number Publication Date
JP2018069401A true JP2018069401A (ja) 2018-05-10
JP6822069B2 JP6822069B2 (ja) 2021-01-27

Family

ID=59901415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016214062A Expired - Fee Related JP6822069B2 (ja) 2016-11-01 2016-11-01 監視システム、監視装置、および監視方法

Country Status (4)

Country Link
US (1) US10379513B2 (ja)
EP (1) EP3315268B1 (ja)
JP (1) JP6822069B2 (ja)
CN (1) CN108008663B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020142344A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 環境監視システム
JP2021149668A (ja) * 2020-03-19 2021-09-27 Totalmasters株式会社 建設現場安全管理装置
WO2023062796A1 (ja) * 2021-10-14 2023-04-20 ファナック株式会社 複数の構成部材を含むロボットを制御する制御装置、制御装置を備えるロボット装置、およびパラメータを設定する操作装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822069B2 (ja) * 2016-11-01 2021-01-27 オムロン株式会社 監視システム、監視装置、および監視方法
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
EP3580735B1 (en) 2017-02-07 2022-08-17 Veo Robotics, Inc. Workspace safety monitoring and equipment control
JP2018176397A (ja) * 2017-04-21 2018-11-15 オムロン株式会社 ロボットシステム
EP3422053B1 (en) * 2017-06-28 2021-05-19 Datalogic IP Tech S.r.l. Safety system
EP3437804A1 (en) * 2017-08-02 2019-02-06 ABB Schweiz AG Robot control method
JP6633584B2 (ja) * 2017-10-02 2020-01-22 ファナック株式会社 ロボットシステム
US11951634B2 (en) * 2019-03-15 2024-04-09 Eid Robotics Oy System and a method for forming a controlled safety area for a manipulator
JP7036078B2 (ja) 2019-03-28 2022-03-15 オムロン株式会社 制御システム、制御方法、および制御ユニット
CN113677484B (zh) 2019-04-16 2023-03-24 Abb瑞士股份有限公司 处理安全的方法、控制系统以及工业系统
JP2020189367A (ja) * 2019-05-22 2020-11-26 セイコーエプソン株式会社 ロボットシステム
JP7333940B2 (ja) * 2019-05-31 2023-08-28 Johnan株式会社 制御装置、制御方法およびプログラム
DE102019114854B4 (de) * 2019-06-03 2021-06-24 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zur energieeffizienten Ausführung einer Sicherheitsfunktion
TWI730861B (zh) * 2020-07-31 2021-06-11 國立勤益科技大學 人群間違反社交距離警示方法
JP2022175508A (ja) * 2021-05-13 2022-11-25 オムロン株式会社 領域設定装置、ラック、制御システム、領域設定方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283450A (ja) * 2006-04-18 2007-11-01 National Institute Of Advanced Industrial & Technology 人間ロボット共存作業用安全装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5035768B1 (ja) 1970-08-07 1975-11-19
JPS5035768A (ja) 1973-08-02 1975-04-04
US7768549B2 (en) * 2001-06-08 2010-08-03 Honeywell International Inc. Machine safety system with mutual exclusion zone
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
DE102004043515A1 (de) * 2004-09-08 2006-03-09 Sick Ag Verfahren und Vorrichtung zum Erfassen eines Objekts
DE102004043514A1 (de) * 2004-09-08 2006-03-09 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
DE102005063217C5 (de) * 2005-12-22 2022-08-18 Pilz Gmbh & Co. Kg Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung
JP4844453B2 (ja) * 2007-04-09 2011-12-28 株式会社デンソーウェーブ ロボットの教示装置及び教示方法
DE102007018391A1 (de) * 2007-04-17 2008-10-23 Bihl+Wiedemann Gmbh AS Interface Safety-at-Work Slave mit direktschaltendem Ausgang
JP5013995B2 (ja) * 2007-07-03 2012-08-29 綜合警備保障株式会社 監視システム
DE102008062995A1 (de) * 2008-12-23 2010-06-24 Sick Ag 3D-Kamera zur Raumüberwachung
DE102010002250B4 (de) 2010-02-23 2022-01-20 pmdtechnologies ag Überwachungssystem
JP5722127B2 (ja) * 2011-06-07 2015-05-20 株式会社小松製作所 作業車両の周辺監視装置
DE102012102236A1 (de) * 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine
WO2013140579A1 (ja) * 2012-03-22 2013-09-26 株式会社安川電機 作業ロボットおよびロボットシステム
US9694497B2 (en) * 2012-07-10 2017-07-04 Siemens Aktiengesellschaft Robot arrangement and method for controlling a robot
CN102956084B (zh) * 2012-09-16 2014-09-17 中国安全生产科学研究院 三维空间安全防护系统
DE102013106514B3 (de) * 2013-06-21 2014-10-30 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine
JP6822069B2 (ja) * 2016-11-01 2021-01-27 オムロン株式会社 監視システム、監視装置、および監視方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283450A (ja) * 2006-04-18 2007-11-01 National Institute Of Advanced Industrial & Technology 人間ロボット共存作業用安全装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020142344A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 環境監視システム
JP2021149668A (ja) * 2020-03-19 2021-09-27 Totalmasters株式会社 建設現場安全管理装置
JP7112758B2 (ja) 2020-03-19 2022-08-04 Totalmasters株式会社 建設現場安全管理装置
WO2023062796A1 (ja) * 2021-10-14 2023-04-20 ファナック株式会社 複数の構成部材を含むロボットを制御する制御装置、制御装置を備えるロボット装置、およびパラメータを設定する操作装置

Also Published As

Publication number Publication date
US20180120804A1 (en) 2018-05-03
CN108008663B (zh) 2020-06-30
US10379513B2 (en) 2019-08-13
JP6822069B2 (ja) 2021-01-27
CN108008663A (zh) 2018-05-08
EP3315268B1 (en) 2023-03-08
EP3315268A1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
JP6822069B2 (ja) 監視システム、監視装置、および監視方法
JP5549724B2 (ja) ロボットシステム
US10452939B2 (en) Monitoring system, monitoring device, and monitoring method
US10302251B2 (en) Apparatus and method for safeguarding an automatically operating machine
US9122266B2 (en) Camera-based monitoring of machines with mobile machine elements for collision prevention
US20180349654A1 (en) Safety control device, method of controlling safety control device, and recording medium
JP6633584B2 (ja) ロボットシステム
JP7052203B2 (ja) 安全制御装置、安全制御方法およびプログラム
JP7043968B2 (ja) 監視システムおよび監視方法
KR20150121056A (ko) 이동체를 감시하는 장치 및 방법
KR20150031985A (ko) 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법
CN110497400A (zh) 一种机器人控制方法和装置
US12023813B2 (en) Control system, control method, and control unit
JP2018176397A (ja) ロボットシステム
JP7401965B2 (ja) 安全制御システム
CN109794967B (zh) 用于在使用阶段期间保护机器人的工作区域的方法和设备
JP5691764B2 (ja) 置き去り又は持ち去り検知システム
JP6174871B2 (ja) 監視装置の制御方法
JP7310297B2 (ja) 作業ロボットおよびその制御方法
JP6174872B2 (ja) 監視装置の制御方法
JP2019075706A (ja) 監視システム
KR20180119380A (ko) 산업용 로봇 안전 방법 및 시스템
CN115153355A (zh) 清洁机器人及其清洁控制方法、装置及存储介质
CN116564040A (zh) 一种基于视频和位置定位的电力作业场所联动预警方法
JP6182331B2 (ja) 監視装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees