JP2006501487A - 危険領域を保護する方法および装置 - Google Patents

危険領域を保護する方法および装置 Download PDF

Info

Publication number
JP2006501487A
JP2006501487A JP2005509659A JP2005509659A JP2006501487A JP 2006501487 A JP2006501487 A JP 2006501487A JP 2005509659 A JP2005509659 A JP 2005509659A JP 2005509659 A JP2005509659 A JP 2005509659A JP 2006501487 A JP2006501487 A JP 2006501487A
Authority
JP
Japan
Prior art keywords
image
images
scene analysis
dangerous area
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005509659A
Other languages
English (en)
Other versions
JP4405468B2 (ja
Inventor
ヴェーラー,クリスティアン
プログシュハ,ヴェルナー
クルーガー,ラース
デートリンク,ディートマー
ヴェンドラー,マーティン
Original Assignee
ピルツ ゲーエムベーハー アンド コー.カーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32043962&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2006501487(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from DE10245720A external-priority patent/DE10245720A1/de
Application filed by ピルツ ゲーエムベーハー アンド コー.カーゲー filed Critical ピルツ ゲーエムベーハー アンド コー.カーゲー
Publication of JP2006501487A publication Critical patent/JP2006501487A/ja
Application granted granted Critical
Publication of JP4405468B2 publication Critical patent/JP4405468B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Continuous Casting (AREA)
  • Laser Surgery Devices (AREA)

Abstract

【課題】自動動作機械の危険領域を、設置に大きな費用はかからないが、十分な信頼性をもって保護する。
【解決手段】危険領域(58)、特に自動動作機械(60)の危険領域を保護するために、危険領域(58)の画像は、互いにずれて配置される少なくとも第1および第2画像記録ユニット(16,18)を用いて記録される。場面の画像は、異なる3次元場面分析方法(46,44)を用いて、3次元場面分析を受け、かつ危険領域(58)は、場面分析方法(44,46)の少なくとも一つが異物を検出するとき保護される。

Description

本発明は、危険領域、特に自動動作機械の危険領域を保護する方法に関するものであり、危険領域の少なくとも二つの画像は、少なくとも第1および第2画像記録ユニットによって、画像記録ユニットは、互いにずれて配置され、かつ危険領域の異物は、画像の場面分析により検出される。
本発明はまた、危険領域、特に自動動作機械の危険領域を保護する装置に関するものであり、危険領域の少なくとも二つの画像を記録する少なくとも第1および第2画像記録ユニットを有し、該画像記録ユニットは、互いにずれて配置され、かつ危険領域の異物を、これらの画像の場面分析によって検出する評価ユニットを有する。
この種類の方法および装置は、たとえば下記特許文献1に開示されている。
危険領域、特に機械および工場プラントの危険領域は、今までは、主に光バリア、光アレイ、またはレーザスキャナーを用いることによって、また頻繁に機械バリアと組み合わせて保護されてきた。しかしながら、一般に、そのような保護対策は、非常に複雑な設置および調整を必要とする。さらに、これらの保護対策は、危険領域の保護を異なる動作状況に適合させる必要がある場合にはあまり柔軟性がない。
これらの欠点を克服するために、しばらくの間、画像記録ユニット、典型的にはディジタルカメラによって、かつインテリジェント画像評価方法の助けを借りて危険領域を保護しようという試みがなされてきた。この点に関しては、一例として、下記特許文献2を参照する。この参考文献は、危険領域を保護する装置を開示しており、仮想バリアが、画像記録ユニットおよび人工「共同」ターゲットの助けを借りて危険領域の前で発生される。該バリアを突破することを、光バリアの場合と同じ方法で、画像記録ユニットを用いて検出することができる。適切な場合、それに危険が起因する機械は、そこで直ちにオフに切り換えられ、あるいはある他の方法で非危険状態にされる。
この公知の装置は、従来の光バリア等より、設置するのが既に実質的に容易でありかつ高いレベルの柔軟性を示すが、保護されるべき機械の領域の「共同ターゲット」を用いる設置対策が必要であるのが依然として欠点である。
互いにある間隔で配置される二つの画像記録ユニットを有する装置は、冒頭で述べた下記特許文献1に開示されている。二つの画像記録ユニットから評価ユニットに供給される画像は、危険領域の3次元画像を得るために立体画像分析を受ける。3次元画像は、危険領域の異物、すなわち許容しがたいように位置決めされた対象物を検出するために、その後3次元参照モデルと比較される。しかしながら、比較できる配置を用いる実際の実験から、異物が危険領域で検出されうる検出信頼性が不十分であることが明らかになってきた。これは、少なくとも自動動作機械等の危険領域を保護するそのような装置が、工業地域で使用されうる、すなわち人を保護することができる程度まで応用される。(30msの範囲の)極めて短い反応時間および事実上100%の検出信頼性が、そのような応用に必要とされる。
類似の装置および対応する方法はまた、下記特許文献3によって開示されており、かつ欠点について上で言ってきたことがまたここで適用される。
下記特許文献4は、いわゆる場面をモニターする装置および方法を開示している。その場面は、一つの画像記録ユニットを用いて記録され、かつ参照画像と比較される。場面の内部の個々の点は、詳細には、画像を記録するときにマーキングまたは個別化を得るために、光源により照明される。しかしながら、この方法は、このように特定の応用の場合における危険領域の場面の照明によって、散乱外部光が侵入するために故障が起こりやすくなるという欠点がある。外部光による故障は、特に、たとえば溶接ロボットを用いるあるいは大きなブレーキプレスを用いる工業生産環境において起こりうる。
独国特許出願公開第19709799号明細書 独国特許出願公開第19938639号明細書 欧州特許出願公開第1061487号明細書 独国特許出願公開第19809210号明細書 独国特許出願第10259698−53号明細書 オリビエ フォージュラ(Olivier Faugeras)著,「三次元コンピュータ・ビジョン:幾何学的見地」,MIT出版、ケンブリッジ書籍 U.フランキ(Franke)/I.クッチュバッハ(Kutzbach)著,「ストップ・アンド・ゴー交通のための高速立体ベース対象物検出」,インテリジェント・ビークル・シンポジウム,339〜344ページ,東京,1996年 マトゥシク(Matusik)ら著,「画像ベース視覚外皮」,シーグラフ(SIGGRAPH)2000 U.フランキ/A.ジョー(Joos)著,「都市交通場面理解に対するリアルタイム立体視機能」,IEEE インテリジェント・ビークル・シンポジウム,2000
この背景に対して、代替的な方法、および特に自動動作機械の危険領域を、設置に大きな費用はかからないが、十分な信頼性をもって保護することができる対応する装置を特定することが本発明の目的である。
この目的は、冒頭で述べた種類の方法によって達成され、場面分析は、少なくとも二つのアルゴリズム的に異なる方法を用いて、少なくとも二つの画像に基づいて行われ、かつ危険領域は、分析方法の少なくとも一つが異物を検出するとき保護される。
目的はまた、冒頭で述べた種類の装置によって達成され、評価ユニットは、少なくとも二つのアルゴリズム的に異なる方法を用いて場面分析を行うために設計され、かつさらに、場面分析方法の少なくとも一つが異物を検出するとき始動される切換手段が実現される。
したがって、本発明による解決策は、本質的には、相互にずれた画像記録ユニットを用いて記録される危険領域の少なくとも二つの画像の3次元評価に基づく。適切な場面分析方法は、先行技術において本来公知である。たとえば、上記非特許文献1、あるいは上記非特許文献2の記事を参照する。対応方法はまた、本発明の優先日の後に公表された上記特許文献5に記載されている。しかしながら、本来、今まで公知の方法では、自動動作機械の危険領域が確実に保護されることを保証するのに必要な検出信頼性はもたらされていない。しかしながら、互いに並行に実行される異なる3次元場面分析方法の組み合わせによって、この応用にとって必要とされる検出信頼性を達成することができることが今非常に明らかになってきた。
二つの記録された画像における対象物は、別々の場面分析方法により検出され、かつそれらの空間位置が決定される。対象物の空間位置は、その後後者(対象物)がモニターされた危険領域に位置決めされるかどうか、かつこの場合「異物」が含まれるかどうか調べるために用いられる。たとえば、記録された危険領域の個々の点の共同ターゲットまたは特定マーキング等のさらなる外部補助は必要とされない。したがって、本発明の解決策によって、設置費を低くすることができる。しかも、最新評価システムの多数の変形のために、新規の装置および対応する方法によって高度な柔軟性が可能となる。
現在利用できるさまざまな場面分析方法の各々は、特に検出信頼性および故障発生率に関して、個々の強さと弱さを有する。それぞれの弱さを、異なる方法を組み合わせることによって補うことができる。危険領域は、場面分析方法の一つでも異物を検出すると直ぐに保護され、モニターされた機械は、こうしてオフに切り替えられるか、さもなければたとえば静止状態にされる。したがって、機械の安全性のための保護装置に対して出される高い要求を、非常に容易に満たすことができる。
しかも、新規の装置は、場面分析のための異なる方法の使用により多様性が必ず生じるという利点がある。それによって、装置全体の固有フェイルセーフが、不具合および故障を参照して減じられる。これは、特定的には機械および設置を保護する好ましい分野の応用に関して非常に重要である。
したがって、上記の目的は、完全に達成される。
立体画像処理は、ここでは、ほぼ平行な光学軸およびほぼ同一の焦点距離をもつ二つのカメラの使用を意味すると理解される。不均衡マップ(三次元点群)は、左側画像の画素が右側画像の画素に割り当てられ、このことは、一般にそれぞれの画素の小さい局部環境に基づくという事実により決定される。
対照的に、3次元場面分析は、対象物の少なくとも二つの画像によって同時に確立されるターゲット機能の助けを借りて、パラメータ最適化があるようにされる(たとえば、上記非特許文献3あるいは優先日の後に公表された上記特許文献5)。検出信頼性は、ここでは比較的高い情報内容のレベルで認識が行われるので、従来の立体画像処理方法に比べて高められる。
本発明の改良では、第1および第2画像は、一方では相関ベースの場面分析を受け、かつ他方では輪郭ベースの場面分析を受ける。
本発明の意味での相関ベースの場面分析は、フランキ/クッチュバッハ著のすでに上述した記事からあるいは上記非特許文献4の記事から公知である。
輪郭ベースの場面分析は、たとえば、マトゥシクの刊行物からあるいは優先日の後に公表されたすでに述べた上記特許文献5から公知である。実際の実験で示されてきたように、場面分析のための上記方法の組み合わせは、検出信頼性に関して、かつさらに装置全体の本来のフェイルセーフに関しても、特に良好な結果をもたらす。
本発明の更なる改良では、方法の少なくとも一つは、参照画像と著しく異なるそのような画像領域のみを処理する。
この対策は、それによって処理速度を上げることが可能であるので、本発明の好ましい分野の応用について特に有利であることがわかってきた。したがって、装置の反応時間を短縮することができ、かつこれは一方では保護区域の形成における高度の柔軟性、かつ他方では運用要員のよりよい保護が可能となる。
方法の簡単な改良では、一つの画像対のみが生成され、かつ二つの場面分析方法は、それの上で行われる。この改良は、ハードウエアの観点で簡単に実現されうるという利点がある。しかしながら、好ましくない条件下では、三次元分析は、二つの画像記録ユニットの接続ラインに沿って配向される画像における構造については可能ではないという不利な結果となりうる。
そのような構造を三次元で記録することもできるように、少なくとも一つのさらなる画像記録ユニットをもつ場面の少なくとも一つのさらなる画像を記録するのが有利である。これらのさらなる画像記録ユニットは、第1の二つの画像記録ユニットをもつ同じライン上にあるべきではない。
ハードウエアの観点で装置を簡単なものに保つために、場面の三つの記録された画像が、それぞれの場合、共通の画像を有する二つの画像対、第1および第2画像対として解釈される場合に有利である。この手順はまた、相応して四つ以上の画像の使用まで範囲を拡げることができる。
特に高度の安全性は、多くの場面分析方法が各画像対に応用されるとき達成される。
特に有利な改良では、本発明の装置は、危険領域の第3画像を記録する第3画像記録ユニットを少なくとも有する。評価ユニットは、この場合、二つの場面分析の少なくとも一つが、少なくとも三つの画像に応用されるように設置される。その必要とされる計算能力および計算時間は、場面分析にとって二つの可能な方法のただ一つを選択する手段で減じられる。
さらなる改良では、少なくとも二つの同期的に記録された画像の多くの一時的に連続するグループが、検出された異物の少なくとも一つの運動パラメータ、たとえば運動の速度、方向等を決定するために評価される。
この対策によって、モニターされた機械等に起因する危険の程度をより正確に評価することができる。検出された異物とのインテリジェント反応は、その結果として可能である。たとえば、危険領域の内部でただゆっくりと移動している異物の場合、まず第一に事前の警告を発生することが可能であり、一方モニターされた機械は、すばやく移動している異物の場合、直接オフに切り替えられる。
さらなる改良では、画像記録ユニットのさらなる露出時間は、現在の画像の機能として設定される。
画像記録ユニットの露出時間は、この対策によって変化している環境条件に順応して合わせられる。したがって、新規の装置は、変化している環境条件、たとえば日光の影響と自動的に反応することができる。一方、検出信頼性がそれによって上がり、かつ他方望ましくない間違った警報をよりよく避けることができる。
本発明のさらなる改良では、画像記録ユニットの少なくとも二つは、共通の機器ハウジングに配置される。
この改良は、必要とされる較正作業ならびに二つの画像記録ユニットの互いに対する調整の大部分は、メーカーによってその工場で行われるという利点がある。本発明の装置を設置する際の現地での費用は、それによってなおさらに簡略化される。しかしながら、検出信頼性は、実験室条件下での正確な較正によって、装置全体についてなおさらに高められる。
言うまでもなく、上記の特徴およびなお以下で説明すべき特徴は、それぞれ特定化された組み合わせでのみならず、本発明の範囲から逸脱することなく、他の組み合わせであるいは単独で用いることができる。
本発明の例証的な実施形態を、図面に示しかつ次の説明でより詳細に説明する。
発明の装置全体を、参照番号10によって図1に示す。
装置10は、本質的に、カメラモジュール12および評価ユニット14を含む。カメラモジュール12の内部に図示されるのは、二つの画像記録ユニット16,18(「カメラ1」および「カメラ2」として示す)である。画像記録ユニット16,18は、完全な独立機能カメラでありうる。しかしながら、これの代替として、二つのカメラの個々の部品も、それぞれの場合、本質的に二つの別々の画像センサー、かつ適切な場合には、関連の光学装置があるように共同で用いることができる。
画像記録ユニット16,18は、評価ユニット14に、空間的に幾分離れて、バス20を介して接続される。これの代替として、共通のハウジングにおける二つの画像記録ユニット16、18および評価ユニット14を一体化することも可能であり、または他の種類のアナログまたはディジタルインターフェイス用いることも可能である。空間的に離れた評価ユニット14をもつ現在図示されている配置は、個々の部品がより低重量であること、別個に交換できること等、モジュラーシステムの利点がある。しかも、このようにして、概略的にのみここで図示したさらなるカメラモジュール22が、非常に簡単な態様で同じ評価ユニット14に接続されることが可能である。
参照番号24は、たとえばリレイまたは接触器を収納する切換装置を示す。切換装置は、モニターされた機械の駆動、設置を、それ自体公知の方法でオフに切り換えるために用いられうる。切換装置24は、たとえばフェイルセーフPLC(プログラマブル論理制御装置)、すなわちいわゆる安全制御器の形態でも実現されうる。この場合、評価ユニット14が、ピルツ社(Pilz GmbH&Co.)のセーフティバス(登録商標)(SafeteyBus(登録商標))等のフェイルセーフフィールドバス機器を経由して安全制御器に接続されるのが好ましい。
装置10の動作の基本モードを、図2および図3を用いて、好ましい例証的な実施形態とともに以下で説明する。この場合、同一の参照番号は、それぞれ同一の要素を示す。
装置10がオンに切り換えられた後、それは、まず第一に許容できる機能を調べるために、ステップ30に従ってセルフテストを行う。セルフテストの過程で、評価ユニット14および画像記録ユニット16,18の個々の部品は、とりわけ許容できる機能について調べられる。ステップ32に従って、切換装置24の出力は、オフに切り換えられる、すなわち、モニターされた機械は、確実に画定された安全状態にされる。
オプションであるステップ34に従って、光源は、さらなる照明として、オンに切り換えられる。これは、特に、既存の周囲の明るさがその後の画像評価を行うのに不十分であるときはいつでも行われる。
ステップ36,38に従って、モニターされた危険領域は、画像記録ユニット16,18によって記録される。言い換えると、画像記録ユニット16は、危険領域の第1画像を供給し、かつ画像記録ユニット18は、その第2画像を供給する。ここで図示する例証的な実施形態に従って、これは、並列に、すなわち互いに同期した画像記録ユニット16、8を用いて行われる。
いわゆる予備画像処理は、その後ステップ42に従って行われる。応用によっては、記録された画像の条件付けをするための本来公知の方法、たとえばFPN(固定パターンノイズ)修正が、ここで行われる。さらに、記録された第1および第2画像は、背景の明るさ等に関して互いに合わせられる。
ステップ44,46に従って、第1および第2画像からなる画像対は、その後、危険領域内部の異物を検出するために、二つの異なる場面分析方法によって評価される。ステップ44では、危険領域の第1および第2画像は、相関ベースの画像分析を受ける。対照的に、輪郭ベースの画像分析は、ステップ46で行われる。
特に好ましい例証的な実施形態では、輪郭ベースの画像分析は、地域区分、すなわち第1および第2画像の比較されるべき個々の領域への分割を含む。次に、参照画像と著しく異なる領域のみを評価するのが好ましい。
しかしながら、代替的に、他の例証的な実施形態では、たとえば、上記特許文献3あるいは上記非特許文献3に記載されているようなアルゴリズムを用いることも可能である。相関ベース画像分析については、上で引用したU.フランキ著の記事に記載されているようなアルゴリズムを用いるのが好ましい。しかしながら、基本的には、他の場面分析方法も、ここで考慮されるようになるであろう。
ステップ48では、保護空間の侵害が存在するかどうか、すなわち対象物がモニターされた危険領域に許容できないほど入り込んだかどうかについて、二つの場面分析の結果に基づいて決定がなされる。そうでない場合には、切換装置24の出力は、ステップ50に従ってオンに切り換えられる、すなわち、モニターされた機械が動作状態となる。
異物による保護空間の侵害が検出されたら、方法は、ステップ32に分岐し、そこで切換装置の出力がオフに切り換えられる(あるいは異物が前の方法サイクルですでに検出されていたらそのままである)。モニターされた機械等は、それによってその安全静止位置に保たれる。言うまでもなく、ステップ34〜50は、装置10の動作中、危険領域が連続して保護されることを保証するために再帰的に繰り返される。
新規の装置10の好ましい応用を、図3の上部の平面図に図示し、一方関連の側面図を下部に示す。
装置10は、ここでは自動動作ロボット60に起因する危険領域58を保護する役目を果たす。ここで、危険領域58は、ロボット60の周りの半球包絡面内に存在し、かつその運動または動作領域に対応する。二つの画像記録ユニット16,18を共通のハウジングに含むカメラモジュール12は、危険領域の上方に配置されかつ後者(ロボット)と整列される。
参照番号62および64は、二つのねじれ形保護区域を示し、保護区域62は一種の警告区域を形成し、一方保護区域64は、真の禁止領域を形成する。異物66が保護区域62に入れば、このことは、場面分析方法44,46に基づいて装置10によって検出される。一つの例証的な実施形態では、評価ユニット14は、次にロボット60を、減速してあるモードに切り換える。ロボット60の緊急停止は、保護区域64が侵害されて始めて生じる。
さらなる例証的な実施形態では、保護区域62を侵害すると、ロボット60は、安全静止位置へ移動され、そこからロボット60は、装置10が保護区域62がもはや侵害されていないことを検出すると直ちに、再起動を企てることができる。対照的に、保護区域64が侵害されていれば、手動再起動が必要とされる。
危険領域58および保護区域62,64は、それぞれの場合、円弧の形状の包絡曲線によってここに図示される。しかしながら、好ましい例証的な実施形態では、危険領域58および保護区域62,64は、ロボット60の運動および動作状態に順応して合わせられる。ここで、二つの場面分析方法44,46は、好ましくは、さらなるアルゴリズムを含み、その助けを借りて異物66のパラメータ、たとえばその形状、その方向および運動速度が識別されかつ追跡されうる。それによっては、保護区域62,64は、異物66が、危険にさらされることなくロボット60に「接近している」ことが可能なように、ロボット60の周りで順応して画定される。この設計では、たとえば、互いに接近している多くのロボット60を限られた空間に配置することが可能であり、それらの間の衝突は、装置10の助けを借りて防止される。再び、さらなる例証的な実施形態では、ロボット60に送られているワークピース(ここでは図示せず)を、「認められていない」異物と区別することができる。ロボット60の動作モードを、参加している運転員の安全性が同時に保証されている間に、このようにして最適化することができる。
図4は、実施形態の図3からの修正を示す。図3の場合におけるような一つのカメラモジュールよりむしろ、ここでは三つの画像記録ユニット16,18,22が、それぞれの場合、ロボット60およびその保護区域62,64の上方に、互いに間隔を開けて配置される。画像記録ユニット16,18,22は、非常に広角の対物レンズを有し、その結果それらは、それらの上方に低い高さでのみ配置されるときでも完全に保護区域62,64を覆うことができる。
特に、画像記録ユニット16、18,22は、反射屈折カメラ、すなわち湾曲した鏡を撮像素子として使用し、かつその光学軸の延長上に存在する死角の周りに環状視野を持つカメラであってもよい。これらのカメラが、それらの光学軸でロボット60と整列されれば、それら自らロボットを確実に覆うことはできないが、それらの視野は、危険領域58の周りで環状保護区域62,64に十分重なる。反射屈折カメラは、それによってその危険領域58への経路上の任意の異物を検出することができるので、危険領域58自体が、それらの死角と大きく交差するのは不利ではない。その代わり、このことは、ロボットを認識しない場合には、評価ユニット14は、後者(ロボット)を検出するために、ロボットの移動を、異物の考えられる移動と区別する必要もないので、モニターにとっての簡略化を意味することができる。
三つのカメラ16,18,22は、それぞれの場合、二つのカメラ間の接続ラインが、第3のカメラの視野に存在するように配置される。したがって、第3のカメラおよび接続ライン上に存在している二つのカメラの一方によって供給される画像の助けを借りて、そのような接続ライン上の異物の位置を検出することが常に可能である。
図4の装置の動作モードを、図5のフローチャートを参照して説明する。方法ステップ30,32,34,36,38は、図2を参照してすでに説明したものと同一であり、したがって再度説明しない。カメラ1およびカメラ2による二つの画像記録ステップ36,38に加えて、カメラ3による第3画像記録ステップ40が行われる。このように、異なる視角から同時に記録されてきた、かつ異なる方法で組み合わされて画像対を形成することができる三つの画像が存在する。少なくとも二つの異なる画像対が必要とされ、かつ画像対は、カメラ1および2またはカメラ2および3によって記録される画像からステップ70,72で組合される。第3画像対は、ステップ74でカメラ3および1の画像からオプションで組み合わされうる。
二つの異なる場面分析方法は、こうして得られる少なくとも二つの画像対に応用される。もっとも簡単な場合には、たとえば、ステップ76でカメラ1および2の画像対に対して輪郭分析を行うこと、およびステップ78でカメラ2および3の画像対に対して対応分析を行うことに制限することができる。検出信頼性のより高い尺度は、両方の分析方法が両方の画像対の各々について行われるとき(ステップ80,81)、かつステップ74が行われた場合には、その画像対も、輪郭分析84および対応分析86を受けるとき達成される。
場面分析に追従するステップ48,50は、図2のステップと類似であり、すなわち、ステップ48では、先行の2、4または6の場面分析の結果の助けを借りて、保護空間侵害があるかどうか決定される。そうである場合には、切換装置24の出力は、オフに切り換えられ、さもなければステップ50でオンに切り換えられる、すなわち、モニターされた機械が動作状態になり、あるいは出力は、関連の機械がすでに動作していればオンに切り換えられたままである。
輪郭分析および相関分析の代わりに、任意の他の場面分析方法が用いられる、あるいは保護空間侵害の検出信頼性を改良するために、一つの画像対に対して三つ以上の異なる場面分析方法を行うことも可能であることが理解されよう。
場面の画像の画像対への分割を企てない場面分析の方法を用いることも可能であるが、その代わり全ての画像から同時に決定されるべきターゲット機能からの最小化によって、場面の3次元説明を確立することが可能である。そのようなアルゴリズムは、たとえば優先日の後に公表された上記特許文献5あるいは上で引用したマトゥシクらの刊行物に記載されている。これらの二つのアルゴリズムは、好ましくは、検出信頼性を増すためにかつ様々なシステムを達成するために、全ての画像に共通に与えられるべきである。
発明の装置の簡略化されたブロック図を示す。 発明の方法を説明する簡略化されたフローチャートを示す。 発明の装置の好ましい応用を説明する略図を示す。 図3に示される応用の変形例を示す。 図の修正に適合された態様での本発明の方法のフローチャートを示す。

Claims (14)

  1. 危険領域(58)、特に自動動作機械(60)の前記危険領域を保護する方法であって、前記危険領域(58)の少なくとも二つの画像は、少なくとも第1および第2画像記録ユニット(16,18)により記録され、前記画像記録ユニット(16,18)は、互いにずれて配置され、かつ前記危険領域(58)の異物(66)は、前記画像の場面分析(44,46)によって検出され、前記場面分析は、少なくとも二つのアルゴリズム的に異なる方法(46,44)を用いて、前記少なくとも二つの画像に基づいて行われ、かつ前記危険領域(58)は、前記方法(44,46)の少なくとも一つが異物を検出すると保護されることを特徴とする、方法。
  2. 場面分析のための前記方法(46,44)の一方は、相関ベースの場面分析(44)を含み、かつ他方は、輪郭ベースの場面分析(46)を含むことを特徴とする、請求項1に記載の方法。
  3. 前記方法(46,44)の少なくとも一つは、参照画像と著しく異なるような画像領域のみ処理することを特徴とする、請求項2に記載の方法。
  4. 前記場面の前記画像は、一列に配置されない少なくとも三つの画像記録ユニット(16,18,22)によって記録されることを特徴とする、請求項1ないし3のいずれかに記載の方法。
  5. 前記少なくとも三つの画像は、それぞれの場合、共通の画像を有する少なくとも二つの画像対として解釈されることを特徴とする、請求項4に記載の方法。
  6. 場面分析方法の両方は、前記画像の全てに応用されることを特徴とする、請求項1ないし5のいずれかに記載の方法。
  7. 少なくとも二つの画像の多くの一時的に連続するグループは、検出された異物の少なくとも一つの運動パラメータを決定するために評価されることを特徴とする、請求項1ないし6のいずれかに記載の方法。
  8. 各画像記録ユニット(16,18,22)の今後の露光時間は、それによって記録される前記画像の機能として設定されることを特徴とする、請求項1ないし7のいずれかに記載の方法。
  9. 前記場面の3次元表示は、前記画像の全てから同時に決定されるべきターゲット機能を最小にすることによって確立されることを特徴とする、請求項1ないし8のいずれかに記載の方法。
  10. 危険領域(58)、特に自動動作機械(50)の前記危険領域を保護し、前記危険領域(58)の少なくとも二つの画像を記録する少なくとも第1および第2画像記録ユニット(16,18)を有し、前記画像記録ユニット(16,18)は、互いにずれて配置され、かつ前記危険領域(58)の異物(66)を、これらの画像の場面分析(44,46)の助けを借りて検出する評価ユニット(14)を有する装置であって、前記評価ユニット(14)は、少なくとも二つのアルゴリズム的に異なる方法(46,44)を用いて、前記場面分析を行うために設計され、かつさらに、前記場面分析方法(44,46)の少なくとも一つが異物を検出すると始動される切換手段(24)が実現されることを特徴とする、装置。
  11. 前記評価ユニット(14)は、場面分析方法(44,46)の両方を、前記場面の前記画像の全てに応用するために設置されることを特徴とする、請求項10に記載の装置。
  12. 前記危険領域(58)の第3画像を記録する少なくとも第3画像記録ユニット(22)を特徴とし、前記評価ユニット(14)は、前記二つの場面分析方法の少なくとも一つを、前記少なくとも三つの画像に応用するために設置される、請求項10または11に記載の装置。
  13. 前記画像記録ユニット(16,18)の少なくとも二つが、共通のハウジングに配置されることを特徴とする、請求項1ないし12のいずれかに記載の装置。
  14. 前記評価ユニット(14)は、全ての画像から同時に決定されるべきターゲット機能を最小にすることによって、前記場面の3次元表示を確立するために設計されることを特徴とする、請求項1ないし13のいずれかに記載の装置。
JP2005509659A 2002-09-24 2003-09-16 危険領域を保護する方法および装置 Expired - Lifetime JP4405468B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10245720A DE10245720A1 (de) 2002-09-24 2002-09-24 Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs
DE10315216 2003-04-01
PCT/EP2003/010279 WO2004029502A1 (de) 2002-09-24 2003-09-16 Verfahren und vorrichtung zum absichern eines gefahrenbereichs

Publications (2)

Publication Number Publication Date
JP2006501487A true JP2006501487A (ja) 2006-01-12
JP4405468B2 JP4405468B2 (ja) 2010-01-27

Family

ID=32043962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005509659A Expired - Lifetime JP4405468B2 (ja) 2002-09-24 2003-09-16 危険領域を保護する方法および装置

Country Status (5)

Country Link
EP (1) EP1543270B8 (ja)
JP (1) JP4405468B2 (ja)
AT (1) ATE335958T1 (ja)
DE (1) DE50304602D1 (ja)
WO (1) WO2004029502A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098373A (ja) * 2004-09-30 2006-04-13 Omron Corp 多光軸光電センサ
JP2010208003A (ja) * 2009-03-12 2010-09-24 Ihi Corp ロボット装置の制御装置及びロボット装置の制御方法
JP2010208002A (ja) * 2009-03-12 2010-09-24 Ihi Corp ロボット装置の制御装置及びロボット装置の制御方法
JP2015075879A (ja) * 2013-10-08 2015-04-20 富士電機株式会社 安全制御装置および安全制御システム
JP2015515613A (ja) * 2012-03-16 2015-05-28 ピルツ ゲーエムベーハー アンド コー.カーゲー 自動機械の危険な作業区域の安全を守るための方法および装置
JP2017205858A (ja) * 2016-05-16 2017-11-24 セイコーエプソン株式会社 ロボット、制御装置およびロボットシステム
EP3363602A1 (en) 2017-02-15 2018-08-22 Omron Corporation Monitoring system, monitoring device, and monitoring method
JP2019524513A (ja) * 2016-05-12 2019-09-05 カンド イノベーション リミテッドKando Innovation Limited 切断機械のための改善された安全用アタッチメント
JP2019188556A (ja) * 2018-04-26 2019-10-31 オムロン株式会社 センサコントローラ、ロボットシステム、センサ制御方法、およびプログラム
JP2022522284A (ja) * 2019-02-27 2022-04-15 ヴェオ ロボティクス, インコーポレイテッド 安全定格マルチセル作業空間マッピングおよび監視

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0416583D0 (en) 2004-07-23 2004-08-25 Rwl Consultants Ltd Access monitoring apparatus
JP4637615B2 (ja) * 2005-03-16 2011-02-23 中国電力株式会社 警報装置、警報システム及び警報用コンピュータプログラム
DE102005056265A1 (de) * 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
DE102005063217C5 (de) 2005-12-22 2022-08-18 Pilz Gmbh & Co. Kg Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung
JP2007249722A (ja) 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
DE102006048166A1 (de) 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
DE102006050235B4 (de) 2006-10-17 2014-02-13 Pilz Gmbh & Co. Kg Kamerasystem zum Überwachen eines Raumbereichs
DE102006057605A1 (de) * 2006-11-24 2008-06-05 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs
DE102007031157A1 (de) * 2006-12-15 2008-06-26 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
DE102007007576B4 (de) * 2007-02-15 2009-01-15 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Sichern eines Arbeitsraums
DE102007025373B3 (de) * 2007-05-31 2008-07-17 Sick Ag Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen
EP2017571B1 (de) * 2007-07-20 2010-01-27 Sick Ag 3D-Sicherheits-Sensor und Verfahren zum Testen eines 3D-Sicherheits-Sensors
DE102007036129B3 (de) 2007-08-01 2008-09-25 Sick Ag Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
JP4859141B2 (ja) * 2007-10-10 2012-01-25 オプテックス株式会社 能動型物体検知装置
DE102008020326B3 (de) * 2008-04-23 2009-09-03 Sick Ag Stereoskopisches 3D-Kamerasystem zur Überwachung eines Raumbereichs
EP2133619A1 (de) 2008-06-10 2009-12-16 Sick Ag Dreidimensionale Überwachung und Absicherung eines Raumbereichs
DE102009026091A1 (de) 2008-07-02 2010-04-01 Elan Schaltelemente Gmbh & Co. Kg Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
DE102008032216A1 (de) * 2008-07-09 2010-01-14 Sick Ag Vorrichtung zur Erkennung der Anwesenheit eines Objekts im Raum
EP2166304A1 (de) 2008-09-23 2010-03-24 Sick Ag Beleuchtungseinheit und Verfahren zur Erzeugung eines selbstunähnlichen Musters
ATE522785T1 (de) 2008-12-18 2011-09-15 Sick Ag Beleuchtungseinheit für 3d-kamera
EP2270424B1 (de) 2009-07-02 2011-05-25 Sick Ag Optoelektronischer Sensor und Verfahren zur Überwachung
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
DE102009035755A1 (de) 2009-07-24 2011-01-27 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines Raumbereichs
DE102009050850B4 (de) 2009-10-19 2019-01-03 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen
DE102010037744B3 (de) * 2010-09-23 2011-12-08 Sick Ag Optoelektronischer Sensor
DE102013104265A1 (de) 2013-04-26 2014-10-30 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine
DE102013106514B3 (de) * 2013-06-21 2014-10-30 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine
JP6177837B2 (ja) * 2015-06-30 2017-08-09 ファナック株式会社 視覚センサを用いたロボットシステム
JP6088605B1 (ja) 2015-08-31 2017-03-01 ファナック株式会社 視覚センサを用いたロボットシステム
DE102022208827A1 (de) 2022-08-25 2024-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Sicherheitseinrichtung und Verfahren zu deren Betrieb

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19709799A1 (de) 1997-03-10 1998-09-17 Bosch Gmbh Robert Einrichtung zur Videoüberwachung einer Fläche
DE19809210A1 (de) 1998-03-04 1999-09-16 Siemens Ag Verfahren und Vorrichtung zur Überwachung einer Szene
EP1061487A1 (en) 1999-06-17 2000-12-20 Istituto Trentino Di Cultura A method and device for automatically controlling a region in space
DE19938639B4 (de) 1999-08-14 2006-08-24 Pilz Gmbh & Co. Kg Vorrichtung zur Absicherung eines Gefahrenbereichs, insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine
US6297844B1 (en) 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
DE10000287B4 (de) 2000-01-07 2004-02-12 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung und Verfahren zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
DE10049366A1 (de) * 2000-10-05 2002-04-25 Ind Technik Ips Gmbh Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
ATE298912T1 (de) * 2001-02-26 2005-07-15 Fastcom Technology Sa Verfahren und einrichtung zum erkennung von fasern auf der grundlage von bildanalyse
DE10138960A1 (de) 2001-08-03 2003-02-27 Pilz Gmbh & Co Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs
DE10259698A1 (de) 2002-12-18 2004-07-08 Pilz Gmbh & Co. Darstellungsbereich eines automobilen Nachtsichtsystems

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098373A (ja) * 2004-09-30 2006-04-13 Omron Corp 多光軸光電センサ
JP2010208003A (ja) * 2009-03-12 2010-09-24 Ihi Corp ロボット装置の制御装置及びロボット装置の制御方法
JP2010208002A (ja) * 2009-03-12 2010-09-24 Ihi Corp ロボット装置の制御装置及びロボット装置の制御方法
JP2015515613A (ja) * 2012-03-16 2015-05-28 ピルツ ゲーエムベーハー アンド コー.カーゲー 自動機械の危険な作業区域の安全を守るための方法および装置
JP2015075879A (ja) * 2013-10-08 2015-04-20 富士電機株式会社 安全制御装置および安全制御システム
JP2019524513A (ja) * 2016-05-12 2019-09-05 カンド イノベーション リミテッドKando Innovation Limited 切断機械のための改善された安全用アタッチメント
JP2017205858A (ja) * 2016-05-16 2017-11-24 セイコーエプソン株式会社 ロボット、制御装置およびロボットシステム
EP3363602A1 (en) 2017-02-15 2018-08-22 Omron Corporation Monitoring system, monitoring device, and monitoring method
US10452939B2 (en) 2017-02-15 2019-10-22 Omron Corporation Monitoring system, monitoring device, and monitoring method
JP2019188556A (ja) * 2018-04-26 2019-10-31 オムロン株式会社 センサコントローラ、ロボットシステム、センサ制御方法、およびプログラム
WO2019208228A1 (ja) * 2018-04-26 2019-10-31 オムロン株式会社 センサコントローラ、ロボットシステム、センサ制御方法、およびプログラム
JP2022522284A (ja) * 2019-02-27 2022-04-15 ヴェオ ロボティクス, インコーポレイテッド 安全定格マルチセル作業空間マッピングおよび監視
JP7505791B2 (ja) 2019-02-27 2024-06-25 ヴェオ ロボティクス, インコーポレイテッド 安全定格マルチセル作業空間マッピングおよび監視

Also Published As

Publication number Publication date
EP1543270B1 (de) 2006-08-09
EP1543270B8 (de) 2013-01-23
WO2004029502A1 (de) 2004-04-08
DE50304602D1 (de) 2006-09-21
EP1543270A1 (de) 2005-06-22
JP4405468B2 (ja) 2010-01-27
ATE335958T1 (de) 2006-09-15
EP1543270B2 (de) 2012-11-07

Similar Documents

Publication Publication Date Title
JP4405468B2 (ja) 危険領域を保護する方法および装置
US7729511B2 (en) Method and device for safeguarding a hazardous area
JP6449263B2 (ja) 自動的に作動する機械を保護する装置および方法
EP1598792B1 (en) Infrared safety systems and methods
CN111226178B (zh) 监视设备、工业系统、用于监视的方法及计算机程序
US10302251B2 (en) Apparatus and method for safeguarding an automatically operating machine
US10195741B2 (en) Controlling a robot in the presence of a moving object
US8988527B2 (en) Method and apparatus for monitoring a three-dimensional spatial area
US10726538B2 (en) Method of securing a hazard zone
EP2947603B1 (en) Optical safety monitoring with selective pixel array analysis
CN109477608B (zh) 用于切割机的增强安全附件
Vogel et al. A projection-based sensor system for safe physical human-robot collaboration
Vogel et al. Towards safe physical human-robot collaboration: A projection-based safety system
EP2578464B1 (en) Video-based warning system for a vehicle
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム
CN107306338A (zh) 用于对象检测和跟踪的全景摄像机系统
US10969762B2 (en) Configuring a hazard zone monitored by a 3D sensor
KR102391550B1 (ko) 차량의 후방 충돌 경고장치 및 그 제어방법
JP2003222295A (ja) 機械の保安関連機能を制御する方法及び装置
CN108973858B (zh) 用于确保行驶路线安全的装置
CN113247145A (zh) 车辆组装系统和组装车辆的方法
EP2685150B1 (en) Monitoring system and method
KR20170124287A (ko) 융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법
US10891487B2 (en) Appliance and method for creating and monitoring a safety area in a working space
KR20140080048A (ko) 차량 도어 충돌 방지 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090401

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090430

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091008

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091104

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4405468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term