JP2010211805A - 対象物を検出するための方法及び装置 - Google Patents

対象物を検出するための方法及び装置 Download PDF

Info

Publication number
JP2010211805A
JP2010211805A JP2010069909A JP2010069909A JP2010211805A JP 2010211805 A JP2010211805 A JP 2010211805A JP 2010069909 A JP2010069909 A JP 2010069909A JP 2010069909 A JP2010069909 A JP 2010069909A JP 2010211805 A JP2010211805 A JP 2010211805A
Authority
JP
Japan
Prior art keywords
pattern
image
monitored area
range
mask window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010069909A
Other languages
English (en)
Other versions
JP5264815B2 (ja
JP2010211805A5 (ja
Inventor
Rida M Hamza
ハムザ,リダ・エム
Marek Gierczak
ガークザク,マレク
Darren D Cofer
コファー,ダレン・ディー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of JP2010211805A publication Critical patent/JP2010211805A/ja
Publication of JP2010211805A5 publication Critical patent/JP2010211805A5/ja
Application granted granted Critical
Publication of JP5264815B2 publication Critical patent/JP5264815B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】動的明条件の影響を受けることがより少なく、及び/又は三次元の対象物の動き及び/又は存在に対する感度がより高い対象物検出システムを提供する。
【解決手段】1つ又はそれより多いパターンを監視範囲上に投影し、当該監視範囲の1つ又はそれより多い生の像を捕捉し、且つ生の像内の1つ又はそれより多いパターンの変化を検出する。パターンの変化は、監視範囲内の地形的変化を、従って監視範囲内の対象物の侵入又は動きを指示し得る。パターンが監視範囲上に投影されるので、周囲の照明条件の変化は、対象物検出システムの効力への影響がより少ない。監視範囲内の対象物を検出するのを支援するため、モアレ干渉パターンが用いられる。モアレ干渉パターンは特に、そのモアレ干渉パターンを生成するのに用いられる2つ又はそれより多い基となるパターン間の相対的動きに対して感度が高い。
【選択図】図4

Description

この出願は、2001年1月19日に出願され、発明の名称が「モアレ干渉を用いた対象物検出(Object Detection Using Moire Interference)」である同時係属米国仮特許出願Serial No.60/262,925に対して米国特許法第119条(e)(1)の下で優先権を主張するものである。
発明の分野
本発明は、対象物検出に関し、より詳細には、監視範囲又は領域内での対象物侵入及び/又は存在の検出に関する。
発明の背景
動きの検出及び対象物検出システムは当該技術において周知である。しばしば、そのようなシステムは、ユーザが規定した範囲を監視して、対象物が監視範囲に入る又はそこを通るときを検出する。そのようなシステムは、典型的には、監視範囲の像を捕捉することができる像捕捉装置(典型的には、ビデオ・カメラ又はスチル・カメラ)を、そして必要ならば、捕捉した像をディジタル化する装置を含む。対象物が監視範囲に入ったか否かを検出しようとして、ディジタル化された像が解析される。ディジタル化された像を解析して、対象物が監視範囲に入ったときを決定するための多くの異なる既知の方法及びアルゴリズムがある。最も共通の方法の1つは、一般的に、変化検出方法と呼ばれる。
変化の検出は、多くの場合、現在の生の像と参照像との間の差を検査することにより達成される。なお、その参照像は、監視範囲の静止背景(静的背景)のみを含む。参照像は、一時的な対象物が視野に無い場合その参照像が見えるであろうような監視範囲の表示と考えられることができる。変化検出アルゴリズムは、多くの場合、2つのディジタル化された像を入力として取り込み、そしてそれらの像間の差が識別される視野の中の位置を戻す。
対象物検出システムは、動的照明条件を有する環境において一般に用いられる。例えば、産業環境において、移動する影が、監視範囲又は領域上に落とされる場合があり、それは、周囲の照明条件の著しい変化を引き起こす場合がある。変化検出アルゴリズムを用いて対象物を検出する対象物検出システムを含む多くの既存の対象物検出システムは、そのような影及び/又は他の動的照明条件により脅かされる場合がある。
本発明は、動的照明条件の影響を受けることがより少なく、及び/又は三次元の対象物の動き及び/又は存在に対する感度がより高い対象物検出システムを提供することにより従来技術の多くの上記不利点を克服する。これは、1つ又はそれより多い静的又は動的パターンを監視範囲上へ投影し、上記の1つ又はそれより多いパターンを含む上記監視範囲の1つ又はそれより多い生の像を捕捉し、且つ選択された捕捉された像内の1つ又はそれより多いパターンの変化を検出することにより上記監視範囲内の対象物を検出することにより達成されることが好ましい。
本発明の第1の例証的実施形態においては、単一のパターンが監視範囲上に投影される。次いで、監視範囲の1つ又はそれより多い生の像が、選択された時間に捕捉され、そして解析されて、上記の投影されたパターンの変化を検出する。当該パターンの変化は、監視範囲内の地形的変化を、従って監視範囲内の対象物の侵入又は動きを指示し得る。パターンが監視範囲上に投影されるので、周囲の照明条件の変化は、対象物検出システムの効力への影響がより少ない。
別の例証的実施形態においては、監視範囲内の対象物を検出するのを支援するため、モアレ干渉パターンが用いられる。モアレ干渉パターンは特に、そのモアレ干渉パターンを生成するのに用いられる2つ又はそれより多い基となるパターン間の相対的動きに対して感度が高い。そのように、モアレ干渉パターンの使用は、監視範囲に侵入する対象物を検出するのに非常に効果的であることができる。
モアレ干渉パターンは、多数の任意の方法で生成し得る。例えば、2つ又はそれより多い類似のパターンが、監視範囲上にオフセット(中央線を外して置かれた)照明位置から投影され得る。代替として、又は追加として、1つのパターンが、監視範囲上に投影され得る一方、別のパターンが、像捕捉装置の像平面に位置したパターン化された回折格子により加えられ(impose)得る。モアレ干渉パターンを生成する更に別の方法は、投影された単一のパターンを有し、且つ一方の像の他方の像に対する位置をディジタルに又は光学的に回転し又はさもなければが変化させる同じ範囲の2つの像を捕捉して、モアレ干渉パターンを生成する方法である。多数の任意の他の方法がまた、希望通りに、モアレ干渉パターンを生成するため用い得る。
モアレ干渉パターンを用いるとき、監視範囲の1つ又はそれより生の像は、選択された時間に捕捉され得る。次いで、その像を解析して、モアレ干渉パターンの変化を検出し得る。モアレ干渉パターンの変化は、監視範囲の地形的変化を、従って当該監視範囲内の対象物の侵入又は動きを指示し得る。モアレ干渉パターンを用いる利点は、周囲照明条件における影及び/又は他の変化が、モアレ干渉パターンの位置、周波数又は他の特性に少ししか、又は全く影響しないことである。投影されたパターンが周囲光により圧倒されるのを防止するのを支援するため、通常周囲照明条件で見つけられないスペクトル又は照明周波数の一部、例えば近赤外線のようなものを用いて、1つ又はそれより多いパターンを監視範囲に投影することを意図している。
本発明は、ユーザが規定した安全区域における人又は他の対象物の侵入を監視するため用い得る。しかしながら、安全、記録、及び他の監視及び/又は検出応用を含む多数の他の応用にも適用可能である。
図1A及び図1Bは、本発明に従った1つの例証的対象物検出システムを示す概略図である。 図2A及び図2Bは、本発明に従った他の例証的対象物検出システムを示す概略図である。 図3A及び図3Bは、本発明の幾つかの実施形態に従って用いることができる2つの例示的パターンを図示する。 図4A及び図4Bは、本発明の他の実施形態に従って用いることができる2つの例示的パターンを図示する。 図5Aから図5Cは、本発明に従ったモアレ干渉現象の一例を図示する。 図6Aから図6Cは、それぞれ、本発明の一実施形態に従った例示的参照像、生の像、及び比較像を図示する。 図7は、本発明に従った例証的方法を示すフロー図である。 図8は、本発明に従った別の例証的方法を示すフロー図である。 図9は、本発明に従った更に別の例証的方法を示すフロー図である。
以下の説明は、図面を参照して読むべきであり、そこにおいて、類似の参照番号は、幾つかの図面全体を通して類似の構成要素を示す。詳細な説明及び図面は、選択された例証的実施形態を表し、制限することを意図するものでは無い。
本発明は、動的照明条件の影響を受けることがより少なく、及び/又は対象物の動き及び/又は存在に対する感度が従来技術のシステムより高い対象物検出システムを提供する。このシステムはまた、監視範囲内に侵入する全ての三次元外部対象物に対して感度が高い。これは、例えば、1つ又はそれより多い静的又は動的パターンを監視範囲上へ投影し、上記の1つ又はそれより多いパターンを含む上記監視範囲の1つ又はそれより多い像を捕捉し、且つ選択された捕捉された像内の1つ又はそれより多いパターンの変化を検出することにより上記監視範囲内の対象物を検出することにより達成され得る。
図1A及び図1Bは、本発明に従った第1の例証的対象物検出システムを示す概略図である。図1Aの例証的対象物検出システムは、照明源2、像捕捉装置4、像記憶装置6、及び処理装置8を含む。幾つかの実施形態においては、照明源2、像捕捉装置4、像記憶装置6、及び処理装置8は、共通装置内に統合化されているが、一方他の実施形態においては、希望に応じて、別々の装置が設けられる。
照明源2は、天井近くのように、監視範囲14の上に配置される。照明源2は、監視範囲14を所望のパターンを用いて照明する。そのパターンは、例えば、パターン化された回折格子を通して投影すること、干渉縞がフェーザー又は波長シフトすることにより形成される干渉パターンを投影すること、走査機構用いてパターンを投影すること、又は任意の他の適切な方法のいずれかにより発生され得る。
前述したように、パターンは、静的又は動的であり得る。動的パターンは、明るい範囲及び暗い範囲の空間的位置が動いていて、そして一般的にその動きが性質上周期的であるパターンである。動的モアレ・パターンを実現する1つの方法は、干渉パターンをマッハ−ツェンダー干渉計から投影する方法である。なお、マッハ−ツェンダー干渉計は、鏡をペソ−アクチュエータ(peso−actuator)上に含み得る。鏡の動きの周波数は、干渉縞の動きの周波数を決定し得る。監視範囲14は、希望に応じて、長方形、円形、又は任意の他の形状であり得ることを意図している。図1Bに示されるように、例証的監視範囲14は、機械18の3つの側部の周りに延在する。
照明源2は、所望のパターンを監視範囲14上に投影することができる任意の種類の照明源であり得ることを意図している。適切な照明源2の例には、パターン化されたマスク及び照明光学機器を備える白熱又は蛍光ランプが含まれる。適切な照明源2の他の例には、変調された光−縞照明モジュールのようなレイジング源、又はパターン化された回折格子を均一に照明するレーザ・ダイオード源であって、その回折格子の像が監視範囲上に対物投影レンズを用いて再度形成される当該レーザ・ダイオード源が含まれる。適切な照明源2の更に別の例は、赤外線源であり得る。近赤外線のような、通常周囲照明条件で見つけられないスペクトルの一部を用いることは、投影されたパターンが周囲照明条件により圧倒されるのを防ぐことを支援し得て、そしてまた投影されたパターンとその環境内の他の照明源との間の区別を強化するのを支援し得る。その上、又は代替として、像捕捉装置は、照明源のスペクトルのような所望のスペクトルに合わされているセンサ(CCD又は類似のもの)であり得る。
照明源2は、少なくとも1つのパターンを監視範囲14上に投影するのが好ましい。用いられるパターンは、当面の特定の応用に依存し得る。例えば、1つの例証的実施形態においては、パターンは、照明を持つ範囲(例えば、明るい範囲)と照明が欠けている範囲(例えば、暗い範囲)との間の遷移を有する任意のパターンであり得る。一般的に、上記の遷移同士間の平均距離は、検出が希望される最小対象物とほぼ同じ大きさであるべきであるが、しかしこれは必ずしも必要ではない。適切なパターンの例は、縞を付された又は市松模様の板パターンを含み、そのパターンでは照明された範囲と非照明の範囲とが交互に並んでいる。幾つかの例証的パターンが図3A及び図3B、及び図4A及び図4Bに示されているが、しかし任意の適切なパターンを用い得る。
一度照明されると、そして1つの例証的実施形態においては、像捕捉装置4は、監視範囲14の参照像を捕捉する。参照像は、一時的対象物が監視範囲14内に無い監視範囲14の像であることが好ましい。参照像は、少なくとも一時的に像記憶装置6に格納されるのが好ましい。新しい参照像が、所望ならば、周期的に捕捉され得る。一度、参照像が捕捉されると、像捕捉装置4は、監視範囲14の連続的な生の像を、好ましくは選択された時間間隔で捕捉し得る。参照像と同様に、生の像は、少なくとも一時的に像記憶装置6に格納されるのが好ましい。像記憶装置6は、参照像及び生の像を処理のため処理装置8に与え得る。
処理装置8は、生の像を解析して、照明されたパターンの変化を検出するのが好ましい。幾つかの実施形態においては、監視範囲が、マスク窓と呼ばれるある一定数の像セグメントに分割される。各マスク窓の大きさは、その大きさが検出を希望される最小対象物のおおよその大きさより大きく無いように選定されるのが好ましい。マスク窓より小さい対象物が検出され得る一方、そのような対象物の検出の確率が対象物の大きさと共に低減する。様々なマスク窓の位置は、監視されるべき範囲全体が複数の重なっているマスク窓によりカバーされるように選定され得る。各マスク窓に対応する像範囲は、希望される場合、対象物検出のため別々に解析され得る。その上、希望される場合、様々なマスク窓を解析するため用いられる解析方法は像毎に異なり、そしてトリガされた応答は、どのマスク窓が対象物を検出するかに依存し得ることを意図している。
参照像と生の像との比較は、多数の任意の方法で達成されることができる。1つの方法は、単純に像のピクセル毎の比較を、例えば一方の像から他方の像を差し引くことによるように行う方法である。監視範囲内での対象物の侵入又は動きが無い場合、2つの像内の投影されたパターンは実質的に相殺されるであろう。しかしながら、監視範囲内での対象物の侵入又は動きが有る場合、一方の像内に示される投影されたパターンの一部は、シフトされ、又はさもなければ他方の像内に示されるパターンに対して変形され得る。更に以下に説明されるように、閾値を用いて、参照像と生の像との間に十分な差が有るかどうかを決定して、検出された対象物を指示することを支援し得る。
1つの像を別の像と比較する別の方法は、パターンの明るい範囲(例えば、マスク窓におけるような)に対応する輝度レベルの値と、参照像のマスク窓内の暗い範囲に対応する輝度レベルの値との差「gref」を計算する方法である。生の像のマスク窓に対して、類似の計算を行い得る。第2の計算が第1の計算から指定した量だけ異なるときは常に、変化を推論し得る。像を比較するこの方法及び他の方法の更なる説明は、発明の名称が「対象物検出(Object Detection)」である同時係属米国特許出願Serial No. に含まれており、本明細書に援用されている。
1つの像を別の像と比較する更に別の方法は、各ピクセルと幾つかの隣接ピクセルとの間の相関を、及び/又は選択された特徴同士間の相関を測定し、次いで相関値同士を比較する方法である。相関値が指定した量だけ異なるときは常に、変化を推論し得る。代替として、又は追加として、像解析は、フーリエ変換を用いて、モアレ空間周波数及び位相を抽出し得る。また、例えば、鮮明でないマスキング、閾化、対照セグメント化、フィルタリング処理、スケルトン化(骨格化)処理、多重解解析、変形可能な輪郭モデル化、像クラスタリング、形態学等を含む他の像解析技術を用い得る。これらの比較方法は、単に例証であることを意味し、そして、応用に応じて、任意の適切な方法を用いて、像又は当該像の選択された特性を比較し得ることを意味する。
参照像及び/又は生の像は、それらが比較される前に、事前処理され得ることも意図している。例えば、参照像及び/又は生の像がフィルタに与えられ得て、そのフィルタは、スペックルを取り除き、平滑化し、強度全体を変え、又はさもなければ像をきれいにするのを支援する。
照明されたパターン内で検出された変化は、監視範囲14内の地形的変化を、従って監視範囲14内の対象物の侵入又は動きを指示し得る。対象物が検出されたとき、処理装置8は、警報を鳴らし、機械18を停止し、及び/又は何か他の警報又は動作を与え得る。検出された対象物が存在している状態の監視範囲の像は、後続の解析のため保持され、及び/又は希望される場合監視局に送られ得る。
図2A及び図2Bは、本発明に従った更に他の例証的対象物検出システムを示す概略図である。図2Aにおいて、照明源2は、放射源20、対物投影レンズ22及びパターン化された回折格子24を含む。例証的実施形態において、パターン化された回折格子24は、所望のパターンを監視範囲14上に与える。モアレ干渉パターンを生成するに適切な任意のパターンを用い得ることを意図している。幾つかの適切なパターンが図4A及び図4Bに示されている。別々のパターン化された回折格子を設けることとは異なり、照明源2自体が、希望される場合、所望のパターンを与えるよう構成され得る。
図2Aに示される例証的実施形態において、像捕捉装置4は、監視範囲14の第1の像を第2の回折格子26を通して捕捉する。第2の回折格子26は、所望のパターンを生成する任意の種類の回折格子、フィルタ又はマスクであり得る。幾つかのケースにおいて、第2の回折格子26は、像捕捉装置4自身のCCDピクセル・アレイにより与えられ得る。第1の回折格子24及び第2の回折格子26は、モアレ干渉パターンをその中に含む生の像を集合的に生成するのが好ましい。幾つかの実施形態においては、第2のパターンは、希望される場合、生の像が捕捉された後で、その生の像上にディジタルに加えられ得る。像捕捉装置4は、生の像を像記憶装置28に送信する。なお、その像記憶装置28はまた、図示の実施形態において、処理装置を含み得る。
照明源2及び像捕捉装置4の位置は、互いにある距離だけ離れていることが好ましい。この距離は、小から大まであり得る。この間隔は、地形的変化が監視範囲14で生じたとき像捕捉装置4に到達するパターンの変化を助長するよう支援し得る。典型的には、上記間隔は、投影されたパターンの分解能が増大されるにつれ大きくなるべきである。最後に、警報装置30が、像記憶装置28に取り付けられ得て、そして対象物を検出すると直ぐに作動され得る。
図2Bにおいては、2つの別々のパターンを監視範囲14上に投影するための2つの照明源36及び38が設けられている。照明源36は、放射源40、対物投影レンズ42及びパターン化された回折格子44を含む。照明源36は、第1のパターンを監視範囲14上に投影するのが好ましい。同様に、照明源38は、放射源46、対物投影レンズ48及びパターン化された回折格子50を含む。照明源38は、第2のパターンを監視範囲14上に投影するのが好ましい。第1のパターン及び第2のパターンは、集合的に、モアレ干渉パターンを監視範囲14上に形成するようにさせるのが好ましい。
像捕捉装置4を用いて、監視範囲14の生の像を捕捉する。上記と同様に、像捕捉装置4は、像記憶装置及び処理装置を含み得る。生の像を解析して、時間に対するモアレ干渉パターンの変化を検出するのが好ましい。モアレ干渉パターンの変化は、監視範囲14内の地形的変化を、従って監視範囲14内の対象物の侵入又は動きを指示し得る。
図2A及び図2Bの両方に示される例証的実施形態は、モアレ干渉パターンをその結果生じる生の像内に与えるようにさせる。像解析は、図1A及び図1Bに関して前述した像解析と似ていてよい。代替として、又は追加として、像解析は、フーリエ変換を用いてモアレ空間周波数及び位相を抽出し得る。また、例えば、鮮明でないマスキング、閾化、対照セグメント化、フィルタリング処理、スケルトン化処理、多重解解析、変形可能な輪郭モデル化、像クラスタリング、形態学等を含む他の像解析技術を用い得る。代替として、又は追加として、ラドン・フィルタを、モアレ干渉バンド(又はモアレ干渉縞)に対して垂直に指向させ得て、そして参照像からのフィルタリングされた結果と生の像からのフィルタリングされた結果との間の相関の任意の損失は、モアレ干渉バンドの変化を指示し得る。
図5Aから図5Cは、本発明に従ったモアレ干渉現象の一例を図示する。図5Aは、監視範囲上に投影された第1のパターンの像を示す。第1のパターンは、垂直方向に延在するある一定数の並行線を含む。図5Bは、第2のパターンが第1のパターン上に重畳されている、監視範囲の像を示す。第2のパターンは、垂直方向に対して半径方向にずれている方向に延在するある一定数の線を含む。図示の例証的実施形態において、監視範囲の表面は、球形状であり、ある一定数の湾曲したモアレ干渉バンド50をもたらす。図5Cは、対象物52が監視範囲内に位置されているその監視範囲の像を示す。対象物52は、図5Bに関係したモアレ干渉バンドの変化を起こす。上記で示したように、モアレ干渉バンドは、監視範囲内の地形的変化に非常に敏感であり、その変化は、図示の実施形態において、三次元の対象物52の監視範囲の中への導入により示されている。
図6Aから図6Cはそれぞれ、唯1つのパターンが監視範囲上に投影され、且つ回折格子が監視範囲と像捕捉装置との間に配置されていない場合の例証的な参照像、生の像及び比較像を図示する。図6Aに示される像は、監視範囲の参照像である。図6Bに示される像は、手が監視範囲に置かれたときの監視範囲の像である。図6Cに示される像は、図6Aに示される像と図6Bに示される像との比較(例えば、減算)から生じる像である。分かることができるように、図6Cに示される像は、境界を含む対象物を監視範囲内で強調する。その上、仮想の干渉バンドが、対象物の中及びその周りに現れる。ある環境の下では、公差又は閾を設けることが望ましく、当該公差又は閾より下では、差が照明条件における、又は異なる時間に同じ範囲から取られた像間における正常な変化のみに起因しそうである。この公差は、間違った積極性の尤度を低減し、そしてシステムの信頼性を増大し得る。
図7は、本発明に従った例証的方法を示すフロー図である。この例証的方法は、ステップ70で入り、そこにおいて、閾値が選択される。次いで、制御は、ステップ72に通される。ステップ72は、監視範囲を1つのパターンを用いて照明する。前述したように、パターンは、任意の適切なパターンであり得る。次いで、ステップ74は、監視範囲の参照像を捕捉する。この参照像は、監視範囲の静止背景のみを含み、一時的対象物は存在しない。幾つかの実施形態においては、参照像は、ステップ88に示されるように、手動開始を行うと直ぐに捕捉/更新されることができる。
次いで、ステップ76は、監視範囲の生の像を捕捉する。ステップ78は、参照像と生の像とを比較して、差のパラメータを決定する。上記で詳述したように、参照像と生の像との比較は、多数の任意の方法で達成されることができる。1つの方法は、単純に像のピクセル毎の比較を、例えば一方の像を他方の像から差し引くことによるように行う方法である。監視範囲内での対象物の侵入又は動きが無い場合、2つの像内の投影されたパターンは、実質的に相殺されるであろう。しかしながら、監視範囲内での対象物の侵入又は動きがある場合、一方の像内に示された投影されたパターンの一部は、シフトされ得て、又はさもなければ他方の像内に示されたパターンに対して変形され得る。
別の方法は、パターンの明るい範囲(例えば、マスク窓におけるような)に対応する輝度レベルの値と参照像のマスク窓内の暗い範囲に対応する輝度レベルの値との間の差「gref」を計算する方法である。生の像のマスク窓に対して、類似の計算を行い得る。更に別の方法は、各ピクセルと幾つかの隣接ピクセルとの間の相関を、及び/又は選択された特徴同士間の相関を測定し、次いで相関値同士を比較する方法である。他の例証的方法には、フーリエ変換、鮮明でないマスキング、閾化、対照セグメント化、フィルタリング処理、スケルトン化処理、多重解解析、変形可能な輪郭モデル化、像クラスタリング、形態学等を用いて、モアレ空間周波数及び位相を抽出することが含まれる。これらの比較方法は、単に例証であることを意味し、そして、応用に応じて、任意の適切な方法を用いて、像、又は当該像の選択された特性を比較し得る。
また、参照像及び/又は生の像は、それらが比較される前に事前処理され得ることを意図している。例えば、参照像及び/又は生の像がフィルタに与えられて、そのフィルタは、スペックルを取り除き、平滑化し、強度全体を変え、又はさもなければ像をきれいにするのを支援し得る。
ステップ80は、ステップ78において識別された差がステップ70において指定された閾値を越えているか否かを決定する。差が閾値を越えて場合、制御はステップ82に通される。ステップ82は、対象物が監視範囲内に存在することを信号で知らせる。次いで、幾つかの実施形態においては、例えば、警報を鳴らすこと、機械を停止すること、及び/又はある他の警報又は動作を与えることのような動作が取られる。差が閾値を越えていない場合、制御はステップ84に通される。ステップ84は、対象物が監視範囲内に存在しないことを信号で知らせ、そして制御はステップ86に通される。
ステップ86は、更新された参照像が望ましいか否かを決定する。照明条件が監視範囲内又はその周りで動的である場合のようなある環境の下では、参照像を周期的に更新するのは有利であり得る。更新された参照像が望ましいことが決定された場合、制御はステップ74に通される。ステップ74は、参照像を前の生の像を用いて更新する。代替として、希望される場合、対象物が監視範囲内に入ってしまわない限り、新しい参照像を捕捉し得る。更新された参照像を必要としないことが決定された場合、制御はステップ76に通され、そこにおいて新しい生の像が捕捉される。
図8は、本発明に従った別の例証的方法を示すフロー図である。その例証的方法はステップ90で入り、そこにおいて閾値が選択される。次いで、制御はステップ92に通される。ステップ92は、監視範囲を第1のパターンを用いて照明する。ステップ94は、第1のパターンに対して第2のパターンを加える。ステップ94は、例えば、監視範囲を第2のパターンを用いて照明し、又は回折格子が、希望される場合、監視範囲と像捕捉装置との間に配置され得る。
次いで、ステップ96は、監視範囲の参照像を捕捉する。その参照像は、監視範囲の静止した背景のみを含み、一時的対象物が存在しないことが好ましい。幾つかの実施形態において、参照像は、110で示されるように、手動開始を行うと直ぐに捕捉/更新されることができる。
ステップ98は、監視範囲の生の像を捕捉する。ステップ100は、参照像と生の像とを比較して、選択された差を決定する。ステップ102は、ステップ100で識別された差がステップ90で指定された閾値を越えているか否かを決定する。差が閾値を越えている場合、制御はステップ104に通される。ステップ104は、対象物が監視範囲内に存在することを信号で知らせる。幾つかの実施形態において、例えば、警報を鳴らすこと、機械を停止すること、及び/又はある他の警報又は動作を与えることのような動作が取られる。差が閾値を越えていない場合、制御はステップ106に通される。ステップ106は、対象物が監視範囲内に存在しないことを信号で知らせ、そして制御はステップ108に通される。
ステップ108は、更新された参照像が望ましいか否かを決定する。照明条件が監視範囲内又はその周りで動的である場合のようなある環境の下では、参照像を周期的に更新することが有利であり得る。更新された参照像が望ましいことが決定された場合、制御はステップ96に通される。ステップ96は、参照像を前の生の像を用いて更新する。代替として、希望される場合、対象物が監視範囲内に入ってしまわない限り、新しい参照像を捕捉し得る。更新された参照像を必要としないことが決定された場合、制御はステップ98に通され、そこにおいて新しい生の像が捕捉される。
図9は、本発明に従った更に別の例証的方法を示すフロー図である。この例証的方法はステップ120で入り、そこにおいて閾値が選択される。次いで、制御はステップ122に通される。ステップ122は、監視範囲を少なくとも1つのパターンを用いて照明する。ステップ124は、監視範囲の2つ又はそれより多いマスク窓の参照像を捕捉する。各マスク窓は、監視範囲内の副範囲又は領域に対応するのが好ましい。幾つかの実施形態において、参照像は、ステップ140で示されるように、手動開始を行うと直ぐに捕捉/更新されることができる。
ステップ126は、監視範囲内の各マスク窓の生の像を捕捉する。次いで、各マスク窓に対して、ステップ128は、参照像と生の像とを比較して、それらの差を決定する。幾つかの実施形態において、参照像及び生の像の選択されたマスク窓は、差比較アルゴリズムを用いて比較される。ステップ130は、ステップ128で識別された差のいずれかがステップ120で指定された閾値を越えているか否かを決定する。幾つかの実施形態において、各マスク窓、又はマスク窓の各群は、異なる閾値を有する。
これらの差のいずれかが閾値を越えている場合、制御はステップ132に通される。ステップ132は、対象物が監視範囲内に存在することを信号で知らせる。幾つかの実施形態において、例えば、警報を鳴らすこと、機械を停止すること、及び/又はある他の警報又は動作を与えることのような動作が取られる。幾つかの実施形態において、その動作は、どのマスク窓が対象物を検出するかに依存し得る。例えば、1つのマスク窓に対して、上記の動作は警報を鳴らすことを含み得て、一方別のマスク窓に対して、上記の動作は監視範囲内で機械を停止することを含み得る。いずれの事象においても、差が閾値を越えていない場合、制御はステップ134に通される。ステップ134は、対象物が監視範囲内に存在しないことを信号で知らせ、そして制御はステップ136に通される。
ステップ136は、更新された参照像が望ましいか否かを決定する。更新された参照像が望ましいことが決定された場合、制御はステップ124に通される。ステップ124は、参照像を前の生の像を用いて更新する。代替として、希望される場合、対象物が監視範囲内に入ってしまわない限り、新しい参照像を捕捉し得る。更新された参照像を必要としないことが決定された場合、制御はステップ126に通され、そこにおいて監視範囲のマスク窓の新しい生の像が捕捉される。
本発明は様々な修正及び代替形式の余地があるが、本発明の特定の例が、図面に示され、そして本明細書に詳細に説明された。しかしながら、本発明は、開示された特定の形式又は方法に制限されるものでは無く、それと反対に、本発明は、添付の特許請求の範囲の趣旨及び範囲内に入る全ての変更、均等物及び代替物を含むべきであることが理解されるべきである。

Claims (2)

  1. 監視範囲に侵入する対象物を検出する方法であって、
    監視範囲上にパターンを投影するステップと、
    前記パターンを含む、前記監視範囲の生の像を捕捉するステップと、
    ある変化が前記生の像内の前記パターンで検出されたとき、前記監視範囲に侵入する対象物を検出するステップと、を備え、
    前記投影するステップは、それぞれが1つの輝度レベルを持つ、明るい範囲及び暗い範囲を有する指定されたパターンを用いて監視範囲上にパターンを投影するステップと、
    前記捕捉するステップは、各参照マスク窓が前記監視範囲の少なくとも一部をカバーする、複数の参照像マスク窓を捕捉するステップと、各参照像マスク窓に対して、前記マスク窓内の明るい範囲に対応する輝度レベルと前記マスク窓内の暗い範囲に対応する輝度レベルとの間の差を計算するステップと、各参照像マスク窓に対して、対応する生の像マスク窓を捕捉するステップと、各生の像マスク窓に対して、前記マスク窓内の明るい範囲に対応する輝度レベルと前記マスク窓内の暗い範囲に対応する輝度レベルとの間の差を計算するステップを含み、
    前記検出するステップは、任意のマスク窓に対して、前記生の像のために計算された差が対応する参照像のために計算された差から少なくとも指定された閾値だけ異なる場合、対象物が監視範囲に侵入したことを指示するステップと、
    を備える方法。
  2. 前記投影するステップは、監視範囲に第1のパターン用いて照明するステップと、前記第1のパターンに対してシフトされた第2のパターンを加えることにより、モアレ干渉バンドを生成するステップを含み、
    前記捕捉するステップは、前記モアレ干渉バンドを含む、前記監視範囲の生の像を捕捉するステップを含み、
    前記検出するステップは、ある変化が前記生の像内の前記モアレ干渉バンドで検出されたとき、前記監視範囲に侵入する対象物を検出するステップを含む、
    請求項1に記載の方法。
JP2010069909A 2001-01-19 2010-03-25 対象物を検出するための方法及び装置 Expired - Fee Related JP5264815B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US26292501P 2001-01-19 2001-01-19
US60/262,925 2001-01-19
US10/052,953 2002-01-17
US10/052,953 US6841780B2 (en) 2001-01-19 2002-01-17 Method and apparatus for detecting objects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003505889A Division JP2005508027A (ja) 2001-01-19 2002-01-18 対象物を検出するための方法及び装置

Publications (3)

Publication Number Publication Date
JP2010211805A true JP2010211805A (ja) 2010-09-24
JP2010211805A5 JP2010211805A5 (ja) 2010-12-02
JP5264815B2 JP5264815B2 (ja) 2013-08-14

Family

ID=26731290

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003505889A Pending JP2005508027A (ja) 2001-01-19 2002-01-18 対象物を検出するための方法及び装置
JP2010069909A Expired - Fee Related JP5264815B2 (ja) 2001-01-19 2010-03-25 対象物を検出するための方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003505889A Pending JP2005508027A (ja) 2001-01-19 2002-01-18 対象物を検出するための方法及び装置

Country Status (4)

Country Link
US (1) US6841780B2 (ja)
JP (2) JP2005508027A (ja)
AU (1) AU2002330840A1 (ja)
WO (1) WO2002103649A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039311A1 (ja) 2010-09-22 2012-03-29 Necカシオモバイルコミュニケーションズ株式会社 撮影装置、画像転送方法、及びプログラム
JP2016161572A (ja) * 2015-02-27 2016-09-05 ジーイー・アビエイション・システムズ・エルエルシー 侵入オブジェクトを検出するシステムおよび方法
KR101779590B1 (ko) * 2016-03-09 2017-09-19 주식회사 에스원 패턴무늬를 이용한 면 감시 시스템 및 이를 이용한 면 감시 방법

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US7298866B2 (en) 2001-10-15 2007-11-20 Lockheed Martin Corporation Two dimensional autonomous isotropic detection technique
US7154531B2 (en) * 2001-10-26 2006-12-26 The Chamberlain Group, Inc. Detecting objects by digital imaging device
JP3829729B2 (ja) * 2002-02-14 2006-10-04 オムロン株式会社 個人認証装置
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
WO2004023072A1 (en) * 2002-09-05 2004-03-18 Solvision, Inc. Shadow-free 3d and 2d measurement system and method
DE10244719A1 (de) * 2002-09-25 2004-04-01 Delphi Technologies, Inc., Troy Verfahren und System zur Innenraumüberwachung
DE10253501A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Bildgeber
US7746379B2 (en) * 2002-12-31 2010-06-29 Asset Intelligence, Llc Sensing cargo using an imaging device
EP1649314B1 (fr) * 2003-07-04 2008-03-05 Vincent Lauer Dispositif d'imagerie a balayage pour microscopie confocale a soustraction d'images
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
DE10360761A1 (de) * 2003-12-23 2005-07-28 Airbus Deutschland Gmbh Beleuchtungseinrichtung für eine Überwachungskamera
US7421112B2 (en) * 2004-03-12 2008-09-02 General Electric Company Cargo sensing system
US20050207616A1 (en) * 2004-03-17 2005-09-22 The Chamberlain Group, Inc. Movable barrier operator with an obstacle detector
CA2564171C (en) * 2004-04-30 2012-07-24 Utc Fire & Security Corp. Atm security system
US7440620B1 (en) * 2004-05-21 2008-10-21 Rockwell Automation B.V. Infrared safety systems and methods
JP2006098252A (ja) * 2004-09-30 2006-04-13 Brother Ind Ltd 3次元情報取得方法
WO2007043036A1 (en) * 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
EP1929333A1 (en) * 2005-08-18 2008-06-11 Datasensor S.p.A. Vision sensor for security systems and its operating method
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
WO2007105205A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US7627170B2 (en) 2005-10-11 2009-12-01 Northrop Grumman Corporation Process for the identification of objects
US7230722B2 (en) * 2005-10-19 2007-06-12 University Of Maryland Shadow moire using non-zero talbot distance
US7489408B2 (en) * 2005-11-15 2009-02-10 General Electric Company Optical edge break gage
US7499830B2 (en) * 2005-11-15 2009-03-03 General Electric Company Computer-implemented techniques and system for characterizing geometric parameters of an edge break in a machined part
KR20080075123A (ko) 2005-11-30 2008-08-14 가부시키가이샤 니콘 관찰장치
US7683934B2 (en) * 2005-12-06 2010-03-23 March Networks Corporation System and method for automatic camera health monitoring
DE102006003228A1 (de) * 2006-01-24 2007-08-02 Sick Ag Vorrichtung zur Überwachung eines Schutzfeldes
WO2007105215A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
DE202006008112U1 (de) * 2006-05-20 2006-08-10 Sick Ag Optoelektronische Schutzeinrichtung
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
DE102006034926A1 (de) * 2006-07-28 2008-01-31 Sick Ag Entfernungsmessgerät
US7466628B2 (en) * 2006-08-15 2008-12-16 Coda Octopus Group, Inc. Method of constructing mathematical representations of objects from reflected sonar signals
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
US7986336B2 (en) * 2006-11-27 2011-07-26 Eastman Kodak Company Image capture apparatus with indicator
EP1927957A1 (de) * 2006-11-29 2008-06-04 Sick Ag Vorrichtung und Verfahren zur Überwachung eines Überwachungsbereichs
WO2008076942A1 (en) * 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
US8350847B2 (en) * 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
NL1033589C2 (nl) * 2007-03-26 2008-09-29 Maasland Nv Samenstel van een melkrobot met een melkrobotvoerplaats, en inrichting voor het grijpen en verplaatsen van materiaal.
US8493496B2 (en) * 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US7925075B2 (en) * 2007-05-07 2011-04-12 General Electric Company Inspection system and methods with autocompensation for edge break gauging orientation
HUP0700391A2 (en) * 2007-06-05 2008-12-29 Zsombor Lazar Method of determining an intrusion into a monitored area and system for generating output signals in response to such intrusion
EP2161695A4 (en) * 2007-06-07 2011-06-08 Univ Electro Communications OBJECT DETECTION DEVICE AND THEREFORE USING TOWER DEVICE
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
DE102007036129B3 (de) * 2007-08-01 2008-09-25 Sick Ag Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
DE102007062949A1 (de) * 2007-12-21 2009-06-25 Robert Bosch Gmbh Werkzeugmaschinenvorrichtung
EP2133619A1 (de) * 2008-06-10 2009-12-16 Sick Ag Dreidimensionale Überwachung und Absicherung eines Raumbereichs
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8233734B2 (en) * 2008-09-22 2012-07-31 Microsoft Corporation Image upsampling with training images
DE202008017962U1 (de) * 2008-09-23 2011-02-10 Sick Ag Beleuchtungseinheit zur Erzeugung eines selbstunähnlichen Musters
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US7932838B2 (en) * 2008-11-17 2011-04-26 Honeywell International, Inc. Aircraft collision avoidance system
US8194916B2 (en) * 2008-12-24 2012-06-05 Weyerhaeuser Nr Company Method and apparatus for monitoring tree growth
US8462207B2 (en) * 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US9147324B2 (en) * 2009-02-23 2015-09-29 Honeywell International Inc. System and method to detect tampering at ATM machines
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
WO2011079323A2 (en) * 2009-12-24 2011-06-30 Michigan Aerospace Corporation Light processing system and method
US8427649B2 (en) * 2009-05-15 2013-04-23 Michigan Aerospace Corporation Range imaging lidar
US8797550B2 (en) 2009-04-21 2014-08-05 Michigan Aerospace Corporation Atmospheric measurement system
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
DE102009028212A1 (de) * 2009-08-04 2011-02-10 Robert Bosch Gmbh Verfahren zum Überwachen eines Bereichs
JP5355316B2 (ja) * 2009-09-10 2013-11-27 キヤノン株式会社 テンプレート画像の評価方法及び生体運動検出装置
US9507411B2 (en) 2009-09-22 2016-11-29 Facebook, Inc. Hand tracker for device with display
DE102009055623B4 (de) * 2009-11-25 2016-01-28 Technische Universität Braunschweig Verfahren und Einrichtung zur optischen Aktivitätenerkennung
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
WO2011073888A2 (en) * 2009-12-14 2011-06-23 Montel Inc. Entity detection system and method for monitoring an area
WO2011085420A1 (de) * 2010-01-18 2011-07-21 Stefan Wieser Vorrichtung und verfahren zum überwachen einer gebäudeöffnung
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
WO2011128117A2 (de) * 2010-04-16 2011-10-20 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. . Einrichtung zur überwachung mindestens eines dreidimensionalen sicherheitsbereichs
WO2012011037A1 (en) 2010-07-23 2012-01-26 Leddartech Inc. 3d optical detection system and method for a mobile storage system
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US20120106778A1 (en) * 2010-10-28 2012-05-03 General Electric Company System and method for monitoring location of persons and objects
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
JP2012133759A (ja) * 2010-11-29 2012-07-12 Canon Inc 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US8989437B2 (en) 2011-05-16 2015-03-24 Microsoft Corporation Salient object detection by composition
US8831287B2 (en) * 2011-06-09 2014-09-09 Utah State University Systems and methods for sensing occupancy
US8908024B2 (en) 2011-06-29 2014-12-09 Honeywell International Inc. System for detecting an item within a specified zone
KR101446902B1 (ko) * 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
CN102360510A (zh) * 2011-09-29 2012-02-22 沈阳体育学院 莫阿条纹动态图
US20140333763A1 (en) * 2011-11-22 2014-11-13 Schneider Electric Buildings, Llc Method and system for controlling access using a smart optical sensor
CN103226060B (zh) * 2012-01-31 2016-08-24 通用电气公司 风力涡轮叶片的检测系统和方法
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US8823930B2 (en) * 2012-08-07 2014-09-02 Carl Zeiss Industrielle Messtechnik Gmbh Apparatus and method for inspecting an object
AU2012268882B2 (en) * 2012-12-24 2015-07-09 Canon Kabushiki Kaisha Estimating phase for phase-stepping algorithms
EP2801958B1 (en) 2013-05-08 2016-09-14 Axis AB Monitoring method and camera
MX2016005338A (es) 2013-10-23 2017-03-20 Facebook Inc Representacion de profundidad tri-dimensional con el uso de luz estructurada dinamica.
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
DE102014226691A1 (de) 2014-12-19 2016-06-23 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Überwachung eines Koordinatenmessgeräts
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
GB201511334D0 (en) * 2015-06-29 2015-08-12 Nokia Technologies Oy A method, apparatus, computer and system for image analysis
DE102015215234A1 (de) * 2015-08-10 2017-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einrichtung zum Absichern eines Sicherheitsbereichs um mindestens eine automatisch arbeitende Maschine
WO2017088007A1 (en) * 2015-11-25 2017-06-01 Vac Group Operations Pty Ltd Worksite safety device using lidar
JP6668763B2 (ja) * 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
CN107323114B (zh) * 2017-06-22 2019-08-16 珠海汇金科技股份有限公司 印控仪的入侵检测方法、系统及印控仪
EP3646299A1 (en) * 2017-06-28 2020-05-06 Schneider Electric IT Corporation Systems and methods of intrusion detection for rack enclosures
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US10948578B2 (en) * 2018-10-10 2021-03-16 International Business Machines Corporation Distinguishing holographic objects from physical objects
US11232685B1 (en) * 2018-12-04 2022-01-25 Amazon Technologies, Inc. Security system with dual-mode event video and still image recording
JP6841297B2 (ja) * 2019-05-31 2021-03-10 株式会社デンソー ビジュアルサーボシステム
US11388775B2 (en) 2019-09-11 2022-07-12 Honeywell International Inc. Systems and methods for identifying blockages of emergency exists in a building
DE102020214251A1 (de) * 2020-11-12 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bereitstellen von Überwachungsdaten zur Detektion eines beweglichen Objekts, Verfahren zur Detektion eines beweglichen Objekts, Verfahren zum Herstellen zumindest eines vordefinierten punktsymmetrischen Bereichs und Vorrichtung
DE102021115280A1 (de) * 2021-06-14 2022-12-15 Agtatec Ag Automatische Türanordnung mit Sensorvorrichtung und Verfahren zum Betreiben einer solchen automatischen Türanordnung

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129770A (ja) * 1993-10-28 1995-05-19 Mitsubishi Electric Corp 画像処理装置
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
JPH09130780A (ja) * 1995-10-27 1997-05-16 Toshiba Corp 監視装置
JPH10105709A (ja) * 1996-09-25 1998-04-24 Sony Corp 画像照合装置
JPH10232985A (ja) * 1997-02-19 1998-09-02 Risou Kagaku Kenkyusho:Kk 室内監視装置
JPH1123238A (ja) * 1997-04-25 1999-01-29 General Electric Co <Ge> 3次元の整形体を測定並びに監視するシステム
JP2000189389A (ja) * 1998-12-25 2000-07-11 Matsushita Electric Works Ltd 睡眠状態監視装置
JP2000261789A (ja) * 1999-03-09 2000-09-22 Minolta Co Ltd 画像処理システムおよび画像処理プログラムを記録した記録媒体
EP1065521A2 (de) * 1999-06-30 2001-01-03 Sick AG Optoelektronisches Überwachungssystem

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
US4589140A (en) 1983-03-21 1986-05-13 Beltronics, Inc. Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like
US4923066A (en) * 1987-10-08 1990-05-08 Elor Optronics Ltd. Small arms ammunition inspection system
FR2665317B1 (fr) 1990-07-27 1996-02-09 Thomson Surveillance Video Camera de surveillance a support integre.
EP0484076B1 (en) 1990-10-29 1996-12-18 Kabushiki Kaisha Toshiba Video camera having focusing and image-processing function
KR930010843B1 (ko) 1990-12-15 1993-11-12 삼성전자 주식회사 이동감시 카메라장치
US5359363A (en) 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5479021A (en) 1991-06-10 1995-12-26 Picker International, Inc. Transmission line source assembly for spect cameras
JP3151921B2 (ja) 1991-06-17 2001-04-03 松下電器産業株式会社 テレビジョンカメラ装置
CA2062620C (en) * 1991-07-31 1998-10-06 Robert Paff Surveillance apparatus with enhanced control of camera and lens assembly
US5164827A (en) 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
CA2068022C (en) 1991-09-17 2002-07-09 Norbert M. Stiepel Surveillance device with eyeball assembly and pivotably mountable carriage assembly
USD349714S (en) 1991-11-18 1994-08-16 Elmo Company Ltd. Surveillance camera
USD349713S (en) 1991-11-18 1994-08-16 Elmo Company Ltd. Surveillance camera
FR2686720A1 (fr) 1992-01-28 1993-07-30 Bidault Louis Dispositif de surveillance a camera mobile.
KR100264196B1 (ko) 1992-03-06 2000-08-16 알 아트킨스 라인 표시 기계용 제어장치
US5835613A (en) * 1992-05-05 1998-11-10 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
FR2692423B1 (fr) * 1992-06-16 1995-12-01 Thomson Csf Camera d'observation multistandard et systeme de surveillance utilisant une telle camera.
JPH0667266A (ja) 1992-08-21 1994-03-11 Ngk Insulators Ltd 防犯カメラ装置および警報システム
USD354973S (en) 1992-10-07 1995-01-31 Sony Corporation Surveillance video camera
USD347442S (en) 1992-11-06 1994-05-31 Falconer Leonard S Combined imitation surveillance camera and support therefor
US5657076A (en) * 1993-01-12 1997-08-12 Tapp; Hollis M. Security and surveillance system
USD349913S (en) 1993-01-22 1994-08-23 Morris Bryan W Surveillance video camera security box
US5418567A (en) * 1993-01-29 1995-05-23 Bayport Controls, Inc. Surveillance camera system
USD349911S (en) 1993-04-05 1994-08-23 Koyo Electronics Industries Co., Ltd. Surveillance camera
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
EP0631430A3 (en) 1993-06-22 1995-02-22 Nippon Electric Co Color image processing device for removing moiré.
JP3169196B2 (ja) 1993-08-10 2001-05-21 オリンパス光学工業株式会社 カメラ
JPH07104362A (ja) 1993-10-01 1995-04-21 Canon Inc カメラの制御装置
JPH07159892A (ja) 1993-12-08 1995-06-23 Canon Inc カメラ
JPH07175128A (ja) 1993-12-20 1995-07-14 Canon Inc カメラ
US5436462A (en) * 1993-12-21 1995-07-25 United Technologies Optical Systems Video contour measurement system employing moire interferometry having a beat frequency pattern
JPH07191390A (ja) 1993-12-27 1995-07-28 Canon Inc カメラ
CA2113399C (en) * 1994-01-13 2002-03-05 Greg Vaillancourt Remote fuel station
JPH07222039A (ja) 1994-01-31 1995-08-18 Mitsubishi Electric Corp ビデオカメラの電源装置
DE4405376C1 (de) * 1994-02-19 1995-02-16 Leuze Electronic Gmbh & Co Verfahren zum Erfassen von Objekten in einem Überwachungsbereich
JP3293308B2 (ja) 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
JP3462899B2 (ja) 1994-03-14 2003-11-05 松下電器産業株式会社 三板式テレビカメラ装置
JPH07281276A (ja) 1994-04-04 1995-10-27 Konica Corp カメラ
FR2719670B1 (fr) * 1994-05-03 1996-07-05 Sopha Medical Gamma caméra à plans d'approche et de sécurité.
US5613013A (en) * 1994-05-13 1997-03-18 Reticula Corporation Glass patterns in image alignment and analysis
US5627616A (en) * 1994-06-22 1997-05-06 Philips Electronics North America Corporation Surveillance camera system
GB9413413D0 (en) 1994-07-04 1994-08-24 At & T Global Inf Solution Apparatus and method for testing bank-notes
US5477212A (en) * 1994-07-18 1995-12-19 Rumpel; David C. Surveillance camera simulator apparatus
JP3531231B2 (ja) 1994-09-07 2004-05-24 株式会社ニコン 電源供給回路,負荷装置,および電源供給回路を備えたカメラ
USD378095S (en) 1994-09-26 1997-02-18 Elmo Company Limited Surveillance camera
JPH08140941A (ja) 1994-11-25 1996-06-04 Canon Inc 眼科撮影装置
USD365834S (en) 1995-01-06 1996-01-02 Dozier Charles W Housing for a surveillance camera
US6151065A (en) 1995-06-20 2000-11-21 Steed; Van P. Concealed integrated vehicular camera safety system
BR9609697A (pt) * 1995-07-18 1999-12-21 Budd Co Sistema de interfometria para ondeado e método com profundidade de imagem ampliada.
US5691765A (en) 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
CA2635901C (en) * 1995-07-27 2009-05-19 Sensormatic Electronics Corporation Image splitting, forming and processing device and method for use with no moving parts camera
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3220626B2 (ja) 1995-09-20 2001-10-22 シャープ株式会社 車載用監視カメラ装置
US5649255A (en) * 1995-09-25 1997-07-15 Sensormatic Electronics Corporation Video surveillance camera release and removal mechanism
US5745170A (en) * 1995-11-01 1998-04-28 Itt Corporation Mounting device for joining a night vision device to a surveillance camera
EP0774730B1 (en) 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
SG87750A1 (en) 1995-11-01 2002-04-16 Thomson Consumer Electronics Surveillance system for a video recording camera
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
IL116703A (en) * 1996-01-08 2001-01-11 Israel State System and method for detecting an intruder
US5818519A (en) * 1996-01-17 1998-10-06 Wren; Clifford T. Surveillance camera mounting apparatus
JPH09193078A (ja) 1996-01-22 1997-07-29 Hitachi Constr Mach Co Ltd 遠隔操縦機械のカメラ方向制御装置
US5752100A (en) * 1996-01-26 1998-05-12 Eastman Kodak Company Driver circuit for a camera autofocus laser diode with provision for fault protection
JP3146150B2 (ja) 1996-04-01 2001-03-12 スター精密株式会社 監視カメラシステム
JPH1031256A (ja) 1996-07-16 1998-02-03 Fuji Photo Film Co Ltd カメラ
JPH1042231A (ja) 1996-07-19 1998-02-13 Canon Inc デジタルカメラ及びデジタルカメラシステム
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
DE19643018B4 (de) * 1996-10-18 2010-06-17 Isra Surface Vision Gmbh Verfahren und Vorrichtung zum Messen des Verlaufs reflektierender Oberflächen
US6509967B1 (en) * 1996-10-18 2003-01-21 Innomess Gelsellschaft Fur Messtechnik Mbh Method for detecting optical errors in large surface panels
DE19644278A1 (de) 1996-10-24 1998-05-07 Ines Elektronik Systementwickl Optische Schranke sowie daraus aufgebaute Überwachungseinrichtung
US5731832A (en) * 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
USD399517S (en) 1996-12-06 1998-10-13 Elmo Co., Ltd. Surveillance television camera
DE19758466B4 (de) * 1997-03-11 2007-10-04 Betriebsforschungsinstitut VDEh - Institut für angewandte Forschung GmbH Planheits-Regelungssystem für Metallband
US6727938B1 (en) 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
WO1998047025A2 (en) 1997-04-16 1998-10-22 Charles Jeffrey R Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article
US6456320B2 (en) * 1997-05-27 2002-09-24 Sanyo Electric Co., Ltd. Monitoring system and imaging system
US5790910A (en) * 1997-08-04 1998-08-04 Peerless Industries, Inc. Camera mounting apparatus
US5852754A (en) * 1997-08-27 1998-12-22 Videolarm, Inc. Pressurized housing for surveillance camera
DE19809210A1 (de) 1998-03-04 1999-09-16 Siemens Ag Verfahren und Vorrichtung zur Überwachung einer Szene
IL130465A0 (en) * 1999-06-14 2000-06-01 Prolaser Ltd Method and apparatus for measuring power of an optical element for its mapping
US6564166B1 (en) * 1999-10-27 2003-05-13 Georgia Tech Research Corporation Projection moiré method and apparatus for dynamic measuring of thermal induced warpage
DE10026710A1 (de) 2000-05-30 2001-12-06 Sick Ag Optoelektronische Schutzeinrichtung
US6456384B1 (en) * 2000-11-09 2002-09-24 Tropel Corporation Moiré interferometer with overlapping illumination and imaging systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129770A (ja) * 1993-10-28 1995-05-19 Mitsubishi Electric Corp 画像処理装置
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
JPH09130780A (ja) * 1995-10-27 1997-05-16 Toshiba Corp 監視装置
JPH10105709A (ja) * 1996-09-25 1998-04-24 Sony Corp 画像照合装置
JPH10232985A (ja) * 1997-02-19 1998-09-02 Risou Kagaku Kenkyusho:Kk 室内監視装置
JPH1123238A (ja) * 1997-04-25 1999-01-29 General Electric Co <Ge> 3次元の整形体を測定並びに監視するシステム
JP2000189389A (ja) * 1998-12-25 2000-07-11 Matsushita Electric Works Ltd 睡眠状態監視装置
JP2000261789A (ja) * 1999-03-09 2000-09-22 Minolta Co Ltd 画像処理システムおよび画像処理プログラムを記録した記録媒体
EP1065521A2 (de) * 1999-06-30 2001-01-03 Sick AG Optoelektronisches Überwachungssystem

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039311A1 (ja) 2010-09-22 2012-03-29 Necカシオモバイルコミュニケーションズ株式会社 撮影装置、画像転送方法、及びプログラム
JP2016161572A (ja) * 2015-02-27 2016-09-05 ジーイー・アビエイション・システムズ・エルエルシー 侵入オブジェクトを検出するシステムおよび方法
KR101779590B1 (ko) * 2016-03-09 2017-09-19 주식회사 에스원 패턴무늬를 이용한 면 감시 시스템 및 이를 이용한 면 감시 방법

Also Published As

Publication number Publication date
WO2002103649A2 (en) 2002-12-27
WO2002103649A3 (en) 2003-04-03
AU2002330840A1 (en) 2003-01-02
JP2005508027A (ja) 2005-03-24
US6841780B2 (en) 2005-01-11
JP5264815B2 (ja) 2013-08-14
US20020125435A1 (en) 2002-09-12

Similar Documents

Publication Publication Date Title
JP5264815B2 (ja) 対象物を検出するための方法及び装置
US7176440B2 (en) Method and apparatus for detecting objects using structured light patterns
US7167575B1 (en) Video safety detector with projected pattern
JP5241782B2 (ja) カメラ異常検出装置を有する監視カメラシステム
US6812846B2 (en) Spill detector based on machine-imaging
JP3827426B2 (ja) 火災検出装置
JP6546828B2 (ja) ビデオ処理で使用する少なくとも一つのパラメータの修正
RU2616175C2 (ru) Определение расстояния до объекта по изображению
JP6832224B2 (ja) 付着物検出装置および付着物検出方法
JP2006268200A (ja) 炎・ガス煙検出システムおよび炎・ガス煙検出方法
JP2004535616A (ja) 対象物の検出
JP2010130292A (ja) 監視装置、及び妨害検知方法
JP2007180933A (ja) 画像センサ
JP2006293646A (ja) 画像処理装置
JP6617015B2 (ja) 炎検出装置および炎検出方法
JP6718646B2 (ja) 火災検知装置及び火災検知方法
JP2018107665A (ja) 撮像装置、汚れ検知システム、及び、汚れ検知方法
JPH09265585A (ja) 監視および威嚇装置
JP2003121556A (ja) 物体検出装置及びその方法
EP1354303B1 (en) Method and apparatus for detecting objects
JP2017102718A (ja) 炎検出装置および炎検出方法
JP3736989B2 (ja) 画像監視装置
JP6093270B2 (ja) 画像センサ
JP3947324B2 (ja) 画像センサ
JP3933400B2 (ja) 火災検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R150 Certificate of patent or registration of utility model

Ref document number: 5264815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees