JP2017523560A - 物体検出システム及び方法 - Google Patents

物体検出システム及び方法 Download PDF

Info

Publication number
JP2017523560A
JP2017523560A JP2016568910A JP2016568910A JP2017523560A JP 2017523560 A JP2017523560 A JP 2017523560A JP 2016568910 A JP2016568910 A JP 2016568910A JP 2016568910 A JP2016568910 A JP 2016568910A JP 2017523560 A JP2017523560 A JP 2017523560A
Authority
JP
Japan
Prior art keywords
view
field
object detection
illumination
signal quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016568910A
Other languages
English (en)
Other versions
JP6709173B2 (ja
Inventor
ハリー ブロアーズ
ハリー ブロアーズ
ルーベン ラジャゴパラン
ルーベン ラジャゴパラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2017523560A publication Critical patent/JP2017523560A/ja
Application granted granted Critical
Publication of JP6709173B2 publication Critical patent/JP6709173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4918Controlling received signal intensity, gain or exposure of sensor
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21SNON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S8/00Lighting devices intended for fixed installation
    • F21S8/08Lighting devices intended for fixed installation with a standard
    • F21S8/085Lighting devices intended for fixed installation with a standard of high-built type, e.g. street light
    • F21S8/086Lighting devices intended for fixed installation with a standard of high-built type, e.g. street light with lighting device attached sideways of the standard, e.g. for roads and highways
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

物体検出システムは、視野内の物体検出のためのものである。光源は検出照明を視野に対して提供し、センサは視野からの反射光を感知する。光飛行時間分析は、視野内の物体に関する距離情報又はプレゼンス情報を提供するために使用される。コントローラは、距離情報又はプレゼンス情報に関連する信号品質パラメータを導出し、信号品質パラメータに依存して光源強度を制御する。このやり方で、検出システムの設定を観察シーンに対して適合させることで、省エネが可能となる。

Description

本発明は、物体検出システムに関し、例えば、活動を監視することによって、省エネを提供する照明システムを制御する際に使用される。
物体検出は、照明システムによって使用され、照明の自動制御を提供し、例えば、照明が必要でない場合に、省エネを提供する。
物体検出は、光飛行時間(time of flight、TOF)センサの原理を用いて、視野内の物体に対して範囲をマッピングすることに基づく。光飛行時間測定は、観測シーンに投影されるアクティブ照明に基づく。アクティブ照明光源からの反射光は、送信された照明と受信された照明との位相を測定するセンサに取り込まれ、そこから光飛行時間ひいては範囲が導出される。全視野における範囲情報を分析することにより、画像分析技術を用いて物体が識別される。
位相測定ひいては範囲データの精度は、シーン内の物体の照度及び反射に依存する。
既知の光飛行時間ソリューションは、例えば、強く均一な照明を使用することで、完全な観察領域に対してセンチメートルの精度を実現することを目的とする。しかし、屋外照明制御等のいくつかのアプリケーションは、実際には、感知タスク及び物体特性に依存して、かなり低い精度しか必要としない。したがって、感知ソリューションの検出タスクに最適化された当該感知ソリューションは、常に、オーバースペックのソリューションよりも低いエネルギ消費をもたらす。
したがって、感知機能を要求された精度の度合いに調整する必要がある。光飛行時間感知は、パッシブ感知方法よりも多くのエネルギを必要とする、連続的なアクティブ照明を必要とするため、このことは、光飛行時間感知において特に重要である。
本発明は、特許請求の範囲によって定義される。
本発明によれば、視野内の物体を検出する物体検出システムが提供され、これは、
視野に対して検出照明を提供するための光源と、
視野からの反射光を感知するためのセンサと、
感知された反射光を処理し、視野内の物体に関する距離情報又はプレゼンス情報を提供するために光飛行時間分析を実行するためのコントローラと、を含む物体検出システムであり、
コントローラは、距離情報又はプレゼンス情報に関する信号品質パラメータを導出し、信号品質パラメータに応じた光源の強度の制御をするのに適している、物体検出システムである。
本発明は、光飛行時間システムに対する照度が、例えば必要とされる信号品質と組み合わせて、測定された信号品質に応じて適合されるという認識に基づく。例えば、反射率の高いシーンの背景の一部では、より高い信号品質をもたらすので、より低い照度しか必要としない。
このやり方によって、光飛行時間感知のための最適な照度を得ることができる。照度は、例えば観測シーンにおける信号対雑音レベルに依存する。このとき、照度は、検出される物体及びシーンの特性に基づいて最適化される。高い反射率を有する物体の検出は、より低い照度しか必要としない。同様に、サイズの大きい物体は、物体が感知マトリクスにおいて、より多くの要素を占めるため、より低い照度しか必要としない。この場合、信号対雑音比を増加するために、複数の感知要素からの情報が使用される。
例えば、プレゼンスベースの照明アプリケーションにおいて、車両の検出には、より小さく反射率の低い歩行者よりも、光飛行時間の照度がさらに低いことしか要求されない。最適な光飛行時間照度は、シーン内の信号品質レベルの分析によって決定及び/又は所定の検出タスクによって定義できる。
コントローラは、目標値と信号品質パラメータとを比較し、比較に応じて光源強度を制御する。このやり方によって、信号品質の目標値が設定され、これは、特定のシーン及び検出される物体に対して必要な信号品質に相当する。このやり方によって、所望の物体検出を確実に実行しながら、照度を最小限に抑えることができる。
システムは、視野における別個の領域へ検出照明を提供するための、少なくとも第1及び第2の光源を有し、コントローラは、信号品質パラメータと各領域のそれぞれの目標とを比較し、比較に応じて各光源の光源強度を制御する。
これにより、視野における別個の部分を別々に処理することが可能になる。例えば、視野における別個の領域は、車両用に指定された第1の領域及び歩行者用に指定された第2の領域、又は、比較的高い背景反射率の第1の領域及び比較的低い背景反射率の第2の領域を含む。車両検出には、人用の信号品質より低い信号品質しか必要とされず、同様に、反射率の高い背景は、所与の照度のために信号品質が改善される。
また、本発明は、
本発明の物体検出システムと、
視野を照明するための照明システムと、を含む照明システムを提供する。
このとき、照明システムは、物体検出システムによる物体の検出に依存して制御される。この照明システムは、照明が必要な時だけに提供されるように、人(歩行者又は車両の運転手)の存在に照明が反応することを可能とする。これにより、省エネが得られる。照明システムは、街灯を含む。
また、本発明は、
視野へ検出照明を提供するステップと、
視野からの反射光を感知するステップと、
感知された反射光を処理し、視野内の物体の反応に関する距離情報又はプレゼンス情報を提供するための光飛行時間分析を実行するステップと、
距離情報又はプレゼンス情報に関する信号品質パラメータを導出するステップと、
信号品質パラメータに依存して検出照明の強度を制御するステップと、
を含む、視野内の物体を検出するための物体検出方法を提供する。
また、本発明は、コンピュータ上で実行される際に、本発明の方法を実施するためのコード手段を含むコンピュータプログラムを提供する。
以下、添付図面を参照して、本発明の実施例を詳細に説明する。
あるシーンの光飛行時間分析によって得られた情報の第1の例を示す。 あるシーンの光飛行時間分析によって得られた情報の第2の例を示す。 道路照明器具内で使用される本発明のシステムの一例を示す。 本発明の方法を示す。 視野における別個の領域が、光飛行時間分析に対して適用される別個の照度をどのように有するかを示す。
本発明は、視野内の物体検出のための物体検出装置を提供する。光源は視野に対して検出照明を提供し、センサは視野からの反射光を感知する。光飛行時間分析は、視野内の物体に関する距離情報又はプレゼンス情報を提供するために使用される。コントローラは、距離情報又はプレゼンス情報に関する信号品質パラメータを導出し、信号品質パラメータに依存して光源の強度を制御する。このようにして、検出システムの設定を観察シーンに対して適合させることで、省エネが可能となる。
光源強度を制御することにより、送信される光パワーが検出タスクに基づいて適合されることで、低電力消費が達成され、熱エネルギの生成がより少なくなる。低電力消費は、例えば、太陽エネルギ又は電池によって給電される装置が、より長い期間動作することを可能にする。熱エネルギの放散を低減することで、よりコンパクトなモジュール設計が可能になり、感知モダリティそのものによる熱干渉を低減し、結果としてより低いノイズレベルをもたらす。
図1は、地上に向けられた高さ6mの光飛行時間イメージャを用いた範囲測定を表す画像である。画像は、照明されたシーンの上面図である。例えば、これは、街灯柱又は電柱の上部から下方への見え方を表す。
範囲距離はグレースケールマップで表され、明るいシェードは近い物体を示し、暗いシェードは遠い物体を示す。
領域10は芝生エリアを表す一方で、領域12は路面を表す。範囲データの変動は、反射特性の低下により、芝生エリア10の方が大きい。したがって、領域10の信号対雑音比が低いことがわかる。
画像は、座標(x、y:75、100)に歩行者14を示す。歩行者及び路面の両方が高反射率であるため、高い信号対雑音比により歩行者を見分けることは容易である。この場合、光飛行時間照度を低下しても、依然として適切な検出性能が得られる。
代わりに、歩行者が芝生領域10を歩いている場合は、信号対雑音比がより低くなり、適切な検出性能のためには、同様のコントラストを生成するために、より多くの照明が必要となる。
図2は、車両16が存在する場合の、同じ設定での範囲測定値を示す。その大きさにより、車両は、視野の広い面積を占有し、ひいては、より多くの感知マトリクスの要素を照射する。これらのすべての要素からの情報の蓄積によって、信号対雑音比を大幅に改善し、ひいてはより低い照度さえも可能にする。
図3は、道路照明器具18内に組み込まれた、本発明による物体検出システムの一例を示す。これは、視野に対して検出照明22を提供するための光源20、及び、視野からの反射光26を感知するためのセンサ24を含む。センサは、例えば、電荷結合素子(CCD)光学センサ、又は、フォトダイオードアレイを含む。
本発明は、別個の種類の物体及び照明条件が、センサによって処理されるためのシーンの照明のために別個の光パワーを必要とするという認識に基づく。
物体が大きくなればなるほど、より多くのノイズフィルタリングが適用され、許容される検出のために必要な光パワーがより少なくなる。
物体と背景とのコントラストは、背景に対する物体の高反射率によって、又は、物体に対する背景の高反射率によって引き起こされる。前者の場合、光パワーレベルは、シーン内の物体だけが十分な反射率を提供して、範囲情報又はプレゼンス情報を決定できるように選択される。後者の場合、背景を検出するために最小限の光パワーが提供されるので、前景の物体は、範囲情報又はプレゼンス情報の欠如に基づいて読み取りを引き起こす。
物体及び背景の様々な吸収特性及び反射特性は、波長依存する。波長依存の吸収に加えて、表面特性にも役割がある。例えば、多孔質表面は反射率の高い不透過性の面よりも入射光を減衰させるだろう。
物体検出のために使用される波長は、例えば、光飛行時間システムで一般的に使用される典型的な近赤外線(NIR)帯域(例、830nmから940nm)である。波長はまた、検出される物体/背景のスペクトル特性に依存して、典型的な光源(例、LED)の小さな可視部分又は完全なスペクトルを含むことができる。
コントローラ28は検知された反射光26を処理し、視野内の物体に対して距離情報を提供するための光飛行時間分析を実行するか、又はより単純なプレゼンス検知を実行する。
照明器具は、可視光でシーンを照明するための別個の光源29を有する。
光飛行時間解析はよく知られており、例えば光飛行時間カメラは広く利用可能である。光飛行時間カメラは、画像の各点について、カメラと被写体との間の放射光信号の光飛行時間を測定することによって、既知の光速度に基づき距離を分解する。シーン全体は、各レーザや光パルスでキャプチャできるため、スキャンシステムは不要である。既知のシステムは、数センチから最大で数キロメートルの範囲をカバーする。距離分解能は約1cmである。一例として、センサは、320×240ピクセルの配列を含む。ピクセル数は、システムの必要に応じて選択でき、もちろん、ピクセル数が多い程、より多くの画像処理が要求される。システムは非常に迅速に動作でき、例えば毎秒最大160の画像を提供できる。
最も単純なバージョンの光飛行時間システムは、光パルスを使用する。照明は非常に短い時間オンにされ、その結果得られた光パルスがシーンを照明し、物体によって反射される。センサは反射された光を収集し、センサ面上に結像させる。
距離に依存して、入射光に遅延が生じる。光は毎秒約c=300,000,000メートルの速度を有するため、この遅延は非常に短く、2.5m離れた物体は、光に16.66nsの遅延を生じさせるだろう。
照明のパルス幅は、カメラが処理できる最大範囲を決定する。例えば、パルス幅が50nsのものは、範囲を7.5mに制限する。
必要とされる短い光パルスを生成するために、LED又はレーザが使用できる。
センサ面はピクセルの配列を含み、これはそれぞれフォトダイオード等の感光素子を含む。光飛行時間測定は、例えば、各光検出器のピクセルに接続され、数ギガヘルツで動作する時間カウンタが使用され、その時間カウンタは光が検知された時にカウントを停止する。
背景信号の影響を排除するため、照明がオフの状態で測定を2回行うことができる。また、追加のパルス幅で遅延された制御信号で2度目の測定を行うことにより、距離範囲よりさらに離れた物体の影響を排除できる。
光飛行時間システムは、基本的に、図1及び図2に示されるような距離マップを作成する。視野内の物体を認識するために、検出される物体の、大きさ、反射率、予想される移動速度等、既知の特徴に基づく画像処理技術が実施される。標準的な画像処理技術は、距離マップに基づく物体検出のために使用できる。代替案(後述)として、ピクセル化された距離マップの代わりに、物体の単純な検出が提供される。すなわちシーンと既知の静止背景との差の検出に基づくものである。この場合、物体の性質を識別しようとするための画像処理は必要とされない。したがって、この例では、光飛行時間センサは、距離情報ではなく、プレゼンス情報を生成する。
本発明によれば、コントローラ28は、距離情報(すなわち光飛行時間データ)に関する信号品質パラメータを導出し、信号品質パラメータに依存して光源強度を制御する。例えば、この信号品質パラメータは、信号対雑音比を含む。
この目的のために、コントローラは、シーン及びその物体を観察する際の光飛行時間センサ信号の信号対雑音比を推定するアルゴリズムを実施する。
信号対雑音比を得るために、機械学習プロセス又は統計分析により背景モデルが構築され、これにより、ある期間にわたる観測が、物体の移動によって生じる障害を相殺するために分析される。画像内の各ピクセル位置について、ノイズフロアが得られる(例えば、ガウス混合モデリングによって)。個々のピクセルレベルの粒度の代わりに、統計情報を取得するためにより大きな領域(例えば、8x8ブロック)を使用できる。
構築された背景モデルに基づき、背景に対するピクセル値の変化によって対象物を識別できる。物体は、物体の典型的な形状特性を導出することができるピクセルのグループを含む。対応するピクセル値は、複数の観察(機械学習又は統計解析)に基づく一般的な物体モデルを構築するために使用される。検出されたコントラストに基づき、光パワーは、このとき、十分な検出性能で最適なエネルギ効率を可能にする。このとき、真の信号は、モデル化されたノイズフロア及び訓練された物体モデルに基づく閾値を上回る信号内の偏差である。
信号対雑音比は、適切な測定の一例に過ぎない。信号対雑音比を測定するのではなく、それ自体が信号対雑音比に影響を与える他のパラメータを測定することができる。したがって、これらのパラメータは信号品質パラメータであるとみなすことができ、信号品質の指標としても使用できることで、必要とされる光パワーを調整できる。
例えば、検出された物体の時間的特性を考慮に入れることができる。動きの遅い物体は、より多く観察され、ひいては時間的フィルタリングは、信号対雑音比を改善し、ひいては光パワーを下げる。物体の速度は、コンピュータビジョンで一般的な物体追跡アルゴリズムを用いて導出できる。
物体の空間特性も影響をもたらす。大きな物体は、より多くのピクセルを含み、ひいては空間フィルタリングは、信号対雑音比を改善させ、ひいては光パワーが下がる。物体の形状は、コンピュータビジョンで一般的な形態学/形状解析アルゴリズムを用いて導出できる。
距離情報(3D情報)に加えて、光飛行時間分析は、(通常のカメラのような2Dの)外観情報も提供する。高輝度の物体は、範囲情報を提供するためにより少なく放出される光パワーしか必要とされないので、その結果反射率特性を考慮に入れることができる。物体の輝度は、基本的なコンピュータビジョンアルゴリズムで導出できる。
物体の3D形状も導出できる。特徴的な3Dの幾何学性/サイン(例、勾配、不連続性等)を持つ物体は、背景の平面に対して際立つ。3Dプロファイルがより独特/特徴的である程、背景との高コントラストの3Dが生じ、ひいてはより少ない光パワーしか必要としない。
アンビエント照明(人工又は太陽光)は、信号対雑音比に影響するだろう。少ない周囲照明は、信号対雑音比を改善し、ひいては低下した光パワーしか必要としない。これは、強度情報の画像分析によって直接測定できる。
特定の検出タスクにつき、検出機能を提供する正確な能力に対応する、対応する目標信号対雑音比(又は他の品質パラメータに対する目標値)を予め設定することができる。
このような目標値は、例えば、製品開発中の較正測定からの情報に基づいてモデル化できる。センサ構成中、ユーザは、センサ視野内の領域を指示し、トラフィックタイプ(車、歩行者等)又は地表被覆タイプ(道路、芝生等)を記述できる。したがって、学習プロセスを支援するために、ユーザ又は工場の較正機能が使用できる。センサの初期化中、センサは、物体と背景モデルとの間に測定された信号対雑音比に基づき、予めプログラムされたセンサ動作を適合できる。通常の動作中、センサは、ノイズレベルへの信号を監視でき、大きな偏差がある場合には、物体及び背景モデルを更新する。このように、正確な検知を維持するために学習プロセスが使用される。
目標信号対雑音比レベルに基づき、光飛行時間システムのための必要最小照度を導出できる。このとき、必要照度に合わせて照明システムが制御される。これは、視野の別個の部分に対する複数の光源又は単一の光源を含む。
図4が当該方法を示す。方法は、ステップ30から開始する。ステップ32では、光飛行時間分析が従来のやり方で実行される。検出光源の照明設定は、当該方法の以前の反復によって設定されるか、又は初期開始値を含む。例えば、始動時に、最大強度が使用されてもよく、このときシステムは限界に達するまで強度を低下する。
ステップ34では、信号対雑音比(SNR)等の信号品質パラメータが得られる。
ステップ36では、信号品質パラメータが目標と比較される。
ステップ38では、信号品質と目標値との比較に基づいて、検出照明強度が設定される。
このプロセスは、システムがオフになるまで連続的に繰り返され、その後プロセスはステップ40で終了する。
強度設定は、光飛行時間分析よりも少ない頻度で行われてもよい。
一般に、光飛行時間センサは30Hzのサンプルレートで動作する。しかし、強度が同じ頻度で適合されることは必要とされない。信号対雑音比は、気象条件や周辺光レベル(日没、昼間、日没、夜間等)のような、相対的に緩やかに変化する状況に依存する。したがって、強度の更新速度は低頻度である(例えば1分よりもはるかに長い)。照明器具の状態は信号対雑音比にも影響し、強度は照明器具出力の切り替えと同じ頻度(例、30秒〜15分)で適合される。
このシステムの1つの用途は、特定の物体タイプに対して照明を適合させることである。
図5(a)は、トラフィックタイプによって照度が異なる例を示す。
この例では、システムは、視野の別個の領域に対して検出照明を提供するための2つの光源を含む。各領域はそれ自身の目標信号品質パラメータを有し、各光源の光源強度は信号品質比較に基づいて制御される。
視野は、車両用に指定された第1の領域50と、歩行者用に指定された第2の領域52とを含む。物体のタイプの違いに加えて、別個の領域は別個の背景特性をも有する。例えば、第1の領域50は比較的高い背景反射率(道路等)である一方で、第2の領域は背景反射率が比較的低い(芝生等)。
車両のみを有する領域50に対しては、より強度の低い検出照明ビームを使用でき、一方で、歩行者領域52に対してはより強い検出照明ビームを使用できる。このシステムは、別々のビームを観測する2つの別々の光飛行時間センサによって認識でき、又はさもなければ単一の(多元素)光飛行時間センサが両方のビームを観測できる。
背景特性につき、反射の少ない表面を有する領域52は、通常の強度を有するビームによって照射され、一方で、高い反射率を有する領域50は、より低い照度を利用できる。
図5(b)は、同じトラフィックタイプであっても、背景面のタイプによって照度が異なる例を示す。この場合、人々は両方の別個の領域で検出される。
したがって、目標信号品質パラメータは、視野又は視野のそれぞれの部分で検出されるべき物体のサイズ及び反射特性と同様に、視野内のシーンの性質又は視野の異なる部分の両方の性質を考慮に入れる。検出される物体は、別個の領域で同じであってもよいし(図5(b))、シーンが同じ(タールマック歩道及びタールマック道路等)であるが物体が異なってもよいし、さもなければ両方に違いがあるかもしれない(図5(a))。
検出照度は、物体の距離を考慮に入れて調整することもできる。物体の反射率及び物体の距離に依存するので、反射された信号は、近接した物体が強い反射を有するだろう。したがって、照度を適合するために、範囲情報を使用できる。この手法は、反射率の低いすぐ近くの複数の物体に対しての強い照明を防ぐためにも使用できる。
図1及び図2の距離マップ画像を作成するために、センサ素子の配列を使用する光飛行時間センサを使用できる。しかし、最も単純な実施形態では、単一要素の光飛行時間センサが使用できる(例えば、別々の視野ごとに対して一つ)。単一の検出要素は、空間情報なしで、単に有無を区別するために使用できる。光飛行時間センサは、視野内の物体に対して最短の範囲を提供する。
検出された範囲及び信号強度に基づき、単一の要素センサであっても、車両又は歩行者の存在を識別することが可能である。したがって、このとき2つの別個の専用検出ゾーンは必要とされない。
必要な検出照度は、単一要素の光飛行時間センサの場合の信号雑音比、又は、複数要素の光飛行時間センサの場合の信号雑音比の分布を監視することによって推定される。
必要な照度は、例えば、視野の性質及び必要とされる検出タスクに関する情報を与えるために、ユーザの入力を考慮に入れることができる。これは、例えば、較正又は初期化段階を置き換えるか、又は単純化することができる。
上記の例から明らかなように、本発明は、アクティブ照明を用いた照明制御及び活動監視を対象とする。エネルギ消費の削減と性能の向上が可能となった。
しかし、本発明は、ジェスチャ制御のようなセンサ駆動アプリケーションにも適用可能である。この場合、目的は、特定のタイプの物体の存在を検出するためではなく、特定のジェスチャを検出するためである。ここでも、ジェスチャがもはや検出されない閾値信号品質レベルが存在し、システムはこの閾値に近づくまで照度を低減することによって電力節約を可能にする。
上述のように、本発明はコントローラを利用する。コントローラは、必要とされる様々な機能を実行するために、ソフトウェア及び/又はハードウェアを使用して多様な態様で実施される。プロセッサは、必要な機能を実行するためにソフトウェア(例えば、マイクロコード)を使用してプログラムされる一つ以上のマイクロプロセッサを使用するコントローラの一例である。しかし、コントローラは、プロセッサを使用して又は使用せずに実施でき、いくつかの機能を実行するための専用ハードウェアと、他の機能を実行するためのプロセッサ(例えば、1つ又は複数のプログラムされたマイクロプロセッサ及び関連回路)との組み合わせとして実施される。
本開示の、様々な実施形態で使用され得るコントローラ構成要素の例には、従来のマイクロプロセッサ、特定用途向け集積回路(ASIC)、及びフィールドプログラマブルゲートアレイ(FPGA)が含まれるが、これらに限定されない。
様々な実施形態において、プロセッサ又はコントローラは、RAM、PROM、EPROM、及びEEPROM等の揮発性及び不揮発性コンピュータメモリ等の1つ又は複数の記憶媒体に関連付けられる。記憶媒体は、1つ又は複数のプロセッサ及び/又はコンローラ上で実行されたときに、必要な機能で実行する1つ又は複数のプログラムで符号化することができる。さまざまな記憶媒体は、プロセッサ又はコンローラ内に固定されてもよく、又はそこに記憶された1つ又は複数のプログラムがプロセッサ又はコンローラにロードされるように、移送可能であってもよい。
追加として、当業者によって、特許請求された発明を実施するにあたり、図面、明細書、及び添付の請求項の研究から、開示された実施形態の他のバリエーションが理解され達成されることができる。請求項で、「含む」の文言は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数を除外するものではない。特定の手段が、相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せを有利に使用できないことを意味するわけではない。請求項のいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (14)

  1. 視野に対して検出照明を提供するための光源と、
    前記視野からの反射光を感知するためのセンサと、
    感知された前記反射光を処理し、前記視野内の物体に関する距離情報又はプレゼンス情報を提供するために光飛行時間分析を実行するためのコントローラ、
    を含む、前記視野内の物体検出のための物体検出システムであって、
    前記コントローラは、前記距離情報又は前記プレゼンス情報に関する信号品質パラメータを導出し、前記信号品質パラメータに依存して光源強度を制御し、前記信号品質パラメータは信号対雑音比を含む、物体検出システム。
  2. 前記コントローラは、前記信号品質パラメータと目標値とを比較し、前記比較に応じて光源強度を制御する、請求項1に記載の物体検出システム。
  3. 前記物体検出システムは、前記視野の別個の領域に対して検出照明を提供するための、少なくとも第1及び第2の光源を有し、前記コントローラは、前記信号品質パラメータと各領域のそれぞれの目標とを比較し、前記比較に応じて各光源の光源強度を制御する、請求項1又は2に記載の物体検出システム。
  4. 前記視野の別個の領域が、
    車両用に指定された第1の領域及び歩行者用に指定された第2の領域、又は、
    比較的高い背景反射率の第1の領域及び比較的低い背景反射率の第2の領域 を含む、請求項3に記載の物体検出システム。
  5. 前記第1の領域は道路を含み、前記第2の領域は芝生を含む、請求項4に記載の物体検出システム。
  6. 請求項1乃至5のいずれか一項に記載の物体検出システムと、
    前記視野を照明するための照明システムと、
    を含む、照明システム。
  7. 前記物体検出システムによる物体の検出に依存して制御される、請求項6に記載の照明システム。
  8. 街路灯を含む、請求項6又は7に記載の照明システム。
  9. 視野に対して検出照明を提供するステップと、
    前記視野からの反射光を感知するステップと、
    感知された前記反射光を処理し、前記視野内の物体に関する距離情報又はプレゼンス情報を提供するために光飛行時間分析を実行するステップと、
    信号対雑音比を含む前記距離情報又は前記プレゼンス情報に関する信号品質パラメータを導出するステップと、
    前記信号品質パラメータに依存して前記検出照明の強度を制御するステップと、
    を含む、視野内の物体検出のための物体検出方法。
  10. 目標値と前記信号品質パラメータとを比較するステップ、及び、前記比較に応じた前記検出照明の強度を制御するステップを含む、請求項9に記載の物体検出方法。
  11. 前記視野の別個の領域に対して前記検出照明を提供するステップと、
    前記信号品質パラメータと各領域のそれぞれの目標とを比較し、前記比較に応じて各光源の光源強度を制御するステップと、
    を含む、請求項9又は10に記載の物体検出方法。
  12. 前記視野の別個の領域が、
    車両用に指定された第1の領域及び歩行者用に指定された第2の領域、又は、
    比較的高い背景反射率の第1の領域及び比較的低い背景反射率の第2の領域と、
    を含む、請求項11に記載の物体検出方法。
  13. 請求項9乃至12のいずれか一項に記載の方法を用いて物体検出を実行するステップと、
    前記物体検出システムによる物体の検出に依存して視野の照明を制御するステップと、
    を含む、照明提供方法。
  14. コンピュータ上で実行される際に、請求項9乃至13のいずれか一項に記載の方法を実施するためのコード手段を含むコンピュータプログラム。
JP2016568910A 2014-05-23 2015-05-05 物体検出システム及び方法 Active JP6709173B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14169693.0 2014-05-23
EP14169693 2014-05-23
PCT/EP2015/059866 WO2015176953A1 (en) 2014-05-23 2015-05-05 Object detection system and method

Publications (2)

Publication Number Publication Date
JP2017523560A true JP2017523560A (ja) 2017-08-17
JP6709173B2 JP6709173B2 (ja) 2020-06-10

Family

ID=50846772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568910A Active JP6709173B2 (ja) 2014-05-23 2015-05-05 物体検出システム及び方法

Country Status (5)

Country Link
US (1) US11143749B2 (ja)
EP (1) EP3146362B1 (ja)
JP (1) JP6709173B2 (ja)
CN (1) CN106461762B (ja)
WO (1) WO2015176953A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11143749B2 (en) * 2014-05-23 2021-10-12 Signify Holding B.V. Object detection system and method
JPWO2016166864A1 (ja) * 2015-04-16 2017-10-26 株式会社東芝 発光素子、検出装置、および処理装置
WO2018028973A1 (en) 2016-08-10 2018-02-15 Philips Lighting Holding B.V. Lighting control
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
EP3759642A1 (en) * 2017-03-10 2021-01-06 Signify Holding B.V. Object detection
JP6846708B2 (ja) * 2017-03-30 2021-03-24 パナソニックIpマネジメント株式会社 画像認識装置および距離画像生成方法
JP7055320B2 (ja) * 2017-06-28 2022-04-18 国立大学法人大阪大学 照明装置
FR3070498B1 (fr) * 2017-08-28 2020-08-14 Stmicroelectronics Rousset Dispositif et procede de determination de la presence ou de l'absence et eventuellement du deplacement d'un objet contenu dans un logement
KR102673019B1 (ko) * 2017-10-18 2024-06-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 식별 장치 및 전자기기
JP6722876B2 (ja) * 2017-12-26 2020-07-15 クモノスコーポレーション株式会社 三次元レーザー光走査装置
EP3717933A4 (en) * 2018-01-10 2021-08-18 Velodyne Lidar USA, Inc. DISTANCE MEASUREMENTS BASED ON A POWER-CONTROLLED LIDAR
JP7013926B2 (ja) * 2018-02-23 2022-02-01 株式会社デンソー 光学的測距装置およびその方法
CN111182287A (zh) * 2018-11-13 2020-05-19 南昌欧菲生物识别技术有限公司 发射模组、成像装置和电子装置
KR102549130B1 (ko) * 2018-11-26 2023-07-03 제트카베 그룹 게엠베하 적응형 후진 라이트를 갖는 차량 비전 시스템
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
CN110765979A (zh) * 2019-11-05 2020-02-07 中国计量大学 一种基于背景建模与光控的智能led庭院灯
GB2591518B (en) 2020-02-03 2022-03-02 Perkins Engines Co Ltd Vehicle lighting control using image processing of changes in ambient light intensity
CN115963514A (zh) * 2021-10-08 2023-04-14 华为技术有限公司 一种控制探测方法、控制装置、激光雷达及终端设备
CN115294763B (zh) * 2022-07-26 2023-10-03 中国路桥工程有限责任公司 一种应用于智慧道路照明的车路协同系统及其控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0886875A (ja) * 1994-09-16 1996-04-02 Nissan Motor Co Ltd 車両用レーダ装置
JP2005077379A (ja) * 2003-09-03 2005-03-24 Denso Corp レーダ装置
JP2009520194A (ja) * 2005-12-19 2009-05-21 アンスティテュ ナシオナル ドプティーク 物体検出照明システム及び方法
JP2009192499A (ja) * 2008-02-18 2009-08-27 Stanley Electric Co Ltd 距離画像生成装置
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2011506979A (ja) * 2007-12-21 2011-03-03 レッダーテック インコーポレイテッド 検出及び測距方法及びシステム
US20110304842A1 (en) * 2010-06-15 2011-12-15 Ming-Tsan Kao Time of flight system capable of increasing measurement accuracy, saving power and/or increasing motion detection rate and method thereof
US20120008128A1 (en) * 2008-04-11 2012-01-12 Microsoft Corporation Method and system to reduce stray light reflection error in time-of-flight sensor arrays
US20130235366A1 (en) * 2012-03-07 2013-09-12 Vectronix Ag Distance measuring device
US20130235364A1 (en) * 2012-03-07 2013-09-12 Samsung Electronics Co., Ltd. Time of flight sensor, camera using time of flight sensor, and related method of operation
WO2013179280A1 (en) * 2012-05-29 2013-12-05 Brightway Vision Ltd. Gated imaging using an adaptive depth of field

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE358243B (ja) * 1971-11-25 1973-07-23 Aga Ab
US4627734A (en) * 1983-06-30 1986-12-09 Canadian Patents And Development Limited Three dimensional imaging method and device
US5652651A (en) * 1995-01-19 1997-07-29 Laser Technology, Inc. Laser range finder having selectable target acquisition characteristics and range measuring precision
AUPR301401A0 (en) * 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
CN1198150C (zh) * 2001-06-20 2005-04-20 香港城市大学 具有微光学波面整形器的共轴微脉冲激光雷达系统
US6873406B1 (en) * 2002-01-11 2005-03-29 Opti-Logic Corporation Tilt-compensated laser rangefinder
JP4200328B2 (ja) 2005-04-18 2008-12-24 パナソニック電工株式会社 空間情報検出システム
US20090147239A1 (en) * 2005-09-02 2009-06-11 Neptec Apparatus and method for tracking an object
EP1884798B1 (en) * 2006-08-03 2012-01-18 Casio Computer Co., Ltd. Method for measuring distance to object
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8255487B2 (en) * 2008-05-16 2012-08-28 Integrated Illumination Systems, Inc. Systems and methods for communicating in a lighting network
US9066381B2 (en) * 2011-03-16 2015-06-23 Integrated Illumination Systems, Inc. System and method for low level dimming
US8976340B2 (en) * 2011-04-15 2015-03-10 Advanced Scientific Concepts, Inc. Ladar sensor for landing, docking and approach
JP5649537B2 (ja) 2011-08-12 2015-01-07 株式会社東芝 照明装置
DE102011081357A1 (de) 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung eines Scheinwerfers eines Fahrzeugs
US9148649B2 (en) * 2011-10-07 2015-09-29 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects from scattered light
US9140643B2 (en) * 2012-04-11 2015-09-22 Chevron U.S.A. Inc. System and method for interrogation of target material in situ
CN102665333A (zh) * 2012-04-19 2012-09-12 广东工业大学 根据空间大小亮度自适应的光源系统
JP2015519687A (ja) 2012-04-20 2015-07-09 レンセレイアー ポリテクニック インスティテュート 照明空間を特性評価するための検知照明システム及び方法
EP2765388B1 (de) * 2013-02-08 2018-10-17 Hexagon Technology Center GmbH Mobiler Feld-Controller zur Messung und Fernsteuerung
WO2014200589A2 (en) * 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
US9121703B1 (en) * 2013-06-13 2015-09-01 Google Inc. Methods and systems for controlling operation of a laser device
EP3042545B1 (en) 2013-09-03 2018-12-19 Philips Lighting Holding B.V. Lighting commissioning
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US11143749B2 (en) * 2014-05-23 2021-10-12 Signify Holding B.V. Object detection system and method
US10031229B1 (en) * 2014-12-15 2018-07-24 Rockwell Collins, Inc. Object designator system and method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0886875A (ja) * 1994-09-16 1996-04-02 Nissan Motor Co Ltd 車両用レーダ装置
JP2005077379A (ja) * 2003-09-03 2005-03-24 Denso Corp レーダ装置
JP2009520194A (ja) * 2005-12-19 2009-05-21 アンスティテュ ナシオナル ドプティーク 物体検出照明システム及び方法
JP2011506979A (ja) * 2007-12-21 2011-03-03 レッダーテック インコーポレイテッド 検出及び測距方法及びシステム
JP2009192499A (ja) * 2008-02-18 2009-08-27 Stanley Electric Co Ltd 距離画像生成装置
US20120008128A1 (en) * 2008-04-11 2012-01-12 Microsoft Corporation Method and system to reduce stray light reflection error in time-of-flight sensor arrays
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
US20110304842A1 (en) * 2010-06-15 2011-12-15 Ming-Tsan Kao Time of flight system capable of increasing measurement accuracy, saving power and/or increasing motion detection rate and method thereof
US20130235366A1 (en) * 2012-03-07 2013-09-12 Vectronix Ag Distance measuring device
US20130235364A1 (en) * 2012-03-07 2013-09-12 Samsung Electronics Co., Ltd. Time of flight sensor, camera using time of flight sensor, and related method of operation
WO2013179280A1 (en) * 2012-05-29 2013-12-05 Brightway Vision Ltd. Gated imaging using an adaptive depth of field

Also Published As

Publication number Publication date
US11143749B2 (en) 2021-10-12
EP3146362A1 (en) 2017-03-29
JP6709173B2 (ja) 2020-06-10
CN106461762A (zh) 2017-02-22
EP3146362B1 (en) 2019-08-14
US20170212226A1 (en) 2017-07-27
WO2015176953A1 (en) 2015-11-26
CN106461762B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
JP6709173B2 (ja) 物体検出システム及び方法
US9801257B2 (en) Light reflectance based detection
US10321055B2 (en) Low power eye tracking system and method
US20180239019A1 (en) Sensing system and method
US10609285B2 (en) Power consumption in motion-capture systems
AU2012273419B2 (en) Non-contact media detection system using reflection/absorption spectroscopy
JP2018018829A (ja) 照明空間を特性評価するための検知照明システム及び方法
NL2021612B1 (en) Luminaire system for determining weather related information
CN104919334B (zh) 车辆上用于检测操作手势的通用传感器系统
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
US20160174339A1 (en) Sensing within a region
CN104919333B (zh) 车辆上用于检测操作手势的传感器系统
KR101453806B1 (ko) 영상데이터를 이용한 조명장치의 디밍제어시스템
US20150317516A1 (en) Method and system for remote controlling
US20180217235A1 (en) Projection System for a Time-of-Flight Sensor and Method of Operation of Same
JP6422984B2 (ja) 温度検知
CN104883772A (zh) 一种由光电图像识别控制的灯具及其操作方法
JP7135081B2 (ja) 装置および方法
US10189399B2 (en) Integration of depth map device for adaptive lighting control
US20230269851A1 (en) Optical Resolution Reduction Elements
KR101357659B1 (ko) 윤곽선 모니터링 장치
JPH09113635A (ja) 自然現象による地表面の状態変化の自動識別装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180502

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200522

R150 Certificate of patent or registration of utility model

Ref document number: 6709173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250