JP2019144238A - レーダセンサを用いた関心空間の境界の決定のための方法 - Google Patents

レーダセンサを用いた関心空間の境界の決定のための方法 Download PDF

Info

Publication number
JP2019144238A
JP2019144238A JP2019018658A JP2019018658A JP2019144238A JP 2019144238 A JP2019144238 A JP 2019144238A JP 2019018658 A JP2019018658 A JP 2019018658A JP 2019018658 A JP2019018658 A JP 2019018658A JP 2019144238 A JP2019144238 A JP 2019144238A
Authority
JP
Japan
Prior art keywords
space
interest
radar sensor
boundary
moving targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019018658A
Other languages
English (en)
Other versions
JP7376240B2 (ja
Inventor
カルティック・パラシャル
Parashar Karthick
トーマス・ヒーレン
Gielen Thomas
マキシム・リクノフ
Rykunov Maxim
アンドレ・ブルドゥー
Bourdoux Andre
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of JP2019144238A publication Critical patent/JP2019144238A/ja
Application granted granted Critical
Publication of JP7376240B2 publication Critical patent/JP7376240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】レーダセンサを用いた関心空間の境界の決定方法を提供する。【解決手段】レーダセンサを用いて関心空間の境界を決定するための方法であって、レーダセンサは視野内の全ての移動目標を走査し追跡し、位置情報や速度情報などの、追跡された移動目標に関する情報を導出する。位置と速度の情報から、追跡されている移動目標によって横断されていない領域は、「立入禁止」領域に対応する。これらの「立入禁止」領域は、対象空間のモデルを導出するために使用され、関心空間の境界を含む。前記得られたモデルはレーダセンサの視野内で動く目標を連続的に検出し追跡するために継続的に更新される。移動目標の検出及び追跡は、他の方法によって決定された関心空間のモデルを改良するためにも使用することができる。【選択図】図12

Description

本開示は、レーダセンサを使用して関心空間(興味のある空間、又は関心のある空間)の境界を決定するための方法に関し、より具体的には、部屋などのエンクロージャ(囲い)の境界の決定に関する。
ホームオートメーションの分野では、家の中の部屋や空間の中に個人の存在を感知できるという要件がある。受動赤外線(PIR)システムは、室内の個人の存在を感知することで知られており、ホームオートメーションシステムに組み込むことができる。しかしながら、そのようなシステムは室内の動きを検出するだけであり、位置の検出も追跡も含まれない。
PIRシステムがミリ波レーダシステムに置き換えられた場合、そのような波長での電磁放射線の透過性のため、いくつかの材料は放射線に対して透明又は半透明であるため、部屋の周囲を決定することはしばしば困難である。これにより、電磁放射がエンクロージャ又は部屋の境界を越えて漏洩し、レーダセンサの不規則な又は意図しない検出が発生する。加えて、出入り口、開いているドア、開いている窓も部屋の周囲の外の検出につながる可能性がある。
特許文献1には、時間領域レーダアレイを用いた侵入検知システム及び方法が記載されている。監視対象の建物の周囲において、2つ以上のレーダセンサはまばらに配置されており、互いにそしてプロセッサと通信するように構成される。センサは従来の電気壁のソケットに取付けられ、前方散乱データを使用する場合は、センサを同期させる必要がある。プロセッサは、アラーム信号を生成する必要があるか否かを判断することで、現在のレーダ画像から通常の状況を示すクラッタマップを差し引くことによって差分クラッタマップを作成する。システムの較正は、保護されるべき領域の周りの較正パスに沿って送信機を動かすことによって実行されてもよく、各センサは送信機の動きを追跡する。較正は、監視対象領域に関する情報を使用し、又は各センサから放射されるレーダパルスを使用して手動でも実行できる。
特許文献2には、これは、目標検出センサと調整可能な識別センサを組み合わせて、ガードゾーン内の目標を識別する監視システムが開示されている。例えばレーダセンサなどの目標検出センサは、例えば角度操縦可能なカメラなどの、ガードゾーンに入る目標と調整可能な識別センサであって、これは、目標検出センサによって検出された目標を分類及び識別する。システム制御装置は、所定の脅威レベルに従って、監視システム内の目標検出センサ及び調整可能な識別センサの動作及び調整を制御する。
国際公開第01/01168号公報 米国特許第7250853号明細書
しかしながら、上述のシステムの各々は、領域を監視することができるようにするために複数のレーダシステムを必要とする。これはホームオートメーションにとって高価になる可能性がある。さらに、これらのシステムはレーダ周波数での放射線の透過性を考慮していない。他の手段で目標が確認されない限り、誤警報を引き起こす可能性がある。
さらに、上述のシステムは少なくとも2つのレーダセンサとそれらの間の無線リンクを必要とするので、複雑なシステムでは、エンクロージャの境界を導き出すことができる必要がある。さらに、この方法は、システムを再較正する必要なしにレーダセンサの視野の変化に容易に適応することはできない。
本開示の目的は、その空間内を移動する目標を検出及び追跡することによって関心空間の境界を決定するための方法を提供することである。
本開示の別の目的は、レーダセンサの視野角の法線に垂直で、境界を導き出する。ラインの決定とレーダセンサからのラインの距離に基づいて、走査面内の線を識別することによって空間の境界を決定する方法を提供することである。
本開示のさらなる目的は、所定のパスをたどる移動目標が追跡されて境界を導出する、関心空間の境界を決定する方法を提供することである。
本開示のさらに別の目的は、レーダセンサの視野内で移動目標を追跡することによって関心空間の境界を精緻化することができる方法を提供することである。
本開示の一態様によれば、関心空間の境界を決定する方法が提供される。レーダセンサを使う方法は、
a)レーダセンサの視野内の少なくとも1つの平面内を走査するステップと、
b)視野内の1つ以上の移動目標を検出するステップと、
c)1つ以上の検出された移動目標を追跡するステップと、
d)1つ以上の追跡された移動目標に関する情報を導き出すステップと、
e)導出された情報から、1つ以上の追跡された移動目標によって横断されなかった領域を決定するステップと、
f)導出された領域から関心の境界を導出するステップとを含む。
本開示によれば、記載された方法は、従来技術の方法よりも複雑ではない。そして、既製の部品を使用して実施するのが比較的安価である。さらに、レーダセンサを動作用に設定するために、追加の能動的なモバイル機器は必要とされない。
一実施形態では、ステップd)は、1つ又は複数の追跡されている移動目標に関する位置情報を導出することをさらに含む。前記位置情報は、1つ又は複数の追跡された移動目標がレーダセンサの視野内のどこに移動するかの指示を提供する。
一実施形態では、ステップb)はさらに
b1)レーダセンサの視野内に存在する1つ以上の固定目標を検出するステップと、
b2)1つ又は複数の固定目標に関する位置情報を決定するステップとを含み、
ステップf)はさらに、1つ以上の固定目標に関する位置情報を使用して、関心空間の境界を精緻化することを含む。
1つ以上の固定目標に関する位置情報を決定することによって、これらは、関心空間の境界をより良く定義するために使用することができる。
一実施形態では、ステップd)は、1つ以上の追跡された移動目標の移動に関する速度情報を導出することをさらに含む。前記速度情報は、移動目標がレーダセンサの視野内の特定の領域内を移動できるか否かを示す。
一実施形態では、ステップd)は、方位角の範囲分解能∂R、及び角度分解能∂θに従って、視野をサブ空間領域に分割することをさらに含む。視野を部分空間領域に分割することによって、レーダセンサの視野の方位角面内の1つ以上の移動目標の移動をより正確にマッピングすることが可能である。
さらに、ステップd)は、視野をサブ空間領域に分割することをさらに含み得る。仰角の角度分解能∂φに従って、レーダセンサの視野内で方位角と仰角の両方の平面に拡張できるため、これにより地図の解像度が向上する。
一実施形態では、ステップd)はヒストグラムを各部分空間領域に割り当てることをさらに含む。前記ヒストグラムを各サブ空間領域に割り当てることによって、視野内の目標に関する情報を容易に識別することができる。
一実施形態では、ステップd)は、1つ又は複数の追跡された移動目標に関する位置情報をサブ空間領域にマッピングすることをさらに含む。そして、各ヒストグラムに、それぞれの部分空間領域に対する1つ又は複数の追跡された移動目標の移動に関する速度情報を入れる。
このように、各ヒストグラムは、関連するサブ空間領域に関して1つ又は複数の追跡対象の動きに関する情報を含む。
一実施形態では、ステップe)は、
速度情報がゼロの場合において1つ又は複数のヒストグラムを識別することと、
識別された1つ又は複数のヒストグラムに関連付けられたサブ空間領域を、1つ又は複数の追跡された移動目標によって横断されない領域として識別することとを含む。
1つ又は追跡された移動目標の移動に関するデータを事実上持たないヒストグラムの識別は、関連付けられたサブ空間領域によってそれは障害物や他の「立入禁止」の地域を含む。
本開示によれば、前記方法はさらに、
g)1つ以上の追跡対象の移動に関する速度情報に従って、各ヒストグラムを更新するステップと、
h)更新されたヒストグラムを用いて関心空間の境界を精緻化するステップとを含む。
ヒストグラムを更新しかつその情報を使って関心空間の境界を精緻化することで、レーダセンサを再調整しなくても、障害物、固定目標、及び「立入禁止」領域の位置を更新できる。
本開示の別の態様に従って、関心空間の境界を決定する方法が提供される。前記方法は、
i)レーダセンサの視野内の方位角平面及び仰角平面のうちの少なくとも1つにおいて関心空間の複数の走査を実行するステップと、
ii)各走査後に距離−角度マップを決定するステップと、
iii)走査平面内に、レーダセンサの視野角の法線に対して垂直な線を形成する少なくとも3つの点を特定するステップと、
iv)走査平面内に線を形成する識別された点から関心空間の境界の一部の位置を決定するステップと、
v)走査面内の境界の範囲を導出するステップとを含む。
この方法は、移動目標を追跡する必要なしに、関心空間の境界を導き出す簡単な方法を提供する。各走査後の距離−角度マップの簡単な処理は、関心空間の1つの境界を決定し、そこから他の境界を推測する。
一実施形態では、前記関心空間は予め定義されてもよく、ステップiv)は予め定義された関心空間の第1の寸法を特定することを含み、ステップv)は予め定義された関心空間の第2の寸法を特定することを含む。
一実施形態では、前記予め定義された関心空間は矩形を含む。前記部屋が長方形であることを知っている部屋の境界の決定の場合には、レーダ走査からその壁上に線を形成する3つの点を識別することによってレーダに対向する壁の位置を決定することが可能である。走査が方位角走査であるか仰角走査であるかに応じて、壁の範囲、幅、又は高さは、長方形の部屋の別の寸法を提供する。
本開示のさらなる態様によれば、関心空間の境界を決定する方法が提供される。レーダセンサを使う方法は、
I)レーダセンサの視野内の少なくとも1つの平面内を走査するステップと、
II)視野内の1つ以上の移動目標を検出するステップと、
III)視野内のパスをたどる1つ又は複数の検出された移動目標を追跡するステップと、
IV)1つ又は複数の追跡された移動目標のパスから関心空間の境界を導出するステップとを含む。
この方法を使うことで、決定された選択されたパスをたどる1つ又は複数の追跡対象の移動を使用して関心空間の境界を導き出し、レーダセンサのための情報を提供することができる。
一実施形態では、ステップIII)は、関心空間の中で、ランダムパス、計画パス、及び周辺パスのうちの1つで1つ又は複数の移動目標を追跡することを含む。
境界パス及び計画パスは、空き関心空間に容易に情報を提供することができるが、ランダムなパスは、例えば家具である、関心空間内の障害物をナビゲートするために使用されてもよい。そのようなパスの使用は、レーダセンサにとって関心空間の較正を提供する。これは、上記のように1つ以上の移動目標を追跡することによって精緻化され得る。
パスがランダムパスと計画パスのいずれかである場合において、ステップIV)は、1つ以上の追跡された移動目標のパス上で形態学的処理操作を使用することを含む。
拡張などの形態学的処理は、対象空間の境界の決定の正確さを効果的に高める。そして、1つ又は複数の移動目標を追跡することによって精緻化され、上記に示されることができる。
パスが境界パスを構成する場合、ステップIV)は、周辺パス上でいつでも1つ又は複数の移動目標の位置を決定することを含む。
本開示をよりよく理解するために、ここで、一例として添付の図面を参照する。
部屋の縦断面図であり、部屋内のレーダセンサの可能な取り付け点を示す図である。 レーダセンサが取り付けられる場所の反対側の壁を示し、レーダセンサによって検出された点を示す図である。 レーダセンサが取り付けられており、方位角と仰角の両方で反対側の壁の走査を示している部屋の一部の斜視図を示す。 図2に示すように方位角と仰角の両方で検出された点に対応する線を示す図である。 本開示の方法に係るレーダセンサが取り付けられている、その反対側の壁を識別するためのステップを示すフローチャートである。 反対側の壁の距離とその範囲の推定を示す図である。 長方形の部屋に対するレーダセンサのカバー範囲を示す図である。 L字型の部屋に対するレーダセンサのカバー範囲を示す図である。 半自動レーダ較正のためのマッピングパスを示す図であって、ランダムパスを示す。 半自動レーダ較正のためのマッピングパスを示す図であって、計画パスを示す。 半自動レーダ較正のためのマッピングパスを示す図であって、本開示に係る周辺パスを示す。 図8aに示されたパスについての面積推定を示す図である。 図8bに示されたパスについての面積推定を示す図である。 図8cに示されたパスについての面積推定を示す図である。 本開示に係る異なるタイプのマッピングを使用して決定された長方形の部屋を示す。 本開示に係る異なるタイプのマッピングを使用して決定された長方形の部屋を示す。 本開示に係る異なるタイプのマッピングを使用して決定されたL字型の部屋を示す。 本開示に係る異なるタイプのマッピングを使用して決定されたL字型の部屋を示す。 本開示に係る空間モデルを決定するためのステップを示すフローチャートである。 本開示に係る正確な空間モデルを提供するための本開示の方法の相互作用を説明するフローチャートである。
本開示は、特定の実施形態に関して、及び特定の図面を参照して説明されるが、本開示はそれらに限定されない。記載された図面は概略的なものにすぎず、限定的なものではない。図面において、要素のいくつかのサイズは誇張されていることがあり、説明の目的のために一定の縮尺で描かれていない。
本開示に従って、関心空間又はエンクロージャの境界を決定又は定義するためにレーダセンサを取り付けるためのいくつかの選択肢がある。
本明細書で使用される「空間」という用語は、体積又は領域を定義するために使用することができる物理的境界を持たない体積又は領域を指す。これは、「立入禁止」領域を形成する障害物又は障壁(バリア)、コードン、ロープなどによってのみ画定されるオープン空間を含むことができる。
本明細書で使用される用語「関心空間」は、本開示に係るレーダセンサによって画定され監視されるべき空間を指す。
本明細書で使用される「空間モデル」という用語は、本開示の方法に従って導出された関心空間のモデルを指す。空間モデルは、走査が方位角と仰角の両方で行われるか否かに応じて、二次元又は三次元であり得る。
本明細書で使用される「エンクロージャ」という用語は、体積又は領域を画定する物理的境界を有する体積又は領域を指す。これには、部屋、又は壁やその他の物理的な区切り記号(デリミッター)があるその他の領域又はボリュームが含まれる。
本明細書で使用される「部屋」という用語は、一般的に長方形で壁を有する特定の種類のエンクロージャを指す。これはまた、L字形又は湾曲形状などの非矩形形状の部屋を含むことができる。
本明細書で使用される「RCS」という用語は、レーダ断面積を指し、レーダ信号をレーダ受信機の方向に反射する目標の能力又は目標の検出可能性の尺度である。実際には、これは、レーダの方向(目標からの方向)のステラジアンあたりの後方散乱電力(単位立体角)と、目標によって傍受される電力密度の比の尺度である。典型的には、RCSは三次元で計算され、次のように表すことができる。
ここで、σはRCS、Sは目標で測定された入射電力密度、Sは目標から距離rの位置で見た散乱電力密度である。
本明細書で使用される「MIMOレーダシステム」、「MIMOレーダセンサ」及び「MIMO」という用語は、複数の送受信アンテナを備えるレーダシステムを指す。各送信アンテナは信号を送信するように構成されている。各受信アンテナは、少なくとも1つの目標から反射された送信信号を受信するように構成される。
本明細書で使用される「モノスタティックレーダシステム」、「モノスタティックレーダセンサ」及び「モノスタティックレーダ」という用語は、レーダセンサを指す。これは、信号を送信するように構成された送信機と、目標から反射されたときに送信された信号に対応する信号を受信するように構成された受信機とを備える。送信機と受信機は併置されている。典型的には、送信機アンテナと受信機アンテナとの間の距離が送信信号の波長に匹敵するとき、送信機と受信機は併置されていると言われる。モノスタティックレーダは、1つの送信機と複数の受信機を持つことができる。例えば、8台の受信機(「1×8」モノスタティックレーダと呼ばれる)。
本明細書で使用される「バイスタティックレーダシステム」、「バイスタティックレーダセンサ」及び「バイスタティックレーダ」という用語は、レーダシステムを指す。これは、信号を送信するように構成された送信機と、送信された信号に対応する信号を受信するように構成された受信機とを備える。目標から反射したとき。送信機と受信機は距離で離れているこれはバイスタティックレーダシステムと目標間の予想距離に匹敵する。
本明細書で使用される「マルチスタティックレーダシステム」、「マルチスタティックレーダセンサ」、及び「マルチスタティックレーダ」という用語は、共有カバー領域を有する複数のモノスタティック又はバイスタティックレーダサブシステムを含むレーダシステムを指す。従って、マルチスタティックレーダシステムは、1つの受信機を有する複数の送信機、すなわち多入力単出力(MISO)レーダシステムを備えることができる。さらに、マルチスタティックレーダシステムは、1つの送信機を有する複数の受信機、すなわち単入力多出力(SIMO)レーダシステムを備えることができる。さらに、マルチスタティックレーダシステムは、MIMOレーダシステムを含み得る。
本明細書で使用される「レーダセンサ」という用語は、レーダビームを送信するために、レーダビームを生成するように構成されたレーダを指す。方位角又は仰角面の少なくとも一方でレーダビームを走査するための送信モジュールの使用(できれば方位と仰角の両方)反射されたビームを複数の受信モジュールで受信する。さらに、レーダはプロセッサ/コントローラ及びメモリを含む。ビームステアリングも使用することができる。各レーダセンサは、他のどのレーダセンサからも完全に独立して動作するように構成され、事実上独立したユニットを形成する。
本明細書で使用される「壁検出」という用語は、壁を検出するための方法を指す。直線又は平面を検出するもの検出された線又は平面の法線とレーダセンサの視野角の法線とは、共有又は整列されている。言い換えれば、検出された線又は検出された平面は、レーダの視野角の法線に対して垂直である。特に、直線又は平面は、検出されている壁上の少なくとも3つの点によって定義され得る。
本明細書で使用者としての用語「教師付き境界推定」は方法を指す。人などの動く目標関心空間内で移動することによって関心空間の境界を決定するために使用される。
本明細書で使用される「ヒートマッピング」という用語は、その空間内の目標の移動によるレーダセンサ又はシステムを使用して関心空間を決定する方法を指す。ここで、熱及び赤外線の監視はなく、対象空間内を移動する際の対象の検出と追跡のみである。ヒートマッピングは、教師付き境界推定の一種である。
本明細書で使用される「教師なし境界推定」という用語は、例えば関心空間の中又は周りの人々などの目標の動きを追跡する方法を指す。教師なし境界推定のいくつかの実装形態では、検出され追跡されている目標は、例えばレーダセンサが取り付けられているサイロ内の穀物(グレイン)などの人以外のものかもしれない。
本明細書で使用される「意図マッピング」という用語は、例えば関心空間の中又は周りの人々などの目標の動きを追跡することによって関心空間についての境界情報を提供する方法を指す。意図マッピングは教師なし境界推定の一形態である。
本明細書で使用される「動作の意図」という用語は、目標が現在目標によって占められている空間に隣接する空間内の所与の位置に移動することが可能であるか否かを指す。
本明細書で使用される「凸多角形」という用語は、単純な多角形を指す。その辺のどれも自己交差していない多角形の境界上の2点間の線分は、多角形の外側には延在しない。言い換えれば、凸多角形はその内部が凸集合を形成する単純な多角形である。長方形の部屋は「凸形状のエンクロージャ」の一例である。本明細書で使用される「凹多角形」という用語は、は凸ではない多角形を指す。単純な多角形は、その内角の少なくとも1つが180°よりも大きい場合は凹を有する。凹多角形の例は星型多角形である境界上の2点間の線分は、ポリゴンの外側に延在する。「凹形状のエンクロージャ」の例は、L字型の部屋である。
本開示によれば、例えば壁を有するエンクロージャ、もしくは例えば綱又はロープである障壁で区切られた空間などの、関心空間を監視するためにレーダセンサが設置される。関心空間の範囲を決定するために、レーダセンサを較正する必要がある。つまり、「立入禁止」の地域の位置例えば、壁や他の障壁関心空間を定義する。関心空間の範囲の決定は、以下に記載される方法を使用して実行され得る。一旦較正されると、関心空間内で検出された移動目標の追跡は、関心空間の範囲をさらに精緻化するために使用することができる。
本開示に係る、関心空間の境界を決定するための1つの方法は壁検出であり、エンクロージャ又は部屋の境界が導出される。直線又はレーダセンサの視野角の法線に垂直な平面から三角法を使用する。
本開示に係る、関心空間の境界を決定するための別の方法はヒートマッピングであり、ここで、レーダセンサの設置後の関心空間内の移動目標の追跡は、境界を導き出すために使用される。
本開示に係る、関心空間の境界を決定するためのさらなる方法は、意図マッピングである。関心空間の内側と外側の両方で移動目標を追跡することにより、境界を導き出すことができる「立入禁止」領域に関する情報が得られる。
本開示の一方法によれば、壁などの区切り記号を有する関心空間をマッピングするために2段階プロセスが使用される。プロセスの最初のステップでは、設置されたレーダの前にある壁又は壁によって形成される角部(コーナー)の距離を推定する。このステップは、レーダセンサの設置時に一度行われる。プロセスの2番目のステップでは、継続的な改良が行われ、これは検出された目標を追跡して、例えば部屋である区切り文字(デリミッター)を有する関心空間の範囲を微調整することを含む。第2のステップは「意図マッピング」と呼ぶことができ、以下により詳細に説明される。
二段階プロセスの壁推定部分の代替として、ヒートマッピングは、以下により詳細に記載されるように使用され得る。
意図マッピングは、以下でより詳細に説明するように、別個の方法として使用することができる。
本開示の異なる実施形態及び実施形態の組み合わせは、物理的な障害物又は障壁(壁)を有する部屋に関して以下に説明される。しかしながら、本開示の原理は、物理的な区切り文字又は障害物又は障壁のない空間又はエンクロージャなどの他の状況にも適用することができる。
本開示の方法は、ビーム形成能力を有するレーダセンサを必要とする。レーダセンサは、例えば8個の受信機要素などの複数の受信機要素とともに単一の送信機要素を有することができる。レーダセンサの距離分解能は、壁の位置、及び壁の前と壁の後ろ(部屋の外側)の目標又はオブジェクトを区別するために十分でなければなりません。レーダセンサの与えられた角度分解能に対して、部屋の最小サイズには制限があり、それを下回ると検出角度が乱雑になる可能性がある。エンクロージャの最大寸法は、レーダセンサのリンクバジェット、つまり、レーダ送信機から空間を介してレーダ受信機内の受信回路までの利得と損失によって制限される。
図1は、床12、天井14及び壁16,18を有する部屋10の垂直断面図を示し、ここで、壁16,18は天井14から床12まで延在する。壁16は窓開口部16aを有し、壁18はドア開口部18aを有する。3つの可能なレーダマウントポイントA、B及びCが示されている。
位置Aは、床12から約1.2mの高さの1つと一致する壁16上にある。いくつかの国では、電気ソケットが通常取り付けられている可能性がある。この位置では、レーダセンサの反対側の壁と角部はその視野内にある。2つの隣接する壁で形成されたものと天井と床のある壁で形成されたものを含めて、最大8つの角部がある。図1では、壁16及び18に隣接する壁は示されていない。しかしながら、これらの壁は、それらの天井14と壁16、18、及び床12と壁16、18との接合部に角部を形成することが容易に理解されよう。つまり、各壁には4つの角部があり、4つの縁端部が各壁の周囲を囲む。
図2に示すように、位置Aに位置するレーダセンサに直接的に対向する壁20上の点は、iで示すように見える。反対側の壁に関連してレーダセンサによって合計9つの顕著な検出を行うことができる。すなわち、角部a、c、f及びh、床12との縁端部g、天井14との縁端部b、及び壁16,18のそれぞれとの縁端部d、e、及び壁20上の点iである。
位置Bから、部屋10の上面図が得られる。位置Aのように、レーダ位置の反対側の点と部屋の4つの壁で床によって形成される角部を含む9つすべての点がレーダセンサに見えます。
位置Cは位置Aと似ているが、レーダはより高い位置にある。この位置から、レーダセンサは、壁の上部の角部、すなわち角部a、c及び縁端部bを見ることができる可能性が最も高い。
同様に、位置Bに設置されたレーダセンサは、床を見た上面図の代わりに壁を監視するように向けられてもよい。この向きは位置Dと見なされる。
位置Dの観点からは、特別なアンテナ設計により、レーダセンサはエンクロージャ又は部屋の360°の視野を得ることができる。これらの角のいくつかが、RCSの悪いオブジェクト(物体)によって遮られている状況がある可能性があることに注意してください。
図1を参照して説明した位置では、壁及び角を検出できるようにするためにレーダセンサは明確な視線を持たなければならないことに留意されたい。特に、レーダセンサは角に取り付けられていないことが好ましい。しかし、それが他の適切な場所に装着することができないならば、レーダセンサの視野角の法線に対する垂線は、角部に直接延在しないように配置されるが、それに対して斜めであることが好ましい。
エンクロージャ又は部屋がマッピングされ監視されるべき1つの方法では、エンクロージャの最も遠い周囲がレーダセンサから見え、その視野角の法線に対して垂直に位置することが重要である。
本開示の1つの方法によれば、壁検出は、2つのステップ、すなわち、アーチファクトについてエンクロージャ又は部屋を走査し、次いで推定することで実行される。これらのアーチファクトのどれが境界を定義する。レーダセンサによって検出することができる固定目標などのアーチファクトは、関心空間の周囲及びその周囲に存在してもよい。
壁は、レーダセンサによる検出を反対側の壁に配置することによって検出される。複数の角部を観察するために、レーダセンサは、複数の角部を検出するために方位角面と仰角面の両方を走査する。ただし、両方の面を走査することは必須ではなく、1つの平面だけで走査することでも十分である。各走査後に距離−角度マップが得られる。アンテナ放射パターンのビーム幅は、その開口に反比例する。多数のアンテナ素子を有するMIMOレーダセンサの場合、ペンシルビームとも呼ばれる鋭い指向性ビームを生成することができる。アンテナアレイが適切に配置されている場合、鋭いビームは、方位角面と仰角面の両方に向けられることができる。
例えば、図3に示すように、レーダ22が「0」(図1に示す位置Aに相当)の長方形の部屋に設置されたとき。レーダセンサの視野角の法線は、線
に沿っている。方位角面は線
と線
から形成された平面であり、仰角面は線
と線
から形成されている。方位角は曲線24によって広がり、仰角は曲線26によって延在する。壁のどの部分も他の物体によって塞がれていない場合、方位角走査の範囲角度マップを用いて、線
、線
及び線
上にある複数の点と、
仰角走査の範囲−角度マップを用いて、線
、線
及び線
に対応する複数の点を検出することができる。これらは図4に示され、ここで、線は方位角と仰角に沿って検出された点に対応し、垂直線は方位角走査を示し、水平線は仰角走査を示す。実際には、複数の点は、図2に示す複数の点に対応し、ここで、点a、c、f及びhは角部a、c、f及びhを有し、点gは床12上の縁端部gを有し、点bは天井14における縁端部bを有し、点d、eは壁16,18のそれぞれの上の縁端部d、eを有し、点iは壁20の上の点iを有する。床12、天井14及び壁16、18はそれぞれ括弧で示されている。
それぞれの線で結ばれた9つの点が図4に示されているが、この方法では、最も遠い壁の位置を導き出すためには、これらの点のうち3点を直線で識別することだけが必要である。例えば、仰角面内の線
、線
及び線
上の点と、方位角平面内の線
、線
及び線
線上の点を得ることが必要である。
理想的な条件の空のエンクロージャでは、図4に示すように9つの点すべてが検出される。しかしながら、実際には、エンクロージャ内に含まれる物体から他の検出があり得る。エンクロージャの地面又は床の上のアーチファクトはランダムに分布しており、1つの直線上に並ぶことはほとんどなく、単一の平面上にはほとんど存在しないと想定されている。従って、実際の周囲長を識別するために、仰角平面と方位角平面の両方で検出されたすべての点に対して最小二乗適合が実行される。最小二乗法は、方位角走査又は仰角走査からのみ検出された点を使用して実行することもできる。最適なものを見つけるために、レーダの法線に垂直な直線又は平面がレーダからの異なる距離で決定される。最良適合が見出される距離は、検出された壁の位置であると決定される。
図5は、検出された壁を決定するためのステップについてのフローチャート100を示す。ステップ110において、走査後、レーダ検出が得られる。ステップ120で、複数のレーダ検出は、選択された走査方向sに沿った各角度位置aに対してとともに、方位角及び仰角で各走査方向sと関連付けられる。ステップ130において、選択された走査面s及び角度位置aに対する検出のサブセットが選択される。ステップ140において、選択された検出のサブセットについて、レーダの通常の視野に対して垂直な方向の線L(s,a)が適合される。ステップ150で、各線L(s,a)をレーダセンサのメモリ内のレコードに格納する。ステップ120及び130に戻る線によって示されるように、方位角平面及び仰角平面の両方について、並びに、それぞれの平面内のすべての角度について繰り返された後、一組の線L(s,a)が得られる(ステップ160)。ステップ170で、そのような線の最大数を含む平面が決定される。そして、ステップ180において、検出された壁はレーダセンサと反対側の壁であると決定される。
反対側の壁が識別されると、エンクロージャは、検出された点をマッピングすることができるように、例えば長方形、L字形などの所定の形状であると仮定される。ユーザは、検出された点のマッピングを助けるためにモデルの形状を選択又は定義することができる。識別された壁上に位置する検出された点から、壁の範囲(角部から角部までの長さ)と部屋の寸法の推定値は、図6に示すように単純な三角恒等式によって推定される。
図6では、レーダセンサは200で、反対面は210で示され、方位角面の壁Hの範囲は点220と230の間にあり、線Rはレーダ200と反対壁210との間の距離に対応し、レーダセンサの視野角の法線と一致する。線R及びRは線Rの両側でそれぞれ壁210の点220及び点230まで延在する。
壁Hの範囲は、単純な三角形の恒等式を使用して得られ、次式のように表される。
H=Rsin(θ)+Rsin(θ
ここで、Hは、複数の走査面に依存して幅又は高さのいずれかになるエンクロージャ範囲である。R、θ及びR、θは、レーダセンサ200から最も離れている壁210上の点として観察される。Rは次式として計算され及び裏付けされる。
=Rcos(θ
=Rcos(θ
さらに、Rも方位角と仰角の両方の面で0度の反対側の壁の観測点である。
はエンクロージャ又は部屋の長さを示し、Hは幅を示す(長方形のエンクロージャ又は部屋を想定する)は注意すべきことである。
図6は、例えば方位角平面では、1つの平面における壁のみを示しており、仰角平面に対応する三角恒等式があることは理解されるだろう。
反対側の壁の位置を決定するときは、さまざまな部屋の形状を考慮する必要がある。図7aでは、4つの壁310、320、330、340及びドア350を有する長方形の部屋300の平面図が示されている。レーダセンサ360は、ドアの近くの壁340上に配置され、陰影領域370によって示されるように、部屋全体及び部屋の外の中の物体を検出することができる。このようなレーダセンサ360は、レーダ装置とは反対側の壁の角を捉える。反対側の壁の決定は、上記の図5を参照して説明したようにして行われる。
図7bでは、L字型の部屋400の平面図が示されている。これは6つの壁410、420、430、440、450、460及び2つのドア470、480を有する。単一のレーダセンサは、L字形の両方の部分を容易に覆うことはできず、2つの独立したレーダセンサ490、495が図示のようにL字形のそれぞれのアームに設けられている。レーダセンサ490は、領域490a及び497によって示されるように、壁410、450、460によって画定される空間を覆う。そして、レーダセンサ495は、領域495a及び497によって示されるように、壁420、430及び440によって画定される空間を覆う。図示のように、レーダセンサ490、495の位置決めのために、壁440及び450の延長部440a及び450a並びに壁410及び420の部分410a及び420aによって画定されるような重なり領域497がある。各レーダセンサ490、495は、関連するレーダ装置の反対側の壁の角を捉え、それが長方形の空間を見ていると判断する。レーダセンサの配置は、壁が不規則な場所、すなわち長方形以外の場所、並びに壁で定義されたエンクロージャをカバーするために複数のレーダが必要な場合の部屋内で慎重に検討される必要があることが容易に理解されるであろう。各レーダセンサに対して、反対側の壁の決定は、上記の図5及び図6を参照して説明したように実行される。
別の方法では、レーダセンサの視野内の目標の動きを検出することで、空間又はエンクロージャの周囲の長さを特定できる。
図8aから図8c及び図9aから図9cを参照して説明したヒートマッピングを使用する。ヒートマッピングプロセスは2つの部分からなる。レーダセンサをエンクロージャに取り付けた後、監視付き設定では、エンクロージャ内のすべての空間点を検証するために、移動目標がエンクロージャ内で案内される。ここで、目標はレーダセンサによって追跡され、追跡履歴はエンクロージャに属する空間座標を推定するために使用される。
単一の移動目標がヒートマッピングに使用されることが好ましいが、2つ以上の移動目標が使用されてもよいことが容易に理解されるだろう。
レーダセンサを較正するためのヒートマッピングは、較正を開始するためのコマンドによって開始されるか、又はレーダセンサの電源が投入されると自動的に開始される。この段階では、指定された目標が所定のパターンで移動してエンクロージャの領域と周囲をカバーする。また、目標パスはエンクロージャ内の任意の場所から開始できる。目標パスは、レーダに非常に近いエンクロージャ内の点から始まることが好ましい。レーダセンサは、部屋をマッピングするために指定された目標の動きを検出し追跡する。図8a〜図8cに示すように、この目的のために3つのパスパターンが提案されている。
図8aにおいて、長方形の部屋500の場合レーダ510が設置されている場合、部屋500内の線520によって示されるような目標のランダムな動きは、部屋500の範囲の表示を提供する。そのようなランダムな動きは、例えば家具などの、室内に静止又は固定の目標がある場合使用されるかもしれません。好ましくは、目標のランダムな動きは、エンクロージャ内の一点から始まり、当該エンクロージャはレーダセンサに非常に近い場所にあり、レーダセンサに非常に近い同じ点又は別の点で終わる。
図8aに示すように追跡された場所から、数学的形態学に基づく処理操作を使用する。拡張など推定される領域をカバーするために広いマスクでトラックに。これを図9aに示す。
図8bにおいて、設置されたレーダ510を有する長方形の部屋500に対して、部屋内の線530によって示されるような目標の計画された動きは、部屋500の範囲の表示を提供する。そのような計画された動きは、部屋の中に静止又は固定の目標がなく、部屋が空のとき又は空間又はエンクロージャが大きいときに使用される可能性がある。
図8bに示すような追跡位置については、図8aに関して上述したような数学的形態ベースの処理操作も使用することができる。これは図9bに示されており、パス550の一部だけが拡張されているように示されている。
図8cにおいて、設置されたレーダ510を有する長方形の部屋500に対して、線540によって示されるように部屋の周囲の周りの目標の計画された動きは、部屋500の範囲の表示を提供する。そのような計画された動きは、部屋の中に静止した目標も固定された目標もない部屋が空のときに使用される可能性がある。
凸形状の筐体の場合、図8cに示すように、外周に沿って歩くと、筐体内のすべての空間座標が推測される。図9cでは、エンクロージャ又は部屋の周囲のパス上の任意の時点での目標の位置の決定は、矢印570によって示されるように、形態学に基づく処理操作を適用する必要なしに可能にする。
レーダが設置されているエンクロージャがレーダの放射周波数に対して不透明である場合、ヒートマッピング法はエンクロージャ内の全ての可能な空間点の推定を提供する。エンクロージャ内の目標を検出するのに十分である。しかしながら、レーダ周波数の放射線は、いくつかの物質(木材、プラスチックなどの建築材料を含む)を透過するか、又は「見る」ことができ、エンクロージャを部分的に透明にすることができる。このことは較正プロセスに影響する空間範囲の推定に影響を与えるレーダの較正中に、関心対象のエンクロージャ又は空間の外側の目標としても検出される可能性がある。
このプロセスの2番目のステップでは、レーダセンサは連続的にいくつかの移動目標の動きを追跡し、分布を決定し、このことは時間の経過とともに周囲の位置に関する信頼性を高めます。この2番目のステップでは、エンクロージャが上記のような「シースルー」材料を含むときにおいて、例えばエンクロージャ内の一般に動けない目標の移動による家具などの移転など境界検出の難しさを軽減するために境界線の調整も可能になる。
この第2のステップでは、任意のパスに沿った目標の運動の意図と共に目標の実際の空間位置、つまり、決定された境界内のランダムパス(図8a及び9a)、計画パス(図8b及び9b)、又は境界パス(図8c及び9c)が記録される。動きの意図は、移動目標によって占められている空間に隣接する空間内の所与の位置に移動することが可能であるか否かを示す。
意図情報は、1つ又は複数の移動目標を追跡することによっても取得できる。例えば、人々、そして長期間にわたって追跡されている目標の瞬間速度を記録する。各目標が動いている間、それは追跡され、目標に対する空間的位置のベクトルが記録される。目標の瞬間速度ベクトルは、意図を示唆し、長期間にわたって多くのトラックを観察することによって部屋の周囲長は十分に高い信頼度で決定することができる。
本開示に係る教師付き境界推定方法の上に構築するために、自動又は教師なし境界推定方法を使用することができる。監視境界推定方法では、図8a〜図8c及び図9a〜図9cを参照して上で説明したように、レーダセンサは、ランダムパス、計画パス、又は周辺パスに従って移動目標を追跡し続け、境界を境界とする。関心空間の教師なし境界推定方法では、空間ベクトルと共に、追跡対象の速度ベクトルも記録される。レーダセンサの視野は、サブ空間領域に分割されることが好ましい。そして、各部分空間領域は、そのサブ空間領域に関する情報が格納されるヒストグラムと関連付けられる。速度ベクトルは、運動の意図又は意図マッピングの尺度を提供する。そして、関連する空間位置又は部分空間領域のヒストグラムに格納される。教師なし境界推定が教師付き境界推定又は壁検出方法に加えて使用される場合、これらの方法で得られた情報はヒストグラムに取り込まれる。
本開示の方法によれば、長方形の部屋内を移動する1つ又は複数の目標に対する意図マッピングについて、図10a及び図10bを参照して説明する。部屋600は壁610、620、630、640によって画定され、ドア650を有することが示されている。レーダセンサ660は部屋600内に配置され、視野を有する。これは、壁630、640を通る放射の透過により、部屋の内部670と部屋600の外側の領域680の両方を包含する。レーダセンサ660の位置決めにより、壁610及び620は既に「立入禁止」領域と見なされる。
図10aにおいて、レーダセンサ660は位置A、B、C、D及びEにおいて目標を検出し、ここで、場所A、C、及びDにおける目標は、部屋600の内部670内にあり、そして、領域680内の位置B及びEを目標とする。図示されているように、位置A及びBの目標は矢印で示されているように2つの方向のうちのいずれか一方に移動することができる。位置Cにおける目標は壁640によって制限され、矢印によって示されるように壁に沿っていずれの方向にも壁から離れる方向にのみ移動することができる。位置Dの目標は部屋の隅にあり、壁620及び630によって制限されており、壁に沿って矢印で示されているように、壁のどちらか一方に沿ってしか移動できず、そして壁から離れ、そして位置Eの目標は、壁630に隣接する部屋600の外側にあり、制限され、それによって、位置Eの目標は、矢印によって示されるように、壁630に沿っていずれの方向にも壁から離れるように移動することができる。
図10bでは、部屋600は、部屋の内側の位置A、C、及びDに目標があり、部屋の外側の位置B、及びEに目標がある状態で示されている。これらの目標(及び他の目標(図示せず))の動きのマッピングにより、部屋600の壁を画定することが可能である。これは、どの目標も壁630、640を通って移動せず、従ってこれらの壁は障壁又は「立入禁止」領域と見なすことができるからである。部屋の内部670から外向きに、そして領域680から内向きに指す矢印によって示されるように、レーダセンサ660は、
(1)(元々の配置により決定されるように)壁610、
(2)レーダセンサ、壁620、630(意図マッピングによってさらに定義されるように)、及び
(3)壁640(レーダセンサの位置決めのために最初に決定されるように)
の存在によって画定されるべき部屋600の境界を決定する。この図では、矢印は各部分空間又は場所に対するすべての「立入禁止」方向を示している。
説明を容易にするために2つの直交方向が図10a及び図10bに示されていること、及びさらに、目標は移動して追跡できる多くの方向があり得ることに留意されたい。しかしながら、これらの方向は、矢印で示されるように、追跡されている移動目標の移動に関するデータを収集するためのヒストグラムビンを定義する。
図11a及び図11bは、L字形の部屋700に対する意図マッピングを示す。部屋700は壁710、715、720、725、730、735を有し、ドア740、750はそれぞれ壁735及び壁720にある。レーダセンサ760は部屋700の隅に配置され、部屋の内部770及び、壁720、725、730、735を通る放射線の透過のために、部屋の外側の領域780を包囲する視野がある。レーダセンサ760の位置決めにより、壁710及び715は既に「立入禁止」領域と見なされている。
図11aでは、レーダセンサ760は、位置A、B、C、D、E、F、及びGで目標を検出する。場所A、B、D、及びFの目標は部屋700の内部770内にあり、また領域780内の位置C、E、及びGを目標とする。図示されているように、位置A及びGの目標は、矢印で示されているように2つの方向のうちのいずれか一方に移動することができる。位置Bの目標は壁715によって制限され、矢印で示されるように壁に沿っていずれかの方向にしか壁から離れることができない。位置Cの目標は壁720の外側にあり、矢印で示すように壁720に沿って壁から離れる方向にしか移動できない。位置Dにおける目標は壁725によって制限され、矢印で示されるように壁に沿っていずれかの方向にしか壁から離れることができない。場所Eの目標は、壁725と730の間の角部にあり、制限されている。それによって、矢印によって示されるように壁725及び730のいずれか一方に沿った方向にしか移動できず、壁から離れることができる。そして位置Fの目標は壁730と735の間の角部にあり、制限されている。それによって、矢印によって示されるように壁730及び735のいずれか一方に沿って壁から離れる方向にのみ移動することができる。矢印で示すように、方向は、位置A、B、C、D、E、F及びGにおける追跡対象の移動に関するヒストグラムデータを定義する。
図11bでは、部屋700は、部屋の内側の位置A、B、D及びFに目標を置き、部屋の外側の位置C、E及びGに目標を置いて示されている。これらの目標(及び図示されていない他の目標)の動きのマッピングにより、部屋の壁を定義することが可能である。これは、どの目標も壁720、725、730、735を通って移動しないため、これらの壁は障壁又は「立入禁止」領域と見なすことができるからである。この図において、矢印は、位置A、B、C、D、E、F及びGに対応する「立入禁止」領域/方向を示す。図示のように、位置Bにおける目標の移動は壁715の位置を精緻化する。Cでの目標の移動は壁720の位置を精緻にする。D及びEにおける目標の移動は壁725の位置を精緻化する。E及びFにおける目標の移動は、壁730の位置を精緻化する。レーダセンサ760は、
(1)(当初はレーダセンサの配置により決定され、インテントマッピングにより改良されている)壁710、715と、
(2)(意図マッピングによってさらに定義されるように)壁720、725、730、735
の存在によって画定されるべき部屋700の境界を決定する。矢印で示すように、方向は、位置A、B、C、D、E、F及びGにおける追跡対象の移動に関するヒストグラムデータを定義する。
説明を容易にするために2つの直交方向が図11a及び11bに示されていること、及びさらに、目標が移動して追跡できる多くの方向があり得ることに留意されたい。
図10a、図10b、図11a及び図11bにおいて、レーダセンサはその視野内の空間をグリッド内の一連のセルとしてマッピングする。セルは、方位角平面及び仰角平面における距離軸及び角度を含むレーダデータキューブのボクセルに対応する。データキューブ(立方体又は三次元のデータ)は(r,θ,φ)で表すことができる。ここで、rは範囲軸に沿った範囲値であり、θ及びφはそれぞれ方位角平面と仰角平面の角度である。走査が1つの平面でのみ実行される場合、例えば方位角平面のみで実行される場合、セルは方位角平面(r,θ)内の距離軸及び角度を含むピクセルに対応する。
特定の位置に関連する1つ又は複数の矢印の位置は壁全体を画定しないこと、並びに、1つ以上の目標が壁に沿ってこれらのセルを占め、壁を通過しない場合が多い必要があることに留意されたい。長期間にわたって、ヒストグラムは、障壁、従って「立入禁止」領域を推定するために取り込まれる。
図10a及び図11aとは対照的に、図10b及び図11bでは、目標が追跡されているセルに隣接するセルが矢印でマークされている場合、矢印が障壁や障害物を示している可能性がある。そして、そのような障壁又は障害物が実際に「立入禁止」の領域である場合、それはあらゆる方向からの目標の追跡によって強化される。実際、当該矢印はヌルヒストグラムビンに対応する方向を示し、それゆえに、「立入禁止」の地域である。単一の矢印は境界や「立入禁止」の領域を定義しないが、このような連続した矢印は、エンクロージャの境界を定義するための「立入禁止」領域を定義し、つまり、部屋600と700の周囲を定義する。
実際には、境界を導出するためにレーダセンサの視野内で目標を追跡する方法は、それによって、エンクロージャのモデルは、そのような空間を画定する物理的障壁があるか否かにかかわらず、関心のある任意の空間に使用することができる。しかしながら、この方法は、以下に説明するように境界及びエンクロージャのモデルを改良するためにも使用することができる。
図12は、関心空間の境界を提供するために視野内の目標を追跡する方法のステップのフローチャート800を示す。最初のステップであるステップ810は、レーダセンサの視野内の各部分空間についてヒストグラムを作成することである。このステップにおいて、レーダセンサの視野は、決定されるべき関心空間に対するその位置に基づいて決定される(ステップ812)。次に、決定された視野は、解像度に関して三次元の部分空間に分割される(ステップ814)。ステップ814において、部分空間は、範囲分解能∂R、方位角内の角度分解能∂θ、及び仰角での角度分解能∂φを用いて定義される。部分空間が決定されると、ステップ816で各部分空間についてヒストグラムが作成される。各ヒストグラムは、レーダセンサの視野内の各部分空間に対する目標の移動方向を捉えるために使用される。
初期化入力(ステップ820)、すなわち対象空間内の動かない目標の決定を受け取った後、ヒストグラムは初期化入力に基づいて更新される。例えば壁、家具などの移動しない目標がもし必要ならば決定される(ステップ830)。レーダセンサは視界を走査して目標を探し(ステップ840)、次に全ての観察可能な移動目標を追跡する(ステップ850)。
追跡中に、移動目標の瞬間速度が視野内のそれらの空間位置と共に記録される。各空間位置に対して、レーダセンサの視野内の移動目標の瞬間速度が記録される。各空間位置は、レーダセンサの視野の部分空間に対応するか、又はマッピングされている。ヒストグラムは、目標によって横断される視野の全ての部分空間についての方向情報で連続的に埋められる。空間位置を部分空間にマッピングし、これらの空のヒストグラムは、1つ以上の追跡された移動目標の移動がない部分空間領域を示すので、マッピングされた部分空間領域内のヒストグラムを識別することによって空である関心空間を決定することができる。
ステップ850において、ヒストグラムは、レーダセンサの視野内を移動する目標に関する追跡データで連続的に埋められる。ステップ860において、空間境界を決定する際に使用するために収集された十分なデータがあるか否かが決定される。十分なデータがない場合、方法はステップ850に戻り、視野内の移動目標の追跡からより多くのデータを集める。十分なデータがある場合、次のステップであるステップ870は、追跡データを持たないヒストグラムを抽出することであり、当該ヒストグラムは「立入禁止」の領域又は地域に対応する。これらの抽出された空のヒストグラムは、境界を決定及び改良しそして空間モデルを導出するために使用される(ステップ880)。これはステップ890で出力される。導出された空間境界はステップ830への入力としてフィードバックされ、それによって、各ヒストグラムを更新することによって、どの移動目標が検出されると予想される関心空間内の領域を精緻化する。
空のヒストグラムは、そのようなヒストグラムに関連付けられたサブ空間領域内に1つ又は複数の追跡対象のいずれも移動しないので、速度データを含まないので、従って、速度データは格納されていないことはすぐに理解されるだろう。
レーダセンサの視野内の1つ以上の目標を追跡するこの方法はまた、関心空間の境界が他の方法で決定される場合において、関心空間の空間モデルとともに、境界線を絞り込むためにも使用できる。典型的には部屋である、例えば対象空間の境界は、図5を参照して説明したように、反対側の壁の存在から導き出すことができる。目標の追跡は、図10a、図10b、図11a、図11b及び図12を参照して上述したように部屋の境界を精緻化するために使用され得る。同様に、ヒートマッピングを使用して導き出された境界この追跡方法を使用して精緻化することができる。
さらに、境界レーダセンサによって検出可能であり、関心空間の境界内及び周囲に存在する1つ又は複数の物体に関する位置情報を使用して導き出された境界は、この追跡方法を使用して精緻化することができる。そのような対象物は、レーダセンサによって観察可能な場所でエンクロージャの周囲の異なる場所に配置することができ、及びその逆も可能であり、そのようなオブジェクト(物体)は、追跡方法によって導出された境界を精緻化するために使用され得る。
本開示による移動目標の追跡は、再較正を必要とせずに部屋のレイアウトの変化を容易に調整することができる。さらに、このようにして得られたモデルは、エンクロージャ内の動かない目標に対して、そのような目標をエンクロージャ内に再配置するため容易に調整できる。
図13は、本開示に係る、関心空間に対する境界を決定するための異なる方法を説明するフローチャート900を示し、ここで、これらの方法は単独又は組み合わせて使用できる。ブロック910は、図5を参照して説明したように、反対側の壁から空間モデルを導出することに対応する。ブロック920は空間モデルの導出に対応する。図8a〜図8c及び図9a〜図9cを参照して説明したヒートマッピング(監視追跡)を使用する。ブロック930は空間モデルの導出に対応する。図10a、図10b、図11a、図11b及び図12を参照して説明したように、移動目標の意図追跡(教師なし追跡)を使用する。
ブロック910から始まり、例えば部屋であるエンクロージャなどの関心空間内の適切な位置にレーダセンサを設置した後の最初のステップは、レーダセンサの方向に向けることで、それが少なくとも1つの平面、方位角又は仰角において最適な視野を有するようにする(ステップ912)。理想的には、レーダセンサは通常両方の面を走査するので、両方の面が使用されるが、図4を参照して説明したように反対側の壁の位置を特定できるために不可欠ではない。レーダセンサの配向後、少なくとも1つの平面内で走査が行われて、レーダセンサの法線に対して垂直である線又は平面が決定される(ステップ914)。図4を参照して説明したように、反射放射から、反対側の壁の存在を推測することが可能である(ステップ916)。反対側の壁の推定から、例えば長方形の部屋などの所与のモデルについてエンクロージャのサイズ及び形状に対応する境界を決定することが可能である(ステップ918)。
ブロック920において、少なくとも1つの平面、方位角又は仰角においてレーダセンサを用いて走査することによって、エンクロージャの大まかな境界が得られる(ステップ922)。図8aから図8c及び図9aから図9cを参照して上述したようなヒートマッピングによって、ランダムパス、計画パス、境界パスのいずれかを使用することで、エンクロージャの周囲の推定値が取得される(ステップ924)。この推定から、エンクロージャに対応するモデルを作成することができる(ステップ926)。
ブロック930において、少なくとも1つの平面方位又は仰角においてレーダセンサを用いて走査することによって(ステップ932)、例えば移動目標に関する運動の空間的位置及び方向などのデータが、上記の図12を参照して説明したように取得できる。このデータは、エンクロージャの周囲の推定値を提供するために処理され(ステップ934)、次に関心空間のモデルが提供される(ステップ936)。ここで導出された関心空間のモデルは、単独で使用することができ(図示せず)、又はステップ940に示すようにブロック910、920の少なくとも一方から導出された空間モデルを改良することができる。
反対側の壁の推定から導出された空間境界(ブロック910)及び関連する空間モデル、並びに熱マッピングから導出された境界(ブロック920)は別々に使用することができる。しかしながら、これら2つのモデルは、レーダセンサから放射される放射線の透過特性のために正確さを欠くかもしれない。そして、移動目標の追跡の使用(ブロック930)を使用してこれらのモデルを改良することができる。
本開示に従って上記の様々な技術を組み合わせることによって、外乱に対する良好なレベルの頑健性が得られる。

Claims (17)

  1. レーダセンサを用いて関心空間の境界を決定する方法であって、
    a)レーダセンサの視野内の少なくとも1つの平面内を走査するステップと、
    b)視野内の1つ以上の移動目標を検出するステップと、
    c)1つ以上の検出された移動目標を追跡するステップと、
    d)1つ以上の追跡された移動目標に関する情報を導き出すステップと、
    e)導出された情報から、1つ以上の追跡された移動目標によって横断されなかった領域を決定するステップと、
    f)導出された領域から関心空間の境界を導出するステップとを含む方法。
  2. ステップd)は、1つ又は複数の追跡された移動目標に関する位置情報を導出することをさらに含む請求項1に記載の方法。
  3. ステップb)はさらに、
    b1)レーダセンサの視野内に存在する1つ以上の固定目標を検出するステップと、
    b2)1つ又は複数の固定目標に関する位置情報を決定するステップとを含み、
    ステップf)はさらに、関心空間の境界を精緻化する1つ以上の固定目標に関する位置情報を使用することを含む請求項1又は2に記載の方法。
  4. ステップd)は、1つ以上の追跡された移動目標の移動に関する速度情報を導出することをさらに含む請求項1〜3のうちのいずれか1つに記載の方法。
  5. ステップd)は、方位角の範囲分解能∂R、及び角度分解能∂θに従って、視野をサブ空間領域に分割することをさらに含む。請求項1〜4のうちのいずれか1つに記載の方法。
  6. ステップd)は、仰角の角度分解能∂φに従って、視野をサブ空間領域に分割することをさらに含む請求項5に記載の方法。
  7. ステップd)はヒストグラムを各部分空間領域に割り当てることをさらに含む請求項5又は6に記載の方法。
  8. ステップd)はさらに、
    1つ又は複数の追跡された移動目標に関する位置情報をサブ空間領域にマッピングすることと、
    それぞれのサブ空間領域に対して、1つ以上の追跡された移動目標の移動に関する速度情報を各ヒストグラムに入れることとを含む請求項7に記載の方法。
  9. ステップe)はさらに、
    速度情報がゼロの場合において、1つ又は複数のヒストグラムを識別することと、
    1つ以上の追跡された移動目標によって横断されない領域であるとして、識別された1つ以上のヒストグラムに関連する部分空間領域を識別することとを含む請求項8に記載の方法。
  10. g)1つ又は複数の追跡対象の動きに関する速度情報に従って各ヒストグラムを更新するステップと、
    h)更新されたヒストグラムを用いて関心空間の境界を精緻化するステップをさらに含む請求項7〜9のうちのいずれか1つに記載の方法。
  11. レーダセンサを用いて関心空間の境界を決定する方法であって、
    前記方法は、
    i)レーダセンサの視野内の方位角平面及び仰角平面のうちの少なくとも1つにおいて関心空間の複数の走査を実行するステップと、
    ii)各走査後に距離−角度マップを決定するステップと、
    iii)走査平面内に線を形成する少なくとも3つの点を識別するステップであって、前記線はレーダセンサの視野角の法線に対して垂直であるステップと、
    iv)走査平面内に線を形成する識別された点から関心空間の境界の一部の位置を決定するステップと、
    v)走査面内の境界の範囲を導出するステップとを含む方法。
  12. 前記関心空間は予め定義され、
    ステップiv)は予め定義された関心空間の第1の寸法を特定することを含み、
    ステップv)は予め定義された関心空間の第2の寸法を特定することを含む請求項11に記載の方法。
  13. 前記予め定義された関心空間は矩形を含む請求項12に記載の方法。
  14. レーダセンサを用いて関心空間の境界を決定する方法であって、
    前記方法は、
    I)レーダセンサの視野内の少なくとも1つの平面内を走査するステップと、
    II)視野内の1つ以上の移動目標を検出するステップと、
    III)視野内のパスをたどる1つ又は複数の検出された移動目標を追跡するステップと、
    IV)1つ又は複数の追跡された移動目標のパスから関心空間の境界を導出するステップとを含む方法。
  15. ステップIII)は、1つ又は複数の移動目標を、関心空間内のランダムパス、計画パス及び周辺パスのうちの1つで追跡することを含む請求項14に記載の方法。
  16. 前記パスは、ランダムパスと計画パスステップとのうちの1つを含み、
    ステップIV)は、1つ以上の追跡された移動目標のパス上で形態学的処理操作を使用することを含む請求項14又は15に記載の方法。
  17. 前記パスは周辺パスを含み、
    ステップIV)は、周辺パス上の任意の時点における1つ又は複数の移動目標の位置を決定することを含む請求項14又は15に記載の方法。
JP2019018658A 2018-02-12 2019-02-05 レーダセンサを用いた関心空間の境界の決定のための方法 Active JP7376240B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18156277.8 2018-02-12
EP18156277.8A EP3525002A1 (en) 2018-02-12 2018-02-12 Methods for the determination of a boundary of a space of interest using radar sensors

Publications (2)

Publication Number Publication Date
JP2019144238A true JP2019144238A (ja) 2019-08-29
JP7376240B2 JP7376240B2 (ja) 2023-11-08

Family

ID=61192781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019018658A Active JP7376240B2 (ja) 2018-02-12 2019-02-05 レーダセンサを用いた関心空間の境界の決定のための方法

Country Status (3)

Country Link
US (1) US20190250262A1 (ja)
EP (1) EP3525002A1 (ja)
JP (1) JP7376240B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3054042B1 (fr) * 2016-07-12 2018-08-17 Rockwell Collins France Procede et dispositif de determination d'une zone geographique operationnelle observee par un capteur
BE1026002B1 (nl) * 2018-02-12 2019-09-09 Niko Nv Elektrische of elektronische apparaatmodule die tenminste één radar sensor omvat
EP3783583B1 (en) * 2019-08-23 2023-09-27 UTC Fire & Security EMEA BVBA Method and apparatus for defining a detection zone
US11668799B2 (en) * 2020-03-20 2023-06-06 Aptiv Technologies Limited Histogram based L-shape detection of target objects
CN113446971B (zh) * 2020-03-25 2023-08-08 扬智科技股份有限公司 空间识别方法,电子装置和非暂态计算机可读存储介质
CN112150748A (zh) * 2020-09-08 2020-12-29 成都红云鼎科技有限公司 一种基于毫米波雷达的周界防范报警系统
EP3982160A1 (en) * 2020-10-08 2022-04-13 Imec VZW Method and system for indoor multipath ghosts recognition
CN113238214B (zh) * 2021-04-14 2024-03-19 杭州萤石软件有限公司 目标对象检测方法、装置、电子设备和存储介质
US20240058992A1 (en) * 2022-02-28 2024-02-22 Greene, Tweed Technologies, Inc. Modified Long Fiber Reinforced Polymeric Composite Flakes Having Progressive Ends, Methods of Providing the Same, and Articles Formed Therefrom Having Enhanced Strength and Impact Resistance
TWI800287B (zh) * 2022-03-03 2023-04-21 緯創資通股份有限公司 雷達偵測系統及雷達視界方向調整方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093428A (ja) * 2007-10-09 2009-04-30 Optex Co Ltd レーザエリアセンサ
JP2017167870A (ja) * 2016-03-17 2017-09-21 セコム株式会社 飛行物体監視システム及び飛行物体監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150099A (en) * 1990-07-19 1992-09-22 Lienau Richard M Home security system and methodology for implementing the same
US7592944B2 (en) * 1999-06-14 2009-09-22 Time Domain Corporation System and method for intrusion detection using a time domain radar array
US6177903B1 (en) 1999-06-14 2001-01-23 Time Domain Corporation System and method for intrusion detection using a time domain radar array
US7250853B2 (en) 2004-12-10 2007-07-31 Honeywell International Inc. Surveillance system
WO2007106806A2 (en) 2006-03-13 2007-09-20 Nielsen Media Research, Inc. Methods and apparatus for using radar to monitor audiences in media environments
US9665776B2 (en) 2010-02-01 2017-05-30 Vito Nv System and method for 2D occupancy sensing
JP6212400B2 (ja) 2014-01-29 2017-10-11 セコム株式会社 物体検出センサ及びプログラム
US20150336575A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Collision avoidance with static targets in narrow spaces
JP6361394B2 (ja) 2014-09-16 2018-07-25 沖電気工業株式会社 状態判定装置及びプログラム
DE102014223363B4 (de) * 2014-11-17 2021-04-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
KR20170000569A (ko) * 2015-06-24 2017-01-03 현대자동차주식회사 차량의 충돌 감지 방법
US20180143321A1 (en) 2016-11-22 2018-05-24 4Sense, Inc. Modulated-Light-Based Passive Tracking System

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093428A (ja) * 2007-10-09 2009-04-30 Optex Co Ltd レーザエリアセンサ
JP2017167870A (ja) * 2016-03-17 2017-09-21 セコム株式会社 飛行物体監視システム及び飛行物体監視装置

Also Published As

Publication number Publication date
EP3525002A1 (en) 2019-08-14
JP7376240B2 (ja) 2023-11-08
US20190250262A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP7376240B2 (ja) レーダセンサを用いた関心空間の境界の決定のための方法
Reina et al. Radar‐based perception for autonomous outdoor vehicles
US11335182B2 (en) Methods and systems for detecting intrusions in a monitored volume
EP3012659A2 (en) Surveying areas using a radar system and an unmanned aerial vehicle
CN109683144A (zh) 雷达传感器和摄像机传感器的三维对准
Nowok et al. Millimeter wave radar for high resolution 3D near field imaging for robotics and security scans
Yuan et al. An automated 3D scanning algorithm using depth cameras for door detection
Hügler et al. UAV-borne 2-D and 3-D radar-based grid mapping
El Natour et al. Radar and vision sensors calibration for outdoor 3D reconstruction
JP4880925B2 (ja) 設定装置
BE1026002B1 (nl) Elektrische of elektronische apparaatmodule die tenminste één radar sensor omvat
Foessel-Bunting Radar sensor model for three-dimensional map building
JP4754283B2 (ja) 監視システム及び設定装置
Fritsche et al. Fusing LiDAR and radar data to perform SLAM in harsh environments
KR20220146617A (ko) 라이다 측정에서 블루밍을 검출하는 방법 및 장치
WO2021087751A1 (zh) 距离检测方法、距离检测设备、自主移动平台和存储介质
JP2017068639A (ja) 自律移動ロボット
Premachandra et al. UWB radar SLAM: An anchorless approach in vision denied indoor environments
Fritsche et al. Evaluation of a novel radar based scanning method
Reina et al. Short-range radar perception in outdoor environments
KR20210152492A (ko) 충돌 방지 시스템 및 방법
US11295587B2 (en) Method and apparatus for defining a detection zone
Devi et al. Active and passive radar-location systems for the calculation of coordinates
Wenzl et al. Configuration of a sparse network of LIDAR sensors to identify security-relevant behavior of people
Ruser et al. Detection and tracking of humans with a sparse network of LIDAR sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231026

R150 Certificate of patent or registration of utility model

Ref document number: 7376240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150