JP2022552228A - 特に自動車周辺における、物体を分類するための方法及び装置 - Google Patents

特に自動車周辺における、物体を分類するための方法及び装置 Download PDF

Info

Publication number
JP2022552228A
JP2022552228A JP2022521080A JP2022521080A JP2022552228A JP 2022552228 A JP2022552228 A JP 2022552228A JP 2022521080 A JP2022521080 A JP 2022521080A JP 2022521080 A JP2022521080 A JP 2022521080A JP 2022552228 A JP2022552228 A JP 2022552228A
Authority
JP
Japan
Prior art keywords
feature
pedestrian
received
ultrasonic sensors
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022521080A
Other languages
English (en)
Other versions
JP7385026B2 (ja
Inventor
パンプス，クリスティアン
シュマン，ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2022552228A publication Critical patent/JP2022552228A/ja
Application granted granted Critical
Publication of JP7385026B2 publication Critical patent/JP7385026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/54—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 with receivers spaced apart
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G01S2015/465—Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

超音波センサシステムによって、特に自動車の周辺における物体を分類するための方法であって、前記超音波センサシステムが、空間的に散らばって配置された複数の超音波センサを有する、方法が提案される。複数の測定が、特に継続的に実行され、測定時にそれぞれ超音波センサの１つによって超音波信号が発信され、超音波センサの少なくとも１つによって、複数の反射されたエコー信号、いわゆる多重エコーを有する信号が受信され、受信されたエコー信号が、物体に対応付けられる。受信されたエコー信号から複数の特徴が決定され得る。本発明によれば、これらの特徴のうちの少なくとも２つの組み合わせに応じて、物体が特に歩行者として分類される。

Description

本発明は、超音波センサシステムによる、特に自動車周辺における物体を分類するための方法及び装置であって、超音波センサシステムが、空間的に散らばって配置された複数の超音波センサを有する、方法及び装置に関する。
ＥＰ２９０８１５３Ａ２から、超音波による自動車周辺における動的物体の検知装置が知られており、これは、送信機と受信機の両方として機能する、互いに所定の距離を空けて配置された少なくとも２つのセンサ素子を有するセンサアレイを含む。検出された移動物は、所定のモデルと比較することで、その軌跡及び速度に基づいて、例えば歩行者として分類される。
ＤＥ１１２０１６００３４６２Ｔ５から、車両前方の障害物を検出するように設計された超音波センサと、車両前方の領域の画像を撮影するように設計された単眼カメラとを含む車両制御装置が知られている。制御装置は、車両走行中に単眼カメラで撮影される画像に基づいて車両前方の障害物の有無を判定し、超音波センサによる物体の検出又は非検出と、単眼カメラで撮影される画像に基づいて判定される障害物の有無との組み合わせにしたがって車両の駆動力を制御する。
ＤＥ１０２０１６１２４１５７Ａ１は、自動車の周辺領域における考えられる衝突物、例えば歩行者に応じて、自動車を制動する必要性を判定するための方法を示す。
本発明の課題は、超音波センサシステムに基づき、可能な限り確実な、自動車周辺における歩行者検知を実現することに見出され得る。
この課題は、独立請求項に係る方法及び装置によって解決される。従属請求項は、本発明の好ましい実施形態を説明する。
超音波センサシステムによって、特に自動車周辺における物体を分類するための方法であって、超音波センサシステムが、空間的に散らばって配置された複数の超音波センサを有する、方法が提案される。
超音波センサシステムは、例えば、自動車に設けられる運転又は駐車支援システムの一部であってもよい。ここで、超音波センサは、例えば自動車のフロントバンパ及び／又はリアバンパに分散して配置していてもよい。
超音波センサの各々は、超音波信号を送信し、物体で反射された超音波信号を受信するように構成されていてもよい。物体で反射された受信された超音波信号の伝播時間により、物体までの距離を公知の方法で決定することができる。広がった構造化された物体は、いわゆる多重エコーを発生させ得る。この場合、発信された超音波信号は物体の様々な箇所で反射され、送信された超音波信号からそれぞれ伝播時間の異なる複数のエコー信号を超音波センサによって受信することができる。
本方法は、以下のステップを含む。すなわち、
複数の測定が、特に継続的に実行され、測定時にそれぞれ超音波センサの１つによって超音波信号が発信され、超音波センサの少なくとも１つによって、複数の反射されたエコー信号、いわゆる多重エコーを有する信号が受信され、受信されたエコー信号が物体に対応付けられる。
受信されたエコー信号から複数の特徴が決定され得る。すなわち、
－ 距離ｄが所定の距離閾値を上回る、実行された測定数に関する頻度を表す第１の特徴であって、距離ｄは、多重エコーを伴う測定の時間的に最初の受信されたエコー信号と、時間的に最後の受信されたエコー信号との間の距離に対応する、第１の特徴、
－ 距離ｄの分散値を表す第２の特徴、
－ 超音波センサを介して測定ごとに受信されたエコー信号数の散らばりを表す第３の特徴、
－ 超音波センサの物体についての向きを表す第４の特徴、
－ 複数の測定にわたる第１の物体距離の分散値を表す第５の特徴であって、関連する第１の物体距離が、各決定された時間的に最初の受信されたエコー信号に対して計算され、分散値の決定時に特に物体の接近が考慮される、第５の特徴、
－ 受信されたエコー信号の送信された超音波信号との相関を表す第６の特徴、
－ エコー信号の振幅を表す第７の特徴、
－ 反射点の散らばりを表す第８の特徴であって、各反射点は測定された物体位置を示す、第８の特徴。
上記の全ての特徴は、物体の分類、特に、歩行者と、縁石又は他の、例えば自動車の自動緊急ブレーキ機能もしくは補助緊急ブレーキ機能に関連しない物体とを、一定の確率で分離することを可能にする。単一の特徴は、それ単独で用いられる場合、物体が歩行者であるかどうかをさらなる特徴を追加せずに断言できるほど十分に一義的ではない。よって、本発明によれば、上記の特徴は、論理的又は統計的に互いに組み合わされる。
本発明によれば、これらの特徴のうちの少なくとも２つの組み合わせに応じて、物体が特に歩行者として分類される。ここで、組み合わせとは、例えば、特定の閾値を上回るか下回るか、又は特徴の特定の散らばり、もしくは散らばりの分散値が、例えば互いに連続した複数の測定で観測されるかどうかについて、特徴が評価されることであると理解される。そして、観察された各特徴は、例えば、物体が歩行者である確率を示すことによって、分類の決定に対して特定の貢献をすることができる。
代替的又は追加的に、特徴は、機械学習のためのデータベースを介してトレーニングされたいわゆる分類器（例えば、ニューラルネットワーク、決定木など）の入力信号として使用することができる。
特に、第１と第３の特徴を組み合わせて、以下のように物体を確実に歩行者として分類することができる。すなわち、多重エコーのうち時間的に最初の検出されたエコー信号と時間的に最後の検出されたエコー信号との間の距離ｄが所定の距離閾値を上回る第１の特徴に係る頻度が特に大きく、つまり頻度閾値を上回り、かつ第３の特徴に係る散らばりから、超音波センサのうちの特定のもののみ、特に超音波センサのうちの１つのみ、又は少数の、特に隣接して配置された超音波センサのみが、測定ごとに複数のエコー信号を受信したことが分かる場合、物体は歩行者として分類される。
本発明は、構造化された物体としての歩行者が、例えば足、胴体、頭部及び／又は腕など様々な部位で超音波を反射するという知見に基づく。この特色により、単一の超音波測定で通常複数のエコー信号（反射、多重エコー）が得られ、それらは時間的又は距離的に互いに重畳している。ここで、時間的に最初の受信された信号と時間的に最後の受信された信号との距離ｄは比較的大きいことが多く、特に、例えば縁石など低い物体に比べて大きいことが特徴的である。これは、例えば、送信された超音波信号を反射する身体の様々な部分が、超音波センサから見て、互いに大きな距離を有することに起因する場合がある。また、歩行者の動きによって、この相対距離ｄは、特に互いに連続した一連の測定を観察する場合、大きく変化し得る。この効果は、また、歩行者の同一箇所が全ての測定では送信された超音波信号を反射しないことに起因する。
したがって、反射する物体を分類するための第１の特徴として、物体に対応付けられる測定総数に対して多重エコーが測定される頻度、及び距離ｄが大きい、つまり特定の閾値よりも大きい頻度が用いられる（第１の特徴）。
また、分類のための第２の特徴として、距離ｄがどの程度大きく変化するか、つまりｄの分散値がどの程度大きいかを決定することができる。特定の縁石構造、例えばその後ろにターフグリッドがある縁石は、歩行者と同様のエコー信号、特に多重エコーを発生させる場合がある。しかし、歩行者が受信した多重エコーの集積を有するのは、それらの主測定軸が実質的に歩行者の方向に向いているか、又はそれらの主測定軸が歩行者に対して可能な限り小さな角度を有する超音波センサの場合のみである。それらの主測定軸が歩行者に対してより大きな角度を有する超音波センサでは、信号の伝搬経路が原因で多重反射されたエコー信号が弱いことが多いため、多重反射が受信されないか、又は小さな範囲のみで受信される。この点、歩行者に関しては、特に超音波センサのうちの１つのみ、又は隣接する２つの超音波センサで、典型的な多重エコーの頻繁な発生を確認することができるが、これに対し例えば反射する物体としての縁石に関しては、そのような散らばりは観測できない。そこで、第３の特徴として、超音波センサを介して、測定ごとに受信されたエコー信号数の散らばりが検出される。つまり、超音波センサのうちの、測定ごとに複数のエコー信号を受信するものと、受信しないものとが検出される。好ましくは、第３の特徴に係る散らばりから、超音波センサのうちの特定のもののみ、特に超音波センサのうちの１つのみ、又は少数の、特に隣接して配置された超音波センサのみが、分類されるべき物体に寄与した複数のエコー信号を測定ごとに受信したことが分かる場合、反射する物体は歩行者として分類される。ここで、特に、複雑な場面では、他の超音波センサもエコー信号を検出する可能性があるが、例えば三辺測量によって決定できるそれらの空間内の位置に基づいて分類されるべき物体に対応付けられるエコー信号は検出しないことが考慮される。
第４の特徴によれば、物体に対する超音波センサの向きを決定することができる。よって、また、多重エコー信号は非常に弱いことが多く、そもそも非常に精密に調整されたセンサシステムによってのみ検知できることが考慮され得る。そのため、これらの超音波信号（多重エコー）の受信は、様々な超音波センサ間で大きく変動することがある。そのため、統計の形成のために、すなわち、特に距離ｄの決定のために、第１の特徴によれば距離ｄが特定の閾値を上回る頻度の決定のために、及び／又は第２の特徴によればｄの分散値の決定のために、特に、物体の方を向いている、つまり良好な視野角を有する超音波センサの測定データのみを評価するか、又は好ましくは、物体に対して比較して最良の視野角を有する超音波センサのみを使用することが任意選択的に提案される。ここで、特に、各超音波センサの主軸と検知物体との相対的な角度を考慮することができる。
同様に、歩行者の複雑な構造に起因して、時間的に最初に受信された反射されたエコー信号（第１反射）から得られる物体距離も、特に縁石のような幾何学的に単純な安定した反射体と比較して、一連の測定において大きく変動する。つまり、時間的に最初に受信された反射されたエコー信号（第１反射）から得られる物体距離の分散値を、さらなる第５の特徴として用いることができる。特に、この分散値が第２の分散値閾値を上回る場合、その物体を歩行者と分類することができる。
歩行者は常に複数箇所で反射しているため、エコー信号は音響的に重畳する。超音波センサが、例えば特徴的な周波数推移を使用して符号化して超音波信号を発信し、受信超音波センサが相関を確定するために受信されたエコー信号の推移を評価する場合、エコー信号の重畳から相関に弊害がもたらされ、すなわち、相関が減少する。これに対し、例えば縁石では、歩行者では絶対に発生し得ない非常に高い相関が観測される場合がある。そのため、受信されたエコー信号と送信された超音波信号との相関が第６の特徴として決定される。
非常に高い相関値が受信される場合は、歩行者としての分類の除外基準とすることができる。好ましくは、特定の測定数について、相関値が特定の相関閾値より大きい場合、物体の歩行者としての分類は除外される。
第７の特徴によれば、少なくとも１つの受信されたエコー信号の振幅が評価されてもよい。通常、歩行者の衣服は音響信号を強く吸収するため、歩行者によって反射された超音波信号の反射音響エネルギーは、どちらかと言えば低～中程度である。この点では、とりわけ、特に大きい振幅が歩行者としての分類確率を低減するように、振幅を評価することができる。特に、少なくとも１つの受信された超音波信号の振幅が特定の振幅閾値より大きい場合、物体を歩行者として分類することを除外できる。
各測定では、受信された超音波信号が反射された空間内の位置を示す、いわゆる反射点をさらに決定することができる。反射点は、例えば、三辺測量による公知の方法で決定することができる。
さらに、歩行者については、ある測定から次の測定まで受信された反射点が局所的に強く跳ぶこと、すなわち、空間内の物体としての歩行者に測定時に対応付けられる座標が、特定の方法で変動することが典型的である。これは、歩行者の複雑な幾何学的構造と、歩行者が移動できることとから結果として生じる。したがって、三辺測量を介した複数の測定の局所的な対応付けを表す反射点の空間的な散らばりは、一連の測定においてさらなる第８の特徴として用いることができる。特に、第８の特徴に係る反射点の空間的な散らばりが特徴的な形状、特に、考えられる物体位置での反射点の集積と、横方向での散乱とを有する場合、物体は歩行者として分類することができる。
上記の全ての特徴は、歩行者と、縁石又は他の制動に関連しない物体とを、一定の確率で分離することができる。単一の特徴は、それ単独で用いられる場合、さらなる特徴を追加せずに断言できるほど十分に一義的ではない。よって、本発明によれば、上記の特徴は、特に論理的又は統計的に互いに組み合わされる。同様に、特徴は、機械学習のためのデータベースを介してトレーニングされた分類器（ニューラルネットワーク、決定木、…）の入力信号として使用することができる。論理的な組み合わせの種類は優先的な重要事項ではなく、むしろ歩行者を検知するために重要な特徴がそれである。
分類を可能にするために全ての特徴を使用する必要はなく、むしろ特徴を組み合わせることを介して分類の質の向上を実現できることにさらに留意されたい。
物体の分類において、説明した特徴のうちのより多くを組み合わせるほど信頼性が高まり、実際の歩行者を歩行者として検知し、その際に誤検知率、すなわち歩行者でない物体（例えば縁石）を歩行者として誤って検知すること（偽陽性）が低くなることを達成する。
本発明のさらなる一態様によれば、特に自動車の周辺における物体を分類するために構成された装置であって、
－ 空間的に散らばって配置された、特に自動車の車体に配置された、複数の超音波センサを有する、超音波センサシステムと、
－ 上述のように構成された方法にしたがってステップを実施するように構成されている評価装置とを含む、装置が提案される。
特に、評価装置は、超音波センサによって検出された測定データから、上述した特徴のうちの２つ以上を決定し、特徴のうちの少なくとも２つを組み合わせて、装置周辺における物体の分類を決定するように構成されている。
本装置は、自動車の運転支援システムの一部であってもよい。超音波センサは、自動車のバンパに配置され、進行方向で自動車の前方又は後方の領域を検出できるように配向していることが好ましい。
本装置は、特にブレーキアシストシステムの一部であってもよく、例えば、物体が歩行者として分類され、その物体が、例えば自動車の進行方向において特定の最小距離よりも近い距離で検出される場合に、緊急ブレーキを作動させることができる。
本発明のさらなる一態様によれば、本発明に係る装置を有する自動車が提案される。
添付の図を参照して、本発明の実施形態を詳述する。
歩行者を検出する際の本発明の考えられる一実施例による装置を示す図である。 本発明による、時間的に互いに連続した複数の測定中に検出された距離データを例示的に示す図である。 本発明による、時間的に互いに連続した複数の測定中に検出された距離データを、多重エコーを考慮に入れて例示的に示す図であって、距離ｄが、測定の時間的に最初に受信されたエコー信号と、時間的に最後に受信されたエコー信号との間の距離に応じて、各測定に対して決定される、図である。 本発明により構成された自動車及び歩行者を模式的に示し、複数の計測からの反射点の散らばりを重ねた図である。
以下の本発明の実施例の説明において、同じ要素には同じ参照符号を付し、これらの要素についての繰り返しの説明は場合によって省略する。図は、本発明の対象を模式的にのみ表す。
図１では、自動車１の前部が模式的に示されている。
自動車１は、自動車１の周辺における物体７０を分類するための装置１０を含む。装置１０は、超音波センサシステムを含み、超音波センサシステムは、自動車１の前面に沿って配置された４つの超音波センサ１２．１、１２．２、１２．３及び１２．４を有する。また、装置１０は、超音波センサ１２．１～１２．４の測定データを評価し、これに基づいて物体７０を分類するように構成されている評価装置１１を含む。この評価装置は、超音波センサ１２．１～１２．４が超音波信号を送信し、物体７０で反射された超音波信号を受信し、受信された信号を物体７０に対応付けるように、超音波センサ１２．１～１２．４のそれぞれを駆動制御するように構成されている。
図示の例では、物体７０は歩行者８０である。
物体７０を歩行者８０として分類するために、受信されたエコー信号の様々な特徴が決定される。
歩行者８０の特徴的な構造及び形状により、超音波センサ１２．１～１２．４の少なくとも１つが、複数の反射されたエコー信号を有する信号を受信する可能性が高い。例えば、歩行者８０の手８２と足８４は、超音波センサ１２．３の送信された超音波信号を反射する。例えば、足８４は、手８２の距離２２よりも超音波センサ１２．３までの距離２４が短い場合がある。したがって、超音波センサ１２．３は、１つの測定で少なくとも２つのエコー信号を受信する。足８４が歩行者８０の全反射点のうちで超音波センサ１２．３まで最も短い距離を有し、手８２が歩行者８０の全反射点のうちで超音波センサ１２．３まで最も大きい距離を有すると仮定すると、足８４で反射されたエコー信号が時間的に最初のエコー信号として受信され、手８２で反射されたエコー信号が時間的に最後のエコー信号として受信される。
エコー信号から、時間的に最初の受信されたエコー信号と時間的に最後の受信されたエコー信号との間の距離ｄを決定することができる。このために、例えば、まず、これらのエコー信号の伝播時間差を決定し、これを用いて、超音波信号の音速が既知である場合には、空間距離ｄを既知の方法で計算することができる。複数の測定を介して、それぞれ決定された距離ｄがどのような特性を示すかを観測することができる。例えば、測定の特定の最小割合で特定の閾値を上回る距離ｄが決定される場合、この事実は、物体７０が歩行者であることの指標となり得る。また、例えば手及び足の動きによって、並びに／又は歩行者８０の超音波センサに対する向きが異なると、距離ｄの大きなばらつきが生じる。したがって、距離ｄの分散値を観察する場合、例えば、分散値が特定の閾値を上回る場合、これを物体７０が歩行者であることのさらなる指標として利用することができる。
図３では、複数の測定ｉについて、それぞれ時間的に最初の受信されたエコー信号２１０と、時間的に最後の受信されたエコー信号２２０と、それらから決定された距離ｄｉとが図２００に例示的に示されている。ここで、Ｘ軸に測定時点ｔ、Ｙ軸に超音波センサまでの測定距離ｓがプロットされている。
各測定について、距離ｄが所定の距離閾値を上回るかどうかを比較することができるため、距離ｄが所定の距離閾値を上回る、実行された測定数に関する頻度を決定することができる。
さらなる特徴として、超音波センサを介して測定ごとに受信されたエコー信号数が決定される。図１に示す状況では、中央の２つの超音波センサ１２．２及び１２．３は、歩行者８０に対するそれらの接近及び方向性により、外側の２つの超音波センサ１２．１及び１２．４よりも強いエコー信号を受信する。したがって、中央の超音波センサ１２．２及び１２．３による多重エコーの受信がより可能性が高い。したがって、測定ごとに受信されたエコー信号数の散らばりは、互いに隣接して配置された超音波センサ１２．２及び１２．３に集積を有する。
同様に、歩行者８０の複雑な構造に起因して、それぞれの時間的に最初の受信されたエコー信号から決定される歩行者８０と超音波センサとの間の距離は、特に縁石のような幾何学的に単純で安定した反射体と比較して、一連の測定において大きく変動する可能性がある。これを図２において例示的に測定図１００に示す。Ｘ軸に測定時点ｔ、Ｙ軸に超音波センサまでの測定距離ｓがプロットされている。各測定時点において、反射する物体７０と測定用超音波センサとの間の距離９０が、時間的に最初の受信されたエコー信号によって決定される。全体として、直線９５で示されるように、測定用超音波センサと反射する物体７０との間の相対的で直線的な接近が見られ得る。車両速度が分かっていて、静止している物体を想定すれば、直線９５を計算することができる。物体７０の運動状態が不明である場合は、測定値９０から直線９５を決定することができる（例えば、一般的なフィット法によって）。第５の特徴を決定するために、それぞれの物体距離を表す測定値９０の分散値が、直線９５について複数の測定を介して決定され、これにより、物体７０の車両１又は測定用超音波センサへの接近が考慮される。このようにして決定された第５の特徴に係る分散値が第２の分散値閾値を上回る場合、反射する物体７０が歩行者８０であることをさらに示すと評価することができる。
図４は、本発明に係る第８の特徴を決定できる方法を可能な例で模式的に示し、第８の特徴は反射点６０の散らばりを表す。図４では、４つの超音波センサ１２．１、１２．２、１２．３及び１２．４を有する超音波センサシステム１２を有する車両１の前面を模式的に示す。物体７０は、車両１の前方にある。超音波センサによる多数の測定によって、反射点６０の座標が、例えば三辺測量によって決定され、反射点６０の各々が物体７０の測定位置を示す。図４の座標系によって示唆されているように、反射点の空間的な散らばりが形成される。歩行者８０では、反射点６０の特徴的な散らばりが生じることが判明しており、この散らばりは、一方では、考えられる物体位置での集積を有し、かつ、横方向、つまり主測定方向に対して垂直な方向での反射点６０の一定の散乱を有する。

Claims (12)

  1. 超音波センサシステム（１２）によって、特に自動車（１）の周辺における物体（７０）を分類するための方法であって、前記超音波センサシステム（１２）が、空間的に散らばって配置された複数の超音波センサ（１２．１、１２．２、１２．３、１２．４）を有し、
    複数の測定を実行するステップであって、測定時に、
    前記超音波センサ（１２．１、１２．２、１２．３、１２．４）の１つによって超音波信号が発信され、
    前記超音波センサ（１２．１、１２．２、１２．３、１２．４）の少なくとも１つによって、複数の反射されたエコー信号（２１０、２２０）を有する信号が受信され、
    前記受信されたエコー信号が、物体（７０）に対応付けられる、ステップを含み、
    前記受信されたエコー信号から複数の特徴が決定され、
    距離（ｄ）が所定の距離閾値を上回る、実行された測定数に関する頻度を表す第１の特徴であって、前記距離（ｄ）が、測定の時間的に最初の受信されたエコー信号（２１０）と、時間的に最後の受信されたエコー信号（２２０）との間の距離に対応する、第１の特徴と、
    前記距離（ｄ）の分散値を表す第２の特徴と、
    前記超音波センサ（１２．１、１２．２、１２．３、１２．４）を介して測定ごとに受信されたエコー信号数の散らばりを表す第３の特徴と、
    前記超音波センサ（１２．１、１２．２、１２．３、１２．４）の前記物体（７０）についての向きを表す第４の特徴と、
    複数の測定にわたる第１の物体距離の分散値を表す第５の特徴であって、関連する第１の物体距離が、各決定された時間的に最初の受信されたエコー信号（２１０）に対して計算され、前記分散値の決定時に特に前記物体（７０）の接近が考慮される、第５の特徴と、
    前記受信されたエコー信号の前記送信された超音波信号との相関を表す第６の特徴と、
    エコー信号の振幅を表す第７の特徴と、
    反射点（６０）の散らばりを表す第８の特徴であって、各反射点（６０）が測定された物体位置を示す、第８の特徴とのうちの少なくとも２つを含み、
    ８つの前記特徴のうちの少なくとも２つの組み合わせに応じて、前記物体（７０）が特に歩行者（８０）として分類される、方法。
  2. 少なくとも前記第１の特徴に係る前記頻度が頻度閾値を上回り、かつ前記第３の特徴に係る前記散らばりから、前記超音波センサ（１２．１、１２．２、１２．３、１２．４）のうちの特定のもののみ、特に前記超音波センサ（１２．１、１２．２、１２．３、１２．４）のうちの１つのみ、又は少数の、特に隣接して配置された超音波センサ（１２．１、１２．２、１２．３、１２．４）のみが、測定ごとに複数のエコー信号（２１０、２２０）を受信したことが分かる場合、前記物体（７０）が歩行者（８０）として分類される、請求項１に記載の方法。
  3. 前記第２の特徴に係る前記分散値が第１の分散値閾値を上回る場合、前記物体（７０）が歩行者（８０）として分類される、請求項２に記載の方法。
  4. 前記第４の特徴によれば、前記距離（ｄ）の決定において、前記物体（７０）に配向している超音波センサ（１２．１、１２．２、１２．３、１２．４）のみが考慮され、特に、前記物体（７０）に対して最良に配向している主測定方向を有する超音波センサ（１２．１、１２．２、１２．３、１２．４）のみが考慮される、請求項２又は３に記載の方法。
  5. 前記第５の特徴に係る前記分散値が第２の分散値閾値を上回る場合、前記物体（７０）が歩行者（８０）として分類される、請求項２から４のいずれか一項に記載の方法。
  6. 前記発信された超音波信号が特定の周波数推移を有し、少なくとも１つの受信されたエコー信号について周波数推移が決定され、前記第６の特徴によれば、前記エコー信号と前記送信された超音波信号との相関値が計算される、請求項２から５のいずれか一項に記載の方法。
  7. 特定の測定数について、前記相関値が特定の相関閾値より大きい場合、前記物体（７０）の歩行者（８０）としての分類が除外される、請求項６に記載の方法。
  8. 前記第７の特徴によれば、少なくとも１つの受信されたエコー信号について振幅が決定され、少なくとも１つの受信された超音波信号の前記振幅が特定の振幅閾値より大きい場合、前記物体（７０）の歩行者（８０）としての分類が除外される、請求項２から７のいずれか一項に記載の方法。
  9. 前記第８の特徴に係る前記反射点（６０）の空間的な散らばりが、特徴的な形状、特に、考えられる物体位置での反射点（６０）の集積と、横方向での散乱とを有する場合、前記物体（７０）が歩行者（８０）として分類される、請求項２から８のいずれか一項に記載の方法。
  10. 前記物体（７０）を特定の物体タイプ、特に歩行者（８０）として分類するための前記特徴及び／又は前記閾値のうちの少なくとも１つの最適化された組み合わせが、機械学習方法によって予め決定される、請求項１から９のいずれか一項に記載の方法。
  11. 特に自動車（１）の周辺における、物体（７０）を分類するために構成された装置（１０）であって、
    空間的に散らばって配置された、特に自動車の車体に配置された、複数の超音波センサ（１２．１、１２．２、１２．３、１２．４）を有する、超音波センサシステム（１２）と
    請求項１から１０のいずれか一項に記載のステップを実施するように構成されている評価装置（１１）と
    を含む、装置。
  12. 請求項１１に記載の装置（１０）を備えた自動車（１）。
JP2022521080A 2019-10-08 2020-08-11 特に自動車周辺における、物体を分類するための方法及び装置 Active JP7385026B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019215393.3 2019-10-08
DE102019215393.3A DE102019215393A1 (de) 2019-10-08 2019-10-08 Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs
PCT/EP2020/072518 WO2021069130A1 (de) 2019-10-08 2020-08-11 Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs

Publications (2)

Publication Number Publication Date
JP2022552228A true JP2022552228A (ja) 2022-12-15
JP7385026B2 JP7385026B2 (ja) 2023-11-21

Family

ID=72050881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521080A Active JP7385026B2 (ja) 2019-10-08 2020-08-11 特に自動車周辺における、物体を分類するための方法及び装置

Country Status (7)

Country Link
US (1) US20220342061A1 (ja)
JP (1) JP7385026B2 (ja)
KR (1) KR20220070320A (ja)
CN (1) CN114556146A (ja)
DE (1) DE102019215393A1 (ja)
MX (1) MX2022003941A (ja)
WO (1) WO2021069130A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212067A1 (de) * 2021-10-26 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Klassifizierung von wenigstens einem Objekt in einer Umgebung eines Fahrzeugs mittels eines Ultraschallsensorsystem sowie Steuereinrichtung, Ultraschallsensorsystem und Fahrzeug
DE102022202524B4 (de) * 2022-03-15 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zur Objektklassifizierung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213694A1 (en) * 2005-05-09 2009-08-27 Christian Zott Method and device for detecting the surface character of objects in road traffic or of persons
JP2012229948A (ja) * 2011-04-25 2012-11-22 Denso Corp 歩行者検出装置、歩行者検出方法およびプログラム
JP2012247215A (ja) * 2011-05-25 2012-12-13 Denso Corp 物体識別装置、および物体識別プログラム
JP2013541696A (ja) * 2010-08-25 2013-11-14 ファヒホークシュール フランクフルト アム マイン 人物の識別装置および識別方法
JP2016180654A (ja) * 2015-03-24 2016-10-13 パナソニック株式会社 レーダ装置および走行車両検知方法
JP2017151043A (ja) * 2016-02-26 2017-08-31 株式会社デンソー 物体認識装置及びプログラム
WO2018210966A1 (de) * 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178141B1 (en) * 1996-11-20 2001-01-23 Gte Internetworking Incorporated Acoustic counter-sniper system
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
DE19856974C1 (de) * 1998-12-10 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erfassung eines Hindernisses
US6615138B1 (en) * 2002-05-30 2003-09-02 Delphi Technologies, Inc. Collision detection system and method of estimating miss distance employing curve fitting
US6943727B2 (en) * 2002-10-29 2005-09-13 Volkswagen Ag Length measurement with radar
DE10344299B4 (de) * 2003-09-23 2016-08-04 Volkswagen Ag Klassifizierung der in einer Umgebung eines Kraftfahrzeugs befindlichen Objekte
DE102007061235A1 (de) * 2007-12-19 2009-06-25 Robert Bosch Gmbh Verfahren zur Klassifizierung von Abstandsdaten und korrespondierende Abstandsmessvorrichtung
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
DE102012212894A1 (de) * 2012-07-24 2014-01-30 Robert Bosch Gmbh Verfahren zum Betrieb eines Umfelderfassungssystems eines Fahrzeugs mit zumindest zwei Sende-/Empfangseinheiten und Umfelderfassungssystem
DE102014202752B4 (de) 2014-02-14 2017-06-14 Volkswagen Aktiengesellschaft Erkennung dynamischer Objekte mittels Ultraschall
JP6300181B2 (ja) 2015-08-25 2018-03-28 マツダ株式会社 車両の制御装置
DE102016113736A1 (de) * 2016-07-26 2018-02-01 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Fahrzeugs mit Höhenbestimmung, Fahrerassistenzsystem sowie Fahrzeug
US20210197834A1 (en) * 2016-11-21 2021-07-01 George Shaker System and method for sensing with millimeter waves for sleep position detection, vital signs monitoring and/or driver detection
DE102016124157A1 (de) 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger
US20190197497A1 (en) * 2017-12-22 2019-06-27 Lyft, Inc. Responses to detected impairments
DE102018103551B4 (de) * 2018-02-16 2022-09-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Charakterisieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zuvor gelernten Kurvenparametern, Sensorvorrichtung sowie Fahrerassistenzsystem
DE102019207688A1 (de) * 2019-05-26 2020-11-26 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Klassifizierung von Objekten in der Umgebung eines Fahrzeugs
US20210064030A1 (en) * 2019-08-27 2021-03-04 Yu-Sian Jiang Driver assistance for a vehicle and method for operating the same
US11816900B2 (en) * 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information
US20210124355A1 (en) * 2019-10-23 2021-04-29 Lyft, Inc. Approaches for encoding environmental information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213694A1 (en) * 2005-05-09 2009-08-27 Christian Zott Method and device for detecting the surface character of objects in road traffic or of persons
JP2013541696A (ja) * 2010-08-25 2013-11-14 ファヒホークシュール フランクフルト アム マイン 人物の識別装置および識別方法
JP2012229948A (ja) * 2011-04-25 2012-11-22 Denso Corp 歩行者検出装置、歩行者検出方法およびプログラム
JP2012247215A (ja) * 2011-05-25 2012-12-13 Denso Corp 物体識別装置、および物体識別プログラム
JP2016180654A (ja) * 2015-03-24 2016-10-13 パナソニック株式会社 レーダ装置および走行車両検知方法
JP2017151043A (ja) * 2016-02-26 2017-08-31 株式会社デンソー 物体認識装置及びプログラム
WO2018210966A1 (de) * 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Also Published As

Publication number Publication date
MX2022003941A (es) 2022-04-25
WO2021069130A1 (de) 2021-04-15
CN114556146A (zh) 2022-05-27
US20220342061A1 (en) 2022-10-27
KR20220070320A (ko) 2022-05-30
JP7385026B2 (ja) 2023-11-21
DE102019215393A1 (de) 2021-04-08

Similar Documents

Publication Publication Date Title
US10302760B2 (en) Vehicle water detection system
JP6333412B2 (ja) 障害物検知装置
JP6404679B2 (ja) 物体検知装置
JP6474228B2 (ja) 物体検知装置
CN105549018B (zh) 对象检测装置
JP2015004562A (ja) 障害物検知装置
JP7385026B2 (ja) 特に自動車周辺における、物体を分類するための方法及び装置
JP6577767B2 (ja) 物体検知装置及び物体検知方法
JP2021026557A (ja) 障害物検知装置
JP2021513643A (ja) 危機的な横方向移動を検出するための方法および装置
JP7122101B2 (ja) 車両用障害物検知装置
CN114207469A (zh) 用于对车辆周围环境中的对象进行分类的方法及驾驶员辅助系统
JP2013036837A (ja) 車両用物体形状認識装置
WO2012077345A1 (ja) 監視装置
JP2015132511A (ja) 路面監視装置および電動カート
CN103926580B (zh) 用于环境传感机构的系统
KR20220166704A (ko) 비가시 경로 레이더 장치
JP6918272B2 (ja) 障害物検知装置
CN116209914A (zh) 基于雷达传感器的测量并通过识别干扰探测来识别车辆环境中的道路使用者的方法以及运算设备
WO2019058507A1 (ja) 障害物検出装置および障害物検出方法
CN113552575A (zh) 泊车障碍物侦测方法及装置
US20100019951A1 (en) Method for determining a variable
US11975653B2 (en) Target detection system and method for vehicle
US20240168156A1 (en) Method for classifying at least one object in the surroundings of a vehicle by means of an ultrasonic sensor system, controller, ultrasonic sensor system, and vehicle
JPWO2020049650A1 (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7385026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150