JP2021162351A - 物体検出システム - Google Patents

物体検出システム Download PDF

Info

Publication number
JP2021162351A
JP2021162351A JP2020061345A JP2020061345A JP2021162351A JP 2021162351 A JP2021162351 A JP 2021162351A JP 2020061345 A JP2020061345 A JP 2020061345A JP 2020061345 A JP2020061345 A JP 2020061345A JP 2021162351 A JP2021162351 A JP 2021162351A
Authority
JP
Japan
Prior art keywords
wave
transmitted
waves
received
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020061345A
Other languages
English (en)
Inventor
一平 菅江
Ippei Sugae
浩一 佐々
Koichi Sasa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Priority to JP2020061345A priority Critical patent/JP2021162351A/ja
Priority to CN202110264645.6A priority patent/CN113466870A/zh
Priority to US17/199,785 priority patent/US11698456B2/en
Publication of JP2021162351A publication Critical patent/JP2021162351A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/10Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/10Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S15/102Systems for measuring distance only using transmission of interrupted, pulse-modulated waves using transmission of pulses having some particular characteristics
    • G01S15/104Systems for measuring distance only using transmission of interrupted, pulse-modulated waves using transmission of pulses having some particular characteristics wherein the transmitted pulses use a frequency- or phase-modulated carrier wave
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行する。【解決手段】本開示の一例としての物体検出システムは、互いに異なる識別情報が付与された複数の送信波を順次送信する送信部と、送信部により複数の送信波が全て送信された後に、物体での反射に応じて戻ってきた複数の送信波にそれぞれ対応した複数の受信波を順次受信する受信部と、複数の送信波と複数の受信波との関係に基づいて、物体に関する情報を検出する検出処理部と、を備える。【選択図】図5

Description

本開示は、物体検出システムに関する。
従来、送信波の送信、および物体により反射されて戻ってきた送信波としての受信波の受信を超音波センサにより実行することで、たとえば物体までの距離のような、物体に関する情報を検出する技術が知られている。
特開2018−179782号公報
上記のような従来の技術では、送信波の送信が完了するタイミングと、受信波の受信が開始するタイミングとの間に、送信波が物体での反射に応じて戻ってくるのに要するある程度の時間を空ける必要がある。このため、物体に関する情報の検出を連続的に複数回実行する場合、送信波を送信してからある程度の時間待機した上で受信波を受信するという一連の処理を複数回繰り返し実行する必要がある。
したがって、上記のような従来の技術では、物体に関する情報の検出を連続的に複数回実行する処理を完了するまでの時間が長くなりやすい。しかしながら、このような処理は、より短時間で実行することが望まれる。
そこで、本開示の課題の一つは、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することが可能な物体検出システムを提供することである。
本開示の一例としての物体検出システムは、互いに異なる識別情報が付与された複数の送信波を順次送信する送信部と、送信部により複数の送信波が全て送信された後に、物体での反射に応じて戻ってきた複数の送信波にそれぞれ対応した複数の受信波を順次受信する受信部と、複数の送信波と複数の受信波との関係に基づいて、物体に関する情報を検出する検出処理部と、を備える。
上述した物体検出システムによれば、複数の送信波の送信をまとめて実行し、その後、複数の受信波の受信がまとめて実行されるので、1つの送信波を送信してからある程度の時間待機した上で1つの受信波を受信するという一連の処理を複数回繰り返し実行する場合に比べて、全ての送信波および受信波の送受信の完了に要する時間を短くすることができる。したがって、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することができる。
上述した物体検出システムにおいて、複数の送信波が第1の送信波および当該第1の送信波と異なる第2の送信波を含むとともに、複数の受信波が第1の送信波に対応した第1の受信波および第2の送信波に対応した第2の受信波を含む場合、送信部は、第1の送信波を送信した後、受信部により第1の受信波が受信される前に、第2の送信波を送信し、受信部は、送信部により第2の送信波が送信された後、第1の受信波を受信し、その後、第2の受信波を受信する。このような構成によれば、2つの送信波および2つの受信波の送受信を効率的に(より短時間で)実行することができる。
また、上述した物体検出システムにおいて、検出処理部は、複数の送信波の各々が送信されたタイミングと、複数の受信波の各々が受信されたタイミングと、の差に基づいて、物体に関する情報として、物体までの距離を検出する。このような構成によれば、物体までの距離を容易に検出することができる。
また、上述した物体検出システムにおいて、送信部および受信部は、音波を送受信可能な単一の振動子を含む送受信部として車載ソナーに一体的に搭載され、検出処理部は、車載ソナーに搭載される。このような構成によれば、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することができるという効果を車載ソナー単体で実現することができる。
また、上述した物体検出システムにおいて、送信部および受信部は、音波を送受信可能な単一の振動子を含む送受信部として車載ソナーに一体的に搭載され、検出処理部は、車載ソナーを制御する車載制御装置に搭載される。このような構成によれば、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することができるという効果を車載ソナーと車載制御装置とで分担して実現することができる。
また、上述した物体検出システムにおいて、車載ソナーが複数設けられており、送受信部は、車載ソナーごとに異なる識別情報が付与された複数の送信波および複数の受信波を送受信する。このような構成によれば、たとえば複数の送信波および複数の受信波の送受信を複数の車載ソナーにおいて同時に実行することが可能になるなど、複数の送信波および複数の受信波の送受信を様々な態様で柔軟に実行することができる。
図1は、実施形態にかかる物体検出システムを備えた車両を上方から見た外観を示した例示的かつ模式的な図である。 図2は、実施形態にかかるECU(電子制御装置)および距離検出装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 図3は、実施形態にかかる距離検出装置が物体までの距離を検出するために利用する技術の概要を説明するための例示的かつ模式的な図である。 図4は、比較例にかかる送信波および受信波の送受信のタイミングの一例を示した例示的かつ模式的な図である。 図5は、実施形態にかかる距離検出装置の詳細な構成を示した例示的かつ模式的なブロック図である。 図6は、実施形態にかかる送信波および受信波の送受信のタイミングの一例を示した例示的かつ模式的な図である。 図7は、実施形態にかかる距離検出装置が実行する処理の流れを示した例示的なフローチャートである。
以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。
<実施形態>
図1は、実施形態にかかる物体検出システムを備えた車両1を上方から見た外観を示した例示的かつ模式的な図である。
以下に説明するように、実施形態にかかる物体検出システムは、超音波の送受信を行い、当該送受信の時間差などを取得することで、周囲に存在する人間を含む物体(たとえば後述する図2に示される障害物O)に関する情報を検出する車載センサシステムである。
より具体的に、図1に示されるように、実施形態にかかる物体検出システムは、車載制御装置としてのECU(Electronic Control Unit)100と、車載ソナーとしての距離検出装置201〜204と、を備えている。ECU100は、一対の前輪3Fと一対の後輪3Rとを含んだ四輪の車両1の内部に搭載されており、距離検出装置201〜204は、車両1の外装に搭載されている。
図1に示される例では、一例として、距離検出装置201〜204が、車両1の外装としての車体2の後端部(リヤバンパ)において、互いに異なる位置に設置されているが、距離検出装置201〜204の設置位置は、図1に示される例に制限されるものではない。たとえば、距離検出装置201〜204は、車体2の前端部(フロントバンパ)に設置されてもよいし、車体2の側面部に設置されてもよいし、後端部、前端部、および側面部のうち2つ以上に設置されてもよい。
なお、実施形態において、距離検出装置201〜204が有するハードウェア構成および機能は、それぞれ同一である。したがって、以下では、簡単化のため、距離検出装置201〜204を総称して距離検出装置200と記載することがある。実施形態において、距離検出装置200の個数は、図1に示されるような4つに制限されるものではない。
図2は、実施形態にかかるECU100および距離検出装置200の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。
図2に示されるように、ECU100は、通常のコンピュータと同様のハードウェア構成を備えている。より具体的に、ECU100は、入出力装置110と、記憶装置120と、プロセッサ130と、を備えている。
入出力装置110は、ECU100と外部(図1に示される例では距離検出装置200)との間における情報の送受信を実現するためのインターフェースである。
記憶装置120は、ROM(Read Only Memory)およびRAM(Random Access Memory)などといった主記憶装置、およびHDD(Hard Disk Drive)またはSSD(Solid State Drive)などといった補助記憶装置を含んでいる。
プロセッサ130は、ECU100において実行される各種の処理を司る。プロセッサ130は、たとえばCPU(Central Processing Unit)などといった演算装置を含んでいる。プロセッサ130は、記憶装置120に記憶されたコンピュータプログラムを読み出して実行することで、たとえば自動駐車などといった各種の機能を実現する。
一方、図2に示されるように、距離検出装置200は、送受波器210と、制御部220と、を備えている。送受波器210は、「送受信部」の一例である。
送受波器210は、圧電素子などにより構成された振動子211を有しており、当該振動子211により、超音波の送受信を実行する。
より具体的に、送受波器210は、振動子211の振動に応じて発生する超音波を送信波として送信し、当該送信波として送信された超音波が外部に存在する物体で反射されて戻ってくることでもたらされる振動子211の振動を受信波として受信する。図2に示される例では、送受波器210からの超音波を反射する物体として、路面RS上に設置された障害物Oが例示されている。
なお、図2に示される例では、送信波の送信と受信波の受信との両方が単一の振動子211を有した単一の送受波器210により実現される構成が例示されている。しかしながら、実施形態の技術は、たとえば、送信波の送信用の第1の振動子と受信波の受信用の第2の振動子とが別々に設けられた構成のような、送信側の構成と受信側の構成とが分離された構成にも適用可能である。
制御部220は、通常のコンピュータと同様のハードウェア構成を備えている。より具体的に、制御部220は、入出力装置221と、記憶装置222と、プロセッサ223と、を備えている。
入出力装置221は、制御部220と外部(図1に示される例ではECU100および送受波器210)との間における情報の送受信を実現するためのインターフェースである。
記憶装置222は、ROMおよびRAMなどといった主記憶装置、およびHDDまたはSSDなどといった補助記憶装置を含んでいる。
プロセッサ223は、制御部220において実行される各種の処理を司る。プロセッサ223は、たとえばCPUなどといった演算装置を含んでいる。プロセッサ223は、記憶装置333に記憶されたコンピュータプログラムを読み出して実行することで、各種の機能を実現する。
ここで、実施形態にかかる距離検出装置200は、いわゆるTOF(Time Of Flight)法と呼ばれる技術により、物体までの距離を検出する。以下に詳述するように、TOF法とは、送信波が送信された(より具体的には送信され始めた)タイミングと、受信波が受信された(より具体的には受信され始めた)タイミングとの差を考慮して、物体までの距離を算出する技術である。
図3は、実施形態にかかる距離検出装置200が物体までの距離を検出するために利用する技術の概要を説明するための例示的かつ模式的な図である。
より具体的に、図3は、実施形態にかかる距離検出装置200が送受信する超音波の信号レベル(たとえば振幅)の時間変化をグラフ形式で例示的かつ模式的に示した図である。図3に示されるグラフにおいて、横軸は、時間に対応し、縦軸は、距離検出装置200が送受波器210(振動子211)を介して送受信する信号の信号レベルに対応する。
図3に示されるグラフにおいて、実線L11は、距離検出装置200が送受信する信号の信号レベル、つまり振動子211の振動の度合の時間変化を表す包絡線の一例を表している。この実線L11からは、振動子211がタイミングt0から時間Taだけ駆動されて振動することで、タイミングt1で送信波の送信が完了し、その後タイミングt2に至るまでの時間Tbの間は、慣性による振動子211の振動が減衰しながら継続する、ということが読み取れる。したがって、図3に示されるグラフにおいては、時間Tbが、いわゆる残響時間に対応する。
実線L11は、送信波の送信が開始したタイミングt0から時間Tpだけ経過したタイミングt4で、振動子211の振動の度合が、一点鎖線L21で表される所定の閾値Th1を超える(または以上になる)ピークを迎える。この閾値Th1は、振動子211の振動が、検知対象の物体(たとえば図2に示される障害物O)により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものか、または、検体対象外の物体(たとえば図2に示される路面RS)により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものか、を識別するために予め設定された値である。
なお、図3には、閾値Th1が時間経過によらず変化しない一定値として設定された例が示されているが、実施形態において、閾値Th1は、時間経過とともに変化する値として設定されてもよい。
ここで、閾値Th1を超えた(または以上の)ピークを有する振動は、検知対象の物体により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものだとみなすことができる。一方、閾値Th1以下の(または未満の)ピークを有する振動は、検知対象外の物体により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものだとみなすことができる。
したがって、実線L11からは、タイミングt4における振動子211の振動が、検知対象の物体により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものである、ということが読み取れる。
なお、実線L11においては、タイミングt4以降で、振動子211の振動が減衰している。したがって、タイミングt4は、検知対象の物体により反射されて戻ってきた送信波としての受信波の受信が完了したタイミング、換言すればタイミングt1で最後に送信された送信波が受信波として戻ってくるタイミング、に対応する。
また、実線L11においては、タイミングt4におけるピークの開始点としてのタイミングt3は、検知対象の物体により反射されて戻ってきた送信波としての受信波の受信が開始したタイミング、換言すればタイミングt0で最初に送信された送信波が受信波として戻ってくるタイミング、に対応する。したがって、実線L11においては、タイミングt3とタイミングt4との間の時間ΔTが、送信波の送信時間としての時間Taと等しくなる。
上記を踏まえて、TOF法により検知対象の物体までの距離を求めるためには、送信波が送信され始めたタイミングt0と、受信波が受信され始めたタイミングt3と、の間の時間Tfを求めることが必要となる。この時間Tfは、タイミングt0と、受信波の信号レベルが閾値Th1を超えたピークを迎えるタイミングt4と、の差分としての時間Tpから、送信波の送信時間としての時間Taに等しい時間ΔTを差し引くことで求めることができる。
送信波が送信され始めたタイミングt0は、距離検出装置200が動作を開始したタイミングとして容易に特定することができ、送信波の送信時間としての時間Taは、設定などによって予め決められている。したがって、TOF法により検知対象の物体までの距離を求めるためには、結局のところ、受信波の信号レベルが閾値Th1を超えたピークを迎えるタイミングt4を特定することが重要となる。そして、当該タイミングt4を特定するためには、送信波と、検知対象の物体により反射されて戻ってきた送信波としての受信波と、の対応関係を精度良く検出することが重要となる。
ところで、上記のような技術を用いて物体に関する情報を検出する場合、従来の考え方では、送信波の送信が完了するタイミングと、受信波の受信が開始するタイミングとの間に、送信波が物体での反射に応じて戻ってくるのに要するある程度の時間を空ける必要がある。したがって、従来の考え方では、たとえば次の図4に示される比較例のように、物体に関する情報の検出を連続的に複数回実行する場合、送信波を送信してからある程度の時間待機した上で受信波を受信する、という一連の処理を複数回繰り返し実行する必要がある。
図4は、比較例にかかる送信波および受信波の送受信のタイミングの一例を示した例示的かつ模式的な図である。
図4に示されるように、比較例は、送信波および受信波の送受信を、従来の考え方に基づいて2回実行する。より具体的に、比較例は、まず、タイミングt41で送信波TW41の送信を開始し、当該送信波TW41の送信が完了してから所定の時間T401待機した上で、送信波TW41に対応した受信波RW41の受信を開始する。そして、比較例は、受信波RW1の受信が完了した後のタイミングt42で、次の送信波TW42の送信を開始し、当該送信波TW42の送信が完了してから所定の時間T402待機した上で、送信波TW42に対応した受信波RW42の受信を開始する。
このように、従来の考え方では、全ての送信波および受信波の送受信を完了するために必要な待機時間が多くなるので、物体に関する情報の検出を連続的に複数回実行する処理を完了するのに時間が長くなりやすい。しかしながら、このような処理は、より短時間で実行することが望まれる。
そこで、実施形態は、距離検出装置200を以下のように構成することで、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することを実現する。
図5は、実施形態にかかる距離検出装置200の詳細な構成を示した例示的かつ模式的なブロック図である。
なお、図5には、送信側の構成と受信側の構成とが分離された状態で図示されているが、このような図示の態様は、あくまで説明の便宜のためのものである。したがって、実施形態では、前述したように、送信波の送信と受信波の受信との両方が単一の送受波器210により実現される。ただし、前述の繰り返しになるが、実施形態の技術は、送信側の構成と受信側の構成とが分離された構成にも適用可能である。
また、実施形態において、図5に示される構成のうち少なくとも一部は、ハードウェアとソフトウェアとの協働の結果、より具体的には、距離検出装置200のプロセッサ223が記憶装置222からコンピュータプログラムを読み出して実行した結果として実現される。ただし、実施形態では、図5に示される構成のうち少なくとも一部が、専用のハードウェア(回路:circuitry)によって実現されてもよい。
また、実施形態において、図5に示される各構成は、距離検出装置200自身の制御部220による制御のもとで動作してもよいし、外部のECU100による制御のもとで動作してもよい。
まず、距離検出装置200の送信側の構成について説明する。
図5に示されるように、距離検出装置200は、送信側の構成として、送波器511と、符号生成部512と、搬送波出力部513と、乗算器514と、増幅回路515と、を備えている。送波器511は、「送信部」の一例である。
送波器511は、前述した振動子211によって構成され、当該振動子211により、増幅回路515から出力される(増幅された)送信信号に応じた送信波を送信する。
ここで、実施形態において、符号生成部512、搬送波出力部513、乗算器514、および増幅回路515は、送波器511を用いて、互いに異なる識別情報が付与された複数の送信波を順次送信する送信処理部として機能する。以下では、一例として、送信処理部が複数の送信波として第1の送信波と第2の送信波との2つの送信波を送信する例について説明する。
符号生成部512は、たとえば0または1のビットの連続からなるビット列の符号に対応した信号(パルス信号)を、第1の送信波および第2の送信波にそれぞれ対応するように2種類生成する。なお、ビット列の長さは、送信信号に付与される識別情報の符号長に対応する。符号長は、たとえば図1に示される4つの距離検出装置200の各々から送信される2種類の送信波を互いに識別可能な程度の長さに設定される。
搬送波出力部513は、識別情報を付与する対象の信号としての搬送波を出力する。
乗算器514は、符号生成部512からの出力と、搬送波出力部513からの出力と、を乗算することで、識別情報を付与するように搬送波を変調する。そして、乗算器514は、識別情報が付与された変調後の搬送波を、送信波のもととなる送信信号として、増幅回路515に出力する。なお、実施形態において、変調方式は、たとえば振幅変調方式や位相変調方式などといった、一般的によく知られた複数の変調方式の単独または2以上の組み合わせが用いられうる。
増幅回路515は、乗算器514から出力される送信信号を増幅し、増幅後の送信信号を送波器411に出力する。
このような構成により、実施形態において、符号生成部512、搬送波出力部513、乗算器514、および増幅回路515は、送波器511を用いて、第1の識別情報が付与された第1の送信波と、第2の識別情報が付与された第2の送信波と、を順次送信する。なお、第1の送信波および第2の送信波の送信タイミングについては、後で詳細に説明するため、ここではこれ以上の説明を省略する。
次に、距離検出装置200の受信側の構成について説明する。
図5に示されるように、距離検出装置200は、受信側の構成として、受波器521と、増幅回路522と、フィルタ処理部523と、複数(図5では2つ)の信号処理系統525Aおよび525Bと、を備えている。受波器521は、「受信部」の一例である。
受波器421は、前述した振動子211によって構成され、当該振動子211により、物体により反射された送信波を受信波として受信する。
前述したように、実施形態では、第1の送信波と第2の送信波との2つの送信波が送信される。したがって、受波器421は、第1の送信波に対応した第1の受信波と第2の送信波に対応した第2の受信波との2つの受信波を受信する。
ここで、実施形態では、2つの送信波(第1の送信波および第2の送信波)の送信と、2つの受信波(第1の受信波および第2の受信波)の受信とが、次の図6に示されるようなタイミングで実行される。
図6は、実施形態にかかる送信波および受信波の送受信のタイミングの一例を示した例示的かつ模式的な図である。
図6に示されるように、実施形態では、まず、タイミングt61で、第1の送信波としての送信波TW61の送信が開始される。そして、送信波TW1の送信が完了に応じたタイミングt62で、第2の送信波としての送信波TW62の送信が開始される。
そして、送信波TW62の送信が完了し、送信波TW1の送信が完了してから所定の時間T601が経過することに応じて、送信波TW61に対応した第1の受信波としての受信波RW61の受信が開始される。そして、受信波RW61の受信が完了し、送信波TW2の送信が完了してから所定の時間T602が経過することに応じて、送信波TW62に対応した第2の受信波としての受信波RW62の受信が開始される。
このように、実施形態では、第1の送信波の送信と第1の受信波の受信との間の待機時間が第2の送信波の送信に利用される。そして、第1の受信波の受信に、第2の送信波の送信と第2の受信波の受信との間の待機時間が利用される。したがって、実施形態によれば、複数の送信波および複数の受信波の連続的な送受信をより短時間で(より効率的に)実行することが可能である。
図5に戻り、増幅回路422は、受波器421を介して受信される受信波に応じた信号としての受信信号を増幅する。なお、受波器421を介して受信される受信波は、タイミングに応じて、第1の受信波および第2の受信波のうちいずれか一方となる。
フィルタ処理部423は、増幅回路422により増幅された受信信号にフィルタリング処理を施す。このフィルタリング処理には、ノイズの抑制およびドップラーシフトの補正などが含まれる。
増幅回路522およびフィルタ処理部523は、受波器521を用いて受信波を受信する受信処理部として機能する。受波器521を用いて受信された受信波に基づく受信信号は、信号処理系統525Aおよび525Bに受け渡される。
信号処理系統525Aおよび525Bは、いずれも、相関処理部526と、包絡線処理部527と、閾値処理部528と、検出処理部529と、を備えている。これらの構成に基づき、信号処理系統525Aおよび525Bは、受波器421を介して受信される受信波と送波器511を介して送信される送信波との関係と特定する機能と、特定された当該関係に基づいて、物体に関する情報を検出する機能と、を実現する。
相関処理部526は、送信側の構成から取得される送信信号と、フィルタ処理部523によるフィルタリング処理を経た受信信号と、に基づいて、送信波と受信波との識別情報の類似度に対応した相関値を取得する。相関値は、一般的によく知られた相関関数などに基づいて算出される。
そして、包絡線処理部527は、相関処理部526により取得された相関値に対応した信号の波形の包絡線を求める。
そして、閾値処理部528は、包絡線処理部527により求められた包絡線の値と、所定の閾値と、を比較し、比較結果に基づいて、送信波と受信波との識別情報が所定以上のレベルで類似するか否かを判定する。
そして、検出処理部529は、閾値処理部528による処理結果に基づいて、送信波と受信波との識別情報の類似度が所定以上のレベルとなるタイミング、すなわち反射により戻ってきた送信波としての受信波の信号レベルが閾値を超えたピークを迎えるタイミング(たとえば図2に示されるタイミングt4)を特定し、TOF法により、物体までの距離を検出する。
ここで、実施形態において、信号処理系統525Aの相関処理部526は、第1の送信波に対応した送信信号を利用して相関値を取得し、信号処理系統525Bの相関処理部526は、第2の送信波に対応した送信信号を利用して相関値を取得するように構成されている。このため、信号処理系統525Aの相関処理部526により取得される相関値は、第1の送信波に対する類似性を反映した値であり、信号処理系統525Bの相関処理部526により取得される相関値は、第2の送信波に対する類似性を反映した値である。
したがって、実施形態において、信号処理系統525Aの検出処理部529は、反射により戻ってきた第1の送信波としての第1の受信波の信号レベルが閾値を超えたピークを迎えるタイミングを特定し、信号処理系統525Bの検出処理部529は、反射により戻ってきた第2の送信波としての第2の受信波の信号レベルが閾値を超えたピークを迎えるタイミングを特定する。これにより、2つの送信波および当該2つの送信波に対応した2つの受信波の連続的な送受信に基づいて、物体に関する情報の連続的な検出を実現することができる。
以上の構成に基づき、実施形態にかかる距離検出装置200は、次の図7に示されるような流れで処理を実行することで、物体に関する情報を検出する。
図7は、実施形態にかかる距離検出装置200が実行する処理の流れを示した例示的なフローチャートである。
図7に示されるように、実施形態では、まず、S701において、距離検出装置200は、送波器511を用いて、所定の識別情報が付与された第1の送信波を送信する。
そして、S702において、距離検出装置200は、S701における第1の送信波の送信の完了に応じて、送波器511を用いて、第1の送信波とは異なる識別情報が付与された第2の送信波を送信する。
そして、S703において、距離検出装置200は、S702における第2の送信波の送信の完了に応じて、受波器521を用いて、物体での反射により戻ってきた第1の送信波としての第1の受信波を送信する。
そして、S704において、距離検出装置200は、S703における第1の受信波の受信の完了に応じて、受波器521を用いて、物体での反射により戻ってきた第2の送信波としての第2の受信波を送信する。
そして、S705において、距離検出装置200は、S701で送信された第1の送信波とS703で受信された第1の受信波との関係に基づいて、物体までの距離を検出し、S702で送信された第2の送信波とS704で受信された第2の受信波との関係に基づいて、物体までの距離を検出する。そして、処理が終了する。
なお、図7には、説明の便宜上、第1の受信波の受信と第2の受信波の受信との両方の完了に応じて距離の検出が実行される例が図示されているが、実施形態では、第1の送信波と第1の受信波との関係に基づく距離の検出が、第1の受信波の受信の完了後、第2の受信波の受信が完了しているか否かに関わらず速やかに実行されてもよい。
以上説明したように、実施形態にかかる物体検出システムは、送波器511と、受波器521と、検出処理部529と、を備えている。送波器511は、互いに異なる識別情報が付与された複数の送信波を順次送信する。受波器521は、送波器511により複数の送信波が全て送信された後に、物体での反射に応じて戻ってきた複数の送信波にそれぞれ対応した複数の受信波を順次受信する。検出処理部529は、複数の送信波と複数の受信波との関係に基づいて、物体に関する情報を検出する。
上記のような構成によれば、複数の送信波の送信をまとめて実行し、その後、複数の受信波の受信がまとめて実行されるので、1つの送信波を送信してからある程度の時間待機した上で1つの受信波を受信するという一連の処理を複数回繰り返し実行する場合に比べて、全ての送信波および受信波の送受信の完了に要する時間を短くすることができる。したがって、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することができる。
たとえば、実施形態において、複数の送信波は、第1の送信波および当該第1の送信波と異なる第2の送信波であり、複数の受信波は、第1の送信波に対応した第1の受信波および第2の送信波に対応した第2の受信波である。この場合、送波器511は、第1の送信波を送信した後、受波器521により第1の受信波が受信される前に、第2の送信波を送信し、受波器521は、送波器511により第2の送信波が送信された後、第1の受信波を受信し、その後、第2の受信波を受信する。このような構成によれば、2つの送信波および2つの受信波の送受信を効率的に(より短時間で)実行することができる。
なお、実施形態において、検出処理部529は、複数の送信波の各々が送信されたタイミングと、複数の受信波の各々が受信されたタイミングと、の差に基づいて、物体に関する情報として、物体までの距離を検出する。このような構成によれば、物体までの距離を容易に検出することができる。
また、実施形態において、送波器511および受波器521は、音波を送受信可能な単一の振動子211を含む送受波器210として、車載ソナーとしての距離検出装置200に一体的に搭載されており、検出処理部529も、距離検出装置200に搭載されている。このような構成によれば、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することができるという効果を距離検出装置200単体で実現することができる。
また、実施形態において、車載ソナーとしての距離検出装置200は、複数設けられている。そして、送受波器210は、距離検出装置200ごとに異なる識別情報が付与された複数の送信波および複数の受信波を送受信する。このような構成によれば、たとえば複数の送信波および複数の受信波の送受信を複数の距離検出装置200において同時に実行することが可能になるなど、複数の送信波および複数の受信波の送受信を様々な態様で柔軟に実行することができる。
<変形例>
なお、上述した実施形態では、本開示の技術が、超音波の送受信によって物体に関する情報を検知する構成に適用されているが、本開示の技術は、超音波以外の波動としての、音波、ミリ波、および電磁波などの他の波動の送受信によって物体に関する情報を検知する構成にも適用することが可能である。
また、上述した実施形態では、本開示の技術を適用する対象として、物体までの距離を検出する距離検出装置が例示されているが、本開示の技術は、物体に関する情報として、物体の有無のみを検出する物体検出装置にも適用可能である。
また、上述した実施形態では、物体に関する情報を検出する検出処理部が車載ソナーとしての物体検出装置に搭載された構成が例示されているが、検出処理部は、車載ソナーを制御する車載制御装置に搭載されていてもよい。このような構成によれば、物体に関する情報の検出を連続的に複数回実行する処理をより短時間で実行することができるという効果を車載ソナーと車載制御装置とで分担して実現することができる。
また、上述した実施形態では、簡単化のため、2つの送信波および当該2つの送信波に対応した2つの受信波が連続的に送受信される構成についてのみ具体的に例示されている。しかしながら、本開示の技術は、3つ以上の送信波および当該3つ以上の送信波に対応した3つ以上の受信波が連続的に送受信される構成にも適用可能である。この構成においても、上述した実施形態と同様の技術的思想で、全ての送信波の送信が完了した後に、受信波の受信が開始する。
以上、本開示の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100 ECU(車載制御装置)
200、201、202、203、204 距離検出装置(車載ソナー)
210 送受波器(送受信部)
211 振動子
511 送波器(送信部)
521 受波器(受信部)
529 検出処理部

Claims (6)

  1. 互いに異なる識別情報が付与された複数の送信波を順次送信する送信部と、
    前記送信部により前記複数の送信波が全て送信された後に、物体での反射に応じて戻ってきた前記複数の送信波にそれぞれ対応した複数の受信波を順次受信する受信部と、
    前記複数の送信波と前記複数の受信波との関係に基づいて、前記物体に関する情報を検出する検出処理部と、
    を備える、物体検出システム。
  2. 前記複数の送信波が第1の送信波および当該第1の送信波と異なる第2の送信波を含むとともに、前記複数の受信波が前記第1の送信波に対応した第1の受信波および前記第2の送信波に対応した第2の受信波を含む場合、
    前記送信部は、前記第1の送信波を送信した後、前記受信部により前記第1の受信波が受信される前に、前記第2の送信波を送信し、
    前記受信部は、前記送信部により前記第2の送信波が送信された後、前記第1の受信波を受信し、その後、前記第2の受信波を受信する、
    請求項1に記載の物体検出システム。
  3. 前記検出処理部は、前記複数の送信波の各々が送信されたタイミングと、前記複数の受信波の各々が受信されたタイミングと、の差に基づいて、前記物体に関する情報として、前記物体までの距離を検出する、
    請求項1または2に記載の物体検出システム。
  4. 前記送信部および前記受信部は、音波を送受信可能な単一の振動子を含む送受信部として車載ソナーに一体的に搭載され、
    前記検出処理部は、前記車載ソナーに搭載される、
    請求項1〜3のうちいずれか1項に記載の物体検出システム。
  5. 前記送信部および前記受信部は、音波を送受信可能な単一の振動子を含む送受信部として車載ソナーに一体的に搭載され、
    前記検出処理部は、前記車載ソナーを制御する車載制御装置に搭載される、
    請求項1〜3のうちいずれか1項に記載の物体検出システム。
  6. 前記車載ソナーは、複数設けられており、
    前記送受信部は、前記車載ソナーごとに異なる識別情報が付与された前記複数の送信波および前記複数の受信波を送受信する、
    請求項4または5に記載の物体検出システム。
JP2020061345A 2020-03-30 2020-03-30 物体検出システム Pending JP2021162351A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020061345A JP2021162351A (ja) 2020-03-30 2020-03-30 物体検出システム
CN202110264645.6A CN113466870A (zh) 2020-03-30 2021-03-11 物体检测系统
US17/199,785 US11698456B2 (en) 2020-03-30 2021-03-12 Object detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020061345A JP2021162351A (ja) 2020-03-30 2020-03-30 物体検出システム

Publications (1)

Publication Number Publication Date
JP2021162351A true JP2021162351A (ja) 2021-10-11

Family

ID=77855967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020061345A Pending JP2021162351A (ja) 2020-03-30 2020-03-30 物体検出システム

Country Status (3)

Country Link
US (1) US11698456B2 (ja)
JP (1) JP2021162351A (ja)
CN (1) CN113466870A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240270184A1 (en) * 2023-02-09 2024-08-15 U Power Robotics USA Inc. Control system and vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5734510B2 (ja) * 1977-07-04 1982-07-23
JP2012108121A (ja) * 2010-11-15 2012-06-07 Semiconductor Components Industries Llc 相関検出のための半導体デバイスおよびその形成方法
JP2014006234A (ja) * 2012-05-29 2014-01-16 Panasonic Corp 障害物検知装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3584489D1 (de) * 1984-08-16 1991-11-28 Sharp Kk Informationsprozessor.
US6628227B1 (en) * 2002-07-23 2003-09-30 Ford Global Technologies, Llc Method and apparatus for determining a target vehicle position from a source vehicle using a radar
US6680689B1 (en) * 2003-03-28 2004-01-20 Visteon Global Technologies, Inc. Method for determining object classification from side-looking sensor data
US7545956B2 (en) * 2005-08-12 2009-06-09 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
KR101247960B1 (ko) * 2011-10-18 2013-04-03 메타빌드주식회사 레이더를 이용한 멀티 모드 장애물 감지 방법 및 그 장치
JP6176264B2 (ja) * 2015-01-19 2017-08-09 トヨタ自動車株式会社 自動運転車両システム
US9542845B1 (en) * 2015-09-11 2017-01-10 Robert Bosch Gmbh Method for ascertaining a parking area of a street section
US10093312B2 (en) * 2015-07-27 2018-10-09 Sharp Kabushiki Kaisha Obstacle determining apparatus, moving body, and obstacle determining method
JP2017040546A (ja) * 2015-08-19 2017-02-23 株式会社デンソー 物体検出装置
US9734744B1 (en) * 2016-04-27 2017-08-15 Joan Mercior Self-reacting message board
US9616814B1 (en) * 2016-05-20 2017-04-11 Min-Yueh Chiang Vehicle security alarming system determining relative velocity between a front car and a rear car by sounds retrieved therefrom
KR101887901B1 (ko) * 2016-09-08 2018-08-13 현대오트론 주식회사 초음파 센서 구동 장치 및 초음파 센서 구동 방법
US9791557B1 (en) * 2016-09-15 2017-10-17 Qualcomm Incorporated System and method for multi-area LIDAR ranging
US9824337B1 (en) * 2016-12-19 2017-11-21 Rubicon Global Holdings, Llc Waste management system implementing receptacle tracking
JP6465919B2 (ja) 2017-04-14 2019-02-06 三菱電機株式会社 障害物検知システム
JP7014041B2 (ja) * 2018-05-11 2022-02-01 株式会社デンソー レーダ装置
JP7211350B2 (ja) * 2019-11-29 2023-01-24 トヨタ自動車株式会社 路面損傷検出装置、路面損傷検出方法、プログラム
JP7211349B2 (ja) * 2019-11-29 2023-01-24 トヨタ自動車株式会社 路面損傷検出装置、路面損傷検出方法、プログラム
JP2021112995A (ja) * 2020-01-20 2021-08-05 本田技研工業株式会社 制御システム、制御方法、車両、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5734510B2 (ja) * 1977-07-04 1982-07-23
JP2012108121A (ja) * 2010-11-15 2012-06-07 Semiconductor Components Industries Llc 相関検出のための半導体デバイスおよびその形成方法
JP2014006234A (ja) * 2012-05-29 2014-01-16 Panasonic Corp 障害物検知装置

Also Published As

Publication number Publication date
US20210302573A1 (en) 2021-09-30
US11698456B2 (en) 2023-07-11
CN113466870A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
JP2021524910A (ja) コード化された超音波送信に対する飛行時間及びコードシグネチャ検出
US20210302574A1 (en) Object detection system and object detection device
US11249186B2 (en) Distance detection apparatus and object detection apparatus
JP2021162351A (ja) 物体検出システム
JP7456248B2 (ja) 物体検出装置、および物体検出システム
JP2020112376A (ja) 物体検出システムおよび物体検出装置
US11280902B2 (en) Object detection apparatus
JP7367585B2 (ja) 物体検出システム
JP7567486B2 (ja) 物体検出装置
JP7501673B2 (ja) 物体検出装置
JP7547853B2 (ja) 物体検出装置
JP7487534B2 (ja) 物体検出装置
WO2023282096A1 (ja) 物体検出装置
JP2022107424A (ja) 物体検出装置
EP4365627A1 (en) Object detection device
US20240151847A1 (en) Object detection device
JP2021196253A (ja) 運転支援装置
CN115598628A (zh) 物体检测系统以及物体检测装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240806

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240819

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240913