JP2022076593A - 存否判定システムおよび存否判定方法 - Google Patents

存否判定システムおよび存否判定方法 Download PDF

Info

Publication number
JP2022076593A
JP2022076593A JP2020187035A JP2020187035A JP2022076593A JP 2022076593 A JP2022076593 A JP 2022076593A JP 2020187035 A JP2020187035 A JP 2020187035A JP 2020187035 A JP2020187035 A JP 2020187035A JP 2022076593 A JP2022076593 A JP 2022076593A
Authority
JP
Japan
Prior art keywords
vehicle
ultrasonic
determination system
absence determination
receiving means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020187035A
Other languages
English (en)
Inventor
貴秀 星隈
Takahide Hoshikuma
公一 伊藤
Koichi Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Manufacturing Co Ltd
Original Assignee
Murata Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Manufacturing Co Ltd filed Critical Murata Manufacturing Co Ltd
Priority to JP2020187035A priority Critical patent/JP2022076593A/ja
Priority to DE102021128165.2A priority patent/DE102021128165A1/de
Publication of JP2022076593A publication Critical patent/JP2022076593A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】車内における人および飼育動物の存否を精度よく検出できる存否判定システムを提供する。【解決手段】存否判定システムは、車内に設置された超音波送信機から送信された超音波を、車内にて受信する第1の受信手段と、車内にて可聴周波数帯の音波を受信する第2の受信手段と、第1の受信手段にて受信された超音波と、第2の受信手段にて受信された可聴周波数帯の音波とに基づき、車内に人および飼育動物の少なくとも一方が存在するか否かを判定する判定手段とを備える。【選択図】図3

Description

本開示は、存否判定システムおよび存否判定方法に関する。
従来、子供または飼育動物(典型的には、愛玩用の飼育動物であるペット)を車内に置き去りにしたまま、運転手が車を離れることが社会問題となっている。
特開平9-39728号公報(特許文献1)には、超音波送信機および超音波受信機を用いて、車内の物体の存在を検出するとともに、当該物体が人なのか物なのかを判断する監視システムが開示されている。なお、当該監視システムは、エアバックの展開による怪我の防止に使用される。
特開2019-99086号公報(特許文献2)には、車内に設置されたマイクロフォンを用いて、泣き声等が検知された場合に要救護者がいると判定する装置が開示されている。
特開平9-39728号公報 特開2019-99086号公報
超音波送信機および超音波受信機を用いた物体検出によると、検出できない領域が生じる場合(物体の背面に子供がいる場合等)がある。マイクロフォンを用いた音声検出によると、子供の状態により検出できない状況(子供が寝ている状況等)が生じることがある。
本開示の目的は、車内における人および飼育動物の存否を精度よく検出できるシステムを提供することにある。
本開示のある局面に従うと、存否判定システムは、車内に設置された超音波送信機から送信された超音波を、車内にて受信する第1の受信手段と、車内にて可聴周波数帯の音波を受信する第2の受信手段と、第1の受信手段にて受信された超音波と、第2の受信手段にて受信された可聴周波数帯の音波とに基づき、車内に人および飼育動物の少なくとも一方が存在するか否かを判定する判定手段とを備える。
本開示の他の局面に従うと、存否判定方法は、車内に設置された超音波送信機から超音波を送信するステップと、車内にて超音波を受信するステップと、車内にて可聴周波数帯の音波を受信するステップと、受信された超音波と、受信された可聴周波数帯の音波とに基づき、車内に人および飼育動物の少なくとも一方が存在するか否かを判定するステップとを備える。
本開示によれば、車内における人および飼育動物を精度よく検出できる。
存否判定システムのシステム構成を説明するための図である。 存否判定システムのハードウェア構成を説明するための図である。 存否判定システムの機能的構成を説明するための図である。 送信機制御部で実行される処理の流れを説明するフロー図である。 図4のステップS4の後に実行される処理の流れを説明するためのフロー図である。 他の形態に係る存否判定システムを説明するための図である。 他の形態に係る存否判定システムのハードウェア構成を説明するための図である。 他の形態に係る存否判定システムの機能的構成を説明するための図である。 さらに他の形態に係る存否判定システムを説明するための図である。 圧電素子を用いることにより発生した超音波信号の波形を示した図である。 サーモフォンにより発生した超音波信号の波形を示した図である。
以下、図面を参照しつつ、本発明の各実施の形態に係る存否判定システムについて説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
本実施の形態では、「車内」は、人および飼育動物が存在し得る空間を意味する。車内は、主として乗員室を意味する。乗員室と荷室とが空間的に接続されているような車(ワゴン車、ハッチバック車、ワンボックス車、SUV(Sport Utility Vehicle)車等)の場合には、「車内」は、乗員室と荷室とを含む。このような荷室に飼育動物が乗せられている場合があるためである。
飼育動物は、典型的には、ペットである。飼育動物としては、たとえば、犬、猫、鳥が挙げられる。本例では、子供は、赤ん坊を含む。
また、本実施の形態では、可聴周波数帯の音波(周波数が可聴周波数帯域にある音波)を、便宜上、単に「音波」と称する。このように、本実施の形態では、「音波」という文言を、周波数が可聴周波数帯を超える音波(すなわち、「超音波」)と区別して用いる。
<A.システム構成>
図1は、本実施の形態に係る存否判定システム1のシステム構成を説明するための図である。
図1を参照して、存否判定システム1は、車900にて使用される。なお、車900では、乗員室と荷室とは、空間的に分離されている。
存否判定システム1は、車内920(詳しくは、乗員室)に人および飼育動物(典型的には、子供またはペット)の少なくとも一方が存在するか否かを判定する。詳しくは、存否判定システム1は、車内920に人および/または飼育動物が取り残されているか否かを判定する。
なお、車内920に取り残されているのが、人および飼育動物のいずれであるかを特定することまでは必須ではない。すなわち、取り残されているのが、人なのか、あるいは飼育動物なのかを特定することは必須ではない。
存否判定システム1は、超音波送信機11と、マイクロフォン12と、プリント回路板13とを備える。超音波送信機11と、マイクロフォン12と、プリント回路板13とは、車内920に設置されている。超音波送信機11と、マイクロフォン12とは、プリント回路板13に通信可能に接続されている。
超音波送信機11は、車内920の座席910の上方に設置されている。超音波送信機11は、典型的には、車内920の天井に設置される。超音波送信機11は、本例では、天井の中央部分に設置されている。超音波送信機11は、天井から車内920の下方の空間に向かって、超音波(典型的には20kHz~100kHz)を送信(発振)する。
超音波送信機11は、圧電素子を備える。超音波送信機11は、圧電素子の振動によって、超音波を発生する。
超音波送信機11は、本例では、少なくとも、運転席911の着座面の方向と、助手席(図示せず)の着座面の方向と、後部座席912の着座面の方向および背もたれ面の方向とに対して、超音波を照射する位置に取り付けられている。
なお、超音波送信機11の設置位置は、上記に限定されるものではない。超音波送信機11から送信される超音波が、少なくとも助手席および後部座席に存在する検出対象(人および飼育動物)に照射されれば、超音波送信機の設置位置は、特に限定されない。
マイクロフォン12は、車内920の座席910(本例では、後部座席912)の上方に設置されている。マイクロフォン12は、典型的には、車内920の天井に設置される。マイクロフォン12は、本例では、天井の後方部分に設置されている。
マイクロフォン12が後方部分に設置されている理由は、子供またはペットが助手席等の前部座席に居る確率よりも、後部座席に居る確率が高いためである。つまり、天井の前方部分の設置するよりも、少なくとも子供またはペットが発する音を検出しやすいためである。ただし、マイクロフォン12の感度によっては、マイクロフォン12を天井の前方部分の設置してもよい。また、車内920における音声入力および音声認識のために、カーナビゲーションシステムその他の電子機器、または座席に内蔵されたマイクロフォンを本用途に用いてもよい。
マイクロフォン12は、超音波を受信する。マイクロフォン12は、超音波送信機11が送信した超音波を受信し、第1の受信手段に相当する。詳しくは、マイクロフォン12は、超音波送信機11が送信した超音波の反射波を受信する。超音波は、乗員室内の物体(人、飼育動物を含む)で反射し、マイクロフォン12で受信される。
マイクロフォン12は、超音波に加えて、音波を受信する。マイクロフォン12は、車内920で発生した音波を受信し、第2の受信手段に相当する。たとえば、マイクロフォン12は、子供の声(泣き声を含む)、子供の動作に伴い生じた音(打音等)等による音波を受信する。
このように、マイクロフォン12は、車内920に設置された超音波送信機11から送信された超音波を、車内920にて受信するとともに、車内920にて音波を受信する。マイクロフォン12によって受信(収集)された超音波(反射波)および音波は、プリント回路板13に送られる。
プリント回路板13は、本例では、車内920に設置されている。プリント回路板13は、乗員室内の下部に設置されている。これに限定されず、プリント回路板13は、エンジンコンポーネント(エンジンルーム)に設置されていてもよい。また、プリント回路板13は、荷室に設置されてもよい。プリント回路板13の設置位置は、特に限定されない。
詳細については後述するが、プリント回路板13は、マイクロフォン12にて受信された超音波と、マイクロフォン12にてにて受信された音波とに基づき、車内920に人および飼育動物の少なくとも一方が存在するか否かを判定する。
<B.ハードウェア構成>
図2は、存否判定システム1のハードウェア構成を説明するための図である。
図2を参照して、存否判定システム1は、上述したように、超音波送信機11と、マイクロフォン12と、プリント回路板13とを備える。
プリント回路板13は、AMP(Amplifier)150と、フィルタ110と、AD(Analog Digital)コンバータ121,122と、プロセッサ131,132,133,134と、メモリ143とを備える。フィルタ110は、BPF(Band Pass Filter)111と、LPF(Low Pass Filter)112とを含む。
プロセッサ134は、超音波送信機11の動作を制御する。プロセッサ134は、外部から取得した信号に基づき、超音波送信機11の動作を制御する。プロセッサ134は、超音波送信機11に送信開始指示を送ることにより、超音波送信機11に超音波を送信させる。また、プロセッサ134は、超音波送信機11に送信停止指示を送ることにより、超音波送信機11に超音波を送信を停止させる。
BPF111は、超音波を通過させる。詳しくは、BPF111は、使用する超音波送信機11の送信周波数帯に合わせて、所定の周波数範囲の周波数の信号だけを通過させ、当該周波数範囲外の信号を減衰させる。なお、BPF111の代わりに、HPF(High Pass Filter)を用いてもよい。
LPF112は、音波を通過させる。詳しくは、LPF112は、所定の周波数以下(典型的には、2Hz~20kHz)の周波数の信号だけを通過させ、当該周波数以上の信号を減衰させる。
マイクロフォン12によって受信された超音波と音波とは、AMP150により増幅された後、アナログ信号として、プリント回路板13のフィルタ110に送信される。当該アナログ信号は、フィルタ110によって、超音波帯のアナログ信号と、音波帯のアナログ信号とに分離される。
具体的には、BPF111によって、マイクロフォン12によって受信されたアナログ信号から、超音波帯のアナログ信号が分離される。LPF112によって、マイクロフォン12によって受信されたアナログ信号から、音波帯のアナログ信号が分離される。
超音波帯のアナログ信号は、ADコンバータ121によって、デジタル信号に変換される。当該デジタル信号は、プロセッサ131に入力される。
音波帯のアナログ信号は、ADコンバータ122によって、デジタル信号に変換される。当該デジタル信号は、プロセッサ132に入力される。
なお、図2においては、AMP150、フィルタ110、およびADコンバータ121,122を、この順に配置したが、異なる順に配置されてもよい。具体的には、AMP150、ADコンバータ、フィルタ110の順に配置され、単一のADコンバータにより音波および超音波をデジタル信号に変換してもよい。また、AMP150は、信号の増幅が不要な場合には配置しなくてもよい。
また、図2においては、AMP150がプリント回路板13に配置される構成としたが、AMP150をマイクロフォン12に内蔵させる構成としてもよい。
次に、プロセッサ131~133の処理について説明する。
プロセッサ131,132としては、典型的には、DSP(Digital Signal Processer)が利用される。なお、プロセッサ131,132は、CPU(Central Processing Unit)等の汎用のプロセッサであってもよい。
プロセッサ131は、マイクロフォン12によって超音波の反射波が受信されると、超音波の送信時刻と当該超音波の反射波の受信時刻との時間差を算出する。プロセッサ131は、算出された時間差に基づき、超音波送信機11から検出対象(人、飼育動物を含む)までの距離と、当該検出対象からマイクロフォン12までの距離との和(以下、「総距離」とも称する)を算出する。プロセッサ131は、算出される総距離が変化した場合、車内920において検出対象に動きがあったと判断する。このように、プロセッサ131は、車内920における動きを検出する。
なお、プロセッサ131において、超音波送信機11により送信された超音波の中心周波数と、マイクロフォン12によって受信された反射波の中心周波数との差を算出し、両中心周波数に所定値以上の差がある場合、車内920において検出対象に動きがあったと判断することも可能である(ドップラー方式)。また、総距離の変化に基づく判断と、ドップラー方式におる判断とを組み合わせることも可能である。
プロセッサ131は、検出結果をプロセッサ133に通知する。具体的には、プロセッサ131は、動きの有無をプロセッサ133に通知する。たとえば、プロセッサ131は、動きがない場合にはLOWの信号を、動きがあると判定した場合にはHighの信号を、後段のプロセッサ133に送信する。なお、プロセッサ131は、上記の各処理(判断および送信)を所定の周期で実行する。
プロセッサ132は、マイクロフォン12によって受信された音波から、特定の音の発生を検出する。プロセッサ132は、高速フーリエ変換(FFT)を用いて、周波数解析を行う。これにより、プロセッサ132は、特定の音(予め定められた音)の発生を検出する。詳しくは、特定の音として、プロセッサ132は、声(発話音、泣き声)、人の動作に伴い生じた音(打音等)を検出する。
プロセッサ132は、検出結果をプロセッサ133に通知する。具体的には、プロセッサ132は、声、人の動作に伴い生じた音を検出した場合、特定の音が検出されたことをプロセッサ133に通知する。なお、プロセッサ132は、周波数解析の結果、ノイズを検出した場合には、特定の音が検出されなかったことをプロセッサ133に通知する。
たとえば、プロセッサ132は、特定の音が検出された場合にはHighの信号を、ノイズ等の音しか検出されなかった場合(特定の音が検出されなかった場合)にはLowの信号を、後段のプロセッサ133に送信する。なお、プロセッサ132は、上記の各処理(判断および送信)を所定の周期で実行する。
以上のようにして、プロセッサ133には、プロセッサ131からの信号と、プロセッサ132からの信号とが所定の周期で入力される。
プロセッサ133は、2つのプロセッサ131,132から入力される信号(検出結果)に基づいて、車内920に人および飼育動物の少なくとも一方が存在するか否かを判定する。具体的には、プロセッサ133は、車内920における動きが検出された場合、および/または、特定の音の発生が検出された場合、車内920に人および飼育動物の少なくとも一方が存在すると判定する。プロセッサ133は、車内920における動きが検出されず、かつ、特定の音の発生が検出されないときには、車内920に人および飼育動物の両方が存在しないと判定する。
プロセッサ133が実行するソフトウェアは、典型的には、フラッシュメモリ等の不揮発性メモリであるメモリ143に予め格納されている。当該ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。
このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信インターフェイス等を介してダウンロードされた後、メモリ143に一旦格納される。そのソフトウェアは、プロセッサ133によってメモリ143から読み出され、図示しないRAM(Random Access Memory)に実行可能なプログラムの形式で格納される。プロセッサ133は、そのプログラムを実行する。
<C.機能的構成>
図3は、存否判定システム1の機能的構成を説明するための図である。
図3を参照して、存否判定システム1は、超音波送信部310と、受信部320と、判定部330と、送信機制御部340とを備える。受信部320は、超音波受信部321と、音波受信部322とを含む。判定部330は、検出部331,332と、検出結果処理部333とを含む。
送信機制御部340は、存否判定システム1の上位の車載コントローラ(図示せず)からの外部信号に基づいて、所定の条件が成立したか否かを判定する。送信機制御部340は、所定の条件が成立すると、超音波送信部310に超音波の送信を開始させる。
上記所定の条件は、典型的には、車900のエンジンが停止し、ドア(典型的には、運転室側のドア)が開き、当該ドアが閉まったことである。また、ドアの鍵が閉まったことも上記の条件に加えてもよい。なお、ここで言う「エンジンの停止」は、電気自動車等のエンジンが搭載されていない自動車においては、モーターの停止等により走行開始不能な状態となることを意味する。
また、エンジンまたはモーターが完全に停止していなくても、車900が、長時間にわたりパーキングの状態(典型的には、シフトレバーがパーキングのレンジにある状態、またはサイドブレーキ等のパーキングブレーキが掛けられている状態)またはニュートラルの状態(典型的には、シフトレバーがニュートラルのレンジにある状態)に留まっていることを、上記の所定の条件としてもよい。
送信機制御部340は、プロセッサ134がプログラムを実行することにより実現される機能ブロックである。
超音波送信部310は、超音波を送信する。超音波送信部310は、超音波送信機11に対応する。
受信部320は、超音波と音波とを受信する。超音波受信部321は、超音波送信部310が送信した超音波を受信する。詳しくは、超音波受信部321は、超音波送信機11が送信した超音波の反射波を受信する。音波受信部322は、車内920に生じた音波を受信する。たとえば、音波受信部322は、子供の声(鳴き声を含む)、子供の動作に伴い生じた音(打音等)等による音波を受信する。
超音波受信部321は、マイクロフォン12とAMP150とBPF111とによって実現される機能ブロックである。音波受信部322は、マイクロフォン12とAMP150とLPF112とによって実現される機能ブロックである。
判定部330は、超音波受信部321にて受信された超音波と、音波受信部322にて受信された音波とに基づき、車内920に人および飼育動物の少なくとも一方が存在するか否かを判定する。
検出部331は、超音波受信部321にて受信された超音波に基づき、車内920における動きを検出する。検出部331は、検出結果を、検出結果処理部333に通知する。検出部332は、音波受信部322にて受信された音波に基づき、特定の音の発生を検出する。検出部332は、検出結果を、検出結果処理部333に通知する。
検出部331は、ADコンバータ121とプロセッサ131とによって実現される機能ブロックである。検出部332は、ADコンバータ122とプロセッサ132とによって実現される機能ブロックである。
検出結果処理部333は、車内920における動きが検出された場合、および/または、特定の音の発生が検出された場合、車内920に人および飼育動物の少なくとも一方が存在すると判定する。検出結果処理部333は、車内920における動きが検出されず、かつ、特定の音の発生が検出されないときには、車内920に人および飼育動物の両方が存在しないと判定する。
検出結果処理部333は、プロセッサ133とメモリ143とによって実現される機能ブロックである。具体的には、検出結果処理部333は、プロセッサ133がメモリ143に格納されたソフトウェアを実行することにより実現される。
検出結果処理部333は、判定結果を、上位のアプリケーションに通知する。詳しくは、検出結果処理部333は、車900の動作を制御する車載コントローラに判定結果を通知する。
車載コントローラは、車内920に人および飼育動物の少なくとも一方が存在することを示す判定結果を受信すると、車900の他のシステムを稼働させて、子供およびペット等が危険な状態になることを防止する。
たとえば、車載コントローラは、車外にアラートを発して救護を促す制御を実行する。具体的には、車載コントローラは、警報音を作動させる、あるいは、無線デバイスを用いて車900の運転者のスマートフォンにメッセージを送信する。
あるいは、車載コントローラは、車内920に人および飼育動物の少なくとも一方が存在することを示す判定結果を受信すると、車内920の環境をより安全な状態になるように車900の機器を制御する。具体的には、車載コントローラは、車900のエアーコンディショナを始動させて、温度の上昇や下降を防止する。あるいは、車載コントローラは、子供が勝手に車900を発車させないように、車900の操作を無効にする。または、車載コントローラは、子供が車900から脱出できるように、車900のドアおよび/または窓の開閉を可能にする。
<D.制御構造>
図4は、送信機制御部340(具体的には、プロセッサ134)で実行される処理の流れを説明するフロー図である。
図4を参照して、ステップS1において、プロセッサ134(図2参照)は、車900のエンジンがオフになったか否かを判断する。プロセッサ134は、上述した車載コントローラからの信号に基づき、車900のエンジンがオフになったか否かを判断する。
車900のエンジンがオフになっていないと判断した場合(ステップS1においてNO)、プロセッサ134は、処理をステップS1に戻す。車900のエンジンがオフになったと判断した場合(ステップS1においてYES)、プロセッサ134は、ステップS2において、車900のドア(典型的には、運転席側のドア)が開状態になったか否かを判断する。
車900のドアが開状態になっていないと判断した場合(ステップS2においてNO)、プロセッサ134は、処理をステップS2に戻す。車900のドアが開状態になったと判断した場合(ステップS2においてYES)、プロセッサ134は、ステップS3において、一旦開状態となった当該ドアが閉状態になったか否かを判断する。
車900のドアが閉状態になっていないと判断した場合(ステップS3においてNO)、プロセッサ134は、処理をステップS3に戻す。車900のドアが閉状態になったと判断した場合(ステップS3においてYES)、プロセッサ134は、ステップS4において、超音波送信機11に対して、超音波の送信処理を指示する送信開始指示を送る。これにより、受信部320が超音波を受信することになり、判定部330による判定処理が開始される。
図5は、図4のステップS4の後に実行される処理の流れを説明するためのフロー図である。
図5を参照して、ステップS11において、超音波送信機11は、超音波の送信を開始する。ステップS12において、マイクロフォン12は、超音波と音波との受信を開始する。
ステップS13において、プロセッサ131によって車内920での動きが検出されたか否かを、プロセッサ133が判断する。車内920での動きが検出されたと判断された場合(ステップS13においてYES)、プロセッサ133は、ステップS14において、人および飼育動物の少なくとも一方が車内920の存在している(すなわち、取り残されている)と判定する。
車内920での動きが検出されていないと判断された場合(ステップS13においてNO)、プロセッサ133は、ステップS16において、プロセッサ132によって特定の音の発生が検出されたか否かを判断する。
特定の音の発生が検出されたと判断された場合(ステップS16においてYES)、プロセッサ133は、処理をステップS14に進める。ステップS14の後、プロセッサ133は、ステップS15において、上述したように上位のアプリケーションに対して所定の出力を行う。
特定の音の発生が検出されなかった判断された場合(ステップS16においてNO)、プロセッサ133は、ステップS17において、人および飼育動物の両方が車内920の存在していない(すなわち、取り残されていない)と判定する。その後、プロセッサ133は、処理をステップS13に戻す。
<E.小括>
(1)図2および図3を再び参照して、存否判定システム1は、車内920に設置された超音波送信機11(超音波送信部310)から送信された超音波を、車内920にて受信する超音波受信部321と、車内920にて音波を受信する音波受信部322と、超音波受信部321にて受信された超音波と、音波受信部322にて受信された音波とに基づき、車内920に人および飼育動物の少なくとも一方が存在するか否かを判定する判定部330とを備える。
このような構成によれば、超音波を用いた検出において、検出できない領域が生じた場合(物体の背面に子供がいる場合等)であっても、音波を用いた検出によって、子供等を検出できる。また、音波による検出において、子供の状態により検出できない状況(子供が寝ている状況等)が生じたとしても、超音波によって子供等の動き(寝ているときの動作等)を検出できる。
それゆえ、存否判定システム1によれば、超音波および音波のいずれか一方のみを用いて車内920の人および飼育動物の少なくとも一方を検出する構成に比べて、人および飼育動物の存否を精度よく検出できるようになる。
(2)判定部330は、超音波受信部321にて受信された超音波に基づき、車内920における動きを検出する検出部331と、音波受信部322にて受信された音波に基づき、特定の音の発生を検出する検出部332とを含む。判定部330は、検出部331による検出の結果と、検出部332による検出の結果とに基づき、車内920に人および飼育動物の少なくとも一方が存在するか否かを判定する。
(3)判定部330は、検出部331によって車内920における動きが検出された場合、および/または、検出部332によって特定の音の発生が検出された場合、車内920に人および飼育動物の少なくとも一方が存在すると判定する。
(4)存否判定システム1は、超音波受信部321および音波受信部322として機能する単一のマイクロフォンを備える。すなわち、第1の受信手段と第2の受信手段とが単一部品により実現されている。このような構成によれば、存否判定システム1を構成する部品の点数を減らすことができる。
(5)超音波受信部321および音波受信部322とは、車内920の座席910の上方に設置されている。このような構成によれば、超音波受信部321および音波受信部322が座席910の上方以外の場所に設置されている構成に比べて、人および飼育動物の少なくとも一方の検知精度が向上する。
(6)存否判定システム1は、超音波送信機11をさらに備える。
(7)超音波送信機11は、車内920の中央部に設置されている。このような構成によれば、超音波送信機11が車内920の中央部以外の場所に設置されている構成に比べて、超音波が、人および飼育動物に照射されやすくなる。それゆえ、超音波送信機11が車内920の中央部以外の場所に設置されている構成に比べて、人および飼育動物の検知精度が向上する。
(8)判定部330は、超音波送信機11が設置された車900のエンジンがオフとなったことを条件に、超音波送信機11による超音波の送信を開始する。このような構成によれば、エンジンがオン状態のとき(典型的には、運転手が車内920にいるとき)には、超音波送信機11による超音波の送信および存否判定システム1による人および飼育動物の検知は行なわれない。それゆえ、超音波の送信および存否判定システム1による判定処理の実行期間を、人および飼育動物の検知が必要となる期間に制限できる。したがって、エンジンその他の動力源の消費を抑制することができる。
<F.変形例>
(f1.第1の変形例)
図6は、存否判定システム1の変形例である存否判定システム1Aを説明するための図である。詳しくは、ToF(Time of Flight)を用いて、車内920の人および飼育動物の位置を特定する構成を説明する。
図6を参照して、存否判定システム1Aは、超音波送信機11と、4つのマイクロフォン12A,12B,12C,12Dと、プリント回路板13A(図7参照)とを備える。
マイクロフォン12A,12B,12C,12Dのハードウェア構成および機能は、上述したマイクロフォン12と同一であるため、ここでは繰り返し説明しない。
マイクロフォン12A,12B,12C,12Dは、車内920の天井に設置される。マイクロフォン12Aは、運転席911の上方に設置されている。マイクロフォン12Bは、助手席の上方に設置されている。マイクロフォン12Cは、右側の後部座席の上方に設置されている。マイクロフォン12Dは、左側の後部座席912の上方に設置されている。
図6の例では、子供(赤ん坊)800が、左側の後部座席912に設置されたベビーシートに座っている。
超音波送信機11から、ある時刻t0に送信された超音波は、各マイクロフォン12A,12B,12C,12Dにおいて、異なる時刻t1,t2,t3,t4で受信される。詳しくは、各マイクロフォン12A,12B,12C,12Dが子供800からの超音波の反射波を受信するタイミングは、子供800の位置に基づき異なる。
存否判定システム1Aは、車内920における人および飼育動物の存否とともに、超音波の受信タイミングの上記ズレに基づき、車内920に存在する人および飼育動物の位置を特定する。
図7は、存否判定システム1Aのハードウェア構成を説明するための図である。
図7を参照して、存否判定システム1Aは、上述したように、超音波送信機11と、マイクロフォン12A,12B,12C,12Dと、プリント回路板13Aとを備える。
プリント回路板13Aは、4つのAMP150と、4つのフィルタ110と、4つのADコンバータ121と、4つのADコンバータ122と、プロセッサ131,132,133,134と、メモリ143とを備える。AMP150と、フィルタ110とADコンバータ121,122とは、マイクロフォン12A,12B,12C,12Dに対応して個別に設けられている。
すなわち、各マイクロフォン12A,12B,12C,12Dからの出力は、互いに異なるAMP150により増幅された後、互いに異なるフィルタ110に入力される。その後、フィルタ110で分離された信号(超音波および音波)は、フィルタ110毎に接続されたADコンバータ121,122に入力される。
プロセッサ131は、4つのADコンバータ121から出力された4つの超音波信号を、入力として受け付ける。プロセッサ132は、4つのADコンバータ122から出力された4つの音波信号を、入力として受け付ける。
プロセッサ131は、マイクロフォン12Aによって超音波の反射波が受信されると、超音波の送信時刻と当該超音波の反射波の受信時刻との時間差(Δta=t1-t0)を算出する。プロセッサ131は、算出された時間差Δtaに基づき、超音波送信機11から検出対象(人、飼育動物を含む)までの距離と、当該検出対象からマイクロフォン12Aまでの距離との合計(以下、総距離Laと称する)を算出する。プロセッサ131は、算出される総距離Laが変化した場合、車内920において検出対象に動きがあったと判断する。
同様に、プロセッサ131は、マイクロフォン12B~12Dによって超音波の反射波が受信されると、マイクロフォン12B~12D毎に、超音波の送信時刻と当該超音波の反射波の受信時刻との時間差(Δtb=t2-t0,Δtc=t3-t0,Δtd=t4-t0)を算出する。
プロセッサ131は、算出された時間差Δtb,Δtc,Δtdの各々に基づき、超音波送信機11から検出対象(人、飼育動物を含む)までの距離と、当該検出対象から各マイクロフォン12B,12C,12Dまでの距離との合計(以下、総距離Lb,Lc,Ldと称する)を算出する。プロセッサ131は、算出される総距離Lb,Lc,Ldが変化した場合、車内920において検出対象に動きがあったと判断する。なお、プロセッサ131は、総距離La,Lb,Lc,Ldのうちの少なくとも1つの総距離の変化に基づき、動きの判断を行ってもよい。
プロセッサ131は、車内920にて動きが検出した場合、総距離La,Lb,Lc,Ldに基づいて、動いた対象物(人または飼育動物)の位置を特定する。なお、位置の特定を、プロセッサ131の後段のプロセッサ133が実行するようにしてもよい。特定された位置は、典型的には、車内920における3次元座標系の座標値として表される。
位置(座標値)の特定により、プロセッサ133は、人または飼育動物が、助手席、右側の後部座席912、左側の後部座席912、中央の後部座席912、または運転席911のいずれにいるかを判断できる。
プロセッサ132は、マイクロフォン12Aによって受信された音波から、特定の音の発生を検出する。同様に、プロセッサ132は、各マイクロフォン12B,12C,12Dによって受信された音波から、特定の音の発生を検出する。プロセッサ132における4つの検出結果は、プロセッサ132の後段のプロセッサ133に通知される。
プロセッサ133は、上述したように、2つのプロセッサ131,132から入力される信号(検出結果)に基づいて、車内920に人および飼育動物の少なくとも一方が存在するか否かを判定する。具体的には、プロセッサ133は、車内920における動きが検出された場合、および/または、特定の音の発生が検出された場合、車内920に人および飼育動物の少なくとも一方が存在すると判定する。
なお、車内920における動きの検出は、上述したように、少なくとも1つのマイクロフォンからの出力によってなされればよい。同様に、特定の音の発生の検出も、少なくとも1つのマイクロフォンからの出力によってなされればよい。
また、プロセッサ133は、動きの検出と、特定の音の発生の検出とが、同一のマイクロフォンからの出力に基づくことを条件として、存否判定を行ってもよい。
図8は、存否判定システム1Aの機能的構成を説明するための図である。
図8を参照して、存否判定システム1Aは、超音波送信部310と、受信部320と、判定部330Aと、送信機制御部340とを備える。判定部330Aは、検出部331,332と、検出結果処理部333Aとを含む。検出結果処理部333Aは、位置特定部334を含む。
受信部320は、4つの超音波受信部321A、321B,321C,321Dと、4つの音波受信部322A、322B,322C,322Dとを含む。
各超音波受信部321A、321B,321C,321Dは、超音波受信部321(図3参照)と同様の機能を実行する。各音波受信部322A、322B,322C,322Dは、音波受信部322(図3参照)と同様の機能を実行する。
検出結果処理部333Aは、存否判定システム1の検出結果処理部333と同様に、車内920における動きが検出された場合、および/または、特定の音の発生が検出された場合、車内920に人および飼育動物の少なくとも一方が存在すると判定する。検出結果処理部333Aは、車内920における動きが検出されず、かつ、特定の音の発生が検出されないときには、車内920に人および飼育動物の両方が存在しないと判定する。
検出結果処理部333Aの位置特定部334は、車内920に人および飼育動物の少なくとも一方が存在すると判定されたことを条件に、各マイクロフォン12A、12B,12C,12Dからの出力に基づき、車内920における人または飼育動物の位置を特定する。具体的には、位置特定部334は、各超音波受信部321A~321Dによる超音波の受信タイミング(送信から受信までの時間の相違)に基づき、車内920における人または飼育動物の位置を特定する。なお、この場合には、位置特定部334が第1の特定手段に対応する。
検出結果処理部333Aは、判定結果および特定された位置を、上位のアプリケーションに通知する。
なお、検出結果処理部333Aは、プロセッサ133とメモリ143とによって実現される機能ブロックである。具体的には、検出結果処理部333Aは、プロセッサ133がメモリ143に格納されたソフトウェアを実行することにより実現される。
また、存否判定システム1Aにおいては、位置特定部334または位置特定部334とは別の他の位置特定部(図示せず)が、各音波受信部322A~322Dによって受信された音波の強度の差に基づき、人または飼育動物の位置を特定してもよい。なお、この場合には、位置特定部334または当該他の位置特定部が、第2の特定手段に対応する。
(f2.第2の変形例)
図9は、存否判定システム1の変形例である存否判定システム1Bを説明するための図である。詳しくは、図9は、存否判定システム1Bのハードウェア構成を説明するための図である。
図9を参照して、超音波送信機11と、マイクロフォン21と、マイクロフォン22と、プリント回路板13Bとを備える。すなわち、第1の受信手段と第2の受信手段とが異なる部品にて実現されている。2つのマイクロフォン21,22を備える点において、図2に示した存否判定システム1とは異なる。
プリント回路板13Bは、AMP151,152と、ADコンバータ121,122と、プロセッサ131,132,133,134と、メモリ143とを備える。プリント回路板13Bはフィルタ110を備えていない点において、図2に示した存否判定システム1のプリント回路板13とは異なる。
マイクロフォン21は、超音波を受信する。マイクロフォン21は、典型的にはBPF(Band Pass Filter)を内蔵しており、超音波帯域の信号のみをAMP151に出力する。AMP151によって増幅された信号は、ADコンバータ121に出力される。
マイクロフォン22は、音波を受信する。マイクロフォン22は、典型的にはLPF(Low Pass Filter)を内蔵しており、音波帯域の信号のみをAMP152に出力する。AMP152によって増幅された信号は、ADコンバータ122に出力される。
このように、存否判定システム1Bは、少なくとも、超音波用のマイクロフォン21と、音波用のマイクロフォン22とを個別に備える点において、超音波および音波用(共用)のマイクロフォン12を備える存否判定システム1(図2参照)とは異なる。
このような構成であっても、超音波および音波のいずれか一方のみを用いて車内920の人および飼育動物を検出する構成に比べて、人および飼育動物を精度よく検出できるようになる。
(f3.第3の変形例)
超音波送信機11は、上述したように、圧電素子の振動によって超音波を発生する。
本変形例では、超音波送信機11として、サーモフォンを用いる。サーモフォンを用いて超音波を発生させることにより、後述するように、超音波による人等の検出精度を向上させることができる。なお、「サーモフォン」は、高い熱伝導かつ低い熱容量素子に電気エネルギーを加え、これによって発生する熱による空気膨張を利用し音を発生させる装置である。
図10は、圧電素子を用いることにより発生した超音波信号の波形610を示した図である。
図10を参照して、圧電素子(振動子)に共振周波数に近い電気信号を印加することにより、圧電素子は振動する。共振のため、圧電素子に対する電気信号を停止しても、超音波振動が機械的に持続する。このため、残響(リンギング成分)が発生する。また、信号の立ち上がり時も、共振のため数波~数十波が必要となる。
図11は、サーモフォンにより発生した超音波信号の波形620を示した図である。
図11を参照して、サーモフォンでは、CNT(Carbon nanotube)などの素子に周期的な熱を加えることで、周期的な熱の変動による周辺空気の膨張および圧力波により音波及び超音波を発生する。熱を使用した非機械的振動のため、熱を止めると音波/超音波は直ちに止まる。それゆえ、サーモフォンは、機械的振動を用いる音波発生機(圧電素子を使用したものなど)で課題となる残響はほとんど発生することなく、インパルス信号を発生することができる。
残響はセンサとしては不必要な成分である。圧電素子を用いて生じさせた超音波は、当該残響成分により、距離分解能や検出距離に対しての制約が生じる。サーモフォンは、動作原理から、これらの制約が緩和される。これにより、サーモフォンは、圧電素子を用いた超音波送信機よりも、微小な動きが検出できる。それゆえ、人物または動物の検出精度が高くなる。したがって、サーモフォンを用いることにより、たとえば睡眠状態にある子供の呼吸に伴う身体の微小な動きをも検出することが可能となる。
(f4.第4の変形例)
上記では、図2等においてプリント回路板13,13A,13Bが、4つのプロセッサ131~134を備える構成を例に挙げて説明したが、プロセッサの数は、4つに限定されるものではない。1つまたは複数のプロセッサが、単独または連携して、4つのプロセッサ131~134で実行される処理を行なってもよい。
(f5.第5の変形例)
存否判定システム1,1A,1Bにおいて、プロセッサ133は、プロセッサ132による解析結果に基づき、車内920に取り残されているのが、人なのか、あるいは飼育動物なのかを判定してもよい。
たとえば、プロセッサ133は、車内に人および飼育動物の少なくとも一方が存在すると判定した場合において、プロセッサ132によって特定の音が人が発する音声(泣き声含む)であれば、人が車内920に取り残されていると判定してもよい。プロセッサ133は、プロセッサ132によって特定の音が人が発する音声でなければ、飼育動物が車内920に取り残されていると判定してもよい。
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1,1A,1B 存否判定システム、11 超音波送信機、12,12A,12B,12C,12D,21,22 マイクロフォン、13,13A,13B プリント回路板、110 フィルタ、121,122 コンバータ、131,132,133,134 プロセッサ、143 メモリ、150,151,152 AMP、310 超音波送信部、320 受信部、321,321A,321B,321C,321D 超音波受信部、322,322A,322B,322C,322D 音波受信部、330,330A 判定部、331,332 検出部、333,333A 検出結果処理部、334 位置特定部、340 送信機制御部、800 子供、900 車、910 座席、911 運転席、912 後部座席、920 車内。

Claims (14)

  1. 車内に設置された超音波送信機から送信された超音波を、前記車内にて受信する第1の受信手段と、
    前記車内にて可聴周波数帯の音波を受信する第2の受信手段と、
    前記第1の受信手段にて受信された前記超音波と、前記第2の受信手段にて受信された前記可聴周波数帯の音波とに基づき、前記車内に人および飼育動物の少なくとも一方が存在するか否かを判定する判定手段とを備える、存否判定システム。
  2. 前記判定手段は、
    前記第1の受信手段にて受信された前記超音波に基づき、前記車内における動きを検出する第1の検出手段と、
    前記第2の受信手段にて受信された前記可聴周波数帯の音波に基づき、特定の音の発生を検出する第2の検出手段とを含み、
    前記第1の検出手段による検出の結果と、前記第2の検出手段による検出の結果とに基づき、前記車内に前記人および前記飼育動物の少なくとも一方が存在するか否かを判定する、請求項1に記載の存否判定システム。
  3. 前記判定手段は、前記第1の検出手段によって前記車内における動きが検出された場合、および/または、前記第2の検出手段によって前記特定の音の発生が検出された場合、前記車内に前記人および前記飼育動物の少なくとも一方が存在すると判定する、請求項2に記載の存否判定システム。
  4. 前記第1の受信手段および前記第2の受信手段として機能する単一のマイクロフォンを備える、請求項1から3のいずれか1項に記載の存否判定システム。
  5. 前記存否判定システムは、前記第1の受信手段を複数備え、各前記第1の受信手段は、前記車内の異なる位置に設置され、
    前記存否判定システムは、各前記第1の受信手段からの出力に基づき、前記車内における前記人および前記飼育動物の少なくとも一方の位置を特定する第1の特定手段をさらに備える、請求項1から4のいずれか1項に記載の存否判定システム。
  6. 前記存否判定システムは、前記第2の受信手段を複数備え、各前記第2の受信手段は、前記車内の異なる位置に設置され、
    前記存否判定システムは、各前記第2の受信手段からの出力に基づき、前記車内における前記人および前記飼育動物の少なくとも一方の位置を特定する第2の特定手段をさらに備える、請求項1から5のいずれか1項に記載の存否判定システム。
  7. 前記第1の特定手段は、各前記第1の受信手段による前記超音波の受信タイミングに基づき、前記位置を特定する、請求項5に記載の存否判定システム。
  8. 前記第2の特定手段は、各前記第2の受信手段によって受信された前記可聴周波数帯の音波の強度の差に基づき、前記位置を特定する、請求項6に記載の存否判定システム。
  9. 前記第1の受信手段と前記第2の受信手段とは、前記車内の座席の上方に設置されている、請求項1から8のいずれか1項に記載の存否判定システム。
  10. 前記超音波送信機をさらに備える、請求項1から9のいずれか1項に記載の存否判定システム。
  11. 前記超音波送信機は、前記車内の中央部に設置されている、請求項10に記載の存否判定システム。
  12. 前記超音波送信機は、サーモフォンである、請求項10または11に記載の存否判定システム。
  13. 前記超音波送信機は、前記超音波送信機が設置された車のエンジンがオフとなったことを条件に、前記超音波の送信を開始する、請求項1から12のいずれか1項に記載の存否判定システム。
  14. 車内に設置された超音波送信機から超音波を送信するステップと、
    前記車内にて前記超音波を受信するステップと、
    前記車内にて可聴周波数帯の音波を受信するステップと、
    受信された前記超音波と、受信された前記可聴周波数帯の音波とに基づき、前記車内に人および飼育動物の少なくとも一方が存在するか否かを判定するステップとを備える、存否判定方法。
JP2020187035A 2020-11-10 2020-11-10 存否判定システムおよび存否判定方法 Pending JP2022076593A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020187035A JP2022076593A (ja) 2020-11-10 2020-11-10 存否判定システムおよび存否判定方法
DE102021128165.2A DE102021128165A1 (de) 2020-11-10 2021-10-28 An-/abwesenheitsbestimmungssystem und an-/abwesenheitsbestimmungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020187035A JP2022076593A (ja) 2020-11-10 2020-11-10 存否判定システムおよび存否判定方法

Publications (1)

Publication Number Publication Date
JP2022076593A true JP2022076593A (ja) 2022-05-20

Family

ID=81256087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020187035A Pending JP2022076593A (ja) 2020-11-10 2020-11-10 存否判定システムおよび存否判定方法

Country Status (2)

Country Link
JP (1) JP2022076593A (ja)
DE (1) DE102021128165A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000185609A (ja) * 1998-12-24 2000-07-04 Toppan Printing Co Ltd 車載幼児警報器
JP2001071858A (ja) * 1999-08-23 2001-03-21 Automot Technol Internatl Inc 車内の物体の有無と方向を測定する方法
JP2010070060A (ja) * 2008-09-18 2010-04-02 Denso Corp 車室内事故防止装置
JP2010525646A (ja) * 2007-04-19 2010-07-22 エポス ディベロップメント リミテッド 音と位置の測定
JP2015168378A (ja) * 2014-03-10 2015-09-28 Necプラットフォームズ株式会社 監視システム及び監視方法
JP2016145028A (ja) * 2015-01-08 2016-08-12 デルファイ・テクノロジーズ・インコーポレーテッド 車両内において付き添いのない占有者を検出し、安全対策を講じるシステムおよび方法
JP2020165857A (ja) * 2019-03-29 2020-10-08 株式会社村田製作所 物体検知装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000185609A (ja) * 1998-12-24 2000-07-04 Toppan Printing Co Ltd 車載幼児警報器
JP2001071858A (ja) * 1999-08-23 2001-03-21 Automot Technol Internatl Inc 車内の物体の有無と方向を測定する方法
JP2010525646A (ja) * 2007-04-19 2010-07-22 エポス ディベロップメント リミテッド 音と位置の測定
JP2010070060A (ja) * 2008-09-18 2010-04-02 Denso Corp 車室内事故防止装置
JP2015168378A (ja) * 2014-03-10 2015-09-28 Necプラットフォームズ株式会社 監視システム及び監視方法
JP2016145028A (ja) * 2015-01-08 2016-08-12 デルファイ・テクノロジーズ・インコーポレーテッド 車両内において付き添いのない占有者を検出し、安全対策を講じるシステムおよび方法
JP2020165857A (ja) * 2019-03-29 2020-10-08 株式会社村田製作所 物体検知装置

Also Published As

Publication number Publication date
DE102021128165A1 (de) 2022-05-12

Similar Documents

Publication Publication Date Title
US10627811B2 (en) Audio alerts for remote park-assist tethering
US5598141A (en) Method of monitoring a vehicle interior
US9240176B2 (en) Active noise control system and method
US10152884B2 (en) Selective actions in a vehicle based on detected ambient hazard noises
US9154893B1 (en) Sound sensing techniques
US10489994B2 (en) Vehicle sound activation
JP4798271B2 (ja) 車両存在報知装置
US11580853B2 (en) Method for acquiring the surrounding environment and system for acquiring the surrounding environment for a motor vehicle
JP6701739B2 (ja) 車両制御装置
CN108140294A (zh) 车辆内部触觉输出
JP2008062666A (ja) 車両用警報装置
US7408448B2 (en) Parking sensor apparatus and method to keep air brakes from interfering with the parking sensor apparatus
US10422874B2 (en) Method and system for spatial modeling of an interior of a vehicle
US10515620B2 (en) Ultrasonic noise cancellation in vehicular passenger compartment
JP2022076593A (ja) 存否判定システムおよび存否判定方法
US11524629B2 (en) Audible navigation indicator
JP2012126207A (ja) 車両存在報知装置、制御装置、及びプログラム
US11697395B2 (en) Intrusion detection system for a vehicle and associated vehicle and method
JP2020056628A (ja) 信号処理装置、センサシステム、警報システム、及び車両
CN112585992A (zh) 用来探测车辆环境中的声学信号的传感器设备
JPH11321497A (ja) 安全運転支援装置
US20220341962A1 (en) Child presence detection in a car
JP2023119923A (ja) 車両乗員検知装置、車両乗員検知方法、及び車両乗員検知プログラム
JPH10250474A (ja) 移動体用警報装置
JP2022106605A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240507