JP2023179143A - 異音の発生要因特定方法、及び異音の発生要因特定装置 - Google Patents

異音の発生要因特定方法、及び異音の発生要因特定装置 Download PDF

Info

Publication number
JP2023179143A
JP2023179143A JP2022092253A JP2022092253A JP2023179143A JP 2023179143 A JP2023179143 A JP 2023179143A JP 2022092253 A JP2022092253 A JP 2022092253A JP 2022092253 A JP2022092253 A JP 2022092253A JP 2023179143 A JP2023179143 A JP 2023179143A
Authority
JP
Japan
Prior art keywords
sound signal
mapping
sound
microphone
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022092253A
Other languages
English (en)
Inventor
伸一 竹内
Shinichi Takeuchi
淳 田端
Atsushi Tabata
光夫 大窪
Mitsuo Okubo
真吾 則竹
Shingo Noritake
亮 村上
Ryo Murakami
涼 柳川
Ryo Yanagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022092253A priority Critical patent/JP2023179143A/ja
Priority to EP23169753.3A priority patent/EP4290517A1/en
Priority to US18/307,842 priority patent/US20240096145A1/en
Priority to CN202310656448.8A priority patent/CN117194888A/zh
Publication of JP2023179143A publication Critical patent/JP2023179143A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

Figure 2023179143000001
【課題】マイクの機種に応じた音の発生要因の特定精度のばらつきを小さくできるようにすること。
【解決手段】異音の発生要因特定方法は、マイクが感知した音に関する音信号を取得する音信号取得処理と、マイクの機種情報を取得する機種情報取得処理(ステップS63)と、機種情報取得処理で取得した機種情報に応じた補正によって、音信号の周波数特性を学習用音信号の周波数特性に接近させる特性補正処理(ステップS83)と、特性補正処理で補正した音信号を写像に入力することによって写像から出力された出力変数yを取得する変数取得処理(ステップS87)と、変数取得処理で取得した出力変数yを基に、マイクが感知した音の発生要因を特定する要因特定処理(ステップS89)と、を含む。
【選択図】図5

Description

本発明は、異音の発生要因特定方法、及び異音の発生要因特定装置に関する。
特許文献1は、車両で発生した音の要因となる箇所を推定するための機械学習が施された写像を用いることにより、マイクが感知した音の要因となる箇所を特定する技術を開示している。当該方法において、実行装置は、マイクが感知した音に関する信号である音信号と、車両の駆動系装置の状態変数とを写像に入力することによって当該写像から出力された変数を取得する。そして、実行装置は、写像から出力された変数を基に、マイクが感知した音の要因となる箇所を特定する。
特開2021-154816号公報
写像に機械学習を施す際に当該写像に入力する音信号である学習用音信号を取得するために使用したマイクを学習用マイクとしたとき、車両で発生した音を感知するマイクの機種が学習用マイクの機種と相違していることがある。音信号には、マイクの機種の周波数特性が反映される。そのため、車両で発生した音を感知するマイクの機種が学習用マイクの機種と相違している場合には、マイクが感知した音に関する音信号の周波数特性が学習用音信号の周波数特性と乖離するため、上記写像から出力された変数に基づいた音の発生箇所の特定精度が高いとは言いがたい。
上記課題を解決するための異音の発生要因特定方法の第1態様は、マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが解析装置の記憶装置に記憶されており、前記写像は機械学習が施されたものであり、前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、前記解析装置の実行装置に、前記マイクが感知した音に関する前記音信号を取得する音信号取得処理と、前記マイクの機種に関する情報である機種情報を取得する機種情報取得処理と、前記機種情報取得処理で取得した前記機種情報に応じた補正によって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる特性補正処理と、前記特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する変数取得処理と、前記変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する要因特定処理と、を実行させる。
上記の発生要因特定方法では、マイクが感知した音に関する音信号の周波数特性が、当該マイクの機種に応じて補正される。これにより、音を感知したマイクの機種の相違に起因する音信号の周波数特性のばらつきを小さくできる。すなわち、写像に入力する音信号の周波数特性を学習用音信号の周波数特性に接近させることができる。そして、このように補正された音信号を写像に入力することによって当該写像から出力された変数を基に、マイクが感知した音の発生要因が特定される。したがって、マイクの機種に応じた音の発生要因の特定精度のばらつきを小さくできるようになる。
上記課題を解決するための異音の発生要因特定方法の第2態様は、マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが解析装置の記憶装置に記憶されており、前記写像は機械学習が施されたものであり、前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、前記解析装置の実行装置に、前記マイクが感知した音に関する前記音信号を取得する音信号取得処理と、前記マイクの機種に関する情報である機種情報を取得する機種情報取得処理と、前記音信号取得処理で取得した前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第1機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第1特性補正処理と、前記音信号取得処理で取得した前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第2機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第2特性補正処理と、前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得する変数取得処理と、前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を実行させる。
上記の発生要因特定方法では、第1特性補正処理及び第2特性補正処理が実行される。続いて、変数取得処理が実行されることにより、第1出力変数、第2出力変数及び第3出力変数が取得される。そして、第1出力変数から特定される発生要因と、第2出力変数から特定される発生要因と、第3出力変数から特定される発生要因との中から、音の発生要因が選択される。第1出力変数から特定される発生要因、第2出力変数から特定される発生要因、及び第3出力変数から特定される発生要因のうち1つのみを取得し、これを発生要因として特定する場合と比較し、マイクが取得した音の発生要因の特定精度が低くなりにくい。したがって、マイクの機種に応じた音の発生要因の特定精度のばらつきを小さくできるようになる。
上記課題を解決するための異音の発生要因特定装置の第1態様は、マイクが感知した音の発生要因を特定する異音の発生要因特定装置であって、前記発生要因特定装置は、実行装置と記憶装置とを備え、前記記憶装置には、前記マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが記憶されており、前記写像は機械学習が施されたものであり、前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、前記実行装置は、前記マイクの機種に関する情報である機種情報に応じた補正によって、前記マイクが感知した音に関する前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる特性補正処理と、前記特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する変数取得処理と、前記変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する要因特定処理と、を実行する。
上記の発生要因特定装置は、上記の発生要因特定方法の第1態様と同等の作用及び効果を得ることができる。
上記課題を解決するための異音の発生要因特定装置の第2態様は、マイクが感知した音の発生要因を特定する異音の発生要因特定装置であって、前記発生要因特定装置は、実行装置と記憶装置とを備え、前記記憶装置には、前記マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが記憶されており、前記写像は機械学習が施されたものであり、前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、前記実行装置は、前記マイクが感知した音に関する前記音信号の周波数特性を補正する処理であって、前記マイクの機種情報が第1機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第1特性補正処理と、前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第2機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第2特性補正処理と、前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、補正されていない前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得する変数取得処理と、前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を実行する。
上記の発生要因特定装置は、上記の発生要因特定方法の第2態様と同等の作用及び効果を得ることができる。
図1は、第1実施形態にかかるシステムの構成を示すブロック図である。 図2は、機種データを示すテーブルである。 図3において、(A)は車両制御装置で実行される一連の処理の流れを示すフローチャートであり、(B)は携帯端末で実行される一連の処理の流れを示すフローチャートである。 図4は、携帯端末のマイクが感知した音に関する音信号の一例を示す図である。 図5は、センター制御装置で実行される一連の処理の流れの一部を示すフローチャートである。 図6は、センター制御装置で実行される一連の処理の流れの残りの部分を示すフローチャートである。 図7は、写像に機械学習を施す学習装置の構成を示すブロック図である。 図8は、第2実施形態にかかるシステムの構成を示すブロック図である。
(第1実施形態)
以下、異音の発生要因特定方法及び発生要因特定装置の第1実施形態を図1~図7に従って説明する。
図1は、車両10と、車両10の乗員が所有する携帯端末30と、車両10の外部に設置されているデータ解析センター60とを図示している。
<車両>
車両10は、検出系11と、通信機13と、車両制御装置15とを備えている。
検出系11は、N個のセンサ111,112,113,…,11Nを有している。「N」は4以上の整数である。複数のセンサ111~11Nは、検出結果に応じた信号を車両制御装置15に出力する。複数のセンサ111~11Nは、車速や加速度などの車両状態量を検出するセンサ、及びアクセル操作量やブレーキ操作量などの乗員の操作量を検出するセンサを含んでいる。また、複数のセンサ111~11Nは、エンジンや電気モータなどの車両10の駆動装置の動作状態を検出するセンサ、及び冷却水の温度や油温を検出するセンサを含んでいてもよい。
通信機13は、車両10の車室内に持ち込まれた携帯端末30と通信を行う。通信機13は、携帯端末30から受信した情報を車両制御装置15に出力したり、車両制御装置15から出力された情報を携帯端末30に送信したりする。
車両制御装置15は、複数のセンサ111~11Nの出力信号を基に車両10を制御する。すなわち、車両制御装置15は、車両10の駆動装置、制動装置及び転舵装置などを作動させることにより、車両10の走行速度、加速度及びヨーレートなどを制御する。
車両制御装置15は、CPU16と第1記憶装置17と第2記憶装置18とを有している。第1記憶装置17は、CPU16によって実行される各種の制御プログラムを記憶している。また、第1記憶装置17は、車両10の車種及びグレードなどに関する情報である車種情報も記憶している。第2記憶装置18には、CPU16の演算結果などが記憶される。
<携帯端末>
携帯端末30は、例えば、スマートフォン及びタブレット端末である。携帯端末30は、タッチパネル31と、表示画面33と、マイク35と、通信機37と、端末制御装置39とを備えている。タッチパネル31は、表示画面33と重ねて配置されたユーザーインターフェースである。携帯端末30が車室に持ち込まれた場合、マイク35は車室に伝わった音を感知できる。
通信機37は、車両10の車室内に携帯端末30が位置する場合に車両10と通信する機能を有している。通信機37は、車両制御装置15から受信した情報を端末制御装置39に出力したり、端末制御装置39が出力した情報を車両制御装置15に送信したりする。
また、通信機37は、グローバルネットワーク100を介して他の携帯端末30及びデータ解析センター60と通信する機能を有している。通信機37は、他の携帯端末30又はデータ解析センター60から受信した情報を端末制御装置39に出力したり、端末制御装置39が出力した情報を他の携帯端末30又はデータ解析センター60に送信したりする。
端末制御装置39は、CPU41と第1記憶装置42と第2記憶装置43とを有している。本実施形態では、端末制御装置39が「解析装置」の一例を構成する。また、CPU41が「解析装置の実行装置」の一例を構成するとともに、CPU41が「第1実行装置」に対応する。第1記憶装置42は、CPU41によって実行される各種の制御プログラムを記憶している。また、第1記憶装置42は、携帯端末30に設けられているマイク35の機種に関する情報である機種情報もまた記憶している。第2記憶装置43には、CPU41の演算結果などが記憶される。
<データ解析センター>
データ解析センター60は、マイク35が感知した音の発生要因を特定する「発生要因特定装置」に対応する。車両10で異音が発生する要因がM個あるとする。「M」は2以上の整数である。このとき、データ解析センター60は、M個の要因の候補の中から1つの要因を選択する。
データ解析センター60は、通信機61とセンター制御装置63とを備えている。
通信機61は、グローバルネットワーク100を介して複数の携帯端末30と通信する機能を有している。通信機61は、携帯端末30から受信した情報をセンター制御装置63に出力したり、センター制御装置63が出力した情報を携帯端末30に送信したりする。
センター制御装置63は、CPU64と第1記憶装置65と第2記憶装置66とを有している。本実施形態では、センター制御装置63が「解析装置」の一例を構成する。また、CPU64が「解析装置の実行装置」の一例を構成するとともに、CPU64が「第2実行装置」に対応し、第2記憶装置66が「解析装置の記憶装置」に対応する。さらに、CPU64が「発生要因特定装置の実行装置」に対応し、第2記憶装置66が「発生要因特定装置の記憶装置」に対応する。
第1記憶装置65は、CPU64によって実行される各種の制御プログラムを記憶している。
第2記憶装置66は、機械学習が施された写像を規定する写像データ71を記憶している。写像は、入力変数が入力されると、車両10での音の発生要因を特定する変数を出力する学習済モデルである。写像の一例は、関数近似器である。例えば、写像は、中間層が1層である全結合順伝搬型のニューラルネットワークである。
写像の出力変数yについて説明する。上述したように車両10には、M個の異音の発生要因の候補が存在する。そのため、入力変数が写像に入力されると、M個の出力変数y(1),y(2),…,y(M)が写像から出力される。実際の発生要因を実要因としたとき、出力変数y(1)は、M個の発生要因の候補のうちの第1発生要因の候補が実要因である確率を示す値である。出力変数y(2)は、M個の発生要因の候補のうちの第2発生要因の候補が実要因である確率を示す値である。出力変数y(M)は、M個の発生要因の候補のうちの第M発生要因の候補が実要因である確率を示す値である。
第2記憶装置66は、要因特定データ72を記憶している。要因特定データ72は、写像の出力変数yを基に、車両10での音の発生要因を特定するためのデータである。要因特定データ72にはM個の発生要因の候補が記憶されている。M個の発生要因の候補のうち、第1発生要因の候補は出力変数y(1)に対応している。M個の候補のうち、第2発生要因の候補は出力変数y(2)に対応している。M個の候補のうち、第M発生要因の候補は出力変数y(M)に対応している。
第2記憶装置66は、機種データ73を記憶している。機種データ73は、複数種類のマイクの機種情報を含んでいる。
図2は、機種データ73の一例を図示している。図2に示す機種データ73は、以下のマイクの機種情報を含んでいる。
・AA通信の携帯端末の機種「T778」のマイクの周波数特性が「A特性」であることを示す機種情報。
・AA通信の携帯端末の機種「T548」のマイクの周波数特性が「B特性」であることを示す機種情報。
・BBモバイルサービルの携帯端末の機種「M458」のマイクの周波数特性が「A特性改」であることを示す機種情報。
・BBモバイルサービルの携帯端末の機種「M241」のマイクの周波数特性が「A特性」であることを示す機種情報。
・CC通信の携帯端末の機種「D111」のマイクの周波数特性が「B特性改」であることを示す機種情報。
・CC通信の携帯端末の機種「D211」のマイクの周波数特性が「A特性」であることを示す機種情報。
・その他のマイクの機種「23型」の周波数特性が「F特性」であることを示す機種情報。
ここで、感知しやすい音の周波数域、及び感知しにくい音の周波数域は、マイクの機種によって異なる。こうしたマイクの特性が「マイクの周波数特性」に相当する。
詳しくは後述するが、写像の機械学習時には、機種「23型」のマイクを使用したものとする。この場合、機種「23型」のマイクが「学習用マイク35A」に対応する(図7参照)。
<異音の発生要因特定方法>
図3~図6を参照し、発生要因特定方法を説明する。図3(A)は、車両制御装置15のCPU16が実行する処理の流れを図示している。第1記憶装置17に記憶されている制御プログラムをCPU16が実行することにより、図3(A)に示した一連の処理が繰り返し実行される。
図3(A)に示す一連の処理においてステップS11では、CPU16は、携帯端末30との同期が確立しているか否かを判定する。CPU16は、同期が確立していると判定した場合(S11:YES)、処理をステップS13に移行する。一方、CPU16は、同期が確立していないと判定した場合(S11:NO)、一連の処理を一旦終了する。
ステップS13において、CPU16は、車両10の車種情報を携帯端末30に送信済みであるか否かを判定する。CPU16は、車種情報を携帯端末30に送信済みである場合(S13:YES)、処理をステップS17に移行する。一方、CPU16は、車種情報を未だ携帯端末30に送信していない場合(S13:NO)、処理をステップS15に移行する。ステップS15において、CPU16は、車種情報を通信機13から携帯端末30に送信させる。その後、CPU16は処理をステップS17に移行する。
ステップS17において、CPU16は、車両10の状態変数を取得する。具体的には、CPU16は、各種のセンサ111~11Nの検出値、及び、当該検出値を加工した値である加工値を、状態変数として取得する。例えば、CPU16は、車両10の走行速度SPD、車両10の加速度G、エンジン回転数NE及びエンジントルクTrqなどを取得する。
ステップS19において、CPU16は、取得した車両10の状態変数を通信機13から携帯端末30に送信させる。その後、CPU16は一連の処理を一旦終了する。
図3(B)は、端末制御装置39のCPU41が実行する処理の流れを図示している。第1記憶装置42に記憶されている制御プログラムをCPU41が実行することにより、図3(B)に示した一連の処理が繰り返し実行される。
図3(B)に示す一連の処理においてステップS31では、CPU41は、車両制御装置15との同期が確立しているか否かを判定する。CPU41は、同期が確立していると判定した場合(S31:YES)、処理をステップS33に移行する。一方、CPU41は、同期が確立していないと判定した場合(S31:NO)、一連の処理を一旦終了する。
ステップS33において、CPU41は、車両制御装置15から送信された車種情報を取得する。ステップS35において、CPU41はマイク35による録音を開始させる。ステップS37において、CPU41は、車両制御装置15から送信された車両10の状態変数の取得を開始する。
ステップS39において、CPU41は、車両10で発生した異音を車両10の乗員が感知したことを示す合図があるか否かを判定する。例えば、乗員が、予め定めた所定操作を携帯端末30で行った場合は、当該合図があると見なす。反対に、乗員が当該所定操作を携帯端末30で行っていない場合は、当該合図がないと見なす。CPU41は、当該合図があると判定した場合(S39:YES)、処理をステップS41に移行する。一方、CPU41は、当該合図がないと判定した場合(S39:NO)、合図があると判定するまでステップS39の判定を繰り返し実行する。
ここで、図4は、車両10で発生した異音の一例を図示している。図4に示すような異音が発生した場合、車両10の乗員が、当該異音に対して不快に感じることがある。このよう場合、乗員が、携帯端末30で所定操作を行うことがある。
図3(B)に戻り、ステップS41において、CPU41は、マイク35が感知した音に関する信号である音信号、及び車両制御装置15から取得した車両10の状態変数の記憶を開始する。この際、CPU41は、音信号と状態変数とを紐付けて第2記憶装置43に記憶させる。すなわち、ステップS41が「音信号取得処理」に対応する。ステップS43において、CPU41は、上記合図があると判定した時点からの経過時間が所定時間を経過したか否かを判定する。CPU41は、当該経過時間が所定時間を経過していない場合(S43:NO)、処理をステップS41に戻す。すなわち、CPU41は、音信号と状態変数とを第2記憶装置43に記憶させる処理を継続する。一方、CPU41は、当該経過時間が所定時間を経過した場合(S43:YES)、処理をステップS45に移行する。
ステップS45において、CPU41は送信処理を実行する。すなわち、CPU41は、送信処理において、第2記憶装置43に記憶した音信号の時系列データ及び車両10の状態変数の時系列データを、通信機37からデータ解析センター60に送信させる。また、CPU41は、送信処理において、ステップS33で取得した車種情報、及び携帯端末30が備えるマイク35の機種情報を、通信機37からデータ解析センター60に送信させる。そして、CPU41は、送信を完了すると、一連の処理を一旦終了する。
図5及び図6は、センター制御装置63のCPU64が実行する処理の流れを図示している。第1記憶装置65に記憶されている制御プログラムをCPU64が実行することにより、図5及び図6に示した一連の処理が繰り返し実行される。
一連の処理においてステップS61では、CPU64は、上記ステップS45で携帯端末30がデータ解析センター60に送信したデータを通信機61が受信したか否かを判定する。CPU64は、データを通信機61が受信した場合(S61:YES)、処理をステップS63に移動する。一方、CPU64は、データを通信機61が受信していない場合(S61:NO)、一連の処理を一旦終了する。
ステップS63において、CPU64は、通信機61が受信したマイク35の機種情報を取得する。すなわち、ステップS63が「機種情報取得処理」に対応する。
ステップS65において、CPU64は、通信機61が受信した車両10の車種情報を取得する。ステップS67において、CPU64は、通信機61が受信した音信号の時系列データ及び車両10の状態変数の時系列データを取得する。
ステップS69において、CPU64は、ステップS63で取得した機種情報によって示されるマイク35の機種が学習用マイク35Aの機種と同じであるか否かを判定する。本実施形態では、学習用マイク35Aの周波数特性は図2に示した「F特性」である。そのため、機種情報によって示されるマイク35の周波数特性が「F特性」である場合は、マイク35の機種が学習用マイク35Aの機種と同じであると見なす。一方、機種情報によって示されるマイク35の周波数特性が「F特性」ではない場合は、マイク35の機種が学習用マイク35Aの機種とは異なると見なす。そして、CPU64は、マイク35の機種が学習用マイク35Aの機種と同じであると判定した場合(S69:YES)、処理をステップS71に移行する。一方、CPU64は、マイク35の機種が学習用マイク35Aの機種と同じではないと判定した場合(S69:NO)、処理をステップS81に移行する。
ステップS71において、CPU64は、ステップS67で取得した音信号の時系列データ及び車両10の状態変数の時系列データを入力変数xとして写像に入力する。そしてステップS73において、CPU64は、写像から出力された出力変数yを取得する。すなわち、ステップS73は、マイク35の機種が学習用マイク35Aの機種と同じである場合に、補正していない音信号を写像に入力することによって当該写像から出力された出力変数yを取得する処理である。したがって、ステップS73が「基準変数取得処理」に対応する。
ステップS73で出力変数yの取得が完了すると、CPU64は処理をステップS75に移行する。ステップS75において、CPU64は、ステップS73で取得した出力変数yを基に、マイク35が感知した音の発生要因を特定する。具体的には、CPU64は、M個の出力変数y(1),y(2),…,y(M)の中から、最も大きい値の出力変数を選択する。そして、CPU64は、要因特定データ72を用いることにより、選択した出力変数に応じた発生要因の候補を実候補として特定する。したがって、ステップS73が「第2要因特定処理」に対応する。そして、CPU64は処理をステップS113に移行する。
ステップS81において、CPU64は、マイク35の周波数特性を特定可能であるか否かを判定する。例えば、マイクの機種情報で示される機種が図2に示した機種データ73の中にある場合は、マイク35の周波数特性を特定可能である。一方、マイクの機種情報で示される機種が機種データ73の中にない場合は、マイク35の周波数特性を特定できない。そして、CPU64は、マイク35の周波数特性を特定可能であると判定した場合(S81:YES)、処理をステップS83に移行する。一方、CPU64は、マイク35の周波数特性を特定できないと判定した場合(S81:NO)、処理をステップS91に移行する。つまり、CPU64は、マイク35の機種情報が図2に示した機種データ73の中にある場合、すなわちマイク35の機種情報が第2記憶装置66に記憶されている場合、処理をステップS83に移行する。一方、CPU64は、マイク35の機種情報が機種データ73の中にない場合、すなわちマイク35の機種情報が第2記憶装置66に記憶されていない場合、処理をステップS91に移行する。
ステップS83において、CPU64は、マイク35の機種情報に応じた補正によって、音信号の周波数特性を学習用音信号の周波数特性に接近させる特性補正処理を実行する。詳しくは後述するが、学習用音信号とは、写像の機械学習時に写像に入力する音信号である。学習用音信号によって示される音は、学習用マイク35Aが感知した音である。CPU64は、マイク35の機種情報に応じた特性補正処理を実行する。すなわち、CPU64は、マイク35の機種情報が第1機種情報である場合には、第1機種情報によって示されるマイク35の周波数特性に応じた特性補正処理を実行する。またCPU64は、マイク35の機種情報が第2機種情報である場合には、第2機種情報によって示されるマイク35の周波数特性に応じた特性補正処理を実行する。
ここで、特性補正処理の一例を説明する。学習用マイク35Aの周波数特性が、低周波数域の音の感度が高い一方、高周波数域の音の感度が低いという特性であるとする。また、マイク35の周波数特性が、低周波数域の音の感度が低い一方、高周波数域の音の感度が高いという特性であるとする。この場合、学習用音信号の周波数特性は、学習用マイク35Aの周波数特性と同様に、低周波数域の音の感度が高い一方、高周波数域の音の感度が低いという特性となる。また、マイク35が感知した音に関する音信号の周波数特性は、マイク35の周波数特性と同様に、低周波数域の音の感度が低い一方、高周波数域の音の感度が高いという特性となる。そこで、CPU64は、特性補正処理において、音信号のうち、低周波数域の音圧レベルが大きくなる一方で、高周波数域の音圧レベルが小さくなるように、音信号を補正する。これにより、CPU64は、音信号の周波数特性を学習用音信号の周波数特性に接近させることができる。
本実施形態では、特性補正処理として、複数の特性補正処理が予め用意されている。そのため、CPU64は、マイク35の機種情報が第1機種情報である場合には、第1機種情報用の特性補正処理として第1特性補正処理を実行する。また、CPU64は、マイク35の機種情報が第2機種情報である場合には、第2機種情報用の特性補正処理として第2特性補正処理を実行する。第1特性補正処理は、マイク35の機種情報が第1機種情報である場合には音信号の周波数特性を学習用音信号の周波数特性に接近させることのできる処理である。第2特性補正処理は、マイク35の機種情報が第2機種情報である場合には音信号の周波数特性を学習用音信号の周波数特性に接近させることのできる処理である。
特性補正処理によって音信号を補正すると、CPU64は処理をステップS85に移行する。ステップS85において、CPU64は、ステップS83で補正した音信号である補正後音信号の時系列データと、ステップS67で取得した車両10の状態変数の時系列データを入力変数xaとして写像に入力する。ステップS87において、CPU64は、写像の出力変数yを取得する。すなわち、ステップS87が、特性補正処理で補正した音信号を写像に入力することによって写像から出力された変数を取得する「変数取得処理」に対応する。
ステップS89において、CPU64は、ステップS87で取得した出力変数yを基に、マイク35が感知した音の発生要因を特定する要因特定処理を実行する。ステップS89の処理内容はステップS75の処理内容と略同等であるため、その詳細な説明は割愛する。本実施形態では、ステップS89が「第1要因特定処理」に対応する。CPU64は、音の発生要因を特定すると、処理をステップS113に移行する。
ステップS91において、CPU64は、ステップS67で取得した音信号の時系列データ及び車両10の状態変数の時系列データを入力変数xとして写像に入力する。すなわち、CPU64は、特性補正処理による補正を行っていない音信号を入力変数xとして写像に入力する。ステップS93において、CPU64は、写像から出力された出力変数yを取得する。ステップS93が、補正していない音信号を写像に入力することによって写像から出力された変数を取得する「変数取得処理」に対応する。そして、ステップS93で取得した出力変数yが「第3出力変数」に対応する。
ステップS93で出力変数yの取得が完了すると、CPU64は処理をステップS95に移行する。ステップS95において、CPU64は、ステップS93で取得した出力変数yを基に、マイク35が感知した音の発生要因を特定する。ステップS95の処理内容はステップS75の処理内容と略同等であるため、その詳細な説明は割愛する。
ステップS97において、CPU64は、カウンタFに1をセットする。そして、CPU64は処理をステップS99に移行する。
ステップS99において、CPU64は、カウンタFに応じた特性補正処理を実行する。例えば、カウンタFが1である場合、CPU64は、マイク35の周波数特性がA特性であることを前提とした特性補正処理Z(1)を実行する。また例えば、カウンタFが2である場合、CPU64は、マイク35の周波数特性がB特性であることを前提とした特性補正処理Z(2)を実行する。また例えば、カウンタFが3である場合、CPU64は、マイク35の周波数特性がA特性改であることを前提とした特性補正処理Z(3)を実行する。なお、特性補正処理Z(1)は、マイク35の周波数特性がA特性であった場合には音信号の周波数特性を学習用音信号の周波数特性に接近させることのできる特性補正処理である。特性補正処理Z(2)は、マイク35の周波数特性がB特性であった場合には音信号の周波数特性を学習用音信号の周波数特性に接近させることのできる特性補正処理である。特性補正処理Z(3)は、マイク35の周波数特性がA特性改であった場合には音信号の周波数特性を学習用音信号の周波数特性に接近させることのできる特性補正処理である。
ステップS101において、CPU64は、ステップS99で補正した音信号である補正後音信号の時系列データと、ステップS67で取得した車両10の状態変数の時系列データを入力変数x(F)として写像に入力する。ステップS103において、CPU64は、写像の出力変数yを取得する。例えば、特性補正処理Z(1)を「第1特性補正処理」としたとき、カウンタFが1である場合の写像の出力変数yが「第1出力変数」に対応する。また例えば、特性補正処理Z(2)を「第2特性補正処理」としたとき、カウンタFが2である場合の写像の出力変数yが「第2出力変数」に対応する。
ステップS105において、CPU64は、ステップS103で取得した出力変数yを基に、マイク35が感知した音の発生要因を特定する。ステップS105の処理内容はステップS75の処理内容と略同等であるため、その詳細な説明は割愛する。
ステップS107において、CPU64はカウンタFを1だけインクリメントする。ステップS109において、CPU64は、カウンタFが判定値Fth以上であるか否かを判定する。判定値Fthとして、図2に示した機種データ73に記憶されているマイクの周波数特性の種類数が設定されている。図2に示す例ではマイクの周波数特性の種類数が5つであるため、判定値Fthとして5を設定するとよい。CPU64は、カウンタFが判定値Fth以上である場合(S109:YES)、処理をステップS111に移行する。一方、CPU64は、カウンタFが判定値Fth未満である場合(S109:NO)、処理をステップS99に移行する。
ステップS111において、CPU64は、異音の発生要因を選択する要因選択処理を実行する。すなわち、CPU64は、ステップS95で特定した発生要因と、ステップS105で特定した発生要因の中から何れか1つを選択する。例えば、CPU64は、多数決を取ることによって音の発生要因を選択する。異音の発生要因の選択が完了すると、CPU64は処理をステップS113に移行する。
ステップS113において、CPU64は、特定した音の発生要因に関する情報を通信機61から携帯端末30に送信させる。その後、CPU64は一連の処理を一旦終了する。
なお、端末制御装置39のCPU41は、データ解析センター60が送信した音の発生要因に関する情報を取得すると、当該情報が示す音の発生要因を乗員に通知する。例えば、CPU41は発生要因を表示画面33に表示する。
<写像の学習方法>
図7を参照し、写像に機械学習を施す学習装置80について説明する。
学習装置80には、学習用マイク35Aが感知した音に関する信号である学習用音信号が入力される。また、学習装置80には、学習用検出系11Aから検出信号が入力される。学習用検出系11Aを構成するセンサは、車両10の検出系11を構成するセンサと同じである。
学習装置80は、CPU81と第1記憶装置82と第2記憶装置83とを備えている。第1記憶装置82は、CPU81によって実行される制御プログラムを記憶している。第2記憶装置83には、機械学習が完了していない写像を規定する写像データ71aと、要因特定データ72とが記憶されている。
学習装置80は、写像の機械学習に先立って、複数の訓練データを取得する。訓練データは、写像の入力変数となる学習用音信号の時系列データ及び車両10の状態変数の時系列データと、学習用マイク35Aが感知した音の発生要因である学習用発生要因とを含んでいる。
学習装置80のCPU81は、訓練データに含まれる学習用音信号の時系列データ及び状態変数の時系列データを入力変数として写像に入力することにより、写像の出力変数y(1)~y(M)を取得する。続いて、CPU81は、上記ステップS75と同様に、出力変数y(1)~y(M)を基に音の発生要因を特定する。そして、CPU81は、特定した音の発生要因と、訓練データに含まれる学習用発生要因とを比較する。このとき、CPU81は、特定した音の発生要因が学習用発生要因と異なっている場合、出力変数y(1)~y(M)のうち、学習用発生要因に対応する出力変数が大きくなるように、写像の関数近似器における各種の変数を調整する。例えば学習用発生要因が第1発生要因の候補である場合、CPU81は、出力変数y(1)~y(M)の中で出力変数y(1)が最も大きくなるように写像の関数近似器における各種の変数を調整する。
こうした写像の機械学習が完了すると、機械学習済みの写像を規定する写像データ71がデータ解析センター60の第2記憶装置66に記憶される。
<本実施形態の作用>
車両10で発生した異音をマイク35が感知すると、マイク35が感知した音に関する音信号が、端末制御装置39のCPU41に取得される。そして、音信号は、車両10の状態変数とともにセンター制御装置63に送信される。さらに、マイク35の機種情報もセンター制御装置63に送信される。
センター制御装置63のCPU64は、取得したマイク35の機種情報に基づいて、音信号の周波数特性を補正する。マイク35の機種が学習用マイク35Aの機種とは異なるものの、マイク35の機種情報が機種データ73の中にあることがある。この場合、CPU64は、マイク35の機種に対応する特性補正処理を実行することによって、音信号の周波数特性が学習用音信号の周波数特性に接近するように音信号を補正する。続いて、CPU64は、補正した音信号を写像に入力することによって当該写像から出力された出力変数yを基に、音の発生要因を特定する。
また、マイク35の機種が学習用マイク35Aの機種と同じである場合、CPU64は、補正していない音信号を写像に入力する。そして、CPU64は、写像から出力された出力変数yを基に、音の発生要因を特定する。
一方、マイク35の機種情報が機種データ73にない場合、CPU64は、補正していない音信号を写像に入力することによって当該写像から出力された出力変数yを基に、音の発生要因の候補を特定する。この発生要因を「要因候補Zr」という。また、CPU64は、図6に示したステップS99からステップS109までの処理を繰り返し実行することにより、Fth個の発生要因の候補を特定する。そして、CPU64は、要因候補Zrと、Fth個の候補とを基に、音の発生要因を特定する。
CPU64は、上述のようにマイク35が感知した音の発生要因を特定すると、その情報を携帯端末30に送信する。すると、端末制御装置39のCPU41は、携帯端末30の所有者、すなわち車両10の乗員に対して音の発生要因を通知する。
<本実施形態の効果>
(1-1)マイク35の機種が学習用マイク35Aの機種とは異なっていても、マイク35の機種情報が機種データ73にある場合、その機種に応じた特性補正処理によって音信号が補正される。これにより、写像に入力する音信号の周波数特性が学習用音信号の周波数特性に接近する。その結果、音を感知したマイク35の機種の相違に起因する音信号の周波数特性のばらつきを小さくできる。そして、このように補正された音信号を写像に入力することによって当該写像から出力された出力変数yを基に、マイク35が感知した音の発生要因が特定される。これにより、マイク35の機種に応じた音の発生要因の特定精度のばらつきを小さくできる。
(1-2)センター制御装置63では、複数種類のマイクの機種に対応した特性補正処理を実行可能である。そのため、マイク35の機種を特定することにより、当該機種に対応した特性補正処理によって音信号を補正できる。そして、このように補正した音信号が写像に入力される。したがって、マイク35の機種に応じた音の発生要因の特定精度のばらつきを小さくする効果をより高くできる。
(1-3)マイク35の機種が学習用マイク35Aの機種と同じである場合には、特性補正処理が実行されない。そのため、特性補正処理の不要な実行を抑制できる分、センター制御装置63のCPU64の処理負荷の増大を抑制できる。
(1-4)マイク35の機種情報が機種データ73にない場合は、図6に示したステップS91からステップS109までの処理を実行することにより、多数の発生要因の候補が特定される。そして、複数の候補の中から音の発生要因が特定される。例えば、多数決で音の発生要因が特定される。これにより、マイク35の機種情報が機種データ73にない場合であっても、音の発生要因の特定精度の低下を抑制できる。
(1-5)機種データ73は、センター制御装置63の第2記憶装置66に記憶されている。また、図5及び図6に示した一連の処理は、センター制御装置63のCPU64によって実行される。そのため、新しい機種の携帯端末が発売した場合には、機種データ73を速やかに更新できる。また、新しいマイクの機種に対応する特性補正処理も容易に用意できる。したがって、こうした最新機種の携帯端末のマイクで異音を感知した場合であっても、音の発生要因の特定精度を高くできる。
(第2実施形態)
異音の発生要因特定方法及び発生要因特定装置の第2実施形態について図8を参照して説明する。なお、第2実施形態では、写像データなどが車両制御装置の記憶装置に記憶されている点などが第1実施形態と異なっている。以下の説明においては、第1実施形態と相違する部分について主に説明するものとし、第1実施形態と同一の部材構成には同一符号を付して重複説明を省略するものとする。
図8に示すシステムは、車両10と携帯端末30とを備えている。
車両10は、検出系11と通信機13と車両制御装置15Bとを備えている。車両制御装置15Bは、CPU16と第1記憶装置17と第2記憶装置18とを有している。第2記憶装置18は、写像データ71と、要因特定データ72と、機種データ73とを予め記憶している。
携帯端末30は、タッチパネル31と、表示画面33と、マイク35と、通信機37と、端末制御装置39とを備えている。
<発生要因特定方法>
図8に示したシステムでは、写像データ71、要因特定データ72及び機種データ73が車両制御装置15Bの第2記憶装置18に記憶されている。そのため、端末制御装置39のCPU41は、マイク35の機種情報を通信機37から車両制御装置15Bに送信させる。また、CPU41は、マイク35が感知した音に関する音信号を通信機37から車両制御装置15Bに送信させる。
車両制御装置15BのCPU16は、端末制御装置39から音信号を取得すると、図5及び図6に示した一連の処理におけるステップS69~S113の処理と同等の処理を実行する。すなわち、車両制御装置15BのCPU16が音の発生要因を特定する。
なお、本実施形態では、車両制御装置15B及び端末制御装置39により、「解析装置」の一例が構成される。端末制御装置39のCPU41及び車両制御装置15BのCPU16により、「解析装置の実行装置」の一例が構成される。CPU41及びCPU16のうち、CPU41が「第1実行装置」に対応し、CPU16が「第2実行装置」に対応する。車両制御装置15Bの第2記憶装置18が「解析装置の記憶装置」に対応する。さらに、車両制御装置15Bが「発生要因特定装置」の一例であるとしたとき、車両制御装置15BのCPU16が「発生要因特定装置の実行装置」に対応し、車両制御装置15Bの第2記憶装置18が「発生要因特定装置の記憶装置」に対応する。
<本実施形態の効果>
本実施形態では、上記第1実施形態の効果(1-1)~(1-4)と同等の効果に加え、以下に示す効果をさらに得ることができる。
(2-1)音信号及び車両10の状態変数を車外に設置されたデータ解析センター60に送らなくても、マイク35が感知した音の発生要因を特定できる。すなわち、携帯端末30とデータ解析センター60との通信が不安定な場合であっても、音の発生要因を特定できる。
(変更例)
上記複数の実施形態は、以下のように変更して実施することができる。上記複数の実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・第1実施形態では、特性補正処理をセンター制御装置63のCPU64で実行していたが、これに限らない。例えば、特性補正処理を端末制御装置39のCPU41で実行し、特性補正処理によって補正した音信号をセンター制御装置63に送信するようにしてもよい。この場合、端末制御装置39の第2記憶装置43に、機種データ73を記憶させておくことが好ましい。
・第2実施形態では、特性補正処理を車両制御装置15BのCPU16で実行していたが、これに限らない。例えば、特性補正処理を端末制御装置39のCPU41で実行し、特性補正処理によって補正した音信号を車両制御装置15Bに送信するようにしてもよい。この場合、端末制御装置39の第2記憶装置43に、機種データ73を記憶させておくことが好ましい。
・上記複数の実施形態において、マイク35の機種が学習用マイク35Aの機種と同じである場合でも、図5及び図6に示したステップS91~S111の処理と同等の処理を実行することにより、音の発生要因を特定するようにしてもよい。
・上記複数の実施形態において、マイク35の機種情報が機種データ73にある場合でも、図5及び図6に示したステップS91~S111の処理と同等の処理を実行することにより、音の発生要因を特定するようにしてもよい。
・上記複数の実施形態において、マイク35の機種情報が機種データ73にない場合、補正していない音信号を写像に入力することによって写像から出力された出力変数yを基に音の発生要因を特定するようにしてもよい。また、複数の特性補正処理の何れか1つの処理を規定の特性補正処理と設定する。そして、マイク35の機種情報が機種データ73にない場合には、規定の特性補正処理で補正した音信号を写像に入力することによって写像から出力された出力変数yを基に音の発生要因を特定するようにしてもよい。
・上記第1実施形態では、端末制御装置39からセンター制御装置63に音信号及び車両10の状態変数を送信していたが、これに限らない。例えば、音信号を端末制御装置39から車両制御装置15に送信し、音信号及び状態変数を車両制御装置15からセンター制御装置63に送信するようにしてもよい。
・上記複数の実施形態において、図6に示したステップS91~S109の処理の実行順序を変更してもよい。例えば、ステップS97~S109の処理を実行し、ステップS109の判定がYESになってからステップS91~ステップS95の処理を実行するようにしてもよい。
・上記複数の実施形態では、マイク35が感知した音の発生要因を特定した場合には、その特定結果を車両10の乗員に携帯端末30を通じて通知していたが、これに限らない。例えば、車載の装置を通じて特定結果を乗員に通知するようにしてもよい。
・上記複数の実施形態において、マイク35が感知した音の発生要因を特定した場合に、その特定結果を車両10の乗員に通知することは必須ではない。
・車両10の車室にマイクが設置されている場合、当該マイクが感知した音の発生要因を特定するようにしてもよい。
具体的には、上記第1実施形態では、車両制御装置15のCPU16が音信号を取得することになる。そのため、CPU16が、音信号をデータ解析センター60に送信することになる。この場合、車両制御装置15とセンター制御装置63とにより、「解析装置」の一例が構成されるため、車両制御装置15のCPU16とセンター制御装置63のCPU64により、「解析装置の実行装置」の一例が構成される。そして、CPU16とCPU64のうち、CPU16が「第1実行装置」に対応し、CPU64が「第2実行装置」に対応する。
上記第2実施形態でも、車両制御装置15BのCPU16が音信号を取得することになる。この場合、車両制御装置15Bが「解析装置」に対応するため、車両制御装置15BのCPU16が「解析装置の実行装置」に対応する。
・ニューラルネットワークは、中間層が1層のフィードフォワードネットワークに限らない。例えば、ニューラルネットワークは、中間層が2層以上のネットワークであってもよいし、畳み込みニューラルネットワークやリカレントニューラルネットワークであってもよい。
・機械学習による学習済みモデルは、ニューラルネットワークでなくてもよい。例えば、学習済みモデルとして、サポートベクトルマシンを採用してもよい。
・センター制御装置63、端末制御装置39及び車両制御装置15,15Bは、CPUとROMとを備えて、ソフトウェア処理を実行するものに限らない。すなわち、こうした制御装置は、以下(a)~(c)の何れかの構成であればよい。
(a)制御装置は、コンピュータプログラムに従って各種処理を実行する一つ以上のプロセッサを備えている。プロセッサは、CPU並びに、RAM及びROMなどのメモリを含んでいる。メモリは、処理をCPUに実行させるように構成されたプログラムコード又は指令を格納している。メモリ、すなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含んでいる。
(b)制御装置は、各種処理を実行する一つ以上の専用のハードウェア回路を備えている。専用のハードウェア回路としては、例えば、特定用途向け集積回路、すなわちASIC又はFPGAを挙げることができる。なお、ASICは、「Application Specific Integrated Circuit」の略記であり、FPGAは、「Field Programmable Gate Array」の略記である。
(c)制御装置は、各種処理の一部をコンピュータプログラムに従って実行するプロセッサと、各種処理のうちの残りの処理を実行する専用のハードウェア回路とを備えている。
<技術的思想>
次に、上記複数の実施形態及び複数の変更例から把握できる技術的思想について記載する。
(技術的思想1)マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが解析装置の記憶装置に記憶されており、
前記写像は機械学習が施されたものであり、
前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
前記解析装置の実行装置に、
前記マイクが感知した音に関する前記音信号を取得する音信号取得処理と、
前記マイクの機種に関する情報である機種情報を取得する機種情報取得処理と、
前記機種情報取得処理で取得した前記機種情報に応じた補正によって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる特性補正処理と、
前記特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する変数取得処理と、
前記変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する要因特定処理と、を実行させる、異音の発生要因特定方法。
(技術的思想2)前記記憶装置には、複数の前記機種情報が記憶されており、
前記機種情報取得処理で取得した前記機種情報が、前記複数の機種情報の中の第1機種情報である場合には、前記特性補正処理として、前記第1機種情報に応じた補正を実施することによって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる第1特性補正処理を前記実行装置に実行させ、
前記機種情報取得処理で取得した前記機種情報が、前記複数の機種情報の中の第2機種情報である場合には、前記特性補正処理として、前記第2機種情報に応じた補正を実施することによって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる第2特性補正処理を前記実行装置に実行させる、技術的思想1に記載の異音の発生要因特定方法。
(技術的思想3)前記機種情報取得処理で取得した前記機種情報が、前記記憶装置に記憶されていない場合に、
前記第1特性補正処理及び前記第2特性補正処理を前記実行装置に実行させ、
前記変数取得処理では、
前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、
前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、
前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得し、
前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を前記実行装置に実行させる、技術的思想2に記載の異音の発生要因特定方法。
(技術的思想4)前記要因特定処理を第1要因特定処理としたとき、
前記機種情報取得処理で取得した前記機種情報によって示される前記マイクの機種が、前記学習用マイクの機種と同じである場合に、
前記実行装置に、
前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する基準変数取得処理と、
前記基準変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する第2要因特定処理と、を実行させる、技術的思想1~技術的思想3のうち何れか一項に記載の異音の発生要因特定方法。
(技術的思想5)マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが解析装置の記憶装置に記憶されており、
前記写像は機械学習が施されたものであり、
前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
前記解析装置の実行装置に、
前記マイクが感知した音に関する前記音信号を取得する音信号取得処理と、
前記マイクの機種に関する情報である機種情報を取得する機種情報取得処理と、
前記音信号取得処理で取得した前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第1機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第1特性補正処理と、
前記音信号取得処理で取得した前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第2機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第2特性補正処理と、
前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得する変数取得処理と、
前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を実行させる、異音の発生要因特定方法。
(技術的思想6)前記実行装置は、前記車両又は当該車両の乗員が所有する携帯端末に設けられている第1実行装置と、前記車両の外部に設けられている第2実行装置と、を備えるものであり、
前記第2実行装置に、前記特性補正処理と、前記変数取得処理と、前記要因特定処理と、を実行させる、技術的思想1~技術的思想4のうち何れか一項に記載の異音の発生要因特定方法。
(技術的思想7)前記実行装置は、前記車両又は当該車両の乗員が所有する携帯端末に設けられている第1実行装置と、前記車両の外部に設けられている第2実行装置と、を備えるものであり、
前記第2実行装置に、前記第1特性補正処理と、前記第2特性補正処理と、前記変数取得処理と、前記要因選択処理と、を実行させる、技術的思想5に記載の異音の発生要因特定方法。
(技術的思想8)マイクが感知した音の発生要因を特定する異音の発生要因特定装置であって、
前記発生要因特定装置は、実行装置と記憶装置とを備え、
前記記憶装置には、前記マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが記憶されており、
前記写像は機械学習が施されたものであり、
前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
前記実行装置は、
前記マイクの機種に関する情報である機種情報に応じた補正によって、前記マイクが感知した音に関する前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる特性補正処理と、
前記特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する変数取得処理と、
前記変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する要因特定処理と、を実行する、異音の発生要因特定装置。
(技術的思想9)マイクが感知した音の発生要因を特定する異音の発生要因特定装置であって、
前記発生要因特定装置は、実行装置と記憶装置とを備え、
前記記憶装置には、前記マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが記憶されており、
前記写像は機械学習が施されたものであり、
前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
前記実行装置は、
前記マイクが感知した音に関する前記音信号の周波数特性を補正する処理であって、前記マイクの機種情報が第1機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第1特性補正処理と、
前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第2機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第2特性補正処理と、
前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、補正されていない前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得する変数取得処理と、
前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を実行する、異音の発生要因特定装置。
10…車両
15,15B…車両制御装置
16…CPU
18…第2記憶装置
30…携帯端末
35…マイク
35A…学習用マイク
39…端末制御装置
41…CPU
60…データ解析センター
63…センター制御装置
64…CPU
66…第2記憶装置
71…写像データ

Claims (9)

  1. マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが解析装置の記憶装置に記憶されており、
    前記写像は機械学習が施されたものであり、
    前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
    前記解析装置の実行装置に、
    前記マイクが感知した音に関する前記音信号を取得する音信号取得処理と、
    前記マイクの機種に関する情報である機種情報を取得する機種情報取得処理と、
    前記機種情報取得処理で取得した前記機種情報に応じた補正によって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる特性補正処理と、
    前記特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する変数取得処理と、
    前記変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する要因特定処理と、を実行させる
    異音の発生要因特定方法。
  2. 前記記憶装置には、複数の前記機種情報が記憶されており、
    前記機種情報取得処理で取得した前記機種情報が、前記複数の機種情報の中の第1機種情報である場合には、前記特性補正処理として、前記第1機種情報に応じた補正を実施することによって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる第1特性補正処理を前記実行装置に実行させ、
    前記機種情報取得処理で取得した前記機種情報が、前記複数の機種情報の中の第2機種情報である場合には、前記特性補正処理として、前記第2機種情報に応じた補正を実施することによって、前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる第2特性補正処理を前記実行装置に実行させる
    請求項1に記載の異音の発生要因特定方法。
  3. 前記機種情報取得処理で取得した前記機種情報が、前記記憶装置に記憶されていない場合に、
    前記第1特性補正処理及び前記第2特性補正処理を前記実行装置に実行させ、
    前記変数取得処理では、
    前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、
    前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、
    前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得し、
    前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を前記実行装置に実行させる
    請求項2に記載の異音の発生要因特定方法。
  4. 前記要因特定処理を第1要因特定処理としたとき、
    前記機種情報取得処理で取得した前記機種情報によって示される前記マイクの機種が、前記学習用マイクの機種と同じである場合に、
    前記実行装置に、
    前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する基準変数取得処理と、
    前記基準変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する第2要因特定処理と、を実行させる
    請求項1に記載の異音の発生要因特定方法。
  5. マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが解析装置の記憶装置に記憶されており、
    前記写像は機械学習が施されたものであり、
    前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
    前記解析装置の実行装置に、
    前記マイクが感知した音に関する前記音信号を取得する音信号取得処理と、
    前記マイクの機種に関する情報である機種情報を取得する機種情報取得処理と、
    前記音信号取得処理で取得した前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第1機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第1特性補正処理と、
    前記音信号取得処理で取得した前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第2機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第2特性補正処理と、
    前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、前記音信号取得処理で取得した前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得する変数取得処理と、
    前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を実行させる
    異音の発生要因特定方法。
  6. 前記実行装置は、前記車両又は当該車両の乗員が所有する携帯端末に設けられている第1実行装置と、前記車両の外部に設けられている第2実行装置と、を備えるものであり、
    前記第2実行装置に、前記特性補正処理と、前記変数取得処理と、前記要因特定処理と、を実行させる
    請求項1に記載の異音の発生要因特定方法。
  7. 前記実行装置は、前記車両又は当該車両の乗員が所有する携帯端末に設けられている第1実行装置と、前記車両の外部に設けられている第2実行装置と、を備えるものであり、
    前記第2実行装置に、前記第1特性補正処理と、前記第2特性補正処理と、前記変数取得処理と、前記要因選択処理と、を実行させる
    請求項5に記載の異音の発生要因特定方法。
  8. マイクが感知した音の発生要因を特定する異音の発生要因特定装置であって、
    前記発生要因特定装置は、実行装置と記憶装置とを備え、
    前記記憶装置には、前記マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが記憶されており、
    前記写像は機械学習が施されたものであり、
    前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
    前記実行装置は、
    前記マイクの機種に関する情報である機種情報に応じた補正によって、前記マイクが感知した音に関する前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させる特性補正処理と、
    前記特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を取得する変数取得処理と、
    前記変数取得処理で取得した前記変数を基に、前記マイクが感知した音の発生要因を特定する要因特定処理と、を実行する
    異音の発生要因特定装置。
  9. マイクが感知した音の発生要因を特定する異音の発生要因特定装置であって、
    前記発生要因特定装置は、実行装置と記憶装置とを備え、
    前記記憶装置には、前記マイクが感知した音に関する信号である音信号を入力とし、車両での音の発生要因に関する変数を出力する写像を規定する写像データが記憶されており、
    前記写像は機械学習が施されたものであり、
    前記写像に機械学習を施す際に当該写像に入力される前記音信号を学習用音信号とし、前記学習用音信号が示す音を感知した前記マイクを学習用マイクとしたとき、
    前記実行装置は、
    前記マイクが感知した音に関する前記音信号の周波数特性を補正する処理であって、前記マイクの機種情報が第1機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第1特性補正処理と、
    前記音信号の周波数特性を補正する処理であって、前記マイクの前記機種情報が第2機種情報である場合には前記音信号の周波数特性を前記学習用音信号の周波数特性に接近させることのできる処理である第2特性補正処理と、
    前記第1特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第1出力変数として取得し、前記第2特性補正処理で補正した前記音信号を前記写像に入力することによって当該写像から出力された変数を第2出力変数として取得し、補正されていない前記音信号を前記写像に入力することによって当該写像から出力された変数を第3出力変数として取得する変数取得処理と、
    前記第1出力変数に基づいた前記音の発生要因、前記第2出力変数に基づいた前記音の発生要因、及び前記第3出力変数に基づいた前記音の発生要因の中から、前記音の発生要因を選択する要因選択処理と、を実行する
    異音の発生要因特定装置。
JP2022092253A 2022-06-07 2022-06-07 異音の発生要因特定方法、及び異音の発生要因特定装置 Pending JP2023179143A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022092253A JP2023179143A (ja) 2022-06-07 2022-06-07 異音の発生要因特定方法、及び異音の発生要因特定装置
EP23169753.3A EP4290517A1 (en) 2022-06-07 2023-04-25 Noise generation cause identifying method and noise generation cause identifying device
US18/307,842 US20240096145A1 (en) 2022-06-07 2023-04-27 Noise generation cause identifying method and noise generation cause identifying device
CN202310656448.8A CN117194888A (zh) 2022-06-07 2023-06-05 异响发生因素确定方法以及异响发生因素确定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022092253A JP2023179143A (ja) 2022-06-07 2022-06-07 異音の発生要因特定方法、及び異音の発生要因特定装置

Publications (1)

Publication Number Publication Date
JP2023179143A true JP2023179143A (ja) 2023-12-19

Family

ID=86226714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022092253A Pending JP2023179143A (ja) 2022-06-07 2022-06-07 異音の発生要因特定方法、及び異音の発生要因特定装置

Country Status (4)

Country Link
US (1) US20240096145A1 (ja)
EP (1) EP4290517A1 (ja)
JP (1) JP2023179143A (ja)
CN (1) CN117194888A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755691B1 (en) * 2019-05-21 2020-08-25 Ford Global Technologies, Llc Systems and methods for acoustic control of a vehicle's interior
KR20190103086A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 지능형 진단 디바이스와 이를 구비하는 냉장고
JP7452171B2 (ja) 2020-03-26 2024-03-19 トヨタ自動車株式会社 異音の発生箇所特定方法
KR20210130325A (ko) * 2020-04-21 2021-11-01 현대자동차주식회사 노이즈 제어 장치, 그를 가지는 차량 및 그 제어 방법

Also Published As

Publication number Publication date
US20240096145A1 (en) 2024-03-21
EP4290517A1 (en) 2023-12-13
CN117194888A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN112015489A (zh) 一种车载软件的管理方法、装置、存储介质及系统
CN105691406A (zh) 用于交通工具内建议和自动化动作的系统和方法
CN112149221B (zh) 考虑液体附加质量的油箱流固耦合瞬态分析方法及系统
CN111527389A (zh) 一种车辆诊断方法及一种车辆诊断设备和存储介质
JP2023179143A (ja) 異音の発生要因特定方法、及び異音の発生要因特定装置
WO2022108580A1 (en) Detecting and handling driving event sounds during a navigation session
US20230205624A1 (en) Integrity check device for safety sensitive data and electronic device including the same
CN112256006B (zh) 一种数据的处理方法、装置及电子设备
CN116776595A (zh) 碳排放工艺流程构建方法、装置、设备及存储介质
TW201739645A (zh) 行車資訊顯示方法
US20220369059A1 (en) Active sound design (asd) tuning device of vehicle and method thereof
JP7252862B2 (ja) 制御装置、制御システムおよび制御方法
US20220405546A1 (en) Electronic device for converting artificial intelligence model and operating method thereof
US20230004988A1 (en) Systems and methods for utilizing feedback data
US11645036B2 (en) Electronic device and operating method for providing feedback information in response to user input
JP2024004119A (ja) 写像の学習方法
CN108871356B (zh) 一种行车导航方法、移动终端
JP5341726B2 (ja) 車両診断装置及び車両診断方法
US11893839B2 (en) Performance system for analyzing a vehicle's performance
US20240123923A1 (en) Cockpit domain control device and method for detecting display error by using cockpit domain control device
CN113469159B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
US11593568B2 (en) Agent system, agent processing method, and non-transitory storage medium that stores an agent processing program
EP4404153A1 (en) Target object positioning method and apparatus, computer device, and storage medium
EP4425975A1 (en) Communicating vehicle signal information using extended identifiers
US20220388529A1 (en) Apparatus for generating vibration for vehicle, and method thereof