JP2023160628A - 特定装置 - Google Patents

Abstract

【課題】異音の発生原因を適切に特定することが可能な特定装置を提供すること。【解決手段】本開示にかかる特定装置１０は、複数の位置のそれぞれで取得された音を示す音情報を入力とし、音に含まれる異音の発生原因を出力とする特定モデル（学習モデル）１５１を記憶する記憶部１５と、対象物から発生した音を示す音情報を複数の位置のそれぞれで取得する音情報取得部１１と、特定モデル１５１を用いて、取得された複数の音情報から、取得された音に含まれる異音の発生原因を特定する特定部１４と、を備える。特定モデル１５１は、複数の位置間における音情報の変化を特徴量として学習することにより生成されている。【選択図】図４

Description

本開示は、特定装置に関する。

ある装置において異音（異常音）が発生した場合、当該装置において発生した異音の音情報を取得し、取得した音情報と、当該装置と同等の装置において過去に発生した異音の音情報と、を比較して、異音の発生原因を推定する技術が知られている。

例えば、特許文献１は、音情報を取得する取得手段と、音情報を取得する位置に関する位置情報を受け付ける受付手段と、音信号の周波数解析を行って得た複数の解析結果の中から選択された解析結果を表示する表示手段と、を備える端末装置を開示する。当該表示手段は、取得手段により取得された音情報の周波数解析を行って得た解析結果に類似する解析結果のうち、受付手段により受け付けられた位置情報に基づいて選択された解析結果を表示する。当該端末装置では、位置情報に基づいて選択された過去の異音データと、今回録音したデータと、を比較することにより、異音の原因を特定する。

特開２０１７－１１６４７３号公報

特許文献１が開示するような技術を用いた場合、異音の録音位置の相違により、取得されるデータの特性に変化が生じる可能性がある。特許文献１が開示する技術では、このような特性の変化を用いて異音原因を特定する考えはなく、推定の精度が向上しない可能性があった。

本開示の目的は、上述した課題を鑑み、異音の発生原因を適切に特定することが可能な特定装置を提供することにある。

本開示にかかる特定装置は、
複数の位置のそれぞれで取得された音を示す音情報を入力とし、前記音に含まれる異音の発生原因を出力とする学習モデルを記憶する記憶部と、
対象物から発生した音を示す音情報を複数の位置のそれぞれで取得する音情報取得部と、
前記学習モデルを用いて、取得された複数の前記音情報から、取得された前記音に含まれる異音の発生原因を特定する特定部と、を備え、
前記学習モデルは、前記複数の位置間における前記音情報の変化を特徴量として学習することにより生成されている
特定装置。

本開示にかかる特定装置は、異音の発生原因を適切に特定することを可能とする。

実施形態にかかる特定システムの構成を示すブロック図である。 実施形態にかかる特定装置の構成と、走行制御装置との間のデータの入出力関係を示す図である。 実施形態にかかる特定モデルの一例を示す図である。 実施形態にかかる特定装置が行う特定処理を示すフローチャートである。 実施形態にかかる異音の取得位置の一例を示す図である。 実施形態にかかる第１位置で取得される異音データの一例を示す図である。 実施形態にかかる車両情報から推定され得る異音の発生領域の一例を示す図である。 実施形態にかかる第２位置で取得される異音データの一例を示す図である。 実施形態にかかる第３位置で取得される異音データの一例を示す図である。 実施形態にかかる第４位置で取得される異音データの一例を示す図である。 実施形態にかかる特定装置等を実現するコンピュータのハードウエア構成を例示するブロック図である。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されている。説明の明確化のため、必要に応じて重複説明は省略される。

＜特定システム１００の概要＞
図１を参照して、実施形態にかかる特定システム１００の概要について説明する。図１は、特定システム１００の構成を示すブロック図である。特定システム１００は、サーバ２０及び特定装置１０を備えている。サーバ２０及び特定装置１０及は、それぞれ第１ゲートウェイＥＣＵ５１及び第２ゲートウェイＥＣＵ５２を介して、車両５に搭載された走行制御装置５０と接続されている。走行制御装置５０は、車両５の走行等に関する各種制御を行う制御装置である。

本実施形態では、第１ゲートウェイＥＣＵ５１とサーバ２０とは、無線通信を使用して通信を行う。同様に、第２ゲートウェイＥＣＵ５２と特定装置１０とは、無線通信を使用して通信を行う。これに限らず、サーバ２０及び特定装置１０は、有線により走行制御装置５０と接続されてもよい。また、特定装置１０とサーバ２０とは、有線又は無線により直接通信可能に接続されてもよい。

特定システム１００は、特定装置１０が所定の特定処理を実行することで、対象物で発生した異音の発生原因を特定する情報処理システムである。対象物は、例えば車両や装置などである。本実施形態では、特定装置１０は、車両５で発生した異音の原因を特定する例を用いて説明を行う。

特定装置１０は、車両等に搭載される専用の装置として実現されてもよいし、ユーザが使用する携帯電話端末、スマートフォン、タブレット端末、又はＰＣ（Personal Computer）などの情報端末により実現されてもよい。本実施形態では、特定装置１０の一例として、ユーザの携帯電話端末が特定装置１０として実現される例を用いて説明する。特定装置１０の詳細については後述する。

＜サーバ２０＞
サーバ２０は、第１ゲートウェイＥＣＵ５１を介して、走行制御装置５０との間で各種情報を送受信する。またサーバ２０は、特定装置１０との間で各種情報を送受信する。サーバ２０は、例えば、特定装置１０における特定処理により得られた車両５における異音の発生原因を、走行制御装置５０又は特定装置１０から取得する。サーバ２０は、取得した情報を図示しない記憶装置に格納する。サーバ２０が特定結果を蓄積することで、以降の特定処理に当該結果を活用することができる。サーバ２０は、ＰＣなどの情報処理端末であってよい。

＜特定システム１００の詳細＞
続いて、図２を参照して、特定システム１００の構成を詳細に説明する。図２は、特定システム１００が備える特定装置１０の構成と、走行制御装置５０との間のデータの入出力関係を示す図である。走行制御装置５０と特定装置１０とは、車両５が備える第２ゲートウェイＥＣＵ５２を介して無線通信により通信可能である。なお、図２では、第２ゲートウェイＥＣＵ５２の図示を省略している。

＜走行制御装置５０＞
走行制御装置５０は、車両５に走行等に関する各種制御を行う制御装置である。走行制御装置５０は、車両５の状態に関する車両情報を取得し、特定装置１０に送信する。車両情報は、例えば車両５の走行状態に関する情報を含み得る。車両情報は、特定装置１０における特定処理において用いられ得る。なお、本実施形態では、特定装置１０が、後述する音情報と共に車両情報を取得して特定処理を行う場合を用いて説明するが、特定装置１０は必ずしも車両情報を取得しなくともよい。

図２を参照して、車両情報の一例を説明する。図に示されるように、走行制御装置５０は、車両５が備える各種センサや各種制御装置との間で情報（データ又は信号など）の送受信を行うことで車両５を制御する。なお、同図に示される一方向矢印及び双方向矢印は、情報の流れを端的に示したものであり、情報の方向性は図示されたものに限定されない。例えば、図に示される一方向矢印は、情報の双方向性を排除するものではない。

走行制御装置５０は、例えば、スイッチ群６１、シフトポジションセンサ６２、ステアリングセンサ６３、自車位置センサ６４、車速センサ６５、及びアクセル開度センサ６６から、それぞれで検出されたデータを車両情報として取得する。

スイッチ群６１は、自動運転制御などの運転者の運転支援制御に関するスイッチ群である。スイッチ群６１は、例えば、速度を予め設定された一定速で走行制御させるスイッチや、先行車との車間距離又は車間時間を予め設定された一定値に維持して追従制御させるためのスイッチなどを含み得る。これらに限らず、スイッチ群６１は他の制御に関するスイッチを含んでもよい。また、スイッチ群６１は、それらの制御を解除するスイッチを含んでもよい。

シフトポジションセンサ６２は、車両５が備えるシフトレバーの操作ポジションを検出する。ステアリングセンサ６３は、車両５が備えるステアリングホイールの操舵角及び操舵方向を検出する。自車位置センサ６４は、例えばＧＮＳＳ（Global Navigation Satellite System）などの技術を用いて、車両５の現在位置を示す位置情報を検出する。車速センサ６５は、車両５の車速を検出する。アクセル開度センサ６６は、運転者の加速操作の大きさを示す加速操作量として、アクセル開度を検出する。加速操作量は、例えば、アクセルペダルなどのアクセル操作部材の操作量により示されてよい。なお、アクセル開度に限らず、例えばスロットル弁開度センサを用いて、スロットル弁開度を検出するようにしてもよい。

また、走行制御装置５０は、運転者や同乗者に対する報知を行うための出力情報を生成し、表示装置６７及び音声出力装置６８に当該情報を出力させる。表示装置６７及び音声出力装置６８は、車両５の走行に関する情報を運転者に対して報知することが可能な出力装置である。表示装置６７は、例えば、運転者に対して視覚的な警告や報知を行う。また音声出力装置６８は、運転者に対して聴覚的な警告や報知を行う。表示装置６７は、例えば、モニタ、ディスプレイ、又はアラームランプなどであってよい。音声出力装置６８は、例えば、スピーカやブザーなどであってよい。

表示装置６７及び音声出力装置６８は、異音の発生原因の特定結果を特定装置１０から取得して、特定結果を出力するなどしてもよい。また、表示装置６７及び音声出力装置６８は、車両５における部品の故障、部品の機能低下、又はその他の異常に関する報知を行ってもよい。

そして、走行制御装置５０は、エンジン制御装置６９、ステアリング制御装置７０、ブレーキ制御装置７１、及び変速制御装置７２との間で、各制御装置が行う制御に関する情報を授受する。走行制御装置５０は、エンジン制御装置６９、ステアリング制御装置７０、ブレーキ制御装置７１、及び変速制御装置７２のそれぞれから受け取った当該情報を、車両情報として特定装置１０に送信してもよい。

エンジン制御装置６９は、車両５が備えるエンジンを制御する制御装置である。エンジンは、例えば、例えばガソリンエンジンやディーゼルエンジン等の公知の内燃機関である。ステアリング制御装置７０は、例えば車速や操舵角などに応じたアシストトルクを車両５の操舵系に付与し、操舵系を制御する制御装置である。

ブレーキ制御装置７１は、例えば、車輪にホイールブレーキによる制動トルクを付与することでブレーキを制御する制御装置である。ブレーキ制御装置７１は、運転者によるブレーキペダルの踏込操作などに応じて、ブレーキ動作を制御する。ブレーキ制御装置７１は、例えば、ブレーキ信号がＯＮ状態であるか又はＯＦＦ状態であるか、を車両情報として走行制御装置５０に出力し得る。変速制御装置７２は、車両５が備える変速機を制御する制御装置である。

なお、図２に示される車両情報は一例であるので、車両情報として他の情報が用いられてもよい。例えば、車両情報は、車両５に搭載される各種ＥＣＵ（Electric Control Unit）が生成するＤＴＣ（Diagnostic Trouble Code）情報を含んでもよい。また、車両情報は、車両５の走行時に限らず、停止時における車両５の状態を示す情報を含んでもよい。

＜特定装置１０＞
引き続き図２を参照して、特定装置１０の構成について説明する。特定装置１０は、音情報取得部１１、車両情報取得部１２、ＦＦＴ解析部１３、特定部１４、記憶部１５、及び表示部１６を備えている。

音情報取得部１１は、対象物である車両５から発生した音を示す音情報を、複数の位置のそれぞれで取得する。また、音情報取得部１１は、取得した音情報を特定部１４に出力する。音情報取得部１１は、例えば、車両５で発生する音を検出することが可能なマイクロフォンなどにより構成され得る。音情報は、例えば、当該マイクロフォンで収録したアナログ信号をＡＤ変換（Analog Digital Convert）することで得られるデジタル信号である。

ユーザが特定装置１０を持ちながら車両５内を移動することにより、音情報取得部１１は、車両５内の複数の位置のそれぞれにおいて音を検出することができる。なお、ユーザは、特定装置１０を車両５の外部に持ち運ぶことができるので、音情報取得部１１は、車両５外で観測される音を検出してもよい。音情報取得部１１は、検出された複数の音に対応する複数の音情報を取得する。音情報取得部１１が取得する音情報は、車両５における異常を示す異音の情報を含み得る。また、音情報は、車両５が正常な状態でも発生する暗騒音の情報を含み得る。

車両情報取得部１２は、走行制御装置５０から車両情報を取得する。例えば、車両情報取得部１２は、スイッチ群６１、シフトポジションセンサ６２、ステアリングセンサ６３、自車位置センサ６４、車速センサ６５、及びアクセル開度センサ６６で検出されたデータを車両情報として取得する。すなわち、車両情報取得部１２は、車両５におけるスイッチ信号、シフトレバーの操作ポジション、ステアリングホイールの操舵角及び操舵方向、位置情報、車速、及びアクセル開度などを取得し得る。

また、車両情報取得部１２は、エンジン制御装置６９、ステアリング制御装置７０、ブレーキ制御装置７１、及び変速制御装置７２から、車両５の制御に関する情報を車両情報として取得する。すなわち、車両情報取得部１２は、エンジン制御に関する情報、ステアリング制御に関する情報、ブレーキ制御に関する情報、及び変速制御に関する情報などを取得し得る。

車両情報取得部１２は、上述した車両情報の一部のみを取得してもよいし、全てを取得してもよい。また、これら以外の情報を車両情報として取得してもよい。音情報取得部１１で取得される音情報に加え、車両情報取得部１２において上述のような車両情報を取得することにより、特定装置１０は、より精度よく異音の原因を特定することができる。

ＦＦＴ解析部１３は、音情報取得部１１で取得された音情報を、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）処理を行うことにより周波数解析する。ＦＦＴ解析部１３は、解析結果を特定部１４に出力する。

特定部１４は、記憶部１５に格納された特定モデル（学習モデル）１５１を用いて、取得された複数の音情報から、異音の発生原因を特定する。特定部１４は、記憶部１５に格納された特定モデル１５１を用いて、所定の演算を行うことで、音情報取得部１１で取得された未知の音情報に含まれる異音の発生原因を特定する特定処理を行う。

ここで、特定モデル１５１について説明する。特定モデル１５１は、複数の位置のそれぞれで取得された複数の音情報を入力とし、音情報に含まれる異音の発生原因を出力とするように学習された学習済みモデルである。また、特定モデル１５１は、当該複数の位置間における音情報の変化を特徴量として学習することにより生成されている。特定部１４は、特定モデル１５１を用いて、音情報取得部１１で取得された複数の音情報から当該音情報に含まれる異音の発生原因を特定することができる。

学習において用いられるアルゴリズムは特に限定されるものではなく、公知の技術が用いられてよい。例えば、特定モデル１５１には、人工知能（ＡＩ：Artificial Intelligence）が適用されてもよい。特定モデル１５１としては、例えば、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）などを用いたニューラルネットワークモデルに対して深層学習を実施したものが用いられてよい。

図３は、特定モデル１５１の一例を示す図である。特定モデル１５１は、車両５で取得される音情報や、走行制御装置５０から取得される車両情報をベースとしたニューラルネットワークである。特定モデル１５１は、コンピュータプログラムによるソフトウエアにより、又は電子的素子の結合から成るハードウエアにより、生体の神経細胞群をモデル化して構成され得る。

図３に示されるように、特定モデル１５１は、ｉ個の神経細胞要素Ｐ１１、Ｐ２１、・・・、Ｐｉ１から構成された入力層、ｊ個の神経細胞要素Ｐ１２、Ｐ２２、・・・、Ｐｊ２から構成された中間層、及び、ｋ個の神経細胞要素Ｐ１３、Ｐ２３、・・・、Ｐｋ３から構成された出力層から構成された多層構造である。図３に示される構造は一例であり、特定モデル１５１の構造はこれに限定されない。

特定モデル１５１では、入力層から出力層へ向かって神経細胞要素の状態を伝達するために、重み付け値Ｗ１１、Ｗ２１、・・・、Ｗｉｊを有する伝達要素Ｄｉｊと、重み付け値Ｗ１２、Ｗ２２、・・・、Ｗｊｋを有する伝達要素Ｄｊｋと、が設けられている。伝達要素Ｄｉｊは、神経細胞要素Ｐ１１、Ｐ２１、・・・、Ｐｉ１と、神経細胞要素Ｐ１２、Ｐ２２、・・・、Ｐｊ２と、をそれぞれ結合する。また、伝達要素Ｄｊｋは、神経細胞要素Ｐ１２、Ｐ２２、・・・、Ｐｊ２と、神経細胞要素Ｐ１３、Ｐ２３、・・・、Ｐｋ３と、をそれぞれ結合する。特定モデル１５１は、重み付け値Ｗ１１、Ｗ２１、・・・、Ｗｉｊ、及び、Ｗ１２、Ｗ２２、・・・、Ｗｊｋが所定のアルゴリズムによって機械学習されている。

特定モデル１５１における教師あり学習では、例えば、異音を入力とし、異音の原因を出力とした機械学習が行われる。当該異音は、無響室や実験室において、高精度のマイクロフォンを用いて取得され得る。これに限らず、街中などの環境において、異音が取得されてもよい。取得された異音は、周波数特性により表され得る。

例えば、無響室において、車両５で特定された教師信号を学習に用いるとする。入力層に対する教師信号は、例えば、車両５の異常発生時の異音の音情報の他、異音発生時の車両情報が用いられ得る。入力層に対する教師信号は、図に示される特徴量Ｘ１１、Ｘ２１、Ｘ３１、Ｘ４１、・・・、Ｘｉ１のように、例えば、異音、車速、アクセル開度、及びブレーキ信号などが用いられ得る。ここで、特徴量Ｘ１１は、異音が取得された複数の位置間における音情報の変化を含み得る。

また、出力層に対する教師信号は、特徴量Ｘ１１、Ｘ２１、Ｘ３１、Ｘ４１、・・・、Ｘｉ１に基づいて特定された、出力Ｙ１３、Ｙ２３、・・・、Ｙｋ３である。図の例では、Ｙ１３及びＹ２３として異音の原因及び当該異音の原因の確率を示している。特定モデル１５１は、上述のような入力層及び出力層に対する教師信号を用いて、予め学習を行う。なお、車両５に限らず、他の車両を用いて学習を行ってもよい。

特定部１４は、複数の位置のそれぞれで取得された音情報を特定モデル１５１に入力し、出力として、音情報に含まれる異音の発生原因を取得する。特定部１４は、当該発生原因の確率を取得してもよい。これにより、特定部１４は、異音の発生原因及びその確率を特定することができる。

また、特定部１４は、異音の発生原因を特定するために、ユーザに対して行う報知を制御する。例えば、特定部１４は、ユーザが特定装置１０を使用して、複数の位置で音情報を取得することを促すための報知情報を生成する。報知情報は、例えば、文字、画像、音声、又は振動などにより報知を行うための情報であってよい。

報知情報は、例えば、異音が聞こえる位置において、特定装置１０を用いて異音を含む音情報を取得することを、ユーザに対して促すものであってよい。また、報知情報は、当該異音が聞こえる位置から、ユーザが異音源に近付くように移動すること又は異音源から遠ざかるように移動することを促すものであってもよい。さらに、報知情報は、移動後の位置において、特定装置１０を用いて音情報を取得すること、を促すものであってよい。

例えば、特定部１４は、上述のような報知情報を示すメッセージを表示するための表示情報を生成して表示部１６に出力する。表示情報は、例えば、「異音が聞こえる位置に移動してください。」、「異音に近付いてください。」、「異音から遠ざかってください。」、「その位置で音を測定してください。」などのメッセージを示す文字情報などであってよい。ユーザは、このような指示を表示部１６で視認し、指示に従い移動する。ユーザの移動に伴い、特定装置１０は、複数の位置のそれぞれで音情報を取得する。

このように、表示部１６において移動を促すメッセージが表示されることで、ユーザは、複数の位置での異音の検出を容易に行うことができる。これにより、音情報取得部１１において、複数の位置のそれぞれで音情報を取得することができる。また、特定部１４は、取得された複数の音情報を特定モデル１５１に入力することで、複数の位置間における音情報の変化を特徴量として、音情報に含まれる異音の発生原因を出力として取得することができる。

なお、ここでは表示部１６を用いて報知する例で説明したが、特定装置１０が備える音声出力装置や振動装置などを用いて報知するようにしてもよい。また、上述のような報知を行わずに、音情報取得部１１において、自動的に複数の位置で音情報を取得するようにしてもよい。

図２に戻り説明を続ける。記憶部１５は、特定装置１０の各機能を実現するためのプログラムを格納する記憶装置である。また、記憶部１５は、特定モデル１５１を格納する。上述したように、特定モデル１５１は、複数の位置のそれぞれで取得された複数の音情報を入力とし、音情報に含まれる異音の発生原因を出力とするように生成された学習モデルである。特定モデル１５１の学習においては、複数の位置間における音情報の変化が特徴量として用いられている。入力としては、車速などの車両情報が用いられてもよい。また、出力として、異音の発生原因の確率などがあってもよい。

なお、本実施形態では、記憶部１５を特定装置１０の内部に設けているが、記憶部１５は特定装置１０の外部に設けられてもよい。

表示部１６は、特定結果を表示する表示装置である。表示部１６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどであってよい。表示部１６は、ユーザが指などで触れることで特定装置１０の操作を行うことが可能なタッチパネルなどであってもよい。

＜特定装置１０が行う処理＞
続いて、図４を参照して、本実施形態にかかる特定装置１０が行う特定処理を説明する。図４は、特定装置１０が行う特定処理を示すフローチャートである。また、以下の説明においては、図５～図１０を適宜参照する。なお、以下の説明で用いられる各機能部は、図２に示すものと対応している。

まず、ユーザは、携帯電話端末などにより実現される特定装置１０を車両５内に持ち込み、特定処理を開始する（Ｓ１０）。特定装置１０は、動作モードが異音データ取得モードとなっているか否かを判定する（Ｓ２０）。異音データ取得モードは、特定装置１０において異音データが取得可能な動作モードである。

ここで、異音データは、観測された音情報に含まれる異音に関する情報を含むものである。異音データは、例えば、異音の周波数及び異音の大きさを含み得る。１つの観測位置で取得される異音データは、複数の異音に関する情報を含んでもよい。例えば、後述するように、異音データは３つの異音に関する情報を含み得る。

特定装置１０の動作モードは、異音の特定処理を行わない通常時においては、異音データ取得モードではなく通常モードにあるものとする。ユーザは、車両５内の異音の発生原因を特定しようとする場合、特定装置１０を操作して、動作モードを異音データ取得モードに切り替えるための切替要求を行う。

本実施形態にかかる特定処理が実行される具体的な例としては、例えば、車両５の所有者から異音の苦情があり、デーラで実車を使って、その確認再現をするような場合が想定される。これに限らず、他の場面で特定装置１０が用いられてもよい。

特定装置１０は、ユーザから動作モードの切替要求を受け付けると、動作モードを通常モードから異音データ取得モードに切り替える。例えば、特定装置１０は、特定処理を行うためのアプリケーションを起動する。特定装置１０は、動作モードが異音データ取得モードである場合（Ｓ２０のＹＥＳ）は次の処理へ進み、そうでない場合（Ｓ２０のＮＯ）は処理を終了する。

まず、特定部１４は、第１位置において、異音データＤ１を取得するように指示を行う（Ｓ３０）。特定部１４は、例えば、文字、画像、又は音声などによる報知を行うことでユーザに行動を促す。ここでは、特定部１４が文字により報知する例を用いて説明する。特定部１４は、例えば、「異音が聞こえる位置に移動してください。」などのメッセージを表示するための表示情報を生成する。特定部１４は、当該表示情報を表示部１６に出力し、メッセージを表示させる。

図５は、車両５内における異音の取得位置の一例を示す図である。図５は、車両５の上面図を示しており、図の上側が車両５の進行方法である。図中では、エンジンルーム５５、デフレクタ５６、ステアリング５７、運転席ＤＳ、及び助手席ＰＳが示されている。本実施形態では、一例として、デフレクタ５６から異音が発生している例を用いて説明する。

本実施形態では、ユーザは、特定装置１０を用いて、図に示される第１位置Ｐ１、第２位置Ｐ２、第３位置Ｐ３、第４位置Ｐ４の順に異音を検出するものとする。それぞれの位置は、予め固定されているものではなく、異音の聞こえ方によってユーザが選択することができる。なお、以下の説明では、第１位置Ｐ１、第２位置Ｐ２、第３位置Ｐ３、及び第４位置Ｐ４を、単に、位置Ｐ１、位置Ｐ２、位置Ｐ３、及び位置Ｐ４と称して説明する場合がある。

一般に、ユーザは、運転席ＤＳで運転している際に、車両５から発生する異音を聞くことが多い。そのため、この例のように、ユーザは運転席ＤＳ付近を位置Ｐ１とし、位置Ｐ１から順次、異音データの取得を行うようにしてよい。これに限らず、運転席ＤＳ以外の位置から異音の取得を開始してもよい。

図５の例において、位置Ｐ２～Ｐ４は、デフレクタ５６から漏れてきた異音を測定するために、ユーザが任意で選択した位置である。したがって、図示した位置に限らず、位置Ｐ２～Ｐ４は、ユーザにより任意の位置が選択されてよい。また、異音の取得位置は４つに限定されない。

音情報取得部１１は、位置Ｐ１における音情報を取得し、特定部１４に出力する。特定部１４は、ＦＦＴ解析部１３において周波数解析を行い、解析結果を取得する。なお、他の位置Ｐ２～Ｐ４についても同様である。特定部１４は、特定モデル１５１を用いて、位置Ｐ１で取得された音情報に基づいて異音データＤ１を取得する（Ｓ４０）。

図６は、第１位置Ｐ１で取得される異音データＤ１の一例を示す図である。横軸は周波数を示し、縦軸は異音の大きさを示している。人間は、図の破線で示す暗騒音ｘのレベルに対して、音量が突出している音を異音として感じやすい。突出量が大きい場合や、周波数が単独で存在している場合は、異音の原因を特定しやすいが、近傍した複数の周波数である場合、識別が難しい場合がある。

図６では、音量の突出している音が、異音Ａ、異音Ｂ、及び異音Ｃである例を実線で示している。この例では、異音Ａの突出量が最も大きくなっている。異音Ａの突出量と比較すると、異音Ｂ及びＣの突出量は小さい。なお、同図は、説明のために、特定装置１０が推定した異音の原因の周波数に対する音量を示すものであるので、特定装置１０において、人工知能が同図に基づき判断しているのではない。

また、図７は、車両情報から推定され得る異音の発生領域の一例を示す図である。横軸は車速を示し、縦軸はアクセル開度を示している。図に示されるように、異音（ノイズ）は、車速とアクセル開度によって、種類が相違する。図では、オイルポンプノイズＮ１及びＮ２、ファーストギヤノイズＮ３、セカンドギヤノイズＮ４、モータノイズＮ５及びＮ６を一例として示している。

特定装置１０は、異音の発生領域を特定しながら（車速やアクセル開度を入力しながら）特定モデル１５１の学習を行うことで、異音の原因の推定精度を向上させることができる。なお、図７では一例として車速及びアクセル開度を用いたが、他の車両情報についても同様である。

図４に戻り説明を続ける。続いて、特定部１４は、ユーザに対して、異音源に近づくように指示を行う（Ｓ５０）。例えば、特定部１４は、「異音源に近付いてください。」などのメッセージを表示部１６に表示させてユーザの移動を促す。

ユーザは、表示部１６の表示を確認し、指示に従い移動する。図５の例では、ユーザは、運転席ＤＳ上の位置Ｐ１から、左斜め前方向の位置Ｐ２に移動する。なお、位置Ｐ２はユーザが選択した位置であるので、予め定められている必要はない。ユーザが、自身の耳で感知される音から判断し、音源に近付くように位置Ｐ２を選択する。

ユーザが位置Ｐ２に移動すると、音情報取得部１１は、位置Ｐ２における音情報を取得し、特定部１４に出力する。特定部１４は、位置Ｐ２で取得された音情報に基づいて、異音データＤ２を取得する（Ｓ６０）。なお、ここでは、特定部１４において積極的に取得位置の移動を指示し、異音データＤ２を取得したが、これに限られない。一般に、異音を取得するときは、徐々に音源に近づいていくことが想定される。よって、特定装置１０の位置が徐々に変更されていけば、特定部１４は移動の指示を行わなくともよい。その場合、音情報取得部１１は、特定装置１０が位置Ｐ１から位置Ｐ２へ移動したことを検出して、異音データＤ２を自動的に取得するようにしてもよい。これにより、特定装置１０からユーザへの指示が不要となる。

図８は、第２位置Ｐ２で取得される異音データＤ２の一例を示す図である。横軸は周波数を示し、縦軸は異音の大きさを示している。図８は、異音データの取得位置が変化した影響を示すための説明図であるので、特定装置１０において、人工知能がこの図に基づき判断しているのではない。図に示されるように、異音データＤ１と異なり、異音データＤ２では異音Ｃの突出量が最も大きくなっている。また、異音データＤ１と比較すると、異音データＤ２では異音Ａの突出量が小さく、異音Ｃの突出量が大きくなっている。また異音Ｂについては、異音データＤ１及びＤ２とでは突出量に大きな変化はない。

このように、位置Ｐ１から、異音源に近い位置Ｐ２に移動したことにより、それぞれの位置で取得される異音データが変化する。このような異音データの変化を特徴量として用いることで、特定モデル１５１はより精度よく異音の発生原因を推定することができる。

図４に戻り説明を続ける。特定部１４は、更に異音源に近づくよう、ユーザに対して指示を行う（Ｓ７０）。例えば、特定部１４は、「異音源に更に近付いてください。」などのメッセージを表示部１６に表示させてユーザの移動を促す。ユーザは、表示部１６の表示を確認し、指示に従い移動する。図５の例では、ユーザは、位置Ｐ２から、異音源であるデフレクタ５６近傍の位置Ｐ３に移動する。位置Ｐ２同様、位置Ｐ３は予め定められている必要はなく、ユーザにより選択された位置であってよい。

音情報取得部１１は、位置Ｐ３における音情報を取得し、特定部１４に出力する。特定部１４は、位置Ｐ３で取得された音情報に基づいて、異音データＤ３を取得する（Ｓ８０）。なお、位置Ｐ２と同様、音情報取得部１１は、ユーザが位置Ｐ２から位置Ｐ３へ移動したことを検出して、位置Ｐ３における異音データを自動的に取得してもよい。

図９は、第３位置Ｐ３で取得される異音データＤ３の一例を示す図である。横軸は周波数を示し、縦軸は異音の大きさを示している。図８と同様、図９は異音データの取得位置が変化した影響を示すための説明図であるので、特定装置１０において、人工知能がこの図に基づき判断しているのではない。

異音データＤ３においても、異音Ｃの突出量が最も大きく、異音Ａ及びＢの突出量が異音Ｃの突出量よりも小さいことは異音データＤ２と同様である。しかしながら、異音データＤ２と異音データＤ３とを比較すると、異音Ａは突出量がやや小さくなっており、異音Ｃは突出量がより大きくなっている。異音Ｂについては、異音データＤ１及びＤ２と比較して、突出量に大きな変化はない。

このように、特定装置１０では、ユーザに移動を促すことで、音情報の取得位置を、位置Ｐ１、Ｐ２、Ｐ３というように、徐々に音源に近付くように変化させる。これにより、特定装置１０は、複数の位置のそれぞれで異音データを取得することができる。また、図６、８、９に示すように、特定装置１０は、各位置で音量の異なる複数の異音データを取得することができる。

図４に戻り説明を続ける。特定部１４は、特定モデル１５１を用いて異音の発生原因を推定する（Ｓ９０）。ここで、特定モデル１５１に入力される特徴量として、位置Ｐ１～Ｐ３のそれぞれで取得された異音データＤ１～Ｄ３の変化が用いられる。異音データＤ１～Ｄ３の変化は、例えば、異音データＤ１～Ｄ３のそれぞれで推定した各異音の大きさの変化量で示されてよい。または、異音の大きさが「大きくなった」、「小さくなった」、「変化しなかった」などのパラメータ値を用いて当該変化が表現されてもよい。このように、特定部１４は、複数の位置で取得された異音の変化に基づいて、異音の発生原因を推定する。なお、特定部１４は、異音の変化と共に、上述した各種の車両情報を特徴量として入力してもよい。

特定部１４は、異音の発生原因を推定できたか否かを判定する（Ｓ１００）。推定できなかった場合（Ｓ１００のＮＯ）、特定装置１０はステップＳ３０の処理に戻り、以降の処理を繰り返す。但し、特定装置１０は、ステップＳ３０以降の処理を無限回数繰り返すのではなく、所定の回数まで繰り返すこととしてよい。特定装置１０は、当該処理を所定回数繰り返しても異音の発生原因が推定できない場合（Ｓ１００のＮＯ）、発生原因の推定が不能であるものとして処理を終了する。

異音の発生原因を推定できた場合（Ｓ１００のＹＥＳ）、特定部１４は、異音源から遠ざかるように、ユーザに対して指示を行う（Ｓ１１０）。例えば、特定部１４は、「異音源から離れてください。」などのメッセージを表示部１６に表示させてユーザの移動を促す。

ユーザは、表示部１６の表示を確認し、指示に従い移動する。図５の例では、ユーザは、位置Ｐ３から、助手席ＰＳ後方の位置Ｐ４に移動する。これにより、特定装置１０は異音源から遠ざかる。なお、位置Ｐ２及びＰ３同様、位置Ｐ４は予め定められている必要はなく、ユーザにより選択された位置であってよい。

音情報取得部１１は、位置Ｐ４における音情報を取得し、特定部１４に出力する。特定部１４は、位置Ｐ４で取得された音情報に基づいて異音データＤ４を取得する（Ｓ１２０）。音情報取得部１１は、異音源から離れることを促すメッセージが表示された後のユーザの移動を検出して異音データＤ４を取得してもよいし、例えば、「異音源は小さくなりましたか？」などの表示に対するユーザの入力に応じて異音データＤ４を取得してもよい。

図１０は、第４位置Ｐ４で取得される異音データＤ４の一例を示す図である。横軸は周波数を示し、縦軸は異音の大きさを示している。図８及び図９と同様、図１０は異音データの取得位置が変化した影響を示すための説明図であるので、特定装置１０において、人工知能がこの図に基づき判断しているのではない。また、位置Ｐ２及びＰ３と同様、位置Ｐ４についても予め定められている必要はなく、ユーザにより選択された位置であってよい。

異音データＤ４においても、異音Ｃの突出量が最も大きく、異音Ａ及び異音Ｂの突出量が異音Ｃの突出量よりも小さいことは異音データＤ３と同様である。しかしながら、異音データＤ３と異音データＤ４とを比較すると、異音Ａ～Ｃの突出量は、それぞれやや小さくなっている。このように、特定装置１０が異音源から遠ざかった場合にも、異音データが変化する。

図４に戻り説明を続ける。特定部１４は、異音データＤ４をさらに特定モデル１５１に入力し、特定モデル１５１を用いて異音の発生原因をさらに推定する（Ｓ１３０）。

続いて、特定部１４は、ステップＳ９０及びステップＳ１３０で得られた推定結果を用いて異音の発生原因を特定し、その結果を表示部１６に表示させる（Ｓ１４０）。具体的には、特定部１４は、ステップＳ９０及びＳ１３０で得られた推定結果を比較し、両者が一致するか否かを判定する。ステップＳ９０及びＳ１３０で得られた推定結果が一致した場合、特定部１４は、推定された異音の発生原因が真因であると確定する。これにより、特定部１４は発生原因を特定する。

また、ステップＳ９０及びＳ１３０で得られた推定結果が一致しなかった場合、特定部１４は、ステップＳ９０で得られた推定結果を半確定とする。ここで、半確定とは、推定結果が確実なものであると確定するものではなく、推定された発生原因が真因である確率が高いことを示すものである。このように、特定装置１０は、異音源から遠ざかった場合の異音データを用いてさらに推定を行うことで、異音源に近付いた場合の異音データの推定結果を確認することができる。

推定された原因が真因であると確定した場合、特定部１４は、例えば「異音の発生原因は、デフレクタです。」などのメッセージを表示部１６に表示させる。また、推定された原因が半確定となった場合、特定部１４は、「異音の発生原因は、デフレクタである可能性が高いです。」などのメッセージを表示させてもよい。さらに、特定部１４は、「異音の発生原因がデフレクタである確率は、○％です。」などのように、推定された発生原因が真因である確率を表示部１６に表示させてもよい。

なお、上述の説明では、特定装置１０は、ユーザに対してまず異音源に近づくように指示し、次いで遠ざかるように指示したが、これに限られない。特定装置１０は、まず異音源から遠ざかるように指示し、次いで近付くように指示してもよい。また、近付く回数及び遠ざかる回数は上述した回数に限らず、任意の回数が設定されてもよい。

以上説明したように、本実施形態にかかる特定システム１００では、特定装置１０において、音情報取得部１１は、車両５における複数の位置のそれぞれで取得された複数の音情報を取得する。また、車両情報取得部１２は、走行制御装置５０を介して車両情報を取得する。

記憶部１５は、複数の位置のそれぞれで取得された複数の音情報を入力とし、音情報に含まれる異音の発生原因を出力とするように生成された特定モデル１５１を記憶する。特定モデル１５１は、複数の位置間における音情報の変化を特徴量として学習することにより生成されている。このように、複数の位置間における音情報の変化が特徴量として用いられることで、特定装置１０は、単に各位置での音情報を入力とする場合よりも、精度よく異音の発生原因を推定することができる。

また、特定モデル１５１は、音情報に加えて、車両情報を特徴量として学習することができるので、特定部１４は、音情報のみを入力とする場合よりも精度よく異音の発生原因を推定することができる。

さらに、特定部１４は、特定装置１０を操作するユーザが異音源に近付くように、又は異音源から遠ざかるように、ユーザの移動を促す報知を行うので、複数の位置のそれぞれにおける音情報を効率よく取得することができる。また、ユーザは、当該報知に従い移動することができるので、特定装置１０を用いて容易に異音の発生原因を特定することができる。

以上のような構成により、本実施形態にかかる特定システム１００によれば、異音の発生原因を適切に特定することが可能となる。

なお、図１及び図２を用いて説明した特定システム１００の構成は一例に過ぎない。特定システム１００は、複数の構成が集約された装置などを用いて構成されてもよい。例えば、特定装置１０、サーバ２０、及び走行制御装置５０の機能の一部が同一の装置に集約されていてもよい。また、例えば、特定装置１０における各機能部は、複数の装置などを用いて分散処理されてもよい。

なお、上述の説明では、特定装置１０が音情報を取得し、当該音情報を用いて特定処理を行う例を用いて説明を行ったが、これに限られない。特定装置１０が行う処理の一部をサーバ２０で行うようにしてもよい。例えば、特定装置１０は、取得された複数の音情報をサーバ２０に送信し、サーバ２０において異音の特定処理を行うようにしてもよい。特定装置１０は、サーバ２０から特定処理の結果を取得し、特定された異音に関する情報を表示部１６に出力させることで、上述の例と同様の効果を得ることができる。

＜ハードウエアの構成例＞
特定装置１０、サーバ２０、及び走行制御装置５０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、特定装置１０等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について説明する。

図１１は、特定装置１０等を実現するコンピュータ９００のハードウエア構成を例示するブロック図である。コンピュータ９００は、特定装置１０等を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ９００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。

例えば、コンピュータ９００に対して所定のアプリケーションをインストールすることにより、コンピュータ９００で、特定装置１０等の各機能が実現される。上記アプリケーションは、特定装置１０等の機能構成部を実現するためのプログラムで構成される。

コンピュータ９００は、バス９０２、プロセッサ９０４、メモリ９０６、ストレージデバイス９０８、入出力インタフェース９１０、及びネットワークインタフェース９１２を有する。バス９０２は、プロセッサ９０４、メモリ９０６、ストレージデバイス９０８、入出力インタフェース９１０、及びネットワークインタフェース９１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ９０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ９０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ９０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス９０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース９１０は、コンピュータ９００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース９１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース９１２は、コンピュータ９００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

ストレージデバイス９０８は、特定装置１０等の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ９０４は、このプログラムをメモリ９０６に読み出して実行することで、特定装置１０等の各機能構成部を実現する。

プロセッサの各々は、アルゴリズムをコンピュータに行わせるための命令群を含む１又はそれ以上のプログラムを実行する。このプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）又は実体のある記憶媒体（tangible storage medium）に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

５ 車両
１０ 特定装置
１１ 音情報取得部
１２ 車両情報取得部
１３ ＦＦＴ解析部
１４ 特定部
１５ 記憶部
１５１ 特定モデル（学習モデル）
１６ 表示部
２０ サーバ
５０ 走行制御装置
５５ エンジンルーム
５６ デフレクタ
５７ ステアリング
６１ スイッチ群
６２ シフトポジションセンサ
６３ ステアリングセンサ
６４ 自車位置センサ
６５ 車速センサ
６６ アクセル開度センサ
６７ 表示装置
６８ 音声出力装置
６９ エンジン制御装置
７０ ステアリング制御装置
７１ ブレーキ制御装置
７２ 変速制御装置
１００ 特定システム
Ａ～Ｃ 異音
ＤＳ 運転席
ＰＳ 助手席
Ｄ１～Ｄ４ 異音データ
ＥＣＵ５１ 第１ゲートウェイ
ＥＣＵ５２ 第２ゲートウェイ
Ｎ１、Ｎ２ オイルポンプノイズ
Ｎ３ ファーストギヤノイズ
Ｎ４ セカンドギヤノイズ
Ｎ５、Ｎ６ モータノイズ
Ｐ１～Ｐ４ 第１～第４位置
Ｄｉｊ、Ｄｊｋ 伝達要素
Ｐ１１、Ｐ２１、・・・、Ｐｉ１ 神経細胞要素
Ｐ１２、Ｐ２２、・・・、Ｐｊ２ 神経細胞要素
Ｐ１３、Ｐ２３、・・・、Ｐｋ３ 神経細胞要素
Ｗ１１、Ｗ２１、・・・、Ｗｉｊ 重み付け値
Ｗ１２、Ｗ２２、・・・、Ｗｊｋ 重み付け値
ｘ 暗騒音
Ｘ１１、Ｘ２１、・・・、Ｘｉ１ 特徴量
Ｙ１３、Ｙ２３、・・・、Ｙｋ３ 出力
９００ コンピュータ
９０２ バス
９０４ プロセッサ
９０６ メモリ
９０８ ストレージデバイス
９１０ 入出力インタフェース
９１２ ネットワークインタフェース

Claims (1)

1. 複数の位置のそれぞれで取得された音を示す音情報を入力とし、前記音に含まれる異音の発生原因を出力とする学習モデルを記憶する記憶部と、
   対象物から発生した音を示す音情報を複数の位置のそれぞれで取得する音情報取得部と、
   前記学習モデルを用いて、取得された複数の前記音情報から、取得された前記音に含まれる異音の発生原因を特定する特定部と、を備え、
   前記学習モデルは、前記複数の位置間における前記音情報の変化を特徴量として学習することにより生成されている
   特定装置。

Images