JP2023108581A - 異音診断システム - Google Patents

Abstract

【課題】異音診断システムの利用経験が少ないユーザであっても、対象物で発生する異音の精度のよい診断結果を容易に得られるようにする。【解決手段】本開示の異音診断システムは、対象物から発せられる音のデータを取得する音取得部と、対象物で発生した異音に関する問診情報を取得する問診情報取得部と、音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部と、問診情報取得部により取得された問診情報に基づいて対象物で発生した異音の推定周波数範囲を取得すると共に、演算処理部により取得されたスペクトログラムの推定周波数範囲に対応した範囲を抽出する抽出部と、スペクトログラムの抽出部により抽出された範囲に基づいて対象物で発生した異音の原因を診断する診断部とを含む。【選択図】図１

Description

本開示は、対象物で発生する異音を診断する異音診断システムに関する。

従来、複数の回転体を有する車両の動力伝達機構の稼動時に、回転体の回転に伴って発生する音または振動のデータと、選択された回転体の回転数のデータとを取り込んで解析を行う音振解析装置が知られている（例えば、特許文献１参照）。この音振解析装置は、音または振動のデータを周波数分析すると共に、周波数分析した音または振動のデータから回転体の諸元に応じた次数を演算する。更に、当該音振解析装置は、音または振動のデータから演算される音圧レベルを次数および車速に対応させて表示部に表示させ、当該表示部で作業者により選択された特定の次数を有する音を再生する。

また、従来、診断対象車両で発生した不具合症状の関連情報を取得するための問診を行い、取得情報に基づいて不具合症状の原因を自ら推定するか、あるいは取得情報を外部に出力する問診装置が知られている（例えば、特許文献２参照）。この問診装置は、上記関連情報を取得するための質問を表示する表示部と、不具合症状に対応するサンプル異音を出力するサンプル異音出力部と、表示部の表示およびサンプル異音出力部の出力音を制御すると共にユーザの操作入力を処理する制御部と、表示部の表示に関するデータである表示データおよび不具合症状ごとに対応して発生する車両音を収集したデータであるサンプル異音データを記憶した記憶部とを含む。かかる問診装置の制御部は、不具合症状が発生した運転操作場面の選択を求める選択ボタンである複数の場面選択ボタンと、場面選択ボタンの選択結果に関連付けられた不具合症状の内容の選択を求める選択ボタンである複数の症状選択ボタンとを表示部に表示させる。更に、当該制御装置は、不具合症状の内容が、診断対象車両での異音発生に関するものである場合、その不具合症状に対応するサンプル異音を出力させるサンプル異音出力ボタンを表示部に症状選択ボタンと並べて表示させる。これにより、不具合症状の内容が異音発生に関連する場合、症状を選択するための指標として対応するサンプル異音を出力することが可能になり、実際に異音を聞いた顧客等は、複数のサンプル異音を比較することで、表現が難しい異音発生の症状内容を選択して回答することができる。

特開２００５－９８９８４号公報 特開２０１４－１９１７９０号公報

上記特許文献１に記載された従来の音振解析装置によれば、車速を用いたグラフ表示により官能検査との整合が取り易くなり、音が発生している次数を調べたり、取り込んだ音を再生したりすることで、音の発生源である回転体を特定することができるかもしれない。しかしながら、不慣れな作業者にとって、当該音振解析装置を用いて音の発生源である回転体を特定するのは容易ではなく、次数や車速と音圧レベルとを見比べながら音の発生源である回転体を精度よく特定するには、作業者にある程度の経験が要求される。また、上記特許文献２に記載された問診装置のように、サンプル異音が候補として出力されても、実際に発生した異音に最も近いサンプル異音が顧客等によって選択されるとは限らない。そして、実際の異音に近い音が顧客等によって選択されなかった場合、不具合症状が発生した運転操作場面といった問診情報のみから異音の原因を診断せざるを得なくなり、診断結果の精度が却って悪化してしまうおそれがある。

そこで、本開示は、異音診断システムの利用経験が少ない作業者であっても、対象物で発生する異音の精度のよい診断結果を容易に得られるようにすることを主目的とする。

本開示の異音診断システムは、対象物で発生する異音を診断する異音診断システムであって、前記対象物から発せられる音のデータを取得する音取得部と、前記対象物で発生した前記異音に関する問診情報を取得する問診情報取得部と、前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部と、前記問診情報取得部により取得された前記問診情報に基づいて前記対象物で発生した前記異音の推定周波数範囲を取得すると共に、前記演算処理部により取得された前記スペクトログラムの前記推定周波数範囲に対応した範囲を抽出する抽出部と、前記スペクトログラムの前記抽出部により抽出された範囲に基づいて前記対象物で発生した前記異音の原因を診断する診断部とを含むものである。かかる異音診断システムの診断部は、機械学習により構築されたものであってもよい。

また、本開示の他の異音診断システムは、対象物で発生する異音を診断する異音診断システムであって、前記対象物から発せられる音のデータを取得する音取得部と、前記対象物で発生した前記異音に関する問診情報を取得する問診情報取得部と、前記音のデータから少なくとも時間と音圧との関係を取得する演算処理部と、前記問診情報取得部により取得された前記問診情報に基づいて前記対象物で前記異音が発生した発生時間帯を取得し、前記演算処理部により取得された前記時間と音圧との関係の前記発生時間帯に対応した範囲を抽出する抽出部と、前記時間と音圧との関係の前記抽出部により抽出された範囲に基づいて前記対象物で発生した前記異音の原因を診断する診断部とを含むものである。かかる異音診断システムの診断部も、機械学習により構築されたものであってもよい

本開示の異音診断システムを示す概略構成図である。 問診情報の入力画面を例示する説明図である。 本開示の異音診断システムを構成する携帯端末において実行される一連の処理を示すフローチャートである。 図３のステップＳ１５０の処理を説明するためのフローチャートである。 本開示の異音診断システムを構成する携帯端末の表示画面に表示されるスペクトログラムの一例を示す説明図である。 本開示の異音診断システムにおいて使用されるテーブルの一例を示す説明図である。 問診情報および車両状態情報から異音の発生時間帯を取得する手順を説明するための説明図である。 時間と音圧との関係から特徴的な周波数を抽出する手順を説明するための説明図である。 本開示の異音診断システムにおいて使用される他のテーブルを例示する説明図である。 問診情報および車両状態情報から異音の発生時間帯を取得する手順を説明するための説明図である。 問診情報の入力画面の他の例を示す説明図である。 本開示の異音診断システムにおいて使用されるテーブルの他の例を示す説明図である。 図１２のテーブルを用いて異音の推定周波数範囲を取得する手順を示す説明図である。

次に、図面を参照しながら、本開示の発明を実施するための形態について説明する。

図１は、本開示の異音診断システム１を示す概略構成図である。同図に示す異音診断システム１は、動力発生源としてエンジンのみを搭載した車両や、ハイブリッド車、電気自動車（燃料電池車両を含む）といった対象物としての車両Ｖで発生した異音の原因を診断するためのものであり、携帯端末１０と、当該携帯端末１０と通信により情報をやり取り可能なサーバ２０とを含む。

携帯端末１０は、異音が発生した車両Ｖの所有者等（車両Ｖのユーザ）への応対や、車道あるいはテストベンチ上で車両Ｖを走行（作動）させて異音を再現する再現テストの実行に際して、車両販売店や整備工場等の作業者（異音診断システム１のユーザ）により利用させるものである。本実施形態において、携帯端末１０は、ＣＰＵやＧＰＵを含むＳｏＣ、ＲＯＭ、ＲＡＭ、補助記憶装置（フラッシュメモリ）Ｍ、表示部１１、通信モジュール１２、図示しないマイクロフォン等を含むスマートフォンであり、当該携帯端末１０には、異音診断支援アプリケーション（プログラム）がインストールされている。そして、携帯端末１０は、図１に示すように、それぞれ異音診断支援アプリケーション（ソフトウェア）と、表示部１１、通信モジュール１２、ＳｏＣ、ＲＯＭ、ＲＡＭ、マイクロフォンといったハードウェアとの協働により構築される、問診情報取得部１３、音取得部１４、車両状態取得部１５、演算処理部１６、抽出部１７および表示制御部１８を含む。

携帯端末１０の表示部１１は、タッチパネル式の液晶パネルあるいは有機ＥＬパネル等を含むものである。通信モジュール１２は、近距離無線通信あるいはケーブル（ドングル）を介して車両Ｖの電子制御装置と各種情報をやり取りすると共に、例えばインターネット等のネットワークを介してサーバ２０と各種情報をやり取りすることができる。問診情報取得部１３は、異音診断支援アプリケーションと、表示部１１，通信モジュール１２、ＳｏＣ、ＲＯＭおよびＲＡＭ等との協働により構築され、表示部１１または通信モジュール１２を介して、車両Ｖの所有者等から提供される異音発生時における車両Ｖの状態を示す情報（以下、「問診情報」という。）を取得する。問診情報は、車両Ｖの所有者等からの聞き取りを行った車両販売店等の作業者により表示部１１を介して携帯端末１０に入力されてもよい。また、問診情報は、車両Ｖの所有者等が自身の携帯情報端末やパーソナルコンピュータ等から例えばサーバ２０により提供される専用のウェブページに入力したものであってよい。この場合、携帯端末１０は、作業者の操作に応じて、サーバ２０から通信モジュール１２を介して問診情報を取得する。

図２に、携帯端末１０の表示部１１（あるいは上記ウェブサイト）に表示される問診情報の入力画面（問診票）および入力例を示す。問診情報は、図２のその一部を示すように、車種情報、ご用命事項、発生日時、発生頻度、音の種類、車速等の車両Ｖの走行に際して変化する物理量、車両Ｖの運転状態、エンジン搭載車両における暖機影響、車両Ｖの運転中に運転者により選択される選択項目、車両Ｖの走行環境情報等を含む。車種情報は、車台番号あるいは車両識別番号といった車両Ｖの車種を特定するための情報である。ご用命事項は、車両Ｖの所有者等から提供された異音の発生状態の詳細な内容である。発生頻度は、常時、数回／日、１回／日、数回／週、１回／週、１回以下／月といった選択肢を含む予め用意されたドロップダウンリスト（一覧）から作業者または所有者等により選択される。

音の種類は、それぞれ車両Ｖで発生する何れかの異音に対応した複数の擬音語（例えば、ガタガタ、カタカタ、ガラガラ、ガラガラ、カチン、キー、キーン等）を含むドロップダウンリストから車両Ｖの所有者等により実際に発生した異音に類似していると認識されたものが作業者または所有者等により選択される。物理量は、車速、エンジン回転数、モータ回転数、ブレーキランプスイッチのＯＮ／ＯＦＦ時刻、操舵角、ハイブリッド車両や電気自動車の高電圧バッテリのＳＯＣ（例えば、満充電、通常、極低の何れか）等を含む。物理量は、作業者により車両Ｖの所有者等から聞き取られるか、当該所有者等により入力される。

車両Ｖの運転状態は、始動、アイドリング、停車、発進、加速、定速走行、減速 (ブレーキＯＦＦ)、制動 (ブレーキＯＮ)、後退、旋回、ハイブリッド車両におけるモータ走行（エンジン駆動（充電）あり／なし）、ハイブリッド車両におけるハイブリッド走行（エンジンおよびモータによる駆動）といった選択肢を含むドロップダウンリストから作業者または所有者等により選択される。暖機影響は、冷間、温間、冷間および温間といった選択肢を含むドロップダウンリストから作業者または所有者等により選択される。選択項目は、シフトポジション（Ｐ，Ｒ，Ｎ，Ｄ，Ｂ，Ｓ（スポーツ）等の何れか）、走行モード（例えば、ノーマル、パワー、エコ、スノー、コンフォートの何れか）、補機の作動状態（エアコンやヘッドライトのＯＮ／ＯＦＦ状態）等を含み、ドロップダウンリストから作業者または所有者等により選択される。走行環境情報は、段差路・荒い路面、平坦路、登坂路、降坂路といった路面状態や、晴れ、曇り、雨、雪といった天候等を含み、ドロップダウンリストから作業者または所有者等により選択される。なお 上記複数の項目のすべてが車両Ｖの所有者等から提供されるわけではなく、問診情報は、車両Ｖの所有者等のわかる範囲で提供されることは、いうまでもない。

音取得部１４は、異音診断支援アプリケーションと、ＳｏＣ、ＲＯＭ、ＲＡＭおよびマイクロフォン等との協働により構築され、再現テストが実行される際に音（音圧）の時間軸データを取得する。車両状態取得部１５は、異音診断支援アプリケーションと、ＳｏＣ、ＲＯＭ、ＲＡＭ、表示部１１および通信モジュール１２等との協働により構築され、再現テストが実行される際に音取得部１４による音の時間軸データの取得に同期して車両Ｖの状態を示す情報（以下、「車両状態情報」）を取得する。車両状態情報は、上述の問診情報の項目に対応した複数の物理量（例えば、車速、エンジン回転数、モータ回転数、ブレーキランプスイッチのＯＮ／ＯＦＦ時刻、操舵角、ハイブリッド車両や電気自動車の高電圧バッテリのＳＯＣ等）を含む。また、車両状態情報には、車両Ｖの電子制御装置や各種センサ等により算出または検出されて通信モジュール１２を介して取得されるものと、作業者等が再現テストの開始前等に問診情報に基づいて表示部１１から入力するものとが含まれる。演算処理部１６は、異音診断支援アプリケーションと、ＳｏＣ、ＲＯＭおよびＲＡＭ等との協働により構築され、音取得部１４により取得された音の時間軸データの解析処理を実行する。抽出部１７は、異音診断支援アプリケーションと、ＳｏＣ、ＲＯＭおよびＲＡＭ等との協働により構築され、上述の問診情報等に基づいて演算処理部１６の解析処理の結果の絞り込みを行う。表示制御部１８は、異音診断支援アプリケーションと、ＳｏＣ、ＲＯＭおよびＲＡＭ等との協働により構築され、表示部１１を制御する。

異音診断システム１のサーバ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力装置等を含むコンピュータ（情報処理装置）であり、本実施形態では例えば上記車両Ｖを製造する自動車製造者により設置・管理される。サーバ２０には、ＣＰＵやＲＯＭ、ＲＡＭといったハードウェアと、予めインストールされた異音診断アプリケーション（プログラム）との協働により、車両Ｖで発生した異音を診断する異音診断部２１が構築されている。異音診断部２１は、携帯端末１０により取得された問診情報や音の時間軸データ等に基づいて車両Ｖで発生した異音の原因や異音の発生源となった部品を診断するように教師あり学習（機械学習）により構築されたニューラルネットワーク（畳み込みニューラルネットワーク）を含むものである。異音診断部２１の構築に用いられる教師データは、車両Ｖで発生することが判明している複数の異音ごとに、異音が発生するタイミングを含む時間範囲について取得された音の時間軸データや上記問診情報の各項目の内容（値）等を含む。また、サーバ２０では、車両Ｖでの新たな異音の発生が判明した場合、当該新たな異音について取得された音の時間軸データや上記問診情報の各項目の内容等を教師データとする異音診断部２１の再学習が実行される。異音診断部２１を構築するための技術としては、例えば、次の（１）－（５）の論文に記載されたもの、またはそれらの組み合わせを利用することができる。

（１）“Unsupervised Filterbank Learning Using Convolutional Restricted Boltzmann Machine for Environmental Sound Classification”に記載された“CNN with filterbanks learned using convolutional RBM + fusion with GTSC and mel energies”および“CNN with filterbanks learned using convolutional RBM + fusion with GTSC”
（２）“LEARNING FROM BETWEEN-CLASS EXAMPLES FOR DEEP SOUND RECOGNITION”に記載された“EnvNet-v2 (tokozume2017a) + data augmentation + Between-Class learning”および“EnvNet-v2 (tokozume2017a) + Between-Class learning”
（３）“Novel Phase Encoded Mel Filterbank Energies for Environmental Sound Classification”に記載された“CNN working with phase encoded mel filterbank energies (PEFBEs), fusion with Mel energies”
（４）“Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes”に記載された“CNN pretrained on AudioSet”
（５）“Novel TEO-based Gammatone Features for Environmental Sound Classification”に記載された“Fusion of GTSC & TEO-GTSC with CNN”

更に、サーバ２０は、車種ごとに、当該車両で発生することが判明している複数の異音についての情報を格納したデータベースを記憶する記憶装置２２を含む。当該データベースは、複数の異音の各々に、音の時間軸データ、異音の発生原因、発生源となる部品、所有者等から提供された問診情報の内容、異音を解消するための対策といった情報を紐付けして格納するものである。また、サーバ２０は、車両Ｖを含む多数の車両から取得される情報や、自動車製造者（開発者等）、車両販売店、整備工場等から送信される新たに判明した異音に関する情報等に基づいて当該データベースを更新する。

続いて、異音診断システム１による異音診断手順について説明する。

車両販売店や整備工場等の作業者は、車両Ｖの所有者等からの異音の解消を依頼されると、当該所有者等から問診情報を聞き取るか、あるいはサーバ２０から問診情報を取得した上で、異音の診断に必要な情報を取得するための再現テストを実行する。再現テストの実行に際して、作業者（ユーザ）は、携帯端末１０の上記異音診断支援アプリケーションを起動させ、表示部１１に表示される録音ボタンをタップする。更に、作業者は、表示部１１に表示される入力画面に所有者等から提供された問診情報のうちの必要な情報を入力し、携帯端末１０を対象車両の電子制御装置に接続する。上述のように、携帯端末１０と対象車両の電子制御装置とは、近距離無線通信により接続されてもよく、ケーブル（ドングル）を介して接続されてもよい。そして、作業者が車両Ｖのスタートスイッチ（ＩＧスイッチ）をオンすると、携帯端末１０は、車両Ｖの車台番号あるいは車両識別番号といった車両情報を当該電子制御装置から取得する。ただし、車両情報は、作業者によって携帯端末１０に入力されてもよい。

更に、作業者は、携帯端末１０を車室内の適所に載置または固定する。また、携帯端末１０に外部マイクロフォンが接続された場合、当該外部マイクロフォンは、例えばエンジンルーム等の録音に適した箇所に設置される。次いで、作業者は、表示部１１に表示される録音開始ボタンをタップすると共に、車道や試験台上で車両Ｖを走行（作動）させ、当該車両Ｖの所有者等からの問診情報に基づいて異音が発生した走行状態を再現する。車両Ｖが走行（作動）する間、携帯端末１０の音取得部１４は、車両Ｖから発せられる音の時間軸データを所定時間（微小時間）おきに取得し、車両状態取得部１５は、音取得部１４による音の時間軸データの取得に同期して車両Ｖの電子制御装置から所定時間（微小時間）おきに車両状態情報を取得する。音取得部１４および車両状態取得部１５は、車両Ｖの停車等に応じて表示部１１に表示される録音停止ボタンが作業者によりタップされるまで、音の時間軸データおよび車両状態情報を取得する。音の時間軸データおよび車両状態情報の取得が完了すると、携帯端末１０の演算処理部１６および抽出部１７により音の時間軸データの解析処理が実行される。

図３は、異音の診断に際して、携帯端末１０で実行される一連の処理を示すフローチャートであり、図４は、図３のステップＳ１５０における処理の詳細を示すフローチャートである。

図３に示すように、携帯端末１０の演算処理部１６は、再現テストの終了後、音取得部１４により取得されている音の時間軸データを取得する（ステップＳ１００）。更に、演算処理部１６は、取得した音の時間軸データにＳＴＦＴ（Short-Time Fourier Transform）を施し、時間と周波数と音圧との関係を示すスペクトログラム（音響スペクトログラム）を取得する（ステップＳ１１０）。また、携帯端末１０の表示制御部１８は、図５に示すように、演算処理部１６により取得されたスペクトログラム（カラーマップ）を表示部１１に表示させる（ステップＳ１２０）。本実施形態において、スペクトログラムは、横軸を時間軸とし、縦軸を周波数軸とし、音圧レベルを色分けすることで、周波数ごとに時間と音圧レベルとの関係を示すものである。

携帯端末１０の表示部１１にスペクトログラムが表示されると、作業者は、表示部１１に表示される選択指示ボタンをタップしてスペクトログラムのうちの上記異音診断部２１（サーバ２０）により解析されるべき範囲（以下、「解析範囲」という。）を携帯端末１０に抽出（選択）させるか、あるいは表示部１１で自らの指先により解析範囲を選択（指定）する。作業者により携帯端末１０側での解析範囲の抽出が指示された場合（ステップＳ１３０：ＹＥＳ）、携帯端末１０の抽出部１７は、問診情報取得部１３により取得されている問診情報と、車両状態取得部１５により取得されている車両状態情報を取得し（ステップＳ１４０）、取得した問診情報および車両状態情報の少なくとも何れか一方に基づいてスペクトログラムの解析範囲を抽出する（ステップＳ１５０）。

ステップＳ１５０において、抽出部１７は、図４に示すように、ステップＳ１４０にて取得した問診情報において擬音語が選択されているか否かを判定する（ステップＳ１５１）。問診情報において擬音語が選択されていると判定した場合（ステップＳ１５１：ＹＥＳ）、抽出部１７は、選択されている擬音語に対応した周波数範囲を車両Ｖで発生した異音の推定周波数範囲として取得する（ステップＳ１５２）。本実施形態において、抽出部１７は、図６に示すテーブルから問診情報に含まれている擬音語に対応した周波数範囲を推定周波数範囲として導出する。また、問診情報において擬音語が選択されていないと判定された場合（ステップＳ１５１：ＮＯ）、ステップＳ１５２の処理はスキップされる。

図６のテーブルは、問診情報として選択可能な複数の擬音語の各々に、対応する異音の周波数範囲を紐付けするように実験・解析結果に基づいて予め作成されて携帯端末１０の補助記憶装置Ｍに記憶されている。更に、図６のテーブルにおいて、複数の擬音語の各々には、対応する異音の特徴と、対応する異音に類似した他の異音の擬音語とが紐付けられている。また、本実施形態において、図６のテーブルは、車両Ｖでの新たな異音の発生が判明したタイミングあるいは定期的にサーバ２０により更新される。すなわち、サーバ２０は、車両Ｖを含む多数の車両から取得される情報や、自動車製造者（開発者等）、車両販売店、整備工場等から送信される新たに車両Ｖで発生することが判明した異音に関する情報等に基づいて図６のテーブルを更新し、当該テーブルが更新された旨を示す通知を携帯端末１０に送信する。これにより、車両販売店や整備工場等の作業者は、異音の診断に際し、最新のテーブルをサーバ２０から携帯端末１０にダウンロードして補助記憶装置Ｍに記憶させることができる。

ステップＳ１５１またはＳ１５２の処理の後、抽出部１７は、ステップＳ１４０にて取得した問診情報に異音が発生したときの車両Ｖの状態を示す車速やエンジン回転数といった物理量（具体的数値等）が含まれているか否かを判定する（ステップＳ１５３）。問診情報に物理量が含まれていると判定した場合（ステップＳ１５３：ＹＥＳ）、抽出部１７は、ステップＳ１４０にて取得した問診情報および車両状態情報に基づいて、車両Ｖで異音が発生した発生時間帯を取得する（ステップＳ１５４）。

ステップＳ１５４において、抽出部１７は、音の時間軸データの取得時間範囲のうち、車両状態情報の物理量が問診情報に含まれている物理量に一致している時間帯を発生時間帯として取得する。例えば、問診情報に含まれる物理量としての車速の範囲と、車両状態情報に含まれる物理量としての車速（波形）がそれぞれ図７に示すようなものである場合、車両状態情報の車速が、時刻ｔ１から時刻ｔ２までの時間帯と、時刻ｔ３から時刻ｔ４までの時間帯とで、問診情報の車速の範囲に含まれ、これらの時間帯で車両状態情報の物理量が問診情報に含まれている物理量に一致する。このような場合、抽出部１７は、時刻ｔ１から時刻ｔ２までの時間帯と、時刻ｔ３から時刻ｔ４までの時間帯を発生時間帯として取得する。

更に、抽出部１７は、スペクトログラムにおける複数の周波数ごとに、ステップＳ１５４にて取得した発生時間帯（車両状態情報の物理量が問診情報に含まれている物理量に一致する時間帯）と、車両状態情報の物理量が問診情報に含まれている物理量に一致しない時間帯との間で音圧が予め定められた閾値（所定値）以上変化している特徴的な周波数を抽出する（ステップＳ１５５）。例えば、図８に示すように、時刻ｔ１から時刻ｔ２までの時間帯と、時刻ｔ３から時刻ｔ４までの時間帯とが発生時間帯である場合、抽出部１７は、ステップＳ１５５において、スペクトログラムにおける複数の周波数ごとに、時刻ｔ１から時刻ｔ２までの発生時間帯における音圧の平均値と、車両状態情報の物理量が問診情報に含まれている物理量に一致しない時刻ｔ２から時刻ｔ３までの時間帯における音圧の平均値との差と、時刻ｔ３から時刻ｔ４までの発生時間帯における音圧の平均値と、時刻ｔ２から時刻ｔ３までの時間帯における音圧の平均値との差とを算出する。更に、抽出部１７は、ステップＳ１５５において、スペクトログラムにおける複数の周波数ごとに、音圧の平均値の差が上記閾値以上になっている特徴的な周波数（図８における一点鎖線で示す範囲参照）を抽出する。

なお、ステップＳ１５４およびＳ１５５の処理は、問診情報に物理量（具体的数値等）が含まれていないと判定された場合（ステップＳ１５３：ＮＯ）、何れもスキップされる。また、音圧の平均値の差が上記閾値以上になっている特徴的な周波数が存在しない場合、ステップＳ１５５において、特徴的な周波数の抽出は行われない。

更に、ステップＳ１５３またはＳ１５５の処理の後、抽出部１７は、ステップＳ１４０にて取得した問診情報に異音が発生したときの車両Ｖの運転状態が含まれているか否かを判定する（ステップＳ１５６）。問診情報に運転状態が含まれていると判定した場合（ステップＳ１５６：ＹＥＳ）、抽出部１７は、ステップＳ１４０にて取得した問診情報および車両状態情報に基づいて、車両Ｖで異音が発生した発生時間帯を取得する（ステップＳ１５７）。

ステップＳ１５７において、抽出部１７は、図９に示すテーブルを参照して問診情報の運転状態に対応した車両状態情報の物理量を取得し、音の時間軸データの取得時間範囲のうち、当該テーブルを参照して取得した物理量が問診情報の運転状態に応じた変化を示している時間帯を発生時間帯として取得する。図９のテーブルは、問診情報として選択可能な複数の運転状態の各々に、当該運転状態に応じた変化を示す物理量を紐付けするように予め作成されて携帯端末１０の補助記憶装置Ｍに記憶されている。例えば、問診情報に含まれる運転状態が「制動」である場合、抽出部１７は、図９に示すテーブルを参照して車両状態情報から「ブレーキランプスイッチのＯＮ／ＯＦＦ時刻」を取得し、ブレーキランプスイッチのＯＮ時刻（図１０における時刻ｔ１０）からＯＦＦ時刻（図１０における時刻ｔ２０）までの時間帯を発生時間帯として取得する。すなわち、ステップＳ１５７にて取得される発生時間帯は、再現テスト時の車両Ｖの状態が問診情報に含まれている運転状態に一致している時間帯となる。

更に、抽出部１７は、スペクトログラムにおける複数の周波数ごとに、ステップＳ１５７にて取得した発生時間帯（車両状態情報の物理量が問診情報に含まれている物理量に一致する時間帯）と、車両状態情報の物理量が問診情報に含まれている物理量に一致しない時間帯との間で音圧が予め定められた閾値（所定値）以上変化している特徴的な周波数を抽出する（ステップＳ１５８）。ステップＳ１５８の処理は、上述のステップＳ１５５の処理と同様の手順により実行される。また、ステップＳ１５７およびＳ１５８の処理は、問診情報に運転状態が含まれていないと判定された場合（ステップＳ１５６：ＮＯ）、何れもスキップされる。また、音圧の平均値の差が上記閾値以上になっている特徴的な周波数が存在しない場合、ステップＳ１５８において、特徴的な周波数の抽出は行われない。

ステップＳ１５６またはＳ１５８の処理の後、抽出部１７は、ステップＳ１５２－Ｓ１５８にて取得または抽出した推定周波数範囲、発生時間帯および特徴的な周波数に基づいて、演算処理部１６により取得されたスペクトログラムの解析範囲を抽出する（ステップＳ１５９）。すなわち、ステップＳ１５９にて、抽出部１７は、当該スペクトログラムのステップＳ１５２にて取得した推定周波数範囲に対応した範囲と、当該スペクトログラムのステップＳ１５４にて取得した発生時間帯に対応し、かつステップＳ１５５にて抽出した特徴的な周波数を含む範囲と、当該スペクトログラムのステップＳ１５７にて取得した発生時間帯に対応し、かつステップＳ１５８にて抽出した特徴的な周波数を含む範囲との少なくとも何れか１つを上記解析範囲として抽出する。

ステップＳ１５０（ステップＳ１５１－Ｓ１５９）にて、スペクトログラムの解析範囲が抽出されると、表示制御部１８は、例えば、表示部１１に表示されているスペクトログラムのうち、抽出部１７によって抽出されなかった部分をグレーアウトすることにより、抽出部１７により抽出された解析範囲のみを表示部１１に表示させる（ステップＳ１６０）。また、ステップＳ１５０（ステップＳ１５９）にて抽出部１７により複数の解析範囲が抽出された場合、表示制御部１８は、予め定められた制約に従って１つの解析範囲のみを表示部１１に表示させ、作業者による表示部１１のスワイプに応じて、当該複数の解析範囲を表示部１１に順番に表示させる。また、本実施形態では、擬音語に基づいて取得された推定周波数範囲に対応した解析範囲が抽出された場合、当該解析範囲と共に、図６のテーブルに含まれる擬音語、周波数範囲、特徴が表示部１１に表示される。これにより、作業者に対して有用な情報を提供することが可能になる。

なお、問診情報および車両状態情報の内容によっては、ステップＳ１５０にて抽出部１７により解析範囲が抽出されないこともあり得る。この場合、表示制御部１８は、「解析範囲を選択できませんでした。」といったメッセージを表示部１１に表示させ、作業者に解析範囲の選択を促す。また、抽出部１７によって抽出されなかった部分をグレーアウトする代わりに、抽出部１７により抽出された解析範囲が表示部１１に拡大表示されてもよい。

一方、作業者が主に色分けされた音圧レベル等を手掛かりに表示部１１で自らの指先によりスペクトログラムの解析範囲を選択（指定）した場合（ステップＳ１３０：ＮＯ）、表示制御部１８は、作業者が選択した解析範囲を取得し（ステップＳ１３５）、作業者によって選択されなかった部分をグレーアウトすることにより、当該作業者により選択された解析範囲のみを表示部１１に表示させる（ステップＳ１６０）。解析範囲を表示部１１に表示させた後、表示制御部１８は、表示部１１に表示される選択終了ボタンが作業者によりタップされたか否かを判定し（ステップＳ１７０）、選択終了ボタンが作業者によりタップされていないと判定した場合（ステップＳ１７０：ＮＯ）、再度ステップＳ１３５の処理を実行する。すなわち、選択終了ボタンが作業者によりタップされていない場合、抽出部１７により抽出された解析範囲が作業者により更に絞り込まれることがあり得る。このため、選択終了ボタンが作業者によりタップされていないと判定した場合（ステップＳ１７０：ＮＯ）、再度ステップＳ１３５にて作業者により選択された解析範囲が確認される。

そして、表示部１１に表示された選択終了ボタンが作業者によりタップされると、携帯端末１０の通信モジュール１２から異音の診断に必要な情報がサーバ２０へと送信される（ステップＳ１８０）。ステップＳ１８０にて携帯端末１０からサーバ２０へと送信される情報は、音取得部１４により取得された音の時間軸データと、問診情報取得部１３により取得された問診情報と、最終的に表示部１１に表示された解析範囲を規定する情報とを含む。また、当該最終的な解析範囲を規定する情報は、ステップＳ１５１－Ｓ１５８の処理を経て抽出部１７により取得または抽出された推定周波数範囲、発生時間帯および特徴的な周波数の少なくとも何れか１つと、抽出部１７により抽出された解析範囲のうちの作業者により選択された範囲を規定する情報、または作業者により選択された範囲を規定する情報とを含む。

携帯端末１０から異音の診断に必要な情報がサーバ２０に送信されると、当該サーバ２０の異音診断部２１は、携帯端末１０から与えられた情報に基づいて車両Ｖで発生した異音の原因を診断し、診断結果を携帯端末１０に送信する。診断結果には、車両Ｖで発生した異音の原因、異音の発生源となった部品および記憶装置２２から読み出した当該異音を解消するための対策等が含まれる。また、サーバ２０からの診断結果が携帯端末１０により受信されると（ステップＳ１９０）、表示部１１に当該診断結果が表示され（ステップＳ２００）、異音の診断に際して、携帯端末１０で実行される図３の一連の処理が終了する。図３に示す一連の処理が実行されることで、作業者は、診断結果を車両Ｖの所有者等に的確に説明して速やかに異音対策を進めていくことができる。

上述のように、異音診断システム１を構成する携帯端末１０の演算処理部１６は、音取得部１４により取得された対象物としての車両Ｖから発せられる音の時間軸データから時間と周波数と音圧との関係を示すスペクトログラムを取得し（ステップＳ１００－Ｓ１２０）、携帯端末１０の抽出部１７は、問診情報取得部１３により取得された問診情報等に基づいて車両Ｖで発生した異音の推定周波数範囲を取得する（ステップＳ１５０，Ｓ１５２）。更に、当該抽出部１７は、スペクトログラムの当該推定周波数範囲に対応した解析範囲を抽出し（ステップＳ１５０，Ｓ１５９）、サーバ２０の異音診断部２１は、ステップＳ１５９にて抽出された解析範囲を示す情報に基づいて車両Ｖで発生した異音の原因を診断する（ステップＳ１８０－Ｓ１９０）。また、携帯端末１０の抽出部１７は、問診情報取得部１３により取得された問診情報等に基づいて車両Ｖで異音が発生した発生時間帯を取得する（ステップＳ１５０，Ｓ１５４）。更に、抽出部１７は、スペクトログラム（時間と音圧との関係）の当該発生時間帯に対応した解析範囲を抽出し（ステップＳ１５０，Ｓ１５９）、サーバ２０の異音診断部２１は、ステップＳ１５９にて抽出された解析範囲を示す情報に基づいて車両Ｖで発生した異音の原因を診断する（ステップＳ１８０－Ｓ１９０）。

このように、異音診断部２１により解析されるべきスペクトログラムの範囲を問診情報に基づいて携帯端末１０側（システム側）で選択することで、異音の原因の診断結果の精度を良好に確保することが可能になる。また、異音診断システム１を使用する作業者は、異音診断部２１により解析されるべきスペクトログラムの範囲を自ら選択しなくてもよい。この結果、異音診断システム１の利用経験が少ない作業者であっても、車両Ｖで発生する異音の精度のよい診断結果を容易に得ることができる。

更に、異音診断システム１を構成する携帯端末１０は、車両Ｖで発生する複数の異音ごとに擬音語と周波数範囲とを紐付けする図６のテーブルを記憶する補助記憶装置Ｍを含む。更に、問診情報は、車両Ｖで発生した異音に類似した擬音語を含む。また、携帯端末１０の抽出部１７は、補助記憶装置Ｍに記憶された図６のテーブル（情報）から問診情報に含まれる擬音語に対応した周波数範囲を推定周波数範囲として取得する（ステップＳ１５２）。これにより、異音診断システム１の作業者や車両Ｖの所有者は、当該車両Ｖで発生した異音に近い擬音語を選択することで、精度のよい異音の診断結果を容易に得ることができる。

また、異音診断システム１を構成する携帯端末１０は、再現テストが実行される際に音取得部１４による音の時間軸データの取得に同期して車両Ｖの状態を示す車両状態情報を取得する車両状態取得部１５を含む。更に、問診情報は、異音が発生したときの車両Ｖの状態を示す物理量や当該車両Ｖの運転状態等を含む。また、抽出部１７は、音の時間軸データの取得時間範囲のうち、車両状態取得部１５により取得された車両状態情報の物理量（例えば、車速）が問診情報に含まれている物理量（例えば、車速の範囲）に一致している時間帯を発生時間帯として取得する（ステップＳ１５４）。加えて、抽出部１７は、音の時間軸データの取得時間範囲のうち、車両状態取得部１５により取得された車両状態情報（物理量）が示す再現テスト時の車両Ｖの状態と、問診情報に含まれている運転状態とが一致している時間帯を発生時間帯として取得する（ステップＳ１５７）。これにより、発生時間帯を適正に取得することができるので、異音の原因の診断結果の精度をより向上させることが可能になる。

更に、抽出部１７は、車両状態情報の物理量が問診情報に含まれている物理量に一致する時間帯である発生時間帯と、車両状態情報の物理量が問診情報に含まれている物理量に一致しない時間帯との間で音圧が予め定められた閾値（所定値）以上変化している特徴的な周波数を抽出する（ステップＳ１５５，Ｓ１５８）。これにより、サーバ２０の異音診断部２１により解析されるべきスペクトログラムの周波数範囲を問診情報等に基づいて適正に絞り込むことが可能になる。

また、異音診断システム１における問診情報および車両状態情報は、車両Ｖの状態を示す情報として、車両の走行に際して変化する物理量と、車両Ｖの運転状態とを含む。これにより、車両Ｖで発生する異音の原因を精度よく診断することが可能になる。ただし、問診情報および車両状態情報は、車両Ｖの走行に際して変化する物理量と、車両Ｖの運転状態との何れか一方のみを含むものであってもよい。

更に、異音診断システム１を構成する携帯端末１０は、ステップＳ１５９にて抽出部１７により抽出されたスペクトログラムの推定周波数範囲に対応した範囲を表示する表示部１１を含み、作業者に表示部１１に表示されたスペクトログラムの所望の範囲の選択を許容する（ステップＳ１３０：ＮＯ，ステップＳ１３５）。これにより、異音診断システム１のユーザである作業者は、表示部１１に表示されたスペクトログラム（解析範囲）から抽出部１７による抽出結果を確認すると共に、更なる解析範囲の絞り込みを行うことが可能になる。加えて、異音診断システム１の利用経験が少ない作業者は、抽出部１７による抽出結果と、サーバ２０の異音診断部２１による診断結果とを確認することで、表示部１１でのスペクトログラムの有効な選択の仕方を会得していくことができる。

また、サーバ２０の異音診断部２１は、音取得部１４により取得された音の時間軸データと、問診情報取得部１３により取得された問診情報と、ステップＳ１５１－Ｓ１５８の処理を経て抽出部１７により取得または抽出された推定周波数範囲、発生時間帯および特徴的な周波数の少なくとも何れか１つ、または抽出部１７により抽出された解析範囲のうちの作業者により選択された範囲を規定する情報とに基づいて異音の原因を診断する。これにより、異音の原因を精度よく診断することが可能になる。すなわち、抽出部１７により取得または抽出された推定周波数範囲、発生時間帯および特徴的な周波数の少なくとも何れか１つ、または最終的な解析範囲を規定する情報を異音診断部２１に与えることは、異音の診断精度を向上させる上で極めて有用である。そして、異音診断部２１を、与えられた情報に基づいて異音の原因を診断するように教師あり学習により構築することで、異音の診断精度をより向上させることができる。

更に、異音診断システム１は、問診情報取得部１３、音取得部１４、車両状態取得部１５、演算処理部１６および抽出部１７を含む携帯端末１０と、異音診断部２１を含むと共に携帯端末１０と通信により情報をやり取りする情報処理装置としてのサーバ２０とを含む。これにより、車両Ｖから発せられる音の時間軸データを容易に取得可能にすると共に、携帯端末１０の負荷を減らしてサーバ２０により精度のよい診断結果を得ることができる。

なお、携帯端末１０にインストールされた異音診断支援アプリケーション（プログラム）は、タブレット端末や、ラップトップ型のパーソナルコンピュータ。デスクトップ型のパーソナルコンピュータ等にインストールされてもよく、当該タブレット端末等が携帯端末１０の代わりに使用されてもよい。また、デスクトップ型のパーソナルコンピュータを利用する場合には、スマートフォン等により車両Ｖから音の時間軸データおよび車両状態情報を取得した後、スマートフォン等から当該パーソナルコンピュータにデータを転送すればよい。更に、サーバ２０にインストールされた異音診断アプリケーションが携帯端末１０やタブレット端末、ラップトップ型のパーソナルコンピュータ。デスクトップ型のパーソナルコンピュータ等にインストールされてもよい。すなわち、異音診断システム１は、単一の情報処理装置により構成されてもよい。

また、携帯端末１０の演算処理部１６は、音取得部１４により取得された車両Ｖから発せられる音の時間軸データから時間と周波数と音圧との関係を示すスペクトログラムを取得するものであるが、これに限られるものではない。すなわち、演算処理部１６は、音の時間軸データから時間と音圧との関係のみを取得するものであってもよい。更に、異音診断システム１の対象物は、車両Ｖに限られるものでない。すなわち、異音診断システム１は、鉄道車両、船舶、航空機、産業機械等で発生する異音の診断に適用されてもよい。

ところで、車両Ｖでは、当該車両Ｖにおける発生箇所が互いに異なっている複数の異音間で、周波数範囲が異なっているにも拘わらず擬音語が共通になることがある。これを踏まえて、異音診断システム１において、作業者または所有者等が異音の発生箇所を指定することができるように、携帯端末１０に入力される問診情報に車両Ｖにおける異音の発生箇所を含めてもよい。すなわち、図１１に示すように、携帯端末１０の表示部１１（あるいは上記ウェブサイト）に表示される問診情報の入力画面（問診票）には、異音の発生箇所を指定（選択）するための入力欄が含まれてもよい。この場合、異音の発生箇所は、エンジン、パワートレイン、ボデー、ブレーキ、ドア、内装といった複数の車両の部位を含むドロップダウンリストから作業者または所有者等により選択される。

図１２は、問診情報に異音の発生箇所が含まれる場合に図３のステップＳ１５２にて適用され得るテーブルを示す説明図である。図１２に示すテーブルも、問診情報として選択可能な複数の擬音語の各々に、対応する異音の周波数範囲と、対応する異音の特徴と、対応する異音に類似した他の異音の擬音語とを紐付けするように予め作成されて携帯端末１０の補助記憶装置Ｍに記憶される。また、図１２に示すテーブルは、複数の擬音語の少なくとも何れか１つ（図１２の例では、例えば「カタカタ」および「カラカラ」）に、当該擬音語に対応した異音が発生する可能性のある複数の発生箇所（例えば、「エンジン」および「ボデー」）と、複数の発生箇所の各々における当該擬音語に対応した異音の周波数範囲とを紐付けするように作成されている。

更に、図１２に示すテーブルにおいて、複数の発生箇所に紐付けられた擬音語には、当該複数の発生箇所の周波数範囲の最小周波数（図１２の例では、「エンジン」の「０．５ｋＨｚ」）から最大周波数（図１２の例では、「ボデー」の「５ｋＨｚ」）までの周波数範囲が、作業者または所有者等により異音の発生箇所が指定（選択）されていないとき（発生箇所が不明であるとき）の周波数範囲として紐付けられている。かかる図１２のテーブルも、車両Ｖでの新たな異音の発生が判明したタイミングあるいは定期的に、多数の車両から取得される情報や、自動車製造者（開発者等）、車両販売店、整備工場等から送信される新たに車両Ｖで発生することが判明した異音に関する情報等に基づいてサーバ２０により更新される。

そして、問診情報に異音の発生箇所が含まれ、かつ複数の擬音語の少なくとも何れか１つに複数の発生箇所および複数の周波数範囲が紐付けられている場合には、図３のステップＳ１５２にて、図１２に示すテーブルから問診情報において指定（選択）されている擬音語および発生箇所に対応した周波数範囲が車両Ｖで発生した異音の推定周波数範囲として取得されることになる。すなわち、作業者または所有者等により擬音語として「カタカタ」が指定（選択）されると共に発生箇所として「エンジン」が指定（選択）されている場合、図３のステップＳ１５２では、図１２および図１３からわかるように、０．５－４ｋＨｚの範囲が推定周波数範囲として取得される。また、作業者または所有者等により擬音語として「カタカタ」が指定（選択）されると共に発生箇所が指定（選択）されていない場合、図３のステップＳ１５２では、図１３からわかるように、０．５－５ｋＨｚの範囲が推定周波数範囲として取得される。

このように、異音診断システム１において、擬音語に加えて異音の発生箇所を指定可能にし、かつ複数の擬音語の少なくとも何れか１つに複数の発生箇所および複数の周波数範囲を紐付けしておいてもよい。これにより、サーバ２０の異音診断部２１による車両Ｖで発生した異音の診断結果の精度をより向上させることが可能になる。また、図１２のテーブルは、時間の経過と共にサーバ２０により更新されていく。従って、当初に複数の発生箇所が紐付けられていなかった擬音語（発生箇所が「共通」であるもの）に対して、後から複数の発生箇所および複数の周波数範囲を紐付けすることができる。これにより、異音診断部２１による異音の診断結果の精度をより一層向上させることが可能になる。

以上説明したように、本開示の異音診断システムは、対象物（Ｖ）で発生する異音を診断する異音診断システム（１）であって、前記対象物（Ｖ）から発せられる音のデータを取得する音取得部（１４）と、前記対象物（Ｖ）で発生した前記異音に関する問診情報を取得する問診情報取得部（１３）と、前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部（１６，Ｓ１１０）と、前記問診情報取得部（１３）により取得された前記問診情報に基づいて前記対象物（Ｖ）で発生した前記異音の推定周波数範囲を取得すると共に、前記演算処理部（１６）により取得された前記スペクトログラムの前記推定周波数範囲に対応した範囲を抽出する抽出部（１７，Ｓ１５０，Ｓ１５２，Ｓ１５９）と、前記スペクトログラムの前記抽出部（１７）により抽出された範囲に基づいて前記対象物（Ｖ）で発生した前記異音の原因を診断する診断部（２０，２１）とを含むものである。

本開示の異音診断システムは、対象物から発せられる音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得すると共に、問診情報取得部により取得された問診情報に基づいて対象物で発生した異音の推定周波数範囲を取得する。更に、当該異音診断システムは、スペクトログラムの当該推定周波数範囲に対応した範囲を抽出し、抽出した範囲に基づいて対象物で発生した異音の原因を診断する。このように、診断部により解析されるべきスペクトログラムの範囲を問診情報に基づいてシステム側で選択することで、異音の原因の診断結果の精度を良好に確保することが可能になる。更に、異音診断システムのユーザは、診断部により解析されるべきスペクトログラムの範囲を自ら選択しなくてもよい。この結果、異音診断システムの利用経験が少ないユーザであっても、対象物で発生する異音の精度のよい診断結果を容易に得ることができる。

また、前記異音診断システム（１）は、前記対象物（Ｖ）で発生する複数の前記異音ごとに擬音語と周波数範囲とを紐付けして記憶する記憶装置（Ｍ）を含むものであってもよく、前記問診情報は、前記対象物（Ｖ）で発生した前記異音に類似した前記擬音語を含むものであってもよく、前記抽出部（１７）は、前記記憶装置（Ｍ）に記憶された情報から前記問診情報に含まれる前記擬音語に対応した前記周波数範囲を前記推定周波数範囲として取得する（Ｓ１５０，Ｓ１５２）ものであってもよい。これにより、異音診断システムのユーザや対象物の所有者等は、当該対象物で発生した異音に近い擬音語を選択することで、精度のよい診断結果を容易に得ることができる。

更に、前記問診情報は、前記異音の発生箇所を含むものであってもよく、前記記憶装置（Ｍ）は、複数の前記擬音語の少なくとも１つに、複数の前記発生箇所と、前記複数の前記発生箇所の各々における前記異音の前記周波数範囲とを紐付けして記憶するものであってもよく、前記抽出部（１７）は、前記記憶装置（Ｍ）に記憶された情報から前記問診情報に含まれる前記擬音語および前記発生箇所に対応した前記周波数範囲を前記推定周波数範囲として取得する（Ｓ１５０，Ｓ１５２）ものであってもよい。これにより、診断部による対象物で発生した異音の診断結果の精度をより向上させることが可能になる。

また、前記異音診断システム（１）は、前記抽出部（１７）により抽出された前記スペクトログラムの前記推定周波数範囲に対応した範囲を表示する表示部（１１）を含み、ユーザに前記表示部（１１）に表示された前記スペクトログラムの所望の範囲の選択を許容する（Ｓ１３０：ＮＯ，Ｓ１３５）ものであってもよい。これにより、異音診断システムのユーザは、表示部に表示されたスペクトログラムから抽出部による抽出結果を確認すると共に、更なる解析範囲の絞り込みを行うことが可能になる。加えて、異音診断システムの利用経験が少ないユーザは、抽出部による抽出結果と診断部による診断結果とを確認することで、表示部でのスペクトログラムの有効な選択の仕方を会得していくことができる。

また、前記診断部（２１）は、前記音取得部（１４）により取得された前記音のデータと、前記問診情報取得部（１３）により取得された前記問診情報と、前記推定周波数範囲または前記表示部（１１）に表示された前記スペクトログラムの前記推定周波数範囲に対応した範囲からユーザにより選択された範囲とに基づいて前記異音の原因を診断するものであってもよい。これにより、異音の原因を精度よく診断することが可能になる。

更に、前記診断部（２１）は、与えられた情報に基づいて前記異音の原因を診断するように教師あり学習により構築されてもよい。これにより、異音の診断精度をより向上させることが可能になる。

また、前記異音診断システム（１）は、前記問診情報取得部（１３）、前記音取得部（１４）、前記演算処理部（１６）および前記抽出部（１７）を含む携帯端末（１０）と、前記診断部（２１）を含むと共に前記携帯端末（１０）と通信により情報をやり取りする情報処理装置（２０）とを含むものであってもよい。これにより、音のデータを容易に取得可能にすると共に、携帯端末の負荷を減らして情報処理装置により精度のよい診断結果を得ることができる。

また、本開示の他の異音診断システムは、対象物で発生する異音を診断する異音診断システム（１）であって、前記対象物（Ｖ）から発せられる音のデータを取得する音取得部（１４）と、前記対象物（Ｖ）で発生した前記異音に関する問診情報を取得する問診情報取得部（１３）と、前記音のデータから少なくとも時間と音圧との関係を取得する演算処理部（１６）と、前記問診情報取得部（１３）により取得された前記問診情報に基づいて前記対象物（Ｖ）で前記異音が発生した発生時間帯を取得し、前記演算処理部（１６）により取得された前記時間と音圧との関係の前記発生時間帯に対応した範囲を抽出する抽出部（１７，Ｓ１５４－Ｓ１５５，Ｓ１５７－Ｓ１５８，Ｓ１５９）と、前記時間と音圧との関係の前記抽出部（１７）により抽出された範囲に基づいて前記対象物（Ｖ）で発生した前記異音の原因を診断する診断部（２１）とを含むものである。

本開示の他の異音診断システムは、対象物から発せられる音のデータから少なくとも時間と音圧との関係を取得すると共に、問診情報取得部により取得された問診情報に基づいて対象物で異音が発生した発生時間帯を取得する。更に、当該異音診断システムは、時間と音圧との関係の当該発生時間帯に対応した範囲を抽出し、抽出した範囲に基づいて対象物で発生した異音の原因を診断する。このように、診断部により解析されるべき時間と音圧との関係の範囲を問診情報に基づいてシステム側で選択することで、異音の原因の診断結果の精度を良好に確保することが可能になる。更に、異音診断システムのユーザは、診断部により解析されるべき時間と音圧との関係の範囲を自ら選択しなくてもよい。この結果、異音診断システムの利用経験が少ないユーザであっても、対象物で発生する異音の精度のよい診断結果を容易に得ることができる。

また、前記異音診断システム（１）は、前記音取得部（１４）による前記音のデータの取得に同期して前記対象物（Ｖ）の状態を取得する状態取得部（１５）を含むものであってもよく、前記問診情報は、前記異音が発生したときの前記対象物（Ｖ）の状態を含むものであってもよく、前記抽出部（１７）は、前記音のデータの取得時間範囲のうち、前記状態取得部（１５）により取得された前記対象物（Ｖ）の状態が前記問診情報に含まれる前記対象物（Ｖ）の状態に一致している時間帯を前記発生時間帯として取得するものであってもよい（Ｓ１５４，Ｓ１５７）。これにより、発生時間帯を適正に取得することができるので、異音の原因の診断結果の精度をより向上させることが可能になる。

更に、前記演算処理部（１６）は、前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得するものであってもよく、前記抽出部（１７）は、前記状態取得部（１５）により取得された前記対象物（Ｖ）の状態が前記問診情報に含まれる前記対象物（Ｖ）の状態に一致している時間帯と、前記状態取得部（１５）により取得された前記対象物（Ｖ）の状態が前記問診情報に含まれる前記対象物（Ｖ）の状態に一致していない時間帯との間で、前記音圧が所定値以上変化している周波数を抽出する（Ｓ１５５，Ｓ１５８）ものであってもよい。これにより、診断部により解析されるべきスペクトログラムの周波数範囲を問診情報に基づいて適正に絞り込むことが可能になる。

また、前記対象物（Ｖ）は、車両であってもよく、前記対象物（Ｖ）の状態は、前記車両の走行に際して変化する物理量と前記車両の運転状態との少なくとも何れか一方を含むものであってもよい。これにより、車両で発生する異音の原因を精度よく診断することが可能になる。

更に、前記異音診断システム（１）は、前記抽出部（１７）により抽出された前記時間と音圧との関係の前記発生時間帯に対応した範囲を表示する表示部（１１）を含み、ユーザに前記表示部（１１）に表示された前記時間と音圧との関係の所望の範囲の選択を許容する（Ｓ１３０：ＮＯ，Ｓ１３５）ものであってもよい。これにより、異音診断システムのユーザは、表示部に表示された時間と音圧との関係から抽出部による抽出結果を確認すると共に、更なる範囲の絞り込みを行うことが可能になる。加えて、異音診断システムの利用経験が少ないユーザは、抽出部による抽出結果と、診断部による診断結果とを確認することで、表示部での時間と音圧との関係の有効な選択の仕方を会得していくことができる。

また、前記診断部（２１）は、前記音取得部（１４）により取得された音のデータと、前記問診情報取得部（１３）により取得された前記問診情報と、前記発生時間帯または前記表示部（１１）に表示された前記時間と音圧との関係の前記発生時間帯に対応した範囲からユーザにより選択された時間範囲とに基づいて前記異音の原因を診断するものであってもよい。これにより、異音の原因を精度よく診断することが可能になる。

更に、前記診断部（２１）は、与えられた情報に基づいて前記異音の原因を診断するように教師あり学習により構築されてもよい。これにより、異音の診断精度をより向上させることが可能になる。

また、前記異音診断システム（１）は、前記問診情報取得部（１３）、前記音取得部（１４）、前記演算処理部（１６）および前記抽出部（１７）を含む携帯端末（１０）と、前記診断部（２１）を含むと共に前記携帯端末（１０）と通信により情報をやり取りする情報処理装置（２０）とを含むものであってもよい。これにより、音のデータを容易に取得可能にすると共に、携帯端末の負荷を減らして情報処理装置により精度のよい診断結果を得ることができる。

そして、本開示の発明は上記実施形態に何ら限定されるものではなく、本開示の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記実施形態は、あくまで発明の概要の欄に記載された発明の具体的な一形態に過ぎず、発明の概要の欄に記載された発明の要素を限定するものではない。

本開示の発明は、車両等の対象物で発生する異音の診断に極めて有用である。

１ 異音診断システム、１０ 携帯端末、１１ 表示部、１２ 通信モジュール、１３ 問診情報取得部、１４ 音取得部、１５ 車両状態取得部、１６ 演算処理部、１７ 抽出部、１８ 表示制御部、２０ サーバ、２１ 異音診断部、２２ 記憶装置、Ｖ 車両。

Claims (15)

1. 対象物で発生する異音を診断する異音診断システムであって、
   前記対象物から発せられる音のデータを取得する音取得部と、
   前記対象物で発生した前記異音に関する問診情報を取得する問診情報取得部と、
   前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部と、
   前記問診情報取得部により取得された前記問診情報に基づいて前記対象物で発生した前記異音の推定周波数範囲を取得すると共に、前記演算処理部により取得された前記スペクトログラムの前記推定周波数範囲に対応した範囲を抽出する抽出部と、
   前記スペクトログラムの前記抽出部により抽出された範囲に基づいて前記対象物で発生した前記異音の原因を診断する診断部と、
   を備える異音診断システム。
2. 請求項１に記載の異音診断システムにおいて、
   前記対象物で発生する複数の前記異音ごとに擬音語と周波数範囲とを紐付けして記憶する記憶装置を更に備え、
   前記問診情報は、前記対象物で発生した前記異音に類似した前記擬音語を含み、
   前記抽出部は、前記記憶装置に記憶された情報から前記問診情報に含まれる前記擬音語に対応した前記周波数範囲を前記推定周波数範囲として取得する異音診断システム。
3. 請求項２に記載の異音診断システムにおいて、
   前記問診情報は、前記異音の発生箇所を含み、
   前記記憶装置は、複数の前記擬音語の少なくとも１つに、複数の前記発生箇所と、前記複数の前記発生箇所の各々における前記異音の前記周波数範囲とを紐付けして記憶し、
   前記抽出部は、前記記憶装置に記憶された情報から前記問診情報に含まれる前記擬音語および前記発生箇所に対応した前記周波数範囲を前記推定周波数範囲として取得する異音診断システム。
4. 請求項１から３の何れか一項に記載の異音診断システムにおいて、
   前記抽出部により抽出された前記スペクトログラムの前記推定周波数範囲に対応した範囲を表示する表示部を更に備え、ユーザに前記表示部に表示された前記スペクトログラムの所望の範囲の選択を許容する異音診断システム。
5. 請求項４に記載の異音診断システムにおいて、
   前記診断部は、前記音取得部により取得された前記音のデータと、前記問診情報取得部により取得された前記問診情報と、前記推定周波数範囲または前記表示部に表示された前記スペクトログラムの前記推定周波数範囲に対応した範囲からユーザにより選択された範囲とに基づいて前記異音の原因を診断する異音診断システム。
6. 請求項５に記載の異音診断システムにおいて、
   前記診断部は、与えられた情報に基づいて前記異音の原因を診断するように教師あり学習により構築される異音診断システム。
7. 請求項１から３の何れか一項に記載の異音診断システムにおいて、
   前記問診情報取得部、前記音取得部、前記演算処理部および前記抽出部を含む携帯端末と、前記診断部を含むと共に前記携帯端末と通信により情報をやり取りする情報処理装置とを備える異音診断システム。
8. 対象物で発生する異音を診断する異音診断システムであって、
   前記対象物から発せられる音のデータを取得する音取得部と、
   前記対象物で発生した前記異音に関する問診情報を取得する問診情報取得部と、
   前記音のデータから少なくとも時間と音圧との関係を取得する演算処理部と、
   前記問診情報取得部により取得された前記問診情報に基づいて前記対象物で前記異音が発生した発生時間帯を取得し、前記演算処理部により取得された前記時間と音圧との関係の前記発生時間帯に対応した範囲を抽出する抽出部と、
   前記時間と音圧との関係の前記抽出部により抽出された範囲に基づいて前記対象物で発生した前記異音の原因を診断する診断部と、
   を備える異音診断システム。
9. 請求項８に記載の異音診断システムにおいて、
   前記音取得部による前記音のデータの取得に同期して前記対象物の状態を取得する状態取得部を更に備え、
   前記問診情報は、前記異音が発生したときの前記対象物の状態を含み、
   前記抽出部は、前記音のデータの取得時間範囲のうち、前記状態取得部により取得された前記対象物の状態が前記問診情報に含まれる前記対象物の状態に一致している時間帯を前記発生時間帯として取得する異音診断システム。
10. 請求項９に記載の異音診断システムにおいて、
    前記演算処理部は、前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得し、
    前記抽出部は、前記状態取得部により取得された前記対象物の状態が前記問診情報に含まれる前記対象物の状態に一致している時間帯と、前記状態取得部により取得された前記対象物の状態が前記問診情報に含まれる前記対象物の状態に一致していない時間帯との間で、前記音圧が所定値以上変化している周波数を抽出する異音診断システム。
11. 請求項９または１０に記載の異音診断システムにおいて、
    前記対象物は、車両であり、
    前記対象物の状態は、前記車両の走行に際して変化する物理量と前記車両の運転状態との少なくとも何れか一方を含む異音診断システム。
12. 請求項８から１０の何れか一項に記載の異音診断システムにおいて、
    前記抽出部により抽出された前記時間と音圧との関係の前記発生時間帯に対応した範囲を表示する表示部を更に備え、ユーザに前記表示部に表示された前記時間と音圧との関係の所望の範囲の選択を許容する異音診断システム。
13. 請求項１２に記載の異音診断システムにおいて、
    前記診断部は、前記音取得部により取得された音のデータと、前記問診情報取得部により取得された前記問診情報と、前記発生時間帯または前記表示部に表示された前記時間と音圧との関係の前記発生時間帯に対応した範囲からユーザにより選択された時間範囲とに基づいて前記異音の原因を診断する異音診断システム。
14. 請求項１３に記載の異音診断システムにおいて、
    前記診断部は、与えられた情報に基づいて前記異音の原因を診断するように教師あり学習により構築される異音診断システム。
15. 請求項８から１０の何れか一項に記載の異音診断システムにおいて、
    前記問診情報取得部、前記音取得部、前記演算処理部および前記抽出部を含む携帯端末と、前記診断部を含むと共に前記携帯端末と通信により情報をやり取りする情報処理装置とを備える異音診断システム。

Images