JP2020095258A - 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法 - Google Patents

問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法 Download PDF

Info

Publication number
JP2020095258A
JP2020095258A JP2019205710A JP2019205710A JP2020095258A JP 2020095258 A JP2020095258 A JP 2020095258A JP 2019205710 A JP2019205710 A JP 2019205710A JP 2019205710 A JP2019205710 A JP 2019205710A JP 2020095258 A JP2020095258 A JP 2020095258A
Authority
JP
Japan
Prior art keywords
noise
artificial intelligence
identifying
data
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019205710A
Other languages
English (en)
Other versions
JP7462400B2 (ja
Inventor
チョン、イン−ス
In-Soo Jung
イ、ドン−チョル
Dong-Chul Lee
チャン、ジュン−ヒョク
Joon-Hyuk Chang
ノ、キョン−ジン
Kyoung-Jin Noh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry University Cooperation Foundation IUCF HYU
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp, Industry University Cooperation Foundation IUCF HYU filed Critical Hyundai Motor Co
Publication of JP2020095258A publication Critical patent/JP2020095258A/ja
Application granted granted Critical
Publication of JP7462400B2 publication Critical patent/JP7462400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

【課題】車両騒音に対する、ディープラーニングに基づく人工知能を用いた問題騒音の発生源診断技術であって、問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法を提供する。【解決手段】時間によってサンプリングした騒音のうち問題騒音に対して単位フレームを選定するステップと、前記単位フレームをＮ個のセグメントに分割するステップと、セグメント毎に周波数特性を分析し、ログメルフィルタを適用して周波数成分を抽出するステップと、セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力するステップと、を含む問題騒音の発音源を識別するための騒音データの前処理方法を含み、前処理方法により時間の変化に従って抽出された特徴パラメータによる人工知能学習に双方向ＲＮＮを適用する、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。【選択図】図１

Description

本発明は、車両騒音、特にパワートレイン騒音のような非定型的な騒音に対する、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）に基づく人工知能を用いた問題騒音の発生源診断技術であって、問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法に関する。
車両は、数多くの部品が組み立てられてなる完成体である。
特に、車両の動力系は、固有の騒音および振動特性を有している。
しかし、数多くの部品の組み合わせにより発生する騒音情報は非常に膨大である。
騒音は、正常な場合の動作騒音と、異常な場合に現われる問題騒音とが異なって現われる。
問題騒音が発生すると、車両は異常状態に置かれる場合が多い。
しかしながら、非常に複雑な構造を有している車両が発生させる問題騒音情報のみで、車両のどの部位の故障であるかを判断することは非常に難しい。
例えば、車両のパワートレインは、問題騒音が発生した箇所を検出することが非常に難しい。
その理由は、かかる車両の問題騒音は、非定型的に発生するためである。
そのため、従来は、騒音の専門家らが聴音テストにより診断し、過去の経験に頼って問題騒音源を探していた。
この際、複数の騒音の専門家らがセンサやその他の試験条件を用いるとしても、長時間がかかっていた。
それにもかかわらず、問題騒音源を完全に診断することは非常に難しいことであった。
近年、騒音データを用いて問題騒音源を探そうとする努力が行われてきたが、適切な解決方法がない状況である。
ＫＲ２０１８‐００２９３２０Ａ１ ＪＰ２０１３‐２００１４３Ａ１ ＵＳ２０１６‐００７１３３６Ａ１
本発明は、人工知能技法を用いて、騒音データが類型毎に蓄積された騒音ビックデータの資産価値を極大化する、問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法を提供することをその目的とする。
時間によってサンプリングした騒音のうち問題騒音に対して単位フレームを選定するステップと、前記単位フレームをＮ個のセグメントに分割するステップと、前記セグメント毎に周波数特性を分析し、ログメルフィルタ（Ｌｏｇ Ｍｅｌ Ｆｉｌｔｅｒ）を適用して前記周波数成分を抽出するステップと、前記セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力するステップと、を含む、問題騒音の発音源を識別するための騒音データの前処理方法を含み、前記前処理方法により前記時間の変化によって抽出された特徴パラメータを用いた人工知能学習に、双方向ＲＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ）を適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記サンプリングは、問題周波数帯域の２倍の範囲でサンプリングすることを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記時間による単位フレームと、次の時間の単位フレームとの間には、オーバーラップを設定することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記人工知能学習にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記人工知能学習にアテンションメカニズム（Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ）をさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記人工知能学習にアーリーステージアンサンブル（Ｅａｒｌｙ ｓｔａｇｅ ｅｎｓｅｍｂｌｅ）アルゴリズムをさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記問題騒音学習データの時間軸が一定に収集される場合、正確度を向上するために、時間‐周波数マップとエンジン回転数‐周波数マップの両方を用いるＥｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムをさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、問題騒音の発音源を識別するための騒音データ人工知能学習方法が実現された装置であって、前記装置の入力手段で車両またはパワートレインの騒音を直接測定するか、格納されている騒音データを格納媒体を用いて提供することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習装置を提供する。
第一に、パワートレインの複雑な騒音源が混在している点を考慮し、１〜ｎ順位まで確率的な方法により入力される騒音源に対して診断結果を出力することができる多重診断システム概念を適用しているため、低い特性を示す問題騒音の発音源も診断することができる。
第二に、パワートレイン問題騒音のビックデータに基づいて学習されたモデルを生成することで、複合的、且つ非定型的なパワートレイン騒音または車両騒音の高精度の診断が確率的に可能となる。
第三に、非常に短い時間で、問題騒音の発音源を正確に診断することができる。
第四に、ＧＲＵ、ＤＮＮ、アテンションメカニズム、およびアーリーステージアンサンブルアルゴリズムを用いるため、過去時間のデータが消失することが防止される。
第五に、アテンションメカニズムの適用により学習データの重要部分の加重値をさらに与えることで、非定型的な騒音に対する正確な学習モデルの樹立が可能となる。
第六に、人（専門エンジニア）のデータ分析および判断に要する手間を効率的に改善することができる。
本発明の好ましい実施形態による全体フローチャートである。 本発明の好ましい実施形態による類型毎の騒音データの前処理ステップを示す。 本発明の好ましい実施形態による人工知能学習モデルに任意の騒音データを入力して診断する過程を示す。 本発明の好ましい実施形態による人工知能学習に用いられる時間‐周波数マップに関する図である。 本発明の好ましい実施形態によるエンジン回転数‐周波数マップに関する図である。
発明を行うための形態
本発明は様々な変更を加えることができ、種々の実施形態を有することができるものであり、特定の実施形態を図に例示して詳細な説明で具体的に説明する。しかし、これは本発明を特定の実施形態に限定するためのものではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解されるべきである。
各図を説明するにあたり、類似の参照符号を類似の構成要素に用いる。
第１、第２などの用語は、様々な構成要素を説明するために用いることができるが、前記構成要素は、前記用語によって限定されてはならない。前記用語は、１つの構成要素を他の構成要素から区別する目的でのみ用いられる。
例えば、本発明の権利範囲を逸脱することなく第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。「および／または」という用語は、記載された複数の関連項目の組み合わせまたは記載された複数の関連項目の何れかの項目を含む。
他に定義されない限り、技術的または科学的な用語を含んでここで用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者によって一般に理解されるものと同一の意味を有する。
一般に用いられる辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されてはならない。
本発明の問題騒音の発音源を識別するための騒音データの前処理方法を説明する。
任意の騒音は、診断のために必要な問題騒音の類型および発音源の情報が分からない騒音である。
後述するが、本発明では、任意の騒音とともに、測定されたエンジンＲＰＭ情報を用いることができる。
一方、必要に応じて、エンジンＲＰＭ情報なしに、任意の騒音を入力として用いて診断可能である。
図１は本発明の好ましい実施形態による全体フローチャートである。この場合、全体のフローチャートを図２の騒音データ前処理器１００−１を参照して説明すれば、下記の通りである。
先ず、 騒音データ前処理器１００−１の騒音データ入力部（１１０）を介して, 任意の騒音が入力される（Ｓ１）。
騒音データ学習部（１００）を介して, 時間によってサンプリングした騒音のうち問題騒音に対して、単位フレームを選定する（Ｓ２）。
セグメント分割部（2００）を介して, 単位フレームをＮ個のセグメントに分割する（Ｓ３）。
この際、時間によるサンプリングは、問題周波数帯域の２倍の範囲でサンプリングすることが好ましい。
このようなサンプリング作業を、本発明では騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）という。
ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）は、パワートレインの特性を考慮した診断学習に必要であり、パワートレイン騒音の特性分析において重要である。
騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）は、高正確度の学習の特徴パラメータの抽出のために学習に用いられる。
騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）に用いられる技法としては、診断しようとする騒音周波数の２倍数であるＦｒｅｑｕｅｎｃｙ ｓａｍｐｌｉｎｇによりサンプリング（ｒｅ‐ｓａｍｐｌｉｎｇ）することが好ましい。
また、時間による単位フレームと、次の時間の単位フレームとの間には、オーバーラップを設定することが好ましい。
オーバーラップは単位フレームの間にも存在することができる。
オーバーラップは、１個の単位フレームをＮ個のセグメントに分割する場合にも存在することができる。
オーバーラップは、データの損失を防止することをその目的とする。
セグメント分析部(３００)と、平均処理部(４００)を介して, セグメント毎に周波数特性を分析し、ログメルフィルタを適用して周波数成分を抽出する（Ｓ４）。
ログメルフィルタは、低周波成分と高周波成分の両方を使用可能とするために用いられる。
学習モデル統合部(５００)と、学習モデル生成部(６００)と、特徴パラメータ抽出部(６１０)を介して, セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力する（Ｓ５）。
特徴パラメータは無次元の概念であり、特徴ベクトルは次元のある概念であって、特徴パラメータが特徴ベクトルより上位概念である。
しかし、ここで、特徴ベクトルと特徴パラメータは類似の概念で理解され得る。
このような特徴ベクトル(特徴パラメータ)作業を、本発明では騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）という。
一方、出力された特徴ベクトルは、人工知能学習器(７００)の人工知能学習で入力値として用いることができる。
人工知能学習器(７００)の人工知能ロジック（７１０)は、特徴ベクトルを用いて問題騒音の発音源を最終的に識別する（Ｓ６）。
人工知能ロジック(７１０)は、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）または機械学習、マシンラーニングなどと類似の意味で理解され得る。
人工知能学習では時間の変化による特徴パラメータを用い、これにより、パワートレイン騒音の特徴である非定型性の特徴を全て把握することができるのである。
この際、人工知能学習には双方向ＲＮＮ（ＧＲＵ：Ｒａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）を適用することができる。
ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）とは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）技法の１つであって、これを用いて時間の変化による人工知能学習モデルを構築することができる。
一方、人工知能学習にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をさらに適用することも考慮され得る。
ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、Ｍａｎｙ ｔｏ ｏｎｅの確率的正確度を向上するためのアルゴリズムとして用いることができる。
この際、ソフトマックス（ｓｏｆｔ ｍａｘ）技法を適用することも好ましい。
Ｍａｎｙ ｔｏ ｏｎｅ診断技法とは、時間の流れに対する問題騒音の発音源を診断する技術である。
また、人工知能学習にアテンションメカニズムをさらに適用することも好ましい。
アテンションメカニズムは、過去時間データの情報消失を改善するために活用されることができる。
アテンションメカニズムは、時間進行軸において重要な特徴ベクトルに加重値を与える学習技法である。
すなわち、アテンションメカニズムは、学習データの重要部分の加重値をさらに与えることで、非定型的な騒音に対する正確な学習モデルの樹立を可能とする。
この際、双方向ＲＮＮ（ＧＲＵ）を複合して適用することも好ましい。
そして、人工知能学習にアーリーステージアンサンブルアルゴリズムをさらに適用することも可能である。
アーリーステージアンサンブルアルゴリズムとは、ＧＲＵの上位概念であるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）における問題点のうち過去時間データの重要性を浮かび上がらせる加重値学習技法である。
すなわち、アーリーステージアンサンブル技法は、初期時間と最終時間に対する加重値を均等に分割し、情報を保持するために用いることができる。
図２は本発明の好ましい実施形態による類型毎の騒音データの前処理ステップを示す。
図３は本発明の好ましい実施形態による人工知能学習モデルに任意の騒音データを入力して診断する過程を示す。
図２と図３を参照すれば、騒音データ人工知能学習装置(１)は、問題騒音発音源識別のための騒音データ人工知能学習方法が実現された装置を提供することができる。
前記騒音データ人工知能学習装置(１)は、入力手段(３)と、騒音データ前処理器(１００−１)と、人工知能学習器(７００)と、問題騒音発音源分類器(８００)と、問題騒音判断器(９００)とを含む。
前記入力手段(３)は、騒音測定センサ(３−１)として車両あるいはパワートレインの騒音を直接測定したり、格納媒体(３−２)として格納された騒音データを介して提供を受けることができる。すなわち、格納媒体(３−２)は、騒音データが格納され、これを介して学習モデル生成部(６００)の人工知能学習モデルに適用させることも可能である。
前記騒音データ前処理器(１００−１)は、騒音データ学習部(１００)と、騒音データ入力部(１１０)と、セグメント分割部(２００)と、セグメント分析部(３００)と、平均処理部(４００)と、学習モデル統合部(５００)と、学習モデル生成部(６００)と、特徴パラメータ抽出部(６１０)とから構成される。
前記騒音データ人工知能学習装置(１)の動作は次の通りである。
先ず、騒音データ学習部(１００)によって問題類型毎の騒音データを単位時間毎に学習する。
入力される騒音データ学習部(１００)の騒音データは、任意の騒音である。
この際、単位フレームを選定し、オーバーラップの範囲を選定する。
車両の騒音には様々な類型があるが、非定型的に発生する車両騒音の類型は次のとおりである。
すなわち、時間の長さによって発生する問題騒音として、短時間で発生する問題騒音と長時間で発生する問題騒音がある。
また、周波数成分によって発生する問題騒音として、特定周波数成分の問題騒音が存在する。
本発明の類型毎の騒音データの前処理では、時間的特性と周波数成分特性が全て考慮される。
換言すれば、時間によって変化する騒音特性と、低い周波数成分から高い周波数成分までを全て含むように、時間軸は１個のフレーム単位で分割する。
１個のフレーム単位で分割する理由は、時間によって変化する騒音の特徴を正確に判断するためのことである。
そして、分割された１個のフレームと次の時間のフレームのオーバーラップを設定する。
この際、オーバーラップの比率は均一に適用される。
単位フレームをＮ個のセグメント（例、１個のフレームを計９個のセグメント）にセグメント分割部(２００)で分割が行われ、セグメントごとにセグメント分析部(３００)で周波数特性を分析してログメルフィルタ(Ｌｏｇ Ｍｅｌ Ｆｉｌｔｅｒ)を適用する。
ログメルフィルタを適用した結果が平均処理部(４００)の平均値として出力される。
これは、周波数特性が低い周波数帯域から高い周波数帯域までにおける効率向上のための後処理作業に当たる。
その後、各時間毎の個別データの特徴を抽出した後、学習モデル統合部(５００)の１個の学習モデルに統合させる。
次に、同一の故障現象が発生した時に収集された振動ビックデータを用いた、特徴ベクトル（パラメータ）に基づく学習モデル生成部(６００)の学習モデルを生成する。
人工知能学習器（７００）は、抽出された 特徴パラメータ抽出部(６１０)の特徴ベクトル（パラメータ）を用いて問題騒音の発音源を識別し、問題騒音発音源分類器(８００)の分類結果を導出することができる。
また、人工知能学習器（７００）は、全騒音のうち意味の高いデータを問題騒音判断器(９００)のアテンション結果として出力することができる。
問題騒音判断器(９００)のアテンション結果は、ＮＶＨ（Noise, Vibration, Harshness）専門家集団が騒音の詳細分析時に用いる技法を適用するために用いることができ、近年、データ加重値が高くなり、初期データの加重値は低くなる非定型時間データの分析における欠点を補完する。
図４は、本発明の好ましい実施形態による人工知能学習に用いられる時間‐周波数マップ（７１１）を示したものであり、図５は、本発明の好ましい実施形態によるエンジン回転数‐周波数マップ（７２１）に関する図である。
問題騒音学習データの時間軸が一定に収集される場合には、正確度の向上のために、Ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムを用いることができる。
Ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムとは、時間‐周波数マップ（７１１）とエンジン回転数‐周波数マップ（７２１）の両方を用いるアルゴリズムである。
Ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムは、換言してＪｏｉｎｔｅｄ ｔｉｍｅ ａｎｄ ＲＰＭ ＭＡＰ ａｎａｌｙｓｉｓ技法ともいう。
この際、問題騒音学習データの時間軸が一定に収集される場合とは、同一の時間を基準としてシンクロされる場合を意味する。
例えば、全ての学習データと診断のための格納データの時間軸が１０秒としたときに、このように同一の時間測定データである場合に、時間軸に整形的な騒音データを収集するのである。
本発明のさらに他の好ましい実施形態として、問題騒音の発音源を識別するための騒音データ人工知能学習方法が実現された装置を提供することができる。
この際、入力手段で車両またはパワートレイン騒音を直接測定してもよく、格納されている騒音データを格納媒体を用いて提供してもよい。
すなわち、格納媒体には騒音データが格納されており、これを用いて人工知能学習モデルに適用することも可能である。
一方、本発明の問題騒音発音源識別のための騒音データ人工知能学習方法が実現された装置の好ましい他の実施例として、任意の騒音とエンジンＲＰＭ信号を測定可能なポータブル装備に適用させることができる。
これにより測定された任意の騒音を、ＰＣまたは分析装備に基づくシステムを適用して分析可能である。
本発明は、騒音データを用いて非常に短時間に正確な問題騒音の発音源を診断する技術であって、約５秒以内に問題騒音発音源分類器(８００)の診断結果が出力可能となる。
Ｓ１ 騒音入力
Ｓ２ 単位フレーム選定
Ｓ３ Ｎ個のセグメントに分割
Ｓ４ ログメルフィルタ適用、周波数成分抽出
Ｓ５ 特徴ベクトル出力
Ｓ６ 人工知能を用いた問題騒音発音源の識別

Claims (8)

  1. 時間によってサンプリングした騒音のうち問題騒音に対して単位フレームを選定するステップと、
    前記単位フレームをＮ個のセグメントに分割するステップと、
    前記セグメント毎に周波数特性を分析し、ログメルフィルタ（Ｌｏｇ Ｍｅｌ Ｆｉｌｔｅｒ）を適用して前記周波数成分を抽出するステップと、
    前記セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力するステップと、を含む、問題騒音の発音源を識別するための騒音データの前処理方法を含み、
    前記前処理方法により前記時間の変化に従って抽出された特徴パラメータによる人工知能学習に、双方向ＲＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ）を適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  2. 前記サンプリングは、問題周波数帯域の２倍の範囲でサンプリングすることを特徴とする、請求項１に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  3. 前記時間による単位フレームと、次の時間の単位フレームとの間には、オーバーラップを設定することを特徴とする、請求項１に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  4. 前記人工知能学習にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をさらに適用することを特徴とする、請求項１に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  5. 前記人工知能学習にアテンションメカニズム（Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ）をさらに適用することを特徴とする、請求項４に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  6. 前記人工知能学習にアーリーステージアンサンブル（Ｅａｒｌｙ ｓｔａｇｅ ｅｎｓｅｍｂｌｅ）アルゴリズムをさらに適用することを特徴とする、請求項５に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  7. 前記問題騒音学習データの時間軸が一定に収集される場合、
    正確度を向上するために、時間‐周波数マップとエンジン回転数‐周波数マップの両方を用いるＥｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムをさらに適用することを特徴とする、請求項６に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  8. 請求項７に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法が実現された装置であって、
    前記装置の入力手段で車両またはパワートレインの騒音を直接測定するか、格納されている騒音データを格納媒体を用いて提供することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習装置。
JP2019205710A 2018-12-13 2019-11-13 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法 Active JP7462400B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180160833A KR20200075148A (ko) 2018-12-13 2018-12-13 문제소음 발음원 식별을 위한 소음데이터의 인공지능 장치 및 전처리 방법
KR10-2018-0160833 2018-12-13

Publications (2)

Publication Number Publication Date
JP2020095258A true JP2020095258A (ja) 2020-06-18
JP7462400B2 JP7462400B2 (ja) 2024-04-05

Family

ID=68609941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019205710A Active JP7462400B2 (ja) 2018-12-13 2019-11-13 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法

Country Status (5)

Country Link
US (1) US11494643B2 (ja)
EP (1) EP3667664A1 (ja)
JP (1) JP7462400B2 (ja)
KR (1) KR20200075148A (ja)
CN (1) CN111325313A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11780442B2 (en) 2020-12-23 2023-10-10 Toyota Jidosha Kabushiki Kaisha Sound source estimation server, sound source estimation system, sound source estimation device, and sound source estimation method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075133A (ko) * 2018-12-12 2020-06-26 현대자동차주식회사 빅데이터 정보 기반 문제소음 발생원 진단 방법 및 장치
JP7392633B2 (ja) * 2020-11-10 2023-12-06 トヨタ自動車株式会社 車両の異音検査装置
CN112560173B (zh) * 2020-12-08 2021-08-17 北京京航计算通讯研究所 一种基于深度学习的车辆耐候性温度预测方法及装置
KR20220118801A (ko) 2021-02-19 2022-08-26 현대자동차주식회사 Can 데이터를 활용한 인공지능 기반 차량 진단 방법 및 장치
CN113017613B (zh) * 2021-03-03 2022-05-06 四川大学华西医院 基于人工智能的心冲击波信号处理方法及计算机设备
KR20220155834A (ko) 2021-05-17 2022-11-24 현대자동차주식회사 장비 적용을 위한 ai 기반 진단 기술 자동화 방법
CN114295195B (zh) * 2021-12-31 2023-06-13 河海大学常州校区 基于特征提取的光纤传感振动信号的异常判断方法和系统
KR20230121249A (ko) 2022-02-11 2023-08-18 현대자동차주식회사 Ai 기반 전기차 pe 부품의 소음발생 진단장치 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960012078B1 (ko) 1993-09-27 1996-09-12 만도기계 주식회사 자동차부품의 고장진단방법
US8111174B2 (en) * 2007-10-03 2012-02-07 University Of Southern California Acoustic signature recognition of running vehicles using spectro-temporal dynamic neural network
JP2012018066A (ja) 2010-07-07 2012-01-26 Panasonic Electric Works Sunx Co Ltd 異常検査装置
JP2013200143A (ja) 2012-03-23 2013-10-03 Mitsubishi Electric Corp 異常音診断装置および異常音診断システム
GB2519704B (en) 2013-04-26 2017-01-04 Jaguar Land Rover Ltd Vehicle diagnostics methods and apparatus
US9336259B1 (en) * 2013-08-08 2016-05-10 Ca, Inc. Method and apparatus for historical analysis analytics
GB2518663A (en) * 2013-09-27 2015-04-01 Nokia Corp Audio analysis apparatus
CN107110743B (zh) 2015-01-21 2019-12-10 三菱电机株式会社 检查数据处理装置以及检查数据处理方法
KR101741309B1 (ko) 2015-02-17 2017-05-30 한국전자통신연구원 차량의 고장 진단 장치 및 방법
CN105118502B (zh) * 2015-07-14 2017-05-10 百度在线网络技术（北京）有限公司 语音识别系统的端点检测方法及系统
US10332509B2 (en) 2015-11-25 2019-06-25 Baidu USA, LLC End-to-end speech recognition
KR20180029320A (ko) 2016-09-12 2018-03-21 현대자동차주식회사 자동차 nvh 성능 개선 방법
KR101864860B1 (ko) 2016-09-13 2018-06-05 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
CN106710599A (zh) * 2016-12-02 2017-05-24 深圳撒哈拉数据科技有限公司 一种基于深度神经网络的特定声源检测方法与系统
KR20180130672A (ko) * 2017-05-30 2018-12-10 현대자동차주식회사 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
US11178272B2 (en) * 2017-08-14 2021-11-16 Cellcontrol, Inc. Systems, methods, and devices for enforcing do not disturb functionality on mobile devices
KR102324776B1 (ko) 2017-10-16 2021-11-10 현대자동차주식회사 차량의 소음원인 진단방법
CN108445868B (zh) * 2018-03-26 2020-12-29 安徽省爱夫卡电子科技有限公司 一种基于现代信号处理技术的汽车智能故障诊断系统及方法
CN108648748B (zh) * 2018-03-30 2021-07-13 沈阳工业大学 医院噪声环境下的声学事件检测方法
US10803885B1 (en) * 2018-06-29 2020-10-13 Amazon Technologies, Inc. Audio event detection
US10726830B1 (en) * 2018-09-27 2020-07-28 Amazon Technologies, Inc. Deep multi-channel acoustic modeling
KR20200041098A (ko) * 2018-10-11 2020-04-21 현대자동차주식회사 파워 트레인 부품 고장 진단 방법
US11210565B2 (en) * 2018-11-30 2021-12-28 Microsoft Technology Licensing, Llc Machine learning model with depth processing units

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11780442B2 (en) 2020-12-23 2023-10-10 Toyota Jidosha Kabushiki Kaisha Sound source estimation server, sound source estimation system, sound source estimation device, and sound source estimation method

Also Published As

Publication number Publication date
KR20200075148A (ko) 2020-06-26
US20200193291A1 (en) 2020-06-18
EP3667664A1 (en) 2020-06-17
CN111325313A (zh) 2020-06-23
JP7462400B2 (ja) 2024-04-05
US11494643B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP2020095258A (ja) 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法
CN110428004B (zh) 数据失衡下基于深度学习的机械零部件故障诊断方法
JP6289400B2 (ja) 周期定常背景雑音を受ける信号内にイベントを検出する方法およびシステム
CN108985279B (zh) 多功能车辆总线mvb波形的故障诊断方法及装置
CN110376522B (zh) 一种数据融合的深度学习网络的电机故障诊断方法
US20130297256A1 (en) Method and System for Predictive and Conditional Fault Detection
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN112446144A (zh) 一种大型回转机组故障诊断方法及装置
US20200193735A1 (en) Method and device for diagnosing problematic noise source based on big data information
US11853047B2 (en) Sensor-agnostic mechanical machine fault identification
CN116127383A (zh) 故障检测方法、装置、电子设备及存储介质
CN111130890A (zh) 一种网络流量动态预测系统
RU2445598C1 (ru) Способ диагностики технического состояния газотурбинного двигателя
CN115098962A (zh) 一种基于隐半马尔夫模型的机械设备退化态下剩余寿命的预测方法
CN112967735A (zh) 语音质量检测模型的训练方法及语音质量的检测方法
CN107908807B (zh) 一种基于贝叶斯理论的小子样可靠性评定方法
Shalalfeh et al. Fractional dynamics of PMU data
Li et al. Data augmentation via variational mode reconstruction and its application in few-shot fault diagnosis of rolling bearings
Kirschner et al. Cavitation detection in hydraulic machinery by analyzing acoustic emissions under strong domain shifts using neural networks
Minervini et al. Transfer learning technique for automatic bearing fault diagnosis in induction motors
CN112146882A (zh) 基于迁移学习振动信号图像识别的轴承故障诊断方法
CN112729825A (zh) 基于卷积循环神经网络的轴承故障诊断模型的构建方法
Grandhi et al. Machine-learning based fault diagnosis of electrical motors using acoustic signals
KR102480899B1 (ko) 다채널 신호를 이용한 모터 고장 진단 방법 및 장치
Tastimur et al. Defect diagnosis of rolling element bearing using deep learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7462400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150