JP2023115288A - 故障検出方法、故障検出システム、車両、電子機器及び記憶媒体 - Google Patents

故障検出方法、故障検出システム、車両、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP2023115288A
JP2023115288A JP2023106571A JP2023106571A JP2023115288A JP 2023115288 A JP2023115288 A JP 2023115288A JP 2023106571 A JP2023106571 A JP 2023106571A JP 2023106571 A JP2023106571 A JP 2023106571A JP 2023115288 A JP2023115288 A JP 2023115288A
Authority
JP
Japan
Prior art keywords
noise
vehicle
noise source
voiceprint
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023106571A
Other languages
English (en)
Inventor
育鎮 連
Yutian Lian
佳晏 李
Jiayan Li
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foxconn Interconnect Technology Ltd
Original Assignee
Foxconn Interconnect Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foxconn Interconnect Technology Ltd filed Critical Foxconn Interconnect Technology Ltd
Publication of JP2023115288A publication Critical patent/JP2023115288A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H1/00Measuring characteristics of vibrations in solids by using direct conduction to the detector
    • G01H1/04Measuring characteristics of vibrations in solids by using direct conduction to the detector of vibrations which are transverse to direction of propagation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4427Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with stored values, e.g. threshold values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4454Signal recognition, e.g. specific values or portions, signal events, signatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0229Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions knowledge based, e.g. expert systems; genetic algorithms
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/02Indexing codes associated with the analysed material
    • G01N2291/025Change of phase or condition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2637Vehicle, car, auto, wheelchair
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】本願は、車両における音声信号を収集することで車両の故障を検出するための故障検出方法、故障検出システム、車両、電子機器、及び記憶媒体を提供する。【解決手段】この故障検出方法は、マイクロホンモジュールを介して音声信号を収集して、少なくとも1つのノイズ音源の相対座標を位置決めし、且つ対応する少なくとも1つの声紋を生成するステップと、前記声紋を音声解析モジュールに入力して、前記声紋に対応するノイズタイプを確認するステップと、前記ノイズ音源の前記相対座標を前記車両のモデリングイメージとマッチングして、前記ノイズ音源の前記車両での絶対座標を特定するするステップと、前記ノイズ音源の前記ノイズタイプ及び前記ノイズ音源の前記車両での前記絶対座標に基づいて、前記車両の故障部品を特定するステップと、を備える。【選択図】図1

Description

本発明は、検出技術分野に関し、特に車両ノイズに基づく故障検出方法、故障検出システム、車両、電子機器及び記憶媒体に関する。
車両の走行中に、さまざまなノイズが発生する可能性がある。その中の幾つかのノイズは故障部品によって引き起こされたものであり、ノイズを通じて車両の故障部品をタイムリーに発見できなければ、車両の安全上の危険性が高まることは間違いない。しかし、従来のノイズによる故障検出は、一般的に経験のある技師によって車用聴診器を通じて人工的に検出され、多くの時間と人件費がかかるだけでなく、誤検出の可能性も高い。
以上のことから、車両の異常音の発生源をより良く検出して、車両の故障を特定し、車両の安全性を高めるために、車両のノイズに基づく故障検出方法、故障検出システム、車両、電子機器及び記憶媒体を提供する必要がある。
本願の第1の態様は、車両における音声信号を収集することにより、前記車両の故障を検出し、前記故障検出方法は、
マイクロホンモジュールを介して音声信号を収集して、少なくとも1つのノイズ音源の相対座標を位置決めし、且つ対応する少なくとも1つの声紋を生成するステップと、
前記声紋を音声解析モジュールに入力して、前記声紋に対応するノイズタイプを確認するステップと、
前記ノイズ音源の前記相対座標と前記車両のモデリングイメージとをマッチングして、前記ノイズ音源の前記車両での絶対座標を特定するステップと、
前記ノイズ音源の前記ノイズタイプ及び前記ノイズ音源の前記車両での絶対座標に基づいて、前記車両の故障部品を特定するステップと、を備える。
本願の第2の態様は、車両における音声信号を収集することにより、車両の故障を検出する故障検出システムを提供し、前記故障検出システムは、
少なくとも1つのノイズ音源の相対座標を位置決めし、且つ対応する少なくとも1つの声紋を生成するために音声信号を収集するマイクロホンモジュールと、
前記声紋を受信して、前記声紋に対応するノイズタイプを確認する音声解析モジュールと、
前記ノイズ音源の前記相対座標と前記車両のモデリングイメージとをマッチングして、前記ノイズ音源の前記車両での絶対座標を特定する画像処理モジュールと、
前記ノイズ音源のノイズタイプ及び前記ノイズ音源の前記車両での前記絶対座標に基づいて、前記車両の故障部品を特定するための確認モジュールと、を備える。
本願の第3の態様は、上記のような故障検出システムが設けられた車両を提供する。
本願の第4の態様は、電子機器を提供し、前記電子機器は、少なくとも1つの命令を記憶したメモリと、前記メモリに記憶された命令を実行することにより、上述した故障検出方法を実現するためのプロセッサとを備える。
本願の第5の態様は、記憶媒体を提供し、前記記憶媒体には、少なくとも1つの命令が記憶されており、前記少なくとも1つの命令は、電子機器内のプロセッサによって実行されて、上述したような故障検出方法を実現する。
本願が提供する故障検出方法は、マイクロホンモジュールを介して車両の音声信号を収集し、ノイズ音源の相対座標を位置決めし且つ対応する声紋を生成し、音声解析モジュールによりノイズ音源のノイズタイプを確認し、ノイズ音源の相対目標と車両のモデリングイメージとをマッチングして、ノイズ音源の絶対目標を生成することにより、ノイズ音源のノイズタイプ及び絶対目標に基づいて、車両における故障部品を確認する。本願発明による故障検出方法は、車両故障検出ときの人的コスト及び時間を効果的に低減するとともに、車両運転の安全性を高めることができる。
本願の一実施形態により提供される故障検出方法のフローチャートである。 本願の一実施形態におけるマイクロホンモジュールが車両に取り付けられた状態を示す図である。 本願の一実施形態により提供される故障検出システムの機能ブロック図である。 本願の一実施形態における故障検出方法を実現する電子機器の構成図である。
本発明の目的、構成要件及び利点をより明確にするため、以下、添付図面及び具体的な実施例を用いて本発明を詳述する。なお、矛盾しない場合、本願の実施例及び実施例における特徴を、互いに組み合わせることができる。
以下の説明では、本発明を十分に理解するための多くの具体的な詳細が説明されたが、説明された実施形態は、本発明の一部の実施形態にすぎず、すべての実施形態ではない。本発明における実施例に基づいて、当業者が創造的な活動を行うことなく取得した他のすべての実施例は、何れも本発明の保護範囲に属する。
特に定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本発明の技術分野に属する技術者が一般に理解するものと同じ意味である。本発明の明細書において使用される用語は、特定の実施形態を説明する目的だけであって、本発明を限定することを意図するものではない。
車両の走行中に、さまざまなノイズが発生する可能性があることは理解できる。その中の幾つかのノイズは故障部品によって引き起こされたものである。ノイズを通じて車両の故障部品をタイムリーに発見できなければ、車両の安全上の危険性が高まることは間違いない。しかし、従来のノイズによる故障検出は、一般的に経験のある技師によって車用聴診器を通じて検出され、多くの時間と人件費がかかるだけでなく、誤検出の可能性も高い。
図1に示すように、本願の実施形態に係る故障検出方法は、検出された車両のノイズにより、車両の故障を確認し、検出に必要な人件費及び時間を削減し、車両の安全性を高めることができる。
図1は、本願の一実施形態に係る故障検出方法のフローチャートである。フローチャートにおけるステップの順序は、さまざまなニーズに応じて変更されることができ、幾つかのステップを省略することもできる。
また、本願に係る故障検出方法は、様々な移動装置に適用可能であり、移動装置における故障した部品を検出する。本願の実施形態では、故障検出方法を車両300に適用した例について説明する。ここで、本願の実施形態が提供する故障検出方法は、車両300の音声信号を収集することにより、車両300の故障を検出する。
本願の実施形態では、前記故障検出方法は、さらに以下のステップを備える。
ステップS1において、マイクロホンモジュールで車両300の音声信号を収集し、少なくとも1つのノイズ音源の相対座標を位置決めして、対応する少なくとも1つの声紋を生成する。
図2に示すように、本願の実施形態によれば、マイクロホンモジュールは、複数のマイクロホン11(即ち、マイクロフォン)と、信号処理ユニット12と、を含む。
ここで、複数のマイクロホン11は、車両300の複数の箇所に取り付けられ、音声信号を収集するために用いられる。例えば、本願の実施例では、複数のマイクロホン11は、車両300のシャーシ、ハブ、及びエンジンカバーの下にそれぞれ設けられている。複数のマイクロホン11のそれぞれは、対応するマイクロホン座標を有している。本願の実施例において、マイクロホン座標は、複数のマイクロホン11間の相対座標である。
幾つかの態様において、マイクロホン座標は、予め設定された座標である。他の幾つかの実施例では、マイクロホンモジュールは、超広帯域(Ultra Wide Band, UWB)通信ユニットをさらに備える。マイクロホン11の各々には、対応する通信タグを備えている。このように、複数の通信タグ間の通信により、複数のマイクロホン11間の相対座標系が確立され、マイクロホン11ごとのマイクロホン座標が得られる。
複数のマイクロホンは、信号処理ユニット12に電気的に接続されて、マイクロホン座標及び音声信号を信号処理ユニット12に出力する。信号処理ユニット12は、収集された音声信号の周波数、音声振幅及び音声強度のうちの少なくとも1つに基づき、少なくとも1つのノイズ音源を位置決めし、且つ対応する少なくとも1つの声紋を生成する。
少なくとも1つのノイズ音源を位置決めすることは、マイクロホン11により収集された音声信号に基づいて、ノイズが発生する場所を判断することである。幾つかの態様において、信号処理ユニット12は、ビームフォーミング方法、高分解能スペクトル推定方法、到着時間差方法、聴覚シーン解析(Auditory Scene Analysis, ASA)及びブラインド信号分離(Blind Signal Separation, BSS)の少なくとも1つにより、少なくとも1つのノイズ音源を位置決めすることができる。
また、声紋は、音波スペクトルの一種である。異なる物体から発せられる音が特別性及び安定性を有する。このように、異なるノイズ音源は異なる声紋に対応する。つまり、声紋を認識することにより、対応するノイズタイプを認識することができる。
車両300が発する音は多種多様であり、且つ車両300が走行中に外部ノイズの影響を受ける可能性もあるため、音声信号に基づいてノイズ音源の位置決めを行う前に、信号処理ユニット12は、各マイクロホン11から入力される音声信号に対してフィルタリング処理を行って、干渉を低減する。
ステップS2において、声紋を音声解析モジュールに入力して、声紋に対応するノイズタイプを確認する。
音声解析モジュールは、複数の声紋モデルと、複数の声紋モデルのそれぞれに対応するノイズタイプとを記憶している。音声解析モジュールは、受信した声紋と複数の声紋モデルとの整合度をそれぞれ算出して取得する。そして、取得した複数の整合度のうちの最大値が予め設定された閾値以上であるときに、音声解析モジュールは、声紋のノイズタイプが、前述の最大値に対応する声紋モデルのノイズタイプであることを確認する。
幾つかの態様において、音声解析モジュールは、受信した声紋を、ビッグデータを併せて、ニューラルネットワークを介して、ディープラーニング(Deep Learning)の手法で解析することが可能である。なお、音声解析モジュールは、クラウド分析モジュールであってもよい。これにより、車両300は、通信ユニットを介して、マイクロホンモジュールで収集した音声信号を音声解析モジュールに出力して分析する。
なお、音声解析モジュールは、収集された音声信号を受信してノイズタイプを解析することは、後段の車両設計にも有利である。
幾つかの態様において、ノイズタイプには、機械的ノイズ、組立ノイズ、タイヤノイズ及び道路ノイズが含まれる。
ここで、機械的ノイズとは、部品劣化、部品故障、又は部品設計不良によるノイズを指す。組立ノイズとは、部品組立不良及び/又は摩擦共振によるノイズを指す。タイヤノイズとは、タイヤのパンク、摩耗ムラ又は突き裂きなどの故障によるノイズを指す。道路ノイズとは、車両が走行中、風切騒音、走行によるシャーシの振動及び/又は砂利がシャーシに衝突することによる騒音を指す。つまり、上記で言及した4つのノイズタイプでは、機械的ノイズ、組立ノイズ及びタイヤノイズは、部品故障による異音である。ここで、道路ノイズは、正常的なノイズと見なされる。
ステップS3において、ノイズ音源の相対座標と車両300のモデリングイメージとをマッチングして、ノイズ音源の車両での絶対座標を特定する。
ここで、モデリングイメージは、車両300の各部品の3Dモデリングイメージを含むものである。
ステップS3では、ステップS1で得られた幾つかのノイズ音源の相対座標と車両300のモデリングイメージとを同じ座標系の下にマッチングする。これにより、ステップS1で得られたノイズ音源の車両300での絶対座標を特定することができる。例えば、複数のマイクロホン11のうちの少なくとも1つは、車両300での位置が特定されている。このように、このマイクロホン11の座標を原点として空間座標系を構築でき、複数のマイクロホン11と車両300とのモデリングイメージを同一の空間座標系内にマッチングするようにしてもよい。
ステップS4において、ノイズ音源のノイズタイプ、及びノイズ音源の車両での絶対座標から、車両の故障部品を特定する。
幾つかの態様において、ステップS4は、さらに以下のサブステップを含む。
ノイズ音源のノイズタイプが道路ノイズである場合には、対応する絶対座標がある位置に故障が発生していないことを確認する。
前記ノイズ音源のノイズタイプが機械的ノイズ、組立ノイズ及びタイヤノイズのいずれかである場合には、対応する絶対座標がある位置に故障が発生したことを確認し、且つ当該絶対座標に基づいて対応する故障部品を確認する。
ステップS5において、ノイズ音源のノイズタイプと対応する故障部品に応じて、メンテナンス方式を推奨する。
例えば、幾つかの態様において、ノイズ音源のノイズタイプが組立ノイズであり、且つ前記ノイズ音源の絶対座標が車両300のあるビスに対応する場合には、ビス締めのメンテナンス方式が推奨される。
幾つかの態様において、音声解析モジュールは、受信した声紋と複数の声紋モデルとの照合度が何れも予め設定された閾値を下回ると判定した場合には、引き続きステップS3を実行し、且つノイズ音源の車両における絶対座標を出力する。これにより、さらに、技師によりそのノイズ音源が存在する位置に故障があるか否かを人工的に特定することができる。
本願実施形態による故障検出方法は、マイクロホンモジュールを介して車両300の音声信号を収集し、ノイズ音源の相対座標を位置決めし、且つ対応する声紋を生成する。音声解析モジュールにより、ノイズ音源のノイズタイプを確認する。ノイズ音源の相対目標と車両300のモデリングイメージとをマッチングして、ノイズ音源の絶対目標を生成することにより、ノイズ音源のノイズタイプ及び絶対目標に基づいて、車両300における故障部品を確認する。本願が提供する故障検出方法は、車両故障検出の人的コスト及び時間を効果的に低減し、且つ車両運転の安全性を高めることができる。引き続き図3を参照すると、本願の他の実施形態は、車両300に適用される故障検出システム100をさらに提供する。当該故障検出システム100は、車両300からの音声信号を収集することにより、車両300における故障部品を検出する。故障検知システム100は、マイクロホンモジュール10と、音声分析モジュール20と、画像処理モジュール30と、確認モジュール40とを含む。
ここで、マイクロホンモジュール10は、音声信号を収集するために使用され、少なくとも1つのノイズ音源の相対座標を特定し、対応する少なくとも1つの声紋を生成する。
幾つかの態様において、マイクロホンモジュール10は、複数のマイクロホン11及び信号処理ユニット12をさらに含む。複数のマイクロホン11は、音声信号を収集し、且つ当該音声信号を信号処理ユニット12に出力する。信号処理ユニット12は、収集された音声信号の周波数、音声振幅及び音声強度のうちの少なくとも1つの情報に基づいて、少なくとも1つのノイズ音源を位置決めし、且つ対応する少なくとも1つの声紋を生成する。
音声分析モジュール20は、声紋を受信して、その声紋に対応するノイズタイプを確認する。
画像処理モジュール30は、ノイズ音源の相対座標を、車両のモデリングイメージとマッチングして、前述のノイズ音源の前述の車両における絶対座標を特定する。
確認モジュール40は、前述のノイズ音源のノイズタイプ及び前述のノイズ音源の前述の車両における絶対座標に基づいて、前述の車両の故障部品を特定する。
また、故障検知システム100は、通信モジュール50をさらに含む。マイクロホンモジュール10は、音声分析モジュール20、画像処理モジュール30、確認モジュール40と通信モジュール50を介して相互に通信して、各種信号の伝送が実現されている。
なお、上述のマイクロホンモジュール10、音声分析モジュール20、画像処理モジュール30、及び確認モジュール40は、上述した故障検出方法の実施形態におけるステップS1~ステップS5を共同で実現する。ここで、上述した各機能モジュールの具体的な動作原理についての説明を省略する。具体的には、上記ステップS1~ステップS5を参照する。
図4を併せて参照すると、本発明の別の実施形態は、電子機器200をさらに提供する。当該電子機器200は、メモリ201と、プロセッサ202と、メモリ201に記憶され且つプロセッサ202において実行可能なコンピュータプログラム203と、を含む。
電子機器200は、車載システム、遠隔サーバ又はモバイル機器におけるサーバ等であってもよい。当業者であれば、上述の模式図は、電子機器200の一例に過ぎず、電子機器200を限定することを意図するものではない。電子機器200は、図示よりも多くまたは少ない部品を含むか、または異なる部品を組み合わせてもよい。
プロセッサ202は、コンピュータプログラム203を実行する際に、上述した故障検出方法の実施形態におけるステップ、例えば図1に示すステップS1-S5を実現する。あるいは、プロセッサ202は、コンピュータプログラム203を実行するときに、前述した故障検知システム100における各モジュール/ユニットの機能、例えば、マイクロホンモジュール10、音声分析モジュール20、画像処理モジュール30及び確認モジュール40の機能を実現する。
例示的には、コンピュータプログラム203は、1つまたは複数のモジュール/ユニットに分割されてもよい。1つまたは複数のモジュール/ユニットは、メモリ201の中に記憶され、且つプロセッサ202によって実行されて、本発明を達成する。前述の1つまたは複数のモジュール/ユニットは、特定の機能を完了することができる一連のコンピュータプログラム命令セグメントであってもよい。前述の命令セグメントは、電子機器200におけるコンピュータプログラム203の実行過程を記述するために使用される。例えば、コンピュータプログラム203は、音声解析モジュール20、画像処理モジュール30及び確認モジュール40に分割されてもよい。
前述のプロセッサ202は、中央処理モジュール(Central Processing Unit,CPU)であってもよいし、他の汎用プロセッサ、ディジタル信号処理装置(Digital Signal Processor,DSP)、専用集積回路(Application Specific Integrated Circuit,ASIC)、既製プログラマブルゲートアレイ(Field-Programmable Gate Array,FPGA)、または他のプログラマブル論理素子、ディスクリートゲートまたはトランジスタ論理素子、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、前記プロセッサ202は、任意の従来のプロセッサなどであってもよい。プロセッサ202は、電子機器200の制御センターであり、様々なインタフェース及び回線を用いて電子機器200全体の各部に接続されている。
前述のメモリ201は、前述のコンピュータプログラム203及び/又はモジュール/ユニットを記憶するために用いられる。前述のプロセッサ202は、前述のメモリ201に記憶されたコンピュータプログラム及び/又はモジュール/ユニットを運行又は実行し、前述のメモリ201に記憶されたデータを呼び出すことにより、前述の電子機器200の各種の機能を実現する。メモリ201は、主に記憶プログラム領域と記憶データ領域とを含んでもよい。ここで、記憶プログラム領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーション(例えば、音声再生機能、画像再生機能など)などを記憶することができる。記憶データ領域は、電子機器200の使用に応じて作成されたデータ(例えば、映像データ、音声データ、電話帳など)などを格納してよい。なお、メモリ201は、高速ランダムアクセスメモリを含んでもよいし、ハードディスク、メモリ、ソケット式ハードディスクなどの不揮発性メモリ、スマートメモリカード(Smart Media[登録商標] Card,SMC)、セキュアデジタルカード(Secure Digital,SD)カード、フラッシュメモリカード(Flash Card)、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリー素子または他の揮発性固体記憶デバイスを含んでもよい。
電子機器200に集成されたモジュール/ユニットは、ソフトウェア機能モジュールとして実現され、且つ独立した製品として販売又は使用される場合、1つのコンピュータ読み取り可能な記憶媒体に記憶されていてもよい。このような理解に基づいて、本発明は、前述の実施例の方法の全部又は一部の流れを実現する際に、コンピュータプログラムによって関連するハードウェアを命令して完成することもできる。前述のコンピュータプログラムは、1つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。前述のコンピュータプログラムは、プロセッサによって実行されるときに、上述した各方法実施例のステップを実現することができる。ここで、前述のコンピュータプログラムは、ソースコード形式、実行可能なファイル、または幾つかの中間形式などのコンピュータプログラムコードを含む。前述のコンピュータ読み取り可能な記憶媒体は、コンピュータプログラムコードを携帯することができる任意のエンティティまたは装置、記録媒体、USBディスク、モバイルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み取り専用メモリ(Read-Only Memоry,ROM)、ランダムアクセスメモリ(Randоm Access Memоry,RAM)、電気信号、及びソフトウェア配信媒体などを含むことができる。なお、前述のコンピュータ読み取り可能な記憶媒体に含まれる内容は、法律と地域の要求に応じて適切に増減されることができる。
本発明が提供する幾つかの実施形態では、開示された電子機器及び方法は、他の手段によって実現されてもよい。例えば、上述した電子機器の実施例はただ模式的なものである。例えば、前述のモジュールの分割は、論理的な機能分割のみであり、実際に実現するには別の分割方式があってもよい。
なお、本発明の各実施例における各機能ブロックは、同一の処理モジュールに統合されていてもよいし、各モジュールが単独で物理的に存在していてもよいし、2以上のモジュールが同一のモジュールに統合されていてもよい。前述の統合されたモジュールは、ハードウェアの形式で実現されてもよいし、ハードウェアプラスソフトウェア機能モジュールの形式で実現されてもよい。
当業者にとって、本発明は上述の例示的な実施形態の詳細に限定されるものではなく、本発明の精神的または基本的な特徴から逸脱することなく、他の具体的な形態で本発明を実現することができることは明らかである。従って、いずれの点から見ても、実施形態は例示的であり、非限定的であり、本発明の範囲は上記の説明ではなく添付の請求項によって限定されるべきである。従って、請求項の均等要素の意味と範囲内に含まれるすべての変更を本発明に包含することを目的とする。特許請求の範囲内の任意の参照符号を、係る請求項を限定するものとみなすべきではない。また、「含む」という言葉は他のモジュールやステップを排除せず、単数は複数を排除しないことが明らかである。電子機器の請求項に記載の複数のモジュールまたは電子機器は、同じモジュールまたは電子機器によってソフトウェアまたはハードウェアを介して実現されてもよい。第1に、第2の単語は名前を表すために使用され、特定の順序を表すものではない。
最後に説明すべきところは、以上の実施例は、本発明の技術的態様を説明するためにのみ使用され、それを限定するものではない。好ましい実施形態を参照して本発明を詳細に説明したが、当業者であれば、本発明の精神及び範囲を逸脱することなく、本発明の技術的態様を修正または均等に置き換えることができることを理解すべきである。
100 故障検出システム
10 マイクロホンモジュール
11 マイクロホン
12 信号処理ユニット
20 音声解析モジュール
30 画像処理モジュール
40 確認モジュール
50 通信モジュール
200 電子機器
201 メモリ
202 プロセッサ
203 コンピュータプログラム
300 車両

Claims (12)

  1. 故障検出方法であって、
    マイクロホンモジュールで車両における音声信号を収集して、少なくとも1つのノイズ音源の相対座標を位置決めし、且つ対応する少なくとも1つの声紋を生成するステップと、
    前記声紋を音声解析モジュールに入力して、前記声紋に対応するノイズタイプを確認するステップと、
    前記ノイズ音源の前記相対座標を前記車両のモデリングイメージとマッチングして、前記ノイズ音源の前記車両での絶対座標を特定するするステップと、
    前記ノイズ音源の前記ノイズタイプ及び前記ノイズ音源の前記車両での前記絶対座標に基づいて、前記車両の故障部品を特定するステップと、を備えることを特徴とする故障検出方法。
  2. 前記ノイズタイプには、機械的ノイズ、組立ノイズ、タイヤノイズ、及び道路ノイズが含まれることを特徴とする請求項1に記載の故障検出方法。
  3. 前記ノイズ音源の前記ノイズタイプ及び前記ノイズ音源の前記車両での前記絶対座標に基づいて、前記車両の前記故障部品を特定するステップは、
    前記ノイズ音源の前記ノイズタイプが道路ノイズである場合、前記絶対座標がある位置に故障が発生していないことを確認することと、
    前記ノイズ音源の前記ノイズタイプが前記機械的ノイズ、前記組立ノイズ及び前記タイヤノイズのいずれかである場合、前記絶対座標がある位置に故障が発生したことを確認し、且つ前記絶対座標に基づいて前記絶対座標に対応する前記故障部品を確認することと、を含むことを特徴とする請求項2に記載の故障検出方法。
  4. 前記故障検出方法は、前記ノイズ音源の前記ノイズタイプと対応する前記故障部品に応じて、メンテナンス方式が推奨されることを特徴とする請求項1~3の何れか一項に記載の故障検出方法。
  5. 前記マイクロホンモジュールは、複数のマイクロホン及び信号処理ユニットを含み、複数の前記マイクロホンのそれぞれは、対応するマイクロホン座標を有し且つ前記音声信号をそれぞれ収集するために用いられ、
    複数の前記マイクロホンは、前記マイクロホン座標及び前記音声信号を前記信号処理ユニットに出力するためにも用いられ、
    前記信号処理ユニットは、前記音声信号の周波数、音声振幅及び音声強度のうち少なくとも1つに基づいて、少なくとも1つの前記ノイズ音源を位置決めし且つ対応する少なくとも1つの前記声紋を生成し、
    前記信号処理ユニットは、さらに前記マイクロホン座標に基づいて、少なくとも1つの前記ノイズ音源の相対座標を生成することを特徴とする請求項1に記載の故障検出方法。
  6. 前記信号処理ユニットは、ビームフォーミング方法、高分解能スペクトル推定方法、到達時間差方法、聴覚シーン解析及びブラインド信号分離のうちの少なくとも1つによって、少なくとも1つの前記ノイズ音源を位置決めすることを特徴とする請求項5に記載の故障検出方法。
  7. 前記音声解析モジュールには、複数の声紋モデルと、複数の前記音声モデルのそれぞれに対応するノイズタイプとが記憶されており、
    前記音声解析モジュールは、受信した前記声紋と複数の前記声紋モデルのそれぞれとの整合度をそれぞれ算出して取得し、取得した複数の前記整合度のうちの最大値が予め設定された閾値以上であるときに、前記音声解析モジュールは、前記声紋の前記ノイズタイプが前記最大値に対応する前記声紋モデルの前記ノイズタイプであることを確認することを特徴とする請求項1に記載の故障検出方法。
  8. 車両の故障を検出するために、前記車両における音声信号を収集する故障検出システムであって、前記故障検出システムは、
    少なくとも1つのノイズ音源の相対座標を位置決めし、且つ対応する少なくとも1つの声紋を生成するために、前記車両における前記音声信号を収集するためのマイクロホンモジュールと、
    前記声紋を受信して、前記声紋に対応するノイズタイプを確認するための音声解析モジュールと、
    前記ノイズ音源の相対座標と前記車両のモデリングイメージとをマッチングして、前記ノイズ音源の前記車両での絶対座標を特定するための画像処理モジュールと、
    前記ノイズ音源の前記ノイズタイプ及び前記ノイズ音源の前記車両での前記絶対座標に基づいて、前記車両の故障部品を特定するための確認モジュールと、
    を備えることを特徴とする故障検出システム。
  9. 前記車両には、請求項8に記載の故障検出システムが設けられることを特徴とする車両。
  10. 前記車両は、通信モジュールをさらに備えており、前記マイクロホンモジュール、前記音声分析モジュール、前記画像処理モジュール及び前記確認モジュールは、前記通信モジュールを介して相互に通信することを特徴とする請求項9に記載の車両。
  11. 少なくとも1つの命令を記憶したメモリと、
    前記メモリに記憶された命令を実行することによって、請求項1~7のいずれか1項に記載の故障検出方法を実現するためのプロセッサと、
    を備えることを特徴とする電子機器。
  12. 少なくとも1つの命令が記憶されており、前記少なくとも1つの命令は、電子機器内のプロセッサによって実行されて、請求項1~7のいずれか1項に記載の故障検出方法を実現することを特徴とする記憶媒体。
JP2023106571A 2022-07-22 2023-06-29 故障検出方法、故障検出システム、車両、電子機器及び記憶媒体 Pending JP2023115288A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210871825.5A CN115440246A (zh) 2022-07-22 2022-07-22 故障检测方法、系统、车辆、电子设备及存储介质
CN202210871825.5 2022-07-22

Publications (1)

Publication Number Publication Date
JP2023115288A true JP2023115288A (ja) 2023-08-18

Family

ID=84240851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023106571A Pending JP2023115288A (ja) 2022-07-22 2023-06-29 故障検出方法、故障検出システム、車両、電子機器及び記憶媒体

Country Status (4)

Country Link
US (1) US20240029485A1 (ja)
EP (1) EP4310466A1 (ja)
JP (1) JP2023115288A (ja)
CN (1) CN115440246A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272246A (zh) * 2023-11-21 2023-12-22 国网江西省电力有限公司超高压分公司 基于多元回归模型的变压器声纹故障诊断方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050011919A (ko) * 2003-07-24 2005-01-31 현대자동차주식회사 소음패턴분석을 이용한 차량결함검출장치
US20180043829A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and Apparatus for Providing Automatic Mirror Setting Via Inward Facing Cameras
KR20210129942A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 이음 검사 장치 및 그 검사 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272246A (zh) * 2023-11-21 2023-12-22 国网江西省电力有限公司超高压分公司 基于多元回归模型的变压器声纹故障诊断方法及系统
CN117272246B (zh) * 2023-11-21 2024-02-02 国网江西省电力有限公司超高压分公司 基于多元回归模型的变压器声纹故障诊断方法及系统

Also Published As

Publication number Publication date
EP4310466A1 (en) 2024-01-24
CN115440246A (zh) 2022-12-06
US20240029485A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
CN109616140B (zh) 一种异常声音分析系统
US20130261879A1 (en) Method and System for Diagnosing Breakdown Cause of Vehicle and Computer Readable Storage Medium Storing the Method
JP2023115288A (ja) 故障検出方法、故障検出システム、車両、電子機器及び記憶媒体
US10726863B2 (en) System and method for locating mobile noise source
US10156637B2 (en) Apparatus and method for controlling noise in vehicle
CN107985225A (zh) 提供声音追踪信息的方法、声音追踪设备及具有其的车辆
US20200298634A1 (en) Method and apparatus for activating tire pressure sensor, storage medium and front-end server title
CN111770427A (zh) 麦克风阵列的检测方法、装置、设备以及存储介质
US11437056B1 (en) Vehicle sound analysis
CN115862657B (zh) 随噪增益方法和装置、车载系统、电子设备及存储介质
US20130151063A1 (en) Active and stateful hyperspectral vehicle evaluation
CN107176123A (zh) 声音检测信息提供方法、车辆周围声音检测装置及车辆
US20190378401A1 (en) Alert fault detection system and method
CN108401465B (zh) 车辆损伤检测方法、车辆损伤检测装置及电子设备
Pan et al. Cognitive acoustic analytics service for Internet of Things
KR102262095B1 (ko) 사운드 기반 기계고장 진단방법
US20230030911A1 (en) Abnormal sound detection method and apparatus
AU2021255992A1 (en) System for real-time recognition and identification of sound sources
KR20210125366A (ko) 신경망 분류기를 이용하여 녹음 장치 고장을 탐지하는 방법, 이를 구현한 서버 및 스마트 디바이스
CN113409800A (zh) 一种监控音频的处理方法、装置、存储介质及电子设备
US20230012559A1 (en) Abnormal sound identification device, abnormal sound identification method, and non-transitory storage medium
US20230067447A1 (en) Abnormal sound specifying device, method of specifying abnormal sound, and nontransitory computer-readable storage medium storing computer-readable instructions for arithmetic device
Moussa et al. Towards unconstrained audio splicing detection and localization with neural networks
TW202405794A (zh) 故障檢測方法、系統、車輛、電子設備及存儲介質
KR20210042851A (ko) 오디오 인식 방법, 오디오 인식 장치, 전자 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305