JP2021165685A - In-vehicle sound source survey device and in-vehicle sound source survey method - Google Patents
In-vehicle sound source survey device and in-vehicle sound source survey method Download PDFInfo
- Publication number
- JP2021165685A JP2021165685A JP2020069323A JP2020069323A JP2021165685A JP 2021165685 A JP2021165685 A JP 2021165685A JP 2020069323 A JP2020069323 A JP 2020069323A JP 2020069323 A JP2020069323 A JP 2020069323A JP 2021165685 A JP2021165685 A JP 2021165685A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound pressure
- data
- vehicle
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 230000007613 environmental effect Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 24
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
Description
本発明は、車両内で発生する異音の音源を探査するために用いられる車両内音源探査装置及び車両内音源探査方法に関する。 The present invention relates to an in-vehicle sound source exploration device and an in-vehicle sound source exploration method used for exploring a sound source of abnormal noise generated in a vehicle.
自動車等の車両を設計するにあたり、車両の走行中に車両内で異音が感知されないかを確認する試験が行われている。このような試験に用いられる装置として、例えば、特許文献１には、音の情報と映像の情報とを採取しながら映像中に推定した音源方向を表示した音源推定用画像を作成して表示することのできる装置が開示されている。
When designing a vehicle such as an automobile, tests are being conducted to confirm whether or not abnormal noise is detected in the vehicle while the vehicle is running. As an apparatus used for such a test, for example, in
しかしながら、車両の走行中には走行環境に応じたロードノイズが発生したり、気象条件によって雨音や雷音が発生したりする。このため、異音の音源を特定することが困難になるおそれがある。 However, while the vehicle is running, road noise is generated depending on the driving environment, and rain noise and thunder noise are generated depending on the weather conditions. Therefore, it may be difficult to identify the sound source of the abnormal sound.
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、車両内の異音の音源の探査精度を向上可能な車両内音源探査装置を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an in-vehicle sound source exploration device capable of improving the exploration accuracy of an abnormal sound source in a vehicle.
上記課題を解決するために、本発明のある観点によれば、車両内で発生する異音の音源を探査するために用いられる車両内音源探査装置であって、撮影方向の画像データを生成する撮像部と、撮影方向に連動して変位し、外部からの音圧を受けて音圧信号を生成するとともに音圧信号に基づいて音源の位置を推定する集音部と、音圧信号の音圧のレベル及び音源の位置に基づいて音圧表示データを生成し、音圧表示データと撮像部が生成した画像データとを合成して表示データを生成する表示データ生成部と、表示データ生成部が生成した表示データに基づき画像を表示する表示部と、を備え、車両内音源探査装置は携帯型の装置であり、表示データ生成部は、集音部が生成した音圧信号に基づいて得られる音圧データから、あらかじめ設定された所定の特定音圧データを除去した音圧データを用いて表示データを生成する車両内音源探査装置が提供される。 In order to solve the above problems, according to a certain viewpoint of the present invention, it is an in-vehicle sound source exploration device used for exploring a sound source of abnormal noise generated in a vehicle, and generates image data in a shooting direction. The image pickup unit, the sound collection unit that displaces in conjunction with the shooting direction, receives sound pressure from the outside to generate a sound pressure signal, and estimates the position of the sound source based on the sound pressure signal, and the sound of the sound pressure signal. A display data generation unit that generates sound pressure display data based on the pressure level and the position of the sound source, and synthesizes the sound pressure display data and the image data generated by the imaging unit to generate display data, and a display data generation unit. The in-vehicle sound source exploration device is a portable device, and the display data generation unit is obtained based on the sound pressure signal generated by the sound collection unit. Provided is an in-vehicle sound source exploration device that generates display data using sound pressure data obtained by removing preset specific sound pressure data from the sound pressure data to be generated.
上記の車両内音源探査装置において、所定の特定音圧データが、車外で発生する音の音圧データを含んでもよい。 In the above-mentioned in-vehicle sound source exploration device, the predetermined specific sound pressure data may include the sound pressure data of the sound generated outside the vehicle.
上記の車両内音源探査装置において、表示データ生成部は、車両の走行エリアの気象データを取得し、取得された気象データに基づいて選択される気象条件に起因する音の音圧データを除去してもよい。 In the above-mentioned in-vehicle sound source exploration device, the display data generation unit acquires the meteorological data of the traveling area of the vehicle and removes the sound pressure data of the sound caused by the meteorological conditions selected based on the acquired meteorological data. You may.
上記の車両内音源探査装置において、所定の特定音圧データが、車両の走行位置に応じて発生する環境音の音圧データを含んでもよい。 In the above-mentioned in-vehicle sound source exploration device, the predetermined specific sound pressure data may include the sound pressure data of the environmental sound generated according to the traveling position of the vehicle.
上記の車両内音源探査装置において、衛星信号に基づいて地図データ上の車両の走行位置を検出する走行位置検出部をさらに備え、表示データ生成部は、走行位置検出部が検出した車両の走行位置に基づいて選択される車両走行時の反響音又はロードノイズの音圧データを除去してもよい。 The above-mentioned in-vehicle sound source exploration device further includes a traveling position detection unit that detects the traveling position of the vehicle on map data based on satellite signals, and the display data generating unit is the traveling position of the vehicle detected by the traveling position detection unit. The sound pressure data of the reverberant sound or road noise during vehicle running selected based on the above may be removed.
上記の車両内音源探査装置において、表示データ生成部は、さらに音圧レベルが所定範囲外である音圧データを除去するフィルタリング処理を行ってもよい。 In the above-mentioned in-vehicle sound source exploration device, the display data generation unit may further perform a filtering process for removing the sound pressure data whose sound pressure level is out of the predetermined range.
上記の車両内音源探査装置において、表示データ生成部は、音源の位置及び音圧のレベルのデータを車室内の立体形状のデータに重畳させて音圧表示データを生成してもよい。 In the above-mentioned in-vehicle sound source exploration device, the display data generation unit may generate sound pressure display data by superimposing data on the position of the sound source and the level of sound pressure on the data of the three-dimensional shape in the vehicle interior.
上記の車両内音源探査装置において、車室内の立体形状のデータは、車両の設計データに基づいてあらかじめ作成されたデータであってもよい。 In the above-mentioned in-vehicle sound source exploration device, the three-dimensional shape data in the vehicle interior may be data created in advance based on the vehicle design data.
上記の車両内音源探査装置において、車室内の立体形状のデータは、撮像部が生成した画像データに基づいて生成されたデータであってもよい。 In the above-mentioned in-vehicle sound source exploration device, the three-dimensional shape data in the vehicle interior may be data generated based on the image data generated by the imaging unit.
上記の車両内音源探査装置において、集音部は、複数のマイクロフォンを含み、それぞれのマイクロフォンにより生成される音圧信号に基づいて得られる音圧データを比較することにより音源の位置を推定してもよい。 In the above-mentioned in-vehicle sound source exploration device, the sound collecting unit includes a plurality of microphones, and estimates the position of the sound source by comparing the sound pressure data obtained based on the sound pressure signals generated by the respective microphones. May be good.
上記の車両内音源探査装置において、少なくとも集音部の変位を検出する角速度センサをさらに備え、集音部は、角速度センサの出力に基づいて検出される集音部の向き及び位置と、集音部により生成される音圧信号に基づいて得られる音圧データと、に基づいて音源の位置を推定してもよい。 The above-mentioned in-vehicle sound source exploration device further includes an angular speed sensor that detects at least the displacement of the sound collecting unit, and the sound collecting unit includes the direction and position of the sound collecting unit detected based on the output of the angular speed sensor, and the sound collecting unit. The position of the sound source may be estimated based on the sound pressure data obtained based on the sound pressure signal generated by the unit.
上記の車両内音源探査装置において、車両内音源探査装置が頭部装着型の装置であってもよい。 In the above-mentioned in-vehicle sound source exploration device, the in-vehicle sound source exploration device may be a head-mounted device.
上記の車両内音源探査装置において、表示データ生成部は、撮像部が複数の撮影方向に向けられてそれぞれ生成された複数の表示データを合成して空間表示データを生成し記憶部に記憶してもよい。 In the above-mentioned in-vehicle sound source exploration device, the display data generation unit generates spatial display data by synthesizing a plurality of display data generated by the imaging unit directed in a plurality of shooting directions and stores the data in the storage unit. May be good.
また、上記課題を解決するために、本発明の別の観点によれば、携帯型の車両内音源探査装置を用いて車両内で発生する異音の音源を探査するために少なくとも一つのプロセッサにより実行される音源探査用画像表示方法であって、所定方向を撮像した画像データを生成するステップと、外部からの音圧を受けて音圧信号を生成するステップと、音圧信号に基づいて音源の位置を推定するステップと、音圧信号に基づいて得られる音圧データから、あらかじめ設定された所定の特定音圧データを除去して車両内音圧データを生成するステップと、音源の位置及び車両内音圧データの音圧のレベルに基づいて音圧表示データを生成するステップと、音圧表示データと画像データとを合成して表示データを生成するステップと、表示データに基づき画像を表示させるステップと、を含む音源探査用画像表示方法が提供される。 Further, in order to solve the above problems, according to another viewpoint of the present invention, at least one processor is used to search for a sound source of abnormal noise generated in the vehicle by using a portable sound source search device in the vehicle. This is an image display method for sound source exploration that is executed, in which a step of generating image data obtained by capturing an image in a predetermined direction, a step of generating a sound pressure signal by receiving sound pressure from the outside, and a sound source based on the sound pressure signal. The step of estimating the position of the sound pressure, the step of removing the preset specific sound pressure data from the sound pressure data obtained based on the sound pressure signal to generate the sound pressure data in the vehicle, the position of the sound source, and the sound pressure data. A step of generating sound pressure display data based on the sound pressure level of the sound pressure data in the vehicle, a step of combining sound pressure display data and image data to generate display data, and displaying an image based on the display data. A step and an image display method for sound source exploration including are provided.
以上説明したように本発明によれば、車両内の異音の音源の探査精度を向上させることができる。 As described above, according to the present invention, it is possible to improve the search accuracy of the sound source of abnormal noise in the vehicle.
以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
＜１．車両内音源探査装置の全体構成例＞
まず、図１及び図２を参照して、本発明の実施の形態に係る車両内音源探査装置（以下、単に「音源探査装置」ともいう）の全体構成の一例を説明する。図１は、本実施形態に係る音源探査装置１を示す斜視図であり、図２は、音源探査装置１のシステム構成を示すブロック図である。
<1. Overall configuration example of in-vehicle sound source exploration device>
First, with reference to FIGS. 1 and 2, an example of the overall configuration of the in-vehicle sound source exploration device (hereinafter, also simply referred to as “sound source exploration device”) according to the embodiment of the present invention will be described. FIG. 1 is a perspective view showing a sound
図１に示すように、音源探査装置１は、ユーザの頭部に装着される頭部装着型の装置として構成されている。音源探査装置１は、筐体３、装着部５、撮像部２０Ｌ，２０Ｒ、集音部１０Ｌ，１０Ｒ、表示データ生成部５０及び表示部６０を含んで構成されている。本実施形態に係る音源探査装置１は、それぞれ左右一対の撮像部２０Ｌ，２０Ｒ及び集音部１０Ｌ，１０Ｒを備える。以下、特に区別を要しない限り撮像部２０あるいは集音部１０と総称する。
As shown in FIG. 1, the sound
筐体３は、ユーザの顔面に配置され、内部に表示部６０を有する。装着部５は、筐体３の左右両端に接続され、ユーザの頭部の周囲に配置されて音源探査装置１をユーザの頭部に装着可能にする。なお、装着部５の形態は、特に限定されない。
The housing 3 is arranged on the user's face and has a
本実施形態に係る音源探査装置１では、筐体３の左右両側に一対の撮像部２０Ｌ，２０Ｒと集音部１０Ｌ，１０Ｒとが、それぞれ前方に向けられて取り付けられている。また、筐体３には、走行位置検出部３０、角速度センサ４０、表示データ生成部５０及び表示部６０が内蔵されている。
In the sound
撮像部２０Ｌ，２０Ｒは、撮像部２０Ｌ，２０Ｒが向けられた撮影方向の画像データを生成し、表示データ生成部５０へ出力する。左右それぞれの撮像部２０は、例えば、ＣＣＤ（Charge−Coupled Device）又はＣＭＯＳ（Complementary Metal−Oxide−Semiconductor）等の撮像素子を備えたカメラである。かかる左右一対の撮像部２０がステレオカメラを構成し、左右の撮像部２０Ｌ，２０Ｒにより生成される画像データの視差により、３次元画像を表示させることができる。撮像部２０Ｌ，２０Ｒは、それぞれ生成した画像データを表示データ生成部５０へ出力する。
The
集音部１０Ｌ，１０Ｒは、車両内で発生する音の音圧信号を収集し、音圧信号のデータを表示データ生成部５０へ出力する。左右それぞれの集音部１０は、音圧信号生成部１１及び音圧信号処理部１３を有する。音圧信号生成部１１は、外部からの音圧を受けて音圧信号を生成する。音圧信号生成部１１は、所定方向に向けられており、撮像部２０の撮影方向に連動して変位する。音圧信号処理部１３は、例えば、ＤＳＰ（Digital Signal Processor）等の演算処理装置（プロセッサ）であり、音圧信号生成部１１Ｌ，１１Ｒが生成した音圧信号に基づいて音源の位置を推定することができる。例えば、それぞれの音圧信号生成部１１Ｌ，１１Ｒが複数のマイクロフォンを含むマイクロフォンアレイである場合、それぞれの音圧信号処理部１３Ｌ，１３Ｒは、それぞれの音圧信号生成部１１Ｌ，１１Ｒが生成した音圧信号に基づいて音源の位置を推定する。音圧信号処理部１３は、推定された音源の位置の情報とともに音圧のレベルの情報を表示データ生成部５０へ出力する。
The
走行位置検出部３０は、地図データ上での車両の走行位置を検出し、表示データ生成部５０へ出力する。走行位置検出部３０は、例えば衛星測位システムを利用して走行位置を検出する装置であり、代表的にはＧＰＳ（Global Positioning System）衛星から送信される衛星信号を受信するＧＰＳアンテナと、受信した衛星信号に基づいて車両の走行位置を特定する処理装置とを含む装置が例示される。ただし、衛星測位システムは、ＧＰＳシステムに限られない。
The traveling
角速度センサ４０は、音源探査装置１の向きの変化に応じた出力信号を表示データ生成部５０へ出力する。表示データ生成部５０では、角速度センサ４０の出力信号に基づいて、撮像部２０の撮影方向の変化が検出される。
The
表示データ生成部５０は、例えば、ＧＰＵ（Graphic Processing Unit）等の画像処理装置（プロセッサ）であり、撮像部２０、集音部１０、走行位置検出部３０及び角速度センサ４０から入力される情報に基づいて、表示部６０に表示させる表示データを生成する。具体的に、表示データ生成部５０は、集音部１０から入力される音圧信号の音圧のレベル及び音源の位置の情報に基づいて音圧表示データを生成し、当該音圧表示データと、撮像部２０から入力される画像データとを合成して表示データを生成する。
The display
本実施形態に係る音源探査装置１において、表示データ生成部５０は、集音部１０が生成した音圧信号に基づいて得られる音圧データから、あらかじめ設定された所定の特定音圧データを除去した車両内音圧データを用いて表示データを生成するように構成されている。除去される特定音圧データは、車両の設計条件に起因して発生して車両内で発生する音以外の音圧データであり、車両の設計の改善に影響しない特定音圧データである。例えば、特定音圧データは、車外で発生する音の音圧データを含む。
In the sound
例えば、表示データ生成部５０は、集音部１０から入力される音圧データから、車両の走行位置に応じて発生する環境音や、気象条件に起因する音の音圧データを除去する。車両の走行位置に応じて発生する環境音とは、例えば、車両がトンネル内を走行する際に発生する反響音や、走行路の路面の凹凸状態に応じて発生するロードノイズが挙げられる。例えば、これらの環境音の音圧、周波数、音源の位置又は音色の少なくとも一つがあらかじめ設定され、表示データ生成部５０は、集音部１０により収集された音の音圧データから当該環境音に該当する音圧データを除去する。地図データにおける車両の走行予定ルート上の所定の区間ごとに想定される環境音が指定され、走行位置検出部３０によって車両が当該区間を走行していると判定される間、当該環境音に対応する音圧データが除去されるように構成されていてもよい。
For example, the display
また、気象条件に起因する音とは、例えば、雨音や雷音が挙げられる。例えば、これらの雨音や雷音の音圧、周波数、音源の位置又は音色の少なくとも一つがあらかじめ設定され、表示データ生成部５０は、集音部１０により収集された音の音圧データから当該雨音や雷音に該当する音圧データを除去する。地図データにおける車両の走行位置や時刻ごとに、これらの気象条件に起因する音が指定され、走行位置検出部３０によって車両が当該時刻に所定の位置を走行していると判定される間、当該気象条件に起因する音に対応する音圧データが除去されるように構成されていてもよい。あるいは、表示データ生成部５０は、車両の走行エリアの気象データを取得し、取得された気象データに基づいて、該当する気象条件に起因する音を選択して、当該音の音圧データを除去してもよい。気象データは、例えば、移動体通信を介してテレマティクスサービス等の気象情報を提供するシステムから取得することができる。
In addition, examples of sounds caused by weather conditions include rain sounds and thunder sounds. For example, at least one of the sound pressure, frequency, sound source position or tone color of these rain sounds and thunder sounds is set in advance, and the display
さらに、表示データ生成部５０は、集音部１０から入力された音圧データから、音圧レベルが、あらかじめ設定された所定範囲外である音圧データを除去するフィルタリング処理を実行してもよい。車両の走行中に、車両の設計条件に起因して発生する異音の音圧レベルがあらかじめ想定される場合に、当該異音の音圧レベルとは明確に相違する音圧レベルの音を除去することで、車両の設計条件に起因する異音の音源の特定を容易にすることができる。
Further, the display
図３は、特定音圧データを除去する処理を説明するために示す模式図である。
車両の走行中においては、車速が上昇するにつれてエンジン音や風切り音、タイヤのパターンノイズ等が増大するため、通常、車速の大きさに比例して走行音が大きくなる。図３の上段に示すように車速が変化しながら車両が走行したときに、集音部１０が受けた音圧により、中段に実線で示すような音圧データが得られたとする。この期間に、車両が走行していたエリアで雷が発生していた場合、音圧データには雷音の音圧データが含まれる。
FIG. 3 is a schematic diagram shown for explaining the process of removing the specific sound pressure data.
While the vehicle is running, engine noise, wind noise, tire pattern noise, and the like increase as the vehicle speed increases, so that the running noise usually increases in proportion to the magnitude of the vehicle speed. It is assumed that when the vehicle travels while the vehicle speed changes as shown in the upper part of FIG. 3, the sound pressure received by the sound collecting unit 10 obtains the sound pressure data as shown by the solid line in the middle part. If lightning is occurring in the area where the vehicle was traveling during this period, the sound pressure data includes the sound pressure data of the thunder sound.
表示データ生成部５０の記憶部には、あらかじめ雷音と判断するための周波数域及び音発生時間等の判別条件が設定されており、表示データ生成部５０は、発生音のうち、周波数域及び発生時間が判別条件に該当する特定音圧データが含まれると判定し、当該特定音圧データを、得られた音圧データから除去して出力音圧データ（車両内音圧データ）とする。雷音だけでなく、雨音や環境音等の種々の音の判別条件が設定されることにより、車両の設計条件に起因して発生する異音とは異なる音ができる限り除去されて、所望の異音の音源が特定しやすくなる。
In the storage unit of the display
表示データ生成部５０は、集音部１０から入力された音圧波形データから上記の特定音圧データを除去した後、音源の位置及び音圧のレベルのデータに基づいて音圧表示データを生成する。このとき、表示データ生成部５０は、車両の設計データに基づいて作成されて図示しない記憶部にあらかじめ記憶された車室内の立体形状のデータに音源の位置及び音圧のレベルのデータを重畳させて音圧表示データを生成してもよい。かかる立体形状のデータに音圧表示データを重畳させることにより、ユーザの位置あるいは音源探査装置１の位置から、車室内の各部までの距離が正確され、音圧データの表示を立体化することができる。音圧表示データは、例えば、車室内の立体形状のデータ上に音圧のレベルの分布をグラデーション表示するカラースケールによる表示データであってもよい。このような音圧表示データを画像データに合成して得られる表示データは、撮像部２０の撮影方向に応じて変化する画像表示範囲に応じて音圧のレベルの分布の表示も変化するため、ユーザは、音源の位置を容易に特定することができる。
The display
表示部６０は、表示データ生成部５０が生成した表示データに基づいて画像を表示する。表示部６０は、液晶パネルや有機ＥＬ（Electro Luminescence）パネル等に例示される表示装置である。本実施形態に係る音源探査装置１は頭部装着型の装置であり、表示部６０は、ユーザの顔の前方に配置される。
The
このように構成される音源探査装置１は、車両内で発生する異音の音源を探査する際に車両の乗員（ユーザ）の頭部に装着されて用いられる。ユーザは、表示部６０に表示される画像を視認しながらリアルタイムで異音の音源を確認することができる。かかる音源探査装置１は、車室内に設置されて用いられる大型の計測器とは異なり、小型化されて利便性に優れている。また、音源探査装置１が頭部装着型の装置であることから、撮像部２０の位置を自由に変化させることができる。このため、設置型（固定型）の音源探査装置では二次元表示内での音源の位置しか特定することができなかったが、本実施形態に係る音源探査装置１は、設置型の計測器では特定が困難であった撮像部の位置からの奥行き方向の音源の位置を特定することができる。
The sound
＜２．音源探査用画像表示方法＞
次に、本実施形態に係る音源探査装置１により実行される音源探査用画像表示方法の一例を説明する。
<2. Image display method for sound source exploration>
Next, an example of an image display method for sound source exploration executed by the sound
（２−１．全体動作の流れ）
図４は、音源探査装置１の動作の全体の流れを示すフローチャートである。
まず、音源探査装置１の表示データ生成部５０は、ユーザ等の入力操作にしたがって条件設定処理を行う（ステップＳ１１）。例えば、ユーザは、音源探査試験を行う対象車両の車室内の立体形状データを、表示データ生成部５０の記憶部へ格納する。すでに記憶部に一つ又は複数の車両の車室内の立体形状データが記憶されている場合、ユーザが、記憶された立体形状データの中から対象車両のデータを選択できるようになっていてもよい。
(2-1. Flow of overall operation)
FIG. 4 is a flowchart showing the overall flow of the operation of the sound
First, the display
また、ステップＳ１１において、ユーザは、音源探査試験を実行中に除去すべき音のデータを登録してもよい。例えば、ユーザは、車両がトンネル内を走行する際に発生する反響音や、ロードノイズ等の環境音、あるいは、気象条件に起因して発生する雨音や雷音のデータを登録する。音のデータは、例えば、音圧、周波数、音源の位置又は音色の少なくとも一つを含んでもよい。また、ユーザは、車両の設計条件に起因して発生する異音の音圧レベルとは明確に相違する音圧レベルの音を除去するために、車両の設計条件に起因して発生する異音の音圧レベルの範囲を設定してもよい。 Further, in step S11, the user may register sound data to be removed during the sound source exploration test. For example, the user registers data of echo sounds generated when a vehicle travels in a tunnel, environmental sounds such as road noise, and rain sounds and thunder sounds generated due to weather conditions. Sound data may include, for example, at least one of sound pressure, frequency, sound source position or timbre. In addition, the user uses the abnormal noise generated due to the vehicle design condition in order to remove the sound having a sound pressure level that is clearly different from the sound pressure level of the abnormal noise generated due to the vehicle design condition. You may set the range of the sound pressure level of.
次いで、音源探査装置１は、ユーザ等の操作にしたがって音源探査処理を開始する（ステップＳ１２）。次いで、音源探査装置１の集音部１０及び撮像部２０は、それぞれ音圧データ及び画像データの生成を開始する（ステップＳ１３）。次いで、集音部１０、撮像部２０及び表示データ生成部５０は、それぞれ所定のデータ処理を行う（ステップＳ１４）。例えば、集音部１０の音圧信号処理部１３は、音圧信号生成部１１が生成した音圧信号からノイズを除去するフィルタリング処理を行うとともに、音圧信号に基づいて音源の位置を推定する処理を行う。また、撮像部２０は、取得した画像信号からノイズを除去するフィルタリング処理を行う。また、表示データ生成部５０は、集音部１０から入力された音圧データから、所定の特定音圧データ、又は、音圧レベルが所定範囲外の音圧データの少なくとも一方を除去する処理を行う。
Next, the sound
次いで、表示データ生成部５０は、特定音圧データ又は音圧レベルが所定範囲外の音圧データを除去した車両内音圧データを用いて音圧表示データを生成する（ステップＳ１５）。例えば、表示データ生成部５０は、音圧データの音圧のレベル及び音源の位置の情報を、あらかじめ記憶された車室内の立体形状モデルに重畳させて音圧表示データを生成する。立体形状モデルに重畳される音圧のレベル及び音源の位置の情報が、例えば、カラースケールによる色分布として表示されるように、音圧表示データが生成される。このとき用いられる立体形状モデルは、撮像部２０による撮影方向及び撮影範囲に対応する立体形状モデルである。
Next, the display
次いで、表示データ生成部５０は、生成した音圧表示データと撮像部２０から入力された画像データとを合成して表示データを生成する（ステップＳ１６）。上述のとおり、音圧表示データは、撮像部２０による撮影方向及び撮影範囲に対応して生成されていることから、表示データは、拡張現実の表示データとして生成される。
Next, the display
次いで、表示データ生成部５０は、生成した表示データを表示部６０に表示させる（ステップＳ１７）。これにより、音源探査装置１を装着したユーザは、リアルタイムで音圧データを視認しながら音源を特定することができる。
Next, the display
次いで、表示データ生成部５０は、生成した表示データを記憶部に保存する（ステップＳ１８）。これにより、保存された表示データを再生することによって、いつでも音源探査用画像を確認することができる。保存された表示データを再生する場合、音源探査装置１の表示部６０に画像を表示させることもでき、あるいは、他の表示装置に画像を表示させることもできる。このとき、特定音圧データ又は音圧レベルが所定範囲外の音圧データを除去した音圧データ、あるいは、特定音圧データ又は音圧レベルが所定範囲外の音圧データを除去する前の音圧データを、表示データとともに保存してもよい。これにより、画像を再確認するときに、同時に車両内で発生した音を再現させることができる。
Next, the display
また、表示データを記憶部に保存する際に、表示データ生成部５０は、撮像部２０が複数の撮影方向に向けられてそれぞれ生成された複数の表示データを合成して空間表示データを生成し、記憶部に記憶してもよい。ここで、空間表示データとは、音圧表示データを含む立体空間の三次元データであり、ユーザは、空間表示データにおけるｘｙｚ座標系の位置や向き等を自由に変化させることにより、音圧表示データが重畳表示された車室内の画像を種々の方向から立体的に再確認することができる。
Further, when saving the display data in the storage unit, the display
次いで、表示データ生成部５０は、音源探査処理が停止されたか否かを判別する（ステップＳ１９）。音源探査処理が停止されていない場合（Ｓ１９／Ｎｏ）、表示データ生成部５０は、ステップＳ１３に戻って、上記の各ステップの処理を繰り返し実行する。一方、音源探査処理が停止されている場合（Ｓ１９／Ｙｅｓ）、表示データ生成部５０は、動作を終了する。
Next, the display
（２−２．各部の処理動作）
次に、音源探査装置１の集音部１０、撮像部２０及び表示データ生成部５０のそれぞれの処理を具体的に説明する。図５は、音源探査装置１の集音部１０、撮像部２０及び表示データ生成部５０の動作を示すシーケンス図である。集音部１０、撮像部２０及び表示データ生成部５０は、あらかじめ設定された処理サイクルごとに、ステップＳ２１〜ステップＳ５５までの処理を繰り返す。
(2-2. Processing operation of each part)
Next, each process of the sound collecting unit 10, the imaging unit 20, and the display
（撮像部の処理）
撮像部２０は、撮像素子により画像信号を生成し（ステップＳ５１）、当該画像信号からノイズを除去するフィルタリング処理等を行って画像データを生成する（ステップＳ５３）。撮像部２０は、生成した画像データを表示データ生成部５０へ出力する（ステップＳ５５）。
(Processing of the imaging unit)
The image pickup unit 20 generates an image signal by the image pickup device (step S51), and performs a filtering process or the like to remove noise from the image signal to generate image data (step S53). The imaging unit 20 outputs the generated image data to the display data generation unit 50 (step S55).
（集音部の処理）
集音部１０の音圧信号生成部１１は、外部で発生する音圧を音圧信号生成部１１で受けて音圧信号を生成する（ステップＳ４１）。このとき、音圧信号生成部１１は、音圧信号からノイズを除去するフィルタリング処理等を行ってもよい。次いで、集音部１０の音圧信号処理部１３は、生成された音圧信号に基づいて、音源の位置を推定する（ステップＳ４３）。音圧信号処理部１３は、複数のマイクロフォンにより生成された音圧信号を用いて、あるいは、左右の音圧信号生成部１１Ｌ，１１Ｒのマイクロフォンにより生成された音圧信号を用いて、それぞれの音圧信号の音圧レベルの差に基づいて音源の位置を推定する。音圧信号処理部１３は、音圧のレベルの情報及び音源の位置の情報を含む音圧データを表示データ生成部５０へ出力する（ステップＳ４５）。
(Processing of sound collecting part)
The sound pressure signal generation unit 11 of the sound collection unit 10 receives the sound pressure generated outside by the sound pressure signal generation unit 11 and generates a sound pressure signal (step S41). At this time, the sound pressure signal generation unit 11 may perform a filtering process or the like to remove noise from the sound pressure signal. Next, the sound pressure signal processing unit 13 of the sound collecting unit 10 estimates the position of the sound source based on the generated sound pressure signal (step S43). The sound pressure signal processing unit 13 uses sound pressure signals generated by a plurality of microphones, or uses sound pressure signals generated by the left and right sound pressure
（表示データ生成部の処理）
表示データ生成部５０は、まず、走行位置検出部３０から入力される情報に基づいて、車両の走行位置の情報を取得する（ステップＳ２１）。次いで、表示データ生成部５０は、構成設定処理を行う（ステップＳ２３）。例えば、表示データ生成部５０は、走行位置検出部３０から入力される車両の走行位置の情報に基づいて、音圧データから除去すべき特定音圧データを設定する。設定される特定音圧データは、車両の走行位置に応じた環境音や気象条件に起因して発生する音を含む。
(Processing of display data generator)
The display
次いで、表示データ生成部５０は、角速度センサ４０から入力される情報に基づいて、撮像部２０の撮影方向を検出する（ステップＳ２５）。次いで、表示データ生成部５０は、あらかじめ記憶された車室内の立体形状モデルのデータを参照し、撮像部２０の撮影方向に対応する立体形状のデータ（三次元モデル）を特定する（ステップＳ２７）。
Next, the display
次いで、表示データ生成部５０は、集音部１０及び撮像部２０から、それぞれ音圧データ及び画像データを取得する（ステップＳ２９）。次いで、表示データ生成部５０は、集音部１０から入力された音圧データから、除去すべき音として設定されている環境音等の特定音圧データを除去する（ステップＳ３１）。次いで、表示データ生成部５０は、音圧表示データを生成する（ステップＳ３３）。上述のとおり、表示データ生成部５０は、除去すべき音として設定されている環境音等の特定音圧データを除去した車両内音圧データを用いて、音圧レベルの情報及び音源の位置の情報を立体形状のデータに重畳させることにより、音圧表示データを生成する。
Next, the display
次いで、表示データ生成部５０は、生成した音圧表示データを、撮像部２０から入力された画像データに重畳させて、表示データを生成する（ステップＳ３５）。これにより、拡張現実の表示データが生成される。次いで、表示データ生成部５０は、生成した表示データを表示部６０に表示させる（ステップＳ３７）。さらに、表示データ生成部５０は、生成した表示データを記憶部に保存する（ステップＳ３９）。これらのステップＳ３５〜ステップＳ３９では、図５に基づいて説明したステップＳ１６〜ステップＳ１８と同様の処理が行われる。集音部１０、撮像部２０及び表示データ生成部５０は、音源探査処理が実行される間、ステップＳ２１〜ステップＳ５５の処理を繰り返し実行する。
Next, the display
図６は、カラースケールによる音圧表示が重畳表示された拡張現実による画像表示の一例を示す。図６は、運転席に座るユーザが正面を向いた状態で表示される画像表示の例を示している。なお、ユーザ（ドライバ）の身体の図示は省略されている。 FIG. 6 shows an example of an image display by augmented reality in which the sound pressure display by the color scale is superimposed and displayed. FIG. 6 shows an example of an image display in which a user sitting in the driver's seat is displayed facing the front. The illustration of the body of the user (driver) is omitted.
図６に示した例では、車体のフロントピラー部分から異音が発生している。発生した音圧のデータは、ピラーの立体形状のデータに重畳されてカラースケール表示されている。このため、ユーザは、フロントピラーの特定の位置を音源とする異音が発生していることを容易に知ることができる。 In the example shown in FIG. 6, abnormal noise is generated from the front pillar portion of the vehicle body. The generated sound pressure data is superimposed on the pillar three-dimensional shape data and displayed on a color scale. Therefore, the user can easily know that an abnormal sound is generated from a specific position of the front pillar as a sound source.
このように、本実施形態に係る音源探査装置１によれば、音源探査装置１を装着したユーザは、拡張現実で表示される音圧データをリアルタイムで視認しながら自身の顔の位置及び顔向きを変化させることにより、容易に音源を特定することができる。また、表示される音源探査用画像は三次元データとして表示されることから、二次元データとして表示される場合に比べて精度よく音源を特定することができる。
As described above, according to the sound
また、本実施形態に係る音源探査装置１によれば、保存された表示データを再生することによって、いつでも音源探査用画像を三次元データとして確認することができる。保存された表示データを再生する場合、音源探査装置１の表示部６０に画像を表示させることもでき、あるいは、他の表示装置に画像を表示させることもできる。このとき、特定音圧データ又は音圧レベルが所定範囲外の音圧データを除去した音圧データ、あるいは、特定音圧データ又は音圧レベルが所定範囲外の音圧データを除去する前の音圧データが、表示データとともに保存されていることで、画像を再確認するときに、同時に車両内で発生した音を再現させることができる。
Further, according to the sound
また、本実施形態に係る音源探査装置１によれば、撮像部２０が複数の撮影方向に向けられてそれぞれ生成された複数の表示データを合成して生成された空間表示データが記憶部に記憶されていることで、音圧表示データが重畳表示された車室内の画像を種々の方向から立体的に再確認することができる。
Further, according to the sound
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person having ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
例えば、上記実施形態に係る音源探査装置１では、立体形状のデータが、車両の設計データに基づいて作成されてあらかじめ記憶部に記憶されていたが、本発明はかかる例に限定されない。立体形状のデータは、左右一対の撮像部２０Ｌ，２０Ｒにより取得される画像データに基づいて、視差を用いて車室内のそれぞれの位置までの距離を求め、立体形状のデータを生成してもよい。
For example, in the sound
また、上記実施形態に係る音源探査装置１では、音圧信号生成部１１が複数のマイクロフォンを備え、音圧信号処理部１３がそれぞれのマイクロフォンにより生成される音圧信号に基づいて生成される音圧データに基づいて音源の位置を推定していたが、本発明はかかる例に限定されない。音圧信号処理部１３は、角速度センサ４０の出力に基づいて検出される一つ又は複数のマイクロフォンの向き及び位置と、異なる複数の向き又は位置で当該マイクロフォンにより生成される音圧信号に基づいて得られる音圧データとに基づいて、音源の位置を推定してもよい。
Further, in the sound
また、上記実施形態に係る音源探査装置１は、頭部装着型の装置として構成されていたが、本発明はかかる例に限定されない。例えば、頭部装着型ではない携帯型の装置として構成されている場合であっても、撮像部２０の位置や撮影方向を自由に変化させて、上記実施形態に係る音源探査装置１と同様の効果を得ることができる。
Further, the sound
１…車両用音源探査装置１…集音部、１１…音圧信号生成部、１３…音圧信号処理部、２０…撮像部、３０…走行位置検出部、４０…角速度センサ、５０…表示データ生成部、６０…表示部
1 ... Vehicle sound
Claims (14)
撮影方向の画像データを生成する撮像部と、
前記撮影方向に連動して変位し、外部からの音圧を受けて音圧信号を生成するとともに前記音圧信号に基づいて音源の位置を推定する集音部と、
前記音圧信号の音圧のレベル及び前記音源の位置に基づいて音圧表示データを生成し、前記音圧表示データと前記撮像部が生成した前記画像データとを合成して表示データを生成する表示データ生成部と、
前記表示データ生成部が生成した前記表示データに基づき画像を表示する表示部と、
を備え、
前記車両内音源探査装置は携帯型の装置であり、
前記表示データ生成部は、前記集音部が生成した音圧信号に基づいて得られる音圧データから、あらかじめ設定された所定の特定音圧データを除去した前記音圧データを用いて前記表示データを生成する、車両内音源探査装置。 It is an in-vehicle sound source exploration device used to search for the sound source of abnormal noise generated in the vehicle.
An imaging unit that generates image data in the shooting direction,
A sound collecting unit that displaces in conjunction with the shooting direction, receives sound pressure from the outside, generates a sound pressure signal, and estimates the position of a sound source based on the sound pressure signal.
Sound pressure display data is generated based on the sound pressure level of the sound pressure signal and the position of the sound source, and the sound pressure display data and the image data generated by the imaging unit are combined to generate display data. Display data generator and
A display unit that displays an image based on the display data generated by the display data generation unit, and a display unit that displays an image.
With
The in-vehicle sound source exploration device is a portable device and is a portable device.
The display data generation unit uses the sound pressure data obtained by removing preset specific sound pressure data from the sound pressure data obtained based on the sound pressure signal generated by the sound collection unit, and uses the display data. An in-vehicle sound source exploration device that produces.
前記表示データ生成部は、前記走行位置検出部が検出した前記車両の走行位置に基づいて選択される前記車両走行時の反響音又はロードノイズの音圧データを除去する、請求項４に記載の車両内音源探査装置。 It is further equipped with a traveling position detection unit that detects the traveling position of the vehicle on the map data based on the satellite signal.
The display data generation unit according to claim 4, wherein the display data generation unit removes sound pressure data of reverberation sound or road noise during the vehicle travel, which is selected based on the vehicle travel position detected by the travel position detection unit. In-vehicle sound source exploration device.
前記集音部は、前記角速度センサの出力に基づいて検出される前記集音部の向き及び位置と、前記集音部により生成される音圧信号に基づいて得られる音圧データと、に基づいて前記音源の位置を推定する、請求項１〜９のいずれか１項に記載の車両内音源探査装置。 Further equipped with an angular velocity sensor that detects at least the displacement of the sound collecting portion,
The sound collecting unit is based on the direction and position of the sound collecting unit detected based on the output of the angular velocity sensor and the sound pressure data obtained based on the sound pressure signal generated by the sound collecting unit. The in-vehicle sound source exploration device according to any one of claims 1 to 9, which estimates the position of the sound source.
所定方向を撮像した画像データを生成するステップと、
外部からの音圧を受けて音圧信号を生成するステップと、
前記音圧信号に基づいて音源の位置を推定するステップと、
前記音圧信号に基づいて得られる音圧データから、あらかじめ設定された所定の特定音圧データを除去して車両内音圧データを生成するステップと、
前記音源の位置及び前記車両内音圧データの音圧のレベルに基づいて音圧表示データを生成するステップと、
前記音圧表示データと前記画像データとを合成して表示データを生成するステップと、
前記表示データに基づき画像を表示させるステップと、
を含む、音源探査用画像表示方法。
An image display method for sound source exploration executed by at least one processor in order to search for a sound source of abnormal noise generated in a vehicle using a portable in-vehicle sound source exploration device.
A step to generate image data in which a predetermined direction is captured, and
The step of receiving the sound pressure from the outside and generating the sound pressure signal,
The step of estimating the position of the sound source based on the sound pressure signal, and
A step of removing preset specific sound pressure data from the sound pressure data obtained based on the sound pressure signal to generate sound pressure data in the vehicle, and
A step of generating sound pressure display data based on the position of the sound source and the sound pressure level of the sound pressure data in the vehicle, and
A step of synthesizing the sound pressure display data and the image data to generate display data,
The step of displaying an image based on the display data and
Image display method for sound source exploration, including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020069323A JP7456838B2 (en) | 2020-04-07 | 2020-04-07 | In-vehicle sound source detection device and in-vehicle sound source detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020069323A JP7456838B2 (en) | 2020-04-07 | 2020-04-07 | In-vehicle sound source detection device and in-vehicle sound source detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021165685A true JP2021165685A (en) | 2021-10-14 |
| JP7456838B2 JP7456838B2 (en) | 2024-03-27 |
Family
ID=78021742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020069323A Active JP7456838B2 (en) | 2020-04-07 | 2020-04-07 | In-vehicle sound source detection device and in-vehicle sound source detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7456838B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114509162A (en) * | 2022-04-18 | 2022-05-17 | 四川三元环境治理股份有限公司 | Sound environment data monitoring method and system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5320956B2 (en) | 2008-10-03 | 2013-10-23 | 日産自動車株式会社 | Sound source exploration device and sound source exploration method |
| JP5456563B2 (en) | 2010-04-30 | 2014-04-02 | 株式会社熊谷組 | Method and apparatus for displaying sound source estimation image |
| US9880615B2 (en) | 2013-02-15 | 2018-01-30 | Seiko Epson Corporation | Information processing device and control method for information processing device |
| JP2017107482A (en) | 2015-12-11 | 2017-06-15 | ソニー株式会社 | Information processing device, information processing method and program |
| JP6789373B2 (en) | 2017-02-28 | 2020-11-25 | パイオニア株式会社 | Information processing equipment, infrastructure deterioration judgment method, and programs |
-
2020
- 2020-04-07 JP JP2020069323A patent/JP7456838B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114509162A (en) * | 2022-04-18 | 2022-05-17 | 四川三元环境治理股份有限公司 | Sound environment data monitoring method and system |
| CN114509162B (en) * | 2022-04-18 | 2022-06-21 | 四川三元环境治理股份有限公司 | Sound environment data monitoring method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7456838B2 (en) | 2024-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3300340B2 (en) | Driving support device | |
| JP5281165B2 (en) | Navigation device, server, navigation system, and method for monitoring predetermined events | |
| US20070147664A1 (en) | Driving assist method and driving assist apparatus | |
| JP4914726B2 (en) | Current position calculation device, current position calculation method | |
| JP2007198962A (en) | Guidance display device for vehicle | |
| MX2007015348A (en) | Navigation device with camera-info. | |
| CN101588482A (en) | Vehicular virtual panoramic electronic system | |
| KR20070019813A (en) | Car navigation system for using argumented reality | |
| TW200848703A (en) | Navigation assistance using camera | |
| US20200185436A1 (en) | Imaging apparatus and imaging method | |
| JP2013124957A (en) | Navigation system using portable information terminal | |
| JP4756316B2 (en) | Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method | |
| JP2016175586A (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| US10937319B2 (en) | Information provision system, server, and mobile terminal | |
| JP7200645B2 (en) | In-vehicle device, program, and vehicle | |
| JP4858212B2 (en) | Car navigation system | |
| JP2004351977A (en) | Vehicle outside image display device | |
| JP2010175329A (en) | On-vehicle information device | |
| JP7456838B2 (en) | In-vehicle sound source detection device and in-vehicle sound source detection method | |
| JPH07286854A (en) | Electronic map device | |
| KR101771657B1 (en) | Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof | |
| JP6080735B2 (en) | Driving assistance device | |
| JP2004077189A (en) | Information processing apparatus, system, method and program for the same, record medium for recording program, and navigation apparatus | |
| JP2010237798A (en) | Image processor and image processing program | |
| JP5083137B2 (en) | Driving assistance device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240314 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7456838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |