JP2015231063A - In-vehicle acoustic device - Google Patents

In-vehicle acoustic device Download PDF

Info

Publication number
JP2015231063A
JP2015231063A JP2014114967A JP2014114967A JP2015231063A JP 2015231063 A JP2015231063 A JP 2015231063A JP 2014114967 A JP2014114967 A JP 2014114967A JP 2014114967 A JP2014114967 A JP 2014114967A JP 2015231063 A JP2015231063 A JP 2015231063A
Authority
JP
Japan
Prior art keywords
sound
driver
ear
vehicle
acoustic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2014114967A
Other languages
Japanese (ja)
Inventor
文弥 渡邊
Fumiya Watanabe
文弥 渡邊
孝文 山瀬
Takafumi Yamase
孝文 山瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2014114967A priority Critical patent/JP2015231063A/en
Publication of JP2015231063A publication Critical patent/JP2015231063A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】乗員が音の方向感や移動感をより分かり易く感じることができる車載音響装置を提供する。【解決手段】運転者６１が頭の位置をずらしても、カメラ１２ａで撮像された顔を含む画像から眼６７、６８の位置が算出され、左右の耳６４、６５の位置が推定される。右の耳６４、左の耳６５のそれぞれに最適な音となるように、音の大きさ及び遅延時間を算出し、音場を補正する。【選択図】図２An in-vehicle acoustic device is provided that allows a passenger to feel a sense of direction and movement of sound more easily. Even if a driver 61 shifts the head position, the positions of eyes 67 and 68 are calculated from an image including a face captured by a camera 12a, and the positions of left and right ears 64 and 65 are estimated. The sound volume and the delay time are calculated so that the sound is optimal for each of the right ear 64 and the left ear 65, and the sound field is corrected. [Selection] Figure 2

Description

本発明は、車室内で音を出力する車載音響装置に関する。   The present invention relates to an in-vehicle acoustic device that outputs sound in a vehicle interior.

従来、車室内において、運転者が聴き易くなるように、前後あるいは左右に配置されたスピーカから出力される音を手動で調整することが行われていた。   Conventionally, in a vehicle interior, sound output from speakers arranged in front and rear or left and right is manually adjusted so that a driver can easily listen.

この種の先行技術として、車室内に搭載され、ヘッドレスト前面に想定されるリスニングポイントに到達する音の周波数を調整可能なオーディオ装置が知られている（特許文献１参照）。   As a prior art of this type, an audio device that is mounted in a vehicle interior and that can adjust the frequency of a sound that reaches a listening point assumed in front of a headrest is known (see Patent Document 1).

特開２００７−２６４４５５号公報JP 2007-264455 A

ところで、運転者の耳の位置が想定した位置から外れた位置にある場合、方向感のある音（聞こえてくる方向を聞き手が認識できる音）や移動感のある音（音源の移動を聞き手に感じさせる音）を発しても、その方向感や移動感を運転者が正しく感じることができないという状況が起きていた。   By the way, when the driver's ear is out of the assumed position, a sound with a sense of direction (a sound that allows the listener to recognize the direction of hearing) or a sound with a sense of movement (the movement of the sound source to the listener). Even if a sound was generated, the driver could not feel the sense of direction and movement correctly.

本発明は、上述した事情に鑑みてなされたものであり、その目的は乗員が方向感のある音や移動感のある音をより分かり易く感じることができる車載音響装置を提供することにある。   The present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide an in-vehicle acoustic device that allows an occupant to more easily feel a sound having a sense of direction and a sound having a sense of movement.

前述した目的を達成するために、本発明に係る車載音響装置は、下記（１）、（２）を特徴としている。
（１） 車両に搭載された車載音響装置であって、
車室内の乗員を撮像する撮像部と、
音を出力する発音部と、
各種制御を司る制御部と、
を備え、
前記制御部は、前記撮像部で撮像された乗員の眼の位置を算出し、前記算出された眼の位置から耳の位置を推定し、前記推定された耳の位置に合わせて、前記発音部が出力する音の音場を補正する、
ことを特徴とする車載音響装置。
（２） 前記撮像部は、撮影方向が車両の進行方向後方であって、車室内の乗員である運転者を撮像する、
ことを特徴とする上記（１）に記載の車載音響装置。 In order to achieve the above-described object, the on-vehicle acoustic device according to the present invention is characterized by the following (1) and (2).
(1) An on-vehicle acoustic device mounted on a vehicle,
An imaging unit for imaging passengers in the passenger compartment;
A sound generator that outputs sound;
A control unit that manages various controls;
With
The control unit calculates a position of an occupant's eye imaged by the imaging unit, estimates an ear position from the calculated eye position, and adjusts the sound generation unit according to the estimated ear position. Correct the sound field of the sound output by
An on-vehicle acoustic device characterized by the above.
(2) The imaging unit captures an image of a driver who is an occupant in the passenger compartment and whose imaging direction is behind the traveling direction of the vehicle.
The on-vehicle acoustic device according to (1) above, wherein

上記（１）の構成の車載音響装置によれば、耳の位置に合わせて、発音部が出力する音の音場が補正されるので、乗員が方向感のある音や移動感のある音をより分かり易く感じることができる。
上記（２）の構成の車載音響装置によれば、撮影方向が車両の進行方向後方である撮像部によって運転者を撮影する場合には、運転者は視線を車両の進行方向前方に向けているため、絶えず運転者の耳の位置を推定することができる。このため、運転者の頭の位置に応じた最適な音場が絶えず形成される。 According to the in-vehicle acoustic device having the configuration (1), the sound field of the sound output by the sound generation unit is corrected according to the position of the ear, so that the occupant can generate a sound with a sense of direction or a sense of movement. You can feel it easier to understand.
According to the in-vehicle acoustic device having the configuration of (2) above, when the driver is photographed by the imaging unit whose photographing direction is behind the traveling direction of the vehicle, the driver has his line of sight directed forward in the traveling direction of the vehicle. Therefore, the position of the driver's ear can be estimated constantly. For this reason, the optimal sound field according to the position of the driver's head is constantly formed.

本発明によれば、耳の位置に合わせて、発音部が出力する音の音場が補正されるので、乗員が方向感のある音や移動感のある音をより分かり易く感じることができる。   According to the present invention, since the sound field of the sound output by the sound generation unit is corrected in accordance with the position of the ear, the occupant can feel a sound with a sense of direction and a sound with a sense of movement more easily.

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。   The present invention has been briefly described above. Further, the details of the present invention will be further clarified by reading through a mode for carrying out the invention described below (hereinafter referred to as “embodiment”) with reference to the accompanying drawings. .

図１は、本発明の実施形態における車載音響装置１の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an in-vehicle acoustic device 1 according to an embodiment of the present invention. 図２は、車室５１内における運転者６１の顔とスピーカ１４、１５の位置関係を示す図である。FIG. 2 is a diagram illustrating a positional relationship between the face of the driver 61 and the speakers 14 and 15 in the passenger compartment 51. 図３は、本発明の実施形態における車載音響装置１による音出力動作手順を示すフローチャートである。FIG. 3 is a flowchart showing a sound output operation procedure by the vehicle-mounted acoustic device 1 according to the embodiment of the present invention.

以下、本実施形態に係る車載音響装置について図面を用いて説明する。本実施形態の車載音響装置は、車両に搭載され、メータ、デジタルタコグラフ、カーナビゲーション、専用装置等や、音楽や各種の音を出力する車載オーディオ機器等に適用される。   Hereinafter, the in-vehicle acoustic device according to the present embodiment will be described with reference to the drawings. The in-vehicle acoustic device of the present embodiment is mounted on a vehicle and applied to a meter, a digital tachograph, a car navigation, a dedicated device, etc., an in-vehicle audio device that outputs music and various sounds, and the like.

図１は、本発明の実施形態における車載音響装置１の構成を示すブロック図である。車載音響装置１は、制御部１１、運転者監視部１２及び複数（図１では２個）のスピーカ（発音部）１４、１５から主に構成される。   FIG. 1 is a block diagram illustrating a configuration of an in-vehicle acoustic device 1 according to an embodiment of the present invention. The in-vehicle acoustic device 1 mainly includes a control unit 11, a driver monitoring unit 12, and a plurality (two in FIG. 1) of speakers (sound generation units) 14 and 15.

運転者監視部１２（撮像部）は、車室５１内に設置されたカメラ１２ａ（図２参照）を有し、このカメラ１２ａで撮像された運転者６１の顔を含む画像を制御部１１に出力する。カメラ１２ａは、撮影方向が車両の進行方向後方（図２中の上側に向かう方向）であって、車室内の乗員のうちの、特に運転者を撮像する。なお、カメラ１２ａには、可視光線用のカメラ、赤外線カメラ等の撮像装置が用いられる。また、カメラ１２ａが設置される場所としては、運転者等の撮影に適したパネルメータ、ステアリングコラム、ルーフ等が挙げられる。ここでは、フロントパネルに設置された場合を示す。   The driver monitoring unit 12 (imaging unit) includes a camera 12a (see FIG. 2) installed in the passenger compartment 51, and an image including the face of the driver 61 captured by the camera 12a is displayed on the control unit 11. Output. The camera 12a captures an image of a driver among passengers in the passenger compartment in which the shooting direction is behind the vehicle in the traveling direction (the direction toward the upper side in FIG. 2). Note that an imaging device such as a visible light camera or an infrared camera is used as the camera 12a. Moreover, as a place where the camera 12a is installed, a panel meter, a steering column, a roof, and the like suitable for photographing of a driver or the like can be cited. Here, the case where it is installed on the front panel is shown.

制御部１１は、車載音響装置１の全体動作を制御するものであり、耳位置推定処理部２１、音場補正部２２、音声選択部２３、音声データメモリ２４、音声生成部２５及び音声出力部２６を有する。   The control unit 11 controls the overall operation of the in-vehicle acoustic device 1, and includes an ear position estimation processing unit 21, a sound field correction unit 22, a sound selection unit 23, a sound data memory 24, a sound generation unit 25, and a sound output unit. 26.

また、制御部１１には、運転者監視部１２で撮像された画像のデータの他、車両に備わる速度センサやエンジン回転数センサ等の各種センサ４１からそれぞれ速度やエンジン回転数等の運転データが入力される。   In addition to the image data captured by the driver monitoring unit 12, the control unit 11 includes driving data such as speed and engine speed from various sensors 41 such as a speed sensor and an engine speed sensor provided in the vehicle. Entered.

耳位置推定処理部２１は、運転者監視部１２で撮像された運転者の顔を含む画像に対し、公知の画像認識処理を施すことで、運転者の眼の位置を算出する。この画像認識処理として、例えば運転者の顔画像の濃淡値を利用するものやエッジ情報を利用するものが挙げられる。左右の眼と左右の耳との位置関係は大凡決まっているので、両方の眼の位置が算出されると、耳位置推定処理部２１は、両方の眼の位置から両方の耳の位置を推定する。尚、左右の眼と左右の耳との位置関係は、一般的に決められた値を用いてもよいし、個別に運転者の顔を計測することで決められてもよい。また、耳は髪に隠れていることが多いが、顔画像から算出される眼の位置から耳の位置を推定することで、顔画像から耳を認識することができなくても耳の位置を特定することができる。   The ear position estimation processing unit 21 calculates the position of the driver's eyes by performing a known image recognition process on the image including the driver's face captured by the driver monitoring unit 12. As this image recognition processing, for example, a method using a gray value of a driver's face image or a method using edge information can be cited. Since the positional relationship between the left and right eyes and the left and right ears is roughly determined, when the positions of both eyes are calculated, the ear position estimation processing unit 21 estimates the positions of both ears from the positions of both eyes. To do. Note that the positional relationship between the left and right eyes and the left and right ears may use a generally determined value, or may be determined by measuring the driver's face individually. Also, the ears are often hidden in the hair, but by estimating the ear position from the eye position calculated from the face image, the ear position can be determined even if the ear cannot be recognized from the face image. Can be identified.

音場補正部２２は、音声生成部２５で生成される音声データに対し、音の大きさを変更しかつ遅延時間を設定する処理を行って音場を補正する。ここで、音の大きさの変更と遅延時間の設定について詳述する。   The sound field correction unit 22 corrects the sound field by performing a process of changing the loudness of the sound data generated by the sound generation unit 25 and setting a delay time. Here, the change of the sound volume and the setting of the delay time will be described in detail.

図２は、スピーカを２個使用した場合の車室５１内における運転者６１の顔とスピーカ１４、１５の位置関係を示す図である。運転者監視部１２に備わるカメラ１２ａはフロントパネル５１ａに設置されている。また、運転者６１の顔は、基本の位置から少しずれて両方の眼６７、６８が斜め前方を向いている状態にある。   FIG. 2 is a diagram showing the positional relationship between the face of the driver 61 and the speakers 14 and 15 in the passenger compartment 51 when two speakers are used. The camera 12a provided in the driver monitoring unit 12 is installed on the front panel 51a. Further, the face of the driver 61 is slightly shifted from the basic position, and both eyes 67 and 68 are facing obliquely forward.

右の耳６４と右側のスピーカ１４との間の距離をＬ１とし、左の耳６５と右側のスピーカ１４との間の距離をＬ１´とする。同様に、右の耳６４と左側のスピーカ１５との間の距離をＬ２とし、左の耳６５と左側のスピーカ１５との間の距離をＬ２´とする。   The distance between the right ear 64 and the right speaker 14 is L1, and the distance between the left ear 65 and the right speaker 14 is L1 ′. Similarly, the distance between the right ear 64 and the left speaker 15 is L2, and the distance between the left ear 65 and the left speaker 15 is L2 ′.

右の耳６４に着目すると、右側のスピーカ１４までの距離Ｌ１と左側のスピーカ１５までの距離Ｌ２との比に応じて、右側のスピーカ１４から出力される音の大きさは左側のスピーカ１５から出力される音の大きさと比べて異なる。即ち、音の大きさは距離の二乗に反比例するので、左側のスピーカ１５からの音の大きさは、右側のスピーカ１４からの音の大きさに比べ、（Ｌ１／Ｌ２）２倍に下がってしまう。 Focusing on the right ear 64, the loudness of the sound output from the right speaker 14 depends on the ratio of the distance L1 to the right speaker 14 and the distance L2 to the left speaker 15. It differs from the output sound volume. That is, since the loudness of the sound is inversely proportional to the square of the distance, the loudness of the sound from the left speaker 15 is (L1 / L2) 2 times lower than the loudness of the sound from the right speaker 14. End up.

従って、右側のスピーカ１４から出力される音の大きさを（Ｌ１／Ｌ２）２倍に下げることで、右の耳６４に届く音の大きさは、右側のスピーカ１４と左側のスピーカ１５とで揃うことになる。 Therefore, by reducing the size of the sound output from the right speaker 14 (L1 / L2) twice the size of the sound to reach the right ear 64 includes a right speaker 14 and the left speaker 15 Will be aligned.

また、右側のスピーカ１４から出力された音が右の耳６４に届く時間と、左側のスピーカ１５から出力された音が右の耳６４に届く時間との間には、音速をＳとして、（Ｌ２−Ｌ１）／Ｓの時間差がある。   Also, between the time when the sound output from the right speaker 14 reaches the right ear 64 and the time when the sound output from the left speaker 15 reaches the right ear 64, the sound speed is set as S ( There is a time difference of L2−L1) / S.

従って、右側のスピーカ１４から出力された音を、この時間差（Ｌ２−Ｌ１）／Ｓだけ遅らせることで、右側のスピーカ１４から出力された音と左側のスピーカ１５から出力された音とが同時に右の耳６４に届くようになる。   Accordingly, by delaying the sound output from the right speaker 14 by this time difference (L2−L1) / S, the sound output from the right speaker 14 and the sound output from the left speaker 15 are simultaneously transferred to the right. It reaches the ear 64 of.

このように、音場補正部２２は、右の耳６４において、右側のスピーカ１４から出力される音の大きさを（Ｌ１／Ｌ２）２倍に下げる、かつ、右側のスピーカ１４から出力された音を時間差（Ｌ２−Ｌ１）／Ｓだけ遅延させることで、右の耳６４に最適な音場となるように補正することが可能である。 In this way, the sound field correction unit 22 reduces the volume of the sound output from the right speaker 14 to (L1 / L2) by two times in the right ear 64 and is output from the right speaker 14. By delaying the sound by the time difference (L2−L1) / S, it is possible to correct the sound field to be optimal for the right ear 64.

同様に、音場補正部２２は、左の耳６５においても、右側のスピーカ１４から出力される音の大きさを（Ｌ１´／Ｌ２´）２倍に下げる、かつ、右側のスピーカ１４から出力された音を時間差（Ｌ２´−Ｌ１´）／Ｓだけ遅延させることで、左の耳６５に最適な音場となるように、補正することが可能である。ただし、運転者６１の頭が大きくずれており、Ｌ１´＞Ｌ２´となる場合には、右側のスピーカ１４から出力される音の大きさを（Ｌ１´／Ｌ２´）２倍に上げる、かつ時間差｜（Ｌ２´−Ｌ１´）｜／Ｓだけ早めることになる。 Similarly, the sound field correction unit 22 also reduces the volume of sound output from the right speaker 14 to (L1 ′ / L2 ′) 2 times and outputs from the right speaker 14 also in the left ear 65. By delaying the sound by a time difference (L2′−L1 ′) / S, the sound field can be corrected so as to be optimal for the left ear 65. However, and largely deviated the head of the driver 61, L1 '> and when made is L2', raise the volume of sound output from the right speaker 14 (L1' / L2') twice, and The time difference | (L2′−L1 ′) | / S is advanced.

音場補正部２２は、右の耳６４、左の耳６５についてそれぞれ得られた最適な音場となる音の大きさ及び遅延時間の平均値を用いて、右の耳６４と左の耳６５の中間の位置６６における音の大きさ及び遅延時間を設定する。   The sound field correction unit 22 uses the average value of the sound volume and the delay time that are the optimum sound fields obtained for the right ear 64 and the left ear 65, respectively, and uses the right ear 64 and the left ear 65. The loudness and delay time at the middle position 66 are set.

音場補正部２２は、この平均化された音の大きさ及び遅延時間を持つ音が右側のスピーカ１４から出力されるように、音声データメモリ２４から得られる音声データを補正するための補正値を設定し、音声生成部２５に出力する。この場合、左側のスピーカ１５から出力される音の音声データは補正されない。   The sound field correction unit 22 corrects the sound data obtained from the sound data memory 24 so that the sound having the average sound volume and the delay time is output from the right speaker 14. Is output to the voice generation unit 25. In this case, the sound data of the sound output from the left speaker 15 is not corrected.

尚、ここでは、右側のスピーカ１４から出力される音の音声データを補正する場合を示したが、左側のスピーカ１５から出力される音の音声データを補正することも可能である。つまり、左側のスピーカ１５から出力される音の大きさを上げ、遅延する時間差だけ早くするように、音声データを補正してもよい。また、右側のスピーカ１４及び左側のスピーカ１５の両方から出力される音の音声データそれぞれに対し、補正することも可能である。   Here, although the case where the sound data of the sound output from the right speaker 14 is corrected is shown, the sound data of the sound output from the left speaker 15 can also be corrected. That is, the sound data may be corrected so that the volume of the sound output from the left speaker 15 is increased and the time difference is delayed. It is also possible to correct each sound data of sound output from both the right speaker 14 and the left speaker 15.

音声データメモリ２４には、音楽や警報音等の左右の音声データが登録されている。音声選択部２３は、使用者の操作によって音声データメモリ２４に登録されている音声データを選択する。尚、運転者が正面を向いて運転している時にあると想定した耳の位置８５（図２参照）においては、左右の耳に届く音の音の大きさ及び時間は揃うように、左右の音声データは登録されている。   In the audio data memory 24, left and right audio data such as music and alarm sounds are registered. The voice selection unit 23 selects voice data registered in the voice data memory 24 by a user operation. It should be noted that at the ear position 85 (see FIG. 2) that is assumed to be when the driver is driving facing the front, the left and right sides of the sound reach the left and right ears so that the volume and time of the sound are equal. Audio data is registered.

音声生成部２５は、音声選択部２３によって選択された音声データを、音場補正部２２で設定された音の大きさ及び遅延の補正値で補正して、あるいは補正することなくそのままで、左右のデジタル音声データを生成する。   The audio generation unit 25 corrects the audio data selected by the audio selection unit 23 with the correction value of the sound volume and the delay set by the sound field correction unit 22 or without correction, and Generate digital audio data.

音声出力部２６は、音声生成部２５で生成された、左右のデジタル音声データをそれぞれアナログの音声信号に変換及び増幅し、スピーカ１４、１５に出力する。   The audio output unit 26 converts and amplifies the left and right digital audio data generated by the audio generation unit 25 into analog audio signals, and outputs the analog audio signals to the speakers 14 and 15.

スピーカ１４、１５は、音声出力部２６から出力されたそれぞれの音声信号を音声に変換して発音（出力）する。   The speakers 14 and 15 convert each sound signal output from the sound output unit 26 into sound and generate sound (output).

なお、前述した耳位置推定処理部２１、音場補正部２２、音声選択部２３、音声生成部２５及び音声出力部２６は、ハードウェアで実現されてもよいし、制御部１１内のＣＰＵがＲＯＭに格納されたプログラムを実行することによって機能として実現されてもよい。   The ear position estimation processing unit 21, the sound field correction unit 22, the sound selection unit 23, the sound generation unit 25, and the sound output unit 26 described above may be realized by hardware, or may be performed by the CPU in the control unit 11. It may be realized as a function by executing a program stored in the ROM.

上記構成を有する車載音響装置１の動作を示す。図３は、本発明の実施形態における車載音響装置１による音出力動作手順を示すフローチャートである。この動作は車載音響装置１の電源がオンに操作されると開始する。   Operation | movement of the vehicle-mounted audio apparatus 1 which has the said structure is shown. FIG. 3 is a flowchart showing a sound output operation procedure by the vehicle-mounted acoustic device 1 according to the embodiment of the present invention. This operation starts when the on-vehicle acoustic device 1 is turned on.

運転者監視部１２は、車室５１内に設置されたカメラ１２ａで運転者６１の顔を含む画像を撮像し、撮像された画像を制御部１１に出力する（Ｓ１）。耳位置推定処理部２１は、運転者監視部１２で撮像された運転者６１の顔を含む画像に対して画像認識処理を施し、運転者の眼６７、６８の位置を算出し、さらに、両方の眼６７、６８の位置から両方の耳６４、６５の位置を推定する（Ｓ２）。   The driver monitoring unit 12 captures an image including the face of the driver 61 with the camera 12a installed in the passenger compartment 51, and outputs the captured image to the control unit 11 (S1). The ear position estimation processing unit 21 performs image recognition processing on the image including the face of the driver 61 captured by the driver monitoring unit 12, calculates the positions of the driver's eyes 67 and 68, and both The positions of both ears 64 and 65 are estimated from the positions of the eyes 67 and 68 (S2).

音場補正部２２は、ステップＳ２で推定された両方の耳６４、６５の中間の位置６６が想定した位置８５（図２参照）と違うか否かを判別する（Ｓ３）。ここで、想定した位置８５は、前述したように、運転者が正面を向いて運転している時にあると想定される耳の位置（基本の位置）である。尚、この想定した耳の位置８５は、運転者毎に異なる位置に設定されてもよいし、一般的な位置に設定されてもよい。想定した耳の位置と同じであるか否かは、ある程度の許容幅を持って判断される。また、前述したように、想定した耳の位置においては、左右の耳に届く音の音の大きさ及び時間が揃うように、音声データは登録されている。   The sound field correcting unit 22 determines whether or not the intermediate position 66 between both ears 64 and 65 estimated in step S2 is different from the assumed position 85 (see FIG. 2) (S3). Here, the assumed position 85 is an ear position (basic position) that is assumed to be present when the driver is driving facing the front as described above. The assumed ear position 85 may be set to a different position for each driver, or may be set to a general position. Whether or not it is the same as the assumed ear position is determined with a certain tolerance. Further, as described above, the sound data is registered so that the volume and time of the sound reaching the left and right ears are aligned at the assumed ear position.

ステップＳ３で、推定された耳６４、６５の中間の位置６６が想定した位置８５と同じである場合、音場補正部２２が音声データを補正するための補正値を設定することなく、音声生成部２５は、音声選択部２３によって選択された左右の音声データを生成する（Ｓ５）。音声出力部２６は、生成された左右のデジタル音声データをそれぞれアナログの音声信号に変換及び増幅し、スピーカ１４、１５に出力する。   In step S3, when the estimated position 66 between the ears 64 and 65 is the same as the assumed position 85, the sound generation unit 22 does not set a correction value for correcting the sound data and generates sound. The unit 25 generates left and right audio data selected by the audio selection unit 23 (S5). The audio output unit 26 converts and amplifies the generated left and right digital audio data into analog audio signals, and outputs them to the speakers 14 and 15.

一方、推定された耳６４、６５の中間の位置６６が想定した位置８５と違う場合、音場補正部２２が音声データを補正するための補正値（音の大きさ及び遅延の補正値）を設定し（Ｓ４）、音声生成部２５は、ステップＳ５で設定された補正値を用いて補正され、音声選択部２３によって選択された左右の音声データを生成する。   On the other hand, when the estimated position 66 between the estimated ears 64 and 65 is different from the assumed position 85, the sound field correction unit 22 sets correction values (sound volume and delay correction values) for correcting the sound data. After setting (S4), the sound generation unit 25 generates right and left sound data selected by the sound selection unit 23 after being corrected using the correction value set in step S5.

ステップＳ５で左右の音声データが生成されると、左右のスピーカ１４、１５から音の大きさ及び時間にずれのない音が運転者の耳に届くようになる。   When the left and right audio data is generated in step S5, the sound with the same loudness and time will reach the driver's ears from the left and right speakers 14 and 15.

このように、本実施形態の車載音響装置１では、例えば運転中、運転者が頭の位置をずらしても、カメラで撮像された顔を含む画像から眼の位置が算出され、左右の耳の位置が推定される。   Thus, in the in-vehicle acoustic device 1 of the present embodiment, for example, even when the driver shifts the head position during driving, the eye position is calculated from the image including the face imaged by the camera, and the left and right ears are The position is estimated.

右耳、左耳のそれぞれに最適な音となるように、音の大きさ及び遅延時間が算出される。さらに、右耳と左耳の中間の位置で音の大きさが等しくかつ遅延が無くなるように、左右の耳で算出された音の大きさ及び遅延時間を平均化した補正値を算出し、この補正値を用いて右側のスピーカ１４から出力される音の音声データが補正される。この場合、左側のスピーカ１５から出力される音の音声データは補正されない。尚、例えば、右側のスピーカ１４に対し、遅延時間が補正され、左側のスピーカ１５に対し、音の大きさが補正されるようにしてもよいことは前述した通りである。   The loudness and delay time are calculated so that the sound is optimal for each of the right and left ears. Further, a correction value is calculated by averaging the sound volume and the delay time calculated by the left and right ears so that the sound volume is equal at the middle position between the right ear and the left ear and the delay is eliminated. The sound data of the sound output from the right speaker 14 is corrected using the correction value. In this case, the sound data of the sound output from the left speaker 15 is not corrected. For example, as described above, the delay time may be corrected for the right speaker 14 and the loudness of the left speaker 15 may be corrected.

この結果、運転者が頭の位置をずらしても、左右の耳には最適な音が届くようになる。撮影方向が車両の進行方向後方であるカメラ１２ａによって運転者を撮影する場合には、運転者は視線を車両の進行方向前方に向けているため、絶えず運転者の耳の位置を推定することができる。このため、上述の一連の処理を繰り返し実行することにより、運転者の頭の位置に応じた最適な音場が絶えず形成される。従って、運転者は、例えば右側のスピーカ１４から左側のスピーカ１５に音が流れるような、方向感のある音や移動感のある音をより分かり易く感じることができる。   As a result, even if the driver shifts the head position, the optimal sound reaches the left and right ears. When a driver is photographed by the camera 12a whose shooting direction is behind the traveling direction of the vehicle, the driver is constantly estimating the position of the driver's ear because the driver's line of sight is directed forward in the traveling direction of the vehicle. it can. For this reason, the optimal sound field according to the position of the driver's head is constantly formed by repeatedly executing the above-described series of processing. Therefore, the driver can more easily understand a sound having a sense of direction and a feeling of movement, such as a sound flowing from the right speaker 14 to the left speaker 15.

尚、本発明の技術的範囲は、上述した実施形態に限定されるものではない。上述した実施形態は、本発明の技術的範囲内で種々の変形や改良等を伴うことができる。   The technical scope of the present invention is not limited to the embodiment described above. The above-described embodiments can be accompanied by various modifications and improvements within the technical scope of the present invention.

例えば、上記実施形態では、左右の耳の位置が想定した位置にある場合、音場の補正を行わないで済むようにする為、左右のスピーカから届く音の大きさ及び時間が揃うように、左右の音声データは登録されていたが、この場合も、音場の補正を行ってもよい。これにより、左右の音声データの登録が容易になる。   For example, in the above embodiment, when the positions of the left and right ears are in the assumed positions, in order not to perform the sound field correction, so that the volume and time of the sound received from the left and right speakers are aligned, The left and right audio data has been registered, but in this case as well, the sound field may be corrected. This facilitates registration of left and right audio data.

また、上記実施形態では、運転者の耳の位置を推定したが、運転者以外の乗員（例えば助手席に座っている乗員）の耳の位置を推定し、この乗員にとって最適な音場が補正されるようにしてもよい。   In the above embodiment, the ear position of the driver is estimated. However, the ear position of an occupant other than the driver (for example, an occupant sitting in the passenger seat) is estimated, and the optimum sound field for the occupant is corrected. You may be made to do.

また、上記実施形態では、車室内のフロント側に左右のスピーカが配置され、ステレオで音声を聴く場合を示したが、車室内の前後左右等に配置された複数のサラウンドスピーカで音声を聴く場合にも、本発明は同様に適用可能である。   In the above embodiment, the case where the left and right speakers are arranged on the front side of the vehicle interior and the sound is listened to in stereo has been shown. In addition, the present invention is similarly applicable.

ここで、上述した本発明に係る車載音響装置の実施形態の特徴をそれぞれ以下（１）、（２）に簡潔に纏めて列記する。
（１） 車両に搭載された車載音響装置（１）であって、
車室内の乗員を撮像する撮像部（カメラ１２ａ）と、
音を出力する発音部（スピーカ１４、１５）と、
各種制御を司る制御部（１１）と、
を備え、
前記制御部は、前記撮像部で撮像された乗員の眼（６７、６８）の位置を算出し、前記算出された眼の位置から耳（６４、６５）の位置を推定し、前記推定された耳の位置に合わせて、前記発音部が出力する音の音場を補正する、
ことを特徴とする車載音響装置。
（２） 前記撮像部は、撮影方向が車両の進行方向後方であって、車室内の乗員である運転者（６１）を撮像する、
ことを特徴とする上記（１）に記載の車載音響装置。 Here, the features of the above-described embodiments of the vehicle-mounted acoustic device according to the present invention will be summarized and listed in the following (1) and (2), respectively.
(1) An on-vehicle acoustic device (1) mounted on a vehicle,
An imaging unit (camera 12a) for imaging passengers in the passenger compartment;
A sound generator (speakers 14 and 15) for outputting sound;
A control unit (11) that performs various controls;
With
The control unit calculates the position of the occupant's eyes (67, 68) imaged by the imaging unit, estimates the position of the ear (64, 65) from the calculated eye position, and the estimated In accordance with the position of the ear, correct the sound field of the sound output by the sound generator,
An on-vehicle acoustic device characterized by the above.
(2) The imaging unit captures an image of a driver (61) who is an occupant in the passenger compartment and whose imaging direction is behind the traveling direction of the vehicle.
The on-vehicle acoustic device according to (1) above, wherein

１ 車載音響装置
１１ 制御部
１２ 運転監視部
１２ａ カメラ
１４、１５ スピーカ（発音部）
２１ 耳位置推定処理部
２２ 音場補正部
２３ 音声選択部
２４ 音声データメモリ
２５ 音声生成部
２６ 音声出力部
４１ 各種センサ
５１ 車室
５１ａ フロントパネル
６１ 運転者
６４、６５ 耳
６６ 中間の位置
６７、６８ 眼
８５ 想定した耳の位置 DESCRIPTION OF SYMBOLS 1 In-vehicle acoustic device 11 Control part 12 Operation monitoring part 12a Camera 14, 15 Speaker (sounding part)
DESCRIPTION OF SYMBOLS 21 Ear position estimation process part 22 Sound field correction | amendment part 23 Audio | voice selection part 24 Audio | voice data memory 25 Audio | voice production | generation part 26 Audio | voice output part 41 Various sensors 51 Car interior 51a Front panel 61 Driver 64, 65 Ear 66 Middle position 67, 68 Eye 85 Assumed ear position

Claims (2)

車両に搭載された車載音響装置であって、
車室内の乗員を撮像する撮像部と、
音を出力する発音部と、
各種制御を司る制御部と、
を備え、
前記制御部は、前記撮像部で撮像された乗員の眼の位置を算出し、前記算出された眼の位置から耳の位置を推定し、前記推定された耳の位置に合わせて、前記発音部が出力する音の音場を補正する、
ことを特徴とする車載音響装置。 An on-vehicle acoustic device mounted on a vehicle,
An imaging unit for imaging passengers in the passenger compartment;
A sound generator that outputs sound;
A control unit that manages various controls;
With
The control unit calculates a position of an occupant's eye imaged by the imaging unit, estimates an ear position from the calculated eye position, and adjusts the sound generation unit according to the estimated ear position. Correct the sound field of the sound output by
An on-vehicle acoustic device characterized by the above. 前記撮像部は、撮影方向が車両の進行方向後方であって、車室内の乗員である運転者を撮像する、
ことを特徴とする請求項１に記載の車載音響装置。 The imaging unit captures an image of a driver who is an occupant in a passenger compartment in which the shooting direction is behind the traveling direction of the vehicle,
The on-vehicle acoustic device according to claim 1.
JP2014114967A 2014-06-03 2014-06-03 In-vehicle acoustic device Abandoned JP2015231063A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014114967A JP2015231063A (en) 2014-06-03 2014-06-03 In-vehicle acoustic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014114967A JP2015231063A (en) 2014-06-03 2014-06-03 In-vehicle acoustic device

Publications (1)

Publication Number Publication Date
JP2015231063A true JP2015231063A (en) 2015-12-21

Family

ID=54887665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014114967A Abandoned JP2015231063A (en) 2014-06-03 2014-06-03 In-vehicle acoustic device

Country Status (1)

Country Link
JP (1) JP2015231063A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3716143A1 (en) 2019-03-05 2020-09-30 Alpine Electronics, Inc. Facial feature detecting apparatus and facial feature detecting method
JP2021117130A (en) * 2020-01-28 2021-08-10 アルパイン株式会社 Device and method for estimating three-dimensional position
CN114928808A (en) * 2022-04-08 2022-08-19 Oppo广东移动通信有限公司 Audio playing method, device, terminal and storage medium
CN116620172A (en) * 2023-05-12 2023-08-22 北京新能源汽车股份有限公司 Vehicle and vehicle control method
JP2024526591A (en) * 2021-06-30 2024-07-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Sound generating device control method, sound generating system and vehicle
JP2025036938A (en) * 2023-09-05 2025-03-17 本田技研工業株式会社 Speaker position determination device and in-vehicle audio control device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006062604A (en) * 2004-08-30 2006-03-09 Toyota Motor Corp Sound field control apparatus and method
JP2006160160A (en) * 2004-12-09 2006-06-22 Sharp Corp Driving environment sound adjustment device
JP2010250789A (en) * 2008-06-10 2010-11-04 Akira Tomono Display device with camera
JP2011055076A (en) * 2009-08-31 2011-03-17 Fujitsu Ltd Voice communication device and voice communication method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006062604A (en) * 2004-08-30 2006-03-09 Toyota Motor Corp Sound field control apparatus and method
JP2006160160A (en) * 2004-12-09 2006-06-22 Sharp Corp Driving environment sound adjustment device
JP2010250789A (en) * 2008-06-10 2010-11-04 Akira Tomono Display device with camera
JP2011055076A (en) * 2009-08-31 2011-03-17 Fujitsu Ltd Voice communication device and voice communication method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3716143A1 (en) 2019-03-05 2020-09-30 Alpine Electronics, Inc. Facial feature detecting apparatus and facial feature detecting method
US11062125B2 (en) 2019-03-05 2021-07-13 Alpine Electronics, Inc. Facial feature detecting apparatus and facial feature detecting method
JP2021117130A (en) * 2020-01-28 2021-08-10 アルパイン株式会社 Device and method for estimating three-dimensional position
JP7337458B2 (en) 2020-01-28 2023-09-04 アルパイン株式会社 3D position estimation device and 3D position estimation method
JP2024526591A (en) * 2021-06-30 2024-07-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Sound generating device control method, sound generating system and vehicle
CN114928808A (en) * 2022-04-08 2022-08-19 Oppo广东移动通信有限公司 Audio playing method, device, terminal and storage medium
CN116620172A (en) * 2023-05-12 2023-08-22 北京新能源汽车股份有限公司 Vehicle and vehicle control method
JP2025036938A (en) * 2023-09-05 2025-03-17 本田技研工業株式会社 Speaker position determination device and in-vehicle audio control device
JP7720366B2 (en) 2023-09-05 2025-08-07 本田技研工業株式会社 In-vehicle sound control device

Similar Documents

Publication Publication Date Title
US10536791B2 (en) Vehicular sound processing system
JP4557054B2 (en) In-vehicle stereophonic device
JP2015231063A (en) In-vehicle acoustic device
JP5272489B2 (en) Outside vehicle information providing apparatus and outside vehicle information providing method
JP6284331B2 (en) Conversation support device, conversation support method, and conversation support program
WO2016118656A1 (en) Techniques for amplifying sound based on directions of interest
US9344788B2 (en) Motor vehicle audio system
WO2017169779A1 (en) Sound effect generation device for vehicles
US10020785B2 (en) Automatic vehicle occupant audio control
JP5917765B2 (en) Audio reproduction device, audio reproduction method, and audio reproduction program
WO2017169767A1 (en) Sound effect generation device for vehicles
JP2005316704A (en) Ambient condition notification device, ambient condition notification method
JP4450803B2 (en) Active acoustic control device for vehicle
US20180157459A1 (en) Ear monitoring audio
JP2002112400A (en) Car audio system
US11985495B2 (en) Audio control in vehicle cabin
JP6332072B2 (en) Dialogue device
JP2021024481A (en) Electronic mirror system, electronic mirror device and information output method
CN107924675B (en) Two-wheeled motor vehicle and system and method for active noise compensation therein
JP2016074361A (en) On-vehicle device
JP2017044852A (en) Voice direction identification device
JP2006279864A (en) Acoustic system
JP2020106779A (en) Acoustic device and sound field control method
CN119676608A (en) In-car call method, device, equipment, storage medium and vehicle
JP4652709B2 (en) On-vehicle acoustic device, control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20180409