JP2007034348A - Sound sensing system - Google Patents
Sound sensing system Download PDFInfo
- Publication number
- JP2007034348A JP2007034348A JP2005212050A JP2005212050A JP2007034348A JP 2007034348 A JP2007034348 A JP 2007034348A JP 2005212050 A JP2005212050 A JP 2005212050A JP 2005212050 A JP2005212050 A JP 2005212050A JP 2007034348 A JP2007034348 A JP 2007034348A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- sensing system
- driver
- sound
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は自動車などの移動体に搭載され、運転者に対して車外音声の検出,伝達を行う音声感知システムに関わるものである。 The present invention relates to a voice sensing system that is mounted on a moving body such as an automobile and detects and transmits voice outside the vehicle to a driver.
人間の知覚において最も早く衰えが来るのは聴覚であり、特に高い周波数の音声が聴き取り難くなるとされている。また、高齢ドライバーは年齢相応に体力が衰えており、長時間運転による疲労に伴う注意力の低下および例えば今後の高齢化社会にあっては、聴力の低下についても注意を払う必要が増加することが予想される。 The earliest decline in human perception is hearing, and it is said that it is difficult to hear particularly high frequency sound. In addition, older drivers have weakened their physical fitness according to their ages, and there is an increased need to pay attention to decreased hearing due to fatigue due to long-time driving and, for example, in a future aging society. Is expected.
これに対して車内に備える音響装置が発生する音声の音量や周波数を、運転者の聴覚能力や疲労レベルに応じて調整する技術が知られている(特許文献1,2参照)。
On the other hand, techniques for adjusting the volume and frequency of sound generated by an acoustic device provided in the vehicle according to the driver's hearing ability and fatigue level are known (see
特許文献1に記載の音響装置では運転者の年齢,聴覚能力および疲労レベルに応じてカーナビ,カーステレオなどにより出力する音声の音量や周波数を調整することについての記載ある。音響装置としてはカーナビゲーションやカーステレオを想定している。
In the acoustic device described in
特許文献2に記載の警報装置では先行車と自車との相対距離が許容距離以下になったとき警報を発するものであって、運転者の聴覚能力に応じて警報発生のタイミングおよび警報の音量を調整することについての記載がある。 In the alarm device described in Patent Document 2, an alarm is issued when the relative distance between the preceding vehicle and the host vehicle is less than or equal to the allowable distance, and the timing of alarm generation and the volume of the alarm according to the hearing ability of the driver There is a description about adjusting.
しかしながら上記従来技術にあっては、例えば接近する救急車のサイレン,踏切の警告音,後続車のクラクションなどの緊急性の有無に関する音声(又は音)に対しての音量の調整についての記載はなく、またその音も車外の音に対することについての記載はないものである。 However, in the above prior art, for example, there is no description about adjusting the volume of sound (or sound) regarding the presence or absence of emergency such as sirens of approaching ambulances, warning sounds of railroad crossings, horns of subsequent vehicles, Moreover, there is no description about the sound outside the vehicle.
本発明の目的は、緊急性を持つこれらの音声を運転者が正確に感知できるような音声感知システムを提供することにある。 An object of the present invention is to provide a voice sensing system in which a driver can accurately sense these urgent voices.
上記目的は音声収集装置と、収集した音声及び音のうち緊急性を持つ音声又は音の少なくともいずれかを識別する音声識別手段と、識別した結果を運転者に伝える伝達手段を備える音声感知システムにより達成される。また、上記目的は請求項1に記載の音声感知システムであって、運転者の運転特性を記憶する手段を備え、前記運転特性に基づいて前記伝達手段の伝達特性を変更することを特徴とする音声感知システムによっても達成される。
The above object is achieved by a voice sensing system including a voice collection device, voice identification means for identifying at least one of urgent voices or sounds among collected voices and sounds, and a transmission means for transmitting the identification result to the driver. Achieved. Further, the object is a voice sensing system according to
以上説明したように本発明では、車外で発生する緊急度の高い音声を感知することができるシステムが実現できる。また個人の年齢,聴覚情報を入力することで個人の聴覚差に応じて動作する柔軟なシステムを構成することができる。また特に、車内の音響装置、または座席およびステアリングの振動を主要手段,画像表示装置を補助手段とすることで、視覚能力の大部分を通常の運転動作に振り向けることができ、より安全性の高いシステムが実現できる。 As described above, according to the present invention, it is possible to realize a system that can sense a highly urgent sound generated outside the vehicle. In addition, a flexible system that operates according to the individual's auditory difference can be configured by inputting the individual's age and auditory information. In particular, by using the acoustic device in the car or the vibration of the seat and the steering as the main means and the image display device as the auxiliary means, most of the visual ability can be directed to the normal driving action, and the safety is improved. High system can be realized.
以下、本発明の一実施例に関わる音声感知システムを図1〜図3を用いて詳細に説明する。図1は音声感知システムの構成図を示す。この音声感知システムは音声分析装置1,音声パターン入力装置2,音声識別手段3,伝達手段決定部4,伝達手段5,運転者特性入力装置6を備える。また音声識別手段3は車速センサ71,操舵角センサ72から車両の運動状態について情報を得る。
Hereinafter, a voice sensing system according to an embodiment of the present invention will be described in detail with reference to FIGS. FIG. 1 shows a block diagram of a voice sensing system. This voice sensing system includes a
音声分析装置1は音声収集装置1−1〜1−n,音声パターン分析部11,分析データ格納メモリから構成される。音声収集装置1−nは車両周囲の全方向から音声を収集するため、複数台が車両に、例えば車両の前面,後面,右側面,左側面,車体上部の5箇所に取り付けられ、音声を収集する。音声パターン分析部11は収集した音声に対して音量,周波数分布などを逐次解析しデジタルデータに加工して、分析データ格納メモリ12に蓄積していく。
The
音声パターン入力装置2は音声パターン入力手段21と音声パターン記憶手段22から構成される。最初はいくつかのESの種類、たとえば踏切の警告音や救急車のサイレンなどに対応したデジタルデータを音声パターン記憶手段22に記憶しておくが、さらに多くの種類のESに対応する必要が生じたときは、音声パターン入力手段21から新たなデジタルデータを追加する。音声パターン入力手段21は例えば、デジタルデータを記録したUSBカードからデータを読み取るUSBリーダ装置でも良いし、移動体電話ネットワークからデジタルデータを取得するダウンロード装置でも良い。これらの手段により、ESを追加し音声感知システムをカスタマイズすることができる。例えば現在運転している車両を外国でも運転する、といった場合に当該国の救急車のサイレンのデジタルデータを追加する、ということが可能となる。 The voice pattern input device 2 includes a voice pattern input means 21 and a voice pattern storage means 22. At first, digital data corresponding to several types of ES, such as a warning sound of a railroad crossing or an ambulance siren, is stored in the voice pattern storage means 22, but it is necessary to support more types of ES. If so, new digital data is added from the voice pattern input means 21. The voice pattern input means 21 may be, for example, a USB reader device that reads data from a USB card that records digital data, or a download device that acquires digital data from a mobile telephone network. By these means, ES can be added and the voice sensing system can be customized. For example, when driving a vehicle currently being driven in a foreign country, it is possible to add digital data of an ambulance siren in that country.
運転者特性入力装置6は運転者特性入力手段61と運転者特性記憶メモリ62から構成される。運転者特性入力手段61は例えばキーボード,スイッチ,タッチパネルなどの手動入力装置でも良いし、運転者個人の年齢,聴覚能力を記録したICカードからデータを読み取るICカードリーダ装置でも良い。運転者特性入力手段61から入力するデータは運転者の年齢,通常時の聴覚能力(感知できる音量,周波数はいくらか)などである。また病歴,既往症などが入力できる構成であっても良い。
The driver characteristic input device 6 includes driver characteristic input means 61 and a driver
音声識別手段3は、分析データ格納メモリ12に時系列的に格納されていく車外音声分析デジタルデータと、音声パターン記憶手段22に予め記憶しておいたESのデジタルデータとを順次解析,比較することで、車外にESの発生があるかどうかを識別する。次にデジタルデータ解析結果から、ドップラー効果による周波数分布の経時的な変化と、音量の増減とを検出し、車両とES音源との相対位置関係の変化、即ち音源が近づいているのか、遠ざかっているのか、車両進行方向との角度ずれはどうか等を算出し、運転者への
ES感知の通知開始および停止タイミングを決定する。このときの通知開始および停止タイミングは伝達手段決定部4に伝えられる。
The voice identification unit 3 sequentially analyzes and compares the outside-vehicle voice analysis digital data stored in the analysis
図2に救急車が車両に接近、その後離れていったときの音声識別手段3の時系列的な動作概要を示す。横軸が時間の経過を、図上部から横軸への縦矢印が車外から収集した音声を、横軸から図下部への縦矢印を音声識別手段3から伝達手段決定部4への指示をそれぞれ示す。 FIG. 2 shows a time-series operation outline of the voice identification means 3 when the ambulance approaches the vehicle and then leaves. The horizontal axis indicates the passage of time, the vertical arrow from the top to the horizontal axis indicates the voice collected from outside the vehicle, and the vertical arrow from the horizontal axis to the bottom of the figure indicates the instruction from the voice identification means 3 to the transmission means determination unit 4, respectively. Show.
まず、音声識別手段3は一定周期で分析データ格納メモリ12を参照,解析し、ある音量と周波数パターンから救急車がサイレンを吹鳴しながら自車両に接近していることを感知する(t=T0)。本例において周期時間は人間の可聴周波数の限界である20kHzの時間:50μsとする。
First, the voice identification means 3 refers to and analyzes the analysis
次に、救急車が自車両よりある一定距離内に近づきなおも接近していることを検出した時点で伝達手段決定部4へ『ES種類:救急車のサイレン、指示内容:運転者への通知開始,ES特性:該ESの音量,周波数』を通知する(t=T1)。 Next, when it is detected that the ambulance is approaching within a certain distance from the own vehicle and is still approaching, it is transmitted to the transmission means determination unit 4 [ES type: ambulance siren, instruction content: start of notification to the driver, ES characteristic: Volume and frequency of the ES ”(t = T1).
この場合の救急車が自車両へ接近してくる際の動作状態は、図2に記載のドップラー効果による音声周波数の式より算出する。「観測点での音声周波数:f0」は分析データ格納メモリ12に記録された車外音声分析デジタルデータから、「観測点の速度:V0」は車速センサ71および操舵角センサ72から、「音源での周波数:fs」は本来の救急車のサイレン音であるため音声パターン記憶手段22に予め記憶しておいたESのデジタルデータから、それぞれ得ることができ、これから「音源の速度:Vs」を算出することができる。各時間での音源の速度がわかると、音源である救急車の動きも算出できる。
In this case, the operation state when the ambulance approaches the host vehicle is calculated from the sound frequency formula based on the Doppler effect shown in FIG. “Voice frequency at the observation point: f0” is obtained from the outside-vehicle audio analysis digital data recorded in the analysis
次に、t=T2で救急車が最接近したことを観測したあと、ある一定距離外へ遠ざかったことを検出した時点で伝達手段決定部4へ『ES種類:救急車のサイレン,指示内容:運転者への通知停止』を通知する(t=T3)。 Next, after observing that the ambulance is closest at t = T2, when it is detected that the ambulance has moved away from a certain distance, it is transmitted to the transmission means determination unit 4 [ES type: ambulance siren, instruction content: driver Is stopped "(t = T3).
その後、救急車が遠ざかるに従いサイレン音量は小さくなるが、音声収集装置1−nが検出できる音量の最下限までは収集した音声に対するデジタルデータへの加工は実施され、音声識別手段3によるデータ分析が継続される(t=T4)。 Thereafter, the siren volume decreases as the ambulance moves away, but the collected voice is processed into digital data up to the lowest volume that can be detected by the voice collection device 1-n, and data analysis by the voice identification means 3 continues. (T = T4).
伝達手段決定部4では音声識別手段3からES種類と運転者への通知指示あるいは停止指示を受け取り、運転者特性記憶メモリ62から取得した運転者特性から、運転者に対するES発生をどの手段によって伝達するかを選択する。図3に運転者特性から伝達手段を選択する際の、伝達手段決定部4での処理フローの一例を示す。
The transmission means determination unit 4 receives the ES type and the notification instruction to the driver or the stop instruction from the voice identification means 3, and transmits the ES generation for the driver by any means from the driver characteristics acquired from the driver
伝達手段決定部4は一定周期で一連の処理を実施する。本例において周期時間は音声識別手段3での分析データ解析周期50μsの2倍:100μsとする。まずステップS110にて指示内容のチェックし、場合により以下の処理を行う。
(1)指示がない場合:このまま処理を終了する。(S110の左側へ進む)
(2)運転者への通知開始指示があった場合:ステップS120以下の処理を実施する。(S110の下側へ進む)
(3)運転者への通知停止指示があった場合:全ての伝達手段5に対して「ES発生通知停止」を指示する。(S110の右側へ進みステップS150を実施する)
The transmission means determination unit 4 performs a series of processes at a constant cycle. In this example, the cycle time is set to 100 μs, which is twice the analysis data analysis cycle 50 μs in the voice identification means 3. First, in step S110, the instruction content is checked, and the following processing is performed depending on the case.
(1) When there is no instruction: The processing is terminated as it is. (Go to the left side of S110)
(2) When a notification start instruction is given to the driver: Steps S120 and after are performed. (Proceed to the bottom of S110)
(3) When a notification stop instruction is given to the driver: “ES generation notification stop” is instructed to all the transmission means 5. (Proceed to the right side of S110 and implement step S150)
次にステップS120以下の処理について説明する。運転者特性記憶メモリ62から運転者特性データを取得し(ステップS120)、音声識別手段3から受け取ったES特性:該ESの音量,周波数と突き合わせることで、運転者の聴覚能力について判定する(ステップS130)。運転者が車内の音響装置から音声を聴き取れるくらいの聴覚能力がある場合は主要手段として音響装置51に対して、補助手段として画像表示装置52に対してそれぞれ「ES発生通知開始」を指示する(S130の左側へ進みステップS140を実施する)。
Next, the processing after step S120 will be described. Driver characteristic data is acquired from the driver characteristic storage memory 62 (step S120), and the ES characteristic received from the voice identification means 3 is compared with the volume and frequency of the ES to determine the driver's hearing ability ( Step S130). If the driver is capable of hearing sound from the acoustic device in the vehicle, the
同様に運転者が車内の音響装置から音声を聴き取ることができないような聴覚能力である場合は主要手段として座席振動装置53またはステアリング振動装置54に対して、補助手段として画像表示装置52に対してそれぞれ「ES発生通知開始」を指示する(S130の下側へ進みステップS141を実施する)。
Similarly, when the driver is capable of hearing such that the driver cannot hear the sound from the acoustic device in the vehicle, the main means is the
音響装置51は伝達手段決定部4から「ES発生通知開始」を指示されると付属のスピーカを通じて、例えば「救急車が接近しています。ご注意ください。」と音声を発し運転者に対して注意を促す。また「ES発生通知停止」を指示されると、運転者に対して同様に「救急車が通過しました」と通知する。いずれの場合も音声発生回数は運転の妨げとならないよう2〜3回とする。なお、ESの音源が踏切の警報機である場合は「踏切に接近しています。ご注意ください。」という音声となる。
When the
画像表示装置52は伝達手段決定部4から「ES発生通知開始」を指示されると画面上に、例えば救急車のマークを点滅表示する。画像表示装置がカーナビゲーション機器である場合は地図情報表示の妨げにならぬよう、例えば右隅に表示する。点滅速度は救急車が接近するにつれ段階的に速くなり、遠ざかるに従い遅くなるようにする。点滅表示とするのは運転者は通常、画像表示装置を見つめながら運転するわけにいかず、横目で見ながらの形でも救急車マークを視認できるようにするためである。また「ES発生通知停止」を指示されると救急車マークを画面上から消去する。なお、ESの音源が踏切の警報機である場合は踏切のマークを画面上に表示する。
The
座席振動装置53およびステアリング振動装置54は伝達手段決定部4から「ES発生通知開始」および「ES発生通知停止」を指示されるとある一定時間振動する。両者を区別するため、例えば前者の場合は3秒×2回、後者の場合は5秒×1回と振動回数・時間に差をつける。
The
1…音声分析装置、1−1〜1−n…音声収集装置、2…音声パターン入力装置、3…音声識別手段、4…伝達手段決定部、5…伝達手段、6…運転者特性入力装置、7…車両センサ、11…音声パターン分析部、12…分析データ格納メモリ、21…音声パターン入力手段、22…音声パターン記憶手段、51…音響装置、52…画像表示装置、53…座席振動装置、54…ステアリング振動装置、61…運転者特性入力手段、62…運転者特性記憶メモリ、71…車速センサ、72…操舵角センサ。
DESCRIPTION OF
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005212050A JP2007034348A (en) | 2005-07-22 | 2005-07-22 | Sound sensing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005212050A JP2007034348A (en) | 2005-07-22 | 2005-07-22 | Sound sensing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007034348A true JP2007034348A (en) | 2007-02-08 |
Family
ID=37793590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005212050A Pending JP2007034348A (en) | 2005-07-22 | 2005-07-22 | Sound sensing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007034348A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015101332A (en) * | 2013-11-21 | 2015-06-04 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
JP2020044930A (en) * | 2018-09-18 | 2020-03-26 | 株式会社東芝 | Device, method, and program for controlling mobile body |
US10759447B2 (en) | 2018-02-27 | 2020-09-01 | Toyota Jidosha Kabushiki Kaisha | Driving support method, vehicle, and driving support system |
-
2005
- 2005-07-22 JP JP2005212050A patent/JP2007034348A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015101332A (en) * | 2013-11-21 | 2015-06-04 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
US10759447B2 (en) | 2018-02-27 | 2020-09-01 | Toyota Jidosha Kabushiki Kaisha | Driving support method, vehicle, and driving support system |
US11097745B2 (en) | 2018-02-27 | 2021-08-24 | Toyota Jidosha Kabushiki Kaisha | Driving support method, vehicle, and driving support system |
JP2020044930A (en) * | 2018-09-18 | 2020-03-26 | 株式会社東芝 | Device, method, and program for controlling mobile body |
JP7048465B2 (en) | 2018-09-18 | 2022-04-05 | 株式会社東芝 | Mobile controller, method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6497915B2 (en) | Driving support system | |
JP3913771B2 (en) | Voice identification device, voice identification method, and program | |
JP4682714B2 (en) | Dialog system | |
JP5228970B2 (en) | Dozing prevention device | |
CN105313899A (en) | On-vehicle situation detection apparatus and method | |
JP2007122579A (en) | Vehicle controller | |
CN106662461A (en) | Methods and apparatus for providing direction cues to driver | |
JP4622749B2 (en) | Vehicle data collection device, vehicle driving support device, and vehicle safe driving support system | |
JP2009069885A (en) | State determination device and program | |
JP2018045303A (en) | Driving assist system | |
JP2017220097A (en) | Drive support device | |
JP4957518B2 (en) | Vehicle environment information notification system and vehicle environment information notification method | |
JP2009113659A (en) | Vehicular noise cancellation device | |
US10207584B2 (en) | Information providing apparatus for vehicle | |
JP2005080970A (en) | Mind and body condition determining device for driver, and driving support apparatus for driver | |
JP2015001776A (en) | Driving support device | |
JP2019061480A (en) | Driver support apparatus and driver support method | |
JP2007034348A (en) | Sound sensing system | |
JP2000118260A (en) | Vehicular occupant dialoging device | |
JP6267563B2 (en) | Driving support device and driving support method | |
JPWO2008038375A1 (en) | Information processing apparatus, information processing method, information processing program, and computer-readable recording medium | |
JP2010241371A (en) | Driving state detection apparatus | |
JP5959784B2 (en) | Vehicle information notification device | |
JP6094187B2 (en) | Driving support system | |
JP6972877B2 (en) | Warning information notification device |