JP2006114942A - 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体 - Google Patents

Abstract

【課題】ユーザが聞いている音に対し、提示する情報の重要性や緊急性などの度合いに応じて知覚されうる提示音を提示する。
【解決手段】ステレオマイクなどの音声取得手段１Ｒ、１Ｌを用いて、既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定手段４と、当該周囲音の音量を測定する周囲音量測定手段５と、提示情報の重要度を取得する重要度判定手段７と、提示に使用する音を決定する提示音決定手段１１と、知覚の度合いに応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定手段９と、周囲音の音量と知覚の度合いに応じて提示音の音量を設定する音量決定手段１０と、これら決定した定位方向に、決定した音量で、決定した提示音を発生させる提示音源生成手段１２と、生成した提示音を再生する音声再生手段２Ｒ、２Ｌを備える。
【選択図】 図１

Description

本発明は、音源定位を用いた音声提示方法に関し、特に、音声提示対象者（ユーザ）の周辺に既に音が存在する状況下で新たな音声提示を行う場合に、現在の音の定位状態に対しユーザが知覚しやすい位置に新たな音源を定位させることにより、ユーザが音源を任意の確率で知覚可能な音声提示システムおよび音声提示方法に関する。

街中の騒音やヘッドホンで聴いている音楽など、ユーザの周辺に既に音が存在する状況で、ユーザに通知しようとする音を提示しても、周波数や音量の設定により提示音がかき消されて（マスキング効果）意図したように知覚させることができないことがある。

そこで、既に存在する周囲音の定位を測定し、音源の空いている方向から提示音を定位させることでユーザに知覚されうる確率を高め、知覚されにくい周囲音の方向と知覚しやすい音の定位が空いている方向との間で定位方向を設定すれば、通知音の重要度レベルに応じた提示と知覚を実現できる。

人は、音が両耳に到達するまでの時間差と強度差により音源の方向を知ることができ、これは音源定位と呼ばれる。この特性を利用して、例えば、ヘッドホンの左右の耳への出力時間差や強度を調整するといった方法により、あたかもその方向から音が発生しているかのように聴かせることができる。

現在では、映像中に発生する音をその方向に定位させることで、リアリティの高い映像視聴を提供するシステムなどが開発されている（例えば、特開文献１参照）。この特許文献には、マルチユーザ仮想空間において、表示された分身とその音像とを同期する発明が記載されている。
特開２０００−２３１４７４号公報「マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体」

日常生活の中では既に何らかの音は存在しており、何らかの情報を音により提示しようとすると既存の音と混じってしまい、知覚できなかったり、あるいは提示音の音量が大きすぎて視聴の妨げになったりするという問題がある。

例えば、賑やかな街中を歩いているときに携帯電話の着信音が鳴っても周囲の音にかき消されてしまうことがよくある。また、歩行中に音楽を楽しむことも日常良く行われており、音楽再生機能付きの携帯電話では、音楽視聴中に電話やメールの着信があると、音楽を一時停止あるいは音楽に多重して着信音を鳴らして知らせることができるが、重要性・緊急性の低い内容で頻繁に発生すると視聴の妨げと感じられる。

また、自宅で映画を視聴中でも重要性・緊急性の低い電話やメールの着信音が鳴ると、これもまた視聴の妨げとなってしまう。

そこで、発信者などの情報を元に重要性や緊急性の度合いを判定し、その結果に応じて音量や着信音を変える設定も可能だが、周囲の音が大きいとマスキングされてしまい知覚できなくなる。

本発明の目的は、前記の課題を解決した音声提示システム、音声提示方法、この方法のプログラム、および記録媒体を提供することにある。

本発明は、上記の課題を解決するために、その場でユーザに聞こえる周囲の音を採取し、周囲音としてそれらの定位と音量を取得し、この状態で電話やメールの着信があったときには、提示する情報の重要性・緊急性を判定し、そのレベルに適した定位、音量、音質を周囲音の状況を考慮して求め、提示音声として出力する。

例えば、図６のように周囲音源として正面に定位された音楽を聴いているときに、図７のような同じ方向に定位された定位（Ａ）、あるいは定位（Ｂ）、（Ｃ）、（Ｄ）の位置でそれぞれ定位させた場合とで気づきやすさを比較すると、同じ楽音、同じ音量であっても、音源方向が周囲音源と同じ定位（Ａ）から異なる定位（Ｅ）に向けてマスキングされにくくなると考えられる。しかし、一般に前後の定位弁別能力は低いため、前後では判別されにくいことがある。よって、音源と直交する方向、この場合定位（Ｃ）で定位させれば周囲音源と弁別可能な音を提示できる。また、定位（Ａ）から定位（Ｃ）に向けてマスキングされにくく知覚しやすくなるため、この方向と知覚のしやすさ、すなわち知覚されうる確率と対応付け、例えば提示情報の重要度などの度合いに対応付ける。

なお、ここでは水平方向の左側について説明したが、右側についても同様である。別な周囲音源が左側にあれば、右側に定位させればよい。また同様に、垂直方向であってもよい。

以上のことから、本発明は、以下のシステム、方法、プログラムおよび記録媒体を特徴とする。

（システムの発明）
（１）音源定位により音声情報を提示する音声提示システムであって、
既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定手段と、
当該周囲音の音量を測定する周囲音量測定手段と、
知覚の度合いに応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定手段と、
周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定手段と、
前記定位決定手段の方向に、前記音量決定手段の音量で音を発生させる提示音源を生成する提示音源生成手段と、
前記提示音源生成手段で生成した提示音を再生する音声再生手段と、
を備えたことを特徴とする。

（２）音源定位により音声情報を提示する音声提示システムであって、
少なくとも左右対称な両側の音声を取得する音声取得手段を用いて、既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定手段と、
当該周囲音の音量を測定する周囲音量測定手段と、
提示情報を取得し、提示の重要度を取得する重要度判定手段と、
提示に使用する音を決定する提示音決定手段と、
前記重要度に応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定手段と、
周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定手段と、
前記定位決定手段の方向に、前記音量決定手段の音量で、前記提示音決定手段の音を発生させる提示音源を生成する提示音源生成手段と、
前記提示音源生成手段で生成した提示音を再生する音声再生手段と、
を備えたことを特徴とする。

（方法の発明）
（３）音源定位により音声情報を提示する音声提示方法であって、
既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定ステップと、
当該周囲音の音量を測定する周囲音量測定ステップと、
知覚の度合いに応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定ステップと、
周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定ステップと、
前記定位決定ステップの方向に、前記音量決定ステップの音量で音を発生させる提示音源を生成する提示音源生成ステップと、
前記提示音源生成ステップで生成した提示音を再生する音声再生ステップと、
を備えたことを特徴とする。

（４）音源定位により音声情報を提示する音声提示方法であって、
少なくとも左右対称な両側の音声を取得する音声取得ステップを用いて、既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定ステップと、
当該周囲音の音量を測定する周囲音量測定ステップと、
提示情報を取得し、提示の重要度を取得する重要度判定ステップと、
提示に使用する音を決定する提示音決定ステップと、
前記重要度に応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定ステップと、
周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定ステップと、
前記定位決定ステップの方向に、前記音量決定ステップの音量で、前記提示音決定ステップの音を発生させる提示音源を生成する提示音源生成ステップと、
前記提示音源生成ステップで生成した提示音を再生する音声再生ステップと、
を備えたことを特徴とする。

（プログラムの発明）
（５）上記の（１）〜（４）のいずれか１項に記載の音声提示システムまたは提示方法における処理手順をコンピュータで実行可能に構成したことを特徴とする。

（記録媒体の発明）
（６）上記の（１）〜（４）のいずれか１項に記載の音声提示システムまたは提示方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能に記録したことを特徴とする。

本発明によれば、ユーザが聞いている音に対し、提示する情報の重要性や緊急性などの度合いに応じて知覚されうる提示音を設定するようにしたため、ユーザの周囲が賑やかな場所であったり、また個人的に映像などを視聴していたりする場合であっても、適切な音源定位により提示された情報を重要度レベルに応じた確率で提示することができる。

（実施形態１）
図１は、本発明の第１の実施形態を示す装置構成図である。同図は、ステレオマイクなどの右および左音声取得手段１Ｒおよび１Ｌにより、音声を取得し、これをヘッドホンなどの右および左音声再生手段２Ｒおよび２Ｌにより、ユーザが音声を視聴する装置に適用した場合を示す。

この装置において、音声提示システムとしては、まず、周囲の音を収集するため、右および左音声取得手段１Ｒおよび１Ｌにより左右の音声をそれぞれ取得し、これら音声情報を周囲音取得手段３において時間情報とともに管理する。

周囲音源方向測定手段４は、周囲音取得手段３より左右の音声データを取得し、同一音となる部分を左右の音声データから抽出し、それらの時間情報の時間差を計測することで周囲音源方向を測定する。時間差から周囲音源方向を求めるには実験データ等に基づく対応表や計算式などにより行えばよい。例えば特開平５−８７９０３号公報によれば、２つのマイクを用いて複数の音源の方向を特定できるとしており、これを用いてもよい。あるいは、前後左右また右側前後・左側前後など４つのマイクを用いて、音量の大きいマイク位置から推定してもよい。なお、周囲音は、街中の声や車の音などのその場の環境に関するものに加えて、ユーザが携帯型端末で個人的に視聴している音でもよい。後者においてその音源を携帯端末で定位させている場合、携帯端末から定位の方向を直接取得してもよい。

周囲音量測定手段５は、周囲音の中で最も大きい音量、および周囲音源方向測定手段４で測定された音源方向の音量を測定する。測定値は音源を生成する際に容易に比較できる単位を用いることが望ましく、例えばデシベル値などの値でよい。

一方、提示情報取得手段６は、ネットワークから受信したメール、着信した電話、他の外部入力デバイスから受信した街の広告情報など、何らかの提示すべき情報を外部から取得し、重要度判定手段７により当該情報の重要度を判定する。判定方法としては、図２に例を示すように、メールの送信者やＸ−Ｐｒｉｏｒｉｔｙヘッダ、電話発信者の電話帳登録の有無あるいは優先度設定、などの設定情報８を手がかりに判定する。判定不能な場合のデフォルトを設定しておいてもよい。

定位決定手段９は、周囲音源方向測定手段４から周辺音とは異なる方向の定位を決定する。ここで、重要度判定手段７による重要度に応じて定位を変えても良い。すなわち、図３に例を示すように、周辺音と異なる方向ほど明瞭に提示音を知覚できるため、重要度の高いものから低いものへ周辺音に近づくような定位を行う。また、図４に示すように、周囲音源が左にある場合は、提示音は右側に定位させる。

音量決定手段１０は、周囲音源方向測定手段４で得た方向の音よりも小さく、周囲音量測定手段５で得た他の周辺音の音量よりも大きい任意の音量を重要度判定手段７のレベルに応じて決定する。すなわち、重要度が高ければ周辺音の音源方向からの音と同程度の音量に、低ければ他の騒音と同じ程度の音量となるように設定する。

提示音決定手段１１は、提示する音を決定する手段であり、予め設定しておいた固定の音、送信（発信）者の名前の読み上げ、あるいは提示情報の文面の一部の読み上げ、など音声として出力できる提示音を決定する。

提示音源生成手段１２は、定位決定手段９で決定された方向に、音量決定手段１０で決定された音量で、提示音決定手段１１で決定された音を提示させるように左右の定位音源を作成し、それぞれ左右音声信号に重畳させて左右音声再生手段２Ｒ，２Ｌへの音声出力を得る。定位の手段は、一般に知られている左右音声の時間遅延による方法などを用いる。

このようにして、ユーザは左右の耳に装着するヘッドホン（右および左音声再生手段２Ｒ、２Ｌ）によって周辺音を聴きながら、重要度に応じた確率で提示音を知覚することができる。

（実施形態２）
図５は、本発明の第２の実施形態を示す音声提示処理の手順図である。本実施形態は、実施形態１と同様に、周囲の音を収集するために、ステレオマイクなどにより左右の音声をそれぞれ取得し、時間情報とともに管理しておく（Ｓ１）。

次に、左右の音声データから同一音となる部分を抽出し、それらの時間差を計測することで周囲音源方向を測定する（Ｓ２）。時間差から音源方向を求めるには実験データ等に基づく対応表や計算式などにより行えばよい。例えば、特開平５−８７９０３によれば、２つのマイクを用いて複数の音源の方向を特定できるとしており、これを用いてもよい。あるいは、前後左右また右側前後・左側前後など４つのマイクを用いて、音量の大きいマイク位置から推定してもよい。なお、周囲音とは、街中の声や車の音などのその場の環境に関するものに加えて、ユーザが携帯型端末で個人的に視聴している音でもよい。後者の場合、その音源を携帯端末で定位させている場合、携帯端末から定位の方向を直接取得してもよい。

次に、収集された音で最も大きい音量、および周囲音源方向の音量を測定する（Ｓ３）。測定値は音源を生成する際に容易に比較できる単位を用いることが望ましく、例えばデシベル値などの値でよい。

一方、ネットワークから受信したメール、着信した電話、他の外部入力デバイスから受信した街の広告情報など、何らかの提示すべき情報が外部から取得したかどうかを判定し（Ｓ４）、取得するまで上記の一連の周囲音測定を行う（Ｓ５）。

提示情報を取得したとき、その情報の重要度を判定する（Ｓ６）。例えば、メールの送信者やＸ−Ｐｒｉｏｒｉｔｙヘッダ、電話発信者の電話帳登録の有無あるいは優先度設定、などの設定情報を手がかりに判定する。判定不能な場合のデフォルトを設定しておいてもよい。

次に、提示音を定位させる方向として、周囲音源とは異なる方向を選択する（Ｓ７）。ここでは、実施形態１と同様に提示情報の重要度に応じて定位を変えても良い。

さらに提示音の音量として、周囲音源方向測定手段で得た方向の音よりも小さく、他の周辺音の音量よりも大きい任意の音量を重要度判定手段のレベルに応じて設定する（Ｓ８）。すなわち、重要度が高ければ周辺音の音源方向と同程度の音量に、低ければ他の騒音と同じ程度の音量となるように設定する。

また、提示する音データとして、予め設定しておいた固定の音、送信（発信）者の名前の読み上げ、あるいは提示情報の文面の一部の読み上げ、など音声として出力できる提示音を決定する（Ｓ９）。

以上により決定された定位、音量、音データで提示音が出力されるように左右の定位音源を作成する（Ｓ１０）。定位の手段は、一般に知られている左右音声の時間遅延による方法などを用いる。

生成した提示音源をヘッドホンで音声として聞こえるように信号変換して出力する（Ｓ１１）。これら処理は、ユーザからの提示ＯＦＦなどの終了動作がなされるまで以上の処理を継続する（Ｓ５）。

このようにして、ユーザは左右の耳に装着するヘッドホンにから周辺音を聞きながら、重要度に応じて気づきのレベルが異なる提示音を知覚することができる。

なお、本発明は、図５に示した方法又は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図５で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

本発明は、周辺から音が聴こえる状況下において、ユーザに知らせるべき音による通知をその重要度に合わせて音源定位させることのできる音声提示装置、方法に利用することができ、特に、周辺の音環境状況に対し、提示情報の重要度をユーザが知覚する確率に対応させた音声提示装置、方法に利用することができる。

本発明の第１の実施形態を示す装置構成図。 実施形態における重要度の設定例。 実施形態における提示音の定位の例。 実施形態における提示音の定位の例。 本発明の第２の実施形態を示す処理手順図。 本発明の原理を説明するイメージ図。 本発明の原理を説明するイメージ図。

符号の説明

１Ｒ 右音声取得手段
１Ｌ 左音声取得手段
２Ｒ 右音声再生手段
２Ｌ 左音声再生手段
３ 周囲音取得手段
４ 周囲音源方向測定手段
５ 周囲音量測定手段
６ 提示情報取得手段
７ 重要度判定手段
８ 設定情報
９ 定位決定手段
１０ 音量決定手段
１１ 提示音決定手段
１２ 提示音源生成手段

Claims (6)

1. 音源定位により音声情報を提示する音声提示システムであって、
   既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定手段と、
   当該周囲音の音量を測定する周囲音量測定手段と、
   知覚の度合いに応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定手段と、
   周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定手段と、
   前記定位決定手段の方向に、前記音量決定手段の音量で音を発生させる提示音源を生成する提示音源生成手段と、
   前記提示音源生成手段で生成した提示音を再生する音声再生手段と、
   を備えたことを特徴とする音声提示システム。
2. 音源定位により音声情報を提示する音声提示システムであって、
   少なくとも左右対称な両側の音声を取得する音声取得手段を用いて、既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定手段と、
   当該周囲音の音量を測定する周囲音量測定手段と、
   提示情報を取得し、提示の重要度を取得する重要度判定手段と、
   提示に使用する音を決定する提示音決定手段と、
   前記重要度に応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定手段と、
   周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定手段と、
   前記定位決定手段の方向に、前記音量決定手段の音量で、前記提示音決定手段の音を発生させる提示音源を生成する提示音源生成手段と、
   前記提示音源生成手段で生成した提示音を再生する音声再生手段と、
   を備えたことを特徴とする音声提示システム。
3. 音源定位により音声情報を提示する音声提示方法であって、
   既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定ステップと、
   当該周囲音の音量を測定する周囲音量測定ステップと、
   知覚の度合いに応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定ステップと、
   周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定ステップと、
   前記定位決定ステップの方向に、前記音量決定ステップの音量で音を発生させる提示音源を生成する提示音源生成ステップと、
   前記提示音源生成ステップで生成した提示音を再生する音声再生ステップと、
   を備えたことを特徴とする音声提示方法。
4. 音源定位により音声情報を提示する音声提示方法であって、
   少なくとも左右対称な両側の音声を取得する音声取得ステップを用いて、既に存在する知覚可能な周囲音の音源方向を測定する周囲音源方向測定ステップと、
   当該周囲音の音量を測定する周囲音量測定ステップと、
   提示情報を取得し、提示の重要度を取得する重要度判定ステップと、
   提示に使用する音を決定する提示音決定ステップと、
   前記重要度に応じて、周囲音の音源方向となす角度方向に提示音を定位させる定位決定ステップと、
   周囲音の音量を越えないように、知覚の度合いに応じて、提示音の音量を設定する音量決定ステップと、
   前記定位決定ステップの方向に、前記音量決定ステップの音量で、前記提示音決定ステップの音を発生させる提示音源を生成する提示音源生成ステップと、
   前記提示音源生成ステップで生成した提示音を再生する音声再生ステップと、
   を備えたことを特徴とする音声提示方法。
5. 請求項１〜４のいずれか１項に記載の音声提示システムまたは提示方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
6. 請求項１〜４のいずれか１項に記載の音声提示システムまたは提示方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能に記録したことを特徴とする記録媒体。