JP4360308B2

JP4360308B2 - 車載音響制御システム及びａｉエージェント

Info

Publication number: JP4360308B2
Application number: JP2004273395A
Authority: JP
Inventors: 一郎吉田; 山田　　和直
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2004-09-21
Filing date: 2004-09-21
Publication date: 2009-11-11
Anticipated expiration: 2024-09-21
Also published as: US20060074684A1; JP2006088753A; US7636663B2

Description

本発明は、車室内の音響を制御する車載音響制御システム及び前記車載音響制御システム内で用いられるＡＩエージェントに関する。

車室内の音響を制御する車載音響制御システムとして、例えば特許文献１に示すものがある。
特開平７−１５９１９０号公報

ところで、車室内においては、例えばオーディオＥＣＵから出力される音楽やナビゲーションＥＣＵから出力される経路案内などのための音声ガイダンスなどの各種の音が共存するが、これら音楽や音声ガイダンスなどは相互に連携されて出力されるのではなく、各々が独立して出力される構成であるので、例えば音楽が極めて多大な音量で出力されている途中で音声ガイダンスが出力されたとしても、その出力された音声ガイダンスが音楽に埋もれてしまい、音声ガイダンスがユーザに適切に聞取られなくなるなどの問題がある。また、これらの音は、ユーザの体調に関係なく出力されるので、例えばユーザが体調不良である場合には、ユーザにとって必要な音がユーザに適切に聞取られなくなるなどの問題がある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、車室内の音響をユーザの体調に基づいて適切に制御することができ、ユーザにとって必要な音をユーザに適切に聞取らせることができる車載音響制御システム及びＡＩエージェントを提供することにある。

請求項１に記載した車載音響制御システムによれば、音管理手段は、車載ＥＣＵや車載システムからコマンドが入力されると、その入力されたコマンドを解析して音データの優先度を判定すると共に、車載ＥＣＵや車載システムから音データが入力されると、その入力された音データに対応する音を当該音データの優先度に基づいて音出力手段から出力させ、ＡＩエージェントは、ユーザとの対話結果として話し方、イントネーション、アクセント、声の調子及び声の高低を判定してユーザの体調を検出するユーザモードと、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音を音出力手段から出力させるビークルモードとを前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングで切替えて実行する。ここで、ＡＩエージェントは、ビークルモードを実行する場合には、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザモードでユーザとの対話結果により検出されたユーザの体調に基づいて音量や発音タイミングや発音速度を音響制御して音出力手段から出力させる。

これにより、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザとの対話結果（例えば話し方、イントネーション、アクセント、声の調子及び声の高低）に基づいて音量や発音タイミングや発音速度を音響制御して音出力手段から出力することになり、例えばユーザが体調不良である（例えば疲労している、頭痛、腹痛あるいは下痢などの症状がある）と判定されると、ユーザが音を適切に聞き取れるように音量を大きくしたり発音タイミングや発音速度を遅くしたりすることにより、車室内の音響をユーザの体調に基づいて適切に制御することができ、ユーザにとって必要な音をユーザに適切に聞取らせることができる。
請求項２に記載した車載音響制御システムによれば、ＡＩエージェントは、車載ＥＣＵや車載システムから音管理手段へコマンドが出力されているか否かを定期的に監視し、その監視タイミングで車載ＥＣＵや車載システムから音管理手段へコマンドが出力された場合にビークルモードを実行し、その監視タイミングで車載ＥＣＵや車載システムから音管理手段へコマンドが出力されなかった場合にユーザモードを実行する。これにより、ビークルモードとユーザモードとを定期的に切替えて実行することができる。
請求項３に記載した車載音響制御システムによれば、ＡＩエージェントは、ビークルモードを実行している途中で車載ＥＣＵや車載システムから音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングになると、その監視タイミングで車載ＥＣＵや車載システムから音管理手段へ出力された音データのうち未処理の音データがあるか否かを判定し、未処理の音データが有る場合には、その未処理の音データを履歴として記憶し、次回にビークルモードを実行する場合に、その履歴として記憶されている未処理の音データを処理する。これにより、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音を音出力手段から確実に出力させることができる。

請求項４に記載した車載音響制御システムによれば、ＡＩエージェントは、撮影手段により撮影されたユーザの撮影画像を解析する機能を有し、ユーザモードを実行する場合には、ユーザの撮影画像に基づいてユーザの体調を検出し、ビークルモードを実行する場合には、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザの撮影画像に基づいて音量や発音タイミングや発音速度を音響制御して音出力手段から出力させる。これにより、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザの撮影画像（例えば顔の表情、視線の動き及び口の動きなど）に基づいて適切に音響制御することができる。

請求項５に記載した車載音響制御システムによれば、ＡＩエージェントは、生体情報計測手段により計測されたユーザの生体情報を解析する機能を有し、ユーザモードを実行する場合には、ユーザの生体情報に基づいてユーザの体調を検出し、ビークルモードを実行する場合には、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザの生体情報に基づいて音量や発音タイミングや発音速度を音響制御して音出力手段から出力させる。これにより、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザの生体情報（例えば体温、血圧、脈拍及び心拍数など）に基づいて適切に音響制御することができる。

請求項６に記載した車載音響制御システムによれば、ＡＩエージェントは、ビークルモードを実行する場合には、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音を走行制御動作にも連動して音響制御して音出力手段から出力させる。これにより、音データに対応する音を例えばステアリング動作、ブレーキ動作及びアクセル動作にも連動して音量や発音タイミングや発音速度を音響制御することにより、車室内の音響を例えばステアリング動作、ブレーキ動作及びアクセル動作にも連動しても適切に制御することができる。

請求項７に記載したＡＩエージェントによれば、ユーザとの対話結果として話し方、イントネーション、アクセント、声の調子及び声の高低を判定してユーザの体調を検出するユーザモードと、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音を音出力手段から出力させるビークルモードとを前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングで切替えて実行可能に構成され、ビークルモードを実行する場合には、車載ＥＣＵや車載システムから音管理手段へ出力された音データに対応する音をユーザモードでユーザとの対話結果により検出されたユーザの体調に基づいて音量や発音タイミングや発音速度を音響制御して音出力手段から出力させる。これにより、上記した請求項１に記載したものと同様の作用効果を得ることができる。すなわち、例えばユーザが体調不良であると判定されると、ユーザが音を適切に聞き取れるように音量を大きくしたり発音タイミングや発音速度を遅くしたりすることにより、車室内の音響をユーザの体調に基づいて適切に制御することができ、ユーザにとって必要な音をユーザに適切に聞取らせることができる。

以下、本発明の一実施形態について、図面を参照して説明する。図１は、車載音響制御システムの全体構成を機能ブロック図として示している。車載音響制御システム１は、オーディオＥＣＵ２、ナビゲーションＥＣＵ３、エアコンＥＣＵ４、通信ＥＣＵ５、走行制御システム６、車外監視システム７、車内監視システム８、音管理ＥＣＵ９（本発明でいう音管理手段）及びＡＩエージェント１０を備えて構成されている。

オーディオＥＣＵ２は、ラジオ、音楽用ＣＤ及び音楽用ＭＤなどのオーディオ全般に関する音データを音管理ＥＣＵ９へ出力する。ナビゲーションＥＣＵ３は、例えば経路案内や目的地設定などのナビゲーション全般に関する音データを音管理ＥＣＵ９へ出力する。エアコンＥＣＵ４は、エアコンの動作全般に関する音データを音管理ＥＣＵ９へ出力する。通信ＥＣＵ５は、携帯電話機１１とのインタフェースを備え、携帯電話機１１の動作全般に関する音データを音管理ＥＣＵ９へ出力する。これらの車載ＥＣＵ２〜５は、音データの出力要求を表すコマンドを音管理ＥＣＵ９へ出力すると、音管理ＥＣＵ９から音データの出力許可を表すレスポンスが入力される旨を待機し、音管理ＥＣＵ９からレスポンスが入力されると、音管理ＥＣＵ９への出力が許可された音データを音管理ＥＣＵ９へ出力する。

走行制御システム６は、走行制御全般に関する音データを音管理ＥＣＵ９へ出力する。車外監視システム７は、車室外撮影用カメラ１２により撮影された車室外の撮影画像を取込むと共に、車室外マイクロホン１３により集音された車室外の音を取込み、これらの車室外の撮影画像や車室外の音に基づいて車外を監視する。車内監視システム８は、車室内撮影用カメラ１４（本発明でいう撮影手段）により撮影された車室内の撮影画像を取込むと共に、車室内マイクロホン１５により集音された車室内の音を取込み、これらの車室内の撮影画像や車室内の音に基づいて車内を監視する。尚、この場合、車室内撮影用カメラ１４は、ユーザをも撮影する。これらの車載システム６〜８も、上記した車載ＥＣＵ２〜５と同様にして、音データの出力要求を表すコマンドを音管理ＥＣＵ９へ出力すると、音管理ＥＣＵ９から音データの出力許可を表すレスポンスが入力される旨を待機し、音管理ＥＣＵ９からレスポンスが入力されると、音管理ＥＣＵ９への出力が許可された音データを音管理ＥＣＵ９へ出力する。

音管理ＥＣＵ９は、上記した車載ＥＣＵ２〜５や車載システム６〜８のいずれかからコマンドが入力されると、その入力されたコマンドを解析して音データの優先度を判定し、その判定結果に基づいて音データの出力許可を表すレスポンスを車載ＥＣＵ２〜５や車載システム６〜８へ出力すると共に、コマンドが入力された旨を表すコマンドデータをＡＩエージェント１０へ出力する。また、音管理ＥＣＵ９は、車載ＥＣＵ２〜５や車載システム６〜８のいずれかから音データが入力されると、その入力された音データに対応する音を当該音データの優先度に基づいてスピーカ１６（本発明でいう音出力手段）から出力させる。

ＡＩエージェント１０は、ユーザとの対話機能を有している。具体的に説明すると、ＡＩエージェント１０は、対話制御プログラムを保持しており、車室内マイクロホン１５に集音された音を対話制御プログラムのアルゴリズムに基づいて解析し、その解析結果に基づいて対話音声を作成し、その作成された対話音声を音管理ＥＣＵ９によりスピーカ１６から出力させることにより、ユーザと対話する。また、ＡＩエージェント１０は、車室内撮影用カメラ１４により撮影されたユーザの撮影画像を解析する機能及び生体センサ１７（本発明でいう生体情報計測手段）により計測されたユーザの生体情報を解析する機能をも有している。

このような構成により、ＡＩエージェント１０は、ユーザとの対話結果、ユーザの撮影画像及びユーザの生体情報に基づいてユーザの体調を認識し、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へ出力された音データに対応する音をユーザの体調に基づいて音響制御してスピーカ１６から出力させることが可能となっている。尚、ここでいう生体情報とは、例えば体温、血圧、脈拍及び心拍数などである。また、ＡＩエージェント１０は、ディスプレイ１８に接続され、所定の表示画面をディスプレイ１８に表示させることが可能となっている。

図２は、上記したＡＩエージェント１０の機能ブロック図を示している。ＡＩエージェント１０は、ＡＩエージェント１０の動作全般を制御する制御部２１、音管理ＥＣＵ９から入力された音データをミキシングするミキサ２２、制御データを格納する制御データ用メモリ２３、ユーザの特性を表すユーザ特性データを格納するユーザ特性データ用メモリ２４、音声発生データを格納する音声発生データ用メモリ２５、音声認識データを格納する音声認識データ用メモリ２６及び声紋認識データを格納する声紋認識データ用メモリ２７を備えて構成されている。これらデータメモリ２３〜２８に格納されているデータは、ＡＩエージェント１０がユーザとの対話結果に基づいてユーザの体調を認識するのに使用される。つまり、ＡＩエージェント１０は、ユーザとの対話により得られたデータと、これらデータメモリ２３〜２８に格納されているユーザの体調が良好なときのデータとを総合的に比較することにより、ユーザの体調の認識することが可能となっている。

尚、上記した構成において、ＡＩエージェント１０は、音管理ＥＣＵ９と一体的に構成されていても良いし、例えば車内監視システム８内のソフトモジュールの形態で構成されていても良いし、独立したＥＣＵの形態で構成されていても良いし、リコンフィギュアブルチップと呼ばれるプログラマブルデバイス上に形成されていても良い。また、車室外撮影用カメラ１２は、車室外の全周方向を撮影可能となるように魚眼レンズカメラや広角レンズカメラから構成されていても良いし、複数のカメラが配設されて構成されていても良い。さらに、車室外マイクロホン１３は、車室外の全周方向の音を集音可能となるように複数のマイクロホンが配設されて構成されていても良い

次に、上記した構成の作用について、図３ないし図９を参照して説明する。ここで、図３ないし図５は、ＡＩエージェント１０が行う処理をフローチャートとして示している。

ＡＩエージェント１０は、システムが起動されると、車載ＥＣＵ２〜５や車載システム６〜８と音管理ＥＣＵ９との接続状態を確認し（ステップＳ１）、車載ＥＣＵ２〜５や車載システム６〜８と音管理ＥＣＵ９との接続状態が正常であるか否かを判定する（ステップＳ２）。そして、ＡＩエージェント１０は、車載ＥＣＵ２〜５や車載システム６〜８と音管理ＥＣＵ９との接続状態が正常である旨を検出すると（ステップＳ２にて「ＹＥＳ」）、それらの接続状態が正常である旨を表す例えば「接続状態が正常です」という正常メッセージをディスプレイ１８に表示させ（ステップＳ３）、接続状態が正常である旨をユーザに知らせる。これに対して、ＡＩエージェント１０は、車載ＥＣＵ２〜５や車載システム６〜８と音管理ＥＣＵ９との接続状態が正常でない旨を検出すると（ステップＳ２にて「ＮＯ」）、それらの接続状態が正常でない旨を表す例えば「接続状態が異常です」という異常メッセージ（エラーメッセージ）をディスプレイ１８に表示させ（ステップＳ４）、接続状態が正常でない旨をユーザに知らせる。

さて、ＡＩエージェント１０は、接続状態が正常である旨を表す正常メッセージをディスプレイ１８に表示させると、音管理ＥＣＵ９からコマンドデータが入力されたか否かを判定することにより、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へコマンドが出力されているか否かを判定する（ステップＳ５）。

ここで、ＡＩエージェント１０は、その時点で車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へコマンドが出力されていない旨を検出すると（ステップＳ５にて「ＮＯ」）、ユーザモード処理へ移行し（ステップＳ６）、これ以降、ユーザモードを実行する。これに対して、ＡＩエージェント１０は、その時点で車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へコマンドが出力されている旨を検出すると（ステップＳ５にて「ＹＥＳ」）、ビークルモード処理へ移行し（ステップＳ７）、これ以降、ビークルモードを実行する。以下、ユーザモード処理及びビークルモード処理の各々について順次説明する。

最初に、ユーザモード処理について、図４を参照して説明する。ＡＩエージェント１０は、ユーザモード処理へ移行すると、予め計測時間が設定されているユーザモードタイマを開始させる（ステップＳ１１）。そして、ＡＩエージェント１０は、ユーザモード履歴を参照し（ステップＳ１２）、前回のユーザモードを実行したときの未処理が有るか否かを判定する（ステップＳ１３）。

ここで、ＡＩエージェント１０は、前回のユーザモードを実行したときの未処理が無い旨を検出すると（ステップＳ１３にて「ＮＯ」）、車室内マイクロホン１５及びスピーカ１６によるユーザとの対話を開始し（ステップＳ１４）、車室内カメラ１４によるユーザの撮影を開始し（ステップＳ１５）、生体センサ１７によるユーザの生体情報の計測を開始する（ステップＳ１６）。そして、ＡＩエージェント１０は、ユーザモードタイマがタイムアップした旨を検出するまで、これらユーザとの対話結果、ユーザの撮影画像及びユーザの生体情報を解析し、ユーザの体調を数値的に表すユーザ体調データを収集する（ステップＳ１７，Ｓ１８）。

さて、ＡＩエージェント１０がユーザ体調データを収集する手順について具体的に説明する。ＡＩエージェント１０は、ユーザとの対話結果としては、例えば話し方、イントネーション、アクセント、声の調子及び声の高低などを判定し、ユーザの撮影画像としては、ユーザの顔の表情、視線の動き及び口の動きなどを判定し、ユーザの生体情報としては、ユーザの血圧、脈拍及び心拍数などを判定し、ユーザ体調データを収集する。すなわち、ＡＩエージェント１０は、例えばユーザの話し方が通常のとき（体調が良好のとき）と比べて重そうな場合、顔の表情が通常のときと比べて冴えない場合及びユーザの血圧が通常のときと比べて高い場合などであれば、ユーザが体調不良である（疲労している）旨を判定する。

尚、ＡＩエージェント１０は、ユーザの体調を幾つかの段階でレベル分けし、そのレベルに応じでユーザと対話するように構成しても良い。具体的に説明すると、ＡＩエージェント１０は、ユーザが軽程度で疲労しているような場合にはユーザを癒すような音調で対話し、ユーザが中程度で疲労しているような場合にはユーザの眠気を醒ますような音調で対話し、ユーザが重程度で疲労しているような場合にはユーザの士気を高めるような音調で対話するように構成しても良い。また、ＡＩエージェント１０は、ユーザと対話することと同時に、ユーザが快適となるような温度や風量や風向が実現されるようにエアコンを制御しても良い。

ＡＩエージェント１０は、ユーザモードタイマがタイムアップした旨を検出すると（ステップＳ１８にて「ＹＥＳ」）、車室内マイクロホン１５及びスピーカ１６によるユーザとの対話を終了し（ステップＳ１９）、車室内カメラ１４によるユーザの撮影を終了し（ステップＳ２０）、生体センサ１７によるユーザの生体情報の計測を終了する（ステップＳ２１）。そして、ＡＩエージェント１０は、未処理分（例えば対話の途中分）をユーザモード履歴に記録し（ステップＳ２２）、これまでに収集されたユーザ体調データを記録する（ステップＳ２３）。尚、ＡＩエージェント１０は、前回のユーザモードを実行したときの未処理が有る旨を検出すると（ステップＳ１３にて「ＹＥＳ」）、前回のユーザモードを実行したときの未処理分を処理した後に（ステップＳ２４）、上記したステップＳ１３以降の処理を行う。

以上に説明した一連の処理により、ＡＩエージェント１０は、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へコマンドが出力されているか否かを監視するタイミングでコマンドが出力されていない場合には、ユーザモードを実行し、ユーザとの対話結果、ユーザの撮影画像及びユーザの生体情報を解析し、ユーザの体調を表すユーザ体調データを収集することになる。

次に、ビークルモード処理について、図５を参照して説明する。ＡＩエージェント１０は、ビークルモード処理へ移行すると、予め計測時間が設定されているビークルモードタイマを開始させる（ステップＳ３１）。次いで、ＡＩエージェント１０は、ユーザモードを実行して記録したユーザ体調データを参照し（ステップＳ３２）、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へ出力された音データに対応する音の音量や発音タイミングや発音速度を決定する（ステップＳ３３）。そして、ＡＩエージェント１０は、ビークルモード履歴を参照し（ステップＳ３４）、前回のビークルモードを実行したときの未処理が有るか否かを判定する（ステップＳ３５）。

ここで、ＡＩエージェント１０は、前回のビークルモードを実行したときの未処理が無い旨を検出すると（ステップＳ３５にて「ＮＯ」）、ビークルモードタイマがタイムアップした旨を検出するまで、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へ出力された音データに対応する音を先に決定した音量や発音タイミングや発音速度に基づいて音響制御し、その音響制御された音をスピーカ１６から出力させる（ステップＳ３６，Ｓ３７，Ｓ３８）。

そして、ＡＩエージェント１０は、ビークルモードタイマがタイムアップした旨を検出すると（ステップＳ３８にて「ＹＥＳ」）、未処理分（音データの途中分）をビークルモード履歴に記録する（ステップＳ３９）。尚、ＡＩエージェント１０は、前回のビークルモードを実行したときの未処理が有る旨を検出すると（ステップＳ３５にて「ＹＥＳ」）、前回のビークルモードを実行したときの未処理分を処理した後に（ステップＳ４０）、上記したステップＳ３６以降の処理を行う。

以上に説明した一連の処理により、ＡＩエージェント１０は、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へコマンドが出力されているか否かを監視するタイミングでコマンドが出力されている場合には、ビークルモードを実行し、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へ出力された音データに対応する音をユーザの体調に基づいて音響制御してスピーカ１６から出力させることになる。したがって、例えばユーザが体調不良であると判定されると、ユーザが音を適切に聞き取れるように音量を大きくしたり発音タイミングや発音速度を遅くしたりすることにより、車室内の音響をユーザの体調に基づいて適切に制御することが可能となり、ユーザにとって必要な音をユーザに適切に聞取らせることが可能となる。

ところで、以上は、ユーザとの対話結果、ユーザの撮影画像及びユーザの生体情報に基づいてユーザの体調を検出する場合を説明したものであるが、必ずしもこれらの３つの条件に基づいてユーザの体調を検出する構成でなくても良く、これらの３つの条件のうちのいずれか１つを選択してユーザの体調を検出する構成であっても良い。

次に、音管理ＥＣＵ９の処理について、図６及び図７を参照して説明する。音管理ＥＣＵ９は、以下の処理を行うことにより、車載ＥＣＵ２〜５や車載システム６〜８からコマンドが入力されると、その入力されたコマンドを解析して音データの優先度を判定すると共に、車載ＥＣＵ２〜５や車載システム６〜８から音データが入力されると、その入力された音データに対応する音を当該音データの優先度に基づいてスピーカ１６から出力させる。ここで、図６は、音管理ＥＣＵ９が行う処理をフローチャートとして示している。

音管理ＥＣＵ９は、起動すると、車載ＥＣＵ２〜５や車載システム６〜８との接続状態を確認し（ステップＳ５１）、車載ＥＣＵ２〜５や車載システム６〜８との接続に変更が発生したか否かを判定する（ステップＳ５２）。ここで、音管理ＥＣＵ９は、車載ＥＣＵ２〜５や車載システム６〜８との接続に変更が無い旨を検出すると（ステップＳ５２にて「ＮＯ」）、車載ＥＣＵ２〜５や車載システム６〜８との接続に変更が無い旨をＡＩエージェント１０へ通知する（ステップＳ５３）。これに対して、音管理ＥＣＵ９は、車載ＥＣＵ２〜５や車載システム６〜８との接続に変更が有る旨を検出すると（ステップＳ５２にて「ＹＥＳ」）、車載ＥＣＵ２〜５や車載システム６〜８との接続に変更が有る旨をＡＩエージェント１０へ通知する（ステップＳ５４）。

次いで、音管理ＥＣＵ９は、車載ＥＣＵ２〜５や車載システム６〜８との接続ライン（接続ポート）を監視し（ステップＳ５５）、車載ＥＣＵ２〜５や車載システム６〜８のいずれかからコマンドが入力されたか否かを判定する（ステップＳ５６）。ここで、音管理ＥＣＵ９は、車載ＥＣＵ２〜５や車載システム６〜８のいずれかからコマンドが入力された旨を検出すると（ステップＳ５６にて「ＹＥＳ」）、その入力されたコマンドを解析する（ステップＳ５７）。そして、音管理ＥＣＵ９は、音データの優先度を判定し（ステップＳ５８）、その判定された音データの優先度に基づいて当該音データに対応する音の出力順序を決定し（ステップＳ５９）、その決定された音の出力順序をタイムラインメモリに記録する（ステップＳ６０）。ここでいうタイムラインメモリとは、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へ出力される音データに対応する音がスピーカ１６から出力される場合の出力順序を時系列で表すメモリである。

そして、音管理ＥＣＵ９は、該当する音の出力タイミングに到達した旨を検出すると（ステップＳ６１にて「ＹＥＳ」）、音の出力許可を表すレスポンスを該当する車載ＥＣＵ２〜５や車載システム６〜８へ出力し（ステップＳ６２）、該当する車載ＥＣＵ２〜５や車載システム６〜８から音データが入力された旨を検出すると（ステップＳ６３にて「ＹＥＳ」）、その入力された音データに対応する音をスピーカ１６から出力させる（ステップＳ６４）。この場合、音管理ＥＣＵ９がスピーカ１６から出力させる音は、上記したＡＩエージェント１０によりユーザの体調に基づいて音響制御されたものである。

以上に説明したことから、図７に示すように、音管理ＥＣＵ９は、例えばオーディオＥＣＵ２からコマンド（１）が「ｔ１」にて入力されると共に、ナビゲーションＥＣＵ３からコマンド（２）が「ｔ２」にて入力されると、オーディオＥＣＵ２から出力される音データ（１）の優先度とナビゲーションＥＣＵ３から出力される音データ（２）の優先度とを比較し、ナビゲーションＥＣＵ３から出力される音データ（２）の優先度がオーディオＥＣＵ２から出力される音データ（１）の優先度よりも高いと判定されると、ナビゲーションＥＣＵ３から出力される音データ（２）に対応する音をスピーカ１６から「ｔ３」にて出力させた後に、オーディオＥＣＵ２から出力される音データ（１）に対応する音をスピーカ１６から「ｔ５」にて出力させることになる。

また、音管理ＥＣＵ９は、車外監視システム７からコマンド（３）が「ｔ４」にて入力されると、オーディオＥＣＵ２から出力される音データ（１）の優先度とナビゲーションＥＣＵ３から出力される音データ（２）と車外監視システム７から出力される音データ（３）の優先度とを比較し、車外監視システム７から出力される音データ（３）の優先度がナビゲーションＥＣＵ３から出力される音データ（２）の優先度及びオーディオＥＣＵ２から出力される音データ（１）の優先度よりも低いと判定されると、ナビゲーションＥＣＵ３から出力される音データ（２）に対応する音をスピーカ１６から「ｔ３」にて出力させ、オーディオＥＣＵ２から出力される音データに対応する音をスピーカ１６から「ｔ５」にて出力させた後に、車外監視システム７から出力される音データ（３）に対応する音をスピーカ１６から「ｔ６」にて出力させることになる。尚、図７において、イフェクトデータ（１）〜（４）は、音データ（１）〜（４）のイフェクト効果を表すデータである。

また、図８及び図９は、上記した処理の一例として、ナビゲーションＥＣＵ３が音声ガイダンスを再生する場合の音出力パターンを概略的に示している。尚、本実施形態では、ナビゲーションＥＣＵ３から再生される音声ガイダンスの音出力の管理をナビゲーションＥＣＵ３が行う場合と、ナビゲーションＥＣＵ３から再生される音声ガイダンスの音出力の管理をＡＩエージェント１０が行う場合との２つの場合を説明する。

最初に、図８は、ナビゲーションＥＣＵ３から再生される音声ガイダンスの音出力の管理をナビゲーションＥＣＵ３が行う場合を示している。ナビゲーションＥＣＵ３は、自車両から交差点までの距離が例えば「１キロメートル」である旨を検出すると（自車両の走行位置が図８中「Ｐ」にて示す位置）、音声ガイダンスの出力要求を表すコマンドを音管理ＥＣＵ９へ出力する。ＡＩエージェント１０は、ナビゲーションＥＣＵ３から音管理ＥＣＵ９へコマンドが出力された旨を検出すると、上記したようにビークルモードを実行してユーザ体調データを参照し、ナビゲーションＥＣＵ３から出力される音声ガイダンスの音量や発音タイミングや発音速度を決定する。そして、ＡＩエージェント１０は、オーディオＥＣＵ２から再生されている音楽の音量を下げ、その決定された音量や発音タイミングや発音速度にしたがって自身の対話機能による例えば「ナビゲーション装置から音声ガイダンスが再生されます」という予告音声を再生してスピーカ１６から出力させた後に（図８中「ａ」参照）、ナビゲーションＥＣＵ３からの例えば「交差点まで１キロメートルです」という音声ガイダンスを再生させてスピーカ１６から出力させる（図８中「Ａ」参照）。

これと同様にして、ＡＩエージェント１０は、自車両から交差点までの距離が例えば「５００メートル」である場合には（自車両の走行位置が図８中「Ｑ」にて示す位置）、ユーザ体調データを参照し、ナビゲーションＥＣＵ３から出力される音声ガイダンスの音量や発音タイミングや発音速度を決定し、オーディオＥＣＵ２から再生されている音楽の音量を下げ、その決定された音量や発音タイミングや発音速度にしたがって自身の対話機能による例えば「ナビゲーション装置から音声ガイダンスが再生されます」という予告音声を再生してスピーカ１６から出力させた後に（図８中「ｂ」参照）、ナビゲーションＥＣＵ３からの例えば「交差点まで５００メートルです」という音声ガイダンスを再生させてスピーカ１６から出力させる（図８中「Ｂ」参照）。

また、ＡＩエージェント１０は、自車両が交差点を通過する直前であって歩行者が存在する場合には（自車両の走行位置が図８中「Ｒ」にて示す位置）、ユーザ体調データを参照し、ナビゲーションＥＣＵ３から出力される音声ガイダンスの音量や発音タイミングや発音速度を決定し、オーディオＥＣＵ２から再生されている音楽の音量を下げ、その決定された音量や発音タイミングや発音速度にしたがって自身の対話機能による例えば「ナビゲーション装置から音声ガイダンスが再生されます」という予告音声を再生してスピーカ１６から出力させた後に（図８中「ｃ」参照）、ナビゲーションＥＣＵ３からの例えば「歩行者がいます歩行者に注意して下さい」という音声ガイダンスを再生させてスピーカ１６から出力させる（図８中「Ｃ」参照）。

次に、図９は、ナビゲーションＥＣＵ３から再生される音声ガイダンスの音出力の管理をＡＩエージェント１０が行う場合を示している。この場合は、ＡＩエージェント１０は、ナビゲーションＥＣＵ３からの音声ガイダンスを再生させるのではなく、ナビゲーションＥＣＵ３から音声ガイダンスデータを取込むことにより、自身の対話機能による予告音声を再生してスピーカ１６から出力させた後に、ナビゲーションＥＣＵ３から取込まれた音声ガイダンスデータを自身で再生して音声ガイダンスをスピーカ１６から出力させる。

以上に説明した一連の処理により、ＡＩエージェント１０は、ナビゲーションＥＣＵ３からの音声ガイダンスをユーザの体調に基づいて音響制御してスピーカ１６から出力させることになり、例えばユーザが体調不良であると判定されると、ユーザが音声ガイダンスを適切に聞き取れるように音量を大きくしたり発音タイミングや発音速度を遅くしたりすることにより、ナビゲーションＥＣＵ３の音声ガイダンスをユーザに適切に聞取らせることが可能となる。

以上に説明したように本実施形態によれば、車載音響制御システム１において、ユーザとの対話結果（例えば話し方、イントネーション、アクセント、声の調子及び声の高低など）、ユーザの撮影画像（例えば顔の表情、視線の動き及び口の動きなど）及びユーザの生体情報（例えば体温、血圧、脈拍及び心拍数など）からユーザの体調を判定し、車載ＥＣＵ２〜５や車載システム６〜８から音管理ＥＣＵ９へ出力された音データに対応する音をユーザの体調に基づいて音響制御してスピーカ１６から出力するように構成したので、例えばユーザが体調不良であると判定されると、ユーザが音を適切に聞き取れるように音量を大きくしたり発音タイミングや発音速度を遅くしたりすることにより、車室内の音響をユーザの体調に基づいて適切に制御することができ、ユーザにとって必要な音をユーザに適切に聞取らせることができる。

本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
システム全体の機能ブロック構成（音管理ＥＣＵに接続される車載ＥＣＵや車載システムの種類及びスピーカの個数など）は、他の構成であっても良い。
ロードノイズを検出し、ロードノイズの検出結果をも考慮して音響制御する構成であっても良い。また、スピーカのタイプを検出し、スピーカのタイプの検出結果をも考慮して音響制御する構成であっても良い。

ＡＩエージェントにおいて、車載ＥＣＵや車載システムから音管理ＥＣＵへ出力された音データに対応する音を走行制御動作にも連動して音響制御するように構成しても良く、そのように構成すれば、車室内の音響を例えばステアリング動作、ブレーキ動作及びアクセル動作にも連動して音響制御することができる。

本発明の一実施形態の構成を示す機能ブロック図ＡＩエージェントの構成を示す機能ブロック図ＡＩエージェントが行う処理を示すフローチャート図３相当図図３相当図音管理ＥＣＵが行う処理を示すフローチャート車載ＥＣＵや車載システムから音管理ＥＣＵへコマンド及び音データが出力される態様を概略的に示す図ナビゲーションＥＣＵの音声ガイダンスが再生される態様を概略的に示す図図８相当図

符号の説明

図面中、１は車載音響制御システム、２はオーディオＥＣＵ（車載ＥＣＵ）、３はナビゲーションＥＣＵ（車載ＥＣＵ）、４はエアコンＥＣＵ（車載ＥＣＵ）、５は通信ＥＣＵ（車載ＥＣＵ）、６は走行制御システム（車載システム）、７は車外監視システム（車載システム）、８は車内監視システム（車載システム）、９は音管理ＥＣＵ（音管理手段）、１０はＡＩエージェント、１４は車室内撮影用カメラ（撮影手段）、１６はスピーカ（音出力手段）、１７は生体センサ（生体情報計測手段）である。

Claims

音データの出力要求を表すコマンド及び当該音データを音管理ＥＣＵへ出力する車載ＥＣＵや車載システムと、
前記車載ＥＣＵや前記車載システムからコマンドが入力されると、その入力されたコマンドを解析して音データの優先度を判定すると共に、前記車載ＥＣＵや前記車載システムから音データが入力されると、その入力された音データに対応する音を当該音データの優先度に基づいて音出力手段から出力させる音管理手段と、
ユーザとの対話機能を有し、ユーザとの対話結果として話し方、イントネーション、アクセント、声の調子及び声の高低を判定してユーザの体調を検出するユーザモードと、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音を前記音出力手段から出力させるビークルモードとを前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングで切替えて実行可能なＡＩエージェントとを備え、
前記ＡＩエージェントは、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音をユーザモードでユーザとの対話結果により検出されたユーザの体調に基づいて音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させることを特徴とする車載音響制御システム。
音データの出力要求を表すコマンド及び当該音データを音管理ＥＣＵへ出力する車載ＥＣＵや車載システムと、
前記車載ＥＣＵや前記車載システムからコマンドが入力されると、その入力されたコマンドを解析して音データの優先度を判定すると共に、前記車載ＥＣＵや前記車載システムから音データが入力されると、その入力された音データに対応する音を当該音データの優先度に基づいて音出力手段から出力させる音管理手段と、
ユーザとの対話機能を有し、ユーザとの対話結果として話し方、イントネーション、アクセント、声の調子及び声の高低を判定してユーザの体調を検出するユーザモードと、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音を前記音出力手段から出力させるビークルモードとを前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングで切替えて実行可能なＡＩエージェントとを備え、
前記ＡＩエージェントは、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音をユーザモードでユーザとの対話結果により検出されたユーザの体調に基づいて音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させ、前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視し、その監視タイミングで前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されている場合にはビークルモードを実行し、その監視タイミングで前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されていない場合にはユーザモードを実行することを特徴とする車載音響制御システム。
音データの出力要求を表すコマンド及び当該音データを音管理ＥＣＵへ出力する車載ＥＣＵや車載システムと、
前記車載ＥＣＵや前記車載システムからコマンドが入力されると、その入力されたコマンドを解析して音データの優先度を判定すると共に、前記車載ＥＣＵや前記車載システムから音データが入力されると、その入力された音データに対応する音を当該音データの優先度に基づいて音出力手段から出力させる音管理手段と、
ユーザとの対話機能を有し、ユーザとの対話結果として話し方、イントネーション、アクセント、声の調子及び声の高低を判定してユーザの体調を検出するユーザモードと、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音を前記音出力手段から出力させるビークルモードとを前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングで切替えて実行可能なＡＩエージェントとを備え、
前記ＡＩエージェントは、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音をユーザモードでユーザとの対話結果により検出されたユーザの体調に基づいて音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させ、ビークルモードを実行している途中で前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングになると、その監視タイミングで前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データのうち未処理の音データがあるか否かを判定し、未処理の音データが有る場合には、その未処理の音データを履歴として記憶し、次回にビークルモードを実行する場合に、その履歴として記憶されている未処理の音データを処理することを特徴とする車載音響制御システム。
請求項１ないし３のいずれかに記載した車載音響制御システムにおいて、
ユーザを撮影する撮影手段を備え、
前記ＡＩエージェントは、前記撮影手段により撮影されたユーザの撮影画像を解析する機能を有し、ユーザモードを実行する場合には、ユーザの撮影画像に基づいてユーザの体調を検出し、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音をユーザの撮影画像に基づいて音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させることを特徴とする車載音響制御システム。
請求項１ないし４のいずれかに記載した車載音響制御システムにおいて、
ユーザの生体情報を計測する生体情報計測手段を備え、
前記ＡＩエージェントは、前記生体情報計測手段により計測されたユーザの生体情報を解析する機能を有し、ユーザモードを実行する場合には、ユーザの生体情報に基づいてユーザの体調を検出し、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音をユーザの生体情報に基づいて音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させることを特徴とする車載音響制御システム。
請求項１ないし５のいずれかに記載した車載音響制御システムにおいて、
前記ＡＩエージェントは、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音を走行制御動作にも連動して音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させることを特徴とする車載音響制御システム。
音データの出力要求を表すコマンド及び当該音データを音管理手段へ出力する車載ＥＣＵや車載システムと、前記車載ＥＣＵや前記車載システムから入力されたコマンドを解析して音データの優先度を判定すると共に前記車載ＥＣＵや前記車載システムから入力された音データに対応する音を当該音データの優先度に基づいて音出力手段から出力させる音管理手段とを備えてなる車載音響制御システム内で用いられるＡＩエージェントであって、
ユーザとの対話機能を有し、ユーザとの対話結果として話し方、イントネーション、アクセント、声の調子及び声の高低を判定してユーザの体調を検出するユーザモードと、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音を前記音出力手段から出力させるビークルモードとを前記車載ＥＣＵや前記車載システムから前記音管理手段へコマンドが出力されているか否かを定期的に監視するタイミングで切替えて実行可能に構成され、ビークルモードを実行する場合には、前記車載ＥＣＵや前記車載システムから前記音管理手段へ出力された音データに対応する音をユーザモードで検出されたユーザの体調に基づいて音量や発音タイミングや発音速度を音響制御して前記音出力手段から出力させることを特徴とするＡＩエージェント。