JP2023138735A - 音声制御装置 - Google Patents

Abstract

【課題】運転者の知覚上の負荷が過大になることを防止すること。【解決手段】音声制御装置２０の取得部２３３は、走行中の風景に起因する運転中のリスクを示す情報と位置とを対応付けたデータから、車両３０Ｖの位置に対応するリスクを示す情報を取得する。出力音声制御部２３４は、取得部２３３によって取得された情報に応じて、車両３０Ｖの運転者に対して出力する音声の制御を行う。【選択図】図１

Description

本発明は、音声制御装置に関する。

従来、自動車の運転者の疲労度及び覚醒度に応じて音声コンテンツを選択し、選択した音声コンテンツを再生する車載装置が知られている（例えば、特許文献１を参照）。

特開２０１９－９７４２号公報

しかしながら、従来の技術では、運転者の知覚上の負荷が過大になる場合があるという問題がある。

例えば、運転中の運転者は、安全のため常に車外の様子を見たり、音を聞いたりする必要がある。また、その際の運転者の注意の度合いは、道路状況によって変化することが考えられる。

例えば、見通しが悪い曲がり角のような場所では、見通しの良い直線道路に比べて運転者はより多くの情報を視覚及び聴覚から取り入れる必要がある。

そして、そのような多くの情報を取り入れる必要がある状況下で音声コンテンツが再生されると、運転者の知覚上の負荷が過大になってしまうことが考えられる。

さらに、知覚に過大な負荷がかかった結果、運転者の注意が散漫になり安全性が低下する恐れがある。

本発明は、上記に鑑みてなされたものであって、運転者の知覚上の負荷が過大になることを防止できる音声制御装置を提供することを目的とする。

請求項１に記載の音声制御装置は、走行中の風景に起因する運転中のリスクを示す情報と位置とを対応付けたデータから、移動体の位置に対応するリスクを示す情報を取得する取得部と、前記取得部によって取得された情報に応じて、前記移動体の運転者に対して出力する音声の制御を行う出力音声制御部と、を有することを特徴とする。

図１は、第１の実施の形態に係る音声制御システムの構成例を示す図である。 図２は、視覚的顕著性を説明する図である。 図３は、ルートの一例を示す図である。 図４は、視覚的注意の集中度を描画したマップの一例を示す図である。 図５は、情報提供装置の構成例を示す図である。 図６は、音声制御装置の構成例を示す図である。 図７は、音声出力装置の構成例を示す図である。 図８は、第１の実施の形態に係る音声制御システムの処理の流れを示すシーケンス図である。 図９は、第２の実施の形態に係る音声制御システムの構成例を示す図である。 図１０は、第３の実施の形態に係る音声制御システムの構成例を示す図である。 図１１は、第４の実施の形態に係る音声制御システムの構成例を示す図である。 図１２は、第５の実施の形態に係る音声制御システムの構成例を示す図である。

以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

［第１の実施形態］
図１は、第１の実施の形態に係る音声制御システムの構成例を示す図である。図１に示すように、音声制御システム１は、車両１０Ｖ、音声制御装置２０及び車両３０Ｖを有する。なお、車両は移動体の一例であり、例えば自動車である。また、音声制御装置２０はサーバとして機能する。

車両３０Ｖの運転者は、運転中は車両３０Ｖの周囲の様子を常に見ておく必要がある。このため、運転中の運転者は視覚的情報を取り入れ続けることになる。

さらに、車両３０Ｖに搭載されたスピーカは情報を音声によって出力する。このため、スピーカから出力される音の大きさや情報の量によっては、車両３０Ｖの運転者の知覚上の負荷が過大になることが考えられる。その場合、運転者の注意が散漫になり安全性が低下する恐れがある。

そこで、音声制御システム１は、車両３０Ｖにおいて出力される音声を制御することで、車両３０Ｖの運転者の知覚上の負荷が過大にならないように音声を制御する。

図１に示すように、車両１０Ｖは画像及び位置情報を収集する。また、車両１０Ｖは、収集した画像及び位置情報をインターネット等の通信ネットワークを介して音声制御装置２０に送信する。なお、車両１０Ｖの台数は図１に示すものに限られず、１以上であればよい。

音声制御装置２０は、車両１０Ｖ画像及び位置情報を基に、視覚的顕著性の演算及びマップ情報の生成を行う。視覚的顕著性及びマップについては後述する。

そして、音声制御装置２０は、車両３０Ｖによって通知された位置情報及び生成したマップに基づく音声制御情報を車両３０Ｖに返す。車両３０Ｖは、音声制御情報に従って音声の出力を行う。

図２を用いて、視覚的顕著性について説明する。図２は、視覚的顕著性を説明する図である。図２に示すように、視覚的顕著性は、車両の前方を写した画像について、運転者の視線の位置を推定して得られる指標である（参考文献：特開２０１３－００９８２５号公報）。

視覚的顕著性は、深層学習モデルに画像を入力することで演算されるものであってもよい。例えば、当該深層学習モデルは、広範な分野で写した大量の画像と、それらを実際に見た複数の被験者の視線情報とを基に訓練される。

視覚的顕著性は、例えば画像の各画素に与えられる８ｂｉｔ（０～２５５）の値であって、運転者の視線の位置である確率が大きいほど大きくなる値として表される。そのため、当該値を輝度値とみなせば、視覚的顕著性は、図２のように元の画像にヒートマップとして重畳させることができる。以降の説明では、各画素の視覚的顕著性の値を輝度値と呼ぶ場合がある。

また、視覚顕著性から、運転者の視覚的注意の集中度をさらに計算することができる。視覚的注意の集中度は、後述する理想視線の位置に基づいてヒートマップの各画素の輝度値から演算され、元画像から得られる集中度が人間工学的に低くなるほど小さくなる相関を持つ値である。

理想視線とは、障害物や自分以外の交通参加者がいないという理想的な交通環境下で運転者が進行方向に沿って向ける視線であり、あらかじめ定められているものとする。

視覚的注意の集中度が大きいほど、運転者は車外の様子注意をして運転できているということができる。逆に、視覚的注意の集中度が小さいほど、運転者の注意が散漫になっているため、リスクの度合いが大きくなる。また、視覚的注意の集中度が小さいほど、知覚上の負荷が大きくなっているということができる。

図３及び図４を用いてマップの生成方法を説明する。図３は、ルートの一例を示す図である。図４は、視覚的注意の集中度を描画したマップの一例を示す図である。

まず、車両１０Ｖは、図３に示すようなルートを走行しつつカメラによって画像を撮像する。カメラは、車両１０Ｖの運転者の視線の方向を撮像するものとする。これにより、車両１０Ｖは、運転者の視界に近い画像を得ることができる。なお、カメラは車両１０Ｖの前方を撮像可能な位置（フロントガラスの上部等）に固定される。このため、実際には車両１０Ｖの走行方向を向いた運転者の視線の範囲を含めた広い範囲がカメラによって撮像される。言い換えると、カメラは車両１０Ｖの前方の風景を撮像する。

そして、車両１０Ｖは、撮像した画像を位置情報とともに音声制御装置２０へ送信する。車両１０Ｖは、所定の測位機能を利用して位置情報を取得する。

音声制御装置２０は、車両１０Ｖによって送信された画像を訓練済みの深層学習モデルに入力し、視覚的顕著性の演算を行う。さらに、音声制御装置２０は、視覚的顕著性から視覚的注意の集中度を計算する。

音声制御装置２０は、視覚的注意の集中度を位置情報と対応付けて記憶しておく。また、位置情報と対応付けられた視覚的注意の集中度は、図４のようにマップ上に描画されてもよい。

例えば、図４には、交差点Ａ、交差点Ｂ及び交差点Ｃ等において、視覚的注意の集中度が特に小さくなることが示されている。視覚的注意の集中度が小さくなることは、リスクの度合いが増大することを意味する。逆に、図４には、一部の直線道路では視覚的注意の集中度が大きくなる傾向があることが示されている。

例えば、音声制御装置２０は、視覚的注意の集中度が閾値未満である位置においては、音声を出力させないように制御する。

また、音声によって出力するコンテンツには、運転に関する注意喚起のメッセージ、経路のナビゲーションといった運転との関連度合いが大きいものだけでなく、音楽、ニュース、天気予報といった運転との関連度合いが小さいものがある。

このため、音声制御装置２０は、音声コンテンツごとの出力可否を決定すること、又は音量を調整することにより制御を行ってもよい。

ここで、車両１０Ｖは、情報提供装置１０を搭載しているものとする。また、車両３０Ｖは、音声出力装置３０を搭載しているものとする。例えば、情報提供装置１０及び音声出力装置３０は、ドライブレコーダ及びカーナビゲーションシステム等の車載装置であってもよい。

情報提供装置１０は、車両１０Ｖの運転者の視線の方向を撮像した画像と、画像の撮像時における車両１０Ｖの位置と、を音声制御装置２０に送信する送信部として機能する。

図５は、情報提供装置の構成例を示す図である。図５に示すように、情報提供装置１０は、通信部１１、撮像部１２、測位部１３、記憶部１４及び制御部１５を有する。

通信部１１は、インターネット等の通信ネットワークを介して他の装置との間でデータ通信が可能な通信モジュールである。

撮像部１２は、例えばカメラである。撮像部１２は、ドライブレコーダのカメラであってもよい。

測位部１３は、所定の信号を受信し、車両１０Ｖの位置を測定する。測位部１３は、ＧＮＳＳ（global navigation satellite system）又はＧＰＳ（global positioning system）の信号を受信する。

記憶部１４は、情報提供装置１０で実行される各種のプログラム、及び処理の実行に必要なデータ等を記憶する。

制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部１４に記憶された各種プログラムが実行されることにより実現され、情報提供装置１０全体の動作を制御する。なお、制御部１５は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって実現されてもよい。

図６は、音声制御装置の構成例を示す図である。図６に示すように、音声制御装置２０は、通信部２１、記憶部２２及び制御部２３を有する。

通信部２１は、インターネット等の通信ネットワークを介して他の装置との間でデータ通信が可能な通信モジュールである。

記憶部２２は、音声制御装置２０で実行される各種のプログラム、及び処理の実行に必要なデータ等を記憶する。

記憶部２２は、モデル情報２２１及びマップ情報２２２を記憶する。モデル情報２２１は、視覚的顕著性の演算を行う深層学習モデルを構築するための重み等のパラメータである。

また、マップ情報２２２は、走行中の風景に起因する運転中のリスクを示す情報と位置とを対応付けたデータである。例えば、リスクを示す情報は、前述の視覚的注意の集中度である。

制御部２３は、ＣＰＵやＭＰＵ等のコントローラによって、記憶部２２に記憶された各種プログラムが実行されることにより実現され、音声制御装置２０全体の動作を制御する。なお、制御部２３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣやＦＰＧＡ等の集積回路によって実現されてもよい。

制御部２３は、演算部２３１、生成部２３２、取得部２３３及び出力音声制御部２３４を有する。

演算部２３１は、情報提供装置１０によって送信された画像をモデル情報２２１から構築した深層学習モデルに入力し、視覚的顕著性の演算を行う。

モデル情報２２１から構築される深層学習モデルは、移動体の運転者の視線の方向を撮像した画像と、画像の撮像時における運転者の視線に関する情報と、を基に生成された計算モデルであって、画像から運転に関するリスクを示す情報を計算する計算モデルの一例である。

生成部２３２は、演算部２３１による演算の結果から、マップ情報２２２を生成する。すなわち、生成部２３２は、車両１０Ｖの情報提供装置１０によって撮像された画像を入力して得られるリスクを示す情報と、画像の撮像時における車両１０Ｖの位置と、を対応付けたデータを生成する。

取得部２３３は、走行中の風景に起因する運転中のリスクを示す情報と位置とを対応付けたデータであるマップ情報２２２から、車両３０Ｖの位置に対応するリスクを示す情報を取得する。

出力音声制御部２３４は、取得部２３３によって取得された情報に応じて、車両３０Ｖの運転者に対して出力する音声の制御を行う。

出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合い、及び音声コンテンツの運転との関連度合いに応じて音声コンテンツの出力を制御する。例えば、リスクの度合いは、視覚的注意の集中度が小さいほど大きくなる。

例えば、出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合いが閾値以上である場合、あらかじめ運転との関連度合いが小さいと定められた音声コンテンツの出力を許可しない。

例えば、運転に関する注意喚起のメッセージ及び経路のナビゲーションは運転との関連度合いが大きいものに分類される。一方、音楽、ニュース、天気予報といった音声コンテンツは、運転との関連度合いが小さいものに分類される。

また、各音声コンテンツは、運転との関連度合いが大きいか小さいかだけでなく、段階的に分類されてもよい。その場合、例えば、出力音声制御部２３４は、リスクの度合いが第１の閾値以上の場合、運転との関連度合いが最も大きい注意喚起のメッセージ及び経路のナビゲーションのみを出力させ、リスクの度合いが第１の閾値未満かつ第１の閾値より小さい第２の閾値以上の場合、運転との関連度合いが中程度である天気予報をさらに出力させ、リスクの度合いが第２の閾値未満である場合、運転との関連度合いが最も小さい音楽をさらに出力させる。

また、出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合いが大きいほど、音声コンテンツの再生音量を小さくする。

また、出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合いが大きいほど、音声コンテンツの内容を少なくして出力させる。例えば、出力音声制御部２３４は、音声コンテンツの完全版と、完全版の一部をカットした短縮版を用意しておき、リスクの度合いが閾値以上であれば短縮版を出力する。

音声出力装置３０は、車両３０Ｖの位置を音声制御装置２０に送信する送信部と、音声制御装置２０による制御に従って音声を出力する出力部と、として機能する。

図７は、音声出力装置の構成例を示す図である。図７に示すように、音声出力装置３０は、通信部３１、出力部３２、測位部３３、記憶部３４及び制御部３５を有する。

通信部３１は、インターネット等の通信ネットワークを介して他の装置との間でデータ通信が可能な通信モジュールである。

出力部３２は、例えばスピーカである。出力部３２は、制御部３５の制御に従って音声を出力する。

測位部３３は、所定の信号を受信し、車両１０Ｖの位置を測定する。測位部３３は、ＧＮＳＳ又はＧＰＳの信号を受信する。

記憶部３４は、音声出力装置３０で実行される各種のプログラム、及び処理の実行に必要なデータ等を記憶する。

制御部３５は、ＣＰＵやＭＰＵ等のコントローラによって、記憶部３４に記憶された各種プログラムが実行されることにより実現され、音声出力装置３０全体の動作を制御する。なお、制御部３５は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣやＦＰＧＡ等の集積回路によって実現されてもよい。

制御部３５は、音声制御装置２０から受け取った音声制御情報を基に出力部３２を制御する。

図８を用いて、音声制御システム１の処理の流れを説明する。図８は、第１の実施の形態に係る音声制御システムの処理の流れを示すシーケンス図である。

図８に示すように、まず、情報提供装置１０は、画像を撮像する（ステップＳ１０１）。次に、情報提供装置１０は、位置情報を取得する（ステップＳ１０２）。そして、情報提供装置１０は、音声制御装置２０に位置情報と画像を送信する（ステップＳ１０３）。

音声制御装置２０は、受け取った画像を基に視覚的顕著性の演算を行う（ステップＳ２０１）。そして、音声制御装置２０は、視覚的顕著性に基づくスコアを用いてマップ情報を生成する（ステップＳ２０２）。スコアは、例えば視覚的注意の集中度である。

ここで、音声出力装置３０は、位置情報を取得する（ステップＳ３０１）。そして、音声出力装置３０は、取得した位置情報を音声制御装置２０に送信する（ステップＳ３０２）。

このとき、音声制御装置２０は、音声出力装置３０によって送信された位置情報に対応するスコアをマップ情報から取得する（ステップＳ２０３）。

音声制御装置２０は、取得したスコアに基づく音声の制御情報を、音声出力装置３０に送信する（ステップＳ２０４）。

音声出力装置３０は、音声制御装置２０から受け取った制御情報に従って音声を出力する（ステップＳ３０３）。

［第１の実施形態の効果］
これまで説明してきたように、音声制御装置２０の取得部２３３は、走行中の風景に起因する運転中のリスクを示す情報と位置とを対応付けたデータから、車両３０Ｖの位置に対応するリスクを示す情報を取得する。出力音声制御部２３４は、取得部２３３によって取得された情報に応じて、車両３０Ｖの運転者に対して出力する音声の制御を行う。

このように、音声制御装置２０は、リスクの度合いに応じて運転者に対して出力する音声の制御を行うことができる。この結果、第１の実施形態によれば、運転者の知覚上の負荷が過大になることを防止できる。

生成部２３２は、移動体の運転者の視線の方向を撮像した画像と、画像の撮像時における運転者の視線に関する情報と、を基に生成された計算モデルであって、画像から運転に関するリスクを示す情報を計算する計算モデルに、移動体によって撮像された画像を入力して得られるリスクを示す情報と、画像の撮像時における移動体の位置と、を対応付けたデータを生成する。取得部２３３は、生成部２３２によって生成されたデータからリスクを示す情報を取得する。これにより、視覚的顕著性に基づくリスクの度合いに応じた音声の制御が可能になる。

出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合い、及び音声コンテンツの運転との関連度合いに応じて音声コンテンツの出力を制御する。これにより、運転に関する注意喚起のメッセージ及び経路のナビゲーションといった重要な情報を確実に運転者に通知することができる。

出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合いが閾値以上である場合、あらかじめ運転との関連度合いが低いと定められた音声コンテンツの出力を許可しない。これにより、緊急性の低い音声コンテンツの出力を制限し、運転者が知覚する情報を低減させることができる。

出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合いが大きいほど、音声コンテンツの再生音量を小さくする。これにより、運転者が知覚する情報の量を細かく制御することができる。

出力音声制御部２３４は、取得部２３３によって取得された情報が示すリスクの度合いが大きいほど、音声コンテンツの内容を少なくして出力させる。これにより、冗長な情報を削除し、必要な情報のみを運転者に通知することができる。

［第２の実施形態］
音声制御システムにおける各装置の機能は、第１の実施形態のものに限られない。図９は、第２の実施の形態に係る音声制御システムの構成例を示す図である。

図９に示すように、第２の実施形態では、音声制御装置２０ａは、車両３０Ｖａに対して制御情報ではなくマップ情報を送信する。そして、車両３０Ｖａは、マップ情報からリスクの情報を取得し、音声の出力を制御する。第２の実施形態では、音声制御装置２０ａの処理負荷を低減させることができる。

［第３の実施形態］
図１０は、第３の実施の形態に係る音声制御システムの構成例を示す図である。図１０に、第３の実施形態では、車両１０Ｖｂが視覚的顕著性の演算を行う。

そして、音声制御装置２０ｂは、演算結果と位置情報を受け取り、マップ情報を生成する。第３の実施形態では、車両１０Ｖｂと音声制御装置２０ｂとの間で画像の送受信が不要になるため、通信量を削減することができる。

［第４の実施形態］
図１１は、第４の実施の形態に係る音声制御システムの構成例を示す図である。第４の実施形態では、１つの車両で全ての機能が完結するように構成される。

図１１に示すように、車両３０Ｖｃは、画像及び位置情報を収集し、収集した画像を基に視覚的顕著性の演算を行う。そして、車両３０Ｖｃは、マップ情報を生成し、生成したマップ情報から得られるリスクの度合いを基に音声の制御及び出力を行う。

第４の実施形態では、逐次収集される画像によって制御を行うため、車両３０Ｖｃが走行する実際の環境に即した制御が可能になる。

［第５の実施形態］
図１２は、第５の実施の形態に係る音声制御システムの構成例を示す図である。音声制御システムは、図１２のように、サーバが存在しない構成であってもよい。この場合、複数の車両３０Ｖｄは、ブロックチェーンを構築する。

第５の実施形態では、マップ情報を車両３０Ｖｄ間で共有しつつ、ブロックチェーンにより情報の信頼性が確保できる。また、第５の実施形態によれば、サーバの障害等による影響を回避することができる。

１ 音声制御システム
１０ 情報提供装置
１０Ｖ、３０Ｖ 車両
１１、２１、３１ 通信部
１２ 撮像部
１３ 測位部
１４、２２ 記憶部
１５、２３、３５ 制御部
２０ 音声制御装置
３０ 音声出力装置
２２１ モデル情報
２２２ マップ情報
２３１ 演算部
２３２ 生成部
２３３ 取得部
２３４ 出力音声制御部

Claims (1)

1. 走行中の風景に起因する運転中のリスクを示す情報と位置とを対応付けたデータから、移動体の位置に対応するリスクを示す情報を取得する取得部と、
   前記取得部によって取得された情報に応じて、前記移動体の運転者に対して出力する音声の制御を行う出力音声制御部と、
   を有することを特徴とする音声制御装置。

Images