JP2022123973A - 音声出力装置、音声出力方法及び音声出力プログラム - Google Patents

Abstract

【課題】移動体の運転手が移動体外の対象に気を取られて、よそ見をしたまま運転を行うことを防止することができる音声出力装置等を提供すること。【解決手段】移動体の運転者がよそ見をしていると判定した場合に、運転者に対して、よそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、を音声で行う。【選択図】図３

Description

本願は、移動体の運転手による運転中のよそ見（脇見を含む）を防止することができる音声出力装置等の技術分野に関する。

特許文献１には、車両の運転席の顔を撮像する主カメラと、主カメラが撮像した画像から得られる運転手の視線の方向に基づいて、脇見運転の有無を判定する脇見判定部と、脇見判定部が脇見運転であると判定した場合に警報を出力する警報出力部と、を備えた脇見運転検出装置について開示されている。この運転検出装置は、運転手の視線が特定の車載部品の方向を向いている場合であって、当該車載部品の方向を向いている時間が基準時間を超えなければ、脇見運転でないと判定する。これにより、例えば、運転手が短時間だけカーナビゲーションの表示部に表示される走行ルートを確認した場合などには警報を出力しないことから脇見運転に相当しないようなケースに警報が出力されることを防ぐ。

特開２０２０－０２４５３２号公報

一方で、例えば、車両などの移動体の運転手が、沿道の店舗等の移動体外にある対象に気を取られて、よそ見をしたまま運転を行うことは安全上問題がある。

そこで、本発明は、こうした問題の一例に鑑み、移動体の運転手が移動体外の対象に気を取られて、よそ見をしたまま運転を行うことを防止することができる音声出力装置等を提供することを課題とする。

請求項１に記載の発明は、移動体の運転者がよそ見をしているか否かを判定する判定手段と、前記運転手が前記よそ見をしていると判定した場合に、前記運転者に対して、前記よそ見の対象に関する情報を提供することの報知と、前記よそ見を止めさせるための警告と、を音声で行う音声出力手段と、を備えることを特徴とする。

請求項１１に記載の発明は、音声出力装置による音声出力方法であって、移動体の運転者がよそ見をしているか否かを判定する判定工程と、前記運転手が前記よそ見をしていると判定した場合に、前記運転者に対して、前記よそ見の対象に関する情報を提供することの報知と、前記よそ見を止めさせるための警告と、を音声で行う音声出力工程と、を含むことを特徴とする。

請求項１２に記載の発明は、音声出力装置に含まれるコンピュータを、移動体の運転者がよそ見をしているか否かを判定する判定手段、前記運転手が前記よそ見をしていると判定した場合に、前記運転者に対して、前記よそ見の対象に関する情報を提供することの報知と、前記よそ見を止めさせるための警告と、を音声で行う音声出力手段、として機能させることを特徴とする。

実施形態における音声出力装置１００の構成例を示すブロック図である。 本実施例におけるよそ見警告装置２００の構成例を示すブロック図である。 本実施例における制御部２１１による警告処理の一例を示すフローチャートである。

本願発明を実施するための形態について、図１を用いて説明する。

図１に示すように、音声出力装置１００は、判定手段１０１、音声出力手段１０２を備える。

判定手段１０１は、移動体の運転者がよそ見をしているか否かを判定する。

音声出力手段１０２は、運転手がよそ見をしていると判定した場合に、運転者に対して、よそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、を音声で行う。

音声出力装置１００によれば、移動体の運転者がよそ見をしている場合に、運転者に対してよそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、が音声で行われることから、運転手はよそ見の対象に関する情報を得られることを知って当該対象に対するよそ見をやめ、延いては、運転手がよそ見をしたまま運転を行うことを防止できる。

次に、上述した実施形態に対応する実施例について説明する。なお、以下に説明する実施例は、本願発明を、自動車に搭載されるよそ見警告装置２００に適用した場合の実施例である。

［１．よそ見警告装置２００の構成］
図２を用いて、本実施例におけるよそ見警告装置２００の構成について説明する。図２は、よそ見警告装置２００の構成例を示すブロック図である。

図２に示すように、よそ見警告装置２００は、制御部２１１と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等からなる記憶部２１２と、通信部２１３と、表示ユニット２１４と、タッチパネル２１５と、車内マイク２１６と、視線計測デバイス２１７と、車内撮影用カメラ２１８と、車外撮影用カメラ２１９と、スピーカー２２０を備えて構成されている。

制御部２１１は、制御部２１１全体を制御するＣＰＵ２１１ａと、制御部２１１を制御する制御プログラム等が予め記憶されているＲＯＭ２１１ｂと、各種データを一時的に格納するＲＡＭ２１１ｃと、により構成されている。そして、ＣＰＵ２１１ａが、ＲＯＭ２１１ｂや記憶部２１２に記憶された各種プログラムを読み出し実行することにより「判定手段、音声出力手段」として機能する。制御部２１１又はＣＰＵ２１１ａは、「コンピュータ」に対応する。

記憶部２１２は、ＯＳ（Operating System）、アプリケーションプログラム等の各種プログラムや、各種プログラムで利用されるデータや情報を記憶する。また、記憶部２１２は、自動車の運転手がよそ見をしている場合に、運転者に対して、よそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、を音声で行うための音声出力プログラムを記憶している。なお、各種プログラムは、例えば、サーバ装置等からネットワークを介して取得されるようにしても良いし、ＵＳＢメモリ等の記録媒体に記録されたものを読み込むようにしても良い。

通信部２１３は、無線通信デバイス等を有し、外部のサーバや端末と通信してデータを相互に送受信する。

表示ユニット２１４は、グラフィックスコントローラ２１４ａと、ＶＲＡＭ（Video RAM）等のメモリからなるバッファメモリ２１４ｂを備えて構成されている。この構成においてグラフィックスコントローラ２１４ａは、制御部２１１から送られる制御情報に基づいて、表示ユニット２１４及びタッチパネル２１５の制御を行う。また、バッファメモリ２１４ｂは、それぞれのタッチパネル２１５に即時表示可能な画像データを一時的に記憶する。そして、グラフィックスコントローラ２１４ａから出力される画像データに基づいて、タッチパネル２１５に画像が表示される。

タッチパネル２１５は、表示ユニット２１４から受信した画像データに基づいて画像を表示させる。また、タッチパネル２１５は、操作者のタッチ操作を検出し、タッチされた位置等を示すタッチ操作データを制御部２１１に送信する。制御部２１１はタッチ操作データに基づいて何れの操作がなされたかを判別し、操作内容に応じて処理を行う。

車内マイク２１６は、自動車内に設けられており、車内の運転手や同乗者の音声を電気信号に変換して制御部２１１に出力する。

視線計測（アイトラッキング）デバイス２１７は、運転手の視線を計測し、運転手がどこを見ているかを検出する。視線計測には、従来公知の技術を利用することができる。例えば、運転手に眼鏡型のウェアラブル端末を装着してもらい、当該ウェアラブル端末が運転者の眼球に弱い赤外線を照射し、カメラでその反射光（プルキニエ像）と瞳孔を撮影し、瞳孔の中心とプルキニエ像の位置関係に基づいて視線の向きを計測する。

車内撮影用カメラ２１８は、自動車内に設けられており、運転手を撮影した画像を制御部２１１に出力する。制御部２１１は、車内撮影用カメラ２１８の撮影した画像に基づき、運転者がよそ見をしているか判定する。

なお、よそ見警告装置２００は、視線計測デバイス２１７及び車内撮影用カメラ２１８の少なくとも何れか一方を備えることとしてもよい。また、制御部２１１は、視線計測デバイス２１７が計測した運転手の視線及び車内撮影用カメラ２１８が撮影した運転手の画像の少なくとも何れか一方に基づいて運転者がよそ見をしているか判定することとしてもよい。このとき、制御部２１１は、運転手が自動車の進行方向以外の方向を見ている場合によそ見をしていると判定することとしてもよい。

車外撮影用カメラ２１９は、自動車内又は自動車外に設けられており、自動車外の風景を撮影した画像を制御部２１１に出力する。なお、車外撮影用カメラ２１９は、自動車外の全方位を撮影可能な構成とすることが好ましく、例えば、複数台のカメラで構成することとしてもよい。

スピーカー２２０は、自動車内に設けられており、制御部２１１の制御のもと、音声を出力する。

制御部２１１は、運転手がよそ見をしている場合に、よそ見をしている対象に関する情報を取得し、当該対象に関する情報を運転手に提供する。

具体的には、制御部２１１は、運転手が自動車の左側に位置する対象に対してよそ見している場合には、車外撮影用カメラ２１９により自動車の左側を撮影した画像データを取得し、当該画像データを提供する。画像データの提供方法としては、例えば、自動車が停止した場合等、安全が確保されている状態において画像データをタッチパネル２１５に表示したり、運転手の所有する端末装置に送信したりする（送信方法はＢｌｕｅｔｏｏｔｈ（登録商標）を利用した送信や、Ｅメール送信等任意の送信方法を利用することができる。以下同様）。

また、制御部２１１は、例えば、運転手が自動車の左側に位置する対象に対してよそ見している場合に、地図データに基づいてよそ見している方向にある地物を特定し、当該地物に関する画像データ、テキストデータ又は音声データをインターネット上又はプライベートネットワーク上にあるサーバから取得し、提供することとしてもよい。テキストデータの提供方法としては、例えば、テキストデータをタッチパネル２１５に表示したり、スピーカー２２０から音声で出力したり、運転手の所有する端末装置に送信したりする。音声データの提供方法も同様であるが、タッチパネル２１５に表示する場合には音声データをテキストデータに変換した上で表示する。また、運転手の所有する端末装置に送信する場合も音声データをテキストデータに変換した上で送信したり、添付データとして送信したりする。

なお、対象に関する提供する情報の種別（画像データ、テキストデータ、音声データ）については運転手が選択できることとし、制御部２１１は、運転手が選択した種別の情報を提供することが好ましい。また、運転手がよそ見をする場合、よそ見の対象を見たいという欲求があるため、運転者が情報の種別を選択しない場合には、対象に関する情報として画像データを提供することが好ましい。

また、制御部２１１は、運転手がよそ見をしている場合に、運転者に対して、よそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、を音声で行う。例えば、制御部２１１は、「その建物を撮影した画像を後で表示するので、よそ見を止めて運転に集中してください」といったメッセージをスピーカー２２０から音声で出力する。なお、制御部２１１は、運転手に画像データを提供する場合には、警告とともに、対象に関する画像データを提供することの報知を行うこととしてもよい。

［２．制御部２１１による警告処理］
次に、図３に示すフローチャートを用いて、制御部２１１による警告処理について説明する。なお、図３は、制御部２１１による警告処理の一例を示すフローチャートである。

まず、制御部２１１は、運転手がよそ見をしているか否かを判定する（ステップＳ１０１）。具体的には、制御部２１１は、視線計測デバイス２１７が計測した運転手の視線及び車内撮影用カメラ２１８が撮影した運転手の画像の少なくとも何れか一方に基づいて運転者がよそ見をしているか判定する。なお、車両が停止している場合にはよそ見の判定をしなくてもよい。また、交差点や踏切などにおいて運転手が安全確認のために左右に視線を移動させている場合などには、よそ見ではないと判定することが好ましい。よそ見をしていて安全上危険な場合にのみ運転者に警告をすべきだからである。

制御部２１１は、運転手がよそ見をしていないと判定した場合には（ステップＳ１０２：ＮＯ）、警告処理を終了する。一方、制御部２１１は、運転手がよそ見をしていると判定した場合には（ステップＳ１０２：ＹＥＳ）、運転手がよそ見をしている対象に関する情報を取得する（ステップＳ１０３）。具体的には、制御部２１１は、車外撮影用カメラ２１９が対象を撮影した画像データを取得したり、当該対象に関する画像データ、テキストデータ、音声データをサーバから取得したりする。

次に、制御部２１１は、運転手がよそ見をしている対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、を音声で行う（ステップＳ１０４）。

次に、制御部２１１は、取得した対象に関する情報を運転手に提供し（ステップＳ１０５）、警告処理を終了する。なお、制御部２１１は、取得した対象に関する情報が画像データであり、提供方法がタッチパネル２１５への表示である場合には、車両が停止している場合など、運転手がタッチパネル２１５に表示される画像を見つめても安全上問題無い状況で表示するのが好ましい。

以上説明したように、本実施例におけるよそ見警告装置２００は、制御部２１１（「判定手段」、「音声出力手段」の一例）が、自動車（「移動体」の一例）の運転者がよそ見をしているか否かを判定し、運転手がよそ見をしていると判定した場合に、運転者に対して、よそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、を音声で行う。

したがって、本実施例におけるよそ見警告装置２００によれば、自動車の運転者がよそ見をしている場合に、運転者に対してよそ見の対象に関する情報を提供することの報知と、よそ見を止めさせるための警告と、が音声で行われることから、運転手はよそ見の対象に関する情報を得られることを知って当該対象に対するよそ見をやめ、延いては、運転手がよそ見をしたまま運転を行うことを防止できる。

また、本実施例におけるよそ見警告装置２００は、視線計測デバイス２１７（「視線計測手段」の一例）が運転手の視線計測を行い、車内撮影用カメラ２１８及び制御部２１１（「運転手画像取得手段」の一例）が運転手を撮影した運転手画像を取得し、制御部２１１は、運転手画像及び視線計測の結果の少なくとも何れか一方に基づいて、運転者がよそ見をしているか否かを判定する。これにより、運転者のよそ見を判定することができる。

更に、本実施例におけるよそ見警告装置２００は、制御部２１１（「取得手段」、「提供手段」の一例）がよそ見の対象に関する情報を取得し、当該対象に関する情報を運転者に提供する。これにより、運転者に対してよそ見の対象に関する情報を提供することができる。

更にまた、本実施例におけるよそ見警告装置２００は、車外撮影用カメラ２１９（「撮影手段」の一例）がよそ見の対象を撮影し、制御部２１１が、車外撮影用カメラ２１９が撮影した画像データ（「画像情報」の一例）を取得し、当該画像データを運転者に提供する。これにより、運転者に対して自動車に設けられた車外撮影用カメラ２１９により、運転者がよそ見をしていた対象を撮影した画像データを提供することができる。

更にまた、本実施例におけるよそ見警告装置２００は、制御部２１１がよそ見の対象に関する画像データをサーバから取得し、当該画像データを運転者に提供することがある。これにより、車外撮影用カメラ２１９が撮影した画像データに加えてよそ見の対象の画像データを運転者に提供できる。また、例えば、車外撮影用カメラ２１９が障害物の存在や、時間帯、天候等の環境条件によりよそ見の対象を撮影できない場合であっても、サーバから取得した画像データを運転者に提供することができる。

更にまた、本実施例におけるよそ見警告装置２００は、制御部２１１が警告とともに、よそ見の対象に関する画像データを提供することの報知を運転者に行うことがある。これにより、運転者はよそ見の対象に関する画像データを得られることを知って当該対象に対するよそ見をやめ、延いては、運転手がよそ見をしたまま運転を行うことを防止できる。

更にまた、本実施例におけるよそ見警告装置２００は、制御部２１１がよそ見の対象に関する情報をサーバから取得し、当該情報を音声で提供する。これにより、運転者はよそ見の対象に関する情報を音声で得られることを知って当該対象に対するよそ見をやめ、延いては、運転手がよそ見をしたまま運転を行うことを防止できる。

なお、運転手に提供する画像データは、車外撮影用カメラ２１９が撮影した静止画像の画像データでも良い。また、車外撮影用カメラ２１９により常時、自動車の周囲を動画形式で録画しておき、制御部２１１は運転手のよそ見を検知した時刻（または下記変形例１で後述するように運転手の発話を検知した時刻）の前後を含む動画データ（よそ見の対象がある方向の動画データ）を画像データとして提供することとしてもよいし、また、当該時刻における動画から切り出して作成した静止画像の画像データを提供することとしても良い。

［３．変形例］
以下、本実施例の変形例について説明する。なお、本実施例及び変形例は適宜組み合わせることとしてもよい。
［３．１．変形例１］
本実施例では、常時、制御部２１１が運転手画像及び視線計測の結果の少なくとも何れか一方に基づいて運転者がよそ見をしているか否かを判定することとしたが、当該よそ見の判定を自動車内の乗員（運転手に限らない）の発話に基づいて行うこととしてもよい。具体的には、車内マイク２１６（「音声検知手段」の一例）に入力された音声により制御部２１１（「音声検知手段」の一例）が自動車内における、よそ見の対象に関する音声を検知した場合に、運転手がよそ見をしているか否かを判定してもよい。例えば、予め記憶部２１２に自動車外の対象に対して興味を示したことに対応するキーワード（キーフレーズを含む。例えば、「あれなんだ」、「あれ見て」、「新しい店」、「かっこいい建物」といったキーワード）を記憶させておき、制御部２１１は記憶部２１２に記憶されたキーワードを乗員が発話したことを検知した場合に、運転手のよそ見の判定を行う。これにより、運転手が自動車外の対象に視線を移す可能性が高い場合にのみよそ見の判定を行うため、常時、よそ見の判定を行わずに済む。

［３．２．変形例２］
制御部２１１は、よそ見の対象に関する情報を取得する際に、乗員が発話したキーワードを参考にして情報を取得してもよい。例えば、サーバから情報を取得する際には、当該キーワードを検索ワードとして検索することにより、適切な情報を取得することができる。

［３．３．変形例３］
本実施例では、運転手に対してよそ見の対象に関する情報を提供することとしたが、当該情報を運転手以外の者（例えば、同乗者や、自動車に同乗していない運転手の家族や知人等）に提供することとしてもよい。

［３．４．変形例４］
本実施例では、運転手に提供した情報が運転手の意図と異なる対象に関する情報であった場合（例えば、よそ見をしていた対象の隣にある別対象に関する情報を提供した場合）には、運転手がよそ見警告装置２００に対して対象の修正を指示する（例えば、「これの隣の建物」といった指示をする）一方、よそ見警告装置２００の制御部２１１は当該修正の指示に応じて改めて修正された対象に関する情報をインターネット上又はプライベートネットワーク上にあるサーバから取得し、提供し直すこととしてもよい。すなわち、制御部２１１（「命令取得手段」の一例）は、運転手に提供した情報に対応する対象とは異なる対象を指定する命令を取得した場合に、当該命令により指定された対象に関する情報を取得し、運転手に提供する。

制御部２１１は、よそ見の対象を特定するのに際して、運転手の同じ視線上に立つ建物を特定する場合において、同じ視線上に、道路沿い（ロードサイド）にある建物と、道路沿いより奥に立つ高い建物とがある場合に、何れかの建物の優先順位を高く設定し、優先順位の高い建物をよそ見の対象として特定することとしてよい。何れの建物の優先順位を高く設定するかは、予め運転手等が設定（例えば、前者の優先度を高く設定）しておくこととしても良いし、また、それぞれの建物についてサーバから情報を取得して、例えば、話題性の高い建物（例えばインターネット上での情報が多い建物）がある場合にはそちらの建物の優先順位を高く設定することしても良い。

１００ ：音声出力装置
１０１ ：判定手段
１０２ ：音声出力手段
２００ ：よそ見警告装置
２１１ ：制御部
２１１ａ ：ＣＰＵ
２１１ｂ ：ＲＯＭ
２１１ｃ ：ＲＡＭ
２１２ ：記憶部
２１３ ：通信部
２１４ ：表示ユニット
２１４ａ ：グラフィックスコントローラ
２１４ｂ ：バッファメモリ
２１５ ：タッチパネル
２１６ ：車内マイク
２１７ ：視線計測デバイス
２１８ ：車内撮影用カメラ
２１９ ：車外撮影用カメラ
２２０ ：スピーカー

Claims (12)

1. 移動体の運転者がよそ見をしているか否かを判定する判定手段と、
   前記運転手が前記よそ見をしていると判定した場合に、前記運転者に対して、前記よそ見の対象に関する情報を提供することの報知と、前記よそ見を止めさせるための警告と、を音声で行う音声出力手段と、
   を備えることを特徴とする音声出力装置。
2. 請求項１に記載の音声出力装置であって、
   前記運転手を撮影した運転手画像を取得する運転手画像取得手段及び前記運転手の視線計測を行う視線計測手段の少なくとも何れか一方を備え、
   前記判定手段は、前記運転手画像及び前記視線計測の結果の少なくとも何れか一方に基づいて、前記運転者がよそ見をしているか否かを判定することを特徴とする音声出力装置。
3. 請求項２に記載の音声出力装置であって、
   前記判定手段は、前記運転手が前記移動体の進行方向以外の方向を見ている場合に前記よそ見をしていると判定することを特徴とする音声出力装置。
4. 請求項１乃至３の何れか一項に記載の音声出力装置であって、
   前記対象に関する情報を取得する取得手段と、
   前記対象に関する情報を提供する提供手段と、
   を備えることを特徴とする音声出力装置。
5. 請求項４に記載の音声出力装置であって、
   前記対象を撮影する撮影手段を備え、
   前記取得手段は前記撮影手段が撮影した画像情報を取得し、
   前記提供手段は前記取得手段が取得した画像情報を提供することを特徴とする音声出力装置。
6. 請求項４又は５に記載の音声出力装置であって、
   前記取得手段は前記対象に関する画像情報をサーバから取得し、
   前記提供手段は、前記取得手段が前記サーバから取得した画像情報を提供することを特徴とする音声出力装置。
7. 請求項５又は６に記載の音声出力装置であって、
   前記音声出力手段は、前記警告とともに、前記対象に関する画像情報を提供することの報知を行うことを特徴とする音声出力装置。
8. 請求項４乃至７の何れか一項に記載の音声出力装置であって、
   前記取得手段は前記対象に関する情報をサーバから取得し、
   前記提供手段は、前記取得手段が前記サーバから取得した情報を音声で提供することを特徴とする音声出力装置。
9. 請求項４乃至８の何れか一項に記載の音声出力装置であって、
   前記提供手段が提供した情報に対応する前記対象とは異なる対象を指定する命令を取得する命令取得手段を備え、
   前記取得手段は、前記命令により指定された前記対象に関する情報を取得し、
   前記提供手段は、前記取得手段が取得した、前記命令により指定された前記対象に関する情報を提供することを特徴とする音声出力装置。
10. 請求項１乃至９の何れか一項に記載の音声出力装置であって、
    前記移動体内における前記対象に関する音声を検知する音声検知手段を備え、
    前記判定手段は、前記対象に関する音声を検知した場合に、前記運転手が前記よそ見をしているか否かを判定することを特徴とする音声出力装置。
11. 音声出力装置による音声出力方法であって、
    移動体の運転者がよそ見をしているか否かを判定する判定工程と、
    前記運転手が前記よそ見をしていると判定した場合に、前記運転者に対して、前記よそ見の対象に関する情報を提供することの報知と、前記よそ見を止めさせるための警告と、を音声で行う音声出力工程と、
    を含むことを特徴とする音声出力方法。
12. 音声出力装置に含まれるコンピュータを、
    移動体の運転者がよそ見をしているか否かを判定する判定手段、
    前記運転手が前記よそ見をしていると判定した場合に、前記運転者に対して、前記よそ見の対象に関する情報を提供することの報知と、前記よそ見を止めさせるための警告と、を音声で行う音声出力手段、
    として機能させることを特徴とする音声出力プログラム。

Images