JP2018027731A - 車載装置、車載装置の制御方法およびコンテンツ提供システム - Google Patents

Abstract

【課題】乗員の活動状態を的確に判定することが可能な車載装置、車載装置の制御方法およびコンテンツ提供システムを提供すること。
【解決手段】本発明に係る車載装置は、音声検知部と、画像解析部と、判定部とを備える。音声検知部は、車室内の音声から乗員の発話を検知する。画像解析部は、乗員が撮像された撮像画像を解析する。判定部は、音声検知部による検知結果と画像解析部による解析結果とに基づいて乗員の活動状態を判定する。
【選択図】図１Ａ

Description

本発明は、車載装置、車載装置の制御方法およびコンテンツ提供システムに関する。

従来、車載装置において、車両の乗員を撮像した撮像画像に基づいて乗員が起きている状態か睡眠状態かを判定し、判定結果に応じて車室内のオーディオの音量を調整する技術が知られている(特許文献１参照)。

特開平９−８３２７７号公報

しかしながら、上記の従来の技術では、乗員が起きている状態を判定することができるに過ぎず、乗員の会話の有無や、車外を眺めているといった乗員の活動状態を的確に判定することはできなかった。

本発明は、上記に鑑みてなされたものであって、乗員の活動状態を的確に判定することができる車載装置、車載装置の制御方法およびコンテンツ提供システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車載装置は、音声検知部と、画像解析部と、判定部とを備える。音声検知部は、車室内の音声から乗員の発話を検知する。画像解析部は、前記乗員が撮像された撮像画像を解析する。判定部は、前記音声検知部による検知結果と前記画像解析部による解析結果とに基づいて前記乗員の活動状態を判定する。

本発明によれば、乗員の活動状態を的確に判定することが可能な車載装置、車載装置の制御方法およびコンテンツ提供システムを提供することができる。

図１Ａは、本実施形態に係る車載装置の概要を示す図である。 図１Ｂは、本実施形態に係るコンテンツ提供システムの構成を示す図である。 図２は、本実施形態に係るコンテンツ提供システムの構成例を示すブロック図である。 図３は、判定部による判定処理の具体例を示すタイミングチャートである。 図４は、評価データベースの具体例を示す図である。 図５は、本実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

以下に、本発明に係る車載装置、車載装置の制御方法およびコンテンツ提供システムを添付図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。

まず、図１Ａを用いて本実施形態に係る車載装置の概要について説明する。図１Ａは、本実施形態に係る車載装置１の概要を示す図である。

図１Ａに示すように、車載装置１は、車両Ｃに搭載される。なお、図１Ａでは、車両Ｃに乗員として運転席にドライバＤと、後方座席に同乗者Ｐとが乗車している場面について図示している。

また、車載装置１は、車室内に配置されたマイク５およびカメラ６にそれぞれ接続される。例えば、マイク５は、車室内の音声を集音し、カメラ６は、車室内を前方から後方側に向けて、ドライバＤと、同乗者Ｐとを撮像する。

なお、図１Ａでは、マイク５を車両Ｃの前方に設置する場合について例示したが、これに限られず、設置位置は車室内の音声を集音可能な位置であれば足りる。また、マイク５の個数についても、各座席に設置するなど複数設置することにしてもよい。

ところで、上記した従来技術では、カメラ６によって撮像された撮像画像に基づいて乗員が起きている状態か睡眠状態かを判定していた。また、かかる従来技術では、乗員同士の会話の有無などについては考慮されておらず、どの乗員が会話に参加しているかなど詳細な乗員の活動状態については判定されていなかった。

ここで、活動状態とは、例えば、起きている状態、睡眠状態に加え、会話に参加している状態、楽しんでいる状態、退屈している状態などを含む。

そこで、本実施形態に係る車載装置１は、車室内の音声と、乗員の撮像画像とを併用することで、乗員の活動状態を判定することとした。

具体的には、車載装置１は、車室内の音声から発話を検知した場合、撮像画像からドライバＤと同乗者Ｐとの挙動（例えば、口の動き）を解析することで、ドライバＤと同乗者Ｐとのどちらが発話している状態かを判定する。このように、音声と撮像画像を併用することで、乗員の活動状態を的確に特定することができる。

また、例えば、車載装置１は、乗員の発話を一定時間検知していない状態で、同乗者Ｐの撮像画像から顔の向きや、表情などを解析する。解析の結果、例えば、同乗者Ｐが車窓の外を眺めていた場合、すなわち、同乗者Ｐが一定時間会話せずに車窓の外を眺めていた場合に、同乗者Ｐの活動状態を退屈として判定することもできる。

このように、車載装置１では、車室内の音声と、乗員の撮像画像とに基づいて乗員の活動状態を判定するため、乗員の活動状態を的確に判定することができる。

また、車載装置１では、判定した乗員の活動状態に応じて車室内にコンテンツを提供し、乗員に快適な車内環境を提供することができる。以下、図１Ｂ以降の図面を用いて、活動状態に応じたコンテンツを提供するコンテンツ提供システムについて説明する。

なお、コンテンツとは、例えば、音楽であるが、ラジオ放送などの音声や、アニメ、スポーツ、テレビ放送などの音声と動画との組み合わせであってもよい。

まず、図１Ｂを用いてコンテンツ提供システム１００の構成について説明する。図１Ｂは、本実施形態に係るコンテンツ提供システム１００の構成を示す図である。

図１Ｂに示すように、コンテンツ提供システム１００は、少なくとも１つの車載装置１と、コンテンツ提供サーバ５０とを含む。なお、図２では車載装置１が複数である場合の例を図示している。各車載装置１と、コンテンツ提供サーバ５０とは、ネットワークを介して互いに通信可能に接続され、互いに情報を送受信することができる。

また、車載装置１は、各車両Ｃ１、Ｃ２、・・・、Ｃｎ（ｎは１以上の自然数）にそれぞれ配置され、かかる車両Ｃ１、Ｃ２、・・・、Ｃｎの乗員の活動状態を判定する。そして、車載装置１は、判定した乗員の活動状態をコンテンツ提供サーバ５０に出力する。

コンテンツ提供サーバ５０は、車載装置１から乗員の活動状態を受信すると、乗員の活動状態に応じて最適なコンテンツを抽出し、抽出したコンテンツに関する情報(以下、「コンテンツ情報」と記載する)を車載装置１に送信する。

ここで、コンテンツ提供サーバ５０は、各車両Ｃに搭載された車載装置１からコンテンツの評価結果をビッグデータとして記憶する。そして、コンテンツ提供サーバ５０は、かかるビッグデータの中から乗員の活動状態に応じたコンテンツ情報を車載装置１に送信する。車載装置１は、かかるコンテンツ情報に基づいて車室内でコンテンツを提供する。

このように、コンテンツ提供システム１００では、コンテンツの評価結果に基づいてコンテンツ情報を更新していくので、車載装置１から送信される乗員の活動状態に応じて最適なコンテンツを提供することができる。

また、コンテンツ提供システム１００では、車載装置１がコンテンツ提供サーバ５０を介してコンテンツを提供するため、例えば、乗員が普段と違う車両(例えばレンタカーなど)に乗車する場合であっても、最適なコンテンツを提供することが可能となる。

以下、図２〜図５を用いてコンテンツ提供システム１００についてさらに詳細に説明する。まず、図２を用いて本実施形態に係るコンテンツ提供システム１００の構成例について説明する。図２は、本実施形態に係るコンテンツ提供システム１００の構成を示すブロック図である。

なお、図２では、説明を簡単にするために車載装置１が一つである場合について図示しているが、コンテンツ提供システム１００には、上記したように複数の車載装置１が含まれていてもよい。

図２に示すように、コンテンツ提供システム１００は、車載装置１と、コンテンツ提供サーバ５０とを備え、車載装置１およびコンテンツ提供サーバ５０は、広域通信網などのネットワークＮを介して接続される。

まず、車載装置１の構成について説明する。車載装置１は、制御部１０と、記憶部２０と、通信部３０とを備える。また、車載装置１は、マイク５と、カメラ６と、ナビゲーション装置４０とに接続される。また、車載装置１は、コンテンツをタッチパネルディスプレイ７と、スピーカ８とを介して車室内に提供する。

車載装置１の制御部１０は、例えば、ＣＰＵ（Central Processing Unit）であり、車載装置１の全体を制御する。また、制御部１０は、認証部１１と、収集部１２と、音声検知部１３と、画像解析部１４と、判定部１５と、選択部１６と、評価部１７とを備える。

認証部１１は、車室内の乗員を認証する。例えば、認証部１１は、乗員の撮像画像を用いた顔認証技術により乗員を認証する。具体的には、まず、認証部１１は、カメラ６から乗員を撮像した撮像画像を取得する。続いて、認証部１１は、撮像画像から乗員ごとに顔の特徴点を抽出し、抽出した特徴点と、記憶部２０の乗員データベース２１に登録された乗員の特徴点とを照合することで各乗員を認証する。

そして、認証部１１は、乗員データベース２１から認証した乗員に関する情報（以下、「乗員情報」と記載する）を取得する。かかる乗員情報は、名前、年齢、性別、趣味、好きな音楽などの情報を含む。なお、乗員情報は、例えば、乗員が乗車した際に、端末装置９から取得することができる。

また、カメラ６が図１Ａに示した位置に配置される場合、認証部１１は、撮像画像から各乗員の相対位置を検出する。そして、認証部１１は、認証した乗員の座席の位置を検出し、検出した座席の位置を乗員情報に関連付けて判定部１５に出力する。これにより、判定部１５は、認証した乗員がどの座席に乗車しているかを認識することができる。

なお、認証部１１による乗員の認証方法は、上記した例に限られず、乗員が所有するスマートフォンなどの端末装置９と通信し、端末装置９を認証することで、端末装置９ごとの所有者である乗員を認証することにしてもよい。あるいは、指紋認証や、声紋認証などといった生体認証によって乗員を認証することにしてもよい。

収集部１２は、車両Ｃの乗員の所有するスマートフォンやタブレット端末、パソコンなどを含む端末装置９に格納された情報を収集し、記憶部２０のコンテンツデータベース２２に記憶させる。かかる情報は、例えば、端末装置９に格納された音楽や動画のファイルであるが、ウェブの閲覧履歴などの情報であってもよい。

音声検知部１３は、車室内の音声から乗員の発話を検知する。具体的には、音声検知部１３は、車室内の音声を取得するマイク５から入力される音声信号から乗員の発話の有無や、発話の音量などを検知する。また、音声検知部１３は、検知結果を判定部１５に出力する。

なお、音声検知部１３は、乗員の発話以外の雑音成分を減衰させた音声信号から乗員の発話を検知することにしてもよい。また、音声検知部１３は、音声信号と、記憶部２０の乗員データベース２１に記憶される乗員の声紋とを照合することで、発話している乗員を特定することにしてもよい。さらに、音声検知部１３に、音声認証機能を備えることとし、発話内容をテキストデータに変換することにしてもよい。

画像解析部１４は、乗員が撮像された撮像画像を解析する。具体的には、画像解析部１４は、カメラ６から入力される乗員が撮像された撮像画像を取得すると、乗員ごとに顔の向き、表情、まぶたの開き具合などを含む挙動を解析する。

例えば、画像解析部１４は、撮像画像から各乗員の体の各部位の形状などを認識し、認識した各部位に対して例えば、テンプレート法を用いたマッチング処理を行うことで、乗員の挙動を解析する。そして、画像解析部１４は、解析結果を判定部１５に出力する。

判定部１５は、音声検知部１３による検知結果と画像解析部１４による解析結果とに基づいて乗員の活動状態を判定する。また、判定部１５は、判定した乗員の活動状態に応じてコンテンツを提供するか否かを判定する。

また、判定部１５は、音声検知部１３による検知結果に基づいて簡易的に乗員の活動状態を判定し、判定結果に基づいて画像解析部１４による解析結果を併用して乗員の活動状態を判定することにしている。

これは、一般的に画像解析部１４による画像解析処理は、音声検知部１３による検知処理よりも処理負荷が高く、画像解析部１４によって画像解析処理を常時行うと、制御部１０の処理負荷が高くなるためである。処理負荷が高くなると、制御部１０による他の処理の速度が低下するなど、好ましくない。

ここで、図３を用いて、かかる場合の判定部１５による判定処理の詳細について説明する。図３は、判定部１５による判定処理の具体例を示すタイミングチャートである。

なお、図３では、横軸に時間を示し、縦軸に音声検知部１３または画像解析部１４の起動状態を表している。そして、音声検知部１３および画像解析部１４が起動している状態を「ＯＮ状態」、停止している状態を「ＯＦＦ状態」と記載する。

同図に示すように、判定部１５は、音声検知部１３を常時ＯＮ状態とし、画像解析部１４を所定のタイミングでＯＦＦ状態からＯＮ状態に切り替える。

具体的には、例えば、同図に示す時刻ｔ１〜ｔ２の期間に音声検知部１３によって乗員の発話が検知されなかった場合や、かかる期間に音声検知部１３によって乗員の寝息やいびきなどが検知された場合などに、判定部１５は、画像解析部１４をＯＦＦ状態からＯＮ状態に切り替える。

そして、時刻ｔ２以降の期間において、判定部１５は、音声検知部１３による検知結果と、画像解析部１４による解析結果とを併用して乗員の活動状態を判定する。これは、発話が検知されなかった場合に、音声検知部１３による検知結果のみからでは乗員の活動状態を判定することが困難なためである。

具体的には、音声が検知されない場合には、活動状態として、睡眠状態の他、起きている状態であっても、例えば、スマートフォンを操作している状態や、車窓の外を眺めている状態など、複数の活動状態が考えられる。

また、寝息やいびきを検知した場合であっても、音声検知部１３による検知結果からでは、どの乗員が睡眠状態かを正確に判定することは困難となるためである。

したがって、かかる場合に、判定部１５は、音声検知部１３による検知結果に加え、画像解析部１４による解析結果を併用することで、乗員ごとに活動状態を判定する。

例えば、判定部１５は、時刻ｔ２以降の画像解析部１４による解析結果に基づいて、まぶたを閉じている乗員がいれば、かかる乗員の活動状態を睡眠状態として判定する。また、判定部１５は、画像解析部１４による解析結果に基づいて、まぶたが開いている乗員の活動状態を起きている状態と判定する。

さらに、判定部１５は、起きている状態と判定した乗員の中から、画像解析部１４による解析結果からまぶた以外の挙動に基づいて乗員の活動状態を判定することもできる。判定部１５は、顔の向きに基づいて車窓の外を見ている乗員がいた場合や、スマートフォンを操作している乗員がいた場合に、例えば、かかる乗員の活動状態を退屈として判定する。

なお、判定部１５は、乗員の活動状態の判定が完了すると、画像解析部１４をＯＮ状態からＯＦＦ状態に切り替える。

このように、判定部１５は、音声検知部１３の検知結果に基づいて画像解析部１４をＯＮ状態に切り替え、音声と撮像画像とに基づいて乗員の活動状態を判定する。これにより、制御部１０による処理負荷を軽減しつつ、乗員の活動状態を的確に判定することが可能となる。

なお、判定部１５は、音声検知部１３および画像解析部１４を常時ＯＮ状態にしておくことにしてもよいし、音声検知部１３を常時ＯＮ状態とし、画像解析部１４を所定の間隔でＯＦＦ状態とＯＮ状態とを切り替えることにしてもよい。

図２の説明に戻り、判定部１５の処理について説明を続ける。判定部１５は、判定した乗員の活動状態と閾値とを比較し、かかる活動状態が閾値以下である場合に、認証部１１から入力される乗員情報に各乗員の活動状態を関連付けて通信部３０を介してコンテンツ提供サーバ５０の抽出部６１に送信する。

かかる閾値は、例えば、退屈と判定した乗員の数が、乗員の半数を超えるか否かである。すなわち、車室内で会話が弾んでいない場合など、車室内が盛り上がりに欠ける場合に、コンテンツが車内に提供されることになる。

なお、例えば、睡眠状態の乗員がいた場合に、判定部１５は、かかる乗員を除外して閾値と比較することにしてもよい。また、上記した閾値は、一例にすぎず、任意に変更可能である。また、閾値を設けずに、例えば、少なくとも一人の乗員の活動状態を退屈と判定した場合に、コンテンツを提供することにしてもよい。

さらに、音声検知部１３によって発話している乗員を認識することができる場合、判定部１５は、例えば、所定期間（例えば、２０分間）における各乗員の発話回数をカウントする。

そして、かかる所定期間内に発話していない乗員がいた場合、画像解析部１４をＯＮ状態に切り替える。そして、判定部１５は、画像解析部１４の解析結果に基づいてかかる乗員の活動状態を判定することにしてもよい。

この場合、判定部１５は、乗員の表情などから、例えば、乗員の活動状態を退屈と判定した場合、退屈と判定した乗員の乗員情報を選択部１６に出力する。これにより、選択部１６では、かかる乗員情報に基づいてかかる乗員の退屈を解消するコンテンツを選択して提供することができる。

また、判定部１５は、運転者以外のすべての乗員の活動状態を睡眠状態と判定した場合、選択部１６にドライバーモードへの移行要求を出力する。そして、判定部１５は、運転者以外の乗員が起きた場合、すなわち、運転者以外の乗員の活動状態を睡眠以外の状態と判定した場合にドライバーモードの解除要求を選択部１６に出力する。なお、ドライバーモードの詳細については、後述する。

つづいて、コンテンツ提供後の判定部１５による処理について説明する。判定部１５は、コンテンツ提供後、所定のタイミングで乗員の活動状態を再度判定する。

具体的には、判定部１５は、選択部１６がコンテンツを選択した場合、すなわち、コンテンツの提供を開始した場合に、選択部１６から提供通知を取得する。なお、かかる提供通知には、提供中のコンテンツのコンテンツ名が含まれるものとする。

判定部１５は、提供通知を取得してから、例えば１５分後に音声検知部１３による検知結果および画像解析部１４による解析結果に基づいて乗員ごとに活動状態を判定する。そして、判定部１５は、かかる活動状態と、提供通知を取得以前に判定した最も新しい活動状態と、提供中のコンテンツ名とを評価部１７に出力する。

ここで、コンテンツ提供システム１００では、退屈であった活動状態がコンテンツの提供後に会話が盛り上がった場合など、かかるコンテンツの評価値を高くする。一方、退屈であった活動状態がコンテンツの提供後に退屈を維持していた場合、提供するコンテンツを過去に盛り上がったコンテンツに変更することができる。

このように、コンテンツの提供前後で活動状態を判定することで、コンテンツの提供によって車室内の雰囲気が良くなるように学習していくことができる。

評価部１７は、コンテンツ提供後、所定のタイミングで判定部１５により判定された活動状態に基づいてコンテンツを評価する。なお、かかるコンテンツの評価結果は乗員ごとにコンテンツ提供サーバ５０の評価データベース７１に管理される。

具体的には、評価部１７は、コンテンツの提供前後における乗員の活動状態の推移に基づいてコンテンツを評価する。まず、評価部１７は、判定部１５からコンテンツ提供前とコンテンツ提供後における各乗員の活動状態と、コンテンツ名とを取得する。続いて、評価部１７は、コンテンツ提供前後の活動状態を乗員ごとに比較する。

比較の結果、例えば、コンテンツ提供前後で、乗員の活動状態が退屈から楽しい状態や、会話している状態へ移行していた場合、評価部１７は、評価データベース７１にかかる乗員におけるコンテンツの評価値を「＋１」加算した値に更新する。

また、例えば、かかる比較の結果、乗員の活動状態が、退屈が維持されていた場合などに、判定部１５は、評価データベース７１にかかる乗員におけるコンテンツの評価値を「０」や「−１」加算した値に更新する。なお、評価データベース７１の詳細については、図４を用いて後述する。また、評価値の加算する値は、一例に過ぎず、例えば、コンテンツ提供前後の活動状態に基づく車内の盛り上がりの推移に応じて適宜変更することができる。また、評価値は、加算に限られず、乗算等によって評価値を更新することにしてもよい。

このように、コンテンツ提供システム１００では、コンテンツを評価し、コンテンツの評価結果を評価データベース７１に更新することができる。換言すると、コンテンツ提供システム１００では、車室内が盛り上がるコンテンツを学習していくことができる。これにより、評価値の高いコンテンツを提供することが可能となり、提供するコンテンツの質を向上させることができる。

また、コンテンツ提供システム１００では、評価データベース７２に乗員ごとにコンテンツの評価結果が管理されるため、乗員にあわせて最適なコンテンツを提供することが可能となる。

また、評価部１７は、乗員の活動状態として、退屈が維持されていた場合に、コンテンツを変更する変更指示をコンテンツ提供サーバ５０の抽出部６１に送信する。

抽出部６１では、かかる変更指示を受信すると、現在提供されているコンテンツと異なるコンテンツ情報を評価データベース７１から抽出し、抽出したコンテンツ情報を車載装置１の選択部１６に送信する。

なお、かかる場合に、抽出部６１は、現在のコンテンツよりも評価値が高いコンテンツを抽出することが好ましい。これにより、乗員の退屈を解消する確率を向上させることができる。

選択部１６は、判定部１５の判定結果に基づいて車室内に提供するコンテンツを選択する。具体的には、まず、選択部１６は、コンテンツ提供サーバ５０から判定部１５の判定結果に基づいて抽出されたコンテンツ情報を受信する。続いて、選択部１６は、かかるコンテンツ情報に基づいてコンテンツデータベース２２からコンテンツを選択する。なお、コンテンツ情報は、例えば、コンテンツのコンテンツ名や、かかるコンテンツが属するジャンルなどの情報を含む。

そして、選択部１６は、選択したコンテンツをタッチパネルディスプレイ７やスピーカ８を介して車室内に提供する。このように、選択部１６は、判定部１５の判定結果に基づいて乗員の活動状態に応じたコンテンツを選択して提供するため、乗員の活動状態にあわせて快適な車内環境を提供することが可能となる。

また、選択部１６は、活動状態が退屈と判定された乗員の端末装置９に格納された情報に基づいてコンテンツを提供することもできる。具体的には、選択部１６は、判定部１５で退屈と判定された乗員の乗員情報が入力された場合、コンテンツデータベース２２からかかる乗員の端末装置９に格納されていた音楽や動画を選択して提供することもできる。

これにより、かかる乗員が会話に参加するきっかけを提供するとともに、かかる乗員が会話に参加しない場合であっても、乗員の好きなコンテンツが提供されるため、快適な車内空間を提供することができる。

なお、選択部１６は、収集部１２がかかる乗員の端末装置９から収集した音楽や動画およびウェブの閲覧履歴などからかかる乗員が好むコンテンツの傾向を解析し、かかる解析結果に基づいてコンテンツを選択することにしてもよい。

続いて、ドライバーモードへの移行要求が入力された場合の選択部１６による処理について説明する。選択部１６は、判定部１５からかかる移行要求が入力された場合、運転者の好みにあったコンテンツをコンテンツデータベース２２から選択して提供する。

ここで提供されるコンテンツは、例えば、運転者の端末装置９に格納されていた音楽や動画である。なお、かかる場合に、乗員の睡眠を邪魔しないようにコンテンツの音量を下げることにしてもよい。また、選択部１６は、ドライバーモード中に、タッチパネルディスプレイ７の表示態様を運転者にあわせて切り替えることもできる。

具体的には、選択部１６は、タッチパネルディスプレイ７に表示する操作ボタンの配置を運転者が使う頻度が高い順に使いやすい位置に切り替えたり、タッチパネルディスプレイ７の背景画像を運転者の好きなキャラクターなどに切り替えたりすることもできる。

このように、ドライバーモードでは、運転者の好みにあわせたコンテンツが提供されるとともに、運転者にあわせてタッチパネルディスプレイ７の表示態様が変更される。このため、運転者は快適に運転することが可能となり、また、運転者のイライラを低減させることもできる。また、タッチパネルディスプレイ７の操作性を向上させることもできる。なお、かかるドライバーモードは、運転者が一人で乗車している場合にも適用することができる。

また、ドライバーモードでは、運転者による所定の操作で他の乗員を起こすこともできる。具体的には、例えば、ドライバーモードでは、タッチパネルディスプレイ７には、覚醒ボタンが表示される。

そして、選択部１６は、運転者による覚醒ボタンの押下を検出した場合、例えば、オーディオの音量や、エアコンの風量を最大に設定することで、乗員の覚醒を促すことができる。これにより、例えば、目的地に到着する場合など、運転者が他の乗員を起こす状況が生じた場合に、容易に他の乗員を起こすことができる。

記憶部２０は、乗員データベース２１と、コンテンツデータベース２２とを備える。また、記憶部２０は、例えばＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。

続いて、コンテンツ提供サーバ５０の構成について説明する。コンテンツ提供サーバ５０は、車載装置１で提供したコンテンツの評価結果を管理するとともに、車載装置１から受信する乗員の活動状態に応じて最適なコンテンツ情報を送信する。

コンテンツ提供サーバ５０は、制御部６０と、記憶部７０と、通信部８０とを備える。制御部６０は、例えば、ＣＰＵであり、コンテンツ提供サーバ５０の全体を制御する。また、制御部６０は、抽出部６１を備える。

抽出部６１は、車載装置１からネットワークＮを介して送信される乗員情報に応じたコンテンツ情報を評価データベース７１から抽出し、抽出したコンテンツ情報を車載装置１の選択部１６に送信する。

ここで、図４を用いて抽出部６１によるコンテンツ情報の抽出処理について説明しておく。図４は、評価データベース７１の具体例を示す図である。また、図４では、コンテンツの評価値を１０段階で示し、数字が大きいほど、コンテンツの評価が高いものとする。また、ここでは、現在の車両の乗員が乗員Ａ〜Ｄであるものとして説明する。

抽出部６１は、車載装置１から乗員の活動状態を含む乗員情報を受信すると、かかる乗員情報に基づいてコンテンツを抽出する。例えば、乗員Ａ〜Ｄの活動状態が全て退屈である場合、抽出部６１は、評価データベース７１から、各乗員に対して評価値が高いコンテンツ情報を抽出する。

具体的には、例えば、抽出部６１は、コンテンツごとに各乗員の評価値の総和を算出し、算出した総和が最も大きいコンテンツを抽出する。

図４に示す例では、コンテンツ「ＹＹＹ」、「ＸＸＸ」、「ＺＺＺ」の乗員Ａ〜Ｄに対する評価値の総和は、それぞれ、「２０」、「１６」、「１５」であるため、抽出部６１は、コンテンツ「ＹＹＹ」を抽出し、コンテンツ「ＹＹＹ」のコンテンツ情報を車載装置１に送信する。

また、乗員Ａと乗員Ｄとが睡眠状態である場合、かかる乗員Ａと乗員Ｄとを除外してコンテンツ情報を抽出することにしてもよい。具体的には、かかる場合に、抽出部６１は、乗員Ｂと乗員Ｃとの評価結果からコンテンツ情報を抽出することにしてもよい。換言すると、起きている乗員を対象としてコンテンツ情報を抽出することにしてもよい。

具体的には、例えば、コンテンツごとに、乗員Ｂと乗員Ｃとの評価値の総和を算出し、かかる総和が最も高いコンテンツを抽出する。

図４に示す例では、乗員Ｂと乗員Ｃとに対するコンテンツ「ＹＹＹ」、「ＸＸＸ」、「ＺＺＺ」の評価値の総和は、それぞれ、「７」、「１３」、「９」であるため、抽出部６１は、かかる場合に、コンテンツ「ＸＸＸ」を抽出し、コンテンツ「ＸＸＸ」のコンテンツ情報を車載装置１に送信する。

このように、起きている乗員を対象としてコンテンツ情報を抽出するため、かかる乗員にあわせたコンテンツを提供することが可能となる。これにより、起きている乗員の好むコンテンツが提供されるため、かかる乗員に対して快適な車内環境を提供することができる。

また、抽出部６１は、乗員Ａ〜Ｄのコンテンツの評価結果が評価データベース７１に記憶されていない場合、乗員Ａ〜Ｄと、類似するグループに評価が高かったコンテンツ情報を抽出することもできる。

具体的には、例えば、抽出部６１は、乗員Ａ〜Ｄの乗員情報から、各乗員の年齢、性別などに基づいて年齢や性別が類似したグループのコンテンツの評価履歴を評価データベース７１から参照する。そして、抽出部６１は、かかるグループに評価が高かったコンテンツ情報を抽出することもできる。

また、抽出部６１は、最適なコンテンツが車載装置１のコンテンツデータベース２２にない場合、例えば、コンテンツ情報として最適なコンテンツのデータファイルを車載装置１に送信することもできる。

また、抽出部６１は、コンテンツ情報を抽出する場合に目的地までの所要時間に応じたコンテンツ情報を抽出することもできる。例えば、抽出部６１は、コンテンツ情報を抽出する場合に、ネットワークＮを介してナビゲーション装置４０から車両Ｃの現在地と目的地との情報を取得する。

そして、抽出部６１は、かかる現在地から目的地までの所要時間を算出し、算出した所要時間に応じた再生時間を有するコンテンツを抽出する。これにより、選択部１６では、所要時間に応じた再生時間を有するコンテンツが選択される。

これにより、車両が目的地までの途中で、コンテンツが終了したり、また、例えば、映画などのコンテンツが盛り上がっている場面で目的地に到着したりすることを回避することができる。

なお、抽出部６１は、渋滞情報を含む交通情報を交通情報サーバから取得し、かかる交通情報に基づいて所要時間を算出することにしてもよい。また、かかる再生時間を有するコンテンツは、一つのコンテンツであっても、複数のコンテンツの組み合わせであってもよい。

また、抽出部６１は、例えば、目的地や、季節、天候に応じて抽出するコンテンツを変更することにしてもよい。例えば、夏に海が目的地である場合、例えば、夏の海を連想させるコンテンツを選択的に抽出することにしてもよい。

また、抽出部６１は、例えば、乗員に幼児が含まれる場合、幼児向けのコンテンツを選択的に抽出することにしてもよいし、あるいは、かかる幼児の睡眠を誘発するようなコンテンツを提供することにしてもよい。

記憶部７０は、評価データベース７１を備える。また、記憶部７０は、例えばＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。なお、評価データベース７１については、図４を用いて既に説明したため、ここでの説明は省略する。

続いて、図５を用いて本実施形態に係る車載装置１が実行する処理手順について説明する。図５は、本実施形態に係る車載装置１が実行する処理手順を示すフローチャートである。なお、かかる処理は、車載装置１の制御部１０によって繰り返し実行される。

まず、制御部１０の認証部１１は、乗員を認証する（ステップＳ１０１）。続いて、音声検知部１３は、音声検知し（ステップＳ１０２）、画像解析部１４は、乗員を撮像した撮像画像から画像解析を行う（ステップＳ１０３）。

続いて、判定部１５は、音声検知部１３による検知結果と画像解析部１４による解析結果とに基づいて乗員の活動状態を判定する（ステップＳ１０４）。また、判定部１５は、運転者以外の全ての乗員は睡眠中か否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、運転者以外の全ての乗員が睡眠中である場合（ステップＳ１０５，Ｙｅｓ）、選択部１６は、ドライバーモードに切り替えて（ステップＳ１１０）、処理を終了する。

一方、ステップＳ１０５の判定において、判定部１５は、運転者以外の乗員が起きている状態と判定した場合に（ステップＳ１０５，Ｎｏ）、判定部１５は、乗員の活動状態が閾値以上であるかを判定する（ステップＳ１０６）。

ステップＳ１０６の判定において、活動状態が閾値以上であった場合（ステップＳ１０６，Ｙｅｓ）、判定部１５は、車室内は盛り上がっていると判定し、コンテンツを提供せずに処理を終了する。一方、ステップＳ１０６の判定において、活動状態が閾値未満である場合（ステップＳ１０６，Ｎｏ）、判定部１５は、各乗員の活動状態をコンテンツ提供サーバ５０に送信する（ステップＳ１０７）。

続いて、選択部１６は、コンテンツ提供サーバ５０から活動状態に基づいて抽出されたコンテンツ情報を受信する（ステップＳ１０８）。そして、選択部１６は、受信したコンテンツ情報に基づいてコンテンツを選択して提供する（ステップＳ１０９）。

また、判定部１５は、コンテンツ提供後、所定のタイミングで活動状態を判定する（ステップＳ１１１）。そして、評価部１７は、判定部１５の判定結果に基づいてコンテンツを評価し、評価結果をコンテンツ提供サーバ５０に送信して（ステップＳ１１２）、処理を終了する。

上述してきたように、本実施形態に係る車載装置１は、音声検知部１３と、画像解析部１４と、判定部１５とを備える。音声検知部１３は、車室内の音声から乗員の発話を検知する。画像解析部１４は、乗員が撮像された撮像画像を解析する。判定部１５は、音声検知部１３による検知結果と画像解析部１４による解析結果とに基づいて乗員の活動状態を判定する。したがって、乗員の活動状態を的確に判定することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 車載装置
１０ 制御部
１１ 認証部
１２ 収集部
１３ 音声検知部
１４ 画像解析部
１５ 判定部
１６ 選択部
１７ 評価部
５０ コンテンツ提供サーバ
１００ コンテンツ提供システム

Claims (9)

1. 車室内の音声から乗員の発話を検知する音声検知部と、
   前記乗員が撮像された撮像画像を解析する画像解析部と、
   前記音声検知部による検知結果と前記画像解析部による解析結果とに基づいて前記乗員の活動状態を判定する判定部と
   を備えることを特徴とする車載装置。
2. 前記判定部による判定結果に基づいて前記車室内に提供するコンテンツを選択する選択部
   を備えることを特徴とする請求項１に記載の車載装置。
3. 前記判定部は、
   前記コンテンツの提供後、所定のタイミングで前記活動状態を再度判定し、
   再度判定された前記活動状態に基づいて前記コンテンツを評価する評価部
   を備えることを特徴とする請求項２に記載の車載装置。
4. 前記乗員を認証する認証部
   をさらに備え、
   前記評価部は、
   前記コンテンツの評価結果を前記乗員ごとに管理すること
   を特徴とする請求項３に記載の車載装置。
5. 前記乗員の端末装置に格納された情報を収集する収集部
   をさらに備え、
   前記選択部は、
   前記判定部によって前記活動状態が退屈と判定された前記乗員の前記端末装置に格納された前記情報に基づいて前記コンテンツを選択すること
   を特徴とする請求項４に記載の車載装置。
6. 前記選択部は、
   前記判定部によって運転者以外の全ての前記乗員の前記活動状態が寝ていると判定された場合に、前記運転者の前記端末装置に格納された前記情報に基づいて前記コンテンツを選択すること
   を特徴とする請求項５に記載の車載装置。
7. 前記選択部は、
   目的地までの所要時間に応じた再生時間を有するコンテンツを選択すること
   を特徴とする請求項２〜６のいずれか一つに記載の車載装置。
8. 請求項１〜７のいずれか一つに記載の車載装置と、
   前記車載装置との通信により情報の送受信を行うサーバと
   を備えることを特徴とするコンテンツ提供システム。
9. 車室内の音声から乗員の発話を検知する音声検知工程と、
   前記乗員が撮像された撮像画像を解析する画像解析工程と、
   前記音声検知工程における検知結果と前記画像解析工程における解析結果とに基づいて前記乗員の活動状態を判定する判定工程と
   を含むことを特徴とする車載装置の制御方法。

Images