JP2023079861A - 制御装置、制御方法およびプログラム - Google Patents

Abstract

【課題】コンテンツ再生の機会を適切に搭乗者に提供する制御装置を提供する。【解決手段】制御装置は、車両の走行環境を認識する認識手段と、前記車両の搭乗者の感情を推定する推定手段と、前記認識手段により認識された走行環境と、前記推定手段により推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定手段と、前記決定手段により決定されたコンテンツを再生させるための制御を行う制御手段とを備える。【選択図】図４

Description

本発明は、コンテンツの再生のための制御を行う制御装置、制御方法およびプログラムに関する。

特許文献１には、車両の走行状況を判断し、音源が再生可能なコンテンツの中から車両の走行状況に対応する属性を有するコンテンツを選択し、その選択したコンテンツの再生を搭乗者に提案する装置が記載されている。

特開２０１８－６３１３３号公報

しかしながら、車両の走行状況の判断結果に基づいてコンテンツ再生の提案を行う場合、その提案によるコンテンツの再生の機会が頻繁となって搭乗者に煩わしさを感じさせてしまうことが考えられる。

本発明は、コンテンツ再生の機会を適切に搭乗者に提供する制御装置、制御方法およびプログラムを提供することを目的とする。

本発明に係る制御装置は、車両の走行環境を認識する認識手段と、前記車両の搭乗者の感情を推定する推定手段と、前記認識手段により認識された走行環境と、前記推定手段により推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定手段と、前記決定手段により決定されたコンテンツを再生させるための制御を行う制御手段とを備えることを特徴とする。

本発明に係る制御方法は、制御装置において実行される制御方法であって、車両の走行環境を認識する認識工程と、前記車両の搭乗者の感情を推定する推定工程と、前記認識工程において認識された走行環境と、前記推定工程において推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定工程と、前記決定工程において決定されたコンテンツを再生させるための制御を行う制御工程とを有することを特徴とする。

本発明に係るプログラムは、コンピュータを、車両の走行環境を認識する認識手段、前記車両の搭乗者の感情を推定する推定手段、前記認識手段により認識された走行環境と、前記推定手段により推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定手段、前記決定手段により決定されたコンテンツを再生させるための制御を行う制御手段、として機能させる。

本発明によれば、コンテンツ再生の機会を適切に搭乗者に提供することができる。

車両用制御装置の構成を示す図である。 制御ユニットの機能ブロックを示す図である。 サーバの構成を示す図である。 コンテンツの再生制御の処理を示すフローチャートである。 コンテンツの再生制御の処理を示すフローチャートである。 コンテンツ再生を薦めるメッセージ画面を示す図である。 コンテンツの再生制御の処理を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の一実施形態に係る車両制御装置（走行制御装置）のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。

［第１実施形態］
図１の走行制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。

ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は、操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析により、例えば、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２は、Light Detection and Ranging（LIDAR）であり、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、検知ユニット４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各検知ユニット４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラやレーダ等、種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は、車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報、気象情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は、現在地から目的地へのルート探索等を行う。なお、データベース２４ａには、上記の交通情報や気象情報などのデータベースが構築されても良い。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置２５ａは、各種の通信機能を有し、例えば、専用狭域通信（ＤＳＲＣ：Dedicated Short Range Communication）機能やセルラー通信機能を有する。通信装置２５ａは、送受信アンテナを含むＴＣＵ（Telematics Communication Unit）として構成されても良い。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は、車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は、車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は、運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は、運転者に対して音声により情報を報知する。表示装置９２は、運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席正面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。また、表示装置９２は、ナビゲーション装置を含んでも良い。

入力装置９３は、運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、マイク等の音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は、例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは、車両１の停止状態を維持するために作動することができる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

ＥＣＵ２０が実行する車両１の自動運転に関わる制御について説明する。ＥＣＵ２０は、運転者により目的地と自動運転が指示されると、ＥＣＵ２４により探索された案内ルートにしたがって、目的地へ向けて車両１の走行を自動制御する。自動制御の際、ＥＣＵ２０はＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得して認識を行い、取得した情報及び認識結果に基づきＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、加減速を制御する。

図２は、制御ユニット２と本実施形態で用いられる処理部２３０の機能ブロックを示す図である。制御部２００は、図１の制御ユニット２に対応し、外界認識部２０１、自己位置認識部２０２、車内認識部２０３、行動計画部２０４、駆動制御部２０５、デバイス制御部２０６を含む。各ブロックは、図１に示す１つのＥＣＵ、若しくは、複数のＥＣＵにより実現される。なお、制御部２００の機能は、主に車両１の自動運転走行において実行されるが、搭乗者により車両１の運転が行われる場合でも、制御部２００の機能は実現可能である。例えば、搭乗者により車両１の運転が行われる場合においても、本実施形態の動作を実現する処理部２３０と制御部２００とが連携することにより、外界認識部２０１や車内認識部２０３の機能が実行される。図２の制御部２００、処理部２３０の構成は、プログラムを実施するコンピュータとなり得る。

外界認識部２０１は、外界認識用カメラ２１１及び外界認識用センサ２１２からの信号に基づいて、車両１の外界情報を認識する。ここで、外界認識用カメラ２１１は、例えば図１のカメラ４１であり、外界認識用センサ２１２は、例えば図１の検知ユニット４２、４３である。外界認識部２０１は、外界認識用カメラ２１１及び外界認識用センサ２１２からの信号に基づいて、例えば、交差点や踏切、トンネル等のシーン、路肩等のフリースペース、他車両の挙動（速度や進行方向等）を認識する。自己位置認識部２０２は、ＧＰＳセンサ２１５からの信号に基づいて車両１の現在位置を認識する。ここで、ＧＰＳセンサ２１５は、例えば、図１のＧＰＳセンサ２４ｂに対応する。

車内認識部２０３は、車内認識用カメラ２１３、車内認識用センサ２１４からの信号に基づいて、車両１の搭乗者を識別し、また、搭乗者の状態を認識する。車内認識用カメラ２１３は、例えば、車両１の車内の表示装置９２上に設置された近赤外カメラであり、例えば、撮影された画像データから搭乗者の視線の方向を検出する。また、車内認識用センサ２１４は、例えば、搭乗者の生体信号を検知し生体情報を取得するためのセンサである。生体情報とは、例えば、脈拍、心拍数、体重、体温、血圧、発汗、睡眠情報といった生体に関わる情報である。車内認識用センサ２１４は、そのような生体に関わる情報を例えば搭乗者のウエアラブルデバイスから取得するようにしても良い。車内認識部２０３は、それらの信号に基づいて、搭乗者の居眠り状態、運転以外の作業中の状態、であることなどを認識する。

行動計画部２０４は、外界認識部２０１、自己位置認識部２０２による認識の結果に基づいて、最適経路、リスク回避経路など、車両１の行動を計画する。行動計画部２０４は、例えば、交差点や踏切等の開始点や終点に基づく進入判定、他車両の挙動の予測結果に基づく行動計画を行う。駆動制御部２０５は、行動計画部２０４による行動計画に基づいて、駆動力出力装置２１６、ステアリング装置２１７、ブレーキ装置２１８を制御する。ここで、駆動力出力装置２１６は、例えば、図１のパワープラント６に対応し、ステアリング装置２１７は、図１の電動パワーステアリング装置３に対応し、ブレーキ装置２１８は、ブレーキ装置１０に対応する。

デバイス制御部２０６は、制御部２００に接続されるデバイスを制御する。例えば、デバイス制御部２０６は、スピーカ２１９、マイク２２０を制御し、警告やナビゲーションのためのメッセージ等、所定の音声メッセージを出力させ、車両内の搭乗者が発話した音声信号を検知し音声データを取得する。また、例えば、デバイス制御部２０６は、表示装置２２１を制御し、所定のインタフェース画面を表示させる。表示装置２２１は、例えば表示装置９２に対応する。また、例えば、デバイス制御部２０６は、ナビゲーション装置２２２を制御し、ナビゲーション装置２２２での設定情報を取得する。また、デバイス制御部２０６は、楽曲等のコンテンツを再生するコンテンツ再生装置２２３を制御し、スピーカ２１９を介して音楽等を再生する。通信インタフェース２２４は、例えば図１の通信装置２５ａに対応し、サーバ等の外部の装置や他の車両との間の通信を制御する。また、通信インタフェース２２４は、複数の通信方式それぞれに対応した構成を含み、例えば、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信に対応した構成を有する。通信の一部もしくは全てにおいて有線通信が行われるようにしても良い。その場合、別途、有線接続のためのコネクタ部が設けられる。また、通信インタフェース２２４は、例えば、３Ｇやセルラー、ＬＴＥ通信等の携帯電話網に代表される無線通信網やインターネット回線に接続可能である。

制御部２００は、図２に示す以外の機能ブロックを適宜含んでも良く、例えば、通信装置２４ｃを介して取得した地図情報に基づいて目的地までの最適経路を算出する最適経路算出部を含んでも良い。また、制御部２００が、図１に示すカメラやセンサ以外から情報を取得しても良く、例えば、通信装置２５ａを介して他の車両の情報を取得するようにしても良い。また、制御部２００は、ＧＰＳセンサ２１５だけでなく、車両１に設けられた各種センサからの検知信号を受信する。例えば、制御部２００は、車両１のドア部に設けられたドアの開閉センサやドアロックの機構センサの検知信号を、ドア部に構成されたＥＣＵを介して受信する。それにより、制御部２００は、ドアのロック解除や、ドアの開閉動作を検知することができる。

本実施形態では、制御部２００と相互に通信可能に処理部２３０が構成されている。処理部２３０は、車両１の搭乗者の音声や顔画像を認識し、その認識結果から搭乗者の感情を推定する。また、処理部２３０は、楽曲に相当するコンテンツを取得し、取得されたコンテンツから再生対象のコンテンツを決定し、コンテンツ再生装置２２３で再生させるよう制御部２００に要求する。

音声認識部２３１は、マイク２２０で入力された音声信号を分析し、言語分析などを行う。その際、音声認識部２３１は、音声信号の抑揚やテンポ等の特徴量の取得を行う。画像認識部２３２は、車内認識用カメラ２１３で撮像された画像データを分析し、顔認識を行う。感情推定部２３３は、音声認識部２３１及び画像認識部２３２の分析結果に基づいて、車両１の搭乗者の感情の推定を行う。感情推定は、例えば、音声認識部２３１により認識された音声の高さ、抑揚、テンポと、画像認識部２３２により認識された搭乗者の顔のパーツ（鼻、眉など）の位置及び形状の変化との少なくともいずれかに基づいて推定された笑顔等により、感情の変化を推定する。感情の変化の推定とは、例えば、笑顔や笑い声の認識により、感情の高揚を推定するということである。なお、感情推定部２３３は、音声認識部２３１及び画像認識部２３２以外の信号やデータを用いても良い。例えば、感情推定部２３３は、車内認識用センサ２１４で検知された生体情報を用いて、感情の変化を推定しても良い。

コンテンツ記憶部２３４は、楽曲に相当するコンテンツを記憶している。コンテンツ記憶部２３４に記憶されているコンテンツは、例えば、車両１の搭乗者が保持するスマートフォン等の携帯端末やインターネットを介して外部から取得されたコンテンツ及びメタデータ等のコンテンツ情報である。なお、上記のコンテンツ情報には、歌詞、メロディー、テンポ、波長解析データ、発売時期、アーティスト名、楽器種別、タイアップ情報、曲名又はアルバム名称、製作国、レーベル種別、撮影場所の情報、が含まれる。コンテンツ情報は、さらに、上記の情報に基づいて生成された情報を含んでも良い。コンテンツ分析部２３５は、コンテンツ記憶部２３４に記憶されたコンテンツ及びコンテンツ情報を分析する。例えば、コンテンツ分析部２３５は、コンテンツ記憶部２３４に記憶された歌詞情報をテキスト分析する。コンテンツ決定部２３６は、コンテンツ記憶部２３４に記憶されたコンテンツから、コンテンツ分析部２３５による分析結果に基づいて、再生対象のコンテンツを決定する。コンテンツ決定部２３６により再生対象のコンテンツが決定されると、処理部２３０は、制御部２００に決定された再生対象のコンテンツの情報と再生要求を送信する。そして、制御部２００は、決定された再生対象のコンテンツをコンテンツ再生装置２２３で再生させる。

走行情報分析部２３７は、制御部２００から走行情報を所定の時間間隔で取得し分析する。ここで、走行情報は、車両１の位置情報と、外界認識部２０１により得られた認識結果とを含む。走行情報分析部２３７は、取得した認識結果から、例えば、車両１が走行しているシーンが変化したか否かを判定する。

図３は、車両１が通信インタフェース２２４を介して通信可能なサーバ３００の構成を示す図である。サーバ３００は、車両の走行情報と、再生されたコンテンツの情報とを対応付けたデータを、予め登録されたユーザ（搭乗者）ごとに記憶したデータベース３３０を有する。

サーバ３００は、制御部３１０、記憶部３２０を備える。制御部３１０は、プロセッサ３１１、メモリ３１２を備え、サーバ３００を統括的に制御する。本実施形態におけるサーバ３００の動作は、メモリ３１２に記憶されたプログラムをプロセッサ３１１が実行することにより実現される。通信インタフェース３１３は、外部のネットワーク媒体に応じた通信インタフェース構成を有する。サーバ３００と車両１は、通信インタフェース３１３を介して相互に通信が可能であり、例えば、サーバ３００は、車両１から走行情報と、再生されたコンテンツの情報を受信し、搭乗者情報と関連付けて記憶部３２０内に構成されたデータベース３３０に登録する。例えば、図３に示すように、車両Ａから送信された走行情報３４１及びコンテンツ情報３４２が、車両Ａの搭乗者Ａと関連付けられた履歴情報３４０として登録される。また、車両Ｂから送信された走行情報３５１及びコンテンツ情報３５２が、車両Ｂの搭乗者Ｂと関連付けられた履歴情報３５０として登録される。走行情報は、例えば、車両１の位置情報でも良い。また、コンテンツ情報は、コンテンツを識別可能な情報であれば、例えば、タイトルやアーティスト名でも良い。また、サーバ３００は、図１で説明した地図情報、交通情報、気象情報それぞれに対応するデータベースを、地図情報３６１、交通情報３６２、気象情報３６３として有する。

図４は、本実施形態におけるコンテンツの再生制御の処理を示すフローチャートである。図４の処理は、例えば、処理部２３０を構成するＥＣＵ等のプロセッサが不図示のメモリに記憶されたプログラムを読み出して実行することにより実現される。また、図４の処理は、車両１が走行を開始したことが制御部２００から処理部２３０に通知されると開始される。

Ｓ１０１において、処理部２３０は、コンテンツ分析部２３５により、コンテンツ記憶部２３４に記憶されたコンテンツのテキスト情報の特徴を分析する。例えば、処理部２３０は、コンテンツ記憶部２３４に記憶された歌詞情報に含まれるワードを類似するもの同士でクラスタリングし、その分析結果に基づいて、記憶されているコンテンツを、地名、シーン、季節などで特徴でタグ付けする。例えば、コンテンツＡについて、その歌詞に特定の地名が多く含まれている場合には、その地名でタグ付けする。また、その歌詞に「海」に関連したワードが多く含まれている場合には、そのシーン名「海」でタグ付けする。

Ｓ１０２において、処理部２３０は、走行情報分析部２３７により、制御部２００から車両１の位置情報及び外界認識部２０１の認識結果を走行環境の情報として取得し分析する。一方、Ｓ１０２の処理と並行して、Ｓ１０３において、処理部２３０は、音声認識部２３１により、車両１の搭乗者の音声信号に基づいて音声認識を行い、画像認識部２３２により、車両１の搭乗者の画像情報に基づいて顔認識を行う。そして、処理部２３０は、感情推定部２３３により、搭乗者の感情を推定する。なお、Ｓ１０２の処理とＳ１０３の処理は、車両１が走行している間、所定の時間間隔で繰り返し行われる。

Ｓ１０４において、処理部２３０は、走行情報分析部２３７により、外界認識部２０１の認識結果に基づいて、走行環境の変化の有無を判定する。本実施形態では、走行環境の変化とは、所定の走行シーンへの変化をいう。所定の走行シーンへの変化とは、登場者の運転の負荷が軽減されると推測されるシーンへの変化をいう。なお、ここでの運転の負荷の軽減とは、登坂から降坂に移行するような運転操作に関わるトルク等から推定される運転負荷の軽減のみならず、運転者の精神的な負荷の軽減も含む。精神的な負荷を軽減させる走行シーンへの変化として、例えば、渋滞が解消された等の交通量の変化や、天候が好転した、サービスエリアから高速へ合流した、目的地までの所定距離内に近づいた、走行経路において地域の堺を跨いだ（例えば県境を跨いだ、目的地のある市に入った）、といった走行シーンの変化である。その際、交通量の変化は、例えば、サーバ３００の交通情報データベース３６２から取得した交通情報や車両１の速度の変化に基づいて判定されても良い。また、目的地までの所定距離内に近づいたか否かは、例えば、車両１の位置情報、地図情報に基づいても判定されても良い。また、天候の変化は、例えば、サーバ３００の気象情報データベース３６３から取得した気象情報や車両１に設けられたカメラ、センサ、温度計、湿度計の情報に基づいて判定されても良い。また、高速への合流や目的地までの距離の変化は、例えば、サーバ３００の地図情報データベース３６１から取得した地図情報に基づいて判定されても良い。また、運転者の精神的な負荷が軽減されるようなシーンの変化とは、建物が少なくなり視界が広がるような条件を満たす走行シーンへの変化、例えば、海が見えた、トンネルを抜けた、景色が広がった、といったことを含む。そのような走行シーンへの変化は、例えば、外界認識部２０１による認識結果の変化が上記の条件を満たすか否かに基づいて判定されても良い。また、上記のように、運転者の精神的な負荷が軽減されるようなシーンの変化には、目的地までの所定距離内に近づくことが含まれており、目的地までの接近の程度に基づいて、運転者の精神的な負荷の軽減を定量化するようにしても良い。例えば、目的地に所定距離（５０ｋｍなど）分近づくごとに、目的地までの距離に対する接近距離の割合分、精神的な負荷が低減されていると判定されても良い。

また、上記では、所定の走行シーンへの変化の有無を判定することを説明したが、他の構成でも良い。例えば、Ｓ１０２で取得した位置情報をサーバ３００に送信し、車両１もしくは搭乗者に対応する履歴情報に、その位置情報もしくは近傍の位置情報が記憶されているか否かを問い合わせるようにしても良い。その場合、問合せの結果、位置情報が記憶されている場合には、車両１が過去に走行した土地を再び走行しているとして、走行環境に変化があると判定しても良い。そのような構成により、例えば、搭乗者の思い出の土地を再び走行している場合には、そのことをコンテンツ再生のトリガとすることができる。

また、例えば、処理部２３０が制御部２３０から運転者の運転操作のトルク等の信号や、搭乗者の生体情報を検知するようにし、その変化を以てＳ１０４で走行環境に変化があると判定しても良い。

Ｓ１０４で走行環境に変化がないと判定された場合、Ｓ１０８に進む。一方、Ｓ１０４で走行環境に変化があると判定された場合、Ｓ１０５に進む。

Ｓ１０５において、処理部２３０は、感情推定部２３３により、搭乗者の感情の推定結果の変化の有無を判定する。本実施形態では、感情の推定結果の変化とは、「喜び」等の高揚の感情が認識されたことをいう。例えば、感情推定部２３３は、音声認識部２３１により笑い声が認識された場合や、画像認識部２３２により笑顔が認識された場合には、「喜び」の感情を認識する。Ｓ１０５で感情の推定結果の変化がないと判定された場合、Ｓ１０８に進む。一方、Ｓ１０５で感情の推定結果の変化があると判定された場合、Ｓ１０６に進む。

Ｓ１０６において、処理部２３０は、コンテンツ決定部２３６により、コンテンツ記憶部２３４に記憶されたコンテンツから、再生対象のコンテンツを決定する。例えば、コンテンツ決定部２３６は、現在の位置情報に対応する地名でタグ付けされたコンテンツを再生対象として決定する。また、例えば、コンテンツ決定部２３６は、現在の車両１が走行しているシーンでタグ付けされたコンテンツを再生対象として決定する。このようなコンテンツの決定基準は、コンテンツ分析部２３５がコンテンツ記憶部２３４に記憶されたコンテンツの対する分析結果に応じて決定されるようにしても良い。例えば、分析の結果、「地名」「シーン」「季節」といったように、複数種類のタグが取得された場合には、現在の車両１の走行環境（位置、シーン、季節など）に合致すると判断されるコンテンツが再生対象として決定されるようにしても良い。その場合、決定されるコンテンツは、１つであっても良いし、複数であっても良い。

Ｓ１０７において、処理部２３０は、コンテンツ決定部２３６により決定されたコンテンツをコンテンツ再生装置２２３で再生するよう制御部２００に要求する。制御部２００は、処理部２３０からの要求に応じて、コンテンツ再生装置２２３でコンテンツ決定部２３６により決定されたコンテンツを再生させる。

Ｓ１０８において、処理部２３０は、車両１の現在位置が終着点近傍であるか否かを判定する。Ｓ１０８の判定は、処理部２３０が制御部２００に問い合わせることにより行われても良い。Ｓ１０８で終着点近傍でないと判定された場合、Ｓ１０２及びＳ１０３からの処理が繰り返される。一方、Ｓ１０８で終着点近傍であると判定された場合、Ｓ１０９に進む。

Ｓ１０９において、処理部２３０は、走行情報分析部２３７により取得された走行情報および再生されたコンテンツの情報を、車両１もしくは搭乗者の識別情報とともにサーバ３００に送信する。Ｓ１０９で送信される走行情報は、少なくとも、コンテンツが再生されたときの車両１の位置情報を含む。即ち、外界認識部２０１の認識結果は送信されなくても良い。サーバ３００は、車両１から受信した、走行情報およびコンテンツ情報を、搭乗者情報と関連付けてデータベース３３０に格納する。Ｓ１０９の後、図４の処理を終了する。

以上のように、本実施形態によれば、車両の走行環境に変化があり、且つ、搭乗者の感情に変化があったと判断された場合には、走行環境に対応するような楽曲が再生される。そのような構成により、搭乗者の感情の変化に沿った適切な頻度で、現在の走行環境に適した楽曲の再生を提供することができる。

［第２実施形態］
以下、第１実施形態と異なる点について第２実施形態を説明する。第１実施形態では、Ｓ１０６で再生対象のコンテンツが決定されると、ユーザ操作を介することなく、Ｓ１０７で楽曲が再生されていた。本実施形態では、再生対象のコンテンツが決定されると、そのコンテンツの情報を搭乗者に対して通知する。そして、搭乗者からの再生指示を受け付けた場合に、そのコンテンツの再生を行う。

図５は、本実施形態におけるコンテンツの再生制御の処理を示すフローチャートである。図５の処理は、例えば、処理部２３０を構成するＥＣＵ等のプロセッサが不図示のメモリに記憶されたプログラムを読み出して実行することにより実現される。また、図５の処理は、車両１が走行を開始したことが制御部２００から処理部２３０に通知されると開始される。

Ｓ２０１～Ｓ２０６は、図４のＳ１０１～Ｓ１０６における説明と同じであるので、それらの説明を省略する。

Ｓ２０６で再生対象のコンテンツが決定されると、Ｓ２０７において、処理部２３０は、再生対象のコンテンツの情報を表示装置２２１に表示させるよう制御部２００に要求する。制御部２００は、処理部２３０から再生対象のコンテンツの情報を受信すると、表示装置２２１に、コンテンツ再生を薦めるメッセージ画面を表示する。

図６は、コンテンツ再生を薦めるメッセージ画面の一例を示す図である。図６に示すように、メッセージ画面６００には、曲の再生を薦めるメッセージ６０１が表示される。そして、メッセージ６０１の下には、再生対象となるコンテンツの情報６０２が表示される。図６では、情報６０２として、楽曲のタイトルとアーティスト名が表示される。なお、情報６０２には、一つのコンテンツのみについての情報が表示されているが、複数であっても良い。また、情報６０２として、タイトル、アーティスト名に限られず、他の情報が表示されても良い。例えば、再生時間等が表示されても良い。メッセージ画面６００には、ボタン６０３とボタン６０４が表示されている。ボタン６０３は、搭乗者からの楽曲再生の指示を受付可能なボタンである。ボタン６０４は、搭乗者からの楽曲を再生しない指示を受付可能なボタンである。情報６０２として、複数のコンテンツが表示される場合、スクロールキーなどが表示されても良い。その場合、複数のコンテンツから搭乗者により所望のコンテンツが選択され、ボタン６０３が押下されることによって、搭乗者の所望のコンテンツが再生されることになる。

Ｓ２０８において、処理部２３０は、コンテンツの再生指示を受け付けたか否かを判定する。例えば、処理部２３０がボタン６０３の押下を検出した場合、コンテンツの再生指示を受け付けたと判定する。Ｓ２０８でコンテンツの再生指示を受付けなかったと判定された場合、Ｓ２０２及びＳ２０３からの処理が繰り返される。一方、Ｓ２０８でコンテンツの再生指示を受け付けたと判定された場合、Ｓ２０９に進む。

Ｓ２０９において、処理部２３０は、コンテンツ決定部２３６により決定されメッセージ画面６００上で選択されたコンテンツをコンテンツ再生装置２２３で再生するよう制御部２００に要求する。制御部２００は、処理部２３０からの要求に応じて、コンテンツ再生装置２２３でコンテンツ決定部２３６により決定されたコンテンツを再生させる。

Ｓ２１０及びＳ２１１は、Ｓ１０８及びＳ１０９における説明と同じであるので、それらの説明を省略する。

以上のように、本実施形態によれば、車両の走行環境に変化があり、且つ、搭乗者の感情に変化があったと判断される場合には、走行環境に対応するような楽曲の再生を薦めるようなメッセージが表示される。また、薦める対象のコンテンツが複数ある場合には、それらが表示されるので、搭乗者は、現在の車両の走行環境に対応するような楽曲の中でも特にお気に入りの楽曲を再生させることができる。

［第３実施形態］
以下、第１及び第２実施形態と異なる点について第３実施形態を説明する。第１及び第２の実施形態では、再生対象のコンテンツをコンテンツ記憶部２３４に記憶されているコンテンツから決定することを説明した。しかしながら、再生対象のコンテンツを外部のサーバ３００から取得するようにしても良い。

図３で説明したように、サーバ３００は、車両１の搭乗者と関連付けて、走行情報およびコンテンツ情報を蓄積している。つまり、コンテンツ情報と、そのコンテンツが再生されたタイミングでの位置情報とが関連付けて蓄積されている。本実施形態では、第１及び第２実施形態と同様に車両１の走行環境が変化し且つ搭乗者の感情が変化したと判定された場合、車両１は、サーバ３００に対して、現在の車両１の位置情報を送信するとともにコンテンツを要求する。そして、サーバ３００は、送信された位置情報と対応するコンテンツ情報をデータベースから検索し、それらの情報を車両１に対して送信する。そして、車両１は、サーバ３００から送信されたコンテンツ情報に基づいて、コンテンツの再生を行う。そのような構成により、再生されるコンテンツが、搭乗者が過去に走行した土地で再生した楽曲であれば、搭乗者の思い出の曲として再生させることができる。また、再生されるコンテンツが、他の搭乗者がその土地で再生した楽曲であれば、搭乗者に新鮮な感覚を提供することができる。

図７は、本実施形態におけるコンテンツの再生制御の処理を示すフローチャートである。図７の車両１の処理は、例えば、処理部２３０を構成するＥＣＵ等のプロセッサが不図示のメモリに記憶されたプログラムを読み出して実行することにより実現される。また、図７のサーバ３００の処理は、例えば、制御部３１０のプロセッサ３１１がメモリ３１２に記憶されたプログラムを読み出して実行することにより実現される。また、図７の処理は、図４のＳ１０５もしくは図５のＳ２０５で搭乗者の感情に変化があると判定された場合に開始される。

搭乗者の感情に変化があると判定された場合、Ｓ３０１において、車両１の処理部２３０は、車両１の現在の位置情報を送信するとともにコンテンツ情報を要求する。Ｓ３０２において、サーバ３００の制御部３１０は、Ｓ３０１で送信された位置情報に基づいて、データベース３３０を参照し、該位置情報に対応するコンテンツを検索する。Ｓ３０２では、制御部３１０は、データベース３３０に蓄積されている位置情報で、Ｓ３０１で送信された位置情報に合致するもしくは近傍の位置情報を検索する。その際、車両１の搭乗者に対応する履歴情報だけでなく、他の搭乗者に対応する履歴情報も検索の対象となる。位置情報に合致するもしくは近傍ではなく、所定の範囲に含まれることを条件としても良い。例えば、車両１の現在の位置情報が含まれる「県」等の地域であっても良い。

Ｓ３０３において、制御部３１０は、Ｓ３０１で送信された位置情報に対応する、例えば送信された位置情報に合致するもしくは近傍の位置情報の有無を判定する。対応する位置情報がなかったと判定された場合、Ｓ３０８において、制御部３１０は、検索されなかったことを示す情報を車両１に送信し、図７の処理を終了する。一方、対応する位置情報があったと判定された場合、Ｓ３０４に進む。

Ｓ３０４において、制御部３１０は、検索された位置情報に対応するコンテンツ情報を取得する。Ｓ３０４では、車両１の搭乗者に対応する履歴情報からコンテンツ情報が取得される場合もあれば、車両１の搭乗者と異なる搭乗者に対応する履歴情報からコンテンツ情報が取得される場合もある。Ｓ３０５において、制御部３１０は、Ｓ３０４で取得されたコンテンツ情報を、Ｓ３０１のコンテンツ要求に対する応答として車両１に送信する。

Ｓ３０６において、車両１の処理部２３０は、Ｓ３０５で送信されたコンテンツ情報を取得する。その際、処理部２３０は、通信インタフェース２２４及び制御部２００を介してコンテンツ情報を取得しても良いし、制御部２００を介さず、通信インタフェース２２４からコンテンツ情報を取得しても良い。

Ｓ３０７において、処理部２３０は、サーバ３００から送信されたコンテンツ情報に基づいて、再生対象のコンテンツの情報を表示装置２２１に表示させるよう制御部２００に要求する。制御部２００は、処理部２３０から再生対象のコンテンツの情報を受信すると、表示装置２２１に、コンテンツ再生を薦めるメッセージ画面を表示する。その後、図７の処理を終了する。

Ｓ３０７で表示されるメッセージ画面には、再生を薦めるコンテンツ情報が表示される。表示されるコンテンツ情報は、１つでも良いし、複数でも良い。また、Ｓ３０５でサーバ３００から送信されたコンテンツ情報についてすべてＳ３０７で表示するようにしても良いし、その一部について表示するようにしても良い。例えば、サーバ３００から送信されたコンテンツ情報のうち、コンテンツ記憶部２３４に記憶されているコンテンツに対応するコンテンツ情報を特定し、特定されたコンテンツ情報について表示するようにしても良い。その場合、Ｓ３０７で表示されるメッセージ画面は、図６と同様に、再生指示を受付可能なボタンを含んでも良い。また、サーバ３００から送信されたコンテンツ情報が、コンテンツ記憶部２３４に記憶されていないコンテンツに対応するものである場合、Ｓ３０７で表示されるメッセージ画面は、再生指示を受付可能なボタンを含まず、楽曲の情報を提供するに留まるようにしても良い。また、コンテンツ記憶部２３４に記憶されていないコンテンツに対応するものであっても、楽曲再生に制限等がない場合には、再生指示を受付可能なボタンを表示するようにしても良い。その場合、再生指示を受け付けると、処理部２３０は、通信インタフェース２２４を介して外部よりコンテンツを取得し、コンテンツ再生装置２２３で再生するよう制御部２００に要求する。

以上のように、本実施形態によれば、再生対象のコンテンツを外部のサーバ３００から取得する。そのような構成により、再生されるコンテンツが、搭乗者が過去に走行した土地で再生した楽曲であれば、搭乗者の思い出の曲として再生させることができる。また、再生対象のコンテンツが、他の搭乗者がその土地で再生した楽曲であれば、搭乗者に新しい楽曲の情報を提供することができる。

図４及び図５では、コンテンツ記憶部２３４に記憶されたコンテンツが再生対象となっていた。しかしながら、そのような構成に限られない。例えば、車両１の搭乗者が保持しているスマートフォン等の携帯端末に記憶されているコンテンツが再生対象となっても良い。その場合は、処理部２３４は、Ｓ１０１及びＳ２０１において通信インタフェース２２４を介して携帯端末と通信し、各携帯端末に記憶されているコンテンツの情報を分析する。そして、再生対象のコンテンツが決定された場合、処理部２３４は、そのコンテンツを保持する携帯端末に対して再生を指示するようにしても良い。また、図４、図５、図７では、コンテンツ情報を車両１の表示装置２２１に表示するとして説明した。しかしながら、そのような構成に限られない。例えば、車両１の搭乗者が保持しているスマートフォン等の携帯端末に情報を表示させるようにしても良い。また、上記のような構成は、携帯端末が処理部２３０と通信可能なアプリを予めダウンロードしておき、搭乗者がアプリを実行することで実現するようにしても良い。

また、図２の処理部２３０は、車両１に構成されるものとして説明したが、そのような構成に限られない。例えば、処理部２３０がサーバ等、外部の装置に構成されるようにしても良い。また、制御部２００の機能の一部を処理部２３０が実行可能に構成されても良いし、処理部２３０の機能の一部を制御部２００が実行可能に構成されても良い。

＜実施形態のまとめ＞
上記実施形態の制御装置は、車両の走行環境を認識する認識手段（２０１）と、前記車両の搭乗者の感情を推定する推定手段（２３３）と、前記認識手段により認識された走行環境と、前記推定手段により推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定手段（２３６）と、前記決定手段により決定されたコンテンツを再生させるための制御を行う制御手段（２３０）とを備える。また、制御装置は、前記認識手段により認識された走行環境について変化の有無を判定する第１判定手段（Ｓ２０４）、をさらに備え、前記決定手段は、前記第１判定手段により前記走行環境について変化があると判定された場合、前記再生対象のコンテンツを決定する。また、前記第１判定手段は、走行シーンが所定の走行シーンとなったときに前記走行環境について変化があると判定する。また、前記所定の走行シーンは、前記車両の搭乗者の運転の負荷が軽減されるような走行シーンである。また、前記第１判定手段は、前記車両の搭乗者の運転操作を示す信号と生体情報の少なくともいずれかの変化に基づいて、前記走行環境について変化の有無を判定する。また、制御装置は、前記推定手段により推定された感情について変化の有無を判定する第２判定手段（Ｓ２０５）、をさらに備え、前記決定手段は、前記第２判定手段により前記感情について変化があると判定された場合、前記再生対象のコンテンツを決定する。

そのような構成により、走行環境と搭乗者の感情とが変化したことに基づいて、コンテンツの再生の機会を搭乗者に適切に提供することができる。

また、前記制御手段は、前記決定手段により決定されたコンテンツを再生するようコンテンツ再生装置（２２３）を制御する。

そのような構成により、ユーザ操作を介することなく、コンテンツを再生することができる。

また、前記制御手段は、前記決定手段により決定されたコンテンツの情報を含む画面を表示装置（２２１、図６）に表示させる。また、前記画面は、コンテンツの再生の指示を受付可能であり（６０３）、前記制御手段は、前記指示を受け付けた場合に、コンテンツを再生するよう前記コンテンツ再生装置を制御する。

そのような構成により、ユーザ指示に応じて、コンテンツを再生することができる。

また、制御装置は、コンテンツの情報を分析する分析手段（２３５）、をさらに備え、前記決定手段は、前記分析手段による分析結果に基づいて、前記認識手段により認識された走行環境に対応すると判定されたコンテンツを前記再生対象のコンテンツとして決定する。また、前記分析手段は、前記コンテンツのテキスト情報の特徴を分析する。また、前記特徴は、地名、シーン、季節、の少なくともいずれかを含む。

そのような構成により、例えば、コンテンツの歌詞情報に多く含まれる地名を車両１が走行している場合には、そのコンテンツを再生することができる。

また、制御装置は、前記車両の位置情報に基づいて、該位置情報に対応するコンテンツの情報を外部の装置に要求する要求手段（Ｓ３０１）、をさらに備え、前記決定手段は、前記要求手段による要求に応じて前記外部の装置から取得したコンテンツを前記再生対象のコンテンツとして決定する。

そのような構成により、例えば、搭乗者や他の搭乗者が過去に走行した土地で再生したコンテンツを再生することができる。

また、前記認識手段は、前記車両の情報、交通情報、地図情報、気象情報の少なくともいずれかに基づいて、前記走行環境を認識する。

そのような構成により、例えば、車両の位置情報、速度情報、渋滞情報、天候、目的地に基づいて、走行シーンの変化を認識することができる。

また、前記推定手段は、音声、顔画像の少なくともいずれかに基づいて、前記車両の搭乗者の感情を推定する。そのような構成により、例えば、搭乗者が笑顔になったときに、コンテンツ再生の機会を提供することができる。

また、前記コンテンツは楽曲である。そのような構成により、走行環境と搭乗者の感情とに基づいて、楽曲の再生の機会を搭乗者に適切に提供することができる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１ 車両： ２００ 制御部： ２３０ 処理部： ２３１ 音声認識部： ２３２ 画像認識部： ２３３ 感情推定部： ２３４ コンテンツ記憶部： ２３５ コンテンツ分析部： ２３６ コンテンツ決定部： ２３７ 走行情報分析部： ３００ サーバ

Claims (18)

1. 車両の走行環境を認識する認識手段と、
   前記車両の搭乗者の感情を推定する推定手段と、
   前記認識手段により認識された走行環境と、前記推定手段により推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定手段と、
   前記決定手段により決定されたコンテンツを再生させるための制御を行う制御手段と、
   を備えることを特徴とする制御装置。
2. 前記認識手段により認識された走行環境について変化の有無を判定する第１判定手段、をさらに備え、
   前記決定手段は、前記第１判定手段により前記走行環境について変化があると判定された場合、前記再生対象のコンテンツを決定する、
   ことを特徴とする請求項１に記載の制御装置。
3. 前記第１判定手段は、走行シーンが所定の走行シーンとなったときに前記走行環境について変化があると判定することを特徴とする請求項２に記載の制御装置。
4. 前記所定の走行シーンは、前記車両の搭乗者の運転の負荷が軽減されるような走行シーンであることを特徴とする請求項３に記載の制御装置。
5. 前記第１判定手段は、前記車両の搭乗者の運転操作を示す信号と生体情報の少なくともいずれかの変化に基づいて、前記走行環境について変化の有無を判定することを特徴とする請求項２に記載の制御装置。
6. 前記推定手段により推定された感情について変化の有無を判定する第２判定手段、をさらに備え、
   前記決定手段は、前記第２判定手段により前記感情について変化があると判定された場合、前記再生対象のコンテンツを決定する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記制御手段は、前記決定手段により決定されたコンテンツを再生するようコンテンツ再生装置を制御することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記制御手段は、前記決定手段により決定されたコンテンツの情報を含む画面を表示装置に表示させることを特徴とする請求項７に記載の制御装置。
9. 前記画面は、コンテンツの再生の指示を受付可能であり、
   前記制御手段は、前記指示を受け付けた場合に、コンテンツを再生するよう前記コンテンツ再生装置を制御することを特徴とする請求項８に記載の制御装置。
10. コンテンツの情報を分析する分析手段、をさらに備え、
    前記決定手段は、前記分析手段による分析結果に基づいて、前記認識手段により認識された走行環境に対応すると判定されたコンテンツを前記再生対象のコンテンツとして決定する、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
11. 前記分析手段は、前記コンテンツのテキスト情報の特徴を分析することを特徴とする請求項１０に記載の制御装置。
12. 前記特徴は、地名、シーン、季節、の少なくともいずれかを含むことを特徴とする請求項１１に記載の制御装置。
13. 前記車両の位置情報に基づいて、該位置情報に対応するコンテンツの情報を外部の装置に要求する要求手段、をさらに備え、
    前記決定手段は、前記要求手段による要求に応じて前記外部の装置から取得したコンテンツを前記再生対象のコンテンツとして決定する、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
14. 前記認識手段は、前記車両の情報、交通情報、地図情報、気象情報の少なくともいずれかに基づいて、前記走行環境を認識することを特徴とする請求項１乃至１３のいずれか１項に記載の制御装置。
15. 前記推定手段は、音声、顔画像の少なくともいずれかに基づいて、前記車両の搭乗者の感情を推定することを特徴とする請求項１乃至１４のいずれか１項に記載の制御装置。
16. 前記コンテンツは楽曲であることを特徴とする請求項１乃至１５のいずれか１項に記載の制御装置。
17. 制御装置において実行される制御方法であって、
    車両の走行環境を認識する認識工程と、
    前記車両の搭乗者の感情を推定する推定工程と、
    前記認識工程において認識された走行環境と、前記推定工程において推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定工程と、
    前記決定工程において決定されたコンテンツを再生させるための制御を行う制御工程と、
    を有することを特徴とする制御方法。
18. コンピュータを、
    車両の走行環境を認識する認識手段、
    前記車両の搭乗者の感情を推定する推定手段、
    前記認識手段により認識された走行環境と、前記推定手段により推定された感情とが変化したことに基づいて、再生対象のコンテンツを決定する決定手段、
    前記決定手段により決定されたコンテンツを再生させるための制御を行う制御手段、
    として機能させるためのプログラム。

Images