JP2020075720A - エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム - Google Patents

Abstract

【課題】車両の乗員に対して、これまでにない楽しみ方を提供することができるエクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムを提供すること。【解決手段】エクスペリエンス提供システムは、車両の乗員に関する情報を検出する乗員情報検出部と、前記車両の外部の情報を検出する外界情報検出部と、音声を出力する出力部と、表示を出力する仮想像生成部と、前記乗員情報検出部および前記外界情報検出部の検出結果に基づいて、前記出力部により出力される音声と前記仮想像生成部により出力される前記表示とを同期させて前記車両の乗員に対するインタラクションを動的に提供する提供部とを備える。【選択図】図１

Description

本発明の態様は、エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムに関する。
本願は、２０１７年６月１６日に、日本に出願された特願２０１７−１１８７０２号に基づき優先権を主張し、その内容をここに援用する。

従来、速度制御と操舵制御とのうち少なくとも一方を自動的に行う自動運転について研究が進められている。これに関連して、観察者が奥行き感を知覚できるように奥行きのある画像を表示させる技術が開示されている（例えば、特許文献１参照）。

特開２０１７−３０７３７号公報

従来の技術では、車両の乗員を楽しませることについて考慮がされていなかった。

本発明は、このような事情を考慮してなされたものであり、車両の乗員に対して、これまでにない楽しみ方を提供することができるエクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムを提供することを目的の一つとする。

本発明に係る、エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムは、以下の構成を採用した。
（１）：本発明の一態様は、車両の乗員に関する情報を検出する乗員情報検出部と、前記車両の外部の情報を検出する外界情報検出部と、音声を出力する出力部と、表示を出力する仮想像生成部と、前記乗員情報検出部および前記外界情報検出部の検出結果に基づいて、前記出力部により出力される音声と前記仮想像生成部により出力される前記表示とを同期させて前記車両の乗員に対するインタラクションを動的に提供する提供部と、を備えるエクスペリエンス提供システムである。

（２）：（１）の態様において、前記仮想像生成部は、前記車両のシートに対応する撮像画像に重畳するように仮想像を出現させるものである。

（３）：（１）の態様において、前記仮想像生成部は、前記乗員からみて前記車両のシート鏡像位置に対応するよう仮想像を出現させるものである。

（４）：（１）の態様において、前記提供部は、前記外界情報検出部によって検出された前記車両の外部の状況に基づいて、前記出力部より発話を行わせるタイミングを調整するものである。

（５）：（４）の態様において、前記外界情報検出部による前記車両の外部の情報の検出能力は、前記車両の乗員による前記車両の外部の情報の検出能力と同程度である。

（６）：（１）の態様において、前記提供部が提供する前記インタラクションは、前記乗員情報検出部が検出した車両内で聴取されている楽曲に対応した音声を含むものである。

（７）：（１）の態様において、前記提供部は、前記出力部が出力する楽曲と、前記仮想像生成部の出力する表示とを同期させるものである。

（８）：（７）の態様において、前記乗員情報検出部は、前記提供部が提供するインタラクションに対する前記車両の乗員の状態を検知して記憶する記憶部を備え、前記記憶部の状態を基に、前記車両の乗員が利用可能な前記インタラクションを変更するものである。

（９）：（１）の態様において、前記車両は、自動運転車両であり、前記提供部は、前記乗員情報検出部が前記車両の自動運転中であるか否かを判定するよう構成され、手動運転中に、前記インタラクションの少なくとも一部動作態様を制限するものである。

（１０）：（１）の態様において、前記提供部は、前記車両外に備えられる判定部を用いて前記インタラクションを実行するものである。

（１１）：（１）の態様において、前記乗員情報検出部および前記外界情報検出部の検知した信号を前記車両外で処理する外部処理部の出力により前記インタラクションを提供するものである。

（１２）：（１）の態様において、前記乗員情報検出部は、前記提供部による提供済みのインタラクションを検出可能に構成され、前記提供部は、前記提供済みのインタラクションを含む前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、前記車両の乗員に対するインタラクションを動的に提供するものである。

（１３）：（１）の態様において、前記提供部が提供すべき前記インタラクションが複数存在するとき、前記提供部は、前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、複数の前記インタラクションの実行タイミングまたは実行可否を決定するものである。

（１４）：（１）の態様において、前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部を備え、前記イベント判定部は、車両上でイベントを判定するローカル判定部と、前記車両と通信接続された外部サーバでイベントを判定するリモート判定部とからなるものである。

（１５）：（１）の態様において、前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部と、前記乗員情報検出部および前記外界情報検出部の検出結果に基づき前記提供部により提供されるインタラクションを制御するインタラクション制御部と、を備え、前記イベント判定部は、前記インタラクション制御部の実行中に並行して前記イベントの発生検知を継続するとともに、前記提供部は、前記インタラクションの提供中に検知した前記イベントの発生に基づき、前記インタラクションを動的に提供するものである。

（１６）：本発明の一態様は、車載コンピュータが、乗員情報を検出し、外界情報を検出し、音声を出力し、表示を出力し、前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像とを同期させて前記車両の乗員に対しインタラクションを動的に提供するエクスペリエンス提供方法である。

（１７）：本発明の一態様は、車載コンピュータに、乗員情報を検出させ、
外界情報を検出させ、音声を出力させ、表示を出力させ、前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像を同期させて前記車両の乗員に対しインタラクションを動的に提供させるエクスペリエンス提供プログラムである。

（１）、（５）、（１４）、（１６）または（１７）によれば、これまでにない楽しみ方を車両の乗員に提供することができる。

（２）によれば、仮想像が車両に同乗している錯覚を車両の乗員に与えることができる。

（３）によれば、仮想像が車両のシートに着座していると車両の乗員に錯視させることができる。

（４）によれば、仮想像の発話および動作が車両の乗員の状況および車両の外部の状況に応じて動的に変化する楽しみを乗員に提供することができる。

（６）によれば、車両の乗員の共感が得られる発話を仮想像に行わせることができる。

（７）または（８）によれば、これまでにないインタクラクションの楽しみ方を車両の乗員に提供することができる。

（９）によれば、車両の手動運転中の安全性を向上させることができる。

（１０）によれば、車両外に備えられる判定部を用いてインタラクションを実行することにより、車両内に判定部が設けられる場合よりも、車両のコストダウンを図ることができる。

（１１）によれば、乗員情報検出部および外界情報検出部の検知した信号を前記車両外で処理する外部処理部の出力によりインタラクションを提供することにより、車両のコストダウンを図ることができる。

（１２）または（１３）によれば、より乗員の状態または乗員の周辺の環境に適したインタラクションを乗員に提供することができる。

（１５）によれば、提供部は、インタラクションの提供中であっても、適切にインタラクションを乗員に提供することができる。

エクスペリエンス提供システムの構成図である。 乗員情報検出部を含む車載機器の一例を示す図である。 投影装置がフロントウインドウに仮想像および仮想シートを投影する一例を示す図である。 投影装置が左サイドウインドウに仮想像および仮想シートを投影する一例を示す図である。 投影装置がミラーに仮想像および仮想シートを投影する一例を示す図である。 ホログラム投影装置が車両の空席のシート上に仮想像を投影する一例を示す図である。 タッチパネル式ディスプレイが仮想像の顔を表示する一例を示す図である。 透過板型ディスプレイが仮想像の顔を表示する一例を示す図である。 発話生成部が観光スポットについての仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。 発話生成部が車両の乗員に歌唱を促す仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。 エクスペリエンス提供サーバおよび車両における処理の一例を説明するシーケンス図である。 自動運転機能を有する車両の構成図である。 自動運転の処理過程について説明するための図である。 エクスペリエンス提供システム１Ａに含まれる機能構成の一例を示す図である。 車両内でインタラクションが実行される場合の処理の流れを示すシーケンス図である。

以下、図面を参照し、本発明のエクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラムの実施形態について説明する。エクスペリエンス提供システムは、車両の乗員を楽しませるためのインタラクション（例えばエンタテイメントコンテンツ）を車両の乗員に対して提供するシステムである。インタラクションとは、車両内で聴取されている楽曲に対応した音声を含む。

［全体構成］
図１は、エクスペリエンス提供システム１の構成図である。エクスペリエンス提供システム１は、例えば、コンテンツを提供するコンテンツ提供サーバ１００と、コンテンツ提供サーバ１００からコンテンツの提供を受け、乗員に提供する車両２００とを備える。これらの構成要素は、ネットワークＮＷを介して互いに通信可能である。ネットワークＮＷは、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、プロバイダ装置、専用回線、無線基地局などを含む。

［車両］
まず、車両２００について説明する。車両２００は、例えば、通信部２１０と、乗員情報検出部２２０と、外界情報検出部２３０と、提供部２４０と、音声入力部２５０と、仮想像選択部２６０と、コンテンツ選択部２７０と、記憶部２８０とを備える。

通信部２１０は、例えば、ネットワークＮＷに接続するための無線通信モジュールである。通信部２１０は、Ｗｉ−Ｆｉ、ＤＳＲＣ（Dedicated Short Range Communications）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の通信規格に基づいて無線通信を行う。通信部２１０として、用途に応じた複数のものが用意されてもよい。通信部２１０は、ネットワークＮＷを介してコンテンツ提供サーバ１００との間で通信を行う。

乗員情報検出部２２０は、車両２００の乗員に関する情報を検出する。乗員に関する情報とは、例えば、乗員の表情、乗員の発話の有無、車内のシートに乗員が着座しているか否かなどである。乗員情報検出部２２０は、例えば、車内カメラ、車内マイク、着座センサなどのうち一部または全部を含む。乗員情報検出部２２０は、例えば、車両２００の乗員に関する情報を所定周期で検出し、通信部２１０およびネットワークＮＷを介してコンテンツ提供サーバ１００に検出した情報を送信する。

外界情報検出部２３０は、車両２００の外部の情報を検出する。外部の情報とは、例えば、車外の景色、車外の音などである。外界情報検出部２３０は、例えば、車外カメラ、車外マイクなどのうち一部または全部を含む。外界情報検出部２３０は、例えば、車両２００の外部の情報を所定周期で検出し、通信部２１０およびネットワークＮＷを介してコンテンツ提供サーバ１００に検出した情報を送信する。

提供部２４０は、例えば、仮想像生成部２４２と、音声出力部２４４と、コンテンツ再生部２４６とを備える。仮想像生成部２４２は、例えば、車両２００の乗員を楽しませるための人物の仮想像を生成する。仮想像生成部２４２は、コンテンツ提供サーバ１００から受信した元データに基づいて、車両２００の乗員が視認可能な人物の仮想像（表示）を出現させる。仮想像生成部２４２は、例えば、投影装置、ウインドウ、ミラー、ディスプレイ、ホログラム投影装置などのうち一部または全部を含む。

音声出力部２４４は、例えば、車両２００の乗員を楽しませるための音声を出力する。音声出力部２４４は、コンテンツ提供サーバ１００から受信した元データに基づいて、音声を出力する。音声出力部２４４は、例えばスピーカを含む。

コンテンツ再生部２４６は、音声出力部２４４が出力する音声と仮想像生成部２４２が出現させる仮想像の動作とを同期（または協調）させた車両２００の乗員に対するコンテンツを提供する。つまり、コンテンツ再生部２４６は、音声出力部２４４が出力する音声（例えば楽曲）と、仮想像生成部２４２の出力する表示（例えば仮想像の動作）とを同期させる。コンテンツ再生部２４６は、例えば、特開２０１６−４１１４２号公報に記載されたＭＭＤ（MikuMikuDance）を用いることによって、音声と仮想像の動作とを協調（つまり、連動）させる。

音声入力部２５０は、例えば、車両２００の乗員の歌声などの入力を受け付ける。音声入力部２５０は、例えば歌唱用マイクを含む。音声入力部２５０は、通信部２１０およびネットワークＮＷを介してコンテンツ提供サーバ１００の例えば歌唱力採点部１３４に車両２００の乗員の歌声などを示す信号（データ）を送信する。

仮想像選択部２６０は、仮想像生成部２４２が出現させる人物の仮想像の車両２００の乗員による選択を受け付ける。仮想像選択部２６０は、受け付けた選択内容を示すデータをコンテンツ提供サーバ１００に送信する。

コンテンツ選択部２７０は、コンテンツ提供サーバ１００によって提供されるコンテンツの車両２００の乗員による選択を受け付ける。コンテンツ選択部２７０は、受け付けた選択内容を示すデータをコンテンツ提供サーバ１００に送信する。

記憶部２８０は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで実現される。記憶部２８０は、コンテンツ提供サーバ１００から受信した情報、乗員情報検出部２２０が検出した乗員に関する情報、外界情報検出部２３０が検出した車両２００の外部の情報、音声入力部２５０が受け付けた車両２００の乗員の歌声などのデータなどを記憶する。

図２は、乗員情報検出部２２０を含む車載機器の一例を示す図である。図２の例では、乗員情報検出部２２０は、車内カメラ２２０Ａと、車内マイク２２０Ｂと、着座センサ２２０Ｃとを含む。車内カメラ２２０Ａは、乗員の例えば顔を撮像して画像を出力する。車内カメラ２２０Ａは、撮像された画像のデータをコンテンツ提供サーバ１００に送信する。

車内マイク２２０Ｂは、車内の音声を取得する。車内マイク２２０Ｂは、取得された車内の音声のデータをコンテンツ提供サーバ１００に送信する。

着座センサ２２０Ｃは、着座センサ２２０Ｃにかかる圧力に基づいて、着座センサ２２０Ｃが備えられたシートに乗員が着座しているか否かを検出する。着座センサ２２０Ｃは、乗員が着座しているか否かを示す信号（データ）をコンテンツ提供サーバ１００に送信する。

図２の例では、外界情報検出部２３０は、車外カメラ２３０Ａ〜２３０Ｃと、車外マイク２３０Ｄとを含む。外界情報検出部２３０は、照度センサ、雨粒センサ、湿度センサ、ＧＮＳＳ受信機と地図情報とを備えるナビゲーション装置、ジャイロセンサ、車速センサなどを含んでもよい。

車外カメラ２３０Ａは、車両２００の前方の景色の画像を撮像する。車外カメラ２３０Ａは、撮像された景色の画像のデータをコンテンツ提供サーバ１００に送信する。

車外カメラ２３０Ｂは、車両２００の左側方の景色の画像を撮像する。車外カメラ２３０Ｂは、撮像された景色の画像のデータをコンテンツ提供サーバ１００に送信する。

車外カメラ２３０Ｃは、車両２００の右側方の景色の画像を撮像する。車外カメラ２３０Ｃは、撮像された景色の画像のデータをコンテンツ提供サーバ１００に送信する。

車外マイク２３０Ｄは、車外の音声を取得する。車外マイク２３０Ｄは、取得された車外の音声のデータをコンテンツ提供サーバ１００に送信する。

図２の例では、仮想像生成部２４２は、投影装置２４２Ａと、フロントウインドウ２４２Ｂと、左サイドウインドウ２４２Ｃと、ミラー２４２Ｅと、ホログラム投影装置２４２Ｇと、タッチパネル式ディスプレイ装置２４２Ｈと、透過板型ディスプレイ２４２Ｉとを含む。

投影装置２４２Ａは、フロントウインドウ２４２Ｂ、左サイドウインドウ２４２Ｃまたはミラー２４２Ｅに仮想像を投影し、車両２００の乗員が視認可能な仮想像を出現させる。ホログラム投影装置２４２Ｇは、空席のシート上に仮想像（ホログラム）を投影し、車両２００の乗員が視認可能な仮想像を出現させる。投影装置２４２Ａまたはホログラム投影装置２４２Ｇは、仮想像を少なくとも７０％以上の縮尺で出現させる。投影装置２４２Ａまたはホログラム投影装置２４２Ｇは、車両２００のシートに着座しているように車両２００の乗員によって錯視される仮想像を出現させる。

図３は、投影装置２４２Ａがフロントウインドウ２４２Ｂに仮想像ＶＭおよび仮想シートＶＳを投影する一例を示す図である。図３の例では、投影装置２４２Ａが、仮想シートＶＳに着座している仮想像ＶＭをフロントウインドウ２４２Ｂに出現させる。すなわち、仮想像生成部２４２は、シートに対応する撮像画像に重畳するように仮想像を出現させる。

図４は、投影装置２４２Ａが左サイドウインドウ２４２Ｃに仮想像ＶＭおよび仮想シートＶＳを投影する一例を示す図である。図４の例では、図２に双方向矢印で示すように水平方向に旋回して投影方向を変更可能な投影装置２４２Ａが、仮想シートＶＳに着座している仮想像ＶＭを左サイドウインドウ２４２Ｃに出現させる。

図５は、投影装置２４２Ａがミラー２４２Ｅに仮想像ＶＭおよび仮想シートＶＳを投影する一例を示す図である。図５の例では、投影装置２４２Ａが、仮想シートＶＳに着座している仮想像ＶＭをミラー２４２Ｅに出現させる。

図６は、ホログラム投影装置２４２Ｇが車両２００の空席のシートＳ上に仮想像ＶＭを投影する一例を示す図である。図６の例では、ホログラム投影装置２４２Ｇは、車両２００の乗員が視認可能な仮想像ＶＭを車両２００の空席のシートＳ上に出現させる。

図２に戻り、タッチパネル式ディスプレイ装置２４２Ｈは、仮想像を画面上に表示し、車両２００の乗員が視認可能な仮想像を出現させる。タッチパネル式ディスプレイ装置２４２Ｈは、例えば、仮想像を少なくとも７０％以上の縮尺で出現させる。

図７は、タッチパネル式ディスプレイ装置２４２Ｈが仮想像ＶＭの顔を表示する一例を示す図である。図７の例では、タッチパネル式ディスプレイ装置２４２Ｈが、仮想像ＶＭの顔をタッチパネル式ディスプレイ装置２４２Ｈの画面上に出現させる。

図２に戻り、透過板型ディスプレイ２４２Ｉは、例えば運転席と助手席との間に配置される。透過板型ディスプレイ２４２Ｉは、仮想像を画面上に表示し、車両２００の乗員が視認可能な仮想像を出現させる。透過板型ディスプレイ２４２Ｉは、例えば、仮想像を少なくとも７０％以上の縮尺で出現させる。透過板型ディスプレイ２４２Ｉは、例えば、透明基板上にＬＥＤが配列された透明ＬＥＤディスプレイ、透明基板の上に機能性有機材料の積層膜を２枚の電極で挟んだ有機ＥＬ（Electroluminescence）素子を並べた構造を有するＯＬＥＤ（Organic Light Emitting Diode）などである。透過板型ディスプレイ２４２Ｉが、例えば運転席のヘッドレストに埋設された投影装置と偏光板とを有するヘッドアップディスプレイ型のディスプレイであってもよい。

図８は、透過板型ディスプレイ２４２Ｉが仮想像ＶＭの顔を表示する一例を示す図である。図８の例では、透過板型ディスプレイ２４２Ｉが、仮想像ＶＭの顔を透過板型ディスプレイ２４２Ｉの画面上に出現させる。すなわち、仮想像生成部２４２は、乗員からみて車両のシート鏡像位置に対応するように仮想像を出現させる。

図２の例では、音声出力部２４４が、左前スピーカ２４４Ａと、右前スピーカ２４４Ｂと、左後スピーカ２４４Ｃと、右後スピーカ２４４Ｄとを含む。

音声入力部２５０は、例えば、歌唱用マイク２５０Ａを含む。

仮想像選択部２６０は、例えば、タッチパネル式ディスプレイ装置２４２Ｈを含む。車両２００の乗員は、例えば、タッチパネル式ディスプレイ装置２４２Ｈに対してタッチ入力を行うことによって、複数の人物の仮想像のうちから、仮想像生成部２４２が出現させる仮想像を選択する。

コンテンツ選択部２７０は、例えば、タッチパネル式ディスプレイ装置２４２Ｈを含む。車両２００の乗員は、例えば、タッチパネル式ディスプレイ装置２４２Ｈに対してタッチ入力を行うことによって、コンテンツ提供サーバ１００が提供可能な複数のコンテンツのうちから、所望のコンテンツを選択する。

［コンテンツ提供サーバ］
コンテンツ提供サーバ１００は、例えば、通信部１１０と、記憶部１２０と、制御部１３０とを備える。コンテンツ提供サーバ１００に含まれる機能構成のうち一部または全部は車両２００に搭載されてもよい。車両２００に含まれる機能構成のうち一部または全部はコンテンツ提供サーバ１００に搭載されてもよい。

通信部１１０は、例えば、ネットワークＮＷに接続するための通信モジュールである。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）を含む。通信部１１０は、ネットワークＮＷを介して車両２００との間で通信を行う。

記憶部１２０は、ＨＤＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭなどで実現される。記憶部１２０は、車両２００から受信した情報、車両２００に送信される情報、コンテンツ提供サーバ１００において生成された元データなどを記憶する。コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合には、カラオケコンテンツデータ１２２（例えば、伴奏音楽、歌詞などのデータ）が、記憶部１２０に記憶される。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１２０に記憶されたプログラムを実行することにより実現される。制御部１３０は、例えば、元データ生成部１３２と、歌唱力採点部１３４とを備える。これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。

元データ生成部１３２は、車両２００の音声出力部２４４が出力する音声（例えば、仮想像の歌唱や発話など）と車両２００の仮想像生成部２４２が生成する仮想像の動作とを協調させた車両２００の乗員に対するコンテンツの元データを生成する。従って、元データ生成部１３２は、例えば、発話生成部１３２Ａと、歌声生成部１３２Ｂと、動作生成部１３２Ｃとを備える。

発話生成部１３２Ａは、車両２００の仮想像生成部２４２が出現させる仮想像の発話（つまり、仮想像が話す音声）の元データを生成する。発話生成部１３２Ａは、ＡＩ（人工知能）を搭載し、自動音声応答（Interactive Voice Response）機能を備える。

ＡＩとは、コンピュータを使って、学習、推論、判断など人間の知能のはたらきを人工的に実現したものである。ＡＩには、機械学習およびディープラーニング（深層学習）も含まれる。機械学習とは、世の中の特定の事象についてデータを解析し、その結果から学習して、判断や予測を行うためのアルゴリズムを使用する手法を意味する。ディープラーニングとは、機械学習を実装するための手法を意味する。ディープラーニングでは、マシンによるあらゆる種類の支援が可能になる（あるいは、期待できる）方法でタスクを分類できる。機械学習と、ディープラーニングとは、ＡＩの学習のための技術である。機械学習は、開発者があらかじめすべての動作をプログラムするのではなく、ＡＩ自身がデータを解析し、法則性やルールを見つけ出す特徴を持っている。つまり、機械学習は、ＡＩのうちの、トレーニングにより特定のタスクを実行できるようになるものである。ディープラーニングは、機械学習をさらに発展させたものである。ディープラーニングでは、情報やデータを分析する際に使う枠組みが、機械学習とは異なっている。ディープラーニングでは、人間の神経を真似て作った多層構造のニューラルネットワークを用いることによって、コンピュータによるデータの分析および学習の能力が向上させられる。

自動音声応答機能とは、事前に録音された音声または動的に生成された音声を使用して、車両２００の乗員の発話に応答する機能である。

発話生成部１３２Ａは、車両２００の乗員情報検出部２２０によって検出された車両２００の乗員の発話に基づいて、仮想像の発話の元データを生成し、車両２００の乗員と仮想像との対話を成立させる。

発話生成部１３２Ａは、車両２００の外界情報検出部２３０によって検出された車両２００の外部の情報に基づいて、仮想像の発話の元データを生成してもよい。例えば、発話生成部１３２Ａは、外界情報検出部２３０の検出結果（例えば、雨が降り始めたこと、道路が混雑し始めたことなど）について仮想像の発話の元データを生成する。この場合、外界情報検出部２３０の検出能力は、乗員による車両２００の外部の情報の検出能力と同程度に設定される。その結果、発話生成部１３２Ａは、乗員の共感が得られる仮想像の発話の元データを生成することができる。例えば、発話生成部１３２Ａは、仮想像が向いている方向のみの情報に基づいて、仮想像の発話の元データを生成する。例えば、車両２００の移動に伴って乗員から見える範囲が狭くなったり、天候の悪化に伴って見通しが悪くなったりした場合には、外界情報検出部２３０の検出能力が、乗員による車両２００の外部の情報の検出能力の低下に合わせて低下させられる。

外界情報検出部２３０は、例えば、国際公開第２０１４／００７１７５号に記載された技術を用いることによって、雨が降り始めたことを検出する。この例では、車両２００の走行中、車外カメラ２３０Ａによって撮像された画像において、背景は遠方に流れていくにも関わらず、ほぼ同一位置に、一定時間以上、周囲より高輝度の個所がある場合に、外界情報検出部２３０は、この個所が車外カメラ２３０Ａのレンズに付着した水滴であると判定し、雨が降り始めたことを検出する。外界情報検出部２３０は、ネットワークＮＷを介してコンテンツ提供サーバ１００の発話生成部１３２Ａに雨が降り始めたことを示すデータを送信する。

外界情報検出部２３０は、例えば、特開平１１−０６４０３１号公報の図７に記載された技術を用いることによって、道路が混雑し始めたことを検出する。この例では、外界情報検出部２３０が、ＧＮＳＳ受信機と、ジャイロセンサと、車速センサとによって車両２００の現在位置を検出する。車速センサは、車両２００の車速を検出する。ジャイロセンサは、車両２００の進行方向を検出する。外界情報検出部２３０は、車両２００の車速が所定値以下の状態が所定時間以上継続した場合に、道路が混雑し始めたと判定する。外界情報検出部２３０は、ネットワークＮＷを介してコンテンツ提供サーバ１００の発話生成部１３２Ａに道路が混雑し始めたことを示すデータを送信する。

発話生成部１３２Ａは、外界情報検出部２３０が検出する例えば車外の観光スポットについての仮想像の発話の元データを生成してもよい。この例では、外界情報検出部２３０が、観光スポットを含む地図情報とＧＮＳＳ受信機とを備えるナビゲーション装置を有する。外界情報検出部２３０は、例えば、特許第５９２１１６２号公報に記載された技術を用いることによって、車両２００が観光スポットに位置することを検出する。外界情報検出部２３０は、ネットワークを介してコンテンツ提供サーバ１００の発話生成部１３２Ａに、車両２００が観光スポットに位置することを示すデータを送信する。コンテンツ提供サーバ１００の記憶部１２０は、複数の観光スポットのそれぞれの観光情報と、各観光スポットについての仮想像の発話のシナリオとを記憶している。発話生成部１３２Ａは、記憶部１２０に記憶されているシナリオに基づいて、その観光スポットについての仮想像の発話の元データを生成する。

図９は、発話生成部１３２Ａが観光スポットについての仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。まず、コンテンツ提供サーバ１００の制御部１３０は、車両２００の外界情報検出部２３０のナビゲーション装置が決定した車両２００の経路と、ナビゲーション装置が備える地図情報とを、ネットワークＮＷを介して取得する（ステップＳ１００）。制御部１３０は、取得された車両２００の経路上に観光スポットがあるか否かを判定する（ステップＳ１０１）。観光スポットが車両２００の経路上にない場合、本フローチャートのルーチンの処理が終了する。一方、観光スポットが車両２００の経路上にある場合、制御部１３０は、ナビゲーション装置のＧＮＳＳ受信機が検出した車両２００の現在位置を、ネットワークＮＷを介して取得する（ステップＳ１０２）。制御部１３０は、車両２００の現在位置と観光スポットとの距離を算出する（ステップＳ１０３）。制御部１３０は、外界情報検出部２３０の車速センサが検出した車両２００の車速を、ネットワークＮＷを介して取得する（ステップＳ１０４）。制御部１３０は、距離と車速とに基づいて、車両２００が観光スポットに到達するまでの所要時間を算出する（ステップＳ１０５）。コンテンツ提供サーバ１００の発話生成部１３２Ａは、観光スポットについての仮想像の発話の元データを生成し、ネットワークＮＷを介して車両２００の音声出力部２４４に送信する（ステップＳ１０６）。制御部１３０は、車両２００が観光スポットに到達したか否かを判定する（ステップＳ１０７）。車両２００が観光スポットに到達していない場合、制御部１３０は、所定時間経過後にステップＳ１０７を再度実行する。一方、車両２００が観光スポットに到達した場合、制御部１３０は、観光スポットについての仮想像の発話を車両２００の音声出力部２４４に出力させる制御信号を、ネットワークＮＷを介して音声出力部２４４に送信する（ステップＳ１０８）。このように制御部１３０は、車両の外部の状況に基づいて、音声出力部２４４に発話を出力させるタイミングを調整する。

発話生成部１３２Ａは、外界情報検出部２３０が検出する例えば車外の広告についての仮想像の発話の元データを生成してもよい。この例では、車両２００の記憶部２８０が、辞書データを記憶している。外界情報検出部２３０は、例えば、特開２０１５−１５３０３２号公報に記載された技術を用いることによって、車外カメラ２３０Ａ〜２３０Ｃが撮像した画像に含まれる文字列を認識する。具体的には、外界情報検出部２３０は、ＯＣＲ（Optical Character Recognition）によって、画像に含まれる文字列を認識する。特開２０１５−１５３０３２号公報に記載された技術では、認識された文字列に対する翻訳が行われるが、外界情報検出部２３０は、記憶部２８０に記憶されている辞書データに基づいて、認識された文字列が広告を意味するか否かの判定を行う。認識された文字列が広告を意味する場合、外界情報検出部２３０は、その広告の意味を示すデータをコンテンツ提供サーバ１００の発話生成部１３２Ａに、ネットワークＮＷを介して送信する。コンテンツ提供サーバ１００の記憶部１２０は、複数の広告のそれぞれについての仮想像の発話のシナリオを記憶している。発話生成部１３２Ａは、記憶部１２０に記憶されているシナリオに基づいて、その広告についての仮想像の発話の元データを生成する。

コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供しているにもかかわらず、車両２００の乗員がカラオケコンテンツの伴奏音楽に合わせて歌唱しない場合が考えられる。この場合、車両２００の乗員がカラオケコンテンツの伴奏音楽に合わせて歌唱していない旨の車両２００の音声入力部２５０の検出結果に基づいて、発話生成部１３２Ａは、車両２００の乗員に歌唱を促す仮想像の発話の元データを生成してもよい。この例では、音声入力部２５０の歌唱用マイクが検出した車両２００の乗員の歌声が、ネットワークＮＷを介してコンテンツ提供サーバ１００の制御部１３０に送信される。
制御部１３０は、受信した車両２００の乗員の歌声（詳細には、歌唱していないので、無音）と、カラオケコンテンツデータ１２２の伴奏音楽とに基づいて、車両２００の乗員が伴奏音楽に合わせて歌唱しているか否かを判定する。コンテンツ提供サーバ１００の記憶部１２０は、車両２００の乗員に歌唱を促す仮想像の発話のシナリオを記憶している。車両２００の乗員が伴奏音楽に合わせて歌唱していない場合、発話生成部１３２Ａは、記憶部１２０に記憶されているシナリオに基づいて、車両２００の乗員に歌唱を促す仮想像の発話の元データを生成する。車両２００の乗員が伴奏音楽に合わせて歌唱していない場合に、発話生成部１３２Ａが、伴奏音楽に合わせた仮想像の合いの手（掛け声および手拍子音）の元データを生成してもよい。発話生成部１３２Ａが仮想像の手拍子音の元データを生成する場合、動作生成部１３２Ｃは、手拍子音に合わせた仮想像の手拍子動作の元データを生成してもよい。

図１０は、発話生成部１３２Ａが車両２００の乗員に歌唱を促す仮想像の発話の元データを生成する処理などの流れの一例を示すフローチャートである。まず、コンテンツ提供サーバ１００の制御部１３０は、コンテンツ提供サーバ１００が車両２００の乗員にカラオケコンテンツを提供中であるか否かを判定する（ステップＳ２００）。コンテンツ提供サーバ１００がカラオケコンテンツを提供中ではない場合、本フローチャートのルーチンの処理が終了する。一方、コンテンツ提供サーバ１００がカラオケコンテンツを提供中である場合、制御部１３０は、車両２００の音声入力部２５０の歌唱用マイクが検出した車両２００の乗員の歌声を取得する（ステップＳ２０１）。制御部１３０は、車両２００の乗員が歌唱しているか否かを判定する（ステップＳ２０２）。車両２００の乗員が歌唱している場合、本フローチャートのルーチンの処理が終了する。一方、車両２００の乗員が歌唱していない場合、コンテンツ提供サーバ１００の発話生成部１３２Ａは、車両２００の乗員に歌唱を促す仮想像の発話の元データを生成し、ネットワークＮＷを介して車両２００の音声出力部２４４に送信する（ステップＳ２０３）。制御部１３０は、車両２００の乗員の歌声を取得する（ステップＳ２０４）。制御部１３０は、車両２００の乗員が歌唱し始めたか否かを判定する（ステップＳ２０５）。車両２００の乗員が歌唱し始めた場合、本フローチャートのルーチンの処理が終了する。一方、車両２００の乗員が歌唱し始めていない場合、発話生成部１３２Ａは、車両２００の乗員に歌唱を促す仮想像の掛け声の元データを生成し、ネットワークＮＷを介して車両２００の音声出力部２４４に送信する（ステップＳ２０６）。制御部１３０は、車両２００の乗員の歌声を取得する（ステップＳ２０７）。制御部１３０は、車両２００の乗員が歌唱し始めたか否かを判定する（ステップＳ２０８）。車両２００の乗員が歌唱し始めた場合、本フローチャートのルーチンの処理が終了する。一方、車両２００の乗員が歌唱し始めていない場合、動作生成部１３２Ｃが、車両２００の乗員に歌唱を促す仮想像の手拍子動作の元データを生成すると共に、発話生成部１３２Ａが、仮想像の手拍子音の元データを生成し、ネットワークＮＷを介して車両２００の仮想像生成部２４２および音声出力部２４４に送信する（ステップＳ２０９）。

歌声生成部１３２Ｂは、車両２００の音声出力部２４４が出力する仮想像の歌声の元データを生成する。コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合、歌声生成部１３２Ｂは、車両２００の音声出力部２４４が出力するカラオケコンテンツの伴奏音楽に合わせて歌唱する仮想像の歌声の元データを生成してもよい。この例では、仮想像の歌声の元データは、例えば、特開２００８−５８３７９号公報に記載された技術を用いて生成される。歌声生成部１３２Ｂは、例えば、実在の人物の発音を録音し、これを音の要素に分解してデータベース化した後に、そのデータベースの音の要素を合成して所望の音声を生成するコンキャティネイティブ型もしくはコーパスベース型ＴＴＳ（text-to-speech）システムである。歌声生成部１３２Ｂは、パラメトリック型ＴＴＳシステムであってもよい。

コンテンツ提供サーバ１００の歌声生成部１３２Ｂが仮想像の歌声の元データを生成し、車両２００の音声出力部２４４が仮想像の歌声を出力しても、車両２００の乗員が歌唱し始めない場合に、コンテンツ提供サーバ１００の制御部１３０は、車両２００の音声出力部２４４への仮想像の歌声の元データの送信を止めてもよい。その場合、歌声生成部１３２Ｂによる仮想像の歌声の元データの生成の代わりに、発話生成部１３２Ａが、車両２００の乗員に対する仮想像の発話の元データを生成し、車両２００の音声出力部２４４が、車両２００の乗員に対する仮想像の発話を出力してもよい。

動作生成部１３２Ｃは、車両２００の仮想像生成部２４２が出現させる仮想像の動作の元データを生成する。上述したように、仮想像生成部２４２が出現させる仮想像の動作は、例えばＭＭＤを用いることによって、仮想像の発話および／または歌声と協調させられる。

コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合、動作生成部１３２Ｃが生成する元データに基づいて仮想像生成部２４２が出現させる仮想像の動作は、カラオケコンテンツの伴奏音楽と協調させられる。

例えば、車両２００の乗員情報検出部２２０が検出する乗員の表情などおよび／または外界情報検出部２３０が検出する車外の景色などが変化する場合、それらの変化に応じて、音声出力部２４４が出力する仮想像の発話が動的に変化するように、発話生成部１３２Ａが元データを生成すると共に、仮想像生成部２４２が生成する仮想像の動作が動的に変化するように、動作生成部１３２Ｃが元データを生成してもよい。つまり、この例では、発話生成部１３２Ａおよび動作生成部１３２Ｃは、乗員情報検出部２２０および外界情報検出部２３０が検出した情報を記憶部１２０に蓄積させることなく、最新情報に基づいて元データを生成する。例えば、乗員情報処理部４１０は、記憶部（記憶装置、または情報記憶領域）を備えてもよい。この記憶部には、乗員情報処理部４１０が検出した、提供部２４０が提供するインタラクションに対する車両の乗員の状態が記憶される。提供部２４０は、上記の記憶部の状態を基に、車両の乗員が利用可能な前記インタラクションを変更してもよい。例えば、提供部２４０は、記憶部２８０に記憶された情報であって、車両の乗員の状態と、インタラクションとが互いに対応付けられた情報に基づいて、インタラクションを変更してもよい。インタラクションの変更は、元データ生成部１３２によって行われてもよい。この場合、元データ生成部１３２は、記憶部１２０に記憶された情報であって、車両の乗員の状態と、インタラクションとが互いに対応付けられた情報に基づいて、インタラクションを変更する。

発話生成部１３２Ａおよび歌声生成部１３２Ｂが生成した元データに基づいて、車両２００の音声出力部２４４は、仮想像の発話および歌声を出力する。動作生成部１３２Ｃが生成した元データに基づいて、車両２００の仮想像生成部２４２は、動作する仮想像を出現させる。発話および動作が動的に変化可能な仮想像を出現させることによって、仮想像が車両２００に同乗していると、車両２００の乗員に錯覚させることができる。

歌唱力採点部１３４は、コンテンツ提供サーバ１００がカラオケコンテンツを車両２００の乗員に提供する場合に、カラオケコンテンツの伴奏音楽に合わせて歌唱する車両２００の乗員の歌唱力を採点する。歌唱力採点部１３４による採点結果が高いほど、車両２００の仮想像生成部２４２は、車両２００の乗員が仮想像選択部２６０を介して選択可能な仮想像をランクアップさせる。

図１１は、コンテンツ提供サーバ１００および車両２００における処理の一例を説明するシーケンス図である。

（ステップＳ１）車両２００のコンテンツ選択部２７０は、車両２００の乗員によるコンテンツの選択を受け付ける。

（ステップＳ２）車両２００は、選択されたコンテンツ（この例では、カラオケコンテンツ）を示すデータをコンテンツ提供サーバ１００に送信する。

（ステップＳ３）車両２００の仮想像選択部２６０は、車両２００の乗員による仮想像の選択を受け付ける。

（ステップＳ４）車両２００は、選択された仮想像を示すデータをコンテンツ提供サーバ１００に送信する。

（ステップＳ５）コンテンツ提供サーバ１００は、カラオケコンテンツの伴奏音楽、歌詞などのデータを車両２００に送信する。

（ステップＳ６）車両２００の乗員情報検出部２２０は、車両２００の乗員に関する情報を検出する。

（ステップＳ７）車両２００は、検出された車両２００の乗員に関する情報をコンテンツ提供サーバ１００に送信する。

（ステップＳ８）車両２００の外界情報検出部２３０は、車両２００の外部の情報を検出する。

（ステップＳ９）車両２００は、検出された車両２００の外部の情報をコンテンツ提供サーバ１００に送信する。

（ステップＳ１０）車両２００の乗員に関する情報および車両２００の外部の情報に基づいて、コンテンツ提供サーバ１００の発話生成部１３２Ａは、車両２００の音声出力部２４４において仮想像の発話の出力に用いられる元データを生成する。歌声生成部１３２Ｂは、車両２００の音声出力部２４４において仮想像の歌声の出力に用いられる元データを生成する。動作生成部１３２Ｃは、車両２００の仮想像生成部２４２において仮想像の動作の生成に用いられる元データを生成する。

（ステップＳ１１）コンテンツ提供サーバ１００は、生成された元データを車両２００に送信する。

（ステップＳ１２）車両２００の提供部２４０は、仮想像の動作と音声（仮想像の発話、歌声など）とを協調させたコンテンツを車両２００の乗員に提供する。

（ステップＳ１３）車両２００の乗員情報検出部２２０は、コンテンツの提供中における車両２００の乗員に関する情報を検出する。この情報は、提供されたコンテンツに対する車両２００の乗員の反応を示す。

（ステップＳ１４）車両２００は、コンテンツの提供中に検出された車両２００の乗員に関する情報をコンテンツ提供サーバ１００に送信する。

（ステップＳ１５）車両２００の外界情報検出部２３０は、コンテンツの提供中における車両２００の外部の情報を検出する。

（ステップＳ１６）車両２００は、コンテンツの提供中に検出された車両２００の外部の情報をコンテンツ提供サーバ１００に送信する。

（ステップＳ１７）コンテンツの提供中における車両２００の乗員に関する情報および車両２００の外部の情報に基づいて、発話生成部１３２Ａは、仮想像の発話の出力に用いられる元データを生成し、歌声生成部１３２Ｂは、仮想像の歌声の出力に用いられる元データを生成し、動作生成部１３２Ｃは、仮想像の動作の生成に用いられる元データを生成する。

（ステップＳ１８）コンテンツ提供サーバ１００は、生成された元データを車両２００に送信する。

（ステップＳ１９）車両２００の提供部２４０は、コンテンツの提供中に生成された元データに基づいて、仮想像の発話、歌声および動作が動的に変化するコンテンツを車両２００の乗員に提供する。

コンテンツの提供を受ける乗員が乗車する車両２００は、例えば、基本的には運転操作を必要としない自動運転車両である。以下、コンテンツの提供を受ける乗員が乗車する車両２００が自動運転車両であるものとして説明する。コンテンツの提供を受ける乗員が乗車する車両２００が手動運転車両であっても構わない。

［自動運転車両］
図１２は、自動運転機能を有する車両２００の構成図である。車両２００は、図１に示す構成要素（通信部２１０、乗員情報検出部２２０、外界情報検出部２３０、提供部２４０、音声入力部２５０、仮想像選択部２６０および記憶部２８０）の他に、例えば、外界監視ユニット３１０と、ナビゲーション装置３３０と、推奨車線決定装置３４０と、自動運転制御ユニット３５０と、駆動力出力装置３６０と、ブレーキ装置３６２と、ステアリング装置３６４とを備える。

外界監視ユニット３１０は、例えば、カメラやレーダ、ＬＩＤＡＲ（Light Detection and Ranging）、これらの出力に基づいてセンサフュージョン処理を行う物体認識装置などを含む。外界監視ユニット３１０は、車両２００の周辺に存在する物体の種類（特に、車両、歩行者、および自転車）を推定し、その位置や速度の情報と共に自動運転制御ユニット３５０に出力する。外界監視ユニット３１０と外界情報検出部２３０の間では、一部の構成要素が共用されてもよい。

ナビゲーション装置３３０は、例えば、ＨＭＩ（Human machine Interface）３３２と、ＧＮＳＳ受信機３３４と、ナビ制御装置３３６とを備える。ＨＭＩ３３２は、例えば、タッチパネル式ディスプレイ装置やスピーカ、マイクなどを含む。ＧＮＳＳ受信機３３４は、ＧＮＳＳ衛星（例えばＧＰＳ衛星）から到来する電波に基づいて自機の位置（車両２００の位置）を測位する。ナビ制御装置３３６は、例えば、ＣＰＵ（Central Processing Unit）や各種記憶装置を備え、ナビゲーション装置３３０全体を制御する。記憶装置には、地図情報（ナビ地図）が格納されている。ナビ地図は、ノードとリンクで道路を表現した地図である。ナビ制御装置３３６は、ＧＮＳＳ受信機３３４によって測位された車両２００の位置から、ＨＭＩ３３２を用いて指定された目的地までの経路を、ナビ地図を参照して決定する。ナビ制御装置３３６は、車両２００の位置と目的地とを、通信部２１０を用いてナビゲーションサーバ（不図示）に送信し、ナビゲーションサーバから返信された経路を取得してもよい。ナビゲーション装置３３０と外界情報検出部２３０の間では、一部の構成要素が共用されてもよい。つまり、外界情報検出部２３０が備えるナビゲーション装置と、ナビゲーション装置３３０とが、共用のナビゲーション装置であってもよい。

推奨車線決定装置３４０は、例えば、ＭＰＵ（Map Positioning Unit）と各種記憶装置を備える。記憶装置には、ナビ地図よりも詳細な高精度地図情報が格納されている。高精度地図情報には、例えば、車線ごとの道路幅や勾配、曲率、信号の位置などの情報が含まれている。推奨車線決定装置３４０は、ナビゲーション装置３３０から入力された経路に沿って走行するために好ましい推奨車線を決定し、自動運転制御ユニット３５０に出力する。

自動運転制御ユニット３５０は、ＣＰＵやＭＰＵ（Micro Processing Unit）などの一以上のプロセッサと各種記憶装置を備える。自動運転制御ユニット３５０は、推奨車線決定装置３４０により決定された推奨車線を走行することを原則として、外界監視ユニット３１０から位置や速度が入力された物体との接触を避けるように、車両２００を自動的に走行させる。自動運転制御ユニット３５０は、例えば、各種イベントを順次実行する。イベントには、一定速度で同じ走行車線を走行する定速走行イベント、前走車両に追従する追従走行イベント、車線変更イベント、合流イベント、分岐イベント、緊急停止イベント、料金所を通過するための料金所イベント、自動運転を終了して手動運転に切り替えるためのハンドオーバイベントなどがある。これらのイベントの実行中に、車両２００の周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄など）に基づいて、回避のための行動が計画される場合もある。

自動運転制御ユニット３５０は、車両２００が将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両の到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、所定の走行距離ごとの車両の到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両の到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

図１３は、自動運転の処理過程について説明するための図である。まず、上図に示すように、ナビゲーション装置３３０によって経路が決定される。この経路は、例えば車線の区別が付けられていない大まかな経路である。次に、中図に示すように、推奨車線決定装置３４０が、経路に沿って走行しやすい推奨車線を決定する。そして、下図に示すように、自動運転制御ユニット３５０が、障害物の回避などを行いながら、なるべく推奨車線に沿って走行するための軌道点を生成し、軌道点（および付随する速度プロファイル）に沿って走行するように、駆動力出力装置３６０、ブレーキ装置３６２、ステアリング装置３６４のうち一部または全部を制御する。このような役割分担はあくまで一例であり、例えば自動運転制御ユニット３５０が一元的に処理を行ってもよい。

駆動力出力装置３６０は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。駆動力出力装置３６０は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するパワーＥＣＵとを備える。パワーＥＣＵは、自動運転制御ユニット３５０から入力される情報、或いは不図示の運転操作子から入力される情報に従って、上記の構成を制御する。

ブレーキ装置３６２は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、自動運転制御ユニット３５０から入力される情報、或いは運転操作子から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置３６２は、運転操作子に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。ブレーキ装置３６２は、上記説明した構成に限らず、自動運転制御ユニット３５０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置３６４は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、自動運転制御ユニット３５０から入力される情報、或いは運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

車両２００の提供部２４０は、車両２００の自動運転中に、音声出力部２４４により出力される音声と仮想像生成部２４２により出現させられる仮想像の動作とを同期（または協調）させたコンテンツを車両２００の乗員に対して提供する。車両２００の手動運転中には、提供部２４０は、コンテンツを車両２００の乗員に対して提供しない。例えば、車両２００の提供部２４０は、自動運転が行われているか否かを示す情報を、自動運転制御ユニット３５０または車両の制御部から取得し、車両２００の手動運転中には、インタラクションの少なくとも一部動作態様を制限する。制限される動作態様は、ドライバーの注意を妨げる可能性がある動作態様である。

以上説明した実施形態では、提供部２４０と、仮想像生成部２４２と、音声出力部２４４と、コンテンツ再生部２４６とが車両２００に備えられ、元データ生成部１３２と、発話生成部１３２Ａと、歌声生成部１３２Ｂと、動作生成部１３２Ｃとが、コンテテンツ提供サーバ１００（つまり、車両外）に備えられているが、それらが、車両２００のみに備えられたり、車両外のみに備えられたりしてもよい。

＜変形例＞
変形例では、上記実施形態の機能構成および処理の詳細について説明する。図１４は、エクスペリエンス提供システム１Ａに含まれる機能構成の一例を示す図である。エクスペリエンス提供システム１は、図２、および図１２の機能構成に加え、図１４に示す機能構成を含む。図１３の乗員情報検出部２２０、外界情報検出部２３０、および提供部２４０は、図２で説明した乗員情報検出部２２０、外界情報検出部２３０、および提供部２４０と同様の機能構成である。

車両２００は、例えば、更に信号生成部４００と、ローカル判定部５１０と、ローカルＵＩ処理部６１０と、ローカル記憶部７００とを備える。信号生成部４００は、音声入力部２５０の機能構成に加え、以下の機能構成を備える。信号生成部４００は、例えば、乗員情報処理部４１０と、外界情報処理部４２０と、環境情報処理部４３０とを備える。

乗員情報処理部４１０は、乗員情報検出部２２０の検出結果のうちローカル判定部５１０またはリモート判定部５５０が使用する情報を切り出して、切り出した情報をローカル判定部５１０またはリモート判定部５５０に送信する。例えば、乗員情報処理部４１０は、カメラによって撮像された画像をローカル判定部５１０またはリモート判定部５５０に送信する。外界情報処理部４２０は、外界情報検出部２３０の検出結果のうちローカル判定部５１０またはリモート判定部５５０が使用する情報を切り出して、切り出した情報をローカル判定部５１０またはリモート判定部５５０に送信する。外界情報処理部４２０は、例えば、外界の状態を観測しているセンサの検出結果をローカル判定部５１０またはリモート判定部５５０に送信する。

環境情報処理部４３０は、環境に関する情報を取得する各種センサ等の検出結果や、提供部２４０が提供した情報を取得し、取得した情報のうちローカル判定部５１０またはリモート判定部５５０が使用する情報を切り出して、切り出した情報をローカル判定部５１０またはリモート判定部５５０に送信する。信号生成部４００は、例えば、各マイクが取得した音圧信号が示す指標が基準値から所定度合乖離した場合に、その音圧信号を抽出すると同時に、一定レベルの音圧信号の変動が検出されている間、抽出結果をローカル判定部５１０またはリモート判定部５５０に送信する。

ローカル判定部５１０は、信号生成部４００の検出結果に基づいて、環境情報に関する判定を行う。環境情報に関する判定とは、例えば、入出力コンテキストと関連しないイベントおよび環境属性の評価である。すなわち、ローカル判定部５１０は、信号生成部４００から取得した情報が、イベントの発生条件を満たすか否かを判定する。ローカル判定部５１０は、例えば、ローカルイベント判定部５２０と、ローカル属性判定部５３０と、送信信号生成部５４０とを備える。

ローカルイベント判定部５２０は、信号生成部４００の検出結果（環境情報）が、所定の条件を満たすか否かを判定する。ローカルイベント判定部５２０は、所定の条件を満たすと判定した場合、ローカルＵＩ処理部６１０に判定結果を示す情報を送信する。所定の条件とは、入出力コンテキストと関連する検出結果が検出されたことである。

ローカル属性判定部５３０は、信号生成部４００の検出結果に所定の環境属性が含まれるか否かを判定する。環境属性とは、例えば、走行中であるかを示す属性を示す情報や、周囲に建物が存在するかを示す属性を示す情報、周囲に観光スポットが存在するかを示す属性を示す情報、所定の音声データ（例えば楽曲）を示す属性を示す情報である。送信信号生成部５４０は、ローカルイベント判定部５２０またはローカル属性判定部５３０の処理結果をローカルＵＩ処理部６１０に送信する。

ローカルＵＩ処理部６１０は、コンテキスト処理を実行する。ローカルＵＩ処理部６１０は、入出力コンテキストの評価と、応答の生成とを行う。ローカルＵＩ処理部６１０は、例えば、ローカル意図推定部６２０と、ローカル応答生成部６３０と、送信信号生成部６４０とを備える。

ローカル意図推定部６２０は、音声データに基づいて、音声データが意志を持った入力であるか否かを判定する。ローカル応答生成部６３０は、乗員の状態に応じて、仮想像生成部２４２に仮想像を生成させる。送信信号生成部６４０は、ローカル意図推定部６２０またはローカル応答生成部６３０の処理結果を提供部２４０に送信する。ローカル記憶部７００に記憶される情報については後述する。

エクスペリエンス提供システム１は、例えば、更にリモート判定部５５０と、リモートＵＩ処理部６５０と、リモート記憶部７１０と、外部参照情報８００とを備える。リモート判定部５５０と、リモート処理部６５０と、リモート記憶部７１０と、外部参照情報８００とは、車両とは異なる場所に設けられる。

リモート判定部５５０は、例えば、リモートイベント判定部５６０と、リモート属性判定部５７０と、送信信号生成部５８０とを備える。リモートイベント判定部５６０は、信号生成部４００の検出結果（環境情報）が、所定の条件を満たすか否かを判定する。リモート属性判定部５７０は、信号生成部４００の検出結果に所定の環境属性が含まれるか否かを判定する。送信信号生成部５８０は、リモートイベント判定部５６０またはリモート属性判定部５７０の処理結果をリモートＵＩ処理部６５０に送信する。リモートイベント判定部５６０またはリモート属性判定部５７０の処理結果がリモートＵＩ処理部６５０に送信されることで、車両２００において提供部２４０がインタラクションを実行する。

リモートＵＩ処理部６５０は、コンテキスト処理を実行する。リモートＵＩ処理部６５０は、入出力コンテキストの評価と、応答の生成とを行う。リモートＵＩ処理部６５０は、例えば、リモート意図推定部６６０と、リモートル応答生成部６７０と、送信信号生成部６８０とを備える。リモート意図推定部６６０は、音声データに基づいて、音声データが意志を持った入力であるか否かを判定する。リモートル応答生成部６７０は、乗員の状態に応じて、仮想像生成部２４２に仮想像を生成させる。送信信号生成部６８０は、リモート意図推定部６６０またはリモート応答生成部６７０の処理結果を提供部２４０に送信する。

リモート記憶部７１０は、例えば、ローカル記憶部７００に記憶された情報と同様の情報が記憶される。外部参照情報８００は、楽曲などの音声データや、音声データのパターンなどの情報を含む。

［具体例］
以下、図１５を参照して、車両内でインタラクションが実行される場合の処理について説明する。信号生成部４００が、例えば、車室内の環境音を取得し、取得した環境音に基づいて、抽出した音声データを所定秒（例えば５秒）ごとに、ローカル判定部５１０、リモート判定部５５０、およびＵＩ処理部（ローカルＵＩ処理部６１０、リモートＵＩ処理部６５０）に送信する（ステップＳ３００）。

ローカルイベント判定部５２０は、信号生成部４００により送信された音声データのパターンが楽曲を示す音声データのパターンと類似すると判定した場合、音楽の再生を行うと判定する（ステップＳ３０２）。ローカル属性判定部５３０は、音声データついて属性について判定する。属性に特徴が存在する場合、ローカル属性判定部５３０は、判定結果をローカルＵＩ処理部６１０に送信する（ステップＳ３０４）。

リモートイベント判定部５６０は、信号生成部４００から取得した音声データと、外部参照情報８００とに基づいて、音楽の再生というイベントが発生しているか否かを判定し（ステップＳ３０６）、更に「アーティストＡ」、「楽曲Ｂ」という属性を判定し、判定結果をリモートＵＩ処理部６５０に送信する（ステップＳ３０８）。

次に、ローカルＵＩ処理部６１０のローカル意図推定部６２０は、音声データに基づいて、音声データが意志を持った入力であるか否かを判定する（ステップＳ３１０）。ローカルＵＩ処理部６１０は、例えば、ＡＩや、予め記憶されたアルゴリズム等を用いて、音声データが意志を持った入力であるか否かを判定する。ステップＳ３１０では、意志を持った入力でないと判定されたものとする。この後、提供部２４９によって、音楽が再生される（ステップＳ３１２）。すなわち、提供部２４０は、提供すべきインタラクションが複数存在するとき、乗員情報処理部４１０および外界情報処理部４２０の検出結果に基づき、複数のインタラクションの実行タイミングまたは実行可否を決定し、決定結果に基づいてインタラクションを乗員に提供する。

次の周期において、信号生成部４００は、車室内の音を取得し、取得した音を楽曲の音データと音声データとに分離する（ステップＳ３１４）。次に、ローカルイベント判定部５２０は、音データと音声データとを取得し、そのデータから鼻歌や、乗員がリズムを取る動作を行っていると判定した場合、「音楽に対して興味を示した」というイベントが発生したと判定する（ステップＳ３１６）。

更に、ローカルイベント判定部５２０は、「再生位置検出対象のイベントが発生した」として、外部参照情報８００をもとにすでに特定されている楽曲情報（楽曲データあるいは歌詞、音程などの情報）から、再生位置および、アーティストＡに対応したコンテンツ情報を特定し、特定結果を信号生成部４００またはローカルＵＩ処理部６１０にフィードバックする（ステップＳ３１８）。

ローカルＵＩ処理部６１０は、再生位置が特定され、歌詞等の付加情報を取得している状況下において、所定のアクションを実行するか否かを判定する（ステップＳ３２０）。例えば、ローカル記憶部７００には、所定のイベントと、そのイベント時において実行されるアクションとが互いに対応付けられた情報が記憶されている。例えば、ローカルＵＩ処理部６１０は、信号生成部４００から取得した情報に基づいて、次のような特定状態が発生したとき、「介入タイミングの発生」と判定する（ステップＳ３２０）。特定状態とは、乗員が鼻歌をやめた状態、乗員の動作が解消された状態、または楽曲が間奏状態である。

ローカルＵＩ処理部６１０は、介入タイミングが発生したことをローカル判定部５１０から取得した場合、ローカル記憶部７００に記憶されている可用コンテンツ情報に基づいて、アクションを実行する（ステップＳ３２２）。可用コンテンツ情報は、イベントとアクションとが対応付けられた情報である。アクションとは、「この曲がお好きですか？」などと興味を確認する出力や、後続する楽曲に合わせた歌唱の生成等である。なお、ステップＳ３２０およびＳ３２２の処理は、リモートＵＩ処理部６５０により実行されてもよい。

上述したように、提供部２４０は、提供済みのインタラクションを含む乗員情報処理部４１０の検出結果に基づき、車両の乗員に対するインタラクションを動的に提供する。この場合において、提供部２４０は、更に外界情報処理部４２０の検出結果を加味して、車両の乗員に対するインタラクションを動的に提供してもよい。

［上記処理に加え、多数イベントが並行する場合の処理］
例えば、ローカル判定部５１０（またはリモート判定部５５０）は、ローカルＵＩ処理部６１０（リモートＵＩ処理部６５０）の実行中に並行してイベントの発生検知を継続するとともに、提供部２４０は、インタラクションの提供中に検知したイベントの発生に基づき、インタラクションを動的に提供する。

例えば、ローカル応答生成部６３０は、乗員が楽曲（または間奏）に合わせて体を動かしてリズムをとっているときには、楽曲にあわせて乗員の動作をミラーリングするように仮想像生成部２４２に仮想像を生成させる。例えば、ローカル応答生成部６３０は、上記のように乗員が体を動かしてリズムをとっているときは、上記の介入タイミングに合わせて手をふったり拍手をしたりするように仮想像生成部２４２に仮想像を生成させる。

ローカルイベント判定部５２０が、外界情報処理部４２０により抽出したセンサデータ（例えば、カメラにより撮像された画像像から特徴量が抽出されたデータ）に基づき、外部に観光名所等のスポットが存在することを検知して「名所発見」イベントの発生を生じさせると判定した場合、ローカル応答生成部６３０は「あれは名所Ｃですね」というような外界に対するコメントを提供部２４０に出力させる。ここで上述の並行イベントが存在するため、「介入タイミングの発生」のような他イベントおよびそれに対する応答は、重複する場合がある。この場合、ローカルＵＩ処理部６１０は、重複するイベントおよびそれらに対する応答各々に優先度を決定し、優先度に応じて応答の提供または出力する情報を調整する。

以上説明した実施形態によれば、エクスペリエンス提供システム１が、音声を出力する音声出力部２４４と、車両２００の乗員が視認可能な人物の仮想像を出現させる仮想像生成部２４２と、音声出力部２４４により出力される音声と仮想像生成部２４２により出現させられる仮想像の動作とを協調させた車両２００の乗員に対するコンテンツを提供する提供部２４０とを備えることにより、車両２００の乗員に対して、これまでにない楽しみ方を提供することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…エクスペリエンス提供システム、１００…コンテテンツ提供サーバ、１１０…通信部、１２０…記憶部、１２２…カラオケコンテンツデータ、１３０…制御部、１３２…元データ生成部、１３２Ａ…発話生成部、１３２Ｂ…歌声生成部、１３２Ｃ…動作生成部、１３４…歌唱力採点部、２００…車両、２１０…通信部、２２０…乗員情報検出部、２２０Ａ…車内カメラ、２２０Ｂ…車内マイク、２２０Ｃ…着座センサ、２３０…外界情報検出部、２３０Ａ…車外カメラ、２３０Ｂ…車外カメラ、２３０Ｃ…車外カメラ、２３０Ｄ…車外マイク、２４０…提供部、２４２…仮想像生成部、２４２Ａ…投影装置、２４２Ｂ…フロントウインドウ、２４２Ｃ…左サイドウインドウ、２４２Ｅ…ミラー、２４２Ｇ…ホログラム投影装置、２４２Ｈ…タッチパネル式ディスプレイ装置、２４２Ｉ…透過板型ディスプレイ、２４４…音声出力部、２４４Ａ…スピーカ、２４４Ｂ…スピーカ、２４４Ｃ…スピーカ、２４４Ｄ…スピーカ、２４６…コンテンツ再生部、２５０…音声入力部、２５０Ａ…歌唱用マイク、２６０…仮想像選択部、２７０…コンテンツ選択部、２８０…記憶部

Claims (17)

1. 車両の乗員に関する情報を検出する乗員情報検出部と、
   前記車両の外部の情報を検出する外界情報検出部と、
   音声を出力する出力部と、
   表示を出力する仮想像生成部と、
   前記乗員情報検出部および前記外界情報検出部の検出結果に基づいて、前記出力部により出力される音声と前記仮想像生成部により出力される前記表示とを同期させて前記車両の乗員に対するインタラクションを動的に提供する提供部と、
   を備えるエクスペリエンス提供システム。
2. 前記仮想像生成部は、前記車両のシートに対応する撮像画像に重畳するように仮想像を出現させる、
   請求項１に記載のエクスペリエンス提供システム。
3. 前記仮想像生成部は、前記乗員からみて前記車両のシート鏡像位置に対応するよう仮想像を出現させる、
   請求項１に記載のエクスペリエンス提供システム。
4. 前記提供部は、前記外界情報検出部によって検出された前記車両の外部の状況に基づいて、前記出力部より発話を行わせるタイミングを調整する、
   請求項１に記載のエクスペリエンス提供システム。
5. 前記外界情報検出部による前記車両の外部の情報の検出能力は、前記車両の乗員による前記車両の外部の情報の検出能力と同程度である、
   請求項１に記載のエクスペリエンス提供システム。
6. 前記提供部が提供する前記インタラクションは、前記乗員情報検出部が検出した車両内で聴取されている楽曲に対応した音声を含む、
   請求項１に記載のエクスペリエンス提供システム。
7. 前記提供部は、前記出力部が出力する楽曲と、前記仮想像生成部の出力する表示とを同期させる、
   請求項１に記載のエクスペリエンス提供システム。
8. 前記乗員情報検出部は、前記提供部が提供するインタラクションに対する前記車両の乗員の状態を検知して記憶する記憶部を備え、前記記憶部の状態を基に、前記車両の乗員が利用可能な前記インタラクションを変更する、
   請求項7に記載のエクスペリエンス提供システム。
9. 前記車両は、自動運転車両であり、
   前記提供部は、前記乗員情報検出部が前記車両の自動運転中であるか否かを判定するよう構成され、手動運転中に、前記インタラクションの少なくとも一部動作態様を制限する、
   請求項1に記載のエクスペリエンス提供システム。
10. 前記提供部は、前記車両外に備えられる判定部を用いて前記インタラクションを実行する、
    請求項１に記載のエクスペリエンス提供システム。
11. 前記乗員情報検出部および前記外界情報検出部の検知した信号を前記車両外で処理する外部処理部の出力により前記インタラクションを提供する、
    請求項1に記載のエクスペリエンス提供システム。
12. 前記乗員情報検出部は、前記提供部による提供済みのインタラクションを検出可能に構成され、
    前記提供部は、前記提供済みのインタラクションを含む前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、前記車両の乗員に対するインタラクションを動的に提供する、
    請求項1に記載のエクスペリエンス提供システム。
13. 前記提供部が提供すべき前記インタラクションが複数存在するとき、
    前記提供部は、前記乗員情報検出部および前記外界情報検出部の検出結果に基づき、複数の前記インタラクションの実行タイミングまたは実行可否を決定する、
    請求項1に記載のエクスペリエンス提供システム。
14. 前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部を備え、
    前記イベント判定部は、車両上でイベントを判定するローカル判定部と、
    前記車両と通信接続された外部サーバでイベントを判定するリモート判定部とからなる、
    請求項1に記載のエクスペリエンス提供システム。
15. 前記乗員情報検出部および前記外界情報検出部の検出結果に基づきイベントの発生を検知するイベント判定部と、
    前記乗員情報検出部および前記外界情報検出部の検出結果に基づき前記提供部により提供されるインタラクションを制御するインタラクション制御部と、を備え、
    前記イベント判定部は、前記インタラクション制御部の実行中に並行して前記イベントの発生検知を継続するとともに、
    前記提供部は、前記インタラクションの提供中に検知した前記イベントの発生に基づき、前記インタラクションを動的に提供する、
    請求項1に記載のエクスペリエンス提供システム。
16. 車載コンピュータが、
    乗員情報を検出し、
    外界情報を検出し、
    音声を出力し、
    表示を出力し、
    前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像とを同期させて車両の乗員に対しインタラクションを動的に提供する、
    エクスペリエンス提供方法。
17. 車載コンピュータに、
    乗員情報を検出させ、
    外界情報を検出させ、
    音声を出力させ、
    表示を出力させ、
    前記乗員情報および前記外界情報に基づいて、出力される音声と出力される仮想像を同期させて車両の乗員に対しインタラクションを動的に提供させる、
    エクスペリエンス提供プログラム。

Images