JP2022093933A - 移動体、インタラクション提供システム、インタラクション提供方法、及びインタラクション提供プログラム - Google Patents

Abstract

【課題】移動体の搭乗者の状況を簡易な構成によって認識することができる移動体、インタラクション提供システム、インタラクション提供方法、及びインタラクション提供プログラムを提供する。【解決手段】移動体１は、運転者による操作に応じて変位する操舵部２と、姿勢変化を検出する姿勢変化検出部を有する左コントローラ１７０ａ又は右コントローラ１７０ｂを、操舵部２に着脱可能に保持する操作端末保持部５０と、端末装置１１０を移動体１の所定箇所に着脱自在に保持する端末装置保持部６０と、を備える。【選択図】図１

Description

本発明は、移動体、インタラクション提供システム、インタラクション提供方法、及びインタラクション提供プログラムに関する。

従来、車両の乗員に関する情報及び車両の外部の情報を検出し、これらの情報に基づいて、音声と仮想画像を同期させて出力することにより、乗員を楽しませるためのインタラクションを提供するシステムが提案されている（例えば、特許文献１参照）。
上記システムは、車内カメラ、車内マイク、着座センサ等により、乗員に関する情報を取得し、車外カメラ、車外カメラ、ナビゲーション装置等により、車両の外部の情報を取得する。そして、上記システムは、乗員の状況に応じて、仮想像と音声を同期させて出力するインタラクションを乗員に対して提供する。

特開２０２０－７５７２０号公報

上記従来のシステムのように、車両等の移動体において、搭乗者の状況に応じたインタラクションを提供するためには、移動体における搭乗者の状況を簡易な構成によって認識することが望ましい。
本発明はかかる背景に鑑みてなされものであり、移動体の搭乗者の状況を簡易な構成によって認識することができる移動体、インタラクション提供システム、インタラクション提供方法、及びインタラクション提供プログラムを提供することを目的とする。

上記目的を達成するための第１態様として、運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を、前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体が挙げられる。

上記移動体において、表示器を有し、前記操作端末がコントローラとして着脱可能に装着される端末装置を、前記移動体の所定箇所に着脱可能に保持する端末装置保持部を備える構成としてもよい。

上記移動体において、前記操作端末保持部は、コントローラとして端末装置に着脱可能に装着される１又は複数個の前記操作端末を、前記操舵部に着脱可能に保持する構成としてもよい。

上記目的を達成するための第２態様として、運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体において、インタラクションを提供するインタラクション提供システムであって、前記操作端末保持部に前記操作端末が保持されていることを認識する操作端末保持認識部と、前記操作端末保持認識部により、前記操作端末保持部に前記操作端末が保持されていることが認識されているときに、前記姿勢変化検出部による前記操作端末の姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御部と、を備えるインタラクション提供システムが挙げられる。

上記インタラクション提供システムにおいて、前記操作端末は、表示器及びスピーカーを有する端末装置に着脱可能に装着されるコントローラであり、前記移動体は、前記端末装置を前記移動体の所定箇所に着脱可能に保持する端末装置保持部を有し、前記端末装置が前記端末装置保持部に保持されていることを認識する端末装置保持認識部を備え、前記インタラクション制御部は、前記操作端末保持認識部により前記操作端末が前記操作端末保持部に保持されていることが認識され、且つ前記端末装置保持認識部により前記端末装置が前記端末装置保持部に保持されていることが認識されている場合に、前記表示器と前記スピーカーとのうちの少なくともいずれか一方を前記出力装置として、前記インタラクション制御を実行する構成としてもよい。

上記インタラクション提供システムにおいて、前記操作端末保持認識部、前記端末装置保持認識部、及び前記インタラクション制御部は、前記端末装置に備えられている構成としてもよい。

上記インタラクション提供システムにおいて、前記操作端末は、端末装置のコントローラであり、前記操作端末保持認識部により前記操作端末が前記操作端末保持部に保持されていることが認識されているときに、前記端末装置に所定のアプリケーションをインストールすることにより使用可能となるコンテンツの情報を、前記出力装置から出力するコンテンツ情報出力部を備える構成としてもよい。

上記インタラクション提供システムにおいて、前記操作端末保持部は、１又は複数個の前記操作端末を着脱可能に保持し、前記操作端末保持認識部は、前記操作端末保持部に保持されている前記操作端末の個数を認識し、前記インタラクション制御部は、前記操作端末保持認識部により認識される前記操作端末の個数に応じて、前記インタラクション制御による処理内容を変更する構成としてもよい。

上記インタラクション提供システムにおいて、前記移動体の移動状態を認識する移動状態認識部を備え、前記インタラクション制御部は、前記インタラクション制御において、前記姿勢変化検出部により検出される前記操作端末の姿勢変化、及び前記移動状態認識部により認識される前記移動体の移動状態に基づいて、前記出力装置から出力する情報を決定する構成としてもよい。

上記目的を達成するための第３の態様として、運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体において、インタラクションを提供するためにコンピュータにより実行されるインタラクション提供方法であって、前記操作端末保持部に前記操作端末が保持されていることを認識する操作端末保持認識ステップと、前記操作端末保持認識ステップにより、前記操作端末保持部に前記操作端末が保持されていることが認識されているときに、前記姿勢変化検出部による前記操作端末の姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御ステップと、を含むインタラクション提供方法が挙げられる。

上記目的を達成するための第４の態様として、姿勢変化を検出する姿勢変化検出部を有するコントローラが着脱可能に装着される端末装置に実装された、端末装置プロセッサにより実行されるインタラクション提供プログラムであって、前記端末装置プロセッサを、前記コントローラが、移動体の操舵部に備えられて前記コントローラを着脱自在に保持する操作端末保持部に、保持されていることを認識する操作端末保持認識部と、前記操作端末保持認識部により、前記操作端末保持部に前記コントローラが保持されていることが認識されているときに、前記姿勢変化検出部による前記コントローラの姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御部と、して機能させるインタラクション提供プログラムが挙げられる。

上記移動体によれば、移動体の操舵部に操作端末保持部を設けて、操作端末保持部に保持された操作端末の姿勢変化検出部により、移動体の運転者による操舵部の操作状況の認識を可能にするという簡易な構成により、移動体の運転者の状況を認識してインタラクションを提供することができる。

図１は、車両にゲーム機を着脱自在に取り付けるための構成の説明図である。 図２は、車両にゲーム機本体と１個のコントローラを取り付けた状態の説明図である。 図３は、車両にゲーム機本体と２個のコントローラを取り付けた状態の説明図である。 図４は、ゲーム機本体の構成図である。 図５は、コントローラの構成と、コントローラとゲーム機本体及び車両との接続態様の説明図である。 図６は、インタラクション制御を実行するか否かの判断処理のフローチャートである。 図７は、インタラクション制御の処理のフローチャートである。

［１．車両にゲーム機を着脱自在に取り付ける態様］
図１～図３を参照して、車両１にゲーム機１００を着脱可能に取り付ける態様について説明する。車両１は、本開示の移動体に相当し、ゲーム機本体１００は本開示の端末装置に相当する。図１を参照して、ゲーム機１００は、ゲーム機本体１１０と、ゲーム機本体１１０を操作するための左コントローラ１７０ａ及び右コントローラ１７０ｂとを備えている。左コントローラ１７０ａ及び右コントローラ１７０ｂは、本開示の操作端末に相当する。ゲーム機本体１１０は、表示器１４１とスピーカー１４２を備えている。

左コントローラ１７０ａは、ゲーム機本体１１０の左側面に設けられた保持部（図示しない）により、ゲーム機本体１１０の左側面に着脱可能に保持される。また、右コントローラ１７０ｂは、ゲーム機本体１１０の右側面に設けられた保持部（図示しない）により、ゲーム機本体１１０の右側面に着脱可能に保持される。

左コントローラ１７０ａがゲーム機本体１１０に取り付けられたときに、コネクタ１８５ａがゲーム機本体１１０の左側コネクタ１５２ａと接続され、これにより、左コントローラ１７０ａとゲーム機本体１１０との間の有線通信が可能となる。同様に、右コントローラ１７０ｂがゲーム機本体１１０に取り付けられたときに、コネクタ１８５ｂがゲーム機本体１１０の右側コネクタ１５２ｂと接続され、これにより、右コントローラ１７０ｂとゲーム機本体１１０との間の有線通信が可能となる。有線通信の仕様としては、例えばＵＳＢ（登録商標）が採用される。

図１のＡ１は、ゲーム機本体１１０に左コントローラ１７０ａ及び右コントローラ１７０ｂが取り付けられた状態を示している。この状態では、ゲーム機１００の使用者は、左手で左コントローラ１７０ａのボタン１７４ａとスティック１７５ａを操作し、右手で右コントローラ１７０ｂのボタン１７４ｂとスティック１７５ｂを操作して、ゲームをすることができる。

図１のＡ２は、左コントローラ１７０ａと右コントローラ１７０ｂが、ゲーム機本体１１０から取り外された状態を示している。この状態では、左コントローラ１７０ａ及び右コントローラ１７０ｂは、ゲーム機本体１１０との間で無線通信を行う。無線通信の仕様としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）が採用される。使用者は、ゲーム機本体１１０から離れた場所から、左コントローラ１７０ａ又は右コントローラ１７０ｂを操作して、ゲームをすることができる。

車両１は、運転者により操作されるステアリングホイール２を備え、車両１のダッシュボード３には、表示器４とスピーカー５ａ，５ｂが設けられている。ステアリングホイール２は、本開示の操舵部に相当し、運転者による操作に応じて左右に回転して変位する。ステアリングホイール２には、右コントローラ１７０ｂを着脱可能に取り付けるための操作端末保持部５０が設けられている。また、ダッシュボード３には、ゲーム機本体１１０を、運転者及び他の搭乗者により視認可能な所定箇所に着脱自在に取り付けるためのゲーム機本体保持部６０が設けられている。ゲーム機本体保持部６０は、本開示の端末装置保持部に相当する。

操作端末保持部５０は、右コントローラ１７０ｂの外形に合わせた凹部形状となっている。図１では、右コントローラ１７０ｂを操作端末保持部５０に取り付ける状況を矢印Ｒ１で示しており、運転者等の搭乗者が、右コントローラ１７０ｂを操作端末保持部５０の凹部にはめ込むことにより、右コントローラ１７０ｂが操作端末保持部５０により保持されてステアリングホイール２に固定される。

このとき、右コントローラ１７０ｂのコネクタ１８５ｂが、操作端末保持部５０のコネクタ５１と接続される。操作端末保持部５０のコネクタ５１は、車両ＥＣＵ（Electronic Control Unit）１０と接続されているため、操作端末保持部５０に右コントローラ１７０ｂを取り付けることによって、車両ＥＣＵ１０と右コントローラ１７０ｂとの有線通信が可能となる。

なお、操作端末保持部５０が、右コントローラ１７０ｂではなく左コントローラ１７０ａを保持する構成としてもよい。或いは、操作端末保持部５０が、左コントローラ１７０ａと右コントローラ１７０ｂのいずれが一方を保持可能な構成としてもよい。左コントローラ１７０ａが操作端末保持部５０に取り付けられた場合は、左コントローラ１７０ａのコネクタ１８５ａが操作端末保持部５０のコネクタ５１に接続されて、車両ＥＣＵ１０と左コントローラ１７０ａとの有線通信が可能となる。

ゲーム機本体保持部６０は、ゲーム機本体１１０の外形に合わせた凹部形状となっている。図１では、ゲーム機本体１１０をゲーム機本体保持部６０に取り付ける状況を矢印Ｒ２で示しており、運転者等の搭乗者が、ゲーム機本体１１０をゲーム機本体保持部６０の凹部にはめ込むことにより、ゲーム機本体１１０がゲーム機本体保持部６０により保持されて固定される。このとき、ゲーム機本体１１０の下側コネクタ１５１が、ゲーム機本体保持部６０のコネクタ６１と接続される。ゲーム機本体保持部６０のコネクタ６１は車両ＥＣＵ１０と接続されているため、ゲーム機本体保持部６０にゲーム機本体１１０を取り付けることによって、車両ＥＣＵ１０とゲーム機本体１１０との有線通信が可能となる。

図２は、操作端末保持部５０に、右コントローラ１７０ｂが取り付けられている状態を示している。この状態では、運転者によるステアリングホイール２の操作に応じて、右コントローラ１７０ｂの姿勢が変化する。この状態で、車両１の運転者は、右コントローラ１７０ｂを操作して、ゲーム機本体１１０及び車両ＥＣＵ１０に対する指示を行うことができ、運転者以外の搭乗者は、左コントローラ１７０ａを操作して、ゲーム機本体１１０及び車両ＥＣＵ１０に対する指示を行うことができる。また、搭乗者は、ゲーム機本体１１０の表示器１１０に表示される画像とスピーカー１４２から出力される音を視聴することができる。

なお、左コントローラ１７０ａ及び右コントローラ１７０ｂは、操作端末保持部５０に取り付けられた状態でも、ゲーム機本体１１０との間で無線通信を行うことができる。また、左コントローラ１７０ａ、右コントローラ１７０ｂ、及びゲーム機本体１１０と、車両ＥＣＵ１０との間での無線通信が可能な構成としてもよい。

次に、図３は、操作端末保持部として、左コントローラ１７０ａを取り付けるための操作端末保持部５０ａと、右コントローラ１７０ｂを取り付けるための操作端末保持部５０ｂを、ステアリングホイール２に設けた別構成を示している。操作端末保持部５０ａと操作端末保持部５０ｂの構成は、図１，２に示した操作端末保持部５０と同様である。

左コントローラ１７０ａが操作端末保持部５０ａに取り付けられたときに、左コントローラ１７０ａのコネクタ１８５ａ（図１参照）が操作端末保持部５０ａのコネクタ５１ａに接続されて、左コントローラ１７０ａとゲーム機本体１１０及び車両ＥＣＵ１０との有線通信が可能となる。同様に、右コントローラ１７０ｂが操作端末保持部５０ｂに取り付けられたときに、右コントローラ１７０ｂのコネクタ１８５ｂ（図１参照）が操作端末保持部５０ｂのコネクタ５１ｂに接続されて、右コントローラ１７０ｂとゲーム機本体１１０及び車両ＥＣＵ１０との有線通信が可能となる。

図３の構成では、運転者によるステアリングホイール２の操作に応じて、左コントローラ１７０ａと右コントローラ１７０ｂの姿勢が変化する。ゲーム機本体１１０及び車両ＥＣＵ１０は、左コントローラ１７０ａとの通信により左コントローラ１７０ａの姿勢変化を認識することができ、右コントローラ１７０ｂとの通信により右コントローラ１７０ｂの姿勢変化を認識することができる。

［２．ゲーム機本体の構成］
図４を参照して、ゲーム機本体１１０の構成について説明する。ゲーム機本体１１０は、端末装置プロセッサ１２０と、端末装置プロセッサ１２０に接続された、メモリ１３０、通信ユニット１４０、表示器１４１、スピーカー１４２、マイク１４３、加速度センサ１４４、及び角速度センサ１４５を備えている。さらに、ゲーム機本体１１０は、端末装置プロセッサ１２０に接続された、カードスロット１５０、下側コネクタ１５１、左側コネクタ１５２ａ、及び右側コネクタ１５２ｂを備えている。

通信ユニット１４０は、左コントローラ１７０ａ、右コントローラ１７０ｂ等との間で無線通信を行い、また、通信ネットワーク５００（図５参照）を介してサポートサーバー５１０（図５参照）との間で無線通信を行う。表示器１４１は、ＬＣＤ等のフラットタイプの表示デバイスの表面にタッチセンサが配置されたタッチパネルであり、端末装置プロセッサ１２０から出力される画像制御信号に応じた画面表示を行うと共に、使用者のタッチ操作に応じた操作信号を端末装置プロセッサ１２０に入力する。

スピーカー１４２は、端末装置プロセッサ１２０から出力される音響信号に応じた音（音声、注意喚起音、音楽等）を出力する。マイク１４３は、使用者の発声等の音を検出して音検出信号を端末装置プロセッサ１２０に入力する。加速度センサ１４４は、ゲーム機本体１１０の加速度を検出して、加速度検出信号を端末装置プロセッサ１２０に入力する。角速度センサ１４５は、ゲーム機本体１１０の角速度を検出して、角速度検出信号を端末装置プロセッサ１２０に入力する。

メモリ１３０には、ゲーム機本体１１０の全体的な作動を制御するための制御用プログラム１３１、後述するインタラクション制御を実行するためのインタラクション提供プログラム１３２、及びゲームを実行するためのゲームアプリプログラム１３３が保存されている。カードスロット１５０は、挿入されたメモリカード１５５に対して、データの読み出しと書き込みを行う。

下側コネクタ１５１は、上述したように、ゲーム機本体保持部６０のコネクタ６１に接続される。左側コネクタ１５２ａは、上述したように、左コントローラ１７０ａ、或いは操作端末保持部５０のコネクタ５１又は操作端末保持部５０ａのコネクタ５１ａに接続される。右側コネクタ１５２ｂは、上述したように、右コントローラ１７０ｂ、或いは操作端末保持部５０のコネクタ５１又は操作端末保持部５０ｂのコネクタ５１ｂに接続される。

インタラクション提供プログラム１３２は、端末装置プロセッサ１２０により、メモリカード１５５から読み出されてメモリ１３０に保存されてもよく、通信ユニット１４０によりサポートサーバー５１０からダウンロードされてメモリ１３０に保存されてもよい。

端末装置プロセッサ１２０は、制御用プログラム１３１を読み込んで実行することにより、ゲーム機本体１１０の全体的な作動を制御し、ゲームアプリプログラム１３３を読み込んで実行することにより、ゲームの処理を実行する。また、端末装置プロセッサ１２０は、インタラクション提供プログラム１３２を読み込んで実行することにより、操作端末保持認識部１２１、端末装置保持認識部１２２、インタラクション制御部１２３、及びコンテンツ情報出力部１２４として機能する。

操作端末保持認識部１２１は、左コントローラ１７０ａと車両ＥＣＵ１０との間で有線通信が確立されていることを、車両ＥＣＵ１０との通信により認識したときに、左コントローラ１７０ａが操作端末保持部５０（図１，２の構成）又は操作端末保持部５０ａ（図３の場合）に保持されていると認識する。同様に、操作端末保持認識部１２１は、右コントローラ１７０ｂと車両ＥＣＵ１０との間で有線通信が確立されていることを、車両ＥＣＵ１０との通信により認識したときに、右コントローラ１７０ｂが操作端末保持部５０（図１，２の構成）又は操作端末保持部５０ｂ（図３の構成）に保持されていると認識する。

端末装置保持認識部１２２は、ゲーム機本体１１０と車両ＥＣＵ１０との間で有線通信が確立されていることを認識したときに、ゲーム機本体１１０がゲーム機本体保持部６０に保持されていると認識する。インタラクション制御部１２３は、操作端末保持認識部１２１により、左コントローラ１７０ａと右コントローラ１７０ｂとのうちの少なくともいずれか一方が、操作端末保持部５０，５０ａ，５０ｂに接続されていることが認識され、且つ、端末装置保持認識部１２２により、ゲーム機本体１１０がゲーム機本体保持部６０に保持されていることが認識されているときに、インタラクション制御を実行する。インタラクション制御の詳細については後述する。

コンテンツ情報出力部１２４は、操作端末保持認識部１２１により、左コントローラ１７０ａと右コントローラ１７０ｂとのうちの少なくともいずれか一方が、操作端末保持部５０，５０ａ，５０ｂに接続されていることが認識され、且つ、端末装置保持認識部１２２により、ゲーム機本体１１０がゲーム機本体保持部６０に保持されていることが認識されているときに、所定のコンテンツの情報を、ゲーム機本体１１０の表示器１４１、スピーカー１４２等から出力する。所定のコンテンツは、ゲーム機本体１１０に所定のアプリケーションをインストールすることによって使用可能となるコンテンツであり、例えば、ゲームアプリプログラム１３３により実行されるゲームで使用可能な追加アイテム、ゲームアプリプログラム１３３により実行されるゲームと関連した他のゲーム等である。

［３．コントローラの構成と接続態様］
図５を参照して、左コントローラ１７０ａ及び右コントローラ１７０ｂの構成と、左コントローラ１７０ａ及び右コントローラ１７０ｂと、車両１及びゲーム機本体１１０との接続態様について説明する。

左コントローラ１７０ａは、コントローラプロセッサ１７１ａと、コントローラプロセッサ１７１ａに接続された、通信ユニット１７２ａ、メモリ１７３ａ、ボタン１７４ａ、スティック１７５ａ、加速度センサ１７６ａ、角速度センサ１７７ａ、ＬＥＤ１７８ａ、振動子１７９ａ、及びコネクタ１８５ａを備えている。加速度センサ１７６ａと角速度センサ１７７ａは、本開示の姿勢変化検出部に相当する。

コントローラプロセッサ１７１ａは、メモリ１７３ａに保存された制御用プログラムを実行することにより、左コントローラ１７０ａの全体的な作動を制御する。コントローラプロセッサ１７１ａは、通信ユニット１７２ａを介して、ゲーム機本体１１０との間で無線通信を行う。また、コントローラプロセッサ１７１ａは、ボタン１７４ａの操作信号、スティック１７５ａの操作信号、加速度センサ１７６ａの加速度検出信号、及び角速度センサ１７７ａの角速度検出信号を、ゲーム機本体１１０に送信する。

さらに、コントローラプロセッサ１７１ａは、ゲーム機本体１１０から送信される左コントローラ１７０ａに対する制御信号に応じて、ＬＥＤ１７８ａの作動（点灯、消灯、点滅）と、振動子１７９ａの作動（振動オン、振動オフ、振動の強弱）を制御する。

右コントローラ１７０ｂは、左コントローラ１７０ａと同様に、コントローラプロセッサ１７１ｂと、コントローラプロセッサ１７１ｂに接続された、通信ユニット１７２ｂ、メモリ１７３ｂ、ボタン１７４ｂ、スティック１７５ｂ、加速度センサ１７６ｂ、角速度センサ１７７ｂ、ＬＥＤ１７８ｂ、振動子１７９ｂ、及びコネクタ１８５ｂを備えており、左コントローラ１７０ａと同様に作動する。さらに、右コントローラ１７０ｂは、カメラ１８０を備えており、カメラ１８０による撮影画像をゲーム機本体１１０に送信する。

車両１には、車両ＥＣＵ１０とＣＡＮ（Controller Area Network）２０５により接続された、表示器４、スピーカー５ａ，５ｂ、センサ類２５、通信ユニット２６、及びカーナビ２０が備えられている。センサ類２５には、車両１の走行速度を検出する速度センサ、車両１に備えられたアクセルペダル（図示しない）の操作量を検出するアクセルペダルセンサ、車両１に備えられたブレーキペダル（図示しない）の操作量を検出するブレーキペダルセンサ、車外の照度を検出する照度センサ等が含まれる。通信ユニット２６は、スマートフォン３００等の通信端末との間で無線通信を行い、また、通信ネットワーク５００を介してサポートサーバー５１０との間で無線通信を行う。カーナビ２０には、車両１の現在位置を検出するＧＮＳＳ（Global Navigation Satellite System）センサ２１と地図データ２２が備えられている。

車両ＥＣＵ１０は、通信線２００によりゲーム機本体１１０と接続され、通信線２０１ａにより左コントローラ１７０ａと接続され、通信線２０１ｂにより右コントローラ１７０ｂと接続されている。これにより、車両ＥＣＵ１０は、ゲーム機本体１１０、左コントローラ１７０ａ、及び右コントローラ１７０ｂとの間で有線通信を行う。

ゲーム機本体１１０は、車両ＥＣＵ１０との通信により、センサ類２５の検出情報、ＧＮＳＳセンサ２１による車両の現在位置情報、地図データ２２等を取得して、車両１の走行状況を認識する。また、ゲーム機本体１１０は、車両ＥＣＵ１０との通信により、車両１の表示器４の表示及びスピーカー５ａ，５ｂからの音出力を制御することができる。

また、別の構成として、ゲーム機本体１１０がゲーム機本体保持部６０に保持されていることの認識、左コントローラ１７０ａ又は右コントローラ１７０ｂが操作端末保持部５０，５０ａ，５０ｂに保持されていることの認識を、車両ＥＣＵ１０との有線通信の確立ではなく、リミットスイッチ、近接センサ、磁気センサ等により、ゲーム機本体１１０側と、左コントローラ１７０ａ及び右コントローラ１７０ｂ側で行う構成としてもよい。

この構成による場合は、ゲーム機本体１１０と左コントローラ１７０ａ及び右コントローラ１７０ｂを、車両ＥＣＵ１０に接続する必要がなく、ゲーム機本体１１０と左コントローラ１７０ａ及び右コントローラ１７０ｂを、通信線２０２ａ，２０２ｂにより直接接続して、ゲーム機本体１１０のみにより、本開示のインタラクション提供システムを構成することができる。また、ゲーム機本体１１０と左コントローラ１７０ａ及び右コントローラ１７０ｂ間の通信を無線通信により行ってもよく、この場合は、通信線２０２ａ，２０２ｂによる接続も不要となる。

［４．インタラクション制御を実行するか否かの判断処理］
図６に示したフローチャートに従って、操作端末保持認識部１２１、端末装置保持認識部１２２、及びインタラクション制御部１２３により実行される、インタラクション制御を実行するか否かの判断処理について説明する。以下では、図１，２を参照して上述したように、ステアリングホイール２に右コントローラ１７０ｂを着脱自在に保持する操作端末保持部５０が設けられている構成を対象とした処理について説明する。

図６のステップＳ１で、端末装置保持認識部１２２は、車両ＥＣＵ１０との有線通信の状況に応じて、ゲーム機本体保持部６０にゲーム機本体１１０が保持されているか否かを認識する。端末装置保持認識部１２２は、ゲーム機本体１１０と車両ＥＣＵ１０との間で有線通信が確立されているときに、ゲーム機本体保持部６０にゲーム機本体１１０が保持されていると判断する。

続くステップＳ２で、インタラクション制御部１２３は、端末装置保持認識部１２２により、ゲーム機本体保持部６０にゲーム機本体１１０が保持されていると認識されているときはステップＳ３に処理を進める。一方、端末装置保持認識部１２２により、ゲーム機本体保持部６０にゲーム機本体１１０が保持されていると認識されていないときには、インタラクション制御部１２３は、ステップＳ１に処理を進める。

ステップＳ３で、操作端末保持認識部１２１は、車両ＥＣＵ１０との通信により、右コントローラ１７０ｂと車両ＥＣＵとの間の有線通信の状況を認識して、操作端末保持部５０に右コントローラ１７０ｂが保持されているか否かを判断する。操作端末保持認識部１２１は、車両ＥＣＵ１０と左コントローラ１７０ａとの間で有線通信が確立されている場合に、操作端末保持部５０に左コントローラ１７０ａが保持されていると認識する。

続くステップＳ４で、インタラクション制御部１２３は、操作端末保持認識部１２１により、操作端末保持部５０に右コントローラ１７０ｂが保持されていると認識されているときは、ステップＳ５に処理を進めて、インタラクション制御を実行する。一方、操作端末保持認識部１２１により、操作端末保持部５０に右コントローラ１７０ｂが保持されていると認識されていないときには、インタラクション制御部１２３は、ステップＳ１に処理を進める。この場合は、インタラクション制御は実行されない。

［５．インタラクション制御］
図７に示したフローチャートに従って、インタラクション制御部１２３によるインタラクション制御の実行手順について説明する。以下では、以下では、図１，２を参照して上述したように、ステアリングホイール２に右コントローラ１７０ｂを着脱自在に保持する操作端末保持部５０が設けられている構成を対象とした処理について説明する。

図７のステップＳ１０で、インタラクション制御部１２３は、操作端末保持部５０に保持されている右コントローラ１７０ｂから送信される加速度センサ１７６ｂ及び角速度センサ１７７ｂの検出信号を受信する。続くステップＳ１１で、インタラクション制御部１２３は、加速度センサ１７６ｂ及び角速度センサ１７７ｂの検出信号に基づいて、右コントローラ１７０ｂの姿勢変化の状況を認識する。姿勢変化の状況には、姿勢の変化量、変化方向、変化速度等が含まれる。

続くステップＳ１２で、インタラクション制御部１２３は、車両ＥＣＵ１０から車両１の走行情報を受信する。走行情報には、車両１の走行速度、走行地点、走行ルート、目的地等が含まれる。次のステップＳ１３で、インタラクション制御部１２３は、走行情報から車両１の走行状態を認識する。

次のステップＳ１３で、インタラクション制御部１２３は、右コントローラ１７０ｂの姿勢変位の状況と車両１の走行状態に基づいて、車両１で使用される出力装置から出力する情報を決定する。インタラクション制御部１２３は、出力装置として、ゲーム機本体１１０の表示器１４１及びスピーカー１４２、車両１の表示器４及びスピーカー５ａ，５ｂ等を使用する。

インタラクション制御部１２３は、出力装置から出力する情報を、例えば以下のように決定する。
・右コントローラ１７０ｂの姿勢変化量、変化速度に応じて、スピーカーから出力する音楽の種類、テンポ、音量を変更する。この場合、スピーカーから出力する音楽を、ゲームアプリプログラム１３３により実行されるゲームで使用される音楽としてもよい。
・車両１の走行速度、走行地点、目的地に応じて、スピーカー出力する音楽、表示器に表示する画像を変更する。この場合も、スピーカーから出力する音楽を、ゲームアプリプログラム１３３により実行されるゲームで使用される音楽としてもよく、表示器に表示する画像をゲームの場面の画像としてもよい。

［６．他の実施形態］
上記実施形態では、本開示の移動体として車両１を例示したが、地上を走行する車両の他、空中を移動する飛行体、水上を航行する船舶等の種々の移動体について、本開示の構成を適用することが可能である。

上記実施形態では、本開示の操作端末として、ゲーム機１００の左コントローラ１７０ａ，右コントローラ１７０ｂを示したが、本開示の操作端末は、姿勢検出部を有するスマートフォン、携帯電話、携帯ゲーム機等であってもよい。

図３に示したように、ステアリングホイール２に複数のコントローラを取り付けることができる場合に、取り付けられたコントローラの個数に応じて、インタラクション制御部１２３によるインタラクション制御の処理内容を変更するようにしてもよい。例えば、左コントローラ１７０ａと右コントローラ１７０ｂが取り付けられている場合に、左コントローラ１７０ａの加速度センサ１７６ａ及び角速度センサ１７７ａと、右コントローラ１７０ｂの加速度センサ１７６ｂ及び角速度センサ１７７ｂの各検出信号を組み合わせて用いることで、ステアリングホイール２の操作状況をより精度良く認識し、ステアリングホイール２の操作状況に基づいて、出力装置から出力する情報を決定するようにしてもうよい。或いは、右コントローラ１７０ｂに備えられたカメラ１８０の撮影画像を用いることで、運転者の操作を画像からも認識するようにしてもよい。

上記実施形態では、ゲーム機本体１１０にコンテンツ情報出力部１２４を備えた例を示したが、コンテンツ情報出力部１２４を省略した構成としてもよい。

上記実施形態では、図６に示したフローチャートによる処理により、端末装置保持認識部１２２により、ゲーム機本体保持部６０にゲーム機本体が保持されていることが認識され、且つ、操作端末保持認識部１２１により、操作端末保持部５０に右コントローラ１７０ｂが保持されていることが認識された場合に、インタラクション制御部１２３がインタラクション制御を実行する構成とした。他の構成として、ゲーム機本体保持部６０、及び端末装置保持認識部１２２を省略して、操作端末保持認識部１２１により、操作端末保持部５０に右コントローラ１７０ｂが保持されていることが認識された場合に、インタラクション制御部１２３がインタラクション制御を実行する構成としてもよい。

上記実施形態では、ゲーム機本体１１０により、本開示のインタラクション提供システムを構成したが、車両ＥＣＵ１０により、インタラクション提供システムを構成してもよい。この場合は、車両ＥＣＵ１０に備えられるメモリに、インタラクション提供プログラム１３２を保存し、車両ＥＣＵ１０に備えられた車両プロセッサが、インタラクション提供プログラム１３２を実行することによって、操作端末保持認識部１２１、端末装置保持認識部１２２、インタラクション制御部１２３、及びコンテンツ情報出力部１２４として機能する。

或いは、サポートサーバー５１０により、インタラクション提供システムを構成してもよい。サポートサーバー５１０を構成するコンピュータは、インタラクション提供プログラム１３２を実行することにより、操作端末保持認識部１２１、端末装置保持認識部１２２、インタラクション制御部１２３、及びコンテンツ情報出力部１２４として機能する。この場合、操作端末保持認識部１２１及び端末装置保持認識部１２２は、車両ＥＣＵ１０から通信ネットワーク５００を経由して送信される車両ＥＣＵ１０とゲーム機本体１１０、左コントローラ１７０ａ、及び右コントローラ１７０ｂとの有線通信の確立情報に基づいて、操作端末保持部５０に左コントローラ１７０ａ又は右コントローラ１７０ｂが保持されているか否か、及びゲーム機本体１１０がゲーム機本体保持部６０に保持されているか否かを判断する。

また、左コントローラ１７０ａ又は右コントローラ１７０ｂから送信される加速度検出信号及び角速度信号の情報が、車両ＥＣＵ１０を介してサポートサーバー５１０に送信され、インタラクション制御部１２３は、これらの情報に基づいて左コントローラ１７０ａ又は右コントローラ１７０ｂの姿勢変化の状況を認識して、出力装置から出力する情報を決定する。そして、インタラクション制御部１２３は、決定した情報を車両ＥＣＵ１０に送信して、決定した情報を車両１で使用される出力装置から出力する。

上記実施形態では、本開示の端末装置としてゲーム機本体１１０を示したが、本開示の端末装置は、表示器を有してコントローラが着脱可能に装着される端末装置であればよく、ゲーム機本体以外の情報端末等であってもよい。

なお、図４～図５は、本願発明の理解を容易にするために、車両１、インタラクション提供システムの機能を含むゲーム機本体１１０、左コントローラ１７０ａ、及び右コントローラ１７０ｂの構成を、主な処理内容により区分して示した概略図であり、車両１、ゲーム機本体１１０、左コントローラ１７０ａ、及び右コントローラ１７０ｂの構成を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図６～図７に示した各構成要素による処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。

［７．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。

（第１項）運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を、前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体。
第１項の移動体によれば、移動体の操舵部に操作端末保持部を設けて、操作端末保持部に保持された操作端末の姿勢変化検出部により、操舵部の操作状況の認識を可能にするという簡易な構成により、運転者の状況を認識してインタラクションを提供することができる。

（第２項）表示器を有し、前記操作端末がコントローラとして着脱可能に装着される端末装置を、前記移動体の所定箇所に着脱可能に保持する端末装置保持部を備える第１項に記載の移動体。
第２項の移動体によれば、端末装置を端末装置保持部に取り付けて、インタラクションを表示させる出力装置として使用することができる。

（第３項）前記操作端末保持部は、コントローラとして端末装置に着脱可能に装着される１又は複数個の前記操作端末を、前記操舵部に着脱可能に保持する第１項又は第２項に記載の移動体。
第３項の移動体によれば、端末装置のコントローラを、操舵部の操作状況を認識するための手段に転用することができる。また、複数個のコントローラを操作端末保持部に取り付けることによって、操舵部の操作状況をより詳細に認識することが可能となる。

（第４項）運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体において、インタラクションを提供するインタラクション提供システムであって、前記操作端末保持部に前記操作端末が保持されていることを認識する操作端末保持認識部と、前記操作端末保持認識部により、前記操作端末保持部に前記操作端末が保持されていることが認識されているときに、前記姿勢変化検出部による前記操作端末の姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御部と、を備えるインタラクション提供システム。
第４項のインタラクション提供システムによれば、移動体の操舵部に備えられた操作端末保持部に操作端末が保持されていることが認識されている場合に、姿勢変化検出部により認識される操作端末の姿勢変化に基づいて、運転者の状況に応じたインタラクションを提供することができる。

（第５項）前記操作端末は、表示器及びスピーカーを有する端末装置に着脱可能に装着されるコントローラであり、前記移動体は、前記端末装置を前記移動体の所定箇所に着脱可能に保持する端末装置保持部を有し、前記端末装置が前記端末装置保持部に保持されていることを認識する端末装置保持認識部を備え、前記インタラクション制御部は、前記操作端末保持認識部により前記操作端末が前記操作端末保持部に保持されていることが認識され、且つ前記端末装置保持認識部により前記端末装置が前記端末装置保持部に保持されていることが認識されている場合に、前記表示器と前記スピーカーとのうちの少なくともいずれか一方を前記出力装置として、前記インタラクション制御を実行する第４項に記載のインタラクション提供システム。
第５項のインタラクション提供システムによれば、端末装置保持部に保持された端末装置を、インタラクション制御により情報を出力する出力装置として転用することができる。

（第６項）前記操作端末保持認識部、前記端末装置保持認識部、及び前記インタラクション制御部は、前記端末装置に備えられている第５項に記載のインタラクション提供システム。
第６項のインタラクション提供システムによれば、移動体による処理に依らずに、ゲーム機本体による処理によってインタラクション制御を実行することができる。

（第７項）前記操作端末は、端末装置のコントローラであり、前記操作端末保持認識部により前記操作端末が前記操作端末保持部に保持されていることが認識されているときに、前記端末装置に所定のアプリケーションをインストールすることにより使用可能となるコンテンツの情報を、前記出力装置から出力するコンテンツ情報出力部を備える第４項に記載のインタラクション提供システム。
第７項のインタラクション提供システムによれば、インタラクション制御による情報の出力を享受している運転者或いは他の搭乗者に対して、使用可能なコンテンツの情報を提供することができる。

（第８項）前記操作端末保持部は、１又は複数個の前記操作端末を着脱可能に保持し、前記操作端末保持認識部は、前記操作端末保持部に保持されている前記操作端末の個数を認識し、前記インタラクション制御部は、前記操作端末保持認識部により認識される前記操作端末の個数に応じて、前記インタラクション制御による処理内容を変更する第４項から第７項のうちいずれか１項に記載のインタラクション提供システム。
第８項のインタラクション提供システムによれば、操作端末保持部に保持されている操作端末の個数に応じて、インタラクション制御により出力される情報のバリエーションを変更することが可能となる。

（第９項）前記移動体の移動状態を認識する移動状態認識部を備え、前記インタラクション制御部は、前記インタラクション制御において、前記姿勢変化検出部により検出される前記操作端末の姿勢変化、及び前記移動状態認識部により認識される前記移動体の移動状態に基づいて、前記出力装置から出力する情報を決定する第４項から第８項のうちいずれか１項に記載のインタラクション提供システム。
第９項のインタラクション提供システムによれば、移動体の移動状態をインタラクション制御により出力する情報の決定要素に加えることにより、インタラクション制御により出力される情報を、移動体の移動状態に応じて変化させることができる。

（第１０項）運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体において、インタラクションを提供するためにコンピュータにより実行されるインタラクション提供方法であって、前記操作端末保持部に前記操作端末が保持されていることを認識する操作端末保持認識ステップと、前記操作端末保持認識ステップにより、前記操作端末保持部に前記操作端末が保持されていることが認識されているときに、前記姿勢変化検出部による前記操作端末の姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御ステップと、を含むインタラクション提供方法。
第１０項のインタラクション提供方法をコンピュータにより実行することにより、上記第４項のインタラクション提供システムの構成を実現することができる。

（第１１項）姿勢変化を検出する姿勢変化検出部を有するコントローラが着脱可能に装着される端末装置に実装された、端末装置プロセッサにより実行されるインタラクション提供プログラムであって、前記端末装置プロセッサを、前記コントローラが、移動体の操舵部に備えられて前記コントローラを着脱自在に保持する操作端末保持部に、保持されていることを認識する操作端末保持認識部と、前記操作端末保持認識部により、前記操作端末保持部に前記コントローラが保持されていることが認識されているときに、前記姿勢変化検出部による前記コントローラの姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御部と、して機能させるインタラクション提供プログラム。
第１１項のインタラクション提供プログラムを、端末装置に実装された端末装置プロセッサにより実行することによって、移動体による処理に依ることなく、端末装置とコントローラとによりインタラクション制御の処理を実行することができる。

１…車両（移動体）、２…ステアリングホイール（操舵部）、３…ダッシュボード、４…表示器、５ａ，５ｂ…スピーカー、１０…車両ＥＣＵ、５０，５０ａ，５０ｂ…操作端末保持部、６０…ゲーム機本体保持部（端末装置保持部）、１００…ゲーム機、１１０…ゲーム機本体（インタラクション提供システム）、１２０…端末装置プロセッサ、１２１…操作端末保持認識部、１２２…端末装置保持認識部、１２３…インタラクション制御部、１２４…コンテンツ情報出力部、１３０…メモリ、１３１…制御用プログラム、１３２…インタラクション提供プログラム、１３３…ゲームアプリプログラム、１４０…通信ユニット、１４１…表示器、１４２…スピーカー、１４３…マイク、１４４…加速度センサ、１４５…角速度センサ、１７０ａ…左コントローラ、１７０ｂ…右コントローラ、１７１ａ，１７１ｂ…コントローラプロセッサ、１７６ａ，１７６ｂ…加速度センサ、１７７ａ，１７７ｂ…角速度センサ。

Claims (11)

1. 運転者による操作に応じて変位する操舵部と、
   姿勢変化を検出する姿勢変化検出部を有する操作端末を、前記操舵部に着脱可能に保持する操作端末保持部と、
   を備える移動体。
2. 表示器を有し、前記操作端末がコントローラとして着脱可能に装着される端末装置を、前記移動体の所定箇所に着脱可能に保持する端末装置保持部を備える
   請求項１に記載の移動体。
3. 前記操作端末保持部は、コントローラとして端末装置に着脱可能に装着される１又は複数個の前記操作端末を、前記操舵部に着脱可能に保持する
   請求項１又は請求項２に記載の移動体。
4. 運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体において、インタラクションを提供するインタラクション提供システムであって、
   前記操作端末保持部に前記操作端末が保持されていることを認識する操作端末保持認識部と、
   前記操作端末保持認識部により、前記操作端末保持部に前記操作端末が保持されていることが認識されているときに、前記姿勢変化検出部による前記操作端末の姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御部と、
   を備えるインタラクション提供システム。
5. 前記操作端末は、表示器及びスピーカーを有する端末装置に着脱可能に装着されるコントローラであり、
   前記移動体は、前記端末装置を前記移動体の所定箇所に着脱可能に保持する端末装置保持部を有し、
   前記端末装置が前記端末装置保持部に保持されていることを認識する端末装置保持認識部を備え、
   前記インタラクション制御部は、前記操作端末保持認識部により前記操作端末が前記操作端末保持部に保持されていることが認識され、且つ前記端末装置保持認識部により前記端末装置が前記端末装置保持部に保持されていることが認識されている場合に、前記表示器と前記スピーカーとのうちの少なくともいずれか一方を前記出力装置として、前記インタラクション制御を実行する
   請求項４に記載のインタラクション提供システム。
6. 前記操作端末保持認識部、前記端末装置保持認識部、及び前記インタラクション制御部は、前記端末装置に備えられている
   請求項５に記載のインタラクション提供システム。
7. 前記操作端末は、端末装置のコントローラであり、
   前記操作端末保持認識部により前記操作端末が前記操作端末保持部に保持されていることが認識されているときに、前記端末装置に所定のアプリケーションをインストールすることにより使用可能となるコンテンツの情報を、前記出力装置から出力するコンテンツ情報出力部を備える
   請求項４に記載のインタラクション提供システム。
8. 前記操作端末保持部は、１又は複数個の前記操作端末を着脱可能に保持し、
   前記操作端末保持認識部は、前記操作端末保持部に保持されている前記操作端末の個数を認識し、
   前記インタラクション制御部は、前記操作端末保持認識部により認識される前記操作端末の個数に応じて、前記インタラクション制御による処理内容を変更する
   請求項４から請求項７のうちいずれか１項に記載のインタラクション提供システム。
9. 前記移動体の移動状態を認識する移動状態認識部を備え、
   前記インタラクション制御部は、前記インタラクション制御において、前記姿勢変化検出部により検出される前記操作端末の姿勢変化、及び前記移動状態認識部により認識される前記移動体の移動状態に基づいて、前記出力装置から出力する情報を決定する
   請求項４から請求項８のうちいずれか１項に記載のインタラクション提供システム。
10. 運転者による操作に応じて変位する操舵部と、姿勢変化を検出する姿勢変化検出部を有する操作端末を前記操舵部に着脱可能に保持する操作端末保持部と、を備える移動体において、インタラクションを提供するためにコンピュータにより実行されるインタラクション提供方法であって、
    前記操作端末保持部に前記操作端末が保持されていることを認識する操作端末保持認識ステップと、
    前記操作端末保持認識ステップにより、前記操作端末保持部に前記操作端末が保持されていることが認識されているときに、前記姿勢変化検出部による前記操作端末の姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御ステップと、
    を含むインタラクション提供方法。
11. 姿勢変化を検出する姿勢変化検出部を有するコントローラが着脱可能に装着される端末装置に実装された、端末装置プロセッサにより実行されるインタラクション提供プログラムであって、前記端末装置プロセッサを、
    前記コントローラが、移動体の操舵部に備えられて前記コントローラを着脱自在に保持する操作端末保持部に、保持されていることを認識する操作端末保持認識部と、
    前記操作端末保持認識部により、前記操作端末保持部に前記コントローラが保持されていることが認識されているときに、前記姿勢変化検出部による前記コントローラの姿勢変化の検出状況に基づいて、前記移動体で使用される出力装置から出力する情報を決定するインタラクション制御を実行するインタラクション制御部と、
    して機能させるインタラクション提供プログラム。
    

Images