JP2022071800A - 情報処理装置及び感情誘導方法 - Google Patents

情報処理装置及び感情誘導方法 Download PDF

Info

Publication number
JP2022071800A
JP2022071800A JP2021020128A JP2021020128A JP2022071800A JP 2022071800 A JP2022071800 A JP 2022071800A JP 2021020128 A JP2021020128 A JP 2021020128A JP 2021020128 A JP2021020128 A JP 2021020128A JP 2022071800 A JP2022071800 A JP 2022071800A
Authority
JP
Japan
Prior art keywords
passenger
content
emotion
information processing
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021020128A
Other languages
English (en)
Inventor
正史 程塚
Masashi Hodotsuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Research Institute Ltd
Original Assignee
Japan Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Research Institute Ltd filed Critical Japan Research Institute Ltd
Publication of JP2022071800A publication Critical patent/JP2022071800A/ja
Priority to JP2022178790A priority Critical patent/JP7470171B2/ja
Pending legal-status Critical Current

Links

Images

Abstract

Figure 2022071800000001
【課題】車両に搭乗する搭乗者の感情を好適に誘導することができる情報処理装置等を提供する。
【解決手段】情報処理装置1は、車両Cに搭乗する搭乗者Uの感情が目的地到着時に特定の感情となるように誘導するためのコンテンツであって、前記特定の感情に至る複数段階の感情夫々に対応する複数段階のコンテンツを取得する第1取得部と、所定のセンシング機器SMを用いて検出した前記搭乗者に関する検出情報を取得する第2取得部と、取得した前記検出情報に基づいて前記搭乗者の感情を推定する推定部と、前記車両に設けられた出力機器に、推定した前記搭乗者の感情に対応する段階の前記コンテンツを選択して出力する出力制御部とを備える。
【選択図】図1

Description

本発明は、情報処理装置及び感情誘導方法に関する。
従来、人間の感情の状態を制御する技術が提案されている(例えば、特許文献1を参照)。
特開2020-124392号公報
ところで搭乗者が車両で移動する際には、搭乗者の感情が目的地に適した感情になっていることが好ましく、移動する間に目的地に適した感情へと誘導することができれば好適である。しかしながら、提案された技術は、所定空間内に滞在している個人の感情を該所定空間に適した感情へと誘導する技術に過ぎない。
一つの側面では、車両に搭乗する搭乗者の感情を好適に誘導することができる情報処理装置等を提供することを目的とする。
一つの側面に係る情報処理装置は、車両に搭乗する搭乗者の感情が目的地到着時に特定の感情となるように誘導するためのコンテンツであって、前記特定の感情に至る複数段階の感情夫々に対応する複数段階のコンテンツを取得する第1取得部と、所定のセンシング機器を用いて検出した前記搭乗者に関する検出情報を取得する第2取得部と、取得した前記検出情報に基づいて前記搭乗者の感情を推定する推定部と、前記車両に設けられた出力機器に、推定した前記搭乗者の感情に対応する段階の前記コンテンツを選択して出力する出力制御部とを備える。
一つの側面では、車両に搭乗する搭乗者の感情を好適に誘導することができる。
感情誘導システムの構成例を示す説明図である。 情報処理装置の構成例を示すブロック図である。 車両内部を示す模式図である。 コンテンツDBのレコードレイアウトの一例を示す説明図である。 感情誘導処理の手順例を示す説明図である。 感情遷移過程の一例を示す説明図である。 情報処理装置が実行する処理手順の一例を説明するフローチャートである。 実施の形態2に係るコンテンツDBのレコードレイアウトの一例を示す説明図である。 実施の形態2に係る感情誘導処理の手順例を示す説明図である。 実実施の形態2に係る感情遷移過程の一例を示す説明図である。 実施の形態3に係る記憶部を示すブロック図である。 実施の形態3に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施の形態4に係る情報処理装置が実行する処理手順を示すフローチャートである。
以下、本発明をその実施の形態を示す図面に基づいて説明する。
(実施の形態1)
図1は感情誘導システムの構成例を示す説明図である。本実施の形態では、車両Cが目的地に到着した際に、車両Cに搭乗する搭乗者Uの感情が目的地等に適した感情となるように誘導する感情誘導システムについて説明する。
図1では車両Cに搭乗者Uが搭乗している様子を図示している。車両Cは、搭乗者Uが利用(所有)する車両である。なお、車両Cは自動運転機能を有する車両であってもよい。また、車両Cは搭乗者Uが所有する車両に限定されず、例えばタクシーのように、搭乗者Uが利用するだけの車両であってもよい。また、図1では搭乗者Uが一名のみであるが、同乗者(複数の搭乗者U)が存在していてもよい。本システムでは、例えば搭乗者Uが車両Cを利用して自宅(第1地点)から勤務先(第2地点)に通勤する場合等に、車両C内部で搭乗者Uに対し画像、音声等のコンテンツを提示(出力)することで、搭乗者Uの感情を目的地等に適した感情に誘導する。
なお、以下の例示では搭乗者Uの出発地が自宅であるものとして説明するが、例えば搭乗者Uが勤務先から別の場所(出張先等)に移動する場合に本実施の形態を適用してもよい。すなわち、出発地は搭乗者Uの拠点であればよく、自宅に限定されない。また、本実施の形態では搭乗者Uの最終的な移動先(勤務先等)が目的地であるものとして説明するが、最終的な移動先以前の中間地点(例えば最寄り駅)を目的地としてもよい。
車両Cは、情報処理装置1、センシング機器SM、ディスプレイDS、車載ナビゲーション装置NB、照明装置IM、スピーカSP、芳香装置AF及び空調装置ACを備える。各装置は、車両Cの車内ネットワークを介して互いに通信接続されている。
情報処理装置1は、車両Cに搭載されたコンピュータであり、センシング機器SM等との間で情報の送受信を行う。なお、情報処理装置1はECU(Electronic Control Unit)等の組み込みコンピュータであってもよく、又は車両Cに外付けされたコンピュータであってもよい。情報処理装置1は搭乗者Uに対し、ディスプレイDS等の出力機器を介して、目的地等に応じた特定の感情に誘導するための複数のコンテンツを出力する。具体的には後述するように、情報処理装置1は、最終目標とする特定の感情に搭乗者Uを段階的に誘導するべく、複数段階の感情それぞれに対応する複数段階のコンテンツを、その出力順序に従って順次出力し、最終目標とする感情へと誘導する。
コンテンツは、搭乗者Uの五感を刺激するコンテンツであり、例えば画像及び音声のほか、照明装置IMが照射する光、芳香装置AFが放出する芳香、及び空調装置ACが吹出する温冷風などを含む。また図示していないが、振動装置が発生する振動や噴霧装置が噴霧する霧等をコンテンツに含めてもよい。
情報処理装置1は、センシング機器SMを用いて検出した搭乗者Uに関する検出情報に基づき、搭乗者Uの現在の感情を推定する。検出情報は、搭乗者Uを撮像した画像、車内の音声(搭乗者Uの発話)等のほかに、所定の生体センサを用いて検出した搭乗者Uの生体情報(体温、呼吸、脈拍、心電等)を含み得る。情報処理装置1は、推定した搭乗者Uの感情が、現在出力中のコンテンツの段階(一の段階)に続く次の段階に対応する感情へと遷移したか否かを判定し、次の段階に対応する感情に遷移したと判定した場合、当該次の段階に対応するコンテンツを出力する。
情報処理装置1は、車両Cが目的地に到着するまでの間、各コンテンツを順次出力して搭乗者Uの感情を順々に遷移させ、目的地等に適した感情へと誘導する。
図2は、情報処理装置1の構成例を示すブロック図である。情報処理装置1は、制御部11、通信部12、入力インタフェース13、出力インタフェース14及び記憶部15を備える。
制御部11は、MPU(Micro-Processing Unit)、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の演算処理部110と、ROM(Read Only Memory)111と、RAM(Random Access Memory)112とを備える。
通信部12は、ネットワークNを介した通信処理を実行するモジュールであり、例えばLTE(Long Term Evolution、登録商標)、4G(4th Generation)及び5G(5th Generation)等の通信プロトコルを用いて外部と通信を行う。また通信部12は、Wi-Fi(Wireless Fidelity、登録商標)及びBluetooth(登録商標)等の通信プロトコルを用いて車内の機器と近距離無線通信を行う。
入力インタフェース13は、センシング機器SM、車載ナビゲーション装置NB及び操作ユニットOPと通信接続し、これらの機器から送信された情報を取得するためのインタフェースである。
センシング機器SMは、例えば車両Cの内部を撮像するカメラSM1、車内の音声を集音するマイクSM2等を含む。なお、これらはセンシング機器SMの一例であって、搭乗者Uの状態又は動作を検出可能なデバイスであればよく、例えば搭乗者Uの生体情報(体温、呼吸、脈拍、心電等)を検出するバイタルセンサ、座席STに設けた圧力センサ等をセンシング機器SMに含め、これらの機器での検出結果も検出情報として用いてもよい。また、センシング機器SMは車両Cに設置されたデバイスに限定されず、搭乗者Uが装着するウェアラブルデバイスであってもよい。
車載ナビゲーション装置NBは、出発地から目的地までの経路及び所要時間、並びに現在地から目的地までの残り所要時間等を演算し、交通情報を外部から取得する手段であり、ダッシュボード等に設置されている。
操作ユニットOPは、搭乗者Uの入力操作を受け付ける手段であり、例えばタッチパネル、ソフトウェアキーボード、物理的なボタン及びポインティングデバイス等が該当し、ダッシュボード等に設置されている。
なお、本実施の形態ではセンシング機器SM、車載ナビゲーション装置NB及び操作ユニットOPが車両Cに備え付けられたデバイスであるものとするが、これらのデバイスは、情報処理装置1と通信可能なポータブルデバイス(例えばスマートフォン等)で実現されてもよい。
また、本実施の形態では搭乗者Uから操作を受け付ける操作入力手段(操作ユニットOP)が物理的なデバイスであるものとして説明するが、本実施の形態はこれに限定されるものではない。例えば後述するように、カメラSM1を距離センサ(赤外線センサ等)付きのカメラ、あるいは複眼カメラ等として、搭乗者Uの手の動作(ジェスチャ)を認識することで操作入力を可能としてもよい。
出力インタフェース14は、照明装置IM、スピーカSP、芳香装置AF、空調装置AC及びディスプレイDSと通信接続し、これらの装置に情報を送信するためのインタフェースである。
照明装置IMは、車内空間を照らして搭乗者Uの五感を刺激する手段であり、光量、光色及び照射角度の調整ユニットを夫々備え、車内に設置されている。スピーカSPは、音コンテンツを出力して搭乗者Uの五感を刺激する手段であり、ダッシュボード等に設置されている。芳香装置AFは、芳香を放出して搭乗者Uの五感を刺激する手段であり、複数の芳香液が充填された保存容器、気化した芳香液を放出するファン並びに放出方向及び芳香量の調整ユニットを備え、ダッシュボード等に設置されている。空調装置ACは、温冷風を吹出して搭乗者Uの五感を刺激する手段であり、温冷風の切替ユニット及び吹出方向や吹出量の調整ユニットを備え、ダッシュボード等に設置されている。ディスプレイDSは画像表示手段であり、以下のように、本実施の形態では車窓を表示領域とする表示手段として構成されている。
図3は、車両C内部を示す模式図である。図3では、後部座席から見た車両C内部の様子を模式的に図示している。図3に基づき、本実施の形態に係る車両Cについて説明する。
本実施の形態に係る車両Cは、車窓周辺のボディ面積が極力小さくなり、車窓の面積が極力大きくなるように構成されている。具体的には、車両Cの各ピラー(Aピラー、Bピラー、Cピラー、ルーフピラー等。図3に太線で図示)が細長に形成され、ピラーによって遮られる視認範囲が狭くなるように構成されている。車両Cには、各ピラーの間に各車窓(フロントガラス、フロントドアガラス、リアドアガラス等)が設けられている。また、本実施の形態に係る車両Cは天井全面がルーフガラスで構成されている。
上述の如く、車両Cは、車窓を表示領域とする表示手段としてディスプレイDSを備え、車窓に画像を表示する。具体的には、車両Cは、フロントガラス、フロントドアガラス、リアドアガラス、ルーフガラス、リアガラス等、複数の車窓それぞれに画像を表示する。ディスプレイDSは、例えば車窓をスクリーンとするプロジェクタであるが、車窓自体を透明ディスプレイとして構成してもよく、その具体的な表示手段は特に限定されない。また、例えばルーフ部分は車窓(ガラス)とせずに遮蔽し、ルーフに画像を表示(投影)するだけであってもよい。
また、車両Cには、一又は複数のカメラSM1(図3では3つ)がピラーに設置されており、車内を撮像する。また、車両Cには、照明装置IMがピラーに設置され、照明を点灯する。図示は省略するが、その他のデバイス(スピーカSP、芳香装置AF等)が設置されている。
上述の如く、本実施の形態では、車両Cの室内がコンテンツの体験空間として設計されている。情報処理装置1は、ディスプレイDSを含む各出力機器にコンテンツを出力し、目的地に到着するまでの間に、搭乗者Uを所望の感情に誘導する。
なお、本実施の形態ではコンテンツの体験空間として設計された車両Cを対象とするが、コンテンツの出力先である車両は一般的な車両であってもよく、その車両の設計(構成)は特に限定されない。
図2に戻って説明を続ける。記憶部15は、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等のストレージであり、本実施の形態に係る処理を実行するためのプログラムPのほか、コンテンツDB(Database)151、第1モデル51を記憶している。コンテンツDB151は、各コンテンツのデータを格納するデータベースである。第1モデル51は、センシング機器SMで検出した検出情報に基づいて搭乗者Uの感情を推定する感情推定器であり、例えば訓練データを学習することで生成された機械学習モデルである。第1モデル51は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
なお、本実施の形態では、ローカルストレージにコンテンツが記憶してあるものとして説明するが、クラウド上のコンピュータ(コンテンツ配信用のサーバ等)からコンテンツを取得して出力するようにしてもよい。
また、情報処理装置1は、メモリカード、光ディスク等の非一時的なコンピュータ読取可能な記録媒体Dを読み取る読取部を備え、記録媒体DからプログラムPを読み出して実行するようにしてもよい。
図4は、コンテンツDB151のレコードレイアウトの一例を示す説明図である。コンテンツDB151は、ユーザID列、移動パターン列、コンテンツID列、コンテンツ名列、感情列、コンテンツ列及び出力時間列を含む。ユーザID列は、各ユーザ(搭乗者U)を識別するためのユーザIDを格納している。移動パターン列は、ユーザIDと対応付けて、予め設定されているユーザの移動パターンを記憶している。例えば移動パターン列には、各パターンに応じた出発地(第1地点)と、目的地(第2地点)とが記憶されている。
コンテンツID列、コンテンツ名列、感情列、コンテンツ列、及び出力時間列はそれぞれ、ユーザID及び移動パターンと対応付けて、各パターンに対応する複数段階のコンテンツそれぞれを識別するためのコンテンツID、各段階のコンテンツ名、各段階への遷移条件となる搭乗者Uの感情、コンテンツのデータ、及びコンテンツの出力時間を格納している。
例えば自宅から仕事場への移動パターン(通勤)を一例に説明すると、情報処理装置1はまず、第1段階のコンテンツとして搭乗者Uを覚醒化するためのコンテンツを出力する。続いて情報処理装置1は、当該コンテンツによって搭乗者Uの感情が「覚醒状態」に遷移したか否かを判定し、「覚醒状態」に遷移したと判定した場合、競争心を喚起する次段階のコンテンツを出力する。情報処理装置1は、コンテンツIDに従った順序で、各段階のコンテンツを出力する。
なお、図4では説明の便宜上、コンテンツの遷移条件となる感情列の感情を[]付きの説明文で図示しているが、実際には、感情推定のキーとなる後述のパラメータ(覚醒/非覚醒の指数及び快/不快の指数)が格納されている。各コンテンツとその遷移条件について、詳しくは後述する。
なお、本実施の形態では搭乗者U毎に各移動パターンに応じたコンテンツが用意されているものとして説明するが、コンテンツは全ての搭乗者Uに対して共通であってもよい。
図5は、感情誘導処理の手順例を示す説明図である。以下、情報処理装置1が実行する感情誘導処理手順を説明する。
例えば情報処理装置1及び車載ナビゲーション装置NBは、車両Cの動力源の起動に応じて起動する。起動後、車載ナビゲーション装置NBは、搭乗者Uから目的地の入力を受け付け、車両Cを目的地へと発進させる。車載ナビゲーション装置NBは、所定の地図データを参照して車両Cの現在地から目的地までの残り所要時間を逐次演算し、演算した残り所要時間を情報処理装置1に送信する。
一方、情報処理装置1は、運転席、助手席等の各座席STに着座している一又は複数の搭乗者Uのうち、コンテンツの出力対象(感情誘導対象)とする搭乗者Uを特定する。例えば情報処理装置1は、操作ユニットOPにより対象の搭乗者Uの指定入力を受け付ける。あるいは情報処理装置1は、マイクSM2による音声入力等で搭乗者Uの指定入力を受け付けてもよい。あるいは情報処理装置1は、カメラSM1で撮像した画像から搭乗者Uを認識し、対象の搭乗者Uを自動的に特定するようにしてもよい。
なお、上記では操作ユニットOP(タッチパネル等)への操作入力、又は音声入力を操作手段の一例として挙げたが、本実施の形態はこれに限定されるものではない。例えば情報処理装置1は、カメラSM1を距離センサ付きのカメラ、又は複眼カメラ等として、搭乗者Uの手の動作(ジェスチャ)を認識可能とし、手の動作によって操作入力を受け付けるようにしてもよい。例えば搭乗者Uを特定する場合、情報処理装置1は、カメラSM1で撮像した画像から、搭乗者Uが手を挙げる動作を認識することで、対象とする搭乗者Uを特定する。このように、情報処理装置1は、搭乗者Uの手の動作を認識することで操作入力を受け付けるようにしてもよい。この点は以降の処理でも同様である。
情報処理装置1は、搭乗者Uに対して提示するコンテンツのデータをコンテンツDB151から読み出す。具体的には、情報処理装置1は、目的地到着時に搭乗者Uの感情が特定の感情となるように誘導するためのコンテンツであって、当該特定の感情に至る複数段階それぞれの感情に対応する複数段階のコンテンツのデータをコンテンツDB151から読み出す。
より詳しくは、コンテンツは、車両Cの目的地(移動パターン)に応じて、搭乗者U毎に用意されている。図5では一例として、搭乗者Uの自宅を出発地として、勤務先を目的地とする通勤時のコンテンツの出力例を図示している。この場合、情報処理装置1は図4で例示したように、搭乗者Uの感情を非覚醒状態から覚醒状態に誘導するコンテンツ、覚醒状態から競争心が喚起された状態に誘導するコンテンツ、競争心が喚起された状態から業務上の目標を想起した状態にコンテンツ、及び当日の業務に関するコンテンツをそれぞれ取得する。情報処理装置1は各段階のコンテンツを順次出力し、最終的に、業務に対して意欲のある状態へと搭乗者Uの感情を誘導する。
なお、本実施の形態では目的地に応じて最終目標とする感情(特定の感情)が定められるものとして説明するが、最終目標とする感情は、他の要素(情報)に基づいて定められてもよい。例えば最終目標とする感情は、目的地に加えて、又は目的地に代えて、車両Cの出発日時(現在の日時)、及び/又は搭乗者U以外の同乗者に応じて定められてもよい。例えば情報処理装置1は、目的地以外に出発日時(例えば時間帯)及び同乗者(例えば同乗者のユーザID)をコンテンツと対応付けてコンテンツDB151に記憶しておく。そして情報処理装置1は、車両Cの目的地、出発日時、及び同乗者に応じて最終目標とする感情を推定し、推定した感情に対応するコンテンツをコンテンツDB151から読み出す。なお、出発日時は現在日時から識別すればよく、同乗者はカメラSM1で撮像する画像から特定すればよい。これにより、出力するコンテンツをより柔軟に選択し、搭乗者Uを所望の感情に誘導することができる。
このように、情報処理装置1は、目的地、出発日時、及び/又は同乗者に応じて最終目標とする特定の感情を決めることができればよく、最終目標である感情の(推定)基準は目的地に限定されない。
コンテンツDB151には、各段階のコンテンツと対応付けて、各段階のコンテンツの出力条件となる感情(状態)が記憶されている。なお、図4の例では第1段階のコンテンツ(「覚醒化」)と対応付けられた感情が「Null」となっているが、これは初期状態(自宅からの出発直後)では搭乗者Uの感情が非覚醒状態にあると仮定しているためである。後述するように、情報処理装置1は、一の段階のコンテンツを出力した場合に、次の段階の出力条件である感情に搭乗者Uの感情が遷移したか否かを判定し、搭乗者Uの感情が遷移した場合は次の段階のコンテンツを出力する。
図5の例では、情報処理装置1は最初に、搭乗者Uの感情が非覚醒状態にあると仮定して、覚醒状態に誘導するためのコンテンツを選択して出力する。具体的には、情報処理装置1は、照明装置IMによる照明光の照射、スピーカSPからの音声(音楽等)の出力、芳香装置AFからの芳香の出力、及び/又は空調装置ACによる搭乗者Uへの温冷風の送風を行う。なお、これらはコンテンツの一例であって、例えば情報処理装置1は、ディスプレイDS(車窓)での画像表示等も併せて行ってもよい。
コンテンツを出力する前にまず、情報処理装置1は、車載ナビゲーション装置NBから取得した残り所要時間が、コンテンツDB151に規定されている当該コンテンツの出力時間以上であるか否かを判定する。残り所要時間以上であると判定した場合、情報処理装置1は、当該コンテンツを出力する。一方、コンテンツの出力時間が残り所要時間を超過すると判定した場合、情報処理装置1はコンテンツを出力せずに一連の処理を終了する。
なお、コンテンツの出力時間が残り所要時間以上であるか否かを判定する際に、情報処理装置1は、車両C周辺の交通情報を参照して、閾値とする残り所要時間を増減してもよい。交通情報は、例えば目的地までの経路上又はその周辺における渋滞、交通事故等の派生の有無を示すデータである。情報処理装置1は、ネットワークNを介して交通情報を取得し、渋滞等の発生の有無に応じて残り所要時間を増減する。これにより、現在の交通状況を考慮してコンテンツ出力の適否を判定することができる。
情報処理装置1は、コンテンツを出力すると同時に、センシング機器SMから搭乗者Uに関する検出情報を逐次取得し、搭乗者Uの現在の感情を推定する。検出情報は、上述の如く、カメラSM1で搭乗者Uを撮像した画像、マイクSM2で集音した音声(搭乗者Uの発話)等を含む。なお、検出情報はこれ以外に、搭乗者Uの生体情報、座席STに設けた圧力センサで検出した検出結果等を含めてもよい。
情報処理装置1は、搭乗者Uの画像等から感情を推定する。具体的な感情推定方法は特に問わないが、例えば情報処理装置1は、搭乗者Uを撮像した画像を入力した場合に、当該搭乗者Uの現在の感情を推定するよう学習済みの第1モデル51を用いて感情を推定する。第1モデル51は、例えば深層学習により生成されたCNN(Convolutional Neural Network)等のニューラルネットワークである。なお、後述のように、第1モデル51への入力には搭乗者Uの生体情報等を含めても良い。
本実施の形態において情報処理装置1は、ラッセル円環理論に則して人物の感情を推定する第1モデル51を用いて、搭乗者Uの感情を推定する。具体的には以下で説明するように、情報処理装置1は、ラッセル円環理論に基づいて搭乗者Uの感情を表現するために、快/不快(Pleasure and Unpleasant)の程度を表す指数(Valence;感情価)、及び覚醒/非覚醒の程度を表す指数(Arousal)をそれぞれ算出する。なお、後述のように、ラッセル円環理論は感情表現の一例であって、情報処理装置1は他の理論に基づいて搭乗者Uの感情を表現してもよい。
図6は、感情遷移過程の一例を示す説明図である。図6では、ラッセル円環を概念的に図示している。ラッセル円環理論は、第1軸を快/不快の程度、第2軸を覚醒/非覚醒(眠気)の程度で表現した空間上で、人間の感情を説明する理論である。ラッセル円環理論は公知であるため、ここでは詳細な説明を省略する。
情報処理装置1は、図6のラッセル円環に則して搭乗者Uの感情を推定する。具体的には、情報処理装置1は、第1軸に相当する快/不快の指数、及び第2軸に相当する覚醒/非覚醒の指数をそれぞれ算出し、各指数から、搭乗者Uの感情に相当するラッセル円環の空間内の位置を推定する。例えば第1モデル51は、訓練用の人物画像に対し、快/不快の指数及び覚醒/非覚醒の指数の正解値が対応付けられた訓練データを学習してある。情報処理装置1は、各指数を算出するよう学習済みの第1モデル51に搭乗者Uの画像を入力して、各指数を算出する。
例えば情報処理装置1は、各段階のコンテンツの出力条件(遷移条件)となる感情を、ラッセル円環の空間上の領域で定義してある。図5のコンテンツを一例に説明すると、図6に示すように、第1段階の感情(非覚醒状態)に相当する領域として、第3象限及び第4象限に位置する領域、すなわち覚醒/非覚醒の指数が低い領域(非覚醒の度合いが高い領域)が設定してある。情報処理装置1はまず、初期段階の搭乗者Uの感情が当該領域に位置するものと仮定して、搭乗者Uの感情を覚醒状態に誘導するためのコンテンツを出力する。
その後、情報処理装置1は、次段階に相当する領域に搭乗者Uの感情が遷移したか否かを順次判定し、各段階のコンテンツを出力していく。図5及び図6の例では、情報処理装置1はまず、第2段階の感情(覚醒状態)に相当する領域として、第1象限及び第2象限に位置する領域、すなわち第1段階よりも覚醒/非覚醒の指数が高い領域に遷移したか否かを判定する。第2段階の領域に遷移した場合、次に情報処理装置1は、第3段階の感情(競争心が喚起された状態)に相当する領域として、第2象限に位置する領域、すなわち、覚醒/非覚醒の指数が高く、かつ、快/不快の指数が低い領域(不快の方向に高い領域)に遷移したか否かを判定する。第3段階の領域に遷移した場合、情報処理装置1は、第4段階の感情(目標が想起された状態)に相当する領域として、第1象限に位置する領域、すなわち、覚醒/非覚醒の指数が高く、かつ、快/不快の指数が高い領域に遷移したか否かを判定する。
なお、コンテンツDB151では搭乗者Uの目的地(移動パターン)に応じてコンテンツが用意されており、その目的地に応じて、各段階のコンテンツの出力によって目標とする感情も異なる。これに応じて、各段階のコンテンツの出力条件となるラッセル円環の空間上の領域も別々に設定される。
なお、上記で第1モデル51は、指数を算出する回帰問題として感情推定処理を扱ったが、ラッセル円環の空間上の何れの領域に属するかを分類する分類問題として扱ってもよい。また、上記では第1モデル51の一例としてニューラルネットワークを挙げたが、決定木、SVM(Support Vector Machine)等、その他の学習アルゴリズムに基づくモデルであってもよい。また、本実施の形態では機械学習モデルを用いて感情推定を行うが、単純なルールベースのパターンマッチングにより感情推定(指数算出)を行ってもよい。
また、本実施の形態ではラッセル円環理論に則して搭乗者Uの感情を表現するものとするが、これは一例であって、例えば「喜び」、「悲しみ」などの一般的な感情パターンに則して搭乗者Uの感情を表現してもよい。
また、本実施の形態では画像から感情推定を行うものとして説明するが、その他の検出情報(音声、生体情報等)も第1モデル51に入力して感情を推定するようにしてもよい。この場合、例えば第1モデル51を、各モダリティ(種類)の検出情報の特徴量を抽出するための入力層及び中間層を別々に備えたマルチモーダルモデルとして構成し、各中間層で抽出された特徴量を出力層の前の全結合層で結合して感情推定を行えばよい。
図5に戻って説明を続ける。第1段階のコンテンツを出力後、情報処理装置1は、搭乗者Uの感情が、次の段階に対応する感情に遷移したか否かを判定する。具体的には、情報処理装置1は、搭乗者Uの感情が、非覚醒状態から覚醒状態に遷移したか否かを判定する。覚醒状態は、非覚醒状態(眠気が強い状態)から脱却した状態を指し、図6で例示するように、第1段階よりも覚醒/非覚醒の指数が高い状態を指す。
覚醒状態に遷移したと判定した場合、情報処理装置1は、次段階のコンテンツの出力時間が残り所要時間以上であるか否かを判定した後、搭乗者Uの競争心を喚起するコンテンツを出力する。当該コンテンツは、例えば競合企業の情報、搭乗者Uの知人(職場の同僚や学生時代の友人等)の情報などであり、搭乗者Uの競争相手の情報である。
例えば情報処理装置1には、ユーザの勤務先の競合企業、知人等が予め設定してある。情報処理装置1は、ネットワークNを介してこれらの情報を取得し、コンテンツDB151に記憶してある。例えば競合企業の情報の場合、情報処理装置1は、株価、ビジネスニュース等を掲載したWebサイトから競合企業の情報を取得する。また、知人の情報の場合、情報処理装置1は、知人のSNSへの投稿記事、ブログ記事等を取得する。情報処理装置1は、外部のAPI(Application Programmable Interface)からこれらの情報を取得し、ディスプレイDSに表示する。なお、例えば情報処理装置1は、スピーカSPによる音声も組み合わせてコンテンツを出力してもよい。
次に情報処理装置1は、搭乗者Uの感情が、競争心が喚起された状態に遷移したか否かを判定する。競争心が喚起された状態は、第2段階よりも業務に対する意欲が高まった状態を指し、図6で例示したように、覚醒/非覚醒の指数が高く、かつ、快/不快の指数が低い状態を指す。競争心が喚起された状態に遷移したと判定した場合、情報処理装置1は、次段階のコンテンツの出力時間が残り所要時間以下であるか否かを判定した後、搭乗者Uの目標を想起するコンテンツを出力する。
目的を想起するコンテンツは、例えば歴史的偉人に関する情報、現在活躍中の企業経営者に関する情報等であり、具体的には、これらの情報を内容とするWebページ、動画等が該当する。例えば情報処理装置1は、Web検索エンジンを用いてこれらの情報をWeb上から検索し、コンテンツとしてコンテンツDB151に格納してある。情報処理装置1は、搭乗者Uの業務上の競争心が喚起された状態でこれらのコンテンツをディスプレイDSに表示し、搭乗者Uの意欲が更に向上するよう誘導する。なお、画像表示だけでなく、音声等を組み合わせてもよいことは勿論である。
次に情報処理装置1は、搭乗者Uの感情が、目標が想起された状態に遷移したか否かを判定する。目標が想起された状態は、第3段階よりも業務に対する意欲が高まった状態を指し、図6で例示したように、覚醒/非覚醒の指数が高く、かつ、快/不快の指数が高い状態を指す。目標が想起された状態に遷移したと判定した場合、情報処理装置1は、次段階のコンテンツの出力時間が残り所要時間以下であるか否かを判定した後、搭乗者Uの業務に関連するコンテンツを出力する。
例えば情報処理装置1には、搭乗者Uのスケジュール等を管理するアプリケーション(スケジューラ等)のアカウント情報が予め設定されている。情報処理装置1は、各種アプリケーションから業務に関連する情報を取得する。当該情報は、例えば搭乗者Uのスケジュール、業務上のタスク、電子メール等を含み得る。情報処理装置1は、これらの情報を最終段階のコンテンツとしてディスプレイDSに表示し、搭乗者Uに提示する。情報処理装置1は、残り所要時間が零になるまで当該コンテンツを表示する。
上記の各段階のコンテンツを出力することで、搭乗者Uは、非覚醒状態から業務に対する意欲が高い状態へと通勤途上で段階的に誘導される。目的地に到着後、情報処理装置1及び車載ナビゲーション装置NBは、車両Cからの給電が停止することにより、一連の処理を終了する。
図7は、情報処理装置1が実行する処理手順の一例を説明するフローチャートである。図7に基づき、情報処理装置1が実行する処理内容について説明する。
情報処理装置1の制御部11は、車両Cの目的地の入力を受け付ける(ステップS11)。なお、例えば制御部11は、現在の日時、車両Cの位置情報等から目的地を自動的に判別してもよい。制御部11は、コンテンツの出力対象とする搭乗者Uを特定する(ステップS12)。
制御部11は、ステップS11で入力された目的地に応じて最終目標とする特定の感情を推定し、推定した特定の感情に搭乗者Uの感情を誘導するためのコンテンツをコンテンツDB151から取得する(ステップS13)。具体的には、制御部11は、最終目標とする特定の感情に至る複数段階の感情それぞれに対応する複数段階のコンテンツを取得する。例えば制御部11は、ステップS11で入力された目的地に該当し、かつ、ステップS12で特定した搭乗者Uに対応するコンテンツをコンテンツDB151から読み出す。なお、上述の如く制御部11は、目的地に加えて、又は目的地に代えて、車両Cの出発日時、及び/又は同乗者に応じて最終目標とする感情を推定してもよい。
制御部11は、ステップS13で取得した複数段階のコンテンツのうち、第1段階のコンテンツを出力する(ステップS14)。なお、ステップS14の時点で既にコンテンツの出力時間が残り所要時間を超過する場合、制御部11はコンテンツを出力せず一連の処理を終了する。第1段階のコンテンツを出力後、制御部11は、センシング機器SMから搭乗者Uに関する検出情報を取得する(ステップS15)。具体的には、制御部11は、搭乗者Uを撮像した画像、車内の音声等を取得する。
制御部11は、取得した検出情報に基づき、搭乗者Uの現在の感情を推定する(ステップS16)。例えば制御部11は、検出情報(搭乗者Uの撮像画像等)を入力した場合に、覚醒/非覚醒の度合いを表す指数及び快/不快の度合いを表す指数を算出するよう学習済みの第1モデル51を用いて、各指数を算出する。
制御部11は、搭乗者Uの感情が、出力中のコンテンツの次の段階の感情に遷移したか否かを判定する(ステップS17)。次の段階に遷移していないと判定した場合(S17:NO)、制御部11は処理をステップS15に戻す。次の段階に遷移したと判定した場合(S17:YES)、制御部11は、目的地への残り所要時間を車載ナビゲーション装置NBから取得する(ステップS18)。
制御部11は、次の段階のコンテンツの出力時間が、ステップS18で取得した残り所要時間以下であるか否かを判定する(ステップS19)。残り所要時間以下でないと判定した場合(S19:NO)、制御部11は処理をステップS21に移行する。残り所要時間以下であると判定した場合(S19:YES)、制御部11は、次の段階のコンテンツを出力する(ステップS20)。
制御部11は、残り所要時間が零であるか否か、すなわち目的地に到着したか否かを判定する(ステップS21)。目的地に到着していないと判定した場合(S21:NO)、制御部11は処理をステップS15に戻す。目的地に到着したと判定した場合(S21:YES)、制御部11は一連の処理を終了する。
なお上記では、複数のコンテンツを停止することなく順次出力することにしたが、例えば車両Cが一時停止した場合(コンビニエンスストアへの立寄り等)には、一時停止した箇所からコンテンツの出力を再開するようにしてもよい。
また上記では、出発地から目的地までの所要時間と、全てのコンテンツを出力した総出力時間に大差がないものとして説明したが、目的地によっては、最後のコンテンツ(上記の例では業務に関するコンテンツ)を出力しても尚時間が余る場合もあり得る。この場合、例えば情報処理装置1は、途中段階のコンテンツ(例えば上記では第2段階及び/又は第3段階のコンテンツ)を出力している時点で、残り所要時間と残りのコンテンツの総出力時間とを比較し、途中段階のコンテンツの出力時間を延ばしてもよい。例えば情報処理装置1は、残り所要時間と、残りのコンテンツの総出力時間との差分を算出し、当該差分の時間だけ途中段階のコンテンツを繰り返し出力する。これにより、最後のコンテンツを出力した時点で丁度目的地に到着するように、コンテンツの出力を好適に制御することができる。
また上記では複数段階のコンテンツをその段階順に従って順次出力する場合を説明したが、本実施の形態はこれに限定されず、適時、予め規定されたコンテンツの段階順とは異なる順序でコンテンツを出力してもよい。
例えば図5の一例を用いれば、搭乗者Uの目標を想起する第3段階のコンテンツの出力する場合において、搭乗者Uの感情が前の第2段階の感情に戻ってしまった場合、第2段階に戻り、競争心を喚起するコンテンツを出力する手順から再開するようにしてもよい。
また、例えば情報処理装置1は、目的地が出発地と極めて近く、全ての段階のコンテンツを出力するには時間が足りない場合に、例えば最終段階のコンテンツ(上記では搭乗者Uの業務に関連するコンテンツ)のみを出力してもよい。
このように、情報処理装置1は、搭乗者Uの感情や残り所要時間に応じて複数のコンテンツの何れかを選択して出力可能であればよく、予め規定された段階通りにコンテンツを出力せずともよい。
また、上記では勤務先を目的地とする場合について説明したが、目的地は勤務先に限定されず、テーマパーク、動物園、商業施設、美術館、病院など、任意の場所であってよい。これに伴い、情報処理装置1が出力するコンテンツを種々のコンテンツが想定される。
以上より、本実施の形態1によれば、搭乗者Uの感情を、目的地等に応じた特定の感情に好適に誘導することができる。
(実施の形態2)
実施の形態1では、搭乗者Uが自宅等の拠点(第1地点)から勤務先等(第2地点)に移動する場合について説明した。一方で、勤務先等から自宅等に移動する際の帰路に本システムを適用してもよい。本実施の形態では往路又は復路の別に応じてコンテンツを変更する形態について説明する。なお、実施の形態1と重複する箇所については同一の符号を付して説明を省略する。
図8は、実施の形態2に係るコンテンツDB151のレコードレイアウトの一例を示す説明図である。本実施の形態に係るコンテンツDB151は、同一経路の移動パターンであっても、出発地及び目的地に応じた往路又は復路の別に応じて、別々のコンテンツを記憶してある。
具体的には、コンテンツDB151の移動パターン列には、例えば自宅及び勤務先(職場)の間を移動する場合に、自宅を出発地として勤務先を目的地とする往路と、勤務先を出発地として自宅を目的地とする復路とを、別々の移動パターンとして記憶されている。また、コンテンツID列、コンテンツ名列、感情列、コンテンツ列、及び出力時間列はそれぞれ、往路又は復路の移動パターンと対応付けて、互いに異なるコンテンツのコンテンツID、コンテンツ名、遷移条件となる搭乗者Uの感情、コンテンツ、及びコンテンツの出力時間を記憶している。
図9は、実施の形態2に係る感情誘導処理の手順例を示す説明図である。図10は、実施の形態2に係る感情遷移過程の一例を示す説明図である。図9及び図10に基づき、本実施の形態の概要を説明する。
図9及び図10は、搭乗者Uが勤務先から自宅に移動する帰路における処理例を図示している。搭乗者Uが帰宅する際に、情報処理装置1は、例えば搭乗者Uが入力する目的地と、車両Cの現在地(出発地)とから、勤務先からの帰路に係る移動パターンであることを判別する。情報処理装置1は、当該移動パターンに該当するコンテンツをコンテンツDB151から読み出す。当該コンテンツは、往路とは逆に搭乗者Uの感情を落ち着いた状態に誘導するためのコンテンツであり、最終目標とする落ち着いた状態に至る複数段階の感情それぞれに対応する複数段階のコンテンツから成る。
具体的には、情報処理装置1は、搭乗者Uの感情を不快状態から快適状態に誘導するコンテンツ、快適状態から安心感が喚起された状態に誘導するコンテンツ、安心感が喚起された状態から幸福感が喚起された状態に誘導するコンテンツ、及び搭乗者Uの今後の予定に関するコンテンツを取得する。
不快状態は、搭乗者Uの感情(気分)が業務から切り替わっていない状態を指し、図10で第1段階として図示するように、快/不快の指数が低い状態を指す。快適状態は、搭乗者Uの感情が業務から切り離された状態を指し、図10で第2段階として図示するように、快/不快の指数が高い状態を指す。
安心感が喚起された状態は、搭乗者Uの感情が第2段階よりも非覚醒化された状態を指し、図10で第3段階として図示するように、覚醒/非覚醒の指数が低く、かつ、快/不快の指数が高い状態を指す。幸福感が喚起された状態は、搭乗者Uの感情が第3段階よりも覚醒化された状態を指し、図10で第4段階として図示するように、覚醒/非覚醒の指数が高く、かつ、快/不快の指数が高い状態を指す。
情報処理装置1はまず、搭乗者Uの感情が不快状態にあると仮定して、搭乗者Uの感情を快適状態に誘導する第1段階のコンテンツを出力する。例えば情報処理装置1は、照明装置IMによる照明光の照射、芳香装置AFによる芳香の出力、空調装置ACによる空調の自動調整、及び/又はスピーカSPからの音声(音楽等)の出力を行う。なお、コンテンツを出力する前に、情報処理装置1はコンテンツの出力時間が残り所要時間以内であるか否かを判定する。この点は以降の処理も同様である。
当該コンテンツの出力後、情報処理装置1は、搭乗者Uの感情が、第2段階に相当する快適状態に遷移したか否かを判定する。快適状態に遷移した場合、情報処理装置1は、搭乗者Uの安心感を喚起するコンテンツを出力する。当該コンテンツは、例えば所定の物語の朗読(音声出力)、又はエンターテイメント情報の表示等である。情報処理装置1は、これらのコンテンツを事前にコンテンツDB151に記憶してあり、快適状態に遷移した場合、搭乗者Uの感情をポジティブな方向へ誘導すべく当該コンテンツを出力する。
次に情報処理装置1は、搭乗者Uの感情が、安心感が喚起された状態に遷移したか否かを判定する。安心感が喚起された状態に遷移したと判定した場合、情報処理装置1は、搭乗者Uの幸福感を喚起するコンテンツを出力する。当該コンテンツは、搭乗者Uの感情を第2段階よりも覚醒化させるコンテンツであり、例えば搭乗者Uに関係する人物(家族等)の情報である。具体的には、情報処理装置1は、家族との思い出(写真等)、当日の家族の出来事(搭乗者Uへのチャットメッセージ、SNS投稿記事等)をディスプレイDSに表示する。例えば情報処理装置1は、コンテンツDB151から家族の思い出に相当する情報を読み出すと共に、搭乗者Uが利用するチャットアプリケーションからメッセージ等を取得して表示する。
次に情報処理装置1は、搭乗者Uの感情が、幸福感が喚起された状態に遷移したか否かを判定する。幸福感が喚起された状態に遷移したと判定した場合、情報処理装置1は、搭乗者Uの今後(例えば週末)のスケジュールをディスプレイDSに表示する。情報処理装置1は、搭乗者Uが利用するスケジューラ等のアプリケーションからスケジュールを取得し、第4段階のコンテンツとして出力する。
このように、情報処理装置1は、同じ2地点を移動する場合であっても、往路又は復路の別に応じて異なるコンテンツ群を出力する。これにより、往路又は復路に応じて搭乗者Uの感情を適切な状態に誘導することができる。
往路又は復路に応じて異なるコンテンツを出力する点以外は実施の形態1と同様であるため、本実施の形態ではフローチャート等の詳細な説明省略する。
(実施の形態3)
実施の形態1では、複数段階のコンテンツをそれぞれ出力する際に、コンテンツの出力時間を残り所要時間と比較してコンテンツ出力の適否を判定する形態について説明した。一方で、通勤等で本システムを連日利用する場合、コンテンツの提示によって要する搭乗者Uの感情の遷移時間は似たような時間を取ることが想定される。本実施の形態では、感情誘導に要した遷移時間を学習した機械学習モデルを構築(生成)し、当該モデルに基づく遷移時間の推定値に応じてコンテンツ出力の適否を判定する形態について説明する。
図11は、実施の形態3に係る記憶部15を示すブロック図である。本実施の形態に係る情報処理装置1の記憶部15は、コンテンツDB151、第1モデル51のほかに、第2モデル52を記憶している。第2モデル52は、所定の訓練データを学習済みの機械学習モデルであり、搭乗者Uの検出情報を入力した場合に、次段階の感情に遷移するまでの遷移時間を推定するモデルである。第2モデル52は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
第2モデル52は、例えば第1モデル51と同様に、深層学習によって構築されたCNN等のニューラルネットワークである。例えば第2モデル52は、人物を撮像した画像と、当該人物に対してコンテンツを提示(出力)した場合に、目標とする次段階の感情への遷移に要する遷移時間とのペアを訓練データとして学習してある。
具体的には、第2モデル52は、第2モデル52がインストールされた情報処理装置1が設置されている車両Cの搭乗者U(ユーザ)の画像と、当該搭乗者Uに対するコンテンツの出力によって要した次段階への遷移時間とを訓練データとして学習してある。例えば情報処理装置1は、搭乗者Uが本システムを利用する場合に、搭乗者UのユーザID、及び搭乗者Uに対して出力したコンテンツのコンテンツIDと対応付けて、コンテンツ出力時点の搭乗者Uの画像と、当該コンテンツの次の段階に対応する感情への遷移時間の実績値とを記憶しておく。情報処理装置1は、搭乗者Uの画像のほか、搭乗者Uを表すユーザID、及び出力するコンテンツを表すコンテンツIDを訓練用の入力データとし、遷移時間の実績値を正解値として第2モデル52に与え、学習させる。なお、学習自体は情報処理装置1以外の装置(例えばクラウド上のサーバコンピュータ)で実行してもよい。
情報処理装置1は、各段階のコンテンツを出力する際に、搭乗者Uの画像等を第2モデル52に入力し、出力するコンテンツで誘導目標とする感情、すなわち次の段階の感情への遷移時間を推定する。例えば第2段階のコンテンツを出力する場合、情報処理装置1は、第2段階から第3段階の感情への遷移時間を推定する。
情報処理装置1は、推定した遷移時間を、目的地への残り所要時間と比較する。そして情報処理装置1は、遷移時間が残り所要時間以内である場合、コンテンツを出力する。
図12は、実施の形態3に係る情報処理装置1が実行する処理手順の一例を示すフローチャートである。次段階のコンテンツの出力時間が残り所要時間以内であると判定した場合(S19:YES)、情報処理装置1は以下の処理を実行する。
情報処理装置1の制御部11は、センシング機器SMから取得した搭乗者Uの検出情報を第2モデル52に入力して、搭乗者Uの感情が、ステップS20で新たに出力するコンテンツの更に次の段階に対応する感情に遷移するまでに要する遷移時間を推定する(ステップS301)。具体的には上述の如く、制御部11は、搭乗者Uを撮像した画像等を第2モデルに入力して、遷移時間を推定する。
制御部11は、推定した遷移時間が、残り所要時間以内であるか否かを判定する(ステップS302)。残り所要時間以内でないと判定した場合(S302:NO)、制御部11は処理をステップS21に移行する。残り所要時間以内であると判定した場合(S302:YES)、制御部11は、次段階のコンテンツを出力する(ステップS20)。
以上より、本実施の形態3によれば、搭乗者Uの感情遷移に要する遷移時間を予測し、コンテンツ出力の適否を判定することができる。
(実施の形態4)
実施の形態1では、複数のコンテンツを予め定められた順序で出力する形態について説明した。一方で、各コンテンツの出力条件となる感情に遷移したか否かを同時並行で判定し、出力条件を満たし次第、各コンテンツを出力するようにしてもよい。本実施の形態では、複数のコンテンツの出力順序を規定せず、同時並行で出力する形態について説明する。
図13は、実施の形態4に係る情報処理装置1が実行する処理手順を示すフローチャートである。目的地の入力を受け付け(ステップS11)、コンテンツ出力対象とする搭乗者Uを特定した後(ステップS12)、情報処理装置1は以下の処理を実行する。
情報処理装置1の制御部11は、ステップS11で入力された目的地に該当し、かつ、ステップS12で特定した搭乗者Uに対応するコンテンツをコンテンツDB151から取得する(ステップS401)。具体的には、制御部11は、出力条件とする複数の感情それぞれに対応付けられた複数のコンテンツを取得する。
本実施の形態に係るコンテンツ群は、実施の形態1とは異なり、コンテンツの出力順序、すなわち段階が規定されていない。コンテンツDB151には、各コンテンツと対応付けて出力条件とする感情のみが規定されており、情報処理装置1は、各コンテンツの出力条件である感情に搭乗者Uの感情が一致した場合、出力条件を満たしたコンテンツを出力する。
制御部11は、搭乗者Uに関する検出情報をセンシング機器SMから取得する(ステップS402)。制御部11は、取得した検出情報に基づき、搭乗者Uの感情を推定する(ステップS403)。
制御部11は、コンテンツDB151で規定されている各コンテンツの出力条件の感情と、ステップS403で推定した搭乗者Uの感情とを比較して、出力条件を満たす該当コンテンツがあるか否かを判定する(ステップS404)。該当コンテンツがないと判定した場合(S404:NO)、制御部11は処理をステップS402に戻す。
該当コンテンツがあると判定した場合(S404:YES)、制御部11は、目的地までの残り所要時間を取得する(ステップS405)。制御部11は、該当コンテンツの出力時間が残り所要時間以内であるか否かを判定する(ステップS406)。残り所要時間以内であると判定した場合(S406:YES)、制御部11は、該当コンテンツを出力する(ステップS407)。
ここで、本実施の形態では出力条件を満たし次第コンテンツを出力するため、ステップS407で該当コンテンツを出力する際に、他のコンテンツを出力中である場合が想定される。この場合、例えば情報処理装置1は、出力中のコンテンツと同時に該当コンテンツを出力すると好適である。
例えばコンテンツとして、ディスプレイDSに画像を表示する場合について説明する。この場合、情報処理装置1は、出力中のコンテンツに係る画像とは別のディスプレイDS上の表示箇所に、該当コンテンツに係る画像を表示する。例えば情報処理装置1は、出力中のコンテンツに係る画像を表示している車窓とは別の車窓に、該当コンテンツに係る画像を表示する。
例えば情報処理装置1は、最先に出力を開始したコンテンツをフロントガラスに表示すると共に、その後に出力を開始するコンテンツを、フロントガラス以外の車窓(例えばフロントドアガラス)に表示する。フロントガラスに表示中のコンテンツが終了した場合、情報処理装置1は、別の車窓に表示中のコンテンツをフロントガラスに移動させて表示する。
なお、上記は同時出力(表示)の一例であって、本実施の形態はこれに限定されるものではない。例えば情報処理装置1は、最新のコンテンツ(該当コンテンツ)を優先してフロントガラスに表示し、従前のコンテンツを別の車窓に移動させる等してもよい。
ステップS407の処理を実行後、又はステップS406でNOの場合、制御部11は、目的地に到着したか否かを判定する(ステップS408)。目的地に到着していないと判定した場合(S408:NO)、制御部11は処理をステップS402に戻す。目的地に到着したと判定した場合(S408:YES)、制御部11は一連の処理を終了する。
以上より、本実施の形態4によれば、複数のコンテンツの出力順序を定めず、同時並行で出力してもよい。
各実施の形態において記載した技術的特徴(構成要件)は、互いに組み合わせが可能であり、組み合わせ箇所には新たな技術的思想が形成される。今回開示した実施の形態は、全てが例示であって制限的なものでない。
本発明の範囲は、上記の意味でなく特許請求の範囲を示すものであり、特許請求の範囲と均等の意味及び範囲内における全ての変更を含むことを意図するものである。
1 情報処理装置
11 制御部
110 演算処理部
111 ROM
112 RAM
12 通信部
13 入力インタフェース
14 出力インタフェース
15 記憶部
151 コンテンツDB
51 第1モデル
52 第2モデル
C 車両
U 搭乗者
ST 座席
IM 照明装置
SP スピーカ
AF 芳香装置
AC 空調装置
SM センシング機器
SM1 カメラ
SM2 マイク
NB 車載ナビゲーション装置
DS ディスプレイ
OP 操作ユニット
N ネットワーク

Claims (12)

  1. 車両に搭乗する搭乗者の感情が目的地到着時に特定の感情となるように誘導するためのコンテンツであって、前記特定の感情に至る複数段階の感情夫々に対応する複数段階のコンテンツを取得する第1取得部と、
    所定のセンシング機器を用いて検出した前記搭乗者に関する検出情報を取得する第2取得部と、
    取得した前記検出情報に基づいて前記搭乗者の感情を推定する推定部と、
    前記車両に設けられた出力機器に、推定した前記搭乗者の感情に対応する段階の前記コンテンツを選択して出力する出力制御部と
    を備える情報処理装置。
  2. 前記推定部は、一の段階に対応する前記コンテンツを出力後、前記搭乗者の感情が、前記一の段階に続く次の段階の感情に遷移したか否かを判定し、
    前記出力制御部は、前記次の段階の感情に遷移したと判定した場合に、該次の段階に対応する前記コンテンツを出力する
    請求項1に記載の情報処理装置。
  3. 前記検出情報を入力した場合に前記次の段階に遷移するまでの遷移時間を推定するように学習済みのモデルに、取得した前記検出情報を入力して前記遷移時間を推定する遷移時間推定部を備え、
    前記出力制御部は、推定した前記遷移時間と、前記次の段階に対応する前記コンテンツの出力時間とに基づいて、前記次の段階に対応する前記コンテンツを出力するか否かを判定する
    請求項2に記載の情報処理装置。
  4. 前記出力制御部は、前記一の段階に対応する前記コンテンツとして、前記搭乗者の感情を非覚醒状態から覚醒状態に誘導するコンテンツを出力し、
    前記出力制御部は、前記搭乗者の感情が前記覚醒状態に遷移したか否かを判定し、
    前記出力制御部は、前記覚醒状態に遷移したと判定した場合、前記搭乗者の競争心を喚起するコンテンツを出力する
    請求項2又は3に記載の情報処理装置。
  5. 前記推定部は、前記搭乗者の競争心を喚起するコンテンツを出力後、前記搭乗者の感情が、競争心が喚起された状態に遷移したか否かを判定し、
    前記出力制御部は、前記競争心が喚起された状態に遷移したと判定した場合、前記搭乗者の目標を想起するコンテンツを出力する
    請求項4に記載の情報処理装置。
  6. 前記出力制御部は、前記一の段階に対応する前記コンテンツとして、前記搭乗者の感情を不快状態から快適状態に誘導するコンテンツを出力し、
    前記推定部は、前記搭乗者の感情が前記快適状態に遷移したか否かを判定し、
    前記出力制御部は、前記快適状態に遷移したと判定した場合、前記搭乗者の安心感を喚起するコンテンツを出力する
    請求項2~5の何れか1つに記載の情報処理装置。
  7. 前記推定部は、前記搭乗者の安心感を喚起するコンテンツを出力後、前記搭乗者の感情が、安心感が喚起された状態に遷移したか否かを判定し、
    前記出力制御部は、前記安心感が喚起された状態に遷移したと判定した場合、前記搭乗者に関係する人物を想起するコンテンツを出力する
    請求項6に記載の情報処理装置。
  8. 前記車両の現在地から目的地までの残り所要時間を取得する第3取得部を備え、
    前記出力制御部は、前記残り所要時間と、前記コンテンツの出力時間とに基づいて、選択した前記コンテンツを出力するか否かを判定する
    請求項1~7の何れか1つに記載の情報処理装置。
  9. 前記車両の周辺の交通情報を取得する第4取得部を備え、
    前記出力制御部は、前記交通情報に応じて前記残り所要時間を増減する
    請求項8に記載の情報処理装置。
  10. 前記第1取得部は、前記車両が、前記搭乗者の拠点である第1地点を出発地として所定の第2地点を前記目的地とする往路を移動するか、又は前記第2地点を出発地として前記第1地点を前記目的地とする復路を移動するかに応じて異なる前記複数段階のコンテンツを取得する
    請求項1~9のいずれか1項に記載の情報処理装置。
  11. 前記車両の目的地、出発日時、又は前記搭乗者以外の同乗者に応じて、最終目標とする前記特定の感情を推定する目標推定部を備え、
    前記第1取得部は、推定した前記特定の感情に対応する前記複数段階のコンテンツを取得する
    請求項1~10のいずれか1項に記載の情報処理装置。
  12. 車両に搭乗する搭乗者の感情が目的地到着時に特定の感情となるように誘導するためのコンテンツであって、前記特定の感情に至る複数段階の感情夫々に対応する複数段階のコンテンツを取得し、
    所定のセンシング機器を用いて検出した前記搭乗者に関する検出情報を取得し、
    取得した前記検出情報に基づいて前記搭乗者の感情を推定し、
    前記車両に設けられた出力機器に、推定した前記搭乗者の感情に対応する段階の前記コンテンツを選択して出力する
    処理をコンピュータが実行する感情誘導方法。
JP2021020128A 2020-10-28 2021-02-10 情報処理装置及び感情誘導方法 Pending JP2022071800A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022178790A JP7470171B2 (ja) 2020-10-28 2022-11-08 情報処理装置及び感情誘導方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063106453P 2020-10-28 2020-10-28
US63/106,453 2020-10-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022178790A Division JP7470171B2 (ja) 2020-10-28 2022-11-08 情報処理装置及び感情誘導方法

Publications (1)

Publication Number Publication Date
JP2022071800A true JP2022071800A (ja) 2022-05-16

Family

ID=81593853

Family Applications (8)

Application Number Title Priority Date Filing Date
JP2021020124A Active JP7236478B2 (ja) 2020-10-28 2021-02-10 情報処理システム、コンピュータプログラム、及び表示方法
JP2021020125A Pending JP2022071797A (ja) 2020-10-28 2021-02-10 車両及び表示方法
JP2021020129A Active JP7122408B2 (ja) 2020-10-28 2021-02-10 情報処理装置及び情報処理方法
JP2021020128A Pending JP2022071800A (ja) 2020-10-28 2021-02-10 情報処理装置及び感情誘導方法
JP2021020126A Active JP7157188B2 (ja) 2020-10-28 2021-02-10 情報処理方法、情報処理システム及びプログラム
JP2021020127A Active JP7170076B2 (ja) 2020-10-28 2021-02-10 情報処理方法及び情報処理システム
JP2022126460A Active JP7340078B2 (ja) 2020-10-28 2022-08-08 情報処理装置及びプログラム
JP2022178790A Active JP7470171B2 (ja) 2020-10-28 2022-11-08 情報処理装置及び感情誘導方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2021020124A Active JP7236478B2 (ja) 2020-10-28 2021-02-10 情報処理システム、コンピュータプログラム、及び表示方法
JP2021020125A Pending JP2022071797A (ja) 2020-10-28 2021-02-10 車両及び表示方法
JP2021020129A Active JP7122408B2 (ja) 2020-10-28 2021-02-10 情報処理装置及び情報処理方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2021020126A Active JP7157188B2 (ja) 2020-10-28 2021-02-10 情報処理方法、情報処理システム及びプログラム
JP2021020127A Active JP7170076B2 (ja) 2020-10-28 2021-02-10 情報処理方法及び情報処理システム
JP2022126460A Active JP7340078B2 (ja) 2020-10-28 2022-08-08 情報処理装置及びプログラム
JP2022178790A Active JP7470171B2 (ja) 2020-10-28 2022-11-08 情報処理装置及び感情誘導方法

Country Status (1)

Country Link
JP (8) JP7236478B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007145225A (ja) * 2005-11-29 2007-06-14 Denso Corp 自動車用ユーザーもてなしシステム
JP2007145226A (ja) * 2005-11-29 2007-06-14 Denso Corp 自動車用ユーザーもてなしシステム
JP2009023613A (ja) * 2007-07-23 2009-02-05 Denso Corp 自動車用ユーザーもてなしシステム
JP2009208727A (ja) * 2008-03-06 2009-09-17 Denso Corp 自動車用ユーザーもてなしシステム
JP2016137204A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2019515730A (ja) * 2016-04-18 2019-06-13 マサチューセッツ インスティテュート オブ テクノロジー 生理学的信号からの特徴の抽出
JP2019208576A (ja) * 2018-05-31 2019-12-12 株式会社デンソー 感情データ取得装置および感情操作装置
WO2020069517A2 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
JP6683163B2 (ja) * 2017-03-29 2020-04-15 マツダ株式会社 車両運転支援システム
JP2020130528A (ja) * 2019-02-18 2020-08-31 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
JP2020170345A (ja) * 2019-04-03 2020-10-15 トヨタ自動車株式会社 車両の運転アドバイス提供システム

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09183334A (ja) * 1995-12-28 1997-07-15 Fujita Corp 移動式オフィス
JP3474053B2 (ja) * 1996-04-16 2003-12-08 株式会社日立製作所 ナビゲーション装置の地図表示方法およびナビゲーション装置
FR2806042B1 (fr) * 2000-03-13 2002-07-12 Renault Planche de bord a tablette pour vehicule automobile
JP3920580B2 (ja) * 2001-03-14 2007-05-30 トヨタ自動車株式会社 情報提示システム及び情報提示方法
WO2003020572A1 (en) * 2001-08-31 2003-03-13 Johnson Controls Technology Company Stowable steering wheel
JP2003143477A (ja) * 2001-10-31 2003-05-16 Canon Inc 映像合成装置および方法
JP2004212160A (ja) * 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd 経路検索装置及び車輌内環境変化用装置
JP2005010664A (ja) 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd 車載用コンテンツ再生システム
JP3931336B2 (ja) * 2003-09-26 2007-06-13 マツダ株式会社 車両用情報提供装置
FR2861657B1 (fr) * 2003-11-04 2007-01-19 Peugeot Citroen Automobiles Sa Poste de conduite d'un vehicule automobile
JP4062735B2 (ja) * 2004-01-20 2008-03-19 マツダ株式会社 車両用画像表示装置
JP3928875B2 (ja) * 2004-01-20 2007-06-13 マツダ株式会社 車両用画像表示装置
JP5083559B2 (ja) * 2008-06-02 2012-11-28 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
JP2011055250A (ja) 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
JP2012019895A (ja) * 2010-07-13 2012-02-02 Kokuyo Co Ltd 天板及び天板付家具
JP5714855B2 (ja) * 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
JP2012243007A (ja) * 2011-05-18 2012-12-10 Toshiba Corp 映像表示装置及びそれを用いた映像領域選択方法
JP5703194B2 (ja) * 2011-11-14 2015-04-15 株式会社東芝 ジェスチャ認識装置、その方法、及び、そのプログラム
JP6021488B2 (ja) * 2012-07-19 2016-11-09 キヤノン株式会社 制御装置、制御方法、および制御プログラム
WO2014032822A2 (de) * 2012-08-29 2014-03-06 Johnson Controls Gmbh Vorrichtung und verfahren zur steuerung von fahrzeugfunktionen durch detektion der interaktionen eines benutzers
WO2014083953A1 (ja) * 2012-11-27 2014-06-05 ソニー株式会社 表示装置及び表示方法、並びにコンピューター・プログラム
JP6031972B2 (ja) * 2012-11-27 2016-11-24 富士通株式会社 知覚反応分析装置,その方法及びプログラム
EP2746833A1 (en) * 2012-12-18 2014-06-25 Volvo Car Corporation Vehicle adaptation to automatic driver independent control mode
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US9440660B2 (en) * 2014-07-22 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle
JP2016053880A (ja) * 2014-09-04 2016-04-14 株式会社ランディード 車載システム、情報処理方法、およびコンピュータプログラム
JP6384869B2 (ja) * 2015-01-23 2018-09-05 アルパイン株式会社 情報処理システム及びコンピュータプログラム
KR101687543B1 (ko) * 2015-04-27 2016-12-19 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
EP3351417B1 (en) * 2015-09-18 2019-02-20 Nissan Motor Co., Ltd. Display apparatus for vehicle and display method for vehicle
US10380888B2 (en) 2015-09-18 2019-08-13 Sony Corporation Information processing apparatus, information processing method, and program
CN111258068B (zh) * 2015-10-09 2022-03-01 麦克赛尔株式会社 平视显示装置
JP6556643B2 (ja) * 2016-02-19 2019-08-07 ヒュンダイ・モービス・カンパニー・リミテッド ヘッドアップディスプレイ装置
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法
JP6402136B2 (ja) * 2016-05-17 2018-10-10 オートリブ ディベロップメント エービー サイドエアバッグ装置
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP7067482B2 (ja) * 2016-11-04 2022-05-16 ソニーグループ株式会社 制御装置、記録媒体、およびプログラム
JP6947873B2 (ja) * 2017-03-17 2021-10-13 マクセル株式会社 Ar表示装置、ar表示方法、およびプログラム
US10257582B2 (en) 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
CN110945778B (zh) * 2017-08-28 2023-08-15 株式会社日立产机系统 电机驱动系统
JP6819539B2 (ja) * 2017-10-20 2021-01-27 株式会社デンソー ジェスチャ入力装置
JP2019113407A (ja) * 2017-12-22 2019-07-11 トヨタ自動車株式会社 映像表示装置
JP7475812B2 (ja) 2018-01-04 2024-04-30 ハーマン インターナショナル インダストリーズ インコーポレイテッド 車両キャビン内での拡張されたメディア体験のためのムードルーフ
JP2019124601A (ja) 2018-01-17 2019-07-25 トヨタ自動車株式会社 車両用表示装置
JP6973141B2 (ja) * 2018-02-07 2021-11-24 トヨタ自動車株式会社 車両用表示装置
JP2019140571A (ja) * 2018-02-13 2019-08-22 三菱電機株式会社 コンテンツ再生制御装置、コンテンツ再生システムおよびプログラム
JP2019159867A (ja) * 2018-03-14 2019-09-19 日本精機株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラム
JP7124367B2 (ja) * 2018-03-20 2022-08-24 トヨタ自動車株式会社 作業支援システム、情報処理方法およびプログラム
JP7064371B2 (ja) * 2018-04-17 2022-05-10 株式会社Nttドコモ コンテンツ表示システム、サーバー装置、表示端末及びコンテンツ表示システムの調光制御方法
US10592197B2 (en) * 2018-04-24 2020-03-17 Adobe Inc. Gesture-based alignment methodology to extend the viewport on adjacent touch screen devices
JP2020003953A (ja) * 2018-06-26 2020-01-09 日産自動車株式会社 画像照射方法及びユーザインタフェース装置
JP2020053795A (ja) 2018-09-26 2020-04-02 株式会社Jvcケンウッド 表示制御装置、映像管理サーバ装置、表示システム、表示制御方法およびプログラム
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP6741746B2 (ja) * 2018-12-26 2020-08-19 株式会社ポケモン プログラム、ゲームサーバ、情報処理端末、方法およびゲームシステム
JP7028228B2 (ja) 2019-01-16 2022-03-02 株式会社デンソー 表示システム、表示制御装置及び表示制御プログラム
US20210390140A1 (en) 2019-01-30 2021-12-16 Sony Group Corporation Information processing system, information processing method, and information processing apparatus
US20220080826A1 (en) 2019-03-14 2022-03-17 Sony Group Corporation Information processing apparatus, information processing method, and mobile body apparatus
JP7437630B2 (ja) * 2020-03-23 2024-02-26 パナソニックIpマネジメント株式会社 表示装置、表示方法、及び車両

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007145225A (ja) * 2005-11-29 2007-06-14 Denso Corp 自動車用ユーザーもてなしシステム
JP2007145226A (ja) * 2005-11-29 2007-06-14 Denso Corp 自動車用ユーザーもてなしシステム
JP2009023613A (ja) * 2007-07-23 2009-02-05 Denso Corp 自動車用ユーザーもてなしシステム
JP2009208727A (ja) * 2008-03-06 2009-09-17 Denso Corp 自動車用ユーザーもてなしシステム
JP2016137204A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2019515730A (ja) * 2016-04-18 2019-06-13 マサチューセッツ インスティテュート オブ テクノロジー 生理学的信号からの特徴の抽出
JP6683163B2 (ja) * 2017-03-29 2020-04-15 マツダ株式会社 車両運転支援システム
JP2019208576A (ja) * 2018-05-31 2019-12-12 株式会社デンソー 感情データ取得装置および感情操作装置
WO2020069517A2 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
JP2020130528A (ja) * 2019-02-18 2020-08-31 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
JP2020170345A (ja) * 2019-04-03 2020-10-15 トヨタ自動車株式会社 車両の運転アドバイス提供システム

Also Published As

Publication number Publication date
JP2022171655A (ja) 2022-11-11
JP7236478B2 (ja) 2023-03-09
JP7122408B2 (ja) 2022-08-19
JP2022071798A (ja) 2022-05-16
JP7340078B2 (ja) 2023-09-06
JP2023027783A (ja) 2023-03-02
JP7170076B2 (ja) 2022-11-11
JP7470171B2 (ja) 2024-04-17
JP2022071799A (ja) 2022-05-16
JP7157188B2 (ja) 2022-10-19
JP2022071796A (ja) 2022-05-16
JP2022071797A (ja) 2022-05-16
JP2022071801A (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11155141B2 (en) Facilitating personalized vehicle occupant comfort
JP6656079B2 (ja) 情報提示装置の制御方法、及び、情報提示装置
US20200216078A1 (en) Driver attentiveness detection system
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
JP6607198B2 (ja) 情報処理システムおよび制御方法
CN108688677A (zh) 车辆驾驶支援系统以及车辆驾驶支援方法
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN113665528B (zh) 自主车辆安全系统和方法
CN108688676A (zh) 车辆驾驶支援系统以及车辆驾驶支援方法
US20220203996A1 (en) Systems and methods to limit operating a mobile phone while driving
JP7223981B2 (ja) 眠気推定装置及び覚醒誘導装置
US20190283762A1 (en) Vehicle manipulation using cognitive state engineering
CN108688673A (zh) 车辆驾驶支援系统
US11823055B2 (en) Vehicular in-cabin sensing using machine learning
US20180025283A1 (en) Information processing apparatus, information processing method, and program
CN108688675A (zh) 车辆驾驶支援系统
CN111750885B (zh) 控制装置、控制方法以及存储程序的存储介质
CN112837407A (zh) 一种智能座舱全息投影系统及其交互方法
CN113867527A (zh) 车窗控制方法、装置、电子设备及存储介质
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
JP7470171B2 (ja) 情報処理装置及び感情誘導方法
JP2020101869A (ja) 制御装置及びプログラム
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
WO2022224173A1 (en) Systems and methods for determining driver control over a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220809