JP2022093012A - 注目対象共有装置、注目対象共有方法 - Google Patents

Abstract

【課題】車室外の物事に対する子供の反応に対して運転席の乗員が応答しやすい注目対象共有装置、注目対象共有方法を提供する。【解決手段】ＨＣＵ１は、子供用カメラ２５及び子供センサからの入力データに基づき子供の興味反応を検出すると、その検出時点における子供の視線情報と車外カメラの画像とに基づいて、子供が興味を示した車室外の物事である注目対象物を特定する。そして、注目対象物についての名前や種別、特徴などをサーバ５から取得して、ドライバ及び子供に提示する。また、注目対象物の情報を事後参照可能にサーバやスマートフォン等に保存する。【選択図】図３

Description

本開示は、後部座席に着座している人物が関心を寄せた車外の物事についての情報をドライバが共有する技術に関する。

特許文献１には、ドライバ以外の乗員である同乗者が特定の表情や動作をしたこと、特定感情を表す音声を発したこと、又は所定の指示操作が行われたことに基づいて、車外カメラの撮像画像をドライバが視認可能なディスプレイに表示する技術が開示されている。ディスプレイに表示される画像は、車室外のうち、同乗者の視線方向に存在する被写体の画像である。このように特許文献１には、特許文献１に開示の構成では、同乗者が関心を寄せた可能性がある被写体を含む画像がディスプレイに表示される。

特開２０１４－９６６３２号公報

車両の利用形態として、子供が後部座席に設けられた子供用シートに着座し、その保護者（例えば親）が運転席に着座することがある。子供は大人に比べて多様な物体に興味を持ちうる。そして、子供は、興味をもった物事について、ドライバとしての保護者にしばしば問い合わせたり、その存在を教えてくれたりする。

しかしながら、ドライバとしての保護者は運転に集中する必要があるため、子供の問いかけに対していつも丁寧に応対できるわけではない。また、ドライバは後部座席に着座している子供が何を見ているか把握しづらい。よって、運転負荷が軽い場合であっても、子供の興味反応に寄り添った対応をドライバが行うことは難しい。特に、子供がまだ物事をうまく言語化できない年頃である場合や、ボキャブラリーが少ない年頃である場合には、より一層困難となる。

そのような課題に対し、特許文献１に開示の技術によれば、子供が興味を持った可能性がある被写体を含む画像がディスプレイに表示されるため、ドライバは、当該画像を見ることにより、子供が何に興味を寄せているのか、ある程度は見当をつけることができる。しかしながら、特許文献１に開示の構成では単に画像が表示されるだけである。そのため、車室外の物事に対する子供の反応に対して親が回答／共感するためには、表示画像をもとに子供が着目したであろう被写体を特定し、それを言語化して発話する必要があり、依然としてドライバへの負担が大きい。なお、ここでのドライバとは運転席に着座している人物である運転席乗員を指す。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、車室外の物事に対する子供の反応に対して運転席の乗員が応答しやすい注目対象共有装置、注目対象共有方法を提供することにある。

その目的を達成するための注目対象共有装置は、子供が着座するための座席である子供用シートが設けられた車両で使用される注目対象共有装置であって、子供用シートに着座している子供の状態を表す情報として、子供の少なくとも顔部を撮像範囲に含む車室内カメラ（２５）の画像に基づき、子供の視線方向を取得する子供情報取得部（Ｆ１）と、子供の生体情報、子供の音声、及び、視線方向の少なくとも何れか１つに基づいて、車室外の物事に対する子供の興味反応を検出する興味反応検出部（Ｆ５）と、子供情報取得部が取得した視線方向と、車外を撮像するように車両に取り付けられている車外カメラ（２８）の撮像画像と、に基づいて、子供が興味を持った対象である注目対象を検出する注目対象検出部（Ｆ６）と、車両の内部又は外部に配置されたデータベースから、注目対象について言語化された情報を取得する対象情報取得部（Ｆ７）と、対象情報取得部が取得した情報を、当該情報に対応するテキストの表示及び音声出力の少なくとも何れか一方を用いて、運転席乗員及び子供の少なくとも何れか一方に通知する通知処理部（Ｆ９）と、を備える。

上記構成では、子供の視線情報に基づき、子供が注目している物事を注目対象として特定するとともに、当該注目対象について言語化されている情報を取得して子供又は運転席乗員の少なくともに何れか一方に提供する。ここで、運転席乗員としての保護者に注目対象についての情報を通知する構成によれば、単に画像だけでなく、言語化された情報も通知されるため、当該保護者は子供が何に注目しているのかを認識しやすい。よって、子供が注目している物事をテーマとして子供と会話を行いやすくなる。

また、子供に注目対象についての情報を通知する構成によれば、注目対象物について言語化された情報も通知されるため、当該情報を元に、自分が何に注目しているかを運転席乗員に伝えやすくなる。その結果、子供の興味反応に対して運転席乗員が応答しやすくなる。

また、上記目的を達成するための注目対象共有方法は、車両に予め設定されている子供用シートに着座している子供が興味を示した物事を保護者が共有するための、少なくとも１つのプロセッサによって実行される注目対象共有方法であって、子供用シートに着座している子供の少なくとも顔部を撮像範囲に含む車室内カメラ（２５）の画像に基づき、子供の視線方向を取得すること（Ｓ１０１）と、子供の生体情報、子供の音声、及び、視線方向の少なくとも何れか１つに基づいて、車室外の物事に対する子供の興味反応を検出すること（Ｓ１０４）と、取得された子供の視線方向と、車外を撮像するように車両に取り付けられている車外カメラ（２８）の撮像画像とに基づいて、子供が興味を持った対象である注目対象を検出すること（Ｓ１０５）と、車両の内部又は外部に配置されたデータベースから、注目対象について言語化された情報を取得すること（Ｓ１０７）と、取得された注目対象についての情報を、当該情報に対応するテキストの表示及び音声出力の少なくとも何れか一方を用いて、運転席乗員及び子供の少なくとも何れか一方に通知すること（Ｓ１１０、Ｓ１１１、Ｓ１１３）と、を含む。

上記方法は、上述した注目対象共有装置によって実行される方法である。上記の方法によれば注目対象共有装置と同様の作用により同様の効果が得られる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

注目対象共有システムＳｙｓの全体構成の一例を示すブロック図である。 ウインドウディスプレイ３６の構成の一例を示す図である。 ＨＣＵ１の機能ブロック図である。 ＨＣＵ１の作動を説明するためのフローチャートである。 注目対象物（犬）についての通知画像Ｐｘの一例を示す図である。 注目対象物（車）についての通知画像Ｐｘの一例を示す図である。 注目対象物（建設物）についての通知画像Ｐｘの一例を示す図である。 注目対象物（虹）についての通知画像Ｐｘの一例を示す図である。

以下、本開示の実施形態について図を用いて説明する。図１は、本開示に係る注目対象共有装置が適用された注目対象共有システムＳｙｓの概略的な構成の一例を示す図である。本開示の注目対象共有システムＳｙｓを構成する要素の一部又は全部は、車両に搭載されている。注目対象共有システムＳｙｓが備える機能要素の一部は、車両の外部に設けられていても良い。なお、注目対象共有システムＳｙｓは、１つの側面において子供とドライバとしての保護者とのコミュニケーションを支援するシステムと解する事もできる。故に、注目対象共有システムＳｙｓはコミュニケーション支援システムと呼ぶこともできる。

＜前置き＞
本開示におけるドライバとは、運転席に着座している人物、つまり運転席乗員を指す。ドライバとの表現には、実際に運転操作の一部又は全部を実施している人物に限らない。ドライバとの記載は、自動運転中においては自動運転システムから運転操作の権限を受け取るべき人物を指す。ここでは一例として、後部座席に設置されたチャイルドシートに子供が乗車してあって、かつ、後部座席に着座している子供の保護者がドライバとして運転席に着座している場合を想定して、注目対象共有システムＳｙｓの作動を説明する。保護者の概念には、子供の母親や、父親の他、祖父母などの親戚などが含まれる。ベビーシッターもまた当該システムが使用される地域の慣習又は法律に応じて保護者に含まれうる。

例えば運転席の後ろ側に位置する座席など、車両が備える後部座席のうちの所定位置には、チャイルドシートが、シートベルトやＩＳＯＦＩＸ等の機構により固定されている。ＩＳＯＦＩＸは、ＩＳＯ１３２１６－１：１９９９で規定されている構成であって、ＬＡＴＣＨ（Lower Anchors and Tethers for Children）とも称される。ここでのチャイルドシートは、広義での子供用の乗員保護装置又は拘束装置を指し、着座面の高さを調整するためのブースターシートやジュニアシートなどを含めることができる。チャイルドシートが設置されている座席など、子供が着座する席のことを以降では子供用シートと記載する。なお、例えば子供の体が十分に大きい場合など、拘束器具の設置を省略可能な条件を充足している場合には、子供用シートへのチャイルドシートは設置されていなくとも良い。子供用シートは、子供が着座可能な座席であればよく、必ずしも子供専用というわけではない。子供用シートは、時として大人も着座可能な座席として構成されていても良い。

また、本開示の「自動運転」が指すレベルは、例えば米国自動車技術会（ＳＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ）が定義するレベル３相当であってもよいし、レベル４以上であってもよい。レベル３は、運行設計領域（ＯＤＤ：Operational Design Domain）内においてシステムが全ての運転タスクを実行する一方、緊急時にはシステムからユーザに操作権限が移譲されるレベルを指す。ＯＤＤは、例えば走行位置が高速道路内であること等の、自動運転を実行可能な条件を規定するものである。レベル３では、システムから運転交代の要求があった場合に、ドライバが迅速に対応可能であることが求められる。レベル３は、いわゆる条件付き自動運転に相当する。レベル４は、対応不可能な道路、極限環境等の特定状況下を除き、システムが全ての運転タスクを実施可能なレベルである。レベル５は、あらゆる環境下でシステムが全ての運転タスクを実施可能なレベルである。レベル４以上の自動運転とは、自動運転装置がすべての運転タスクを行うレベル、すなわち、運転席乗員の睡眠が許容される自動化レベルを指す。なお、レベル２以下は、ドライバが操舵及び加減速の少なくとも一部の運転タスクを実行する運転支援レベルに相当する。ここでのシステムとは注目対象共有システムＳｙｓを含む車載システムを指す。

＜注目対象共有システムＳｙｓの構成について＞
図１に示すように注目対象共有システムＳｙｓは、ディスプレイなどのＨＭＩ（Human Machine Interface）の作動を制御するＨＣＵ（HMI Control Unit）１を含んで構成されている。ＨＣＵ１が注目対象共有装置に相当する。

ＨＣＵ１は、ドライバステータスモニタ（以降、ＤＳＭ：Driver Status Monitor）２１などの多様な車載デバイスと接続されて使用される。例えばＨＣＵ１は、ＤＳＭ２１、ドライバセンサ２２、ドライバ用マイク２３、入力装置２４、子供用カメラ２５、子供センサ２６、子供用マイク２７、車外カメラ２８、及びロケータ２９と接続されている。また、ＨＣＵ１は、通信装置３１や、メータディスプレイ３２、センターディスプレイ３３、ヘッドアップディスプレイ（ＨＵＤ）３４、後席ディスプレイ３５、ウインドウディスプレイ３６、対話装置３７、スピーカ３８などとも接続されている。

加えて、ＨＣＵ１は、車両内に構築されている通信ネットワークである車両内ネットワークＮｗを介して、図１での図示を省略している多様なセンサ／デバイスとも接続されている。例えばＨＣＵ１には、車両内ネットワークＮｗを介して自動運転装置などの車両の走行を制御するコンピュータとも相互通信可能に構成されてあって、現在の車両が自動運転モードであるか否かを示す信号が入力されうる。また、ＨＣＵ１は、車両内ネットワークＮｗを介して多様な車載センサの検出結果等が入力される。車載センサとしては、例えば、車速、加速度、操舵角、シフトポジション、アクセルの踏み込み量、ブレーキの踏み込み量等を検出するセンサが挙げられる。また、車載センサにはパーキングブレーキの作動状態や、車両の電源状態を検出するセンサ／スイッチなども含まれる。

なお、ＨＣＵ１と種々のデバイスとは専用線で接続されていても良いし、車両内ネットワークＮｗを介して接続されていてもよい。また、ＨＣＵ１と車載デバイスとの間にはＥＣＵ（Electronic Control Unit）が介在していてもよい。

ＤＳＭ２１は、ユーザの顔画像に基づいてユーザの状態を逐次検出する装置である。ＤＳＭ２１は、例えば近赤外光源と、近赤外カメラと、これらを制御する制御モジュールと、を含む。ＤＳＭ２１は、近赤外カメラが運転席のヘッドレストが存在する方向に向いた姿勢にて、例えばステアリングコラム部の上面、又はインストゥルメントパネルの上面等に設置されている。ＤＳＭ２１は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御モジュールによって画像解析される。制御モジュールは、近赤外カメラから入力される撮像画像から、例えばドライバの目の開度など、ドライバの状態を示す情報であるドライバ状態情報を抽出する。なお、ＤＳＭ２１を構成するカメラは可視光カメラであってもよい。ＤＳＭ２１は、ドライバの顔画像から抽出したドライバ状態情報をＨＣＵ１に出力する。

ドライバ状態情報には、例えばドライバの顔の向きや、視線方向、瞼の開度、瞳孔の開度、口の開度、姿勢などを含む。また、ＤＳＭ２１は、顔の特徴点の分布等に基づき、ドライバの表情や感情等を推定するように構成されていてもよい。画像解析に基づく表情を検出する手法としては、顔の特徴点の分布パターンや顔の筋肉の動きを用いる方法など、多様な方法を援用することができるため、ここでの詳しい説明は省略する。一例としては解剖学的知見に基づき顔面の各筋肉に対応づいた動きの単位として定義された、複数種類のAction unit（以下、ＡＵ）を検出するとともに、ＡＵ毎の検出量（スコア）のパターンに基づいて表情を推定する方法などを採用可能である。ＡＵとしては、例えば眉が下がる、頬が上がる、口角が上がる、上唇が上がるなどが挙げられる。

加えて、ＤＳＭ２１は、ドライバの表情などに基づき、ドライバの緊張度合いを推定しても良い。その他、ドライバの顔部の色情報に基づきドライバの健康状態を推定しても良い。ドライバの状態情報には、表情や感情、緊張度合い、健康状態などを含めることができる。なお、画像解析に基づいてドライバの状態を検出する機能は、ＨＣＵ１が備えていても良い。その場合、ＤＳＭ２１はドライバの顔部画像をＨＣＵ１に出力可能に構成されていればよい。ＤＳＭ２１とＨＣＵ１の間における機能配置は適宜変更可能である。

ドライバセンサ２２は、ドライバの生体情報をセンシングする生体センサである。ドライバセンサ２２は、例えば脈波をセンシングする脈波センサである。ドライバセンサ２２は、血圧、心電位、心拍数、発汗量、体温、人体からの放熱量、呼吸のリズム、呼吸の深さ、呼気成分、体組成、姿勢、体動、皮膚電気活動、顔面筋の活動電位、及び末梢血流量の少なくとも何れか１つを検出対象とするセンサであってもよい。末梢血流量は例えば指先などの末梢部の血流量を指す。生体センサには、温度センサや脈波センサ、湿度センサ、心拍センサなどが含まれる。また、生体情報の概念には、上述したように多様な状態量が含まれうる。ＨＣＵ１には検出対象とする生体情報が異なる複数種類のドライバセンサ２２が接続されていても良い。なお、前述のＤＳＭ２１も広義においては、ドライバセンサ２２に含めることができる。

ドライバセンサ２２は、運転席の背もたれ部やヘッドレストに内蔵されていても良いし、ステアリングに設けられていても良い。また、探査波としてのミリ波を運転席に向けて送受信することで、ドライバの心拍数や体動、姿勢を検出するミリ波レーダも生体センサに含めることができる。ドライバセンサ２２はサーモグラフィーカメラであってもよい。ドライバセンサ２２としては電波式のタイプのものや、赤外線を用いるタイプのものなど、多様な検出原理のセンサを採用することができる。

加えて、種々のドライバセンサ２２の一部又は全部は、ドライバの例えば手首等に装着されて使用されるウェアラブルデバイスであっていてもよい。ウェアラブルデバイスは、リストバンド型、腕時計型、指輪型、メガネ型、イヤホン型など、多様な形状のものを採用可能である。ドライバセンサ２２としてのウェアラブルデバイスは、車両に搭載されている通信装置３１を介してＨＣＵ１と相互通信可能に構成されている。ウェアラブルデバイスと通信装置３１との接続態様は有線接続であっても良いし、無線接続であっても良い。無線接続の方式としては、Bluetooth（登録商標）や、Wi-Fi（登録商標）などの近距離無線通信規格を採用可能である。その他、生体センサとしては、交感神経システム活動に由来する皮膚コンダクタンス（皮膚表面電位）変化を検出する皮膚電気活動（ＥＤＡ）センサなども採用可能である。

ドライバ用マイク２３は、前部座席の乗員が発話した音声等の周囲の音を電気信号に変換してＨＣＵ１に入力する装置である。ドライバ用マイク２３は、ドライバの発話音声を集音しやすいように、例えばステアリングコラムカバーの上面や、ハンドル、インストゥルメントパネルの中央部などに配置されている。

入力装置２４は、ＨＣＵ１に対するドライバの指示を受け付けるための操作部材である。入力装置２４は、ステアリングホイールのスポーク部に設けられたメカニカルスイッチ（いわゆるステアスイッチ）であってもよいし、ドライバの発話内容を認識する音声入力装置であってもよい。また、入力装置２４は、例えばセンターディスプレイ３３など、インストゥルメントパネルに設けられたディスプレイの表示パネル上に積層されたタッチパネルであってもよい。さらに、入力装置２４はドライバのスマートフォンであっても良い。例えばドライバが所持するスマートフォンのタッチパネル及びディスプレイを入力装置２４として援用する事ができる。

子供用カメラ２５は、子供用シートに着座する子供の顔部を撮像するカメラである。例えば子供用カメラ２５は、子供用シートの正面に位置する前部座席の背面部に取り付けられている。子供用カメラ２５は、後部座席に着座している子供の顔部を撮像可能なように、車室内の天井部などに配置されていても良い。後部座席全体を撮像範囲に含むカメラを子供用カメラ２５として援用しても良い。例えば子供用カメラ２５は、天井部の中央部や、フロントガラスの上端部、オーバーヘッドコンソールなどに取り付けられていても良い。子供用カメラ２５が撮像した画像データは、ＨＣＵ１に向けて出力される。なお、ここでの画像データの概念には映像信号も含めることができる。子供用カメラ２５は車室内カメラに相当する。

子供センサ２６は、子供用シートに着座している乗員（つまり子供）の生体情報をセンシングする生体センサである。子供センサ２６は、ドライバセンサ２２と同様に、血圧や、心電位、心拍数、発汗量、体温など、多様な状態量の少なくとも１つを検出対象とするセンサである。例えば子供センサ２６は、脈波をセンシングする脈波センサである。ＨＣＵ１には検出対象とする生体情報が異なる複数種類の子供センサ２６が接続されていても良い。子供の生体情報には、ドライバの生体情報と同様に多様な項目が含まれうる。

子供センサ２６は、例えば子供用シートに内蔵されている。なお、子供センサ２６は、ミリ波や赤外線などを用いて種々のバイタル情報を取得する、非接触式のセンサであってもよい。子供センサ２６はサーモグラフィーカメラであってもよい。加えて、子供センサ２６として、子供の例えば手首等に装着されて使用されるウェアラブルデバイスであっていてもよい。子供センサ２６としてのウェアラブルデバイスは、車両に搭載されている通信装置３１を介してＨＣＵ１と相互通信可能に構成されていればよい。

子供用マイク２７は、後部座席の乗員、特に子供用シートに着座している子供が発話した音声を電気信号に変換してＨＣＵ１に入力する装置である。子供用マイク２７は、子供用シートに着座している子供の発話音声を集音しやすいように、例えば子供用シートの正面に位置する前部座席の背面部や、車室内天井部の中央部などに配置されている。子供用マイク２７は、チャイルドシートのヘッドレスト付近に設けられていても良い。

車外カメラ２８は、自車両周辺を撮影し、当該撮影画像のデータをＨＣＵ１に出力する車載カメラである。車外カメラ２８は、少なくともレンズとイメージセンサとを備えており、自車両の周辺を示す画像を電子的に取得する。車外カメラ２８は、一台であっても良いし、複数台であっても良い。

例えばＨＣＵ１には、車外カメラ２８としてフロントカメラ、リアカメラ、左サイドカメラ、及び右サイドカメラが接続されている。フロントカメラは、車両前方を所定の画角で撮像するカメラであって、例えばフロントグリルなどの自車両の前端に取り付けられている。リアカメラは、車両後方を所定の画角で撮像するカメラであって、例えばリアナンバープレート付近やリアウインドウ付近など、車体背面部の所定位置に配置されている。左サイドカメラは、自車両の左側方を撮像するカメラであって、左側サイドミラーに取り付けられている。右サイドカメラは、自車両の右側方を撮像するカメラであって、右側サイドミラーに取り付けられている。これらの車外カメラ２８のレンズとしては魚眼レンズなどの広角レンズが採用されており、各車外カメラ２８は１８０度以上の画角を有している。このため、４つのカメラ２を利用することで、自車両の全周囲（つまり３６０°）を撮影することが可能である。

なお、上述した各カメラ２の取り付け位置は適宜変更可能である。フロントカメラは、ルームミラーやフロントガラスの上端部などに取り付けられていても良い。左右のサイドカメラは、ＡピラーやＢピラーの付け根付近に配置されていてもよい。車外カメラ２８はルーフ上に取り付けられても良いし、車室内の天井部に取り付けられていても良い。一部又は全部の車外カメラ２８は、例えばルーフ上や、ダッシュボード上、後部座席用のドアの窓枠付近などに後付されたカメラであってもよい。車外カメラ２８は、レンズと撮像素子のセットを複数備え、１台で３６０°撮像可能な複眼カメラであってもよい。また、注目対象共有システムＳｙｓは車外カメラ２８として、撮像距離の範囲が異なる複数のカメラを備えていても良い。例えば、注目対象共有システムＳｙｓは車外カメラ２８として、近距離を撮像するための近距離カメラと、相対的に遠方を撮像するための望遠カメラとを備えていても良い。

ロケータ２９は、自車両の現在位置を測位する装置である。ロケータ２９は、例えばＧＮＳＳ受信機、慣性センサ、地図データベース（以下、ＤＢ）を用いて実現されている。ＧＮＳＳ受信機は、ＧＮＳＳ（Global Navigation Satellite System）を構成する測位衛星から送信される航法信号を受信することで、当該ＧＮＳＳ受信機の現在位置を逐次（例えば１００ミリ秒毎に）検出するデバイスである。ロケータ２９は、ＧＮＳＳ受信機の測位結果と、慣性センサでの計測結果とを組み合わせることにより、自車両の位置を逐次測位する。測位した車両位置はＨＣＵ１に向けて出力される。また、ロケータ２９は地図ＤＢから現在位置を基準として定まる所定範囲の地図データを読み出し、ＨＣＵ１に提供する。地図ＤＢは車両にローカル保存されていてもよいし、クラウド上に配置されていても良い。

通信装置３１は、外部装置と無線又は有線通信するための装置である。例えば通信装置３１は、Bluetooth（登録商標）などの規格に準拠して車室内に持ち込まれたスマートフォン４やウェアラブルデバイスとデータ通信を実施する。スマートフォン４は主としてドライバが所持するスマートフォンである。また、通信装置３１は、例えばＬＴＥ（Long Term Evolution）や４Ｇ、５Ｇなどの規格に準拠した無線通信を実施可能に構成されており、所定のサーバ５とデータ通信を実施する。

サーバ５は、例えば別途後述するように、子供が興味を寄せた車室外の物体である注目対象物についてのデータを保存する。また、サーバ５は、多様な物体についての説明情報が登録されているデータベースなどを備えている。サーバ５は、車両からの要求に基づいて、ＨＣＵ１で検出された子供の注目対象物についての説明情報を送信可能に構成されている。なお、サーバ５は、車両から送信されてきた注目対象物について、インターネット上の情報を取得して車両に返送する機能を有していても良い。サーバ５はＷｅｂサーバであってもよい。車両から送信されてくる注目対象物についてのデータは、画像データであってもよく、その場合、サーバ５は受信した画像を解析することで、検索ワードとして、注目対象物を言語化したテキストデータを取得可能に構成されていればよい。

メータディスプレイ３２は、インストゥルメントパネルにおいて運転席の正面に位置する領域に配置されているディスプレイである。ディスプレイとしては液晶ディスプレイや有機ＥＬディスプレイなどを採用可能である。センターディスプレイ３３は、インストゥルメントパネルにおいて車幅方向中央付近に配置されているディスプレイである。ＨＵＤ３４は、ＨＣＵ１やナビゲーション装置などから入力される制御信号及び映像データに基づき、フロントガラスの所定領域に画像光を投影することにより、ユーザによって知覚されうる虚像を映し出すデバイスである。ＨＵＤ３４は、車両の前方の風景と重畳した画像を表示する。メータディスプレイ３２、センターディスプレイ３３、及びＨＵＤ３４のそれぞれは、ＨＣＵ１から入力された信号に応じた画像を表示する。メータディスプレイ３２、センターディスプレイ３３、及びＨＵＤ３４は、ドライバ向けのディスプレイに相当する。もちろん、センターディスプレイ３３は、助手席の乗員も視認可能である。故に、センターディスプレイ３３は助手席乗員を含む前部座席の乗員向けのディスプレイと解することもできる。

後席ディスプレイ３５は、後部座席の乗員、主として、子供用シートに着座している乗員向けのディスプレイである。後席ディスプレイ３５はリアモニターとも称される。後席ディスプレイ３５は、例えば子供用シートの正面に位置する前部座席の背面部や、車室内天井部などに配置されている。後席ディスプレイ３５もまた、ＨＣＵ１からの入力信号に基づいて作動する。なお、ここでは一例として、後席ディスプレイ３５はタッチパネルを備え、後席ディスプレイ３５に表示画面への子供による指示操作を受付可能に構成されている。

ウインドウディスプレイ３６は、車両側面の窓ガラス、特に子供用シートに隣接するサイドウインドウに、表示光を照射することによって、当該窓ガラスに画像を表示する装置である。ウインドウディスプレイ３６は、例えば図２に示すように、画像光を射出するためのプロジェクタ３６１と、スクリーン３６２とを含む。スクリーン３６２は、画像光を車室内に向けて反射するためのフィルム状の構成であって、画像光の照射対象となる窓ガラス６１の車室内側の面に貼り付けられている。プロジェクタ３６１とスクリーン３６２の間には、拡大反射するためのミラー３６３が介在していてもよい。ミラー３６３は凹面鏡が好ましいが平面鏡であってもよい。プロジェクタ３６１やミラー３６３はルーフ部６２の車室内側の面、すなわち車室内天井部に配置されている。

対話装置３７は、子供用シートに着座している子供やドライバなどの種々の乗員と対話を行う装置である。対話装置３７は、例えば子供用マイク２７が取得した子供の音声データを認識すること、子供の入力音声に対する回答を作成すること、及び回答を音声出力することを行う。対話装置３７は、例えば、人工知能を用いて乗員の発話内容の認識及び回答の生成を行うように構成されている。発話内容の認識処理や、回答の生成処理は、通信装置３１を介してサーバ５が実施するように構成されていてもよい。対話装置３７は、後席ディスプレイ３５に、所定のエージェントの画像を表示する機能も備えうる。エージェントとは、例えば、架空の人物や、擬人化された動物などのキャラクターである。エージェントは、ドライバが事前に設定した、ドライバのアバターなどであってもよい。

対話装置３７は、所定のメッセージを音声出力する場合、エージェントが喋っているように動くアニメーションを後席ディスプレイ３５に表示しうる。なお、エージェントを用いたアニメーションの表示を含む、対話装置３７の作動はＨＣＵ１によって制御される。また、エージェントを用いたアニメーションの表示先は後席ディスプレイ３５に限らず、ウインドウディスプレイ３６であってもよい。

スピーカ３８は、車両の車室内で音声を発生させる。音声出力の種類としては、所定のテキストを読み上げる音声メッセージや、音楽と、アラームなどがある。音声との表現には、単なる音も含まれる。車両にはスピーカ３８としてドライバ用のスピーカ３８Ａと、子供用のスピーカ３８Ｂとが設けられている。ドライバ用のスピーカ３８Ａは例えばインストゥルメントパネルや運転席のヘッドレスト等に設けられている。また子供用のスピーカ３８Ｂは、子供用シートに内蔵されている。子供用のスピーカ３８Ｂは、子供用シート付近の側壁部や天井部に設けられていてもよい。

＜ＨＣＵ１の構成について＞
ＨＣＵ１は、ディスプレイ等を用いたユーザへの情報提示を統合的に制御するコンピュータである。ＨＣＵ１は、プロセッサ１１、ＲＡＭ（Random Access Memory）１２、ストレージ１３、通信インターフェース１４（図中のＩ／Ｏ）、及びこれらの構成を接続するバスラインなどを備えた、コンピュータとして構成されている。

プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）等の演算コアである。プロセッサ１１は、ＲＡＭ１２へのアクセスにより、種々の処理を実行する。ＲＡＭ１２は揮発性のメモリである。通信インターフェース１４は、ＨＣＵ１が他の装置と通信するための回路である。通信インターフェース１４は、アナログ回路素子やＩＣなどを用いて実現されればよい。

ストレージ１３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ１３には、コンピュータをＨＣＵ１として機能させるためのプログラムである注目対象共有プログラムが格納されている。プロセッサ１１が注目対象共有プログラムを実行することは、注目対象共有プログラムに対応する方法である注目対象共有方法が実行されることに相当する。また、ストレージ１３には、車外カメラ２８の車両における設置位置や、子供用シートの位置、子供用カメラ２５の設置位置などを示すデータが登録されている。

ＨＣＵ１は、プロセッサ１１がストレージ１３に保存されている注目対象共有プログラムを実行することにより図３に示す各機能部を提供する。つまり、ＨＣＵ１は、子供情報取得部Ｆ１、車外情報取得部Ｆ２、ドライバ情報取得部Ｆ３、及び車両情報取得部Ｆ４を備える。また、ＨＣＵ１は機能部として、興味反応検出部Ｆ５、対象物特定部Ｆ６、説明情報取得部Ｆ７、運転負荷推定部Ｆ８、通知制御部Ｆ９、記録処理部ＦＡ、及び興味対象管理部ＦＢを備える。通知制御部Ｆ９はより細かい機能部として、タイミング調停部Ｆ９１や対象制御部Ｆ９２を備える。通知制御部Ｆ９が通知処理部に相当する。

子供情報取得部Ｆ１は、子供用カメラ２５や子供センサ２６から、子供用シートに着座している子供の状態に関する多様な情報を取得する。例えば子供情報取得部Ｆ１は、子供用カメラ２５から提供される画像を解析することで、子供の顔の向きや、視線方向、瞼の開度、瞳孔の開度、口の開度、姿勢、体動などの少なくとも一部を推定する。体動には、窓の外に指又は手を向ける振る舞いも含まれる。子供情報取得部Ｆ１は、子供用カメラ２５からの画像に含まれる顔の特徴点の分布等に基づき、子供の表情や感情等を推定するように構成されていてもよい。加えて、口周りの特徴点の分布の時系列変化パターンに基づいて子供の発話の有無を検出するように構成されていてもよい。さらに、体動、主として胸部又は腹部の位置の変化パターンから呼吸のリズムを推定しても良い。

なお、子供用カメラ２５の撮像画像を解析することで子供の状態を推定する機能／処理モジュールは子供用カメラ２５が備えていてもよい。また、上記の機能は外部サーバが備えていても良い。その場合、通信装置３１が子供の画像データをサーバ５に送信するとともに、サーバ５で受信画像を解析し、その結果を車両に返送する。そのように本開示の構成を実現するための種々の機能は、エッジとクラウドとに分散配置されていてもよい。種々の機能の配置態様は適宜変更可能である。

また、子供情報取得部Ｆ１は、子供センサ２６から脈波情報などの検出結果を取得する。もちろん、子供センサ２６が、脈拍数、血圧、心電位、心拍数、発汗量、体温、放熱量、呼吸のリズム、呼吸の深さ、呼気成分、体組成、姿勢、体動などを検出可能に構成されている場合には、子供情報取得部Ｆ１はそれらの情報も取得しうる。

子供情報取得部Ｆ１が取得した子供の状態情報は、取得時刻を示すタイムスタンプを付与してＲＡＭ１２に保存する。子供情報取得部Ｆ１が取得した子供の状態量の情報は、情報種別ごとに区別されて、例えばＲＡＭ１２に一定時間保存される。取得時刻が異なるデータは、取得時刻が最新のデータが先頭となるように取得時刻順にソートされて保存されうる。データの保存期間は例えば２分や５分などとすることができる。

加えて、子供情報取得部Ｆ１は、脈拍数や、目の開度、心拍数、体温、皮表面電位など関し、直近所定時間の検出結果に基づいて、それぞれの平常値を算出する。平常値は、たとえは直近所定時間以内の観測値の平均値や中央値とすることができる。例えば子供情報取得部Ｆ１は脈拍数や、目の開度、顔の向きのそれぞれについて、直近１分以内の観測値を平均化することで各状態量の平常値を算出する。それらの平常値は、子供が何かに興味を持って興奮状態となったことを検出するための判断基準として使用されうる。

その他、子供情報取得部Ｆ１は、子供が発話した場合には、子供用マイク２７からの入力信号に基づき、子供が発話したことを検出する。また、より好ましくは、子供情報取得部Ｆ１は、子供が何か言葉を発した場合には、その発話内容や声の大きさを示す情報を取得する。発話内容は音声認識処理によって特定されうる。子供情報取得部Ｆ１が取得又は検出した種々の情報は興味反応検出部Ｆ５や対象物特定部Ｆ６によって利用される。

車外情報取得部Ｆ２は、車外カメラ２８やロケータ２９などから、車外の情報取得する構成である。例えば車外情報取得部Ｆ２は、車外カメラ２８が撮像した画像データを逐次取得し、ＲＡＭ１２等に一時保存する。画像データの保存領域はリングバッファとして構成されうる。すなわち、保存量が一定の上限値に達した場合には古いデータから順次削除して新規データが保存される。

車外情報取得部Ｆ２は、車外カメラ２８から入力された画像データを、撮影時点における車両の位置情報や、時刻情報と対応付けてＲＡＭ１２に保存する。なお、車外情報取得部Ｆ２は、車外カメラ２８から入力された画像を解析することで、当該画像内に含まれる被写体の位置や種別を特定するように構成されていても良い。物体の識別には、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）技術などを用いることができる。

また、車外情報取得部Ｆ２はロケータ２９から車両周辺の地図情報を取得する。すなわち、車両周辺に存在する施設やランドマークなどの情報を取得する。また、地図情報には、現在走行している道路の種別などの道路構造に係る情報も含まれる。道路の種別とは、例えば一般道路か、高速道路であるかなどを示す。また、道路構造に係る情報には、道路の曲率や、車両の前方に存在する分岐／合流地点、交差点、信号機までの残り距離などを含む。

ドライバ情報取得部Ｆ３は、ＤＳＭ２１やドライバセンサ２２から、ドライバの状態に関する多様な情報を取得する。ドライバ情報取得部Ｆ３が運転席乗員情報取得部に相当する。例えばドライバ情報取得部Ｆ３は、ＤＳＭ２１からドライバの顔の向きや、視線方向、瞼の開度、瞳孔の開度、口の開度、姿勢などの少なくとも一部を取得する。また、ＤＳＭ２１がドライバの表情や緊張度合い等を推定可能に構成されている場合には、ドライバ情報取得部Ｆ３はそれらの情報も取得しうる。加えて、口周りの特徴点の分布の時系列変化パターンに基づいてドライバの発話の有無を検出するように構成されていてもよい。さらに、体動、主として胸部又は腹部の位置の変化パターンからドライバの呼吸のリズムを推定しても良い。呼吸のリズムは緊張度合いや運転負荷を推定材料となりうる。前述の通り、ＤＳＭ２１が備える機能、すなわちドライバの画像を解析することでドライバの状態を推定する機能／処理モジュールは、ドライバ情報取得部Ｆ３やサーバ５が備えていても良い。

車両情報取得部Ｆ４は、走行用電源の状態（オン／オフ）や、車速、加速度、操舵角、アクセルの踏み込み量、ブレーキの踏み込み量なども取得する。走行用電源は、車両が走行するための電源であって、車両がガソリン車である場合にはイグニッション電源を指す。車両が電気自動車やハイブリッド車である場合、走行用電源とはシステムメインリレーを指す。また、車両情報取得部Ｆ４は、ロケータ２９から車両の現在位置を示す情報を取得する。自車両の位置情報は緯度、経度、高度などで表現されうる。

興味反応検出部Ｆ５は、子供情報取得部Ｆ１が取得している子供の状態情報に基づき、子供が車室外の何かに興味を示したか否かを判定する。子供が車室外の何かに興味を示したことをここでは興味反応とも記載する。興味反応が生じたと判定することは興味反応を検出することに相当する。子供が興味を示す対象としては建物や看板などの静止物のほか、歩行者や動物などの移動体、景色など、多様な物事が想定される。ここでの物事との表現には、静止物や移動体といった物だけでなく、状況や、状態、風景、体験などが含まれる。

例えば興味反応検出部Ｆ５は、子供用シートに着座している子供が所定時間以上、同じものを見続けていた場合に、興味反応があったと判定する。子供が所定時間以上同じものを見続けていた場合には、視線方向が所定時間一定方向であった場合のほか、注目物体を目で追いかけるように視線方向を車両の進行方向逆側（例えば後方）に動かした場合も含めることができる。

また、興味反応検出部Ｆ５は、子供が特定感情を表す表情となった場合に、興味反応があったと判定してもよい。ここでの特定感情とは、感嘆や驚嘆などを含み、より具体的には、驚きや、感心、笑顔などを含む。さらに興味反応検出部Ｆ５は、子供が車室外に顔を向けた状態にて発話したことを検出した場合に、興味反応があったと判定してもよい。その際、子供の声の大きさに応じて興味の高さを評価しても良い。また、子供が車室外に顔を向けた状態で同じ単語を所定回数以上繰り返し発したことに基づいて、高い興味反応を示していると判定しても良い。

その他、子供が「見て」や、「あれはなに？」など、ドライバに質問するようなフレーズを発したことに基づいて興味反応があったと判定しても良い。その他、特定の動物又は状態を示す擬声語や擬態語、擬音語（いわゆるオノマトペ）を発したことに基づいて興味反応を検出してもよい。加えて、子供が窓の外に指又は手を向ける動作、すなわち何かを指し示す動作を行ったことに基づいて興味反応があったと判定しても良い。

加えて、興味反応検出部Ｆ５は、子供の脈拍や心拍、目の開度などの生体情報に基づいて子供の興味反応を検出しても良い。例えば脈拍が平常値よりも所定の閾値以上早くなったことに基づいて興味反応があったと判定してもよい。また、目の開度が平常値よりも所定値以上増加したことに基づいて興味反応があったと判定してもよい。興味反応の検出材料としては、体温の変化や、呼吸の状態、体組成なども使用可能である。なお、呼吸の状態には、呼吸の速度や、呼気成分などが含まれる。このように興味反応検出部Ｆ５は、子供が普段と違う状態となっていることや、興奮状態であることに基づいて、何かに興味関心を示していることを検知してもよい。

対象物特定部Ｆ６は、興味反応検出部Ｆ５が子供の興味反応を検出した場合に、その時点から直近所定の遡及時間以内の子供の視線方向に基づいて、子供が興味を示した対象である注目対象物を特定する。ここでの注目対象物の概念には、施設や、ランドマーク、看板などの静止物、歩行者などの移動体、動物、状況（イベント）、景色などが含まれる。例えば、見慣れない建物や、気ぐるみを着た人、犬、猫、消防車などの緊急車両、子供に人気のあるキャラクターを用いた商業看板、企業の看板などが注目対象物となりうる。対象物特定部Ｆ６が注目対象検出部に相当する。

対象物特定部Ｆ６は、例えば興味反応が検出された時点、又は遡及時間以内において、車外カメラ２８が撮像した画像のなかで、子供の視線方向に存在する被写体を注目対象として特定する。ここでの遡及時間は、２００ミリ秒や５００ミリ秒、１秒などとすることができる。

なお、車室外に対する子供の視線方向は、子供用カメラ２５の画像に基づいて特定される、車室内における子供の目の位置と、子供の目の位置を始点とする視線方向と、に基づいて算出されうる。車室内における子供の目の位置は、子供用カメラ２５の設置位置及び姿勢と、画像内における子供の目の位置とに基づいて算出されうる。また、車室外に対する子供の視線方向に、車体が向いている方位角などの情報を組み合わせることで、子供が視線を向けていた絶対方向なども算出されうる。ここでの絶対方向とは、例えば東西南北などの所定の方位角に対応する方向である。

そのように興味反応が検出された時点又はその直前に取得及び保存された車外カメラ２８の画像と子供の視線方向とが照合されることにより、子供が注目していた対象物が自動的に特定されうる。

なお、ここでは一例として対象物特定部Ｆ６は、注目対象物を画像として取得するものとする。もちろん、他の態様として対象物特定部Ｆ６は、特定した注目対象物としての被写体の画像である注目対象物画像を解析することにより、当該注目対象物の種別や名称などを特定しても良い。対象物特定部Ｆ６が取得した注目対象物の画像である注目対象画像は、説明情報取得部Ｆ７に出力される。なお、対象物特定部Ｆ６は、注目対象物の特定過程において、車両又は運転席から見て注目対象物が存在する方向も特定する。注目対象物が存在する方向についての情報も、説明情報取得部Ｆ７や通知制御部Ｆ９に出力される。

説明情報取得部Ｆ７は、車両内又は車両外に配置された辞書データベースから、対象物特定部Ｆ６が特定した注目対象物についての説明情報を取得する。辞書データベースは、多様な物体についての説明情報が登録されているデータベースである。辞書データベースは車両に搭載されていても良いし、クラウド上に配置されていても良い。辞書データベースは、Ｗｅｂサーバなどであっても良い。説明情報取得部Ｆ７が対象情報取得部に相当する。

例えば説明情報取得部Ｆ７は、サーバ５に注目対象物画像を送信することにより、サーバ５から注目対象物についての説明情報を取得する。ここでの説明情報とは、対象の名称の他、対象のカテゴリ（大分類）や、役割、背景、類似する物事などの少なくとも１つを含む。例えば注目対象物が建物であれば、その固有名称／一般名称や、役割、高さ、建設年などが説明情報に含まれる。また、注目対象物が動物であれば、犬や猫、鳥などといった大分類と、より詳細な種別の名称、大きさ、原産地、特性（性格）などが説明情報に含まれる。注目対象物がお祭りなどのイベントであれば、その名称や、歴史的背景、開催時期などが説明情報に含まれる。注目対象物が、虹などの自然現象である場合には、その名称や、発生原理などが説明情報となりうる。注目対象物が救急車や工事車両などの車両である場合には、その名称や、役務、特徴などが説明情報に含まれる。注目対象物が企業やお店の看板である場合には、当該企業／お店の名称の他、提供サービスの種別、設立年、代表商品などが説明情報に含まれうる。説明情報は主として図鑑や、辞書、ガイドブックなどに掲載されている情報とすることができる。

サーバ５は、説明情報取得部Ｆ７からの問い合わせに基づいて、注目対象物画像を解析することで注目対象物の名称を特定するとともに、当該注目対象物に係る名称以外の情報も取得する。名称以外の情報は、当該名称を検索キーとしてインターネット検索することで取得しても良いし、サーバ５自身が保有する辞書データベースを参照することで取得してもよい。そして、サーバ５は、注目対象物の名称を検索キーとして収集した情報を説明情報として車両に返送する。そのような構成によれば、説明情報取得部Ｆ７は車両が膨大なデータを収録したデータベースを備えていなくとも、多様な注目対象物についての情報を取得可能となる。

なお、説明情報取得部Ｆ７が、注目対象物画像を解析することにより、当該注目対象物の種別や名称などを特定しても良い。その場合には、注目対象物の名称を検索キーとして、当該注目対象物の役務や背景などの補足情報を車両内又は車両外に配置されたデータベースから取得すれば良い。説明情報取得部Ｆ７が取得した情報は対象物画像と対応付けられてＲＡＭ１２等に一時保存される。当該データセットは通知制御部Ｆ９や記録処理部ＦＡによって参照される。

運転負荷推定部Ｆ８は、ドライバの状態情報、車両の走行環境、及び自動運転中か否かの少なくとも何れか１つに基づいて、ドライバの運転負荷が高い状態であるか否かを判定する。ドライバの状態情報としてはドライバ情報取得部Ｆ３が取得／検出した情報が用いられる。走行環境情報としては、車両情報取得部Ｆ４又は車外情報取得部Ｆ２が取得した車両周辺の情報が用いられうる。自動運転中かは、車両内ネットワークＮｗを介して自動運転装置から入力されうる。なお、自動運転装置からは自動運転のレベル、すなわちレベル０～５の何れかに該当するかを示す信号が入力されても良い。

運転負荷推定部Ｆ８は、例えばレベル３以上の自動運転中であって、かつ、ハンドオーバーまでの残り時間が所定の閾値以上である場合には、運転負荷は高くないと判定する。なお、ハンドオーバーは、システムから運転席乗員に対して運転操作の権限を移譲することに相当する。一方、自動運転中であっても、ハンドオーバーを要求している場合などにはドライバの運転負荷は高いと判断されうる。

また、運転負荷推定部Ｆ８は、ドライバの脈拍や、呼吸の間隔及び深さ、皮膚電気活動、顔面筋の活動電位、末梢血流量等の生体情報に基づいて運転負荷が高いか否かを判定しても良い。例えば脈拍や呼吸が平常値よりも所定値以上速い場合など、ドライバが緊張状態であることを示している場合には運転負荷が高いと判断されうる。ドライバの緊張状態は、ハンドルを握る強さや、姿勢、皮膚電気活動、瞬目の間隔、末梢血流量など、多様な生体情報から推定可能である。緊張状態や運転負荷の判定方法としては多様な方法を援用可能である。

その他、運転負荷推定部Ｆ８は、高速道路の分岐／合流地点や交差点付近を走行中であることや、車線変更中であることに基づいて、運転負荷が高いと判定しても良い。交差点付近とは例えば交差点までの残り距離が５０ｍ以内となる区間などとすることができる。また交差点付近には交差点の内部も含まれる。その他、見通しが悪い交差点や、歩行者の飛び出しが多い道路、交通事故が多発している区間を走行していることに基づいて運転負荷が高いと判定しても良い。見通しが悪い交差点や、歩行者の飛び出しが多い道路、交通事故が多発している区間などの情報は地図データとしてロケータ２９又は地図サーバから取得されうる。

なお、高速道路の分岐／合流地点や交差点付近を走行中であるか否か、車線変更を計画中か否かなどは走行環境の安全レベルの指標に相当する。上記の構成は、走行環境の安全レベル、換言すれば走行環境に応じて定まる潜在リスクの大きさに応じて、ドライバの運転負荷を評価する構成に相当する。運転負荷が高いと判定するための判断材料／判断条件としては多様な情報／条件を採用可能である。

通知制御部Ｆ９は、説明情報取得部Ｆ７が取得した注目対象物についての情報に係る通知を制御する構成である。例えば通知制御部Ｆ９は、通知対象とする人物／座席や、注目対象物に係る画像の表示タイミング、音声出力のタイミング、画像表示をする場合の出力先などを、運転負荷推定部Ｆ８の判定結果に基づいて統合的に制御する。注目対象物に係る画像の表示や音声出力のタイミングを調停する機能部がタイミング調停部Ｆ９１に相当する。また、注目対象物に係る画像の表示先や音声出力先を調整することは、注目対象物に係る情報の通知対象とする乗員を選定することに対応する。注目対象物に係る画像の表示先として、メータディスプレイ３２やＨＵＤ３４などのドライバ向けのディスプレイを除外することは、画像情報の提示対象からドライバを除外することに相当するためである。注目対象物に係る画像の表示先や音声出力先を調整する機能部が対象制御部Ｆ９２に相当する。通知制御部Ｆ９は、１つの制御形態として、興味反応検出部Ｆ５によって子供の興味反応が検出された場合、子供が興味反応を示したことを示すアイコン画像をＨＵＤ３５２に表示するように構成されていても良い。通知制御部Ｆ９の詳細については別途後述する。

記録処理部ＦＡは、説明情報取得部Ｆ７が取得した注目対象物についてのデータを、興味反応を示した時点における位置情報と対応付けて所定の記憶媒体に保存する。データの保存先とするデバイス（いわゆる保存デバイス）は、ドライバのスマートフォン４や、サーバ５などの外部デバイスであってもよいし、ストレージ１３などの内部デバイスであっても良い。なお、記録対象とするデータである記録データは、注目対象物の画像データを含むことが好ましい。記録データに含める画像データは静止画であってもよいし映像であっても良い。また、記録データには、当該画像を解析して定まる説明情報のテキストデータが含まれていても良い。記録データには、興味反応が検出された時点での車両の位置情報だけでなく、注目対象物が存在する方向や、注目対象物の位置情報、検出時刻情報が対応付けられて保存されても良い。また、記録データは、注目対象物を見ているときの子供の画像データを含んでいても良い。加えて、記録データは、興味反応が検出された時点を基準として定まる所定時間以内の車内の音声データを含んでいても良い。

なお、上記データの保存先をサーバ５とする場合には、ドライバや祖父母等が所有するスマートフォン等などから、サーバ５に保存されているデータを参照可能に構成されていることが好ましい。当該構成によれば、離れて暮らす家族とも、子供が興味を持った物事を共有可能となる。興味反応の検出をトリガとするデータ保存が生じた場合、ＨＣＵ１又はサーバ５は、事前に登録されたデバイスへ記録データの更新が生じたことを通知しても良い。上記の共有処理は、ソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）との連携によって実現されても良い。

上記のように記録処理部ＦＡが注目対象物についてのデータを種々の情報と対応付けて保存することにより、記録対象物のデータを後から参照可能となる。その結果、保護者は、例えば運転の休憩中や自宅に戻ってから、注目対象物についての記録データを参照しながら子供がどんなものを見かけたかについて子供と会話しやすくなる。また、子供が注目した物事を後から見ることで、保護者が子供の成長を感じることも可能となるといった利点を有する。

興味対象管理部ＦＢは、過去に検出された注目対象物の種別などの情報に基づき、子供が興味を持っている物事のカテゴリである興味対象カテゴリを特定する構成である。興味対象カテゴリとしては、乗り物、動物、建物、看板、植物、キャラクター、ファッションなどが想定される。キャラクターは、アニメーションの名前などでより詳細に区分されても良い。乗り物などについても、四輪車か二輪車か電車かなどで細分化しても良い。ファッションに関しても、洋服や髪型などに細分化されていてもよい。動物は、犬、猫、鳥などに細分化されていても良い。

ＨＣＵ１は、子供が興味を持っているカテゴリである興味対象カテゴリを特定可能に構成されている場合、興味対象カテゴリに属する物事が車外カメラ２８に写っている場合、子供の興味反応を検出するための閾値を調整しても良い。例えば、興味対象カテゴリに属する物事が車外カメラ２８に写っている場合には、子供の興味反応を検出するための閾値を下げても良い。

＜ＨＣＵ１の作動例について＞
ここでは図４を用いてＨＣＵ１が実行するコミュニケーション支援処理について説明する。ここでは一例としてコミュニケーション支援処理は、ステップＳ１０１～Ｓ１１５を備えるものとする。もちろん、コミュニケーション支援処理を構成するステップの数や、処理順序は適宜変更可能である。

図４に示すコミュニケーション支援処理は、所定の開始イベントが発生したときに開始される。開始イベントとしては、例えば、車両のイグニッションがオンになること、車両の走行が開始されること、ドライバによる開始指示が入力されたこと等が採用することができる。その他、コミュニケーション支援処理は、興味反応検出部Ｆ５によって子供用シートに着座している子供の興味反応が検出されたことをトリガとして開始されても良い。その場合、ステップＳ１０１～Ｓ１０４はコミュニケーション支援処理とは別途独立した処理として逐次実行されうる。

まずステップＳ１０１ではＨＣＵ１が、ＨＣＵ１に接続されている多様なデバイスから、処理上必要な情報を取得してステップＳ１０２に移る。例えば子供情報取得部Ｆ１が子供センサ２６等から子供の生体情報を取得する。車外情報取得部Ｆ２が、車外カメラ２８等から車外の環境に関する情報を取得する。ドライバ情報取得部Ｆ３がＤＳＭ２１やドライバセンサ２２などからドライバの生体情報を取得する。また、車両情報取得部Ｆ４が車両内ネットワークＮｗやロケータ２９等から車両の現在位置や走行速度等に関する情報を取得する。ステップＳ１０１で取得された各種情報は取得時刻を示す情報とともにＲＡＭ１２などの所定のメモリに保存される。このようなステップＳ１０１は情報取得ステップ及び情報取得処理と呼ぶことができる。なお、情報取得ステップは、ステップＳ１０２以降においても、例えば１００ミリ秒や２００ミリ秒、５００ミリ秒など、所定の周期で逐次実行されうる。

ステップＳ１０２では運転負荷推定部Ｆ８が、ドライバ情報取得部Ｆ３が取得したドライバの生体情報に基づき、例えば上述したアルゴリズムにてドライバの運転負荷が高い状態にあるか否かを判定し、ステップＳ１０３に移る。なお、ドライバの運転負荷に係る判定結果は、複数段階のレベル値で表現されても良い。その場合には判定値が所定の閾値以上である状態が運転負荷の高い状態に対応する。また、ドライバの運転負荷が高い状態にあるか否かは、フラグで管理されても良い。例えば運転負荷の高い場合には、運転負荷フラグが１（オン）に設定される一方、運転負荷が高くない場合には運転負荷フラグが０（オフ）に設定されうる。ステップＳ１０２が完了するとステップＳ１０３に移る。このようなステップＳ１０２はドライバ状態推定ステップと呼ぶことができる。

ステップＳ１０３では興味反応検出部Ｆ５が、子供情報取得部Ｆ１が取得している直近所定時間以内の子供の生体情報に基づいて、子供が興味反応を示したか否かを判定する。興味反応があった場合にはステップＳ１０４を肯定判定してステップＳ１０５に移る。一方、興味反応がない場合にはステップＳ１１５で所定の終了条件が充足したかどうかを判定する。ステップＳ１０３～Ｓ１０４の処理は興味反応検出ステップと呼ぶことができる。

ステップＳ１０５では対象物特定部Ｆ６が、子供の視線方向及び子供の目の位置に基づいて、車両から見て注目対象物が存在する方向を推定する。そして、車外カメラ２８の画像データに含まれる被写体の中から、注目対象物の推定方向に存在する物事を、注目対象物として抽出してステップＳ１０６に移る。このようなステップＳ１０５は注目対象物特定ステップと呼ぶことができる。

ステップＳ１０６では対象物特定部Ｆ６が、車外カメラ２８の撮像画像から、注目対象物が写っている画像部分を注目対象物画像として抽出してステップＳ１０７に移る。このようなステップＳ１０６は注目対象物画像取得ステップと呼ぶことができる。

ステップＳ１０７では説明情報取得部Ｆ７が通信装置３１と連携して、サーバ５等やインターネットなどにアクセスすることにより、注目対象物についての説明情報を取得してステップＳ１０８に移る。なお、説明情報はテキスト又は音声データなどによって、注目対象物の特徴や役務、名称等が言語化されたデータである。このようなステップＳ１０７は説明情報取得ステップと呼ぶことができる。

ステップＳ１０８では運転負荷が高い状態であると判定されているか否かを判定する。ステップＳ１０８で使用される運転負荷に係る情報は、ステップＳ１０２での判定結果を流用することができる。運転負荷が高い場合にはステップＳ１０８を肯定判定してステップＳ１０９に移る。一方、運転負荷が高い状態ではない場合にはステップＳ１０８を否定判定してステップＳ１１１に移る。なお、ＨＣＵ１の動作モードとして、ドライバの代わりにシステムが自動応答する代理応答モードを備えていてもよい。ＨＣＵ１はドライバの操作によって代理応答モードに設定されている場合には、運転負荷の判定値によらずにステップＳ１０９に移るように構成されていても良い。

ステップＳ１０９では通知制御部Ｆ９が、注目対象物に係る情報の通知対象からドライバを除外する。例えば、注目対象物に係る情報の通知対象を子供だけに設定する。助手席にも乗員が乗車している場合には、注目対象物に係る情報の通知対象を子供と助手席乗員に設定しても良い。助手席に人が乗車しているか否かは、助手席に設けられた着座センサの検出信号から特定可能である。

ここでの注目対象物に係る情報とは、注目対象物の画像や説明情報である。説明情報は、前述の通りテキストやアイコンなどの画像で出力されても良いし、音声メッセージとして出力されても良い。注目対象物についての画像には、注目対象物そのものの画像のほか、説明情報のテキスト画像も含まれる。注目対象物に係る情報は、画像表示と音声出力の少なくとも何れか一方を用いて実現されうる。

なお、子供を通知対象に含めるということは、後席ディスプレイ３５やウインドウディスプレイ３６、及び、スピーカ３８Ｂの少なくとも何れか１つを、通知デバイスとして採用することに相当する。ここでの通知デバイスとは、注目対象物に係る情報を画像又は音声で出力するデバイスを指す。また、ドライバを通知対象に含めるということは、メータディスプレイ３２、センターディスプレイ３３、ＨＵＤ３４、及び、スピーカ３８Ａの少なくとも何れか１つを、通知デバイスとして採用することに相当する。助手席乗員を通知対象に含めるということは、センターディスプレイ３３及びスピーカ３８Ａの少なくとも何れか１つを、通知デバイスとして採用することに相当する。なお、注目対象共有システムＳｙｓが助手席の正面に設けられたディスプレイである助手席用ディスプレイを備える場合には、助手席乗員用の通知デバイスとして助手席用ディスプレイも採用可能である。助手席用ディスプレイは、インストゥルメントパネルの右端から左端まで連続的に設けられたディスプレイの一部であってもよい。

もちろん、画像表示の通知対象と、音声出力での通知対象は別々に設定されても良い。子供へは画像と音声の両方で通知を行う一方、ドライバには音声のみで通知するように制御されても良い。ステップＳ１０９での通知対象の選択処理が完了するとステップＳ１１０に移る。

ステップＳ１１０では通知制御部Ｆ９が、後席ディスプレイ３５及びウインドウディスプレイ３６の少なくとも何れか一方に注目対象物の画像及びその説明情報を表示するとともに、当該説明情報に対応する音声をスピーカ３８Ｂから出力させる。仮にステップＳ１０４で検出された興味反応の内容が、子供がドライバに注目対象物について質問するタイプのものであった場合、当該ステップＳ１１０としてのシステム応答は、システムがドライバの代わりに応答する処理である代理応答処理に相当する。代理応答処理は、１つの側面において対話装置３７の動作を制御する処理と解することもできる。

このようにドライバの運転負荷が高い場合には、ドライバの代わりにシステムが速やかに応答することにより、子供が注目対象物に対する興味をなくす前に、注目対象物についての説明情報を提示することができる。また、ドライバとしてはすぐに子供の問いかけ等に応答する必要性が低減されるため、運転操作に集中することができる。

なお、ステップＳ１１０では、対話装置３７を起動させて、子供の追加的な質問に対して応答可能なシステム状態を構築してもよい。そのような構成によれば、提示された説明情報に対する子供の疑問等に対して、引き続きシステムが応答可能となる。対話装置３７と子供とのやり取りは、エージェント画像を用いて実施されうる。ステップＳ１１０が完了するとステップＳ１１４に移る。

ステップＳ１１１では、運転席向けのディスプレイや子供向けのディスプレイに注目対象物についての情報を表示してステップＳ１１２に移る。なお、各種ディスプレイに表示する際には、画像表示されたことをドライバや子供が気づきやすいように、各スピーカ３８から所定の効果音を出力させても良い。

ステップＳ１１２ではステップＳ１１１での画像表示から所定の応答待機時間以内に、ドライバが発話したか否かを判定する。当該ステップＳ１１２は子供の興味反応に対してドライバが何かしらの応答をしたか否かを判定する処理に相当する。応答待機時間は例えば４秒や６秒などとすることができる。応答待機時間内にドライバの発話を検出した場合には、子供の興味反応に対してドライバが応答したとみなし、音声出力は省略してステップＳ１１４に移る。一方、ステップＳ１１１での画像表示開始から応答待機時間が経過してもドライバの発話が検出されなかった場合には、子供の興味反応に対してドライバが応答困難であるとみなし、ステップＳ１１３に移る。ステップＳ１１３では注目対象物についての説明情報を音声出力してステップＳ１１４に移る。ステップＳ１１０やＳ１１１、Ｓ１１３は、ドライバ及び子供の少なくとも何れか一方に注目対象について言語化された情報を提示するため、通知処理ステップと呼ぶことができる。

ステップＳ１１４では記録処理部ＦＡが、注目対象物についての画像データを、位置情報や車室内での音声データ、時刻情報などと対応付けて所定の記録装置に保存してステップＳ１１５に移る。

ステップＳ１１５では所定の終了条件が充足しているか否かを判定する。終了条件としては例えば、車両の走行用電源がオフになったこと、目的地に到着したこと、ドライバによる終了指示がなされたこと等が挙げられる。終了条件が充足された場合（Ｓ１１５ ＹＥＳ）には、本処理は終了する。

＜注目対象物についての通知画像の表示例＞
ここでは図５～図８を用いて、注目対象物についての情報を示す表示画像の一例について説明する。

なお、ドライバに提供する注目対象物についての通知画像には、対象物特定部Ｆ６が注目対象物を検出した方向や、まだ車外カメラ２８で注目対象物を捕捉できているか否かといった、注目対象の位置を示す対象位置情報画像Ｐｄを含んでいることが好ましい。対象位置情報画像Ｐｄは、テキスト又はアイコンなどで構成されうる。対象位置情報画像Ｐｄを提示することにより、ドライバが注目対象物を自分の目で見て確認しやすくなる。また、車外カメラ２８でまだ撮像できているか否かを示す情報を提示することにより、車両及び注目対象物の少なくとも何れか一方の移動に伴ってすでに見えなくなっているものを探すことを抑制することができる。

図５は、注目対象物が例えば歩道上を散歩している犬であった場合の通知画像Ｐｘを模した図である。図５に示すように注目対象物が犬である場合の通知画像Ｐｘは、注目対象物そのものの画像Ｐｉに加えて、名称（犬種）や原産国、性格などのテキスト画像Ｐｔを含む。また、図６は注目対象物が隣接車線を走行していた他車両であった場合の通知画像Ｐｘを模した図である。図６に示すように注目対象物が車である場合の通知画像Ｐｘは、注目対象物そのものの画像Ｐｉに加えて、名称（車種）や、製造者（いわゆるメーカー）、特徴などのテキスト画像Ｐｔを含む。車両の特徴とは、電気自動車かエンジン車か否かや、サイズ、走行性能などを指す。

注目対象物が例えばタワーなどの建設物である場合の通知画像Ｐｘは図７に示すように、注目対象物そのものの画像Ｐｉに加えて、建物の名称や、役割、建設年、高さなどのテキスト画像Ｐｔを含む。建物の役割とは、例えばテレビやラジオなどの放送波の送信を行う電波塔や、複合商業施設、官公庁、工場、学校、住宅などを含む。役割は、提供サービスや属性と言い換えることもできる。なお、ランドマークとしての建設物の通知画像Ｐｘは、別の角度からの写真や、たとえば夜などの現在とは異なる時間帯での外観写真Ｐｊをタッチ選択可能な態様で表示しても良い。

図８は、注目対象物が虹であった場合の通知画像Ｐｘを模した図である。図８に示すように注目対象物が虹などの自然現象である場合の通知画像Ｐｘは、注目対象物そのものの画像Ｐｉに加えて、発生理由や特徴などを示すテキスト画像Ｐｔを含む。なお、虹の特徴とは、例えば一番外側の色が赤と紫であることなど、色のグラデーションについての情報を含む。

その他、通知制御部Ｆ９は、通知画像Ｐｘとして、注目対象物に関連する動画コンテンツ又はそのリストを表示しても良い。例えば注目対象物が或るアニメーションのキャラクターである場合には、当該アニメーションの動画等のコンテンツを表示しても良い。

＜効果＞
上記の構成においてＨＣＵ１は、子供が興味を示した注目対象物について、その画像だけでなく、注目対象物の名称等を言語化した説明情報をドライバに提示する。そのような構成によれば、ドライバは子供が何に注目したのかを認識しやすい。その結果、子供の興味反応に対して、子供の反応に寄り添った対応をしやすくなる。

また、上記では一例として、ドライバの運転負荷が高いと判定されている場合には、子供の興味反応に対するドライバの応答を待つことなく、システムが子供の質問等に対する回答を行う。当該構成によればドライバは運転に集中しやすい。また、子供は、システムから知りたい情報を取得できる。加えて、子供にとっては自分が興味を示したものに対してシステムが応答してくれるため、移動時間を退屈と感じる恐れを低減できる。

また、上記構成では一例として、ドライバに注目対象物についての情報を画像及び音声で通知する場合であっても、画像表示を行ってから所定の応答待機時間が経過したことに基づいて、説明情報の音声出力を行う。そのように画像表示と音声出力との間に時間差を設けることで、ドライバとしての保護者自身が子供の興味反応に対して応答しやすくなる。これにより、ドライバとしての保護者と子供とのコミュニケーションが活性化する効果が期待できる。また、上記構成では、ドライバ用のディスプレイに画像表示を行ってから所定の応答待機時間が経過してもドライバの発話が検出できなかった場合には、システムが代理的に応答する。上記構成によれば、子供は自身の興味に対して保護者とシステムの少なくとも何れか一方が応答してくれるため、移動時間を楽しみやすくなる。

加えて、以上では、子供の興味を示した物事を位置情報等と対応付けて記録する。これによれば、子供が何に興味を示したのか、興味反応が検出された直後ではドライバが特定できなかった場合でも、後から特定可能となる。例えば、注目対象物を通り過ぎたあとも、当該注目対象物の画像を見ることで、子供が興味を持った物事を特定可能となる。また例えば運転終了後や、帰宅後などにおいても、注目対象物の画像を見返す事が可能となる。加えて、注目対象物のデータは、サーバ５などと連携して離れて暮らす家族も参照可能に構成されている。故に、子供が興味をもった物事を、ドライバ以外の家族、親戚も共有しやすくなる。

上記構成では一例として、注目対象物の種別とその存在方向とを画像又は音声にてドライバに通知する。当該構成によれば、ドライバは、運転中も車室外において子供が注目している物体を視認しやすくなる。また、子供がどんなものに注目しているかが認識しやすくなるため、移動時間を保護者が子供の成長を知る機会としても利用可能となりうる。

さらに、注目対象物として検出される物事は、例えば施設やランドマークなど、地図データに登録されているような地図要素に限定されない。歩行者や自動車、電車、動物、虹など多様なものが注目対象物として検出される。そして、当該検出された注目対象物についての説明情報をインターネットなどから取得して子供及びドライバの少なくとも何れか一方に提示する。このような構成によれば、子供は、自分が興味をもった多様な物事についての情報を積極的に取得可能となるため、移動時間中にも様々なことを学習可能となる。

また、上記構成によれば子供は、データベース上の知識と現実世界とを具体的に結びつけて学ぶことが可能となる。実際に自分の目でみて得た知識やその記憶は、教科書などから得た情報よりも記憶に残りやすい。故に、上記の構成によれば、塾や学校までの移動時間を用いて効率的に知識を獲得可能となる。つまり移動時間を知識獲得の機会として利用可能となる。特に、子供が複数の塾に通っている場合には、移動時間を有効に活用することは、子供、及び子供に付き添う保護者にとって重要となりうる。そのような事情に対し、本開示の構成によれば、移動時間を知識獲得や親子のコミュニケーションの機会として活用しやすくなるといった利点を有する。

その他、上記の構成では一例として、注目対象物の画像とともに、車内の会話を示す音声データなども合わせて保存する。当該構成によれば、注目対象物についての車内の会話も後日再生することができる。

上記構成によれば、運転中における子供とドライバとしての保護者のコミュニケーションを支援することにより、車両での移動時間をより楽しくすることができる。また、小さい子供は、時として、親からの反応が得られないことに対して大きな声を出したり泣いたりしうる。子供が癇癪を起こすと、結果としてドライバの運転負荷が上がりうる。本開示の構成によれば、運転中における子供と保護者のコミュニケーションを円滑にすることにより、子供が癇癪を起こす恐れを低減でき、その結果として運転負荷が上がることを抑制する効果も期待できる。

以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の補足や変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。

＜子供への通知内容の制御例＞
子供の年齢や知識レベル、能力レベルに基づいて、子供に通知する情報の量や、種類、表現方法などを変更しても良い。例えば、子供がまだ母国語の文字を読めない年頃である場合には母国語のテキストと音声とをセットで出力してもよい。当該構成によれば母国語の文字の習得を早める効果が期待できる。また、子供が母国語の文字をある程度読める年頃である場合には母国語のテキストと他の言語での翻訳文とをセットで出力してもよい。当該構成によれば母国語以外の言語を学習する効果が期待できる。

また、乗車中の子供の覚醒度や、姿勢、乗車時間などに基づいて、子供に通知する情報の量や、種類、表現方法などを変更しても良い。子供が眠そうな状態においては、覚醒している状態よりも情報量を減らしても良い。あるいは、文字量を減らして画像を増やしてもよい。当該構成によれば、過剰な情報によって子供に煩わしさを与えてしまう恐れを低減できる。また、子供の乗車姿勢が崩れている場合、子供が疲れている可能性が高い。故に、子供の乗車姿勢が崩れている場合には、子供の乗車姿勢が崩れていない場合に比べて提示する情報量を少なくしても良い。加えて、乗車してから経過時間（つまり乗車時間）が長いほど、情報量を低減するように要構成されていても良い。その他、仮に注目対象物に係る動画コンテンツのリストを子供に提示する構成においては、目的地に到達するまでの残り時間よりも再生時間が短いコンテンツに絞って子供に提示するように構成されていても良い。

後席ディスプレイ３５等を介して子供に通知する情報の量や種類は所定の設定画面を介してドライバが設定可能に構成されていても良い。なお、子供の年齢等の情報は、設定画面等を介してドライバが手動で入力しても良いし、子供用カメラ２５等の画像を元にＨＣＵ１が推定しても良い。

また、子供が「あれは何？」といった複数の単語の組み合わせたフレーズである複合語フレーズを発話したことに基づいて興味反応を検出したか否かに応じて、子供への通知内容の情報量などを変更しても良い。複合語フレーズを発話できたということは相応の言葉を覚えていることが期待できるため、より詳細な説明情報を通知しても良い。一方、複合語フレーズ以外の発話を元に興味反応を検出した場合には、相対的に通知内容は簡素な情報にとどめてもよい。このように興味反応の検出トリガとして用いた発話内容に応じて、子供に通知する情報量を増減させても良い。

また、子供の発話音声を用いて興味反応を検出したか否かに応じて、子供に通知する情報を制御してもよい。例えば子供の発話がない状態で検出された注目対象物についての情報は、画像表示に留めてもよい。子供の発話を伴わない場合には、誤検出の恐れが相対的に高く、音声出力まで行うと子供を含むユーザに煩わしさを与える恐れがあるためである。上記構成によれば、誤検出の恐れが相対的に高い場合には、音声出力を省略することでユーザに煩わしさを与える恐れを低減できる。

なお、ＨＣＵ１は、同一物を注視している時間の長さや、発話内容、心拍などの生体情報が示す興奮度合いなどから、注目度合いを評価し、注目度合いが所定の閾値以下である場合には、注目対象物についての音声出力を省略するように構成されていてもよい。当該構成によっても、興味が無いもの或いは興味が薄いものついての情報を音声出力する恐れを低減できる。また、その結果としてユーザに煩わしさを与える恐れを低減できる。

＜ドライバへの通知内容の制御例＞
ＨＣＵ１は、興味反応が検出されていない場合にも、常時又は所定の通知間隔で、子供の体温や眠気等を示すステータス情報をＨＵＤ３４等のドライバ用のディスプレイに表示してもよい。そのような構成によれば、例えば子供が眠そうにしているか否か、暑そうか否かなど、子供の様子を認識しやすくなる。また、子供の状態に応じた声掛けを行いやすくなる。

＜ドライバへの通知制御の補足＞
上述した実施形態では運転負荷が高いか否かの判定結果に応じて、注目対象物についての情報のドライバへの提示態様を変更する制御例を開示したが、ドライバへの情報の提示態様を切り替えるためのパラメータは運転負荷の高さに限定されない。例えば、ＨＣＵ１は、車両が走行中であるか否かに応じて、注目対象物についての情報をドライバに提示する際の作動を変更しても良い。例えば停車時には画像表示と音声出力の両方を実施する一方、車両が走行中である場合には画像表示は行わずに音声出力だけに留めてもよい。

ＨＣＵ１は、レベル３以上の自動運転中であるか否かに応じて、注目対象物についての情報をドライバに提示する際の作動を変更しても良い。例えばレベル３以上の自動運転中である場合には画像表示と音声出力の両方を実施する一方、自動運転中ではない場合には画像表示は行わずに音声出力だけに留めてもよい。

なお、ＨＣＵ１は、車両の走行状態に加えて、助手席に他の乗員が乗車しているか否かも併用して、注目対象物についての画像の表示先の組み合わせを変更しても良い。例えば、助手席にも乗員が着座している場合、自動運転中では助手席用ディスプレイと子供用ディスプレイにのみ注目対象物についての情報を表示する一方、自動運転中にはドライバ用ディスプレイにも当該情報画像を表示しても良い。

その他、ドライバの運転負荷は高くないと判定している状態であっても、システムからドライバへの権限移譲が近い場合には、ドライバへの注目対象物についての情報提示は省略するように構成されていても良い。権限移譲までの残り時間が所定値未満である場合にはドライバへの注目対象物への情報提示を差し控えることで、ドライバが運転操作を再開する準備に集中しやすくなる。

また、ＨＣＵ１は、ドライバの運転状態に応じて、注目対象物についての情報を表示する場所や、通知態様を変更しても良い。ＨＣＵ１は、ドライバの状況や、ドライバの指示に基づき、画像表示を行うタイミングを調整可能に構成されていても良い。ドライバの指示操作は、音声、タッチ、ジェスチャーなどによって受け付け可能である。表示タイミングの選択候補としては、今すぐ、５分後、一時停車時、駐車時、運転負荷低下時、自動運転開始時などが採用可能である。

＜過去の検出結果の利用＞
ＨＣＵ１は、注目対象物に係る過去の検出結果をもとに、子供の興味反応を検出するための閾値を調整しても良い。例えば興味反応検出部Ｆ５は、過去に興味反応を示したことがある対象物の近くを走行している場合には、子供の興味反応を検出するための閾値を下げても良い。また、興味対象管理部ＦＢは、過去に複数回興味反応を示している対象物は、特に興味を持っている物体であるお気に入り対象物として登録しても良い。なお、ＨＣＵ１は、お気に入り対象物までの残り距離が所定距離未満となった場合や、お気に入り対象物が車外カメラ２８で撮像されている場合には、子供にお気に入り対象物の存在を通知しても良い。ＨＣＵ１は、過去の検出結果をもとに子供が興味を持っている対象を学習するように構成されていても良い。

その他、ＨＣＵ１が、興味対象カテゴリを管理可能に構成されている場合、既存の興味対象カテゴリに属する対象物に対して子供が興味を示したことを検出した場合には、通常時とは異なる態様でドライバに通知を行っても良い。ここでの通常時とは、既存の興味対象カテゴリに属する対象物に対して子供が興味を示した場合を指す。当該構成によれば、ドライバは子供がこれまでとは異なる、新たな物事に興味を持ち始めたこと、換言すれば、成長に伴う興味対象の移り変わりを知ることが可能となりうる。また、上記の構成によれば１つの側面において、ドライバは、ドライバ自身が把握していなかった子供の興味対象を知ることが可能となる。換言すれば、上記ＨＣＵ１による興味対象カテゴリの管理は、子供の意外な一面を知るための一助となりうる。

＜プリセットされた子供の注目対象物の利用＞
以上ではＨＣＵ１が過去の検出結果に基づいて、子供が興味を持っている物事を学習する態様を言及したがこれに限らない。所定の設定画面を介して子供が好きな物事、嗜好の情報は、ＨＣＵ１やサーバ５に予め登録されていても良い。

手動登録又は自動学習により、子供が好きな物事に関するデータが登録されている場合には、対象物特定部Ｆ６は、当該データに基づいて注目対象物を検出するように構成されていても良い。つまり、子供の視線方向に対応するカメラ画像の中から、子供が好きな物事に関連する被写体を優先的に注目対象物として抽出するように構成されていてもよい。当該構成によれば、子供が興味のない／薄い物事が、注目対象物として抽出されるおそれを低減できる。換言すればシステムの誤作動を抑制可能となる。また、ＨＣＵ１は、子供の嗜好情報に基づいて、子供に通知する情報の量や、表現方法などを変更しても良い。注目対象物が子供の好きな物事である場合には、そうではない場合よりも多くの／より詳細な情報を表示してもよい。また、注目対象物が子供の好きな物事である場合には通知音とともに注目対象物に係る画像を表示する一方、注目対象物が子供の好きな物事ではない場合には通知音なしで注目対象物に係る画像を表示しても良い。

＜コミュニケーション方法の補足＞
ドライバと子供とは、カメラ及びマイクを通して会話可能に構成されていてもよい。例えば会話機能がオンに設定されている場合には、子供用カメラ２５の画像をメータディスプレイ３２に表示するとともにスピーカ３８Ａから子供用マイク２７が取得した音声を出力する。また、ＤＳＭ２１の画像を後席ディスプレイ３５に表示するとともにスピーカ３８Ｂからドライバ用マイク２３が取得した音声を出力する。当該構成によれば、例えば３列以上のシート構成であって、前から３列目以降に子供が着座している場合など、運転席と子供用シートとが離れている場合にもコミュニケーションを取りやすくなる。

＜子供用カメラの撮像範囲制御について＞
ＨＣＵ１はドライバ用マイク２３を介して取得したドライバの音声コマンドに基づいて、子供用カメラ２５の撮像方向や拡大率を変更可能に構成されていても良い。子供用カメラ２５の撮像方向は、ピッチ角やロール角、ヨー角などで表現される。子供用カメラ２５の撮像方向を変更することは、姿勢角を変更することに相当する。子供用カメラ２５の撮像方向は、例えば子供用カメラ２５の姿勢を制御するモータを制御することで実現されうる。

上記構成によればドライバは、子供用カメラ２５の撮像範囲を音声にて調整可能となり、子供の表情などを確認しやすくなる。なお、子供用カメラ２５の撮像範囲の制御は、音声入力に限らず、ハプティックデバイスなどの操作部材などを介して実行可能に構成されていてもよい。

＜付言＞
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、ＨＣＵ１等が提供する手段及び／又は機能は、実体的なメモリ装置に記録されたソフトウェア及びそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えばＨＣＵ１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。ＨＣＵ１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。ＨＣＵ１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合せて実現されていてもよい。ＨＣＵ１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。非遷移的実体的記録媒体には、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などのＲＯＭも含まれる。

上記実施形態における１つの構成要素が有する複数の機能は、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。加えて、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

上述した注目対象共有装置を構成要素とするシステムなと、種々の形態も本開示の範囲に含まれる。例えば、コンピュータを注目対象共有装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。

Ｓｙｓ 注目対象共有システム、１ ＨＣＵ（注目対象共有装置）、１１ プロセッサ、１２ ＲＡＭ（メモリ）、２１ ＤＳＭ、２２ ドライバセンサ、２３ ドライバ用マイク、２５ 子供用カメラ（車室内カメラ）、２６ 子供センサ、２７ 子供用マイク、２８ 車外カメラ、Ｆ１ 子供情報取得部、Ｆ２ 車外情報取得部、Ｆ３ ドライバ情報取得部（運転席乗員情報取得部）、Ｆ４ 車両情報取得部、Ｆ５ 興味反応検出部、Ｆ６ 対象物特定部（注目対象検出物）、Ｆ７ 説明情報取得部（対象情報取得部）、Ｆ８ 運転負荷推定部、Ｆ９ 通知制御部（通知処理部）、ＦＡ 記録処理部、ＦＢ 興味対象管理部、Ｓ１１０・Ｓ１１１・Ｓ１１３ 通知処理ステップ

Claims (10)

1. 子供が着座するための座席である子供用シートが設けられた車両で使用される注目対象共有装置であって、
   前記子供用シートに着座している子供の状態を表す情報として、前記子供の少なくとも顔部を撮像範囲に含む車室内カメラ（２５）の画像に基づき、前記子供の視線方向を取得する子供情報取得部（Ｆ１）と、
   前記子供の生体情報、前記子供の音声、及び、前記視線方向の少なくとも何れか１つに基づいて、車室外の物事に対する前記子供の興味反応を検出する興味反応検出部（Ｆ５）と、
   前記子供情報取得部が取得した前記視線方向と、車外を撮像するように前記車両に取り付けられている車外カメラ（２８）の撮像画像と、に基づいて、前記子供が興味を持った対象である注目対象を検出する注目対象検出部（Ｆ６）と、
   前記車両の内部又は外部に配置されたデータベースから、前記注目対象について言語化された情報を取得する対象情報取得部（Ｆ７）と、
   前記対象情報取得部が取得した前記情報を、当該情報に対応するテキストの表示及び音声出力の少なくとも何れか一方を用いて、運転席乗員及び前記子供の少なくとも何れか一方に通知する通知処理部（Ｆ９）と、を備える注目対象共有装置。
2. 請求項１に記載の注目対象共有装置であって、
   前記対象情報取得部は、前記注目対象についての情報として、前記注目対象の種別を取得し、
   前記注目対象検出部は、前記車両に対して前記注目対象が存在する方向を取得し、
   前記通知処理部は、前記注目対象の種別と、前記注目対象が存在する方向とを前記運転席乗員に通知するように構成されている注目対象共有装置。
3. 請求項１又は２に記載の注目対象共有装置であって、
   前記注目対象検出部は、前記注目対象として、歩行者、他車両、動物、イベント、自然現象、及び所定のキャラクターの絵の、少なくとも何れか１つを検出可能に構成されており、
   前記対象情報取得部は、前記注目対象についての情報として、前記注目対象の名称、特徴、製造者、原産国、発生理由、大きさ、建設年、役割、及び歴史的背景の少なくとも何れか１つを取得し、
   前記通知処理部は、前記対象情報取得部が取得した前記情報に対応するテキストを前記注目対象の画像とともに、所定のディスプレイに表示するように構成されている注目対象共有装置。
4. 請求項１から３の何れか１項に記載の注目対象共有装置であって、
   前記注目対象の検出結果を管理する興味対象管理部（ＦＢ）を備え、
   前記興味対象管理部は、過去の前記注目対象の検出結果の履歴をもとに、前記子供が興味を持っている対象のカテゴリである興味対象カテゴリを特定するとともに、
   新たに検出された前記注目対象が既存の前記興味対象カテゴリに属さない場合には、新たに検出された前記注目対象が既存の前記興味対象カテゴリに属する場合とは異なる態様で前記運転席乗員に通知を行うように構成されている注目対象共有装置。
5. 請求項１から４の何れか１項に記載の注目対象共有装置であって、
   前記注目対象を、位置情報と対応付けて所定の保存デバイスに記録する記録処理部（ＦＡ）を備え、
   前記通知処理部は、過去に検出された前記注目対象から所定距離以内まで接近したことに基づいて、前記子供又は前記運転席乗員の少なくとも何れか一方に前記注目対象の存在を予告するように構成されている注目対象共有装置。
6. 請求項１から５の何れか１項に記載の注目対象共有装置であって、
   前記運転席乗員が発した音声を含む、前記運転席乗員の状態を示す情報を取得する運転席乗員情報取得部（Ｆ３）を備え、
   前記通知処理部は、前記興味反応検出部が前記子供の前記興味反応を検出してから所定の応答待機時間が経過しても、前記運転席乗員情報取得部が前記運転席乗員の発話音声を取得しなかったことに基づいて、前記対象情報取得部が取得した前記情報を音声出力するように構成されている注目対象共有装置。
7. 請求項６に記載の注目対象共有装置であって、
   前記運転席乗員情報取得部は、前記運転席乗員の運転負荷を示す情報を取得可能に構成されており、
   前記通知処理部は、
   前記運転席乗員情報取得部が前記運転席乗員の前記運転負荷が高いことを示す情報を取得していない場合には、前記興味反応が検出されてから前記応答待機時間が経過しても、前記運転席乗員情報取得部が前記運転席乗員の発話音声を取得しなかったことを条件として、前記対象情報取得部が取得した前記情報を音声出力する一方、
   前記運転席乗員情報取得部が前記運転席乗員の前記運転負荷が高いことを示す情報を取得している場合には、前記応答待機時間の経過を待たずに、前記対象情報取得部が取得した前記情報を前記車両に設けられたスピーカから音声出力するように構成されている注目対象共有装置。
8. 請求項７に記載の注目対象共有装置であって、
   前記通知処理部は、前記興味反応検出部が前記興味反応を検出したことに基づいて、前記対象情報取得部が取得した前記情報を含む前記注目対象についての情報を、前記運転席乗員が視認可能なディスプレイと、前記子供が視認可能なディスプレイのそれぞれに表示するとともに、
   前記運転席乗員情報取得部が前記運転席乗員の前記運転負荷が高いことを示す情報を取得していない場合には、前記ディスプレイへの前記注目対象についての情報を表示してから前記応答待機時間が経過しても前記運転席乗員情報取得部が前記運転席乗員の発話音声を取得しなかったことを条件として、前記対象情報取得部が取得した前記情報を音声出力するように構成されている注目対象共有装置。
9. 請求項１から８の何れか１項に記載の注目対象共有装置であって、
   前記通知処理部は、前記子供の年齢、嗜好、乗車からの経過時間、目的地までの残り時間の少なくとも何れか１つに基づいて、前記子供への前記注目対象についての前記情報の通知態様を変更するように構成されている注目対象共有装置。
10. 車両に予め設定されている子供用シートに着座している子供が興味を示した物事を保護者が共有するための、少なくとも１つのプロセッサによって実行される注目対象共有方法であって、
    前記子供用シートに着座している子供の少なくとも顔部を撮像範囲に含む車室内カメラ（２５）の画像に基づき、前記子供の視線方向を取得すること（Ｓ１０１）と、
    前記子供の生体情報、前記子供の音声、及び、前記視線方向の少なくとも何れか１つに基づいて、車室外の物事に対する前記子供の興味反応を検出すること（Ｓ１０４）と、
    取得された前記子供の前記視線方向と、車外を撮像するように前記車両に取り付けられている車外カメラ（２８）の撮像画像とに基づいて、前記子供が興味を持った対象である注目対象を検出すること（Ｓ１０５）と、
    前記車両の内部又は外部に配置されたデータベースから、前記注目対象について言語化された情報を取得すること（Ｓ１０７）と、
    取得された前記注目対象についての情報を、当該情報に対応するテキストの表示及び音声出力の少なくとも何れか一方を用いて、運転席乗員及び前記子供の少なくとも何れか一方に通知すること（Ｓ１１０、Ｓ１１１、Ｓ１１３）と、を含む注目対象共有方法。

Images