JP2023073150A - 表示制御方法及び表示制御装置 - Google Patents

Abstract

【課題】車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供する。【解決手段】車両１に搭載されている表示装置３０、４０を制御する表示制御装置１００である。表示制御装置１００は、車両１の外部を撮像した第１撮像画像に、前後を特定可能な形態を備える仮想オブジェクトを重畳して表示する第１の表示モードと、車両１の内部を撮像した第２撮像画像に、第１の表示モードとは異なる表示態様の仮想オブジェクトを重畳して表示する第２の表示モードと、を切り替える表示モード切替部１４３と、第１の表示モードでは、車両１が前進する方向に仮想オブジェクトの前部が向くように仮想オブジェクトを表示させ、第２の表示モードでは、車両１の内部における座席の前部の向きに仮想オブジェクトの前部が向くように仮想オブジェクトを表示させる表示制御部１４６とを備える。【選択図】図４

Description

本発明は、表示装置を制御する表示制御方法及び表示制御装置に関する。

近年、撮像画像にキャラクタを重畳して表示装置に表示する機器が存在する。例えば、銃型コントローラに搭載されたユーザ端末のタッチパネルに表示されるゲーム画面において、撮像画像に含まれる対象マーカに対応する敵キャラクタを出現させる技術が提案されている（例えば、特許文献１参照）。

特開２０１７－１７６６３５号公報

上述した従来技術では、ユーザの進行方向における撮像画像に敵キャラクタを出現させることができる。ここで、車両では、車内及び車外の空間が存在する。そこで、車両に設置されている撮像装置を用いて、車内及び車外の被写体を撮像して、車内及び車外のうちの少なくとも１つの撮像画像を表示装置に表示することが考えられる。また、その撮像画像に仮想オブジェクトを重畳して表示することも考えられる。ただし、車両では、車内、車外等の複数の空間が存在するため、これらの空間を活かした車両におけるユーザ体験の向上を図るための表示制御について改善の余地がある。

本発明は、車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供することを目的とする。

本発明の一態様は、車両に搭載されている表示装置を制御する表示制御方法である。この表示制御方法は、車両の外部を撮像した第１撮像画像に、前後を特定可能な形態を備える仮想オブジェクトを重畳して表示する第１の表示モードと、車両の内部を撮像した第２撮像画像に、第１の表示モードとは異なる表示態様の仮想オブジェクトを重畳して表示する第２の表示モードとを切り替える切替処理と、第１の表示モードでは、車両が前進する方向に仮想オブジェクトの前部が向くように仮想オブジェクトを表示させ、第２の表示モードでは、車両の内部における座席の前部の向きに仮想オブジェクトの前部が向くように仮想オブジェクトを表示させる表示制御処理とを含む。

本発明によれば、車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供することができる。

図１は、撮像装置と表示装置との外観構成の一例を示す図である。 図２は、撮像装置と表示装置との外観構成の一例を示す図である。 図３は、車両において取得された画像を管理する車両管理システムのシステム構成の一例を示す図である。 図４は、車両に搭載される表示制御装置の機能構成の一例を示すブロック図である。 図５は、撮像装置により生成された撮像画像と、その撮像画像に仮想オブジェクトを重畳した場合の表示例を示す図である。 図６は、撮像装置により生成された撮像画像と、その撮像画像に仮想オブジェクトを重畳した場合の表示例を示す図である。 図７は、表示装置に表示される画像の表示モードを切り替える場合の画像の遷移例と、車両の制御信号に基づいてキャラクタ画像及び車両画像の表示態様を変更する場合の表示例とを示す図である。 図８は、表示制御装置における表示制御処理の一例を示すフローチャートである。 図９は、表示制御装置における表示制御処理の一例を示すフローチャートである。 図１０は、表示装置に表示される画像の表示モードを自動で切り替える場合の画像の遷移例を示す図である。 図１１は、車両の周囲に存在する特定物体を検出する場合の検出方法の一例を示す図である。 図１２は、表示制御装置における表示モード切替処理の一例を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。

［車両の内部構成例］
図１及び図２は、撮像装置１０、２０と、表示装置３０、４０との外観構成の一例を示す図である。なお、図１及び図２では、車両１の内部を簡略化して示し、ダッシュボード２、ハンドル３、ウインドシールド４、バックミラー５、カーナビゲーション装置６、運転席７、助手席８以外の図示は省略する。また、図１では、運転席７、助手席８よりも前側を、車両１の後ろ側から見た場合の外観構成例を示し、図２では、後部座席１１、１２（図６参照）よりも前側を、車両１の後ろ側から見た場合の外観構成例を示す。

撮像装置１０は、車両１の内部の天井に設けられ、車両１の内部の被写体を撮像して画像（画像データ）を生成するものである。例えば、ウインドシールド４の上部、すなわち、バックミラー５の上側に撮像装置１０を設けることができる。撮像装置２０は、ダッシュボード２の左端部に設けられ、車両１の外部の被写体を撮像して画像（画像データ）を生成するものである。なお、撮像装置１０、２０は、例えば、被写体を撮像することが可能な１または複数のカメラ機器や画像センサにより構成される。なお、この例では、少なくとも２つの撮像装置１０、２０を備える例を示すが、３以上の撮像装置を備え、これらの撮像装置のうちの一部の画像を用いてもよい。また、各撮像装置の設置場所については、図１及び図２に示す例に限定されず、適宜変更可能である。また、車両１の全方位に存在する被写体と、車両１の内部の被写体とを取得可能な１または複数の機器、例えば、３６０度カメラを用いてもよい。

表示装置３０、４０は、コントローラ１４０（図４参照）の制御に基づいて各種画像を表示する表示装置である。表示装置３０、４０は、例えば、ユーザによるタッチ操作によりユーザ操作を受け付けることが可能なタッチパネルとすることができる。なお、表示装置３０は、アシスタントモニタと称し、表示装置４０は、リアモニタと称することができる。また、表示装置３０の代わりに、カーナビゲーション装置６に各種画像を表示してもよい。

具体的には、表示装置３０は、助手席８に着座した乗員が見られるように、ダッシュボード２の助手席８側に設けられ、各種画像を表示部３１に表示する。表示装置４０は、後部座席に着座した乗員が見られるように、車両１の内部の天井の中央付近に設けられ、各種画像を表示部４１に表示する。表示装置４０として、例えば、支持部材４２を用いて天井に取り付けられるフリップダウン式の表示装置、すなわち、折り畳み式の表示装置を用いることができる。なお、この例では、少なくとも２つの表示装置３０、４０を備える例を示すが、１または３以上の表示装置を備え、これらの表示装置のうちの一部の表示制御を実行してもよい。また、各表示装置の設置場所については、図１及び図２に示す例に限定されず、適宜変更可能である。また、表示装置３０、４０の表示例については、図５乃至図７、図１０に示す。

［車両管理システムの構成例］
図３は、車両１において取得された画像を管理する車両管理システム５０のシステム構成の一例を示す図である。

車両管理システム５０は、例えば、ネットワーク６０及び管理サーバ７０を備え、車両１の表示制御装置１００、電子機器８０等と通信可能に構成されている。なお、電子機器８０は、車両１に乗車している乗員が所持する電子機器であり、無線通信を利用してネットワーク６０に接続可能な無線機器である。電子機器８０は、例えば、スマートフォン、タブレット機器、移動可能なパーソナルコンピュータ等の情報処理装置である。

ネットワーク６０は、公衆回線網、インターネット等のネットワークである。また、車両管理システム５０を構成する各機器は、無線通信を利用した通信方式または有線通信を利用した通信方式の何れかの方式、または双方の方式によってネットワーク６０に接続される。

管理サーバ７０は、通信部７１と、制御部７２と、記憶部７３とを備える。例えば、管理サーバ７０は、車両１の表示制御装置１００から送信された画像コンテンツを管理し、電子機器８０からの要求に応じて画像コンテンツを提供するサーバとすることができる。また、例えば、管理サーバ７０は、複数の車両から送信された位置情報を管理し、各車両からの要求に応じて各位置情報を提供することができる。

通信部７１は、制御部７２の制御に基づいて、有線通信または無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。すなわち、通信部７１は、画像受信部及び画像送信部として機能する。

制御部７２は、記憶部７３に記憶されている各種プログラムに基づいて各部を制御するものである。制御部７２は、例えば、ＣＰＵ（Central Processing Unit）等の処理装置により実現される。

記憶部７３は、各種情報を記憶する記憶媒体である。例えば、記憶部７３には制御部７２が各種処理を行うために必要となる各種情報（例えば、制御プログラム、画像コンテンツ）が記憶される。また、記憶部７３には、通信部７１を介して取得された各種情報が記憶される。記憶部７３として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、または、これらの組み合わせを用いることができる。

電子機器８０は、管理サーバ７０から送信された画像コンテンツを表示部に表示させることができる。なお、図３では、ネットワーク６０を介して電子機器８０及び表示制御装置１００間で情報のやりとりを行う例を示すが、電子機器８０及び表示制御装置１００間で情報を直接やりとりしてもよい。この場合には、例えば、近距離無線通信（例えば、Ｗｉ－Ｆｉ等の無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標））を利用することができる。

［表示制御装置１００の構成例］
図４は、車両１に搭載される表示制御装置１００の機能構成の一例を示すブロック図である。表示制御装置１００は、例えば、撮像装置１０、２０により生成された撮像画像に仮想オブジェクトを重畳した画像を表示装置３０、４０に表示させるものである。なお、仮想オブジェクトは、実空間上に重畳して表示される仮想的な各種物体を意味し、アイコンやキャラクタ等の各種態様とすることが可能である。この仮想オブジェクトの表示例については、図５乃至図７、図１０に示す。

表示制御装置１００は、車両システム１１０と、ＵＩ部１２０と、画像取得部１３０と、コントローラ１４０と、記憶部１５０と、通信部１６０とを備える。また、コントローラ１４０は、乗員認識部１４１と、表示モード判定部１４２と、表示モード切替部１４３と、表示オブジェクト決定部１４４と、撮影制御部１４５と、表示制御部１４６とを備える。

車両システム１１０は、車両１に設置されている制御システムであり、例えば、各種のセンサ類を備える。また、車両システム１１０は、各センサにより取得された検出情報、車両１の制御信号等を表示モード判定部１４２及び表示オブジェクト決定部１４４に出力する。センサ類は、例えば、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging）、ソナー（Sonar）、ストロークセンサ、加速度センサ、車輪測センサ、横Ｇセンサ、縦Ｇセンサ、車速センサ、音取得部、着座センサ、位置情報取得部である。なお、音取得部は、車両１の内部または外部に設けられ、コントローラ１４０の制御に基づいて、車両１の周囲の音（車外の音）及び車内の音を取得する。音取得部として、例えば、１または複数のマイクや音取得センサを用いることができる。なお、車両システム１１０は、各センサにより取得された検出情報に基づいて、車両１の走行に関する情報や、車両１の周囲に関する情報等を取得することが可能である。また、車両システム１１０は、運転手による運転操作や、各センサにより取得された検出情報等に基づいて、車両１の制御信号を生成する。この制御信号は、車両１を走行させるための各種制御を実行する際に用いられる信号である。そして、車両システム１１０は、車両１の制御信号に基づいて、車両１の走行、例えば前進後進、ステアリングに関する各種制御を実行する。

ＵＩ部１２０は、車両１の乗員からの操作を受け付けるとともに、車両１の乗員に各種の情報を提供するインタフェースとして機能するものであり、表示装置３０、４０を備える。ＵＩ部１２０は、受け付けられた操作内容をコントローラ１４０に出力し、コントローラ１４０の制御に基づいて各種の情報を提供する。

画像取得部１３０は、車両１に関する各種画像（静止画及び動画等）を取得するものであり、撮像装置１０、２０を備える。撮像装置１０、２０は、撮像処理により生成された撮像画像（画像データ）をコントローラ１４０に出力する。

コントローラ１４０は、記憶部１５０に記憶されている各種プログラムに基づいて各部を制御するものである。コントローラ１４０は、例えば、ＣＰＵ等の処理装置により実現される。なお、車両１の車両ＥＣＵ（Electronic Control Unit）をコントローラ１４０としても使用してもよく、車両ＥＣＵとは異なる処理装置をコントローラ１４０として設けてもよい。

乗員認識部１４１は、撮像装置１０により生成された撮像画像に基づいて、車両１の各座席に着座する乗員を認識するものであり、その認識結果を表示オブジェクト決定部１４４に出力する。すなわち、乗員認識部１４１は、車両１の各座席に着座する乗員を認識することにより、車両１の各座席に人が存在するか否かを判定し、この判定結果に基づいて、車両１の座席に空きがあるか否かを判定する。このように、乗員認識部１４１は、仮想オブジェクトの表示位置を探すため、車両１の空席を検出する。例えば、各座席を検出する座席検出処理と、人を認識する人検出処理とを実行することにより、各座席の位置に人が存在するか否かを判定することができる。なお、座席検出処理及び人検出処理については、公知の物体検出技術や人検出技術を用いることができる。なお、撮像装置１０が固定して設置されている場合には、座席検出処理を省略し、予め設定されている各座席の位置における人を検出する人検出処理を実行することができる。なお、乗員認識部１４１は、車両システム１１０から取得された内部情報に基づいて、車両１の座席に空きがあるか否かを判定してもよい。乗員認識部１４１は、例えば、車両１の各座席に設置されている着座センサを用いて、車両１の座席に空きがあるか否かを判定することができる。

表示モード判定部１４２は、車両システム１１０から出力された情報と、表示装置３０、４０から出力された操作情報とに基づいて、表示装置３０、４０における表示モードを判定するものである。そして、表示モード判定部１４２は、その判定結果を表示モード切替部１４３及び表示オブジェクト決定部１４４に出力する。例えば、車外表示モード切替ボタン３０２（図７（Ａ）（Ｂ）参照）の押下操作がされた場合には、車外表示モードに切り替えられたと判定される。一方、車内表示モード切替ボタン３０３（図７（Ａ）（Ｂ）参照）の押下操作がされた場合には、車内表示モードに切り替えられたと判定される。また、表示モード判定部１４２は、車両システム１１０から出力された情報に基づいて、表示装置３０、４０における表示モードの自動切替を判定する。この自動切替の判定例については、図１２を参照して詳細に説明する。

表示モード切替部１４３は、表示モード判定部１４２から出力された表示モードの判定結果に基づいて、撮像装置１０、２０により生成された各画像を切り替えるものであり、切り替え後の画像を表示制御部１４６に出力する。例えば、車内表示モードに切り替えられたと判定された場合には、撮像装置１０により生成された撮像画像を表示制御部１４６に出力する。一方、車外表示モードに切り替えられたと判定された場合には、撮像装置２０により生成された撮像画像を表示制御部１４６に出力する。

表示オブジェクト決定部１４４は、車両システム１１０、乗員認識部１４１、表示モード判定部１４２、記憶部１５０から出力された各情報に基づいて、撮像装置１０、２０に表示させる仮想オブジェクトを決定するものである。例えば、表示オブジェクト決定部１４４は、記憶部１５０から取得された仮想オブジェクト情報に基づいて、表示対象となる仮想オブジェクトを生成することができる。この場合に、表示オブジェクト決定部１４４は、車両システム１１０、乗員認識部１４１、表示モード判定部１４２から取得された各情報に基づいて、表示対象となる仮想オブジェクトの向き、撮像画像における位置、動きを決定する。例えば、表示オブジェクト決定部１４４は、表示対象となる仮想オブジェクトとしてのキャラクタ画像の向き、位置、動きや、車両画像の表示有無を決定する。なお、仮想オブジェクト情報は、キャラクタ画像や車両画像等の仮想オブジェクトを表示装置３０、４０に表示する際に用いられる情報である。そして、表示オブジェクト決定部１４４は、その決定された仮想オブジェクトを表示させるための情報を表示制御部１４６に出力する。

撮影制御部１４５は、表示装置３０、４０に表示されていた画像を記憶部１５０に格納するための格納処理を実行するものである。具体的には、撮影制御部１４５は、シャッター操作領域３０４（図７（Ａ）（Ｂ）参照）の押下操作が行われたか否かを判定し、シャッター操作領域３０４の押下操作がされた際に表示装置３０、４０に表示されていた画像を画像コンテンツとして記憶部１５０に格納する。具体的には、撮影制御部１４５は、シャッター操作領域３０４の押下操作が行われた際に表示装置３０、４０に表示されていた画像を表示制御部１４６から取得し、その取得された画像を画像コンテンツとして記憶部１５０に格納する。なお、シャッター操作領域３０４の押下操作のタイミングにおける静止画コンテンツ以外に動画コンテンツを格納するようにしてもよい。また、撮影制御部１４５は、記憶部１５０に格納された画像コンテンツを通信部１６０を介して管理サーバ７０に送信する。このように、シャッター操作領域３０４の押下操作が行われた際に取得された画像コンテンツを記憶部１５０に格納するとともに、管理サーバ７０に送信し、管理サーバ７０においても管理することができる。これにより、管理サーバ７０に管理されている画像コンテンツを、他の機器、例えば電子機器８０（図３参照）を用いて容易に見ることができる。

表示制御部１４６は、表示装置３０、４０に各種画像を表示させるための制御を行うものである。具体的には、表示制御部１４６は、表示モード切替部１４３から出力された画像に、表示オブジェクト決定部１４４により決定された仮想オブジェクトを重畳して表示装置３０、４０に表示させる。この場合に、表示制御部１４６は、表示装置３０、４０の双方に同じ画像を表示させてもよく、表示装置３０、４０のそれぞれに異なる画像を表示させてもよい。また、表示制御部１４６は、表示装置３０、４０に表示させた画像を撮影制御部１４５に出力する。なお、表示装置３０、４０における表示例については、図５乃至図７等に示す。

記憶部１５０は、各種情報を記憶する記憶媒体である。例えば、記憶部１５０には、コントローラ１４０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、地図情報、仮想オブジェクト情報、画像コンテンツ）が記憶される。また、記憶部１５０には、通信部１６０を介して取得された各種情報が記憶される。記憶部１５０として、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ、または、これらの組み合わせを用いることができる。なお、画像コンテンツは、表示装置３０、４０に表示されていた画像のうち、車両１の乗員の撮影操作に基づいて取得された画像のファイルである。

通信部１６０は、コントローラ１４０の制御に基づいて、無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。例えば、通信部１６０は、撮影制御部１４５の制御に基づいて、表示制御部１４６により表示装置３０、４０に表示されている画像を画像コンテンツとして管理サーバ７０にネットワーク６０を介して送信する。また、通信部１６０は、管理サーバ７０や他の外部機器から送信された情報をネットワーク６０を介して受信する。

［撮像装置により生成された撮像画像例］
図５及び図６は、撮像装置１０、２０により生成された撮像画像と、その撮像画像に仮想オブジェクトを重畳した場合の表示例を示す図である。

図５には、車外表示モードが設定されている場合の表示例を示す。また、図５では、仮想車両を表す車両画像２１２、２２２、２３２と、その仮想車両に乗車することが可能なキャラクタを表すキャラクタ画像２１１、２２１、２３１とを、仮想オブジェクトの一例として示す。仮想オブジェクトを構成するキャラクタは、仮想車両に乗車することが可能な物体であって、顔及び体を備える物体を模したキャラクタの一例である。また、キャラクタ画像２１１、２２１、２３１は、同一のキャラクタの表示態様を変更したものである。このように、本実施形態で示す仮想オブジェクトは、前後を特定可能な形態を備えるものであり、例えば、顔及び体を備える物体を模したキャラクタ、仮想車両である。なお、キャラクタは、機械的なロボットを模したキャラクタや、生物的な動物、植物等を模したキャラクタとすることができる。

図５の左上に示す画像２００は、撮像装置２０により生成された撮像画像であり、車両１の前方の被写体を含む画像である。図５では、車両１の前方を走行する複数の車両、対向車等が含まれる画像２００を示す。この場合に、図５の右上に示すように、キャラクタが仮想車両に乗車している合成画像を車両画像２１２及びキャラクタ画像２１１として画像２００の左下に重畳した画像２１０とすることができる。また、図５の左下に示すように、車両画像２２２及びキャラクタ画像２２１を画像２００の右下に重畳して画像２２０とすることができる。また、図５の右下に示すように、車両画像２３２及びキャラクタ画像２３１を画像２００の左上に重畳して画像２３０とすることができる。

なお、キャラクタ画像及び車両画像を重畳する位置については、予め設定してもよく、ユーザ指示に基づいて設定するようにしてもよい。また、車両１の周囲の環境や車両１の内部の環境に応じて適宜設定してもよい。例えば、撮像装置２０により生成された撮像画像に含まれる物体、例えば先行車を検出し、先行車が存在しない位置をキャラクタ画像及び車両画像を重畳する位置とすることができる。例えば、車両１の前方が混雑している場合には、図５の右下に示すように、車両画像２３２及びキャラクタ画像２３１が上空を飛んでいるような画像２３０とすることもできる。

なお、キャラクタ画像及び車両画像の表示態様については、車両１が前進をしている場合には、車両１の前方を進行するような態様とすることが好ましい。例えば、画像２１０、２２０、２３０における車両画像２１２、２２２、２３２、キャラクタ画像２１１、２２１、２３１のように、キャラクタ及び仮想車両が車両１の進行方向を向くような態様とすることが好ましい。

また、キャラクタ画像及び車両画像の表示態様については、車両１の制御信号に基づいて、適宜変更してもよい。例えば、キャラクタ及び仮想車両を傾けたり、走らせたり、撮像画像における表示位置を移動させたりして表示態様を変更することができる。例えば、車両１が右側に曲がる場合には、キャラクタ及び仮想車両が右側を向くような態様とし、車両１が左側に曲がる場合には、キャラクタ及び仮想車両が左側を向くような態様とすることができる。この場合に、キャラクタのうちの一部、または、仮想車両のうちの一部のみを曲げてもよく、キャラクタの顔が曲がる先を見るような演出や、曲がる方向に体を傾けるような演出を実行してもよい。なお、キャラクタ及び仮想車両が左側を向くような態様となる表示例を図７（Ｄ）に示す。

また、例えば、車両１が登坂路を走行する場合には、キャラクタ及び仮想車両からなる仮想オブジェクトが坂を上るような態様とし、車両１が下り坂を走行する場合には、当該仮想オブジェクトが坂を下るような態様とすることができる。すなわち、仮想車両のピッチ方向を上げるように変更したり、撮像画像における仮想車両の位置を縦方向に移動して変更したりことができる。

また、例えば、車両１が高速道路を走行する場合には、キャラクタ及び仮想車両が高速走行するような態様とすることができる。すなわち、キャラクタ及び仮想車両を車両１の前方において遠方に高速で進ませるように変更することができる。

また、例えば、車両１が後進する場合には、キャラクタ画像の顔のみが後ろを向くような態様とすることができる。この表示例を図７（Ｃ）に示す。

また、キャラクタ画像及び車両画像の表示態様については、車両１の周囲の環境や車両１の内部の環境に応じて適宜設定してもよい。例えば、車両１の走行時の天候に応じてキャラクタ画像及び車両画像の表示態様を変更することができる。例えば、車両１が雨天時に走行している場合には、仮想車両に乗車したキャラクタが傘をさしたり、キャラクタが乗車する仮想車両に屋根を設けたり、仮想車両に乗車したキャラクタをびしょ濡れにしたりすることができる。なお、天候情報については、ネットワーク６０を介して外部機器、例えば気象情報提供サーバから取得可能である。また、例えば、車両１の乗員の声の音量が基準値以上となった場合には、楽しそうだねとつぶやく吹出画像をキャラクタ画像の付近に表示したり、笑顔で振り向くようなキャラクタ画像を表示したりする表示態様とすることができる。

このように、車両１の状態に応じたアクションをキャラクタ画像及び車両画像で行うことができる。

上述の通り、車両１の乗員が実際に見ている画像と同じ画像２００に、車両画像２１２、２２２、２３２及び、キャラクタ画像２１１、２２１、２３１からなる仮想オブジェクトを重畳した画像２１０、２２０、２３０を表示装置３０、４０に表示することにより、車両１の乗員は、仮想オブジェクトのキャラクタとともに車両１に乗車していることを疑似的に体験することができる。なお、図５では、キャラクタが仮想車両に乗っている合成画像を仮想オブジェクトとして表示する例を示すが、キャラクタが仮想車両に乗らずに、道路上を走る画像を仮想オブジェクトとして表示してもよい。

図６には、車内表示モードが設定されている場合の表示例を示す。また、図６では、図５に示すキャラクタと同じキャラクタを表すキャラクタ画像２６１、２７１、２８１を示す。なお、キャラクタ画像２６１、２７１、２８１は、図５に示すキャラクタと同一のキャラクタの表示態様を変更したものであり、図５に示すキャラクタを前向きにしたものである。

図６の左上に示す画像２５０は、撮像装置１０により生成された撮像画像であり、車両１の内部の被写体を含む画像である。図６では、車両１の運転席７に乗車する運転手Ｕ１、後部座席１１に乗車する乗員Ｕ２等が含まれる画像２５０を示す。この場合に、図６の右上に示すように、キャラクタ画像２６１を運転手Ｕ１の顔に重畳した画像２６０とすることができる。また、図６の左下に示すように、キャラクタ画像２７１を助手席８に重畳した画像２７０とすることができる。この画像２７０は、キャラクタがシートベルトをしているような表示態様とするため、キャラクタ画像２７１にシートベルト画像２７２を重畳して表示することができる。また、図６の右下に示すように、キャラクタ画像２８１を乗員Ｕ２の膝の上に重畳した画像２８０とすることができる。

なお、キャラクタ画像を重畳する位置については、予め設定してもよく、ユーザ指示に基づいて設定するようにしてもよい。また、車両１の周囲の環境や車両１の内部の環境に応じて適宜設定してもよい。例えば、撮像装置１０により生成された撮像画像に含まれる乗員を検出し、乗員が存在しない空席の位置にキャラクタ画像を重畳することができる。例えば、図６の左下に示すように、キャラクタが助手席に座っているような画像２７０とすることができる。また、例えば、撮像装置１０により生成された撮像画像に含まれる乗員の一部にキャラクタ画像を重畳することができる。例えば、図６の右上に示すように、キャラクタが運転手Ｕ１の顔付近に存在するような画像２６０とすることができる。この場合に、例えば、キャラクタ画像を運転手Ｕ１の顔全体に重畳させるように表示することにより、運転手Ｕ１が表示装置３０に表示されている自分の顔を気にする必要がなくなり、運転に集中することができる。また、例えば、車両１がタクシーである場合には、タクシーの運転手にキャラクタ画像を重畳させることにより、キャラクタとともにタクシー利用者のみの画像を表示することができる。また、例えば、図６の右下に示すように、キャラクタを乗員がだっこしているような画像２８０とすることができる。これらにより、キャラクタが乗員と一緒に座っているような演出や、車両１に一緒に乗っているような演出を実行することができる。

なお、キャラクタ画像及び車両画像の表示態様については、車両１の内部の座席の前方方向をキャラクタの顔が向くような態様とすることが好ましい。例えば、画像２６０、２７０、２８０におけるキャラクタ画像２６１、２７１、２８１のように、座席の前方方向をキャラクタの顔が向くような態様とすることが好ましい。なお、バス等の車両の中には、車両の前方ではなく、左右方向や後方を座席が向いていることも想定される。この場合には、左右方向や後方を向いている座席の方向をキャラクタの顔が向くような態様とすることが好ましい。

また、キャラクタ画像及び車両画像の表示態様については、車両１の制御信号に基づいて、適宜変更してもよい。例えば、車両１が右側に曲がる場合には、キャラクタが右側を向くような態様とし、車両１が左側に曲がる場合には、キャラクタが左側を向くような態様とすることができる。また、例えば、車両１が登坂を走行する場合には、キャラクタが上を見上げるような態様とし、車両１が下り坂を走行する場合には、キャラクタが下を見るような態様とすることができる。また、例えば、車両１が後進する場合には、キャラクタ画像の顔のみが後ろを向くような態様とすることができる。

このように、車両１の内部空間を表す画像２５０に、キャラクタ画像２６１、２７１、２８１を重畳した画像２６０、２７０、２８０を表示装置３０、４０に表示することにより、車両１の乗員Ｕ２は、仮想オブジェクトのキャラクタとともに車両１に乗車していることを疑似的に体験することができる。

なお、表示装置３０、４０の表示内容については同一の表示モードを表示してもよく、それぞれに異なる表示モードを表示してもよい。

［表示モードの切替例］
図７は、表示装置３０、４０に表示される画像の表示モードを切り替える場合の画像の遷移例と、車両１の制御信号に基づいてキャラクタ画像及び車両画像の表示態様を変更する場合の表示例とを示す図である。なお、図７（Ａ）に示すキャラクタ画像３０５及び車両画像３０６と、図７（Ｂ）に示すキャラクタ画像３７１及び車両画像３７２とは、図５の右上に示すキャラクタ画像２１１及び車両画像２１２に対応する。また、図７（Ａ）に示すキャラクタ画像３２１と、図７（Ｂ）に示すキャラクタ画像３５１とは、図６の右上に示すキャラクタ画像２６１に対応する。

図７（Ａ）には、車外表示モードから車内表示モードへの切替操作が行われた場合の遷移例を示す。具体的には、車外表示モードが設定されている場合には、撮像装置２０により生成された撮像画像を含む車外表示モード画面３００が表示装置３０、４０に表示される。なお、車外表示モード画面３００には、図５の右上に示す画像２１０に、モード切替領域３０１と、シャッター操作領域３０４とが重畳されている。

図７（Ｂ）には、車内表示モードから車外表示モードへの切替操作が行われた場合の遷移例を示す。具体的には、車内表示モードが設定されている場合には、撮像装置１０により生成された撮像画像を含む車内表示モード画面３５０が表示装置３０、４０に表示される。なお、車内表示モード画面３５０には、図６の右上に示す画像２６０に、モード切替領域３０１と、シャッター操作領域３０４とが重畳されている。

モード切替領域３０１は、表示装置３０、４０に表示される画像の表示モードを切り換える切換操作を行う場合に用いられる領域である。具体的には、モード切替領域３０１には、車外表示モード切替ボタン３０２と、車内表示モード切替ボタン３０３とが表示される。

図７（Ａ）に示すように、車外表示モード画面３００が表示されている場合に、車内表示モード切替ボタン３０３が乗員により押下されると、車内表示モードが設定される。この場合には、車内表示モードに切り替えることを通知するための車内表示モード切替画面３１０が一時的に表示された後に、撮像装置１０により生成された撮像画像に、キャラクタ画像３２１が重畳された画像を含む車内表示モード画面３２０が表示される。

図７（Ｂ）に示すように、車内表示モード画面３５０が表示されている場合に、車外表示モード切替ボタン３０２が乗員により押下されると、車外表示モードが設定される。この場合には、車外表示モードに切り替えることを通知するための車外表示モード切替画面３６０が一時的に表示された後に、撮像装置２０により生成された撮像画像に、キャラクタ画像３７１及び車両画像３７２が重畳された画像を含む車外表示モード画面３７０が表示される。

シャッター操作領域３０４は、表示装置３０、４０に表示されている画像を記録する際に用いられる領域である。具体的には、シャッター操作領域３０４が乗員により押下されると、その押下操作が行われた表示装置に、その押下操作の際に表示されていた画像が画像コンテンツとして記憶部１５０に格納される。この場合に、押下したタイミングの画像とともに、その前後の所定時間内の画像を静止画コンテンツまたは動画コンテンツとして格納してもよい。また、静止画とともに、その所定時間内に音取得部により取得された音を、文字情報として、画像に関連付けて記録してもよい。また、動画とともに音情報を記録してもよい。

なお、ここでは、乗員による手動操作により表示モードを切り替える例を示すが、他の方法により表示モードを切り替えてもよい。例えば、乗員が発する音声により表示モードを切り替えてもよいし、又は表示モードを自動で切り替えてもよい。例えば、乗員が「表示モードを切り替えて」と発した場合に、表示モードを切り替えてもよい。この場合には、音取得部から取得された音情報を解析することにより、乗員が発する音声を取得することが可能である。なお、表示モードを自動で切り替える例については、図１０乃至図１２を参照して詳細に説明する。

図７（Ｃ）には、車外表示モードが設定されている場合において、車両１が後進するときに表示される車外表示モード画面３８０の表示例を示す。上述したように、車両１が後進する場合には、車両画像３８２に乗車したキャラクタ画像３８１の顔のみが後ろを向くような態様とすることができる。すなわち、キャラクタ及び仮想車両のうちの一部、例えば顔や腕のみが車両１の後方を向き、他の部分は、車両１の前方を向くような表示態様とすることができる。

図７（Ｄ）には、車外表示モードが設定されている場合において、車両１が左側に曲がるときに表示される車外表示モード画面３９０の表示例を示す。上述したように、車両１が左側に曲がる場合には、キャラクタ画像３９１及び車両画像３９２が曲がる方向、すなわち左方向を向くような態様とすることができる。

［表示制御装置の動作例］
図８は、表示制御装置１００における表示制御処理の一例を示すフローチャートである。また、この表示制御処理は、記憶部１５０に記憶されているプログラムに基づいてコントローラ１４０により実行される。また、この表示制御処理は、制御周期毎に常時実行される。また、この表示制御処理では、図１乃至図７を適宜参照して説明する。

なお、図８では、表示装置３０及び表示装置４０の表示モードを同時に切り替える例を示すが、表示装置３０及び表示装置４０のそれぞれの表示モードの切り替えは、各装置における切替操作に応じて装置毎に行うようにしてもよい。

ステップＳ５０１において、表示モード判定部１４２は、現在の表示モードを判定する。例えば、乗員により表示モードが切り替えられていない場合には、現在の表示モードが継続されていると判定され、乗員の操作により表示モードが切り替えられた場合には、切り替え後の表示モードを判定する。例えば、図７（Ａ）（Ｂ）に示すモード切替領域３０１において、車外表示モード切替ボタン３０２の押下操作がされた場合には、車外表示モードに切り替えられたと判定される。一方、図７（Ａ）（Ｂ）に示すモード切替領域３０１において、車内表示モード切替ボタン３０３の押下操作がされた場合には、車内表示モードに切り替えられたと判定される。現在の表示モードが車外表示モードに設定されている場合、または、車内表示モードから車外表示モードに切り替えられた場合には、ステップＳ５０２に進む。一方、現在の表示モードが車内表示モードに設定されている場合、または、車外表示モードから車内表示モードに切り替えられた場合には、ステップＳ５０９に進む。

ステップＳ５０２において、表示オブジェクト決定部１４４は、車両１の制御信号、車両１の走行に関する情報、車両１の周囲に関する情報を含む関連情報を車両システム１１０から取得する。そして、表示オブジェクト決定部１４４は、取得された関連情報に基づいて、表示装置３０、４０に表示させるキャラクタ画像及び車両画像を決定する。

ステップＳ５０３において、表示制御部１４６は、前回の表示モードが車外表示モードであったか否かを判定する。前回の表示モードが車外表示モードであった場合には、ステップＳ５０６に進む。一方、前回の表示モードが車内表示モードであった場合には、ステップＳ５０４に進む。

ステップＳ５０４において、表示制御部１４６は、表示モードを切り替えることを乗員に通知するための表示モード切替画面を表示装置３０、４０に表示させる。例えば、図７（Ｂ）に示すように、車外表示モード切替画面３６０が表示装置３０、４０に表示される。

ステップＳ５０５において、表示制御部１４６は、車両１の進行方向に前進する仮想車両に乗ったキャラクタを車両１の実景に重畳して表示装置３０、４０に表示させる。具体的には、表示制御部１４６は、撮像装置２０により生成された撮像画像に、表示オブジェクト決定部１４４により決定されたキャラクタ画像及び車両画像を重畳した車外表示モード画面を表示装置３０、４０に表示させる。例えば、図７（Ｂ）に示すように、車外表示モード画面３７０が表示装置３０、４０に表示される。

ステップＳ５０６において、表示制御部１４６は、車両１の制御信号、車両１の走行に関する情報、車両１の周囲に関する情報を含む関連情報に基づいて、表示装置３０、４０に表示させる仮想車両やキャラクタを変更する。具体的には、表示制御部１４６は、撮像装置２０により生成された撮像画像に、表示オブジェクト決定部１４４により決定されたキャラクタ画像及び車両画像を重畳した車外表示モード画面を表示装置３０、４０に表示させる。なお、キャラクタ画像及び車両画像に変更がない場合には、同一のキャラクタ画像及び車両画像の表示を継続する。

ステップＳ５０７において、撮影制御部１４５は、撮影ボタンが押下されたか否かを判定する。例えば、表示装置３０、４０に表示されているシャッター操作領域３０４（図７（Ａ）（Ｂ）参照）の押下操作が行われたか否かが判定される。撮影ボタンが押下された場合には、ステップＳ５０８に進む。一方、撮影ボタンが押下されていない場合には、表示制御処理の動作を終了する。

ステップＳ５０８において、撮影制御部１４５は、撮影ボタンが押下された際に表示装置３０、４０に表示されていた画像を画像コンテンツとして記憶部１５０に格納するための格納処理を実行する。また、撮影制御部１４５は、記憶部１５０に格納された画像コンテンツを通信部１６０を介して管理サーバ７０に送信する。

ステップＳ５０９において、表示オブジェクト決定部１４４は、車両１の内部に関する内部情報を車両システム１１０から取得する。そして、表示オブジェクト決定部１４４は、取得された内部情報に基づいて、表示装置３０、４０に表示させるキャラクタ画像及び車両画像を決定する。

ステップＳ５１０において、表示制御部１４６は、前回の表示モードが車内表示モードであったか否かを判定する。前回の表示モードが車内表示モードであった場合には、ステップＳ５１５に進む。一方、前回の表示モードが車外表示モードであった場合には、ステップＳ５１１に進む。

ステップＳ５１１において、表示制御部１４６は、表示モードを切り替えることを乗員に通知するための表示モード切替画面を表示装置３０、４０に表示させる。例えば、図７（Ａ）に示すように、車内表示モード切替画面３１０が表示装置３０、４０に表示される。

ステップＳ５１２において、乗員認識部１４１は、撮像装置１０により生成された撮像画像に基づいて、車両１の座席に空きがあるか否かを判定する。車両１の座席に空きがある場合には、ステップＳ５１３に進む。一方、車両１の座席に空きがない場合には、ステップＳ５１４に進む。

ステップＳ５１３において、表示制御部１４６は、車両１の空いている座席にキャラクタ画像を重畳して表示装置３０、４０に表示させる。具体的には、表示オブジェクト決定部１４４は、乗員認識部１４１により空きがあると判定された座席にキャラクタ画像を配置することを決定する。そして、表示制御部１４６は、表示オブジェクト決定部１４４により決定されたキャラクタ画像を、その決定に応じた空席に重畳して表示装置３０、４０に表示させる。

ステップＳ５１４において、表示制御部１４６は、車両１の内部の座席以外の位置にキャラクタを重畳して表示装置３０、４０に表示させる。具体的には、表示オブジェクト決定部１４４は、車両１の内部の座席以外の位置にキャラクタ画像を配置することを決定する。そして、表示制御部１４６は、表示オブジェクト決定部１４４により決定されたキャラクタ画像を、その決定に応じた位置に重畳して表示装置３０、４０に表示させる。

ステップＳ５１５において、表示オブジェクト決定部１４４は、車両システム１１０から取得された内部情報に基づいて、車両１の内部に変化があったか否かを判定する。例えば、撮像装置１０により生成された車内の画像に基づいて、車両１の各座席に座っている乗員の姿勢が変化した場合、車両１の各座席に座っている乗員の声や会話が変化した場合に、車両１の内部に変化があったと判定することができる。

ステップＳ５１６において、表示制御部１４６は、車両１の内部に変化に基づいて、表示装置３０、４０に表示させるキャラクタの表示態様を変更する。具体的には、表示制御部１４６は、表示オブジェクト決定部１４４により決定されたキャラクタの画像を表示装置３０、４０に表示させる。

［表示モードの切替時に切替演出を実行する例］
以上では、車内表示モードから車外表示モードへの切替時には、車外表示モード切替画面３６０（図７（Ｂ）参照）を一時的に表示させ、車外表示モードから車内表示モードへの切替時には、車内表示モード切替画面３１０（図７（Ａ）参照）を一時的に表示させる例を示した。ここで、表示モードの切替時には、キャラクタを用いた所定の演出を行うことにより、キャラクタに対する乗員の親近感を向上させ、乗車時におけるユーザ体験をさらに向上させることができると考えられる。そこで、以下では、表示モードの切替時には、キャラクタを用いた所定の切替演出を行う例を示す。

図９は、表示制御装置１００における表示制御処理の一例を示すフローチャートである。なお、この表示制御処理は、図８に示す表示制御処理の変形例であるため、図８と共通する部分には同一の符号を付し、図８と異なる点を中心にして説明する。

ステップＳ５２１において、表示制御部１４６は、車内表示モードから車外表示モードに切り替える際に、所定の切替演出を実行する。

ステップＳ５２２において、表示制御部１４６は、車外表示モードから車内表示モードに切り替える際に、所定の切替演出を実行する。

具体的には、表示オブジェクト決定部１４４は、表示モードを切り替える際に、キャラクタ画像及び車両画像のうちの少なくとも１つに実行させる切替演出を決定する。そして、表示制御部１４６は、表示オブジェクト決定部１４４により決定された切替演出を、キャラクタ画像及び車両画像のうちの少なくとも１つに実行させるように、キャラクタ画像及び車両画像を表示装置３０、４０に表示させる。

車内表示モードから車外表示モードに切り替える際の切替演出として、例えば、車内の所定位置に表示されているキャラクタが車外に歩いていき、仮想車両に乗り込むような演出を実行することができる。また、車外表示モードから車内表示モードに切り替える際の切替演出として、例えば、キャラクタが仮想車両から降りる演出を実行することができる。また、車内の画像に移動したキャラクタが座席に座ってシートベルトをする演出を実行することができる。

これらの切替演出を実行する場合に、車内画像から車外画像への切り替えについては、瞬間的に切り替えてもよく、キャラクタの動く遷移に基づいて、順次切り替えてもよい。また、キャラクタ画像の継続性は維持しつつ、キャラクタ画像の背景のみを切り替えるようにしてもよい。

［表示モードの自動切替例］
以上では、車両１の乗員の操作により表示モードを切り替える例を示した。ここで、所定条件を満たす場合には、表示モードを自動で切り替えてもよい。そこで、以下では、表示モードを自動で切り替える例を示す。

図１０は、表示装置３０、４０に表示される画像の表示モードを自動で切り替える場合の画像の遷移例を示す図である。

図１０（Ａ）には、車両１の周囲にランドマークが存在し、かつ、そのランドマークが撮像装置２０の撮像範囲に含まれる場合に、表示モードを自動で切り替える場合の遷移例を示す。なお、ランドマークは、目印や象徴となる建造物や地形である。例えば、東京タワー、京都タワー等の建造物や、富士山、琵琶湖等の地形をランドマークと称することができる。なお、図１０（Ａ）では、ランドマークとしてＡＢＣタワー４２３が検出された場合の例を示す。また、ランドマークの位置については、例えば、地図情報における位置に関連付けておくことが可能である。

図１０（Ａ）では、車両１の右前方にＡＢＣタワー４２３が検出された場合の例を示す。図１０（Ａ）に示すように、車内表示モードが設定されている場合において、車両１の周囲にＡＢＣタワー４２３が検出された場合には、ＡＢＣタワー４２３の存在を乗員に通知するため、車外表示モードが設定される。この場合には、ＡＢＣタワー４２３の存在を乗員に通知するための車外表示モード切替画面４１０が一時的に表示された後に、撮像装置２０により生成された撮像画像を含む車外表示モード画面４２０が表示される。

なお、車両１の周囲にＡＢＣタワー４２３が検出され、車外表示モードが設定される前の車内表示モード画面４００において、所定の切替演出を実行してもよい。例えば、車両１の周囲にＡＢＣタワー４２３が検出された場合には、車内表示モード画面４００におけるキャラクタ画像４０１が何かに気づく表示態様、例えば、何かに気づく表情、何かに気づく動作を実行することができる。図１０（Ａ）では、キャラクタ画像４０１が何かに気づく動作として、キャラクタ画像４０１の付近に電球画像４０２が表示される例を示す。

車外表示モード画面４２０では、ＡＢＣタワー４２３を乗員に通知するための演出がキャラクタ画像４２１及び車両画像４２２のうちの少なくとも１つにより実行される。例えば、ＡＢＣタワー４２３を指で指し示す表示態様のキャラクタ画像４２１を表示させるとともに、キャラクタ画像４２１が「ＡＢＣタワーだよ」と発していることを表現する吹出画像４２４を表示させることができる。また、例えば、車両画像４２２から出る光がＡＢＣタワー４２３を指し示す表示態様としてもよい。また、この切替演出では、撮像画像におけるＡＢＣタワー４２３の位置を示すマーカ標識４２５や矢印標識４２６を表示させてもよい。

図１０（Ｂ）には、本実施形態における表示制御処理を実行可能な表示制御装置を備える他の車両が車両１の周囲に存在し、かつ、その車両が撮像装置２０の撮像範囲に含まれる場合に、表示モードを自動で切り替える場合の遷移例を示す。なお、ここで示す他の車両は、図５乃至図７に示すように、キャラクタ画像を含む車内表示モード画面や、キャラクタ画像及び車両画像を含む車外表示モード画面を表示装置に表示することが可能な車両である。また、図１０（Ｂ）では、他の車両として車両４５３が検出された場合の例を示す。

また、図１０（Ｂ）では、本実施形態における表示制御処理を実行可能な表示制御装置を備える各車両には、それぞれ異なる仮想オブジェクトが割り当てられる例を示す。なお、各車両に割り当てられる仮想オブジェクトについては、外部装置、例えば管理サーバ７０により管理される。また、これらの各車両は、車車間通信に基づいて、他の車両の位置を把握可能である。なお、これらの各車両は、自車の位置情報を外部装置、例えば管理サーバ７０に順次送信し、必要に応じて外部装置から他の車両の位置情報を取得することにより、他の車両の位置を把握可能である。また、これらの各車両は、車車間通信を利用して、または、外部装置から、他の車両に割り当てられている仮想オブジェクトに関する情報をダウンロードして表示することが可能である。

図１０（Ｂ）では、車両１の前方に車両４５３が検出された場合の例を示す。図１０（Ｂ）に示すように、車内表示モードが設定されている場合において、車両１の周囲に車両４５３が検出された場合には、車両４５３の存在を乗員に通知するため、車外表示モードが設定される。この場合には、車両４５３の存在を乗員に通知するための車外表示モード切替画面４４０が一時的に表示された後に、撮像装置２０により生成された撮像画像を含む車外表示モード画面４５０が表示される。

なお、図１０（Ａ）に示す例と同様に、車両１の周囲に車両４５３が検出され、車外表示モードが設定される前の車内表示モード画面４３０において、所定の切替演出を実行してもよい。図１０（Ｂ）では、キャラクタ画像４３１が何かに気づく動作として、キャラクタ画像４３１の右手で外を指し示すような動作と、「何か外にあるよ」とメッセージを発する動作（吹出画像４３３）とを行うとともに、電球画像４３２が表示される例を示す。

車外表示モード画面４５０では、車両４５３を乗員に通知するための演出がキャラクタ画像４５１及び車両画像４５２のうちの少なくとも１つにより実行される。例えば、車両４５３を指で指し示す表示態様のキャラクタ画像４５１を表示させるとともに、キャラクタ画像４５１が「仲間がいるよ」と発していることを表現する吹出画像４５４を表示させることができる。また、例えば、車両画像４２２から出る光が車両４５３を指し示す表示態様としてもよい。また、この切替演出では、画像における車両４５３の位置を示すマーカ標識４５７や矢印標識４５５を表示させてもよい。

また、車外表示モード画面４５０では、車両４５３に割り当てられている仮想オブジェクト（キャラクタ画像４５６）を車両４５３に関連付けて表示させる。例えば、車両４５３の屋根にキャラクタ画像４５６が乗っているような表示とすることができる。

このように、車両１と同じ表示制御装置を備える他の車両が車両１の周囲に出現する毎に、車両１の乗員は、他の車両に割り当てられている仮想オブジェクトを他の車両に関連付けて見ることができる。これにより、自分の車両１に割り当てられた仮想オブジェクトとともに、他の車両に割り当てられた仮想オブジェクトを楽しむことができる。これにより、車内及び車外の撮像画像を見る乗員の面白みをさらに向上させることができ、ユーザ体験の向上を図ることができる。

［特定物体の検出例］
図１１は、車両１の周囲に存在する特定物体を検出する場合の検出方法の一例を示す図である。特定物体は、例えば、上述したランドマークや、本実施形態における表示制御処理を実行可能な表示制御装置を備える他の車両である。また、図１１では、矢印ＡＷ１方向に進行する車両１の周囲に存在する特定物体を検出する例を示す。

最初に、地上に固定されている特定物体を検出する場合について説明する。この場合には、特定物体に関する特定物体情報が関連付けられている地図情報と、車両システム１１０の位置情報取得部により取得された車両１の位置情報とに基づいて、車両１の周囲に存在する特定物体を検出することができる。なお、位置情報取得部は、車両１が存在する位置に関する位置情報を取得するものである。例えば、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）を利用して位置情報を取得するＧＮＳＳ受信機により実現できる。また、その位置情報には、ＧＮＳＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、例えば、ナビゲーション装置による位置推定技術を用いて位置情報を導き出してもよい。

また、特定物体情報が関連付けられている地図情報については、記憶部１５０に記憶させて用いてもよく、外部機器、例えば地図サーバから取得して用いてもよい。

表示モード判定部１４２は、車両システム１１０から取得された車両１の位置情報と、記憶部１５０に記憶されている地図情報とに基づいて、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に特定物体が存在するか否かを判定する。ここで、所定範囲ＰＲ１は、実験データ等で適宜設定可能である。例えば、半径Ｒ１を数十ｍ乃至数ｋｍとする円形を所定範囲ＰＲ１とすることができる。

次に、表示モード判定部１４２は、車両システム１１０から取得された車両１の位置情報と、記憶部１５０に記憶されている地図情報とに基づいて、検出された特定物体が撮像装置２０の撮像範囲ＩＲ１に含まれるか否かを判定する。ここで、撮像範囲ＩＲ１は、車両１の進行方向と、撮像装置２０の水平方向の撮像範囲（画角）とに基づいて設定可能である。

そして、表示モード判定部１４２は、所定範囲ＰＲ１内に特定物体が存在し、かつ、その特定物体が撮像装置２０の撮像範囲ＩＲ１に含まれる場合には、車内表示モードから車外表示モードに切り替えると判定する。

例えば、図１１に示す例では、車両１の周囲に特定物体ＬＭ１乃至ＬＭ５が存在する場合を想定する。なお、特定物体ＬＭ１乃至ＬＭ３は、所定範囲ＰＲ１内に存在するが、特定物体ＬＭ４、ＬＭ５は、所定範囲ＰＲ１外に存在するものとする。また、特定物体ＬＭ１、ＬＭ５は、撮像範囲ＩＲ１内に存在するが、特定物体ＬＭ２乃至ＬＭ４は、撮像範囲ＩＲ１外に存在するものとする。この場合には、所定範囲ＰＲ１内に特定物体ＬＭ１が存在し、かつ、特定物体ＬＭ１が撮像装置２０の撮像範囲ＩＲ１に含まれるため、表示モード判定部１４２は、車内表示モードから車外表示モードに切り替えると判定する。

この場合には、表示オブジェクト決定部１４４及び表示制御部１４６は、表示モード判定部１４２により検出された特定物体ＬＭ１に関する各種情報、例えば位置情報及び画像情報を記憶部１５０から取得する。そして、表示オブジェクト決定部１４４は、特定物体ＬＭ１に関する各種情報に基づいて、撮像装置２０により生成された撮像画像に含まれる特定物体ＬＭ１を乗員に通知するための演出を車両画像や物体画像に実行させる。例えば、図１０（Ａ）に示すように、ＡＢＣタワー４２３を指し示す表示態様としてのキャラクタ画像４２１と、キャラクタ画像４２１からの吹出画像４２４とを表示させることができる。

また、表示制御部１４６は、特定物体ＬＭ１に関する各種情報に基づいて、撮像装置２０により生成された撮像画像において、特定物体ＬＭ１に関する各種の演出を実行させることができる。例えば、図１０（Ａ）に示すように、ＡＢＣタワー４２３の位置を示すマーカ標識４２５や矢印標識４２６を表示させることができる。

なお、以上では、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に特定物体が存在し、かつ、その特定物体が撮像装置２０の撮像範囲ＩＲ１に含まれる場合に、車内表示モードから車外表示モードに切り替えることを判定する例を示した。ただし、車両１が走行する道路と、車両１の進行方向と、撮像装置２０の撮像範囲との関係を予め地図情報に記憶しておき、その地図情報に基づいて、その判定を行うようにしてもよい。

例えば、道路Ａと、進行方向ＡＷ１と、所定位置Ｂと、特定物体ＬＭ１とを関連付けて地図情報に格納しておく。そして、道路Ａにおいて車両１が矢印ＡＷ１方向に走行している場合に、道路Ａにおける所定位置Ｂを通過したことを条件に、表示モード判定部１４２は、所定範囲ＰＲ１内に特定物体ＬＭ１が存在し、かつ、特定物体ＬＭ１が撮像装置２０の撮像範囲ＩＲ１に含まれると判定してもよい。この場合には、表示モード判定部１４２は、車内表示モードから車外表示モードに切り替えると判定する。

次に、地上を移動する特定物体、例えば、車両１と同じ表示制御装置を備える他の車両を検出する場合について説明する。この場合には、他の車両の位置情報と、車両システム１１０の位置情報取得部により取得された車両１の位置情報とに基づいて、車両１の周囲に存在する他の車両を検出することができる。ここで、他の車両の位置については、各種の位置推定処理により取得可能である。この位置推定処理は、例えば、撮像装置２０により生成された撮像画像に含まれる他の車両の画像を用いた位置推定処理、車両システム１１０が備える各センサ、例えば、ＬＩＤＡＲ、ソナーを用いた位置推定処理、通信部１６０を介して管理サーバ７０から取得可能な他の車両の位置情報を用いた位置推定処理、車車間通信を利用した位置推定処理である。

表示モード判定部１４２は、上述した位置推定処理に基づいて、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に他の車両が存在するか否かを判定する。

次に、表示モード判定部１４２は、車両１の位置を基準とする他の車両の位置と、車両１の位置を基準とする他の車両の方向と、撮像装置２０の撮像範囲ＩＲ１とに基づいて、他の車両が撮像装置２０の撮像範囲ＩＲ１に含まれるか否かを判定する。

そして、表示モード判定部１４２は、所定範囲ＰＲ１内に他の車両が存在し、かつ、その車両が撮像装置２０の撮像範囲ＩＲ１に含まれる場合には、車内表示モードから車外表示モードに切り替えると判定する。

この場合には、表示オブジェクト決定部１４４及び表示制御部１４６は、表示モード判定部１４２により検出された他の車両に関する各種情報、例えば位置情報及び画像情報を取得する。そして、表示オブジェクト決定部１４４は、他の車両に関する各種情報に基づいて、撮像装置２０により生成された撮像画像に含まれる他の車両を乗員に通知するための演出を車両画像や物体画像に実行させる。例えば、図１０（Ｂ）に示すように、車両４５３を指し示す表示態様としてのキャラクタ画像４５１と、キャラクタ画像４５１からの吹出画像４５４とを表示させることができる。

また、表示制御部１４６は、他の車両に関する各種情報に基づいて、撮像装置２０により生成された撮像画像において、他の車両に関する各種の演出を実行させることができる。例えば、図１０（Ｂ）に示すように、車両４５３の位置を示すマーカ標識４５７や矢印標識４５５を表示させ、車両４５３に割り当てられているキャラクタ画像４５６を車両４５３に関連付けて表示させることができる。

以上では、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に特定物体が存在し、かつ、その特定物体が撮像装置２０の撮像範囲ＩＲ１に含まれる場合に、車内表示モードから車外表示モードに切り替えることを判定する例を示した。ただし、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に特定物体が存在するが、その特定物体が撮像装置２０の撮像範囲ＩＲ１に含まれない場合でも、車内表示モードから車外表示モードに自動で切り替えてもよい。この場合には、車外画像には表示されていないが、特定物体が近くに存在する旨を、音声情報、キャラクタ画像、車両画像等を用いて乗員に通知してもよい。

ここで、撮像装置２０が車両１の全方向を撮像できる３６０度カメラである場合を想定する。この場合には、表示装置３０、４０に表示される車外画像の撮像範囲を所定範囲ＰＲ１内に存在する特定物体の方向に切り替えることにより対応可能である。また、撮像装置２０が左右方向及び上下方向の少なくとも一方に可動可能な可動式カメラである場合を想定する。この場合には、表示装置３０、４０に表示される車外画像の撮像範囲に、所定範囲ＰＲ１内に存在する特定物体が含まれるように、可動式カメラを駆動させることにより対応可能である。

なお、車両１の周囲に存在する特定物体を検出する検出方法として、他の物体検出技術を用いてもよい。例えば、人工知能（ＡＩ：Artificial Intelligence）を利用して、車両１の周囲に存在する特定物体を検出してもよい。例えば、車両１に乗車する乗員の数と、道路における車両１の走行位置と、表示モードの切替タイミングと、撮像装置２０により生成された撮像画像とを予め学習しておき、この学習データを特定物体の検出に用いることができる。例えば、表示モードの切替操作が行われた際の撮像画像に含まれる物体について、その学習データを用いて、特定物体の有無を判定するための評価値を算出し、その評価値に基づいて、特定物体の有無を判定することができる。なお、学習データについては、実験等により適宜設定可能である。

［表示制御装置の動作例］
図１２は、表示制御装置１００における表示モード切替処理の一例を示すフローチャートである。なお、この表示モード切替処理は、記憶部１５０に記憶されているプログラムに基づいてコントローラ１４０により実行される。また、この表示モード切替処理は、制御周期毎に常時実行される。また、この表示モード切替処理では、図１０、図１１を適宜参照して説明する。

ステップＳ５３１において、表示モード判定部１４２は、車両１の乗員により表示モード切替操作がされたか否かを判定する。表示モード切替操作がされた場合には、ステップＳ５３２に進む。一方、表示モード切替操作がされていない場合には、ステップＳ５３３に進む。

ステップＳ５３２において、表示モード判定部１４２は、車両１の乗員による表示モード切替操作に応じた表示モードを設定する。

ステップＳ５３３において、表示モード判定部１４２は、車内表示モードが設定されているか否かを判定する。車内表示モードが設定されている場合には、ステップＳ５３４に進む。一方、車内表示モードが設定されていない場合には、表示モード切替処理の動作を終了する。

ステップＳ５３４において、表示モード判定部１４２は、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内にランドマークが存在するか否かを判定する。所定範囲ＰＲ１内にランドマークが存在する場合には、ステップＳ５３５に進む。一方、所定範囲ＰＲ１内にランドマークが存在しない場合には、表示モード切替処理の動作を終了する。

ステップＳ５３５において、表示モード判定部１４２は、所定範囲ＰＲ１内に存在するランドマークが撮像装置２０の撮像範囲ＩＲ１に含まれるか否かを判定する。そのランドマークが撮像範囲ＩＲ１に含まれる場合には、ステップＳ５３８に進む。一方、そのランドマークが撮像範囲ＩＲ１に含まれない場合には、ステップＳ５３６に進む。

ステップＳ５３６において、表示モード判定部１４２は、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に、車両１と同じ表示制御装置を備える他の車両が存在するか否かを判定する。所定範囲ＰＲ１内に他の車両が存在する場合には、ステップＳ５３７に進む。一方、所定範囲ＰＲ１内に他の車両が存在しない場合には、表示モード切替処理の動作を終了する。

ステップＳ５３７において、表示モード判定部１４２は、所定範囲ＰＲ１内に存在する他の車両が撮像装置２０の撮像範囲ＩＲ１に含まれるか否かを判定する。その車両が撮像範囲ＩＲ１に含まれる場合には、ステップＳ５３８に進む。一方、その車両が撮像範囲ＩＲ１に含まれない場合には、表示モード切替処理の動作を終了する。

ステップＳ５３８において、表示モード判定部１４２は、車外表示モードを設定する。

以上では、車内表示モードが設定されている場合に、車内表示モードから車外表示モードに自動で切り替える場合の例を示した。ただし、車外表示モードが設定されている場合に、車外表示モードから車内表示モードに自動で切り替えてもよい。例えば、車内の環境に所定の変化が生じた場合に、車外表示モードから車内表示モードに自動で切り替えることができる。例えば、車両１の乗員の声の音量が基準値以上となった場合、また乗員の笑い声が検出された場合に、車内の環境に所定の変化が生じたと判定することができる。なお、笑い声については、公知の音解析技術を用いて判定可能である。さらに、車両１の乗員の表情として所定の顔、例えば笑顔、怒った顔が検出された場合に、車内の環境に所定の変化が生じたと判定することができる。

さらに、他の条件に基づいて、表示モードの自動切替を実行してもよい。例えば、所定時間以上、表示モードの切り替えが実行されていない場合に、他の表示モードに自動で切り替えてもよい。これにより、車外画像を長時間見ていた乗員に、車内画像を見る機会を提供することができる。一方、車内画像を長時間見ていた乗員に、車外画像を見る機会を提供することができる。これらにより、乗員の気分を適宜切り替えて、心地よい車両空間を提供することができる。

また、表示モードの自動切替タイミングを判定する判定方法として、他の判定方法を用いてもよい。例えば、人工知能を利用して、表示モードの自動切替タイミングを判定してもよい。例えば、車両１に乗車する乗員の数と、道路における車両１の走行位置と、表示モードの切替タイミングとを予め学習しておき、この学習データを表示モードの自動切替タイミングの判定に用いることができる。なお、学習データについては、実験等により適宜設定可能である。

なお、本実施形態では、助手席８側に表示装置３０を設ける例を示したが、他の表示媒体を用いてもよい。例えば、ウインドシールド４が、車両１のＨＵＤ（Head Up Display）の表示媒体として機能する場合には、ウインドシールド４におけるＨＵＤ表示部に、上述した各表示をすることができる。

このように、本実施形態では、車両１に設置されている撮像装置１０、２０を用いて、車内及び車外の被写体を撮像して、車内及び車外のうちの少なくとも１つの撮像画像を表示装置３０、４０に表示することができる。この場合に、その撮像画像に仮想オブジェクト、例えばキャラクタ画像や車両画像を重畳して表示することができる。すなわち、車両１における異なる向きの撮像画像におけるキャラクタ等の演出を実行することによりユーザ体験を向上させることができる。言い換えると、車内及び車外の撮像画像に同一のキャラクタ等を重畳して表示することにより、キャラクタが車内の乗員と一緒に移動しているという面白味のある演出を実行することができる。これにより、車内、車外等の複数の空間が存在する車両１について、これらの空間を活かした車両１におけるユーザ体験の向上を図るための演出を実行することができる。すなわち、車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供することができる。

また、本実施形態によれば、乗員が乗車している車両１と仮想オブジェクトが一緒に走行している演出と、一緒に同乗している演出とを、仮想オブジェクトの向きを適切に設定することで、車内の乗員と仮想オブジェクトとが一体になって移動しているというユーザ体験を実現することができる。これにより、車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供することができる。

例えば、車両１がシェアカーであり、車両１を利用して旅行をする場合を想定する。この場合には、表示装置３０、４０にキャラクタ画像や車両画像を表示することにより、車両１に乗車した乗員は、そのキャラクタが車両１に一緒に乗車しているという疑似体験をすることができる。例えば、キャラクタを仮想車両に乗せる画像を表示することで、そのキャラクタが車両１と一緒に走っているという感覚を高めることができる。また、車両１の乗員は、キャラクタと一緒に旅行しているような疑似体験をすることができる。これにより、表示装置３０、４０に表示されるキャラクタに愛着が沸き、次回もシェアカーに乗りたいという動機付けになる。

なお、本実施形態では、表示制御処理及び表示モード判定処理を表示制御装置１００において実行する例を示したが、それらの各処理の全部または一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により車両１の表示制御システムが構成される。例えば、車両１の内部の乗員により使用されている電子機器８０（図３参照）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて表示制御処理及び表示モード判定処理の少なくとも一部を実行させることができる。

また、表示制御装置１００の機能を実行可能な車両１の表示制御システムの一部（または全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。

なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、表示制御装置に新機能を追加するためのアップデート処理により、そのプログラムを表示制御装置の記憶装置に記憶させることができる。これにより、そのアップデートされた表示制御装置に本実施形態で示した各処理を実施させることが可能となる。

［本実施形態の構成及び効果］
本実施形態に係る車両１の表示制御方法は、車両１に搭載されている表示装置３０、４０を制御する表示制御方法である。この表示制御方法は、車両１の外部を撮像した第１撮像画像に、前後を特定可能な形態を備える仮想オブジェクトを重畳して表示する車外表示モード（第１の表示モードの一例）と、車両１の内部を撮像した第２撮像画像に、車外表示モード（第１の表示モードの一例）とは異なる表示態様の仮想オブジェクトを重畳して表示する車内表示モードと、を切り替える切替処理（ステップＳ５０１、Ｓ５３１乃至Ｓ５３８）と、車外表示モードでは、車両１が前進する方向に仮想オブジェクトの前部が向くように仮想オブジェクトを表示させ、車内表示モードでは、車両１の内部における座席の前部の向きに仮想オブジェクトの前部が向くように仮想オブジェクトを表示させる表示制御処理（ステップＳ５０２乃至Ｓ５０６、Ｓ５０９乃至Ｓ５１６、Ｓ５２１、Ｓ５２２）とを含む。

この構成によれば、乗員が乗車している車両１と仮想オブジェクトが一緒に走行している演出（車外表示モード）と、一緒に同乗している演出（車内表示モード）とを、仮想オブジェクトの向きを適切に設定することで実現できる。これにより、車内の乗員と仮想オブジェクトとが一体になって移動しているというユーザ体験を実現することができる。また、車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供することができる。

また、本実施形態に係る車両１の表示制御方法では、表示制御処理（ステップＳ５０５、Ｓ５０６、Ｓ５１３、Ｓ５１４、Ｓ５１６）は、車内表示モード（第２の表示モードの一例）では、仮想車両に乗車することが可能な物体を表す物体画像を仮想オブジェクトとして表示させ、車外表示モード（第１の表示モードの一例）では、仮想車両を表す車両画像に物体画像を乗車させた合成画像を仮想オブジェクトとして表示させる。例えば、図５に示すように、仮想車両を表す車両画像２１２、２２２、２３２にキャラクタ画像２１１、２２１、２３１を乗車させた合成画像を仮想オブジェクトとして表示させることができる。また、図６に示すように、仮想車両に乗車することが可能な物体を表すキャラクタ画像２６１、２７１、２８１を仮想オブジェクトとして表示させることができる。

この構成によれば、乗員が乗車している車両１と車両画像２１２、２２２、２３２及びキャラクタ画像２１１、２２１、２３１が一緒に走行している演出（車外表示モード）と、キャラクタ画像２６１、２７１、２８１が一緒に同乗している演出（車内表示モード）とを実現できる。

また、本実施形態に係る車両１の表示制御方法では、車両１の制御信号を取得する取得処理（ステップＳ５０２）をさらに含み、表示制御処理（ステップＳ５０６）は、車外表示モード（第１の表示モードの一例）では、車両画像及び物体画像の一部または全部の表示態様を車両１の制御信号に基づいて変化させる。例えば、図７（Ｃ）に示すように、車両１が後進している場合には、車両画像３８２に乗車しているキャラクタが後ろを振り向く態様のキャラクタ画像３８１を仮想オブジェクトとして表示させることができる。

この構成によれば、車両１の動きに応じて、車両画像及び物体画像の一部または全部の表示態様を変化させることができるため、車両１の動きに対応した車両画像及び物体画像の変化を車両１の乗員が楽しむことができる。

また、本実施形態に係る車両１の表示制御方法では、物体画像は、顔及び体を備える物体を模したキャラクタ画像であり、表示制御処理（ステップＳ５０６）は、車外表示モード（第１の表示モードの一例）では、車両１の制御信号に基づいて、顔及び体のうちの少なくとも一部が車両１の進行方向に向くように、キャラクタ画像の表示態様を変更する。例えば、図７（Ｃ）に示すように、車両１が後進している場合には、車両画像３８２に乗車しているキャラクタの顔が車両１の進行方向（後ろ）を向くように、キャラクタ画像３８１を仮想オブジェクトとして表示させることができる。

この構成によれば、車両１の乗員に親しみがわくと考えられるキャラクタを表示することができ、車両１の動きに応じて、顔や体を車両１の進行方向に向ける演出を実現できるため、そのキャラクタの変化を車両１の乗員が楽しむことができる。

また、本実施形態に係る車両１の表示制御方法では、表示制御処理（ステップＳ５１３）は、車内表示モード（第２の表示モードの一例）では、第２撮像画像における座席上に仮想オブジェクトを配置する。例えば、図６に示す画像２７０のように、空席の助手席８上にキャラクタ画像２７１を配置することができる。

この構成によれば、車両１の空席にキャラクタを座らせるように表示することにより、一緒に同乗している感じをさらに高めた演出とすることができる。

また、本実施形態に係る車両１の表示制御方法では、座席のうち乗員が着座していない空席を検出する検出処理（ステップＳ５１２）をさらに含み、表示制御処理（ステップＳ５１３、Ｓ５１４）は、車内表示モード（第２の表示モードの一例）では、第２撮像画像における座席に空席が存在する場合には、その空席に重畳するように仮想オブジェクトを配置し、第２撮像画像における座席に空席が存在しない場合には、第２撮像画像における座席に着座している乗員に重畳するように仮想オブジェクトを配置する。

この構成によれば、車両１に空席が存在するか否かに応じて仮想オブジェクトを異なる配置とすることができ、車内の撮像画像を見る乗員の面白みを向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、表示制御処理（ステップＳ５１４）は、車内表示モード（第２の表示モードの一例）では、第２撮像画像における運転手の顔に重畳するように仮想オブジェクトを配置する。例えば、図６に示す画像２６０のように、運転手Ｕ１の顔の一部にキャラクタ画像２６１を重畳して表示することができる。

この構成によれば、運転手の顔に仮想オブジェクトを配置するという意外性のある演出とすることができ、車内の撮像画像を見る乗員の面白みをさらに向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、表示制御処理（ステップＳ５２１、Ｓ５２２）は、車外表示モード（第１の表示モードの一例）から車内表示モード（第２の表示モードの一例）への切替時、または、車内表示モードから車外表示モードへの切替時において、仮想オブジェクトを用いて所定の切替演出を実行する。

この構成によれば、表示モードの切替時にも、仮想オブジェクトを用いた演出をすることができ、車内及び車外の撮像画像を見る乗員の面白みをさらに向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、表示制御処理（ステップＳ５２１、Ｓ５２２）は、車外表示モード（第１の表示モードの一例）から車内表示モード（第２の表示モードの一例）への切替時において、物体画像が車両画像から降りるように、物体画像及び車両画像の表示態様を順次変更する切替演出を実行し、車内表示モードから車外表示モードへの切替時において、物体画像が車両画像に乗り込むように、物体画像及び車両画像の表示態様を順次変更する切替演出を実行する。

この構成によれば、表示モードの切替時には、その切替に応じた、仮想オブジェクトを用いた切替演出をすることができ、車内及び車外の撮像画像を見る乗員の面白みをさらに向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、表示制御処理（ステップＳ５２２）は、車外表示モード（第１の表示モードの一例）から車内表示モード（第２の表示モードの一例）への切替時において、第２撮像画像における座席のうち乗員が着座していない空席に物体画像を移動させ、その空席において、物体画像がシートベルトをするように、物体画像の表示態様を順次変更する切替演出を実行する。

この構成によれば、表示モードの切替時には、物体画像がシートベルトをするという意外性のある切替演出をすることができ、車内及び車外の撮像画像を見る乗員の面白みをさらに向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、切替処理（ステップＳ５３１乃至Ｓ５３８）は、車内表示モード（第２の表示モードの一例）が設定されている場合において、車両１の周囲において車両１の位置を基準とする所定範囲ＰＲ１内に特定物体が存在するときには、車内表示モーから車外表示モード（第１の表示モードの一例）に切り替える。

この構成によれば、車内の撮像画像を見ていた乗員に、特定物体が存在する車外を認識させることができ、車内及び車外の撮像画像を見る乗員の面白みをさらに向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、特定物体は、地上に存在するランドマークであり、切替処理（ステップＳ５３４、Ｓ５３５、Ｓ５３８）は、所定範囲ＰＲ１内にランドマークが存在し、かつ、そのランドマークが第１撮像画像の撮像範囲ＩＲ１に含まれると判定された場合に、車内表示モード（第２の表示モードの一例）から車外表示モード（第１の表示モードの一例）に切り替え、表示制御処理（ステップＳ５２１、Ｓ５０５）は、その切替処理でランドマークの存在により車内表示モードから車外表示モードに切り替えられた場合には、第１撮像画像に含まれるランドマークを乗員に通知するための演出を仮想オブジェクトに実行させる。例えば、図１０（Ａ）に示すように、ＡＢＣタワー４２３を指で指し示す表示態様のキャラクタ画像４２１と、キャラクタ画像４２１が発する「ＡＢＣタワーだよ」の吹出画像４２４とを表示させる演出を実行することができる。

この構成によれば、車両１の周囲に存在するランドマークを、仮想オブジェクトを用いて通知する演出をすることができ、車両１が走行する周辺のランドマークに興味がある乗員の楽しみを向上させることができる。

また、本実施形態に係る車両１の表示制御方法では、特定物体は、上述した表示制御処理を実行可能な他の車両であり、切替処理（ステップＳ５３６乃至Ｓ５３８）は、所定範囲ＰＲ１内に他の車両が存在し、かつ、他の車両が第１撮像画像の撮像範囲に含まれると判定された場合に、車内表示モード（第２の表示モードの一例）から車外表示モード（第１の表示モードの一例）に切り替え、表示制御処理（ステップＳ５２１、Ｓ５０５）は、その切替処理で他の車両の存在により車内表示モードから車外表示モードに切り替えられた場合には、第１撮像画像に含まれる他の車両を乗員に通知するための演出を仮想オブジェクトに実行させるとともに、他の車両に割り当てられている仮想オブジェクトを他の車両に関連付けて表示させる。例えば、図１０（Ｂ）に示すように、車両４５３を指で指し示す表示態様のキャラクタ画像４５１と、キャラクタ画像４５１が発する「仲間がいるよ」の吹出画像４５４とを表示させる演出を実行することができる。また、車両４５３の屋根にキャラクタ画像４５６が乗っているような演出をすることができる。

この構成によれば、車両１の周囲に存在する他の車両を、仮想オブジェクトを用いて通知する演出をすることができる。また、他の車両に割り当てられている仮想オブジェクトを他の車両に関連付けて表示させることができるため、各車両の仮想オブジェクトに興味がある乗員の楽しみを向上させることができる。

また、表示制御装置１００は、車両１に搭載されている表示装置３０、４０を制御する表示制御装置である。表示制御装置１００は、車両１の外部を撮像した第１撮像画像に、前後を特定可能な形態を備える仮想オブジェクトを重畳して表示する車外表示モード（第１の表示モードの一例）と、車両１の内部を撮像した第２撮像画像に、車外表示モード（第１の表示モードの一例）とは異なる表示態様の仮想オブジェクトを重畳して表示する車内表示モードとを切り替える表示モード切替部１４３と、車外表示モードでは、車両１が前進する方向に仮想オブジェクトの前部が向くように仮想オブジェクトを表示させ、車内表示モード（第２の表示モードの一例）では、車両１の内部における座席の前部の向きに仮想オブジェクトの前部が向くように仮想オブジェクトを表示させる表示制御部１４６とを備える。

この構成によれば、乗員が乗車している車両１と仮想オブジェクトが一緒に走行している演出（車外表示モード）と、一緒に同乗している演出（車内表示モード）とを、仮想オブジェクトの向きを適切に設定することで実現できる。これにより、車内の乗員と仮想オブジェクトとが一体になって移動しているというユーザ体験を実現することができる。また、車内及び車外の撮像画像を見る乗員の乗車時の面白みを向上させ、快適な車両空間を提供することができる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

１ 車両、２ ダッシュボード、３ ハンドル、４ ウインドシールド、５ バックミラー、６ カーナビゲーション装置、７ 運転席、８ 助手席、１０、２０ 撮像装置、１１、１２ 後部座席、３０、４０ 表示装置、５０ 車両管理システム、６０ ネットワーク、７０ 管理サーバ、７１ 通信部、７２ 制御部、７３ 記憶部、８０ 電子機器、１００ 表示制御装置、１１０ 車両システム、１２０ ＵＩ部、１３０ 画像取得部、１４０ コントローラ、１４１ 乗員認識部、１４２ 表示モード判定部、１４３ 表示モード切替部、１４４ 表示オブジェクト決定部、１４５ 撮影制御部、１４６ 表示制御部、１５０ 記憶部、１６０ 通信部

Claims (14)

1. 車両に搭載されている表示装置を制御する表示制御方法であって、
   車両の外部を撮像した第１撮像画像に、前後を特定可能な形態を備える仮想オブジェクトを重畳して表示する第１の表示モードと、前記車両の内部を撮像した第２撮像画像に、前記第１の表示モードとは異なる表示態様の前記仮想オブジェクトを重畳して表示する第２の表示モードと、を切り替える切替処理と、
   前記第１の表示モードでは、前記車両が前進する方向に前記仮想オブジェクトの前部が向くように前記仮想オブジェクトを表示させ、前記第２の表示モードでは、前記車両の内部における座席の前部の向きに前記仮想オブジェクトの前部が向くように前記仮想オブジェクトを表示させる表示制御処理と、を含む、
   表示制御方法。
2. 請求項１に記載の表示制御方法であって、
   前記表示制御処理は、前記第２の表示モードでは、仮想車両に乗車することが可能な物体を表す物体画像を前記仮想オブジェクトとして表示させ、前記第１の表示モードでは、前記仮想車両を表す車両画像に前記物体画像を乗車させた合成画像を前記仮想オブジェクトとして表示させる、
   表示制御方法。
3. 請求項２に記載の表示制御方法であって、
   前記車両の制御信号を取得する取得処理をさらに含み、
   前記表示制御処理は、前記第１の表示モードでは、前記車両画像及び前記物体画像の一部または全部の表示態様を前記車両の制御信号に基づいて変化させる、
   表示制御方法。
4. 請求項３に記載の表示制御方法であって、
   前記物体画像は、顔及び体を備える物体を模したキャラクタ画像であり、
   前記表示制御処理は、前記第１の表示モードでは、前記車両の制御信号に基づいて、前記顔及び体のうちの少なくとも一部が前記車両の進行方向に向くように、前記キャラクタ画像の表示態様を変更する、
   表示制御方法。
5. 請求項１から４の何れかに記載の表示制御方法であって、
   前記表示制御処理は、前記第２の表示モードでは、前記第２撮像画像における前記座席上に前記仮想オブジェクトを配置する、
   表示制御方法。
6. 請求項５に記載の表示制御方法であって、
   前記座席のうち乗員が着座していない空席を検出する検出処理をさらに含み、
   前記表示制御処理は、前記第２の表示モードでは、前記第２撮像画像における前記座席に空席が存在する場合には、当該空席に重畳するように前記仮想オブジェクトを配置し、前記第２撮像画像における前記座席に空席が存在しない場合には、前記第２撮像画像における前記座席に着座している乗員に重畳するように前記仮想オブジェクトを配置する、
   表示制御方法。
7. 請求項１から４の何れかに記載の表示制御方法であって、
   前記表示制御処理は、前記第２の表示モードでは、前記第２撮像画像における運転手の顔に重畳するように前記仮想オブジェクトを配置する、
   表示制御方法。
8. 請求項１から７の何れかに記載の表示制御方法であって、
   前記表示制御処理は、前記第１の表示モードから前記第２の表示モードへの切替時、または、前記第２の表示モードから前記第１の表示モードへの切替時において、前記仮想オブジェクトを用いて所定の切替演出を実行する、
   表示制御方法。
9. 請求項８に記載の表示制御方法であって、
   前記第２の表示モードでは、仮想車両に乗車することが可能な物体を表す物体画像が前記仮想オブジェクトとして表示され、前記第１の表示モードでは、前記仮想車両を表す車両画像に前記物体画像を乗車させた合成画像が前記仮想オブジェクトとして表示され、
   前記表示制御処理は、
   前記第１の表示モードから前記第２の表示モードへの切替時において、前記物体画像が前記車両画像から降りるように、前記物体画像及び前記車両画像の表示態様を順次変更する演出を前記切替演出として実行し、
   前記第２の表示モードから前記第１の表示モードへの切替時において、前記物体画像が前記車両画像に乗り込むように、前記物体画像及び前記車両画像の表示態様を順次変更する演出を前記切替演出として実行する、
   表示制御方法。
10. 請求項８に記載の表示制御方法であって、
    前記第２の表示モードでは、仮想車両に乗車することが可能な物体を表す物体画像が前記仮想オブジェクトとして表示され、前記第１の表示モードでは、前記仮想車両を表す車両画像に前記物体画像を乗車させた合成画像が前記仮想オブジェクトとして表示され、
    前記表示制御処理は、
    前記第１の表示モードから前記第２の表示モードへの切替時において、前記第２撮像画像における前記座席のうち乗員が着座していない空席に前記物体画像を移動させ、当該空席において、前記物体画像がシートベルトをするように、前記物体画像の表示態様を順次変更する演出を前記切替演出として実行する、
    表示制御方法。
11. 請求項１から１０の何れかに記載の表示制御方法であって、
    前記切替処理は、前記第２の表示モードが設定されている場合において、前記車両の周囲において当該車両の位置を基準とする所定範囲内に特定物体が存在するときには、前記第２の表示モードから前記第１の表示モードに切り替える、
    表示制御方法。
12. 請求項１１に記載の表示制御方法であって、
    前記特定物体は、地上に存在するランドマークであり、
    前記切替処理は、前記所定範囲内に前記ランドマークが存在し、かつ、当該ランドマークが前記第１撮像画像の撮像範囲に含まれると判定された場合に、前記第２の表示モードから前記第１の表示モードに切り替え、
    前記表示制御処理は、前記切替処理で前記ランドマークの存在により前記第２の表示モードから前記第１の表示モードに切り替えられた場合には、前記第１撮像画像に含まれる当該ランドマークを乗員に通知するための演出を前記仮想オブジェクトに実行させる、
    表示制御方法。
13. 請求項１１に記載の表示制御方法であって、
    前記特定物体は、前記表示制御処理を実行可能な他の車両であり、
    前記切替処理は、前記所定範囲内に前記他の車両が存在し、かつ、当該他の車両が前記第１撮像画像の撮像範囲に含まれると判定された場合に、前記第２の表示モードから前記第１の表示モードに切り替え、
    前記表示制御処理は、前記切替処理で前記他の車両の存在により前記第２の表示モードから前記第１の表示モードに切り替えられた場合には、前記第１撮像画像に含まれる当該他の車両を乗員に通知するための演出を前記仮想オブジェクトに実行させるとともに、当該他の車両に割り当てられている前記仮想オブジェクトを当該他の車両に関連付けて表示させる、
    表示制御方法。
14. 車両に搭載されている表示装置を制御する表示制御装置であって、
    車両の外部を撮像した第１撮像画像に、前後を特定可能な形態を備える仮想オブジェクトを重畳して表示する第１の表示モードと、前記車両の内部を撮像した第２撮像画像に、前記第１の表示モードとは異なる表示態様の前記仮想オブジェクトを重畳して表示する第２の表示モードと、を切り替える表示モード切替部と、
    前記第１の表示モードでは、前記車両が前進する方向に前記仮想オブジェクトの前部が向くように前記仮想オブジェクトを表示させ、前記第２の表示モードでは、前記車両の内部における座席の前部の向きに前記仮想オブジェクトの前部が向くように前記仮想オブジェクトを表示させる表示制御部と、を備える、
    表示制御装置。

Images