JP2022184919A - 表示制御装置、表示制御方法 - Google Patents

Abstract

【課題】車両の周囲の風景の映像を適切に表示すること。【解決手段】車両の現在位置情報と車両運動情報とを含む車両情報とナビゲーション情報を取得する車両情報取得部３３１と、車両情報取得部３３１が取得した車両情報に基づいて、車両の車室の内周面に風景の映像を表示するかを判断する判断部３３３と、風景の映像を含む風景情報を記憶した風景情報データベースから、車両から視認可能な風景の風景情報を選択して取得する選択部３３４と、選択部３３４が取得した風景情報の映像を、窓ガラスに対応するよう加工して、表示用風景映像を生成する表示用映像生成部３３５と、表示用映像生成部３３５が生成した表示用風景映像を窓ガラスに表示する表示制御部３３６とを備える。【選択図】図７

Description

本発明は、表示制御装置、表示制御方法に関する。

車両のナビゲーション装置において、遠方からでも位置を確認することができる特定のランドマークを走行時の目印として表示する技術が知られている（例えば、特許文献１参照）。特許文献１においては、特定のランドマークとしては、電波塔や高層ビルのように遠方から見えるものである。

特開２００４－２２６１３９号公報

車両で走行時、車窓にきれいな風景を見られる地点を通過することがある。ところが、天気が悪かったり、時間帯がずれていたりすると、車窓にきれいな風景を見られる地点を通過した際に、車窓に見たい風景が見られないことがある。

本発明は、上記に鑑みてなされたものであって、車両の周囲の風景の映像を適切に表示することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の現在位置情報と車両運動情報とを含む車両情報とナビゲーション情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報とナビゲーション情報に基づいて、前記車両の車室の内周面に風景の映像を表示するかを判断する判断部と、風景の映像を含む風景情報を記憶した風景情報記憶部から、前記車両から視認可能な風景の前記風景情報を選択して取得する選択部と、前記選択部が取得した前記風景情報の映像を、前記車室の内周面に対応するよう加工して、表示用映像を生成する映像生成部と、前記映像生成部が生成した撮影車両による表示用映像を前記車室の内周面に表示する表示制御部とを備えることを特徴とする。

本発明に係る表示制御方法は、車両の現在位置情報と車両運動情報とを含む車両情報とナビゲーション情報を取得する車両情報取得ステップと、前記車両情報取得ステップによって取得した前記車両情報とナビゲーション情報に基づいて、前記車両の車室の内周面に風景の映像を表示するかを判断する判断ステップと、風景の映像を含む風景情報を記憶した風景情報記憶部から、前記車両から視認可能な風景の前記風景情報を選択して取得する選択ステップと、前記選択ステップによって取得した前記風景情報の映像を、前記車両の車室の内周面に対応するよう加工して、表示用映像を生成する映像生成ステップと、前記映像生成ステップによって生成した撮影車両による表示用映像を前記車室の内周面に表示する表示制御ステップと、を含む。

本発明によれば、車両の周囲の風景の映像を適切に表示することができるという効果を奏する。

図１は、第一実施形態に係る表示システムの構成例を示す概略図である。 図２は、第一実施形態に係る映像収集装置の構成例を示すブロック図である。 図３は、第一実施形態に係る映像管理サーバ装置の構成例を示すブロック図である。 図４は、第一実施形態に係る風景情報データベースのデータ構成例を示すデータ構成図である。 図５は、車両の一例を示す側面図である。 図６は、車両の一例を示す平面図である。 図７は、第一実施形態に係る表示装置の構成例を示すブロック図である。 図８は、第一実施形態に係る表示装置によって表示された表示用風景映像の一例を示す。 図９は、第一実施形態に係る表示装置によって表示された表示用風景映像と窓ガラスの大きさとを示す。 図１０は、第一実施形態に係る表示装置によって表示された表示用風景映像と窓ガラスの大きさとを示す。 図１１は、第一実施形態に係る映像収集装置における処理の流れを示すフローチャートである。 図１２は、第一実施形態に係る表示装置における処理の流れを示すフローチャートである。 図１３は、第二実施形態に係る表示装置の構成例を示すブロック図である。 図１４は、第三実施形態に係る表示装置における処理の流れを示すフローチャートである。 図１５は、第四実施形態に係る表示システムの構成例を示す概略図である。 図１６は、第四実施形態に係る映像収集装置の構成例を示すブロック図である。

以下に添付図面を参照して、本発明に係る表示制御装置である制御部を有する表示装置、映像管理サーバ装置、表示システム、表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る表示システムの構成例を示す概略図である。図２は、第一実施形態に係る映像収集装置の構成例を示すブロック図である。図３は、第一実施形態に係る映像管理サーバ装置の構成例を示すブロック図である。表示システム１は、クライアントである複数の車両１００が収集した風景の映像（風景映像）を、サーバがデータベースで管理する。また、表示システム１は、車両１００（図８参照）の窓ガラス１０１（図８参照）に、データベースに基づいて、車窓に視認可能な風景の映像（風景映像）である表示用風景映像１９０（図８参照）を表示する。例えば、表示システム１は、雨の日に、晴れの日であれば絶景を望める地点を走行する際に、晴れの日の絶景を映した表示用風景映像１９０を、あたかも車窓に見えているかのように車両１００の車室内の内周面に表示する。

風景とは、例えば、名勝、観光地、建造物、街並み、自然の景色のように車窓に視認可能なものである。また、視認可能とは、例えば、天気、日時、時間帯、車窓を遮る障害物の有無などの条件が異なる状態において視認できることを含む。また、視認可能とは、位置が所定値以下ズレることで、視認できることを含む。

車両１００の内周面とは、車両１００のフロントまたは運転席の両側または後部座席の両側またはリヤの窓ガラスと、車室の内壁または天井または床または座席の少なくともいずれかである。本実施形態では、車両１００の車室内の内周面を、後部座席の側方の窓ガラス１０１として説明する。

表示するとは、例えば、プロジェクタを介して車両１００の車室内の内周面に表示すること、ヘッドアップディスプレイ装置のように、コンバイナまたは車両１００の窓ガラスを介して映像の虚像を視認させること、車両１００の窓ガラスに透過型有機ＥＬ（Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）シートを貼付けて映像を表示すること、を含む。本実施形態では、ヘッドアップディスプレイ装置のように、車両１００の窓ガラス１０１を介して映像の虚像を視認させるものとして説明する。

本実施形態では、表示システム１は、窓ガラス１０１越しに表示用風景映像１９０の虚像が視認されるように、窓ガラス１０１に表示用風景映像１９０を投影する。表示システム１は、映像収集装置１０と、映像管理サーバ装置２０と、表示装置３０とを有する。本実施形態では、映像収集装置１０は、複数の車両１００に搭載されている。本実施形態では、表示装置３０は、複数の車両１００に搭載されている。

映像収集装置１０は、風景が被撮影物として含まれる映像データ（以下、「風景の映像データ」という。）を収集する。言い換えると、映像収集装置１０は、風景の映像データを撮影する。映像収集装置１０は、車両１００に組み付けられていても、可搬型で車両１００に持ち込まれたものであってもよい。映像収集装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。映像収集装置１０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。映像収集装置１０は、第一カメラ１１と、制御部１２と、通信部１９とを有する。映像収集装置１０には図示しない内部メモリが含まれ、内部メモリは映像収集装置１０におけるデータの一時記憶などに用いられる。映像収集装置１０は、通信部１９を介して映像管理サーバ装置２０に、収集した映像データを送信可能である。

内部メモリには、映像収集装置１０が搭載される車両１００の外形を規定する各種情報を記憶する。より詳しくは、内部メモリは、車体情報と、車両１００の各窓ガラスの大きさと窓ガラスの位置と窓ガラスの形状と座席の位置とピラーの位置とハンドルの位置とダッシュボードの位置とを含む車両内形状情報と、カメラの位置情報と、カメラ性能情報と、撮影向き情報とを記憶する。窓ガラスの位置情報は、窓ガラスの車両１００における位置を規定する。窓ガラスの位置情報は、窓ガラスの路面からの高さを規定する高さ情報を含む。窓ガラスの形状情報は、窓ガラスの形状を規定する。窓ガラスの大きさ情報は、窓ガラスの大きさを規定する。

第一カメラ１１は、収集する風景の映像データを撮影するカメラである。第一カメラ１１は、全方位を撮影可能な全天周型のカメラである。第一カメラ１１は、車両１００の前方に配置され、車両１００の周囲を含む全方位を撮影する。より詳しくは、第一カメラ１１は、車両１００のウィンドシールド１０１Ｆの内側の中央上部に配置されている。第一カメラ１１は、例えば、車両１００の走行時に周囲を撮影する走行時撮影装置、いわゆるドライブレコーダと共用であってもよい。第一カメラ１１は、撮影した映像データを制御部１２の映像データ取得部１２２へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

制御部１２は、例えば、ＣＰＵなどで構成された演算処理装置である。制御部１２は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部１２は、車両情報取得部１２１と、映像データ取得部１２２と、提供者評価情報取得部１２３と、付随情報生成部１２４と、送信制御部１２５とを有する。制御部１２には図示しない内部メモリが含まれ、内部メモリは制御部１２におけるデータの一時記憶などに用いられる。

車両情報取得部１２１は、車両１００の現在位置情報と車両運動情報とを含む車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両１００の状態をセンシングする各種センサなどから取得する。車両情報取得部１２１は、ナビゲーションシステムから、例えば、名勝、観光地、建造物、街並み、自然の景色の情報を含むナビゲーション情報を取得する。車両情報取得部１２１は、取得した車両情報を付随情報生成部１２４に出力する。

映像データ取得部１２２は、第一カメラ１１が撮影した映像データを取得する。映像データ取得部１２２は、取得した映像データを付随情報生成部１２４に出力する。

提供者評価情報取得部１２３は、映像データについて、提供者が評価した提供者評価情報を取得する。例えば、提供者評価情報は、映像収集装置１０が備える図示しない入力装置を介して提供者が入力する。例えば、提供者評価情報は、乗員Ｍが携帯する電子機器、ナビゲーションシステム、ドライブレコーダのような、通信部１９を介して接続された装置における操作を検出して取得してもよい。例えば、提供者評価情報は、図示しないマイクによって、乗員Ｍの音声から取得してもよい。例えば、提供者評価情報は、図示しないセンサまたはカメラなどによって、乗員Ｍの動作を検出して取得してもよい。例えば、提供者評価情報は、映像データに画像処理を行って所定の評価基準に基づいて算出してもよい。所定の評価基準とは、例えば、風景の色彩、風景の輪郭の明瞭性、彩度などである。提供者評価情報取得部１２３は、取得した提供者評価情報を付随情報生成部１２４に出力する。

付随情報生成部１２４は、第一カメラ１１が撮影した映像データとともに、撮影条件情報などの付随情報を生成する。付随情報生成部１２４は、映像データ取得部１２２が取得した映像データに関連づけて、映像データの名称と、分類と、提供者情報と、提供者評価情報取得部１２３が取得した提供者評価情報と、日時情報と、天候情報と、撮影した車両１００の位置情報と、撮影向き情報と、車速情報と加速度情報と操舵角情報と車体方位情報とを含む車両運動情報と、車体情報と、車両内形状情報と、カメラの位置情報と、カメラ性能情報と、車線情報との少なくともいずれかを含む、映像データに付随する付随情報を生成する。付随情報生成部１２４は、付随情報を映像データに対応付けて送信制御部１２５に出力する。

映像データの名称と分類とは、ナビゲーション情報から取得可能である。車体情報と車両内形状情報とカメラの位置情報とカメラ性能情報とは、内部メモリから取得可能である。車両１００の位置情報と車両運動情報と撮影向き情報と車線情報とは、車両情報取得部１２１が取得した車両情報から取得可能である。天候情報は、外部装置または映像データに画像処理を行うことによって取得可能である。

送信制御部１２５は、映像データ取得部１２２が取得した映像データと、付随情報生成部１２４が生成した付随情報とを通信部１９の送信部１９１を介して、映像管理サーバ装置２０に送信する。送信制御部１２５は、例えば、所定時間間隔で、映像データと付随情報とを映像管理サーバ装置２０に送信してもよい。送信制御部１２５は、例えば、車両１００が自宅に戻ったとき、または、目的地に着いたときなどに、映像データと付随情報とを映像管理サーバ装置２０に送信してもよい。

通信部１９は、通信ユニットである。通信部１９は、映像管理サーバ装置２０及び外部の装置とデータを送受信可能に接続する。通信部１９は、送信部１９１と、受信部１９２とを有する。

映像管理サーバ装置２０は、複数の車両１００に搭載された映像収集装置１０が収集した風景の映像データをデータベースで管理するサーバ装置である。映像管理サーバ装置２０は、複数の映像収集装置１０から取得した風景の映像データを付随情報とともに風景情報２３として風景情報データベース（風景情報記憶部）２２に格納して管理する。より詳しくは、映像管理サーバ装置２０は、例えば、複数の車両１００に搭載された映像収集装置１０が収集した映像データを含む風景情報を収集する。映像管理サーバ装置２０は、収集した風景情報２３を風景情報データベース２２に格納する。

映像管理サーバ装置２０は、例えば、ＣＰＵなどで構成された演算処理装置である。映像管理サーバ装置２０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。映像管理サーバ装置２０は、制御部２１と、風景情報データベース２２と、通信部２９とを有する。

制御部２１は、映像データ取得部２１１と、付随情報取得部２１２と、解析部２１３と、登録情報生成部２１４と、記憶制御部２１５とを有する。映像管理サーバ装置２０には図示しない内部メモリが含まれ、内部メモリは映像管理サーバ装置２０におけるデータの一時記憶などに用いられる。映像管理サーバ装置２０は、通信部２９を介して映像収集装置１０、表示装置３０及び外部の装置とデータを送受信可能である。

映像データ取得部２１１は、映像管理サーバ装置２０が受信した、風景の映像データを取得する。例えば、映像データ取得部２１１は、映像収集装置１０によって撮影された映像データを取得する。映像データ取得部２１１は、取得した映像データを登録情報生成部２１４に出力する。

付随情報取得部２１２は、映像収集装置１０から、映像データ取得部２１１が取得した映像データに関連した付随情報を取得する。付随情報取得部２１２は、取得した付随情報を映像データに対応付けて登録情報生成部２１４に出力する。

解析部２１３は、映像データ取得部２１１が取得した映像データに画像処理を行って、表示に適していない被撮影物が撮影された部分を含むかを解析する。解析方法は、特に限定されず、公知の技術を使用すればよい。解析部２１３は、解析結果を登録情報生成部２１４に出力する。

より詳しくは、解析部２１３は、例えば、人物の顔または名称を示す文字のようなプライバシー情報を含む映像を、表示に適していないとして解析する。または、解析部２１３は、例えば、映像データにおいて、風景を遮る建造物または隣接車両を含む障害物のような風景映像に不必要なものを含む映像を、表示に適していないとして解析する。または、解析部２１３は、例えば、映像データにおいて、窓ガラス１０１に付着した汚れ、曇り、水滴を含む映像を、表示に適していないとして解析する。または、解析部２１３は、例えば、映像データにおいて、焦点が合っておらずに不鮮明になっている部分を含む映像を、表示に適していないとして解析する。

さらに、解析部２１３は、映像において表示に適していない被撮影物の占める面積が小さい場合、表示に適していると判定し、映像において表示に適していない被撮影物の占める面積が大きい場合、表示に適していないと判定してもよい。

登録情報生成部２１４は、解析部２１３が解析した解析結果に応じて、表示に適していると判定された場合、映像データに基づいて登録用情報を生成する。登録用情報とは、風景情報データベース２２に格納するための風景情報２３である。

登録情報生成部２１４は、映像データ取得部２１１が取得した映像データに、映像データの属性情報を付加して風景情報２３を生成する。より詳しくは、登録情報生成部２１４は、映像データに、映像データの名称と、分類と、提供者情報と、提供者評価情報取得部１２３が取得した提供者評価情報と、日時情報と、天候情報と、撮影した車両１００の位置情報と、撮影向き情報と、車速情報と加速度情報と操舵角情報と車体方位情報とを含む車両運動情報と、車体情報と、車両内形状情報と、カメラの位置情報と、カメラ性能情報と、車線情報との少なくともいずれかを付随情報として付加する。

記憶制御部２１５は、登録情報生成部２１４が生成した風景情報２３を風景情報データベース２２に記憶させる。

図４を参照して、風景情報データベース２２について説明する。図４は、第一実施形態に係る風景情報データベースのデータ構成例を示すデータ構成図である。風景情報データベース２２は、風景映像を含む風景情報２３を記憶する。風景情報２３は、映像データ２４と、映像データ２４の属性情報であるＭＥＴＡデータ２５とを含む。

映像データ２４は、映像収集装置１０が撮影して収集した風景映像の映像データを記憶する。本実施形態では、映像データ２４は、撮影時に風景とともに映りこんだ周囲の映像は除かれているものとする。

ＭＥＴＡデータ２５は、映像データ２４を識別する映像識別ＩＤ２５１と、名称２５２と、分類２５３と、提供者情報２５４と、提供者評価情報２５５と、表示側評価情報２５６と、日時情報２５７と、天候情報２５８と、撮影位置情報２５９と、撮影向き情報２６０と、車両運動情報２６１と、車体情報２６２と、車両内形状情報２６３と、カメラ位置情報２６４と、カメラ性能情報２６５と、車線情報２６６と、障害物センサ情報２６７と、解析情報２６８とを含む。

名称２５２は、風景の名称を記憶する。名称２５２は、付随情報に含まれる名称を記憶する。または、名称２５２は、映像管理サーバ装置２０が、地図情報に基づいて、映像データ２４の風景に対応して取得した名称を記憶する。

分類２５３は、風景の分類を記憶する。より詳しくは、分類２５３は、風景が、例えば、名勝、観光地、建造物、街並み、自然の景色のいずれであるかを記憶する。分類２５３は、付随情報に含まれる分類を記憶する。または、分類２５３は、映像管理サーバ装置２０が、地図情報に基づいて、映像データ２４の風景に対応して取得した分類を記憶する。

提供者情報２５４は、映像データ２４の提供者の情報を記憶する。提供者情報２５４は、例えば、提供者を識別可能な氏名または表示名が記憶される。または、提供者情報２５４は、例えば、提供者が会社または団体である場合、会社名または団体名が記憶される。提供者情報２５４は、付随情報に含まれる提供者情報を記憶する。

提供者評価情報２５５は、当該映像データ２４の提供者による評価を例えば数値として記憶する。より詳しくは、提供者評価情報２５５は、付随情報に含まれる提供者評価情報を記憶する。

表示側評価情報２５６は、当該映像データ２４の表示側における評価を例えば数値として記憶する。より詳しくは、表示側評価情報２５６は、表示装置３０の表示側評価情報取得部３３７が取得した表示側評価情報を記憶する。

日時情報２５７は、映像データ２４の撮影日時を記憶する。日時情報２５７は、付随情報に含まれる日時情報を記憶する。

天候情報２５８は、映像データ２４の撮影時の天候を記憶する。天候情報２５８は、付随情報に含まれる天候情報を記憶する。

撮影位置情報２５９は、映像データ２４の撮影時のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報に含まれる位置情報を記憶する。撮影位置情報２５９は、付随情報に含まれる撮影位置情報を記憶する。

撮影向き情報２６０は、映像データ２４の撮影時の向きを記憶する。撮影時の向きは、車両１００の向きとカメラの向きとで規定される。撮影向き情報２６０は、例えば、全天周型のカメラで撮影された場合、撮影向きは基準向きを記憶する。撮影向き情報２６０は、例えば、全天周型以外のカメラで撮影された場合、カメラが向けられていた方角を記憶する。撮影向き情報２６０は、付随情報に含まれる撮影向き情報を記憶する。

撮影位置情報２５９と撮影向き情報２６０とによって、どの位置から、どの方角を向いて撮影された映像データ２４であるかが特定される。

車両運動情報２６１は、映像データ２４の撮影時の車両１００の車両運動情報を記憶する。車両運動情報２６１は、付随情報に含まれる車両運動情報を記憶する。

車体情報２６２は、車体の形状と大きさと車高とを含む車体情報を記憶する。図５を参照して、車体情報に含まれる車高について説明する。図５は、車両の一例を示す側面図である。車体情報２６２は、車両１００の高さｄ１を記憶する。車体情報２６２は、付随情報に含まれる車体情報を記憶する。

車両内形状情報２６３は、映像データ２４を撮影した車両１００が、どのような車内形状であるかを示す情報である。車両内形状情報２６３は、映像データ２４を撮影した車両１００について、窓ガラスの大きさと窓ガラスの位置と窓ガラスの形状と座席の位置とピラーの位置とハンドルの位置とダッシュボードの位置とを含む、車両１００の内部の形状の情報を記憶する。このような車両内形状情報２６３に基づいて、各乗員Ｍの座席と窓ガラスとの相対的な位置関係、言い換えると、各乗員Ｍの座席から見た、窓ガラスの大きさと窓ガラスの位置と窓ガラスの形状とを取得可能である。車両内形状情報２６３は、付随情報に含まれる車両内形状情報を記憶する。

カメラ位置情報２６４は、映像データ２４を撮影したカメラの位置情報を記憶する。カメラ位置情報２６４は、映像データ２４を撮影したカメラの車両１００における取り付け位置情報を記憶する。図５、図６を参照して、カメラ位置について説明する。図６は、車両の一例を示す平面図である。カメラ位置は、車両１００における第一カメラ１１の取り付け位置である。より詳しくは、カメラ位置は、上下方向視における、車両１００の中心点Ｏに対する相対的な位置と、道路からの高さｄ２とで規定される。カメラ位置が規定されることで、映像データ２４の視点が規定される。カメラ位置情報２６４は、付随情報に含まれるカメラ位置情報を記憶する。

このような車両内形状情報２６３とカメラ位置情報２６４とに基づいて、第一カメラ１１と風景との間に位置する車両内の各部位、例えば、窓ガラスと座席とピラーとハンドルとダッシュボードとの相対的な位置関係を取得可能である。

カメラ性能情報２６５は、映像データ２４を撮影したカメラの例えば、画角または絞り、シャッタスピードなどの撮影条件との少なくともいずれかを含む性能情報を記憶する。例えば、カメラ性能情報２６５は、全天周型のカメラの場合、全天周型であることを記憶する。カメラ性能情報２６５は、付随情報に含まれるカメラ性能情報を記憶する。

車線情報２６６は、映像データ２４の撮影時に走行していた車線の車線情報を記憶する。車線情報２６６により、撮影位置をより正確に把握可能である。車線によって風景の見え方が異なる場合がある。例えば、車線情報２６６によって、同じ車線を走行していた車両１００から撮影された映像データ２４を取得可能になる。例えば、車線情報２６６によって、自車線では風景がよく見えないとき、隣接車線で撮影された映像データ２４を取得可能になる。車線情報２６６は、付随情報に含まれる車線情報を記憶する。

障害物センサ情報２６７は、車両１００に配置された障害物センサのセンサ情報を記憶する。障害物センサ情報２６７によって取得したセンサ情報を、解析部２１３で解析する際に使用することで、映像データ２４に障害物が映っているか否かをより正確に解析可能である。

解析情報２６８は、映像管理サーバ装置２０の解析部２１３の解析結果を記憶する。解析情報２６８によれば、風景映像として表示することに適しているかいないかを判断することが可能である。

通信部２９は、通信ユニットである。通信部２９は、映像収集装置１０、表示装置３０及び外部の装置とデータを送受信可能に接続する。通信部２９は、送信部２９１と、受信部２９２とを有する。

図７を用いて、表示装置３０について説明する。図７は、第一実施形態に係る表示装置の構成例を示すブロック図である。表示装置３０は、車両１００に搭載されている。表示装置３０は、車両１００に組み付けられていても、可搬型で車両１００に持ち込まれたものであってもよい。表示装置３０は、車両１００の窓ガラス１０１に表示用風景映像１９０を表示する。本実施形態では、表示装置３０は、ヘッドアップディスプレイ装置である。本実施形態では、表示装置３０は、車両１００の窓ガラス１０１越しに表示用風景映像１９０の虚像が視認されるように、窓ガラス１０１に表示用風景映像１９０を投影する。

表示装置３０は、表示用風景映像１９０を表示する。表示装置３０は、例えば、ＣＰＵなどで構成された演算処理装置である。表示装置３０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示装置３０は、第二カメラ３１と、投影ユニット３２と、制御部（表示制御装置）３３と、通信部３９とを有する。表示装置３０には図示しない内部メモリが含まれ、内部メモリは表示装置３０におけるデータの一時記憶などに用いられる。表示装置３０は、通信部３９を介して映像管理サーバ装置２０及び外部の装置とデータを送受信可能である。

第二カメラ３１は、表示装置３０における処理において車両の周囲の状況を確認するために車両の周囲の映像データを撮影するカメラである。第二カメラ３１は、全方位を撮影可能な全天周型のカメラである。第二カメラ３１は、車両１００の前方に配置され、車両１００の周囲を含む全方位を撮影する。より詳しくは、第二カメラ３１は、車両１００のウィンドシールド１０１Ｆの内側の中央上部に配置されている。第二カメラ３１は、例えば、車両１００の走行時に周囲を撮影する走行時撮影装置、いわゆるドライブレコーダと共用であってもよい。第二カメラ３１は、撮影した映像データを表示装置３０の車両情報取得部３３１へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

投影ユニット３２は、図示しない投影部に投影された表示用風景映像１９０を、窓ガラス１０１で反射させ視認者に虚像として認識させる。投影部は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬディスプレイなどを含むディスプレイである。投影部は、制御部３３の表示制御部３３６からの映像信号に基づいて表示面に表示用風景映像１９０を表示する。投影部の表示面に表示された表示用風景映像１９０の映像表示光は、窓ガラス１０１に投影される。乗員Ｍは、窓ガラス１０１を介して表示用風景映像１９０の虚像を視認する。

視認される虚像は、乗員Ｍが窓ガラス１０１越しに見る風景の大きさと同じ大きさとなるように表示用風景映像１９０が投影される。視認される虚像は、車両１００が走行するにつれて、乗員Ｍが窓ガラス１０１越しに見る風景と同様に位置と大きさと形状とが変化するような表示用風景映像１９０が投影される。

制御部３３は、投影ユニット３２を制御して、窓ガラス１０１に表示用風景映像１９０を投影したり、投影を停止したりする。制御部３３は、例えば、ＣＰＵなどで構成された演算処理装置である。制御部３３は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部３３は、車両情報取得部３３１と、映像データ取得部３３２と、判断部３３３と、選択部３３４と、表示用映像生成部（映像生成部）３３５と、表示制御部３３６と、表示側評価情報取得部３３７とを有する。制御部３３には図示しない内部メモリが含まれ、内部メモリは制御部３３におけるデータの一時記憶などに用いられる。

内部メモリには、表示装置３０が搭載された車両１００の外形を規定する各種情報を記憶する。より詳しくは、内部メモリは、車体情報と、車両１００の各窓ガラスの大きさと窓ガラスの位置と窓ガラスの形状と座席の位置とピラーの位置とハンドルの位置とダッシュボードの位置とを含む車両内形状情報と、カメラの位置情報と、カメラ性能情報と、撮影向き情報とを記憶する。窓ガラスの位置情報は、窓ガラスの車両１００における位置を規定する。窓ガラスの位置情報は、窓ガラスの路面からの高さを規定する高さ情報を含む。窓ガラスの形状情報は、窓ガラスの形状を規定する。窓ガラスの大きさ情報は、窓ガラスの大きさを規定する。

車両情報取得部３３１は、車両１００の現在位置情報と車両運動情報とを含む車両情報を、ＣＡＮや車両１００の状態をセンシングする各種センサなどから取得する。車両情報取得部３３１は、ナビゲーションシステムから、例えば、名勝、観光地、建造物、街並み、自然の景色の情報を含むナビゲーション情報を取得する。車両情報取得部３３１は、取得した車両情報を判断部３３３に出力する。

映像データ取得部３３２は、第二カメラ３１が撮影した映像データを取得する。映像データ取得部３３２は、取得した映像データを判断部３３３に出力する。

判断部３３３は、車両情報取得部３３１が取得した車両情報に基づいて、車両１００の窓ガラス１０１に表示用風景映像１９０を表示するかを判断する。より詳しくは、判断部３３３は、車両１００の現在位置情報とナビゲーション情報とに基づいて、窓ガラス１０１から名勝、観光地、建造物、街並み、自然の景色の風景が見られる地点であると判断される場合、窓ガラス１０１に表示用風景映像１９０を表示すると判断する。言い換えると、この場合、判断部３３３は、風景の見えるポイントに到達したと判断する。または、判断部３３３は、車両１００の現在位置情報とナビゲーション情報と、さらに、第二カメラ３１が撮影した映像データに含まれる乗員Ｍの動作や音声に基づいて、窓ガラス１０１から名勝、観光地、建造物、街並み、自然の景色の風景を見たい地点であると判断した場合、窓ガラス１０１に表示用風景映像１９０を表示すると判断してもよい。乗員Ｍの動作や音声は、例えば、風景が見える方向を探したり、指を指すような動作、または、「〇〇はどこかな？」、「〇〇だ」のような風景の名称を発する音声などである。さらに、判断部３３３は、第二カメラ３１が撮影した映像データに画像処理を行って、窓ガラス１０１越しに視認される風景の少なくとも一部分が視認されているとき、窓ガラス１０１に表示用風景映像１９０を表示すると判断してもよい。

上記の画像処理では、例えば、風景情報データベース２２の映像データ２４とパターンマッチングを行って、第二カメラ３１が撮影した映像データの被撮影物に風景の映像が含まれているかを判断すればよい。

また、判断部３３３は、風景を遮る障害物の有無、天候、または、その他の動作から、窓ガラス１０１越しに風景が見えるか否かを判断する。

例えば、判断部３３３は、車両１００の周囲の障害物を検出するセンサ情報から、障害物に遮られて、窓ガラス１０１越しに風景が視認できないと判断してもよい。例えば、判断部３３３は、第二カメラ３１が撮影した映像データに画像処理を行って、障害物に遮られて、窓ガラス１０１越しに風景が視認できないと判断してもよい。

例えば、判断部３３３は、通信部３９を介して外部の装置から取得した天候情報に基づいて、窓ガラス１０１越しに風景が視認できないと判断してもよい。例えば、判断部３３３は、窓ガラス１０１の曇りを検出するセンサ情報から、窓ガラス１０１越しに風景が視認できないと判断してもよい。例えば、判断部３３３は、第二カメラ３１が撮影した映像データに画像処理を行って、窓ガラス１０１越しに風景が視認できないと判断してもよい。例えば、判断部３３３は、第二カメラ３１が撮影した映像データに画像処理を行って、
窓ガラス１０１越しに視認される風景の一部分のみが視認され他の部分が雲で覆われているとき、風景が視認できないと判断してもよい。

または、例えば、判断部３３３は、第二カメラ３１が撮影した映像データに画像処理または音声処理を行って、乗員Ｍの窓ガラス１０１を拭く動作や、「見えない」、「残念」、「晴れていたらな」などの音声に基づいて、窓ガラス１０１越しに風景が視認できないと判断してもよい。

選択部３３４は、風景映像を含む風景情報を記憶した風景情報データベース２２から、車両１００の窓ガラス１０１から視認可能な風景の風景映像であって、適切な風景情報２３を選択して取得する。より詳しくは、選択部３３４は、風景情報データベース２２の撮影位置情報２５９と撮影向き情報２６０とから、車両１００の現在位置において、窓ガラス１０１から視認可能な風景の風景情報２３を選択して取得する。選択部３３４は、車両１００の現在位置から所定範囲の撮影位置情報２５９の風景情報２３を選択して取得してもよい。また、選択部３３４は、車両１００の向きから所定範囲の撮影向き情報２６０の風景情報２３を選択して取得してもよい。これらにより、わずかに位置や向きを変えれば視認可能な風景情報２３を選択可能である。

選択部３３４は、風景情報データベース２２の車体情報２６２とから、車両１００の車高において、窓ガラス１０１から視認可能な風景の風景情報２３を選択して取得してもよい。選択部３３４は、風景情報データベース２２の車体情報２６２とから、車両１００の車高より高い位置または低い位置において撮影された風景の風景情報２３を選択して取得してもよい。

選択部３３４は、風景情報データベース２２の車線情報２６６とから、車両１００が走行している車線において、窓ガラス１０１から視認可能な風景の風景情報２３を選択して取得してもよい。選択部３３４は、風景情報データベース２２の車線情報２６６とから、車両１００が走行している車線と異なる車線において撮影された風景の風景情報２３を選択して取得してもよい。

選択部３３４は、風景情報データベース２２の障害物センサ情報２６７から、周辺に障害物が存在しない風景情報２３を選択して取得することが好ましい。選択部３３４は、風景情報データベース２２の提供者評価情報２５５と表示側評価情報２５６との少なくともどちらかが高い風景情報２３を選択して取得することが好ましい。

選択部３３４は、風景情報データベース２２の日時情報２５７から、現在の季節、日付、時間帯と、同じまたは近い季節、日付、時間帯の風景情報２３を選択して取得してもよい。言い換えると、選択部３３４は、現在の季節、日付、時間帯と、同じか近い条件で撮影された風景情報２３が取得される。選択部３３４は、風景情報データベース２２の日時情報２５７から、現在の季節、日付、時間帯と、異なる近い季節、日付、時間帯の風景情報２３を選択して取得してもよい。言い換えると、選択部３３４は、現在の季節、日付、時間帯と、異なる条件で撮影された風景情報２３が取得される。例えば、選択部３３４は、雨の日に、晴れた日の風景情報２３を取得可能である。選択部３３４は、風景情報データベース２２の天候情報２５８から、現在の天候と、異なる天候の風景情報２３を選択して取得してもよい。

選択部３３４は、上記の処理によって、一つの風景情報２３を選択してもよいし、複数の風景情報２３を選択してもよい。

選択部３３４は、風景情報データベース２２の提供者情報２５４から、提供者を限定して風景情報２３を選択して取得することが可能である。例えば、選択部３３４は、ユーザの好みの風景情報２３を提供する提供者に限定して風景情報２３を選択して取得することが可能である。

このようにして、選択部３３４は、風景情報データベース２２から、車両１００の窓ガラス１０１から視認可能で適切な風景映像を選択する。また、選択部３３４は、複数の風景情報２３が選択されたとき、例えば、乗員Ｍが携帯する電子機器を介した操作、ナビゲーションシステムを介した操作、ドライブレコーダを介した操作、乗員Ｍのジェスチャー動作による操作、または、音声操作によって表示する風景情報２３を選択させてもよい。

図８を用いて、表示用映像生成部３３５について説明する。図８は、第一実施形態に係る表示装置によって表示された表示用風景映像の一例を示す。表示用映像生成部３３５は、選択部３３４が取得した風景情報２３の映像データ２４を、車両１００の窓ガラス１０１に対応するよう加工して、窓ガラス１０１から視認可能な風景の表示用風景映像（表示用映像）１９０を生成する。より詳しくは、表示用映像生成部３３５は、映像データ２４を、内部メモリに記憶した表示車両の車両内形状情報と乗員Ｍの位置と、映像データ２４に対応する撮影車両の車両内形状情報２６３とカメラ位置情報２６４とに基づいて、窓ガラス１０１の近傍に着席している乗員Ｍが窓ガラス１０１越しに見る範囲の表示用風景映像１９０を生成する。

表示用映像生成部３３５は、映像データ２４が全天周型のカメラで撮影されている場合、さらに、撮影向き情報２６０とカメラ性能情報２６５とに基づいて、適切な画角を切り出して表示用風景映像１９０を生成する。

図９、図１０を用いて、生成された表示用風景映像１９０について説明する。図９は、第一実施形態に係る表示装置によって表示された表示用風景映像と窓ガラスの大きさとを示す。図１０は、第一実施形態に係る表示装置によって表示された表示用風景映像と窓ガラスの大きさとを示す。図９に示すように、車両内形状情報２６３で規定される窓ガラスの大きさより表示車両の窓ガラス１０１が大きい場合、映像データ２４の全範囲を表示用風景映像１９０にする。図１０に示すように、車両内形状情報２６３で規定される窓ガラスの大きさより表示車両の窓ガラス１０１が小さい場合、映像データ２４から、乗員Ｍが窓ガラス１０１越しに視認可能な範囲のみを切出した表示用風景映像１９０を生成する。この場合、生成された表示用風景映像１９０は、映像データ２４の一部分を切り出した映像である。

また、表示用映像生成部３３５は、映像データ２４を、車両情報取得部３３１が取得した車両運動情報に含まれる表示車両の車速情報と、車両運動情報２６１に含まれる撮影車両の車速情報とに基づいて、表示車両の走行速度に合わせた表示用風景映像１９０を生成する。

さらに、表示用映像生成部３３５は、複数の映像データ２４を繋ぎ合わせて、一つの大きな表示用風景映像１９０を生成してもよい。また、表示用映像生成部３３５は、複数の映像データ２４を連続してスライドショーとして表示する表示用風景映像１９０を生成してもよい。

表示用映像生成部３３５は、映像データ２４を、表示車両の車体情報と、撮影車両の車体情報２６２とに基づいて、表示車両の車高から見た風景となるように視点変換処理を行って、表示用風景映像１９０を生成することが好ましい。表示用映像生成部３３５は、映像データ２４を、表示車両の車両内形状情報と乗員Ｍの位置と、車両内形状情報２６３とカメラ位置情報２６４とから、乗員Ｍが窓ガラス１０１越しに見た風景となるように視点変換処理を行って、表示用風景映像１９０を生成することが好ましい。表示用映像生成部３３５は、映像データ２４を、車両情報取得部３３１が取得した車両１００の車線情報と、車線情報２６６とに基づいて、車両１００の走行車線から乗員Ｍが見た風景となるように視点変換処理を行って、表示用風景映像１９０を生成することが好ましい。

表示制御部３３６は、表示用映像生成部３３５が生成した表示用風景映像１９０を投影ユニット３２で投影するよう制御する。

表示側評価情報取得部３３７は、表示された表示用風景映像１９０に対する乗員Ｍの評価を表示側評価情報として取得可能である。表示側評価情報は、必須ではなく、乗員Ｍが評価を行いたいときに行えばよい。例えば、表示側評価情報は、表示装置３０が備える図示しない入力装置を介して提供者が入力する。例えば、表示側評価情報は、乗員Ｍが携帯する電子機器、ナビゲーションシステム、ドライブレコーダのような、通信部３９を介して接続された装置における操作を検出して取得してもよい。例えば、表示側評価情報は、図示しないマイクによって、表示用風景映像１９０が表示された際の乗員Ｍの音声から取得してもよい。例えば、表示側評価情報は、図示しないセンサまたはカメラなどによって、表示用風景映像１９０が表示された際の乗員Ｍの動作を検出して取得してもよい。

通信部３９は、通信ユニットである。通信部３９は、映像管理サーバ装置２０及び外部の装置とデータを送受信可能に接続する。通信部３９は、送信部３９１と、受信部３９２とを有する。

次に、図１１を用いて、映像収集装置１０の制御部１２における処理の流れについて説明する。図１１は、第一実施形態に係る映像収集装置における処理の流れを示すフローチャートである。

映像収集装置１０が搭載された車両１００が動作している間、映像収集装置１０が動作する。映像収集装置１０が動作している間、第一カメラ１１は動作する。映像収集装置１０が搭載された車両１００が動作しているとは、例えば、エンジンがＯＮされている、または、電源がＯＮされている、など、車両１００の駆動源が動作していることをいう。

制御部１２は、映像データ取得部１２２によって、第一カメラ１１が撮影した映像データを取得する（ステップＳ１０１）。制御部１２は、ステップＳ１０２に進む。

制御部１２は、提供者評価情報取得部１２３によって、映像データについて、提供者が評価した提供者評価情報を取得する（ステップＳ１０２）。制御部１２は、ステップＳ１０３に進む。

制御部１２は、付随情報生成部１２４によって、映像データ取得部１２２が取得した映像データに付随する付随情報を生成する（ステップＳ１０３）。制御部１２は、ステップＳ１０４に進む。

制御部１２は、送信制御部１２５によって、映像データ取得部１２２が取得した映像データと、付随情報生成部１２４が生成した付随情報とを通信部１９の送信部１９１を介して、映像管理サーバ装置２０に送信する（ステップＳ１０４）。制御部１２は、ステップＳ１０５に進む。

制御部１２は、撮影を終了するかを判定する（ステップＳ１０５）。制御部１２は、例えば、映像収集装置１０が搭載された車両１００の動作が停止したとき、撮影を終了すると判定して（ステップＳ１０５でＹｅｓ）、処理を終了する。または、撮影を終了する操作がユーザによって実行されると、撮影を終了すると判定して（ステップＳ１０５でＹｅｓ）、処理を終了する。上記以外の場合、撮影を終了しないと判定して（ステップＳ１０５でＮｏ）、ステップＳ１０１の処理を再度実行する。

次に、図１２を用いて、表示装置３０の制御部３３における処理の流れについて説明する。図１２は、第一実施形態に係る表示装置における処理の流れを示すフローチャートである。

表示装置３０が搭載された車両１００が動作している間、表示装置３０が動作する。表示装置３０が動作している間、第二カメラ３１は動作する。

制御部３３は、風景の見えるポイントに到達したか否かを判定する（ステップＳ１１１）。より詳しくは、制御部３３は、判断部３３３によって、車両１００の現在位置情報とナビゲーション情報とに基づいて、窓ガラス１０１から名勝、観光地、建造物、街並み、自然の景色の風景が見られる地点であると判断される場合、風景の見えるポイントに到達したと判断して（ステップＳ１１１でＹｅｓ）、ステップＳ１１２に進む。制御部３３は、判断部３３３によって、車両１００の現在位置情報とナビゲーション情報とに基づいて、窓ガラス１０１から名勝、観光地、建造物、街並み、自然の景色の風景が見られる地点ではないと判断される場合、風景の見えるポイントに到達していないと判断して（ステップＳ１１１でＮｏ）、ステップＳ１１１の処理を再度実行する。

制御部３３は、車窓に風景が見えないか否かを判断する（ステップＳ１１２）。より詳しくは、制御部３３は、判断部３３３によって、窓ガラス１０１越しに風景が見えないと判断した場合（ステップＳ１１２でＹｅｓ）、ステップＳ１１３に進む。制御部３３は、判断部３３３によって、窓ガラス１０１越しに風景が見えると判断した場合（ステップＳ１１２でＮｏ）、ステップＳ１１１の処理を再度実行する。

制御部３３は、風景映像を選択する（ステップＳ１１３）。より詳しくは、制御部３３は、選択部３３４によって、風景情報データベース２２から、車両１００の窓ガラス１０１から視認可能な風景の風景映像であって、適切な風景情報２３を選択して取得する。制御部３３は、ステップＳ１１４に進む。

制御部３３は、車両１００の窓ガラス１０１に合わせて表示用風景映像１９０を生成する（ステップＳ１１４）。より詳しくは、制御部３３は、表示用映像生成部３３５によって、選択部３３４が取得した風景情報２３の映像データ２４を、車両内形状情報２６３と車両１００の窓ガラス１０１の大きさ情報とに基づいて、窓ガラス１０１の近傍に着席している乗員Ｍが窓ガラス１０１越しに見る範囲の表示用風景映像１９０を生成する。制御部３３は、ステップＳ１１５に進む。

制御部３３は、生成した表示用風景映像１９０を表示する（ステップＳ１１５）。より詳しくは、制御部３３は、表示制御部３３６によって、生成した表示用風景映像１９０を投影ユニット３２で投影させる。制御部３３は、処理を終了する。

例えば、車両内形状情報２６３で規定される窓ガラスの大きさより車両１００の窓ガラス１０１が大きい場合、図９に示すように、窓ガラス１０１には、映像データ２４の全範囲が、窓ガラス１０１の一部分に投影ユニット３２によって投影される。例えば、車両内形状情報２６３で規定される窓ガラスの大きさより車両１００の窓ガラス１０１が小さい場合、図１０に示すように、窓ガラス１０１には、映像データ２４の一部分を切り出した表示用風景映像１９０が投影ユニット３２によって投影される。

このようにして、表示システム１は、窓ガラス１０１越しに視認可能な風景の表示用風景映像１９０を投影ユニット３２によって投影する。これにより、例えば、表示システム１は、雨の日に、晴れの日であれば絶景を望める地点を走行する際に、晴れの日の絶景を撮影した表示用風景映像１９０を、あたかも車窓に見えているかのように表示する。

上述したように、本実施形態は、複数の車両１００に搭載された映像収集装置１０が、風景の映像データを収集する。本実施形態は、映像管理サーバ装置２０が、複数の映像収集装置１０が収集した映像データを収集して、風景情報データベース２２に風景情報２３として登録する。このようにして、本実施形態によれば、複数の車両１００に搭載された映像収集装置１０が収集した、各地の様々な風景の映像データを、風景情報データベース２２に風景情報２３として登録することができる。

本実施形態は、表示装置３０が、映像管理サーバ装置２０によって管理される風景情報データベース２２に基づいて、表示させることができる。本実施形態では、窓ガラス１０１越しに視認可能な風景の表示用風景映像１９０を投影ユニット３２によって窓ガラス１０１に投影して、その虚像を視認させることができる。本実施形態によれば、雨の日に、晴れの日であれば絶景を望める地点を走行する際に、晴れの日の絶景を撮影した表示用風景映像１９０を、あたかも車窓に見えているかのように視認させることができる。本実施形態によれば、天気が悪かったり、時間帯がずれていたりしても、車窓にきれいな風景を見られる地点を通過した際に、乗員Ｍが見たい風景をみせることができる。このように、本実施形態は、車両１００の周囲の風景の映像を適切に表示することができる。

本実施形態は、風景情報データベース２２の映像データ２４の車両内形状情報２６３と車両１００の窓ガラス１０１の大きさ情報とに基づいて、乗員Ｍが窓ガラス１０１越しに見る範囲の表示用風景映像１９０を生成する。本実施形態によれば、窓ガラスの大きさが違っていても、車両１００の窓ガラス１０１越しに見る風景と同じ大きさで、表示用風景映像１９０を表示することができる。

［第二実施形態］
図１３を参照しながら、本実施形態に係る表示装置３０Ａについて説明する。図１３は、第二実施形態に係る表示装置の構成例を示すブロック図である。表示装置３０Ａは、基本的な構成は第一実施形態の表示装置３０と同様である。以下の説明においては、表示装置３０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態は、表示装置３０Ａが、第一実施形態における表示装置３０の機能に加えて、映像収集装置１０の機能を有する点で、第一実施形態と異なる。

表示装置３０Ａの制御部３３Ａは、さらに、提供者評価情報取得部３４０Ａと、付随情報生成部３４１Ａと、送信制御部３４２Ａとを有する。また、第二カメラ３１は、第一実施形態における第一カメラ１１としても機能する。第二カメラ３１は、表示装置３０Ａにおける処理において車両の周囲の状況を確認するために車両の周囲の映像データを撮影するとともに、風景の映像データを収集する。

提供者評価情報取得部３４０Ａは、第一実施形態の映像収集装置１０の提供者評価情報取得部１２３と同様の機能を有する。

付随情報生成部３４１Ａは、第二カメラ３１が撮影した映像データとともに、撮影条件情報などの付随情報を登録用情報として生成する。付随情報生成部３４１Ａは、第一実施形態の映像収集装置１０の付随情報生成部１２４と同様の機能を有する。

送信制御部３４２Ａは、第一実施形態の映像収集装置１０の送信制御部１２５と同様の機能を有する。

制御部３３Ａは、表示装置３０Ａとして、窓ガラス１０１越しに視認可能な風景の表示用風景映像１９０を投影ユニット３２によって窓ガラス１０１に投影して、その虚像を視認させる。また、制御部３３Ａは、第二カメラ３１が撮影した映像データと付随情報とを、送信制御部３４２Ａによって、通信部３９の送信部３９１を介して、映像管理サーバ装置２０に送信する。

上述したように、本実施形態によれば、表示装置３０Ａが第一実施形態における映像収集装置１０の機能を兼ねることができる。本実施形態は、１つの表示装置３０Ａによって、車両１００の周囲の風景映像を収集すること、及び、窓ガラス１０１越しに視認可能な風景の表示用風景映像１９０を投影ユニット３２によって窓ガラス１０１に投影することを実現することができる。

［第三実施形態］
図１４を参照しながら、本実施形態に係る表示装置について説明する。図１４は、第三実施形態に係る表示装置における処理の流れを示すフローチャートである。本実施形態は、表示装置が、制御部３３における処理が、第一実施形態と異なる。

制御部３３は、所定条件を満たす場合に、第一実施形態のフローチャートの処理を実行する。所定条件とは、例えば、同乗者がいること、ナビゲーションシステムの目的地が観光地であること、風景の見えるポイントを通過する頻度が少ないこと、である。

本実施形態では、制御部３３は、同乗者がいる場合、第一実施形態のフローチャートの処理を実行するものとして説明する。判断部３３３は、第二カメラ３１が撮影した映像データに含まれる乗員Ｍの動作や音声に基づいて、同乗者がいるか否かを判断してもよい。または、判断部３３３は、車両１００の座席に配置された重量センサを含む乗員Ｍの着座状態を検出する各種センサの検出結果に基づいて、同乗者がいるか否かを判断してもよい。

次に、図１４を用いて、制御部３３における処理の流れについて説明する。ステップＳ１２２ないしステップＳ１２６の処理は、図１２に示すフローチャートのステップＳ１１１ないしステップＳ１１５と同様の処理を行う。

制御部３３は、同乗者がいるか否かを判断する（ステップＳ１２１）。より詳しくは、制御部３３は、判断部３３３によって、第二カメラ３１が撮影した映像データに含まれる乗員Ｍの動作や音声に基づいて、同乗者がいると判定された場合（ステップＳ１２１でＹｅｓ）、ステップＳ１２２に進む。制御部３３は、判断部３３３によって、第二カメラ３１が撮影した映像データに含まれる乗員Ｍの動作や音声に基づいて、同乗者がいないと判定された場合（ステップＳ１２１でＮｏ）、ステップＳ１２１の処理を再度実行する。

上述したように、本実施形態は、例えば、同乗者がいる場合など、所定条件を満たす場合に限って、表示用風景映像１９０を投影ユニット３２によって窓ガラス１０１に表示することができる。

［第四実施形態］
図１５、図１６を参照しながら、本実施形態に係る表示システム１Ｂについて説明する。図１５は、第四実施形態に係る表示システムの構成例を示す概略図である。図１６は、第四実施形態に係る映像収集装置の構成例を示すブロック図である。本実施形態は、表示システム１Ｂが、映像収集装置１０Ｂが、車両１００以外に配置されている点で、第一実施形態と異なる。

映像収集装置１０Ｂは、ナビゲーションシステムを提供する会社、地図情報を提供する会社、本発明のような映像表示サービスを提供する会社、または、観光協会または地方自治体を含む公的な団体の設備２００に設置されている。言い換えると、ナビゲーションシステムを提供する会社、地図情報を提供する会社、本発明のような映像表示サービスを提供する会社、または、観光協会または地方自治体を含む公的な団体が映像データを収集する。映像収集装置１０Ｂは、第一カメラ１１Ｂと、制御部１２Ｂと、通信部１９とを有する。

内部メモリには、映像収集装置１０Ｂが設置される場所の情報を規定する各種情報を記憶する。より詳しくは、内部メモリは、映像収集装置１０Ｂの位置情報を含む。

第一カメラ１１Ｂは、例えば、映像収集を目的とする専用車両に搭載された車外カメラ、映像収集を目的とする専用定点カメラ、または、現場に持ち込んだビデオカメラである。

制御部１２Ｂは、映像データ取得部１２２Ｂと、提供者評価情報取得部１２３Ｂと、付随情報生成部１２４Ｂと、送信制御部１２５Ｂとを有する。

映像データ取得部１２２Ｂは、第一カメラ１１Ｂが撮影した映像データを取得する。さらに、映像データ取得部１２２Ｂは、取得した映像データを加工した映像コンテンツの映像データを取得してもよい。映像コンテンツは、例えば、観光案内用のコンテンツである
。

提供者評価情報取得部１２３Ｂは、映像データについて、提供者が評価した提供者評価情報を取得する。例えば、提供者評価情報は、映像収集装置１０Ｂが備える図示しない入力装置を介して提供者が入力する。例えば、提供者評価情報は、映像データに画像処理を行って所定の評価基準に基づいて算出してもよい。

付随情報生成部１２４Ｂは、映像データ取得部１２２Ｂが取得した映像データに関連づけて、撮影位置情報と、撮影向き情報と、日時情報と、天候情報と、提供者情報と、提供者評価情報取得部１２３Ｂが取得した提供者評価情報と、映像データの名称との少なくともいずれかを含む、映像データに付随する付随情報を生成する。

送信制御部１２５Ｂは、例えば、所定時間間隔で、映像データと付随情報とを映像管理サーバ装置２０に送信する。

上述したように、本実施形態によれば、ナビゲーションシステムを提供する会社、地図情報を提供する会社、本発明のような映像表示サービスを提供する会社、または、観光協会または地方自治体を含む公的な団体によって映像データを収集することができる。本実施形態によれば、風景映像の品質を向上することができる。

さて、これまで本発明に係る表示装置３０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した表示装置３０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

表示装置３０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

投影ユニット３２は、投影部に投影された表示映像を、コンバイナで反射させ乗員Ｍに虚像として認識させるものでもよい。または、投影ユニット３２は、窓ガラス１０１に表示用風景映像１９０を投影するプロジェクタであってもよい。

上記では、表示映像を虚像として認識させるものとして説明したが、これに限定されず、例えば、表示映像を窓ガラスに貼付けた透過型有機ＥＬシートに表示させてもよい。この場合は、表示制御部３３６は、投影ユニット３２に代わって、透過型有機ＥＬシートに表示映像を表示させるように制御する。

車両１００には、映像収集装置１０のみが搭載されていてもよいし、表示装置３０のみが搭載されていてもよいし、映像収集装置１０と表示装置３０とが別体または一体として搭載されていてもよい。言い換えると、車両１００は、映像収集だけを行ってもよいし、風景映像の表示のみを行ってもよいし、映像収集と風景映像の表示とを行ってもよい。

上記では、風景映像として説明したが、映像に限定されず、風景画像でもよい。車両１００と風景との距離が例えば数ｋｍ程度のように長い場合、車窓に見える実際の風景は走行距離に応じた変化が小さい。これにより、風景画像を表示する場合、制御部３３は、車両１００と風景との距離が長い場合、同じ風景画像を継続して表示してもよい。車両１００と風景との距離が１ｋｍ程度以下と近い場合、車窓に見える実際の風景は走行距離に応じた変化が大きい。これにより、制御部３３は、車両１００と風景との距離が短い場合、１枚の風景画像を表示する時間を短くしたり、複数の風景画像を連続してスライドショー
として表示したりしてもよい。

上記では、撮影した映像データは、撮影した画角のまま、風景情報データベース２２に記憶されるものとして説明したが、これに限定されない。撮影した映像データは、所定の画角で切り出して風景情報データベース２２に記憶してもよい。この場合、切り出し後の映像データの画角を示す画角情報を、カメラ性能情報２６５に記憶する。

映像収集装置１０は、第一実施形態のような車両１００に搭載された映像収集装置１０と、第四実施形態のような会社や公的な団体に設置された映像収集装置１０とが混在していてもよい。この場合、映像管理サーバ装置２０の風景情報データベース２２には、提供者情報２５４が、個人のユーザである風景情報２３と、会社や公的な団体である風景情報２３とが混在して登録される。表示装置３０は、選択部３３４によって、風景情報データベース２２の提供者情報２５４が、例えば、会社や公的な団体である情報に限定して風景情報２３を取得することが可能である。これにより、会社や公的な団体のようなプロが提供する映像データを、個人のユーザが走行中に撮影した映像データより優先して選択することができる。または、提供者情報２５４をユーザに掲示して映像データを選択させることができる。

１ 表示システム
１０ 映像収集装置
１１ 第一カメラ
１２ 制御部
１２１ 車両情報取得部
１２２ 映像データ取得部
１２３ 提供者評価情報取得部
１２４ 付随情報生成部
１２５ 送信制御部
２０ 映像管理サーバ装置
２１ 制御部
２１１ 映像データ取得部
２１２ 付随情報取得部
２１３ 解析部
２１４ 登録情報生成部
２１５ 記憶制御部
２２ 風景情報データベース（風景情報記憶部）
２３ 風景情報
３０ 表示装置
３１ 第二カメラ
３２ 投影ユニット
３３ 制御部（表示制御装置）
３３１ 車両情報取得部
３３２ 映像データ取得部
３３３ 判断部
３３４ 選択部
３３５ 表示用映像生成部（映像生成部）
３３６ 表示制御部
３３７ 表示側評価情報取得部
１００ 車両
１０１ 窓ガラス（車室の内周面）
１９０ 表示用風景映像

Claims (5)

1. 車両の現在位置情報と車両運動情報とを含む車両情報とナビゲーション情報を取得する車両情報取得部と、
   前記車両情報取得部が取得した前記車両情報とナビゲーション情報に基づいて、前記車両の車室の内周面に、前記車両から見た前記車両の周囲の風景の映像を表示するかを判断する判断部と、
   風景の映像を含む風景情報を記憶した風景情報記憶部から、前記車両から視認可能な風景の前記風景情報を選択して取得する選択部と、
   前記選択部が取得した前記風景情報の映像を、前記車室の内周面に対応するよう加工して、表示用映像を生成する映像生成部と、
   前記映像生成部が生成した撮影車両による表示用映像を前記車室の内周面に表示する表示制御部と、
   を備えることを特徴とする表示制御装置。
2. 前記判断部は、前記車両情報取得部が取得した前記車両の現在位置情報および前記ナビゲーション情報に基づいて、前記車両から視認可能な風景の映像を表示するかを判定する、
   請求項１に記載の表示装置。
3. 前記判断部は、前記車両情報取得部が取得した前記車両の現在位置情報および前記ナビゲーション情報と、さらに車内カメラで撮影した前記車両の乗員の映像と車内マイクで録音した前記車両の乗員の音声との少なくともどちらかとを含む乗員情報に基づいて、前記車両から視認可能な風景の映像を表示するかを判定する、
   請求項１または２に記載の表示装置。
4. 前記映像生成部は、前記車両情報取得部が取得した前記車両運動情報に含まれる前記車両の車速情報と、前記車両運動情報に含まれる前記撮影車両の車速情報とに基づいて、前記車両の走行速度に合わせた表示用映像を生成する、
   請求項１または２に記載の表示装置。
5. 車両の現在位置情報と車両運動情報とを含む車両情報とナビゲーション情報を取得する車両情報取得ステップと、
   前記車両情報取得ステップによって取得した前記車両情報とナビゲーション情報に基づいて、前記車両の車室の内周面に、前記車両から見た前記車両の周囲の風景の映像を表示するかを判断する判断ステップと、
   風景の映像を含む風景情報を記憶した風景情報記憶部から、前記車両から視認可能な風景の前記風景情報を選択して取得する選択ステップと、
   前記選択ステップによって取得した前記風景情報の映像を、前記車両の車室の内周面に対応するよう加工して、表示用映像を生成する映像生成ステップと、
   前記映像生成ステップによって生成した表示用映像を前記車室の内周面に表示する表示制御ステップと、
   を含む表示制御方法。

Images