JP2017162198A - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

Abstract

【課題】適切な車両周辺の確認を可能とする車両用表示システムを提供する。
【解決手段】後方カメラ１１０らの映像データを取得する後方映像データ取得部４２と、第一範囲を切出す切出部５０と、第一映像データにおける、第一範囲の側方に位置し、右側方カメラ１２０および左側方カメラ１３０の死角に該当する死角範囲を特定する特定部６０と、第一映像データにおいて、死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出部７０と、第一範囲として切出された映像を、リヤビューモニタ１４０に表示させ、検出部７０で死角範囲に後方移動体を検出した場合、リヤビューモニタ１４０に、第一範囲に加えて死角範囲を含めた映像を表示させる表示制御部８０とを備える。
【選択図】図３

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。

車両の後方を確認するルームミラーや左右サイドミラーに代わって、車両の後方周辺領域を撮影する後方カメラからの映像を表示したり、車両の側方周辺領域を撮影した側方カメラからの映像を表示したりする技術が知られている（例えば、特許文献１参照）。

特開２０１５−００９６４６号公報

ところで、車両のサイドミラーには、自車両が映り込むことで死角が存在する。左右サイドミラーに代わって側方カメラを用いる場合も、同様に死角が存在する。そのため、運転者は、死角に位置する後続車を含む後方移動体を確認することが困難である。そこで、適切な車両周辺の確認を可能にする技術が望まれている。

本発明は、上記に鑑みてなされたものであって、適切な車両周辺の確認を可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方に配置され、前記車両の側後方確認装置の死角を含む前記車両の後方を撮影する後方カメラからの映像データを取得する後方映像データ取得部と、前記後方映像データ取得部が取得した前記映像データの一部である第一範囲を切出す切出部と、前記映像データにおける、前記第一範囲の側方に位置し、前記側後方確認装置の死角に該当する死角範囲を特定する特定部と、前記映像データにおいて、前記死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出部と、前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記検出部で前記死角範囲に前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めた映像を表示させる表示制御部とを備えることを特徴とする。

本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記後方カメラ、前記リヤビューモニタのうち少なくともいずれかを備えることを特徴とする。

本発明に係る車両用表示制御方法は、車両の後方に配置され、前記車両の側後方確認装置の死角を含む前記車両の後方を撮影する後方カメラからの映像データを取得する後方映像データ取得ステップと、前記後方映像データ取得ステップが取得した前記映像データの一部である第一範囲を切出す切出ステップと、前記映像データにおいて、前記第一範囲の側方に位置し、前記側後方確認装置の死角に該当する死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出ステップと、前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記検出ステップで前記死角範囲に前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めた映像を表示させる表示制御ステップとを含む。

本発明に係るプログラムは、車両の後方に配置され、前記車両の側後方確認装置の死角を含む前記車両の後方を撮影する後方カメラからの映像データを取得する後方映像データ取得ステップと、前記後方映像データ取得ステップが取得した前記映像データの一部である第一範囲を切出す切出ステップと、前記映像データにおいて、前記第一範囲の側方に位置し、前記側後方確認装置の死角に該当する死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出ステップと、前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記検出ステップで前記死角範囲に前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めた映像を表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。

本発明によれば、適切な車両周辺の確認を可能にすることができるという効果を奏する。

図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図３は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図４は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。 図５は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。 図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置の表示制御部における処理の流れを示すフローチャートである。 図７は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図８は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図９は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図１０は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図１１は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図１２は、第二実施形態に係る車両用表示システムの構成例を示す概略図である。 図１３は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。

以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
車両用表示システム１は、車両１００に搭載され、車両周辺を表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図３は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。

図１ないし図３に示すように、車両用表示システム１は、後方カメラ１１０と、右側方カメラ（側後方カメラ）１２０と、左側方カメラ（側後方カメラ）１３０と、リヤビューモニタ１４０と、右サイドモニタ（側後方確認装置）１５０と、左サイドモニタ（側後方確認装置）１６０と、車両用表示制御装置１０と、認識辞書記憶部２００とを有する。

後方カメラ１１０は、車両１００の後方に配置され、車両１００の後方を撮影する。後方カメラ１１０は、リヤビューモニタ１４０による確認範囲を含んだ範囲を撮影する。後方カメラ１１０は、右側方カメラ１２０および左側方カメラ１３０の死角を含んだ範囲を撮影する。後方カメラ１１０は、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。具体的には、後方カメラ１１０は、図４に示すような、第一映像データ１１０Ａを撮影している。図４は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。後方カメラ１１０は、リヤビューモニタ１４０に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ１４０を用いて車両１００の運転者が適切に後方を認識できるような範囲としての第一範囲ＡＣを切出してリヤビューモニタ１４０に表示する。第一映像データ１１０Ａは、リヤビューモニタ１４０による確認範囲である第一範囲ＡＣと、右サイドモニタ１５０および左サイドモニタ１６０による確認範囲である第二範囲ＡＲと第二範囲ＡＬとの少なくとも一部を含む。第一範囲ＡＣと第二範囲ＡＲとは、一部が重複している。第一範囲ＡＣと第二範囲ＡＬとは、一部が重複している。第一映像データ１１０Ａは、第一範囲ＡＣの側方に右側方カメラ１２０の死角に該当する死角範囲ＢＲおよび左側方カメラ１３０の死角に該当する死角範囲ＢＬを含んでいる。本実施形態では、第一映像データ１１０Ａは、第一範囲ＡＣと第二範囲ＡＲと第二範囲ＡＬとの外側をさらに含んでいる。言い換えると、後方カメラ１１０は、通常時、リヤビューモニタ１４０や右サイドモニタ１５０および左サイドモニタ１６０に表示されない範囲を含んで撮影している。後方カメラ１１０は、撮影した第一映像データ１１０Ａを車両用表示制御装置１０の映像データ取得部４０の後方映像データ取得部４２へ出力する。

右側方カメラ１２０は、車両１００の右側方に配置され、車両１００の右側方を撮影する。右側方カメラ１２０は、右サイドモニタ１５０による確認範囲を撮影する。右側方カメラ１２０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。右側方カメラ１２０は、角度調節自在である。右側方カメラ１２０は、撮影した映像を車両用表示制御装置１０の映像データ取得部４０の側後方映像データ取得部４１へ出力する。

左側方カメラ１３０は、車両１００の左側方に配置され、車両１００の左側方を撮影する。左側方カメラ１３０は、左サイドモニタ１６０による確認範囲を撮影する。左側方カメラ１３０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。左側方カメラ１３０は、角度調節自在である。左側方カメラ１３０は、撮影した映像を車両用表示制御装置１０の映像データ取得部４０の側後方映像データ取得部４１へ出力する。

リヤビューモニタ１４０は、一例としては電子ルームミラーである。リヤビューモニタ１４０を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ１４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。リヤビューモニタ１４０は、車両用表示制御装置１０の表示制御部８０から出力された映像信号に基づき、車両１００の後方映像を表示する。具体的に、リヤビューモニタ１４０は、図５に示すような後方映像を表示する。図５は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。リヤビューモニタ１４０は、側方において、右サイドモニタ１５０および左サイドモニタ１６０の一部と重複して表示している。リヤビューモニタ１４０は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ１４０は、ウィンドシールド１０１の車幅方向の中央上部に配置されている。

右サイドモニタ１５０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドモニタ１５０は、車両用表示制御装置１０の表示制御部８０から出力された映像信号に基づき、車両１００の右側後方映像を表示する。具体的に、右サイドモニタ１５０は、図５に示すような右側後方映像を表示する。右サイドモニタ１５０は、車両１００の右側方の車体１００Ｒの映り込みにより後方視界が阻害される範囲がある。右サイドモニタ１５０は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ１５０は、ダッシュボード１０２の車幅方向の右側に配置されている。

左サイドモニタ１６０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含むディスプレイである。左サイドモニタ１６０は、車両用表示制御装置１０の表示制御部８０から出力された映像信号に基づき、車両１００の左側後方映像を表示する。具体的に、左サイドモニタ１６０は、図５に示すような左側後方映像を表示する。左サイドモニタ１６０は、車両１００の左側方の車体１００Ｌの映り込みにより後方視界が阻害される範囲がある。左サイドモニタ１６０は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ１６０は、ダッシュボード１０２の車幅方向の左側に配置されている。

認識辞書記憶部２００は、例えば、四輪車、二輪車、人を含む移動体の正面視などの形状、大きさ、色などのパターンを照合可能な認識辞書を記憶している。認識辞書記憶部２００は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

図３に戻って、車両用表示制御装置１０は、記憶部２０と、制御部３０とを有する。

記憶部２０は、車両用表示制御装置１０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部２０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

制御部３０は、例えば、ＣＰＵ（Central Processing Unit）などで構成された演算処理装置である。制御部３０は、映像データ取得部４０と、切出部５０と、特定部６０と、検出部７０と、表示制御部８０とを含む。制御部３０は、記憶部２０に記憶されているプログラムに含まれる命令を実行する。

映像データ取得部４０は、車両１００の後方および側後方を撮影した映像を取得する。映像データ取得部４０が取得する映像データは、例えば、毎秒１２０フレームの画像が連続した映像データである。映像データ取得部４０は、側後方映像データ取得部４１と、後方映像データ取得部４２とを有する。側後方映像データ取得部４１は、右側方カメラ１２０および左側方カメラ１３０が出力した第二映像データを取得する。側後方映像データ取得部４１は、取得した第二映像データを切出部５０に出力する。後方映像データ取得部４２は、後方カメラ１１０が出力した第一映像データ１１０Ａを取得する。後方映像データ取得部４２は、取得した第一映像データ１１０Ａを切出部５０および検出部７０に出力する。

切出部５０は、第一映像データ１１０Ａから第一映像データ１１０Ａの一部である第一範囲ＡＣを切出す。第一映像データ１１０Ａのどの範囲を第一範囲ＡＣとするかは、あらかじめ登録され記憶されている。本実施形態では、第一範囲ＡＣは、第一映像データ１１０Ａの中央部とする。切出部５０は、切出した後方映像データ１１０Ｃを特定部６０および表示制御部８０に出力する。

切出部５０は、第二映像データから、右サイドモニタ１５０および左サイドモニタ１６０に合わせた右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌを切出す。切出部５０は、切出した右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌを表示制御部８０に出力する。

特定部６０は、第一映像データ１１０Ａにおける、第一範囲ＡＣの側方に位置する第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定する。より詳しくは、特定部６０は、右側方カメラ１２０および左側方カメラ１３０の撮影向きや切出部５０により第二映像データから切出された右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌに一致またはほぼ一致する範囲として予め定められている範囲を、第二範囲ＡＲおよび第二範囲ＡＬとして特定する。また、特定部６０は、右側方カメラ１２０および左側方カメラ１３０の撮影向きや切出部５０により第二映像データから切出された右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌに基づいて予め定められている範囲を死角範囲ＢＲおよび死角範囲ＢＬとして特定する。特定部６０は、他の特定手法として、第二映像データと第一映像データ１１０Ａとに基づき、画像のマッチングを行って、図４に示すように、第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定してもよい。この場合において、第二映像データが切出部５０によって切出し処理が行われている場合は、左側後方映像データ１１０Ｌおよび右側後方映像データ１１０Ｒとの画像のマッチングを行う。特定部６０は、特定した第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとの情報を検出部７０に出力する。特定部６０の処理は、後方カメラ１１０または右側方カメラ１２０または左側方カメラ１３０が角度調節されたり交換されたりした場合に実行されるように制御部３０で制御される。

特定部６０は、リヤビューモニタ１４０に、図４に示すように、後方映像データ１１０Ｃとともに第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを示す枠を表示し、運転者などの操作によって設定するようにしてもよい。具体的には、運転者などが、右サイドモニタ１５０に表示された右側後方映像データ１１０Ｒおよび左サイドモニタ１６０に表示された左側後方映像データ１１０Ｌと、リヤビューモニタ１４０に表示された枠とが一致するように、枠を正しい位置に合わせる。このようにして、特定部６０は、第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定してもよい。

検出部７０は、第一映像データ１１０Ａから移動体Ｖを検出する。検出部７０は、第一映像データ１１０Ａの全体に対して移動体を検出し、検出された移動体が死角範囲ＢＲまたは死角範囲ＢＬに存在するか判断してもよく、死角範囲ＢＲまたは死角範囲ＢＬに対して移動体の検出を行ってもよい。検出部７０は、第一映像データ１１０Ａまたは第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬにおいて、移動体認識を行い、後方移動体Ｖを認識する認識部７１を有する。認識部７１は、第一映像データ１１０Ａまたは第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに対して、認識辞書記憶部２００が記憶している認識辞書を用いたパターンマッチングを行い、後方移動体Ｖの存在を検出する。検出部７０は、認識部７１で認識した後方移動体Ｖを、第一映像データ１１０Ａのフレーム毎の、位置の変化に基づき、後方移動体Ｖの移動方向を検出する。なお、検出部７０は、後方移動体Ｖの移動方向を検出する際に、後方移動体Ｖがナンバープレートを有していれば、ナンバープレートの英数字や記号を読み取り、読み取った英数字や記号を用いて後方移動体Ｖの移動方向を検出してもよい。検出部７０は、検出結果を表示制御部８０に出力する。

表示制御部８０は、通常時の通常表示処理として、後方映像データ１１０Ｃをリヤビューモニタ１４０に表示させる。表示制御部８０は、通常時の通常表示処理として、右側後方映像データ１１０Ｒを右サイドモニタ１５０に表示させる。言い換えると、表示制御部８０は、通常時は、右側方カメラ１２０で撮影された第二映像データに基づく右側後方映像データ１１０Ｒを右サイドモニタ１５０に表示させる。表示制御部８０は、通常時の通常表示処理として、左側後方映像データ１１０Ｌを左サイドモニタ１６０に表示させる。言い換えると、表示制御部８０は、通常時は、左側方カメラ１３０で撮影された第二映像データに基づく左側後方映像データ１１０Ｌを左サイドモニタ１６０に表示させる。

表示制御部８０は、毎フレームまたは所定フレームごとに、所定条件を満たすか否かを判定して、所定条件を満たす場合、リヤビューモニタ１４０に死角範囲ＢＲまたは死角範囲ＢＬを含めて表示させる死角表示処理を行う。より詳しくは、表示制御部８０は、検出部７０が第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに後方移動体Ｖを検出した場合、リヤビューモニタ１４０に、第一範囲ＡＣに加えて死角範囲ＢＲまたは死角範囲ＢＬを含めて表示させる。より詳しくは、表示制御部８０は、検出部７０が後方移動体Ｖを検出したのが、死角範囲ＢＲであるか死角範囲ＢＬであるかの情報に基づき、リヤビューモニタ１４０に、リヤビューモニタ１４０の表示面において後方移動体Ｖを検出した側の死角範囲ＢＲまたは死角範囲ＢＬを含めて表示させる。表示制御部８０は、第一範囲ＡＣの切出し範囲を変更することで、第一範囲ＡＣに加えて死角範囲ＢＲまたは死角範囲ＢＬを含めた表示を行う。表示制御部８０は、後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬから外れた場合、リヤビューモニタ１４０を通常表示に戻す。

表示制御部８０は、後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬで検出された場合であっても、後方移動体Ｖが死角範囲ＢＲまたは死角範囲ＢＬに少ししか存在していない（少ししか映っていない）場合、リヤビューモニタ１４０を通常表示のままとしてもよい。例えば、表示制御部８０は、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、後方移動体Ｖの全体が写った場合の面積の所定割合以下である場合、リヤビューモニタ１４０を通常表示のままとしてもよい。

次に、図６を用いて、表示制御部８０による死角表示処理の流れについて説明する。図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置の表示制御部における処理の流れを示すフローチャートである。

表示制御部８０は、第一映像データ１１０Ａに後方移動体Ｖの検出ありか否かを判定する（ステップＳ１１）。より詳しくは、表示制御部８０は、検出部７０で第一映像データ１１０Ａにおいて後方移動体Ｖが検出されたか否かを判定する。

表示制御部８０は、第一映像データ１１０Ａに後方移動体Ｖが検出されていないと判定した場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を繰り返す。

表示制御部８０は、第一映像データ１１０Ａに後方移動体Ｖの検出ありと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

表示制御部８０は、検出した後方移動体Ｖまたは後方移動体Ｖの一部分（以下、後方移動体Ｖとして説明する）が第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在するか否かを判定する（ステップＳ１２）。より詳しくは、表示制御部８０は、検出部７０で、第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在する後方移動体Ｖが検出されたか否かを判定する。

表示制御部８０は、検出した後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在していないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１１に戻って処理を繰り返す。

表示制御部８０は、検出した後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在すると判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。

表示制御部８０は、リヤビューモニタ１４０に、第一範囲ＡＣに加えて死角範囲ＢＲまたは死角範囲ＢＬを含めて表示させる（ステップＳ１３）。より詳しくは、表示制御部８０は、検出部７０で検出した後方移動体Ｖが、死角範囲ＢＲであるか死角範囲ＢＬであるかの情報に基づき、リヤビューモニタ１４０に、後方移動体Ｖを検出した側の死角範囲ＢＲまたは死角範囲ＢＬを含めて表示させる。より詳しくは、表示制御部８０は、切出部５０に対して、死角範囲ＢＲまたは死角範囲ＢＬを含むように、第一範囲ＡＣの切出し範囲を変更させる。変更する第一範囲ＡＣの切出し範囲は、後方移動体Ｖの移動に合わせて後方映像データ１１０Ｃが徐々に拡張されるように設定してもよいし、あらかじめ設定した範囲に後方映像データ１１０Ｃが拡張されるように設定してもよい。そして、表示制御部８０は、切出させた後方映像データ１１０Ｃをリヤビューモニタ１４０に表示させる。

表示制御部８０は、検出した後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在するか否かの判定条件を、車両１００と後方移動体Ｖの距離によって変更してもよい。例えば、検出した後方移動体Ｖまでの距離が近い場合は、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の２５％以上であれば存在すると判断する。また、検出した後方移動体Ｖまでの距離が遠い場合は、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の７５％以上であれば存在すると判断する。車両１００と検出した後方移動体Ｖまでの距離は、第一映像データ１１０Ａから認識部７１による後方移動体Ｖを検出した際に、検出した後方移動体の輪郭に基づく接地位置を特定し、接地位置の第一映像データ１１０Ａにおける位置関係により求めることができる。具体的には、車両１００から後方移動体Ｖまでの距離が１００ｍ以上であれば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の７５％以上であれば存在すると判断する。また、車両１００から後方移動体Ｖまでの距離が５０ｍ以上１００ｍ未満であれば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の５０％以上であれば存在すると判断する。さらに、車両１００から後方移動体Ｖまでの距離が５０ｍ未満であれば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の２５％以上であれば存在すると判断する。

図４を用いて、表示制御部８０による死角表示処理の具体例を説明する。表示制御部８０は、ステップＳ１１において、第一映像データ１１０Ａに後方移動体Ｖ１、後方移動体Ｖ２検出ありと判定する（ステップＳ１１でＹｅｓ）。そして、表示制御部８０は、後方移動体Ｖ１が第一映像データ１１０Ａの死角範囲ＢＬに存在すると判定する（ステップＳ１２でＹｅｓ）。ステップＳ１３において、表示制御部８０は、リヤビューモニタ１４０の表示面において後方移動体Ｖ１を検出した側の死角範囲ＢＬを含めて表示させる。

具体的には、表示制御部８０は、図７に示すように、リヤビューモニタ１４０の表示面において死角範囲ＢＬを含むように拡張して表示させる。図７は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。具体的には、後方映像データ１１０Ｃ１は、死角範囲ＢＬを含む拡張映像データ１１０Ｂ１を含むように拡張されている。拡張映像データ１１０Ｂ１は、後方映像データ１１０Ｃ１の死角範囲ＢＬ側の外側にＬ字形状に張り出した範囲の映像である。通常表示の表示範囲である第一範囲ＡＣは、破線で表示されている。

または、表示制御部８０は、図８に示すように、リヤビューモニタ１４０の表示面において死角範囲ＢＬを含むように拡張して反対側にシフトして表示させてもよい。図８は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。具体的には、後方映像データ１１０Ｃ２は、死角範囲ＢＬを含む拡張映像データ１１０Ｂ２を含むように拡張され、かつ、死角範囲ＢＬと反対側の右側にシフトしている。拡張映像データ１１０Ｂ２は、後方映像データ１１０Ｃ２の死角範囲ＢＬ側の左側にＩ字形状に張り出した範囲の映像である。

または、表示制御部８０は、図９に示すように、リヤビューモニタ１４０の表示面において死角範囲ＢＬの縦幅に合わせて拡張して反対側にシフトして表示させてもよい。図９は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。具体的には、後方映像データ１１０Ｃ３は、死角範囲ＢＬの縦幅に合わせ、死角範囲ＢＬを含む拡張映像データ１１０Ｂ３を含むように拡張され、死角範囲ＢＬと反対側の右側にシフトしている。拡張映像データ１１０Ｂ３は、後方映像データ１１０Ｃ３の死角範囲ＢＬ側の外側に、死角範囲ＢＬの縦幅に合わせてＬ字形状に張り出した範囲の映像である。

または、表示制御部８０は、図１０に示すように、リヤビューモニタ１４０の表示面において第一範囲ＡＣと死角範囲ＢＬを含む第二範囲ＡＬとを表示させてもよい。図１０は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。具体的には、後方映像データ１１０Ｃ４と、死角範囲ＢＬを含む拡張映像データ１１０Ｂ４とが並んで表示されている。拡張映像データ１１０Ｂ４は、図４に示す第一映像データ１１０Ａから死角範囲ＢＬを含む範囲を切出した映像である。この場合、後方映像データ１１０Ｃ４と左側後方映像データ１１０Ｌとは、図４に示すように、縦幅が異なるため、境界に位置する後方移動体Ｖ１は、上下方向の位置がずれて表示されている。

または、表示制御部８０は、図１１に示すように、リヤビューモニタ１４０の表示面において第一範囲ＡＣと死角範囲ＢＬを含む第二範囲ＡＬとを、後方移動体Ｖ１の位置を合わせて表示させてもよい。図１１は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。具体的には、後方映像データ１１０Ｃ５と、死角範囲ＢＬを含む拡張映像データ１１０Ｂ５とが、後方移動体Ｖ１の映像が連続するように、並んで表示されている。拡張映像データ１１０Ｂ５は、図４に示す第一映像データ１１０Ａから死角範囲ＢＬを含む範囲を切出した映像である。

このようにして、車両用表示システム１は、表示制御部８０で、リヤビューモニタ１４０に、右サイドモニタ１５０または左サイドモニタ１６０の死角に存在する後方移動体Ｖを表示させる。

上述したように、本実施形態に係る車両用表示システム１は、後方移動体Ｖが右サイドモニタ１５０または左サイドモニタ１６０の死角に存在する場合、リヤビューモニタ１４０に、後方移動体Ｖが位置する死角範囲ＢＲまたは死角範囲ＢＬを含んで表示させる。このように、車両用表示システム１は、右サイドモニタ１５０または左サイドモニタ１６０の死角に存在する後方移動体Ｖを表示する。これにより、車両用表示システム１は、従来のサイドミラーでは死角となっていた範囲に位置する後方移動体Ｖも確認することができる。車両用表示システム１は、より確実に車両１００周辺の安全確認をすることができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

［第二実施形態］
図１２および図１３を参照しながら、本実施形態に係る車両用表示システム１Ａについて説明する。図１２は、第二実施形態に係る車両用表示システムの構成例を示す概略図である。図１３は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。車両用表示システム１Ａは、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システム１Ａは、第一実施形態の車両用表示システム１の右側方カメラ１２０と左側方カメラ１３０と右サイドモニタ１５０と左サイドモニタ１６０との代わりに、右サイドミラー（側後方確認装置）１０４と左サイドミラー（側後方確認装置）１０５とを有する点が、第一実施形態の車両用表示システム１と異なる。

右サイドミラー１０４は、車両１００の右側方に配置され、車両１００の右側方を映す。右サイドミラー１０４は、角度調節自在である。右サイドミラー１０４は、車両１００の右側方の車体１００Ｒの映り込みにより後方視界が阻害される範囲がある。

左サイドミラー１０５は、車両１００の左側方に配置され、車両１００の左側方を映す。左サイドミラー１０５は、角度調節自在である。左サイドミラー１０５は、車両１００の左側方の車体１００Ｌの映り込みにより後方視界が阻害される範囲がある。

車両用表示制御装置１０Ａは、記憶部２０と、制御部３０Ａとを有する。

制御部３０Ａは、後方映像データ取得部４２を有する映像データ取得部４０Ａと、第一映像データ１１０Ａの一部である第一範囲ＡＣを切出す切出部５０Ａと、特定部６０Ａと、検出部７０と、表示制御部８０とを含む。

特定部６０Ａは、第一映像データ１１０Ａにおける、第一範囲ＡＣの側方に位置する第二範囲ＡＲと第二範囲ＡＬと、右サイドミラー１０４と左サイドミラー１０５とによる死角に該当する死角範囲ＢＲまたは死角範囲ＢＬを特定する。より詳しくは、特定部６０Ａは、第一映像データ１１０Ａに基づき、第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定する。具体的には、特定部６０Ａは、リヤビューモニタ１４０に、図４に示すように、後方映像データ１１０Ｃとともに第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを示す枠を表示し、運転者などの操作によって設定する。運転者などが、右サイドミラー１０４と左サイドミラー１０５と、リヤビューモニタ１４０に表示された枠とが一致するように、枠を正しい位置に合わせる。このようにして、特定部６０Ａは、第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬを特定する。特定部６０Ａの処理は、後方カメラ１１０または右サイドミラー１０４または左サイドミラー１０５が角度調節されたり交換されたりした場合に実行される。

このような構成により、車両用表示システム１Ａは、第一実施形態と同様に、表示制御部８０で、リヤビューモニタ１４０に、右サイドミラー１０４または左サイドミラー１０５の死角に存在する後方移動体Ｖを表示させる。

上述したように、本実施形態に係る車両用表示システム１Ａは、後方移動体Ｖが右サイドミラー１０４と左サイドミラー１０５の死角に存在する場合、リヤビューモニタ１４０に、後方移動体Ｖが位置する死角範囲ＢＲまたは死角範囲ＢＬを含んで表示させる。このように、車両用表示システム１Ａは、右サイドミラー１０４または左サイドミラー１０５の死角に存在する後方移動体Ｖを表示する。これにより、車両用表示システム１Ａは、右サイドミラー１０４および左サイドミラー１０５では死角となっていた範囲に位置する後方移動体Ｖも確認することができる。車両用表示システム１Ａは、より確実に車両１００周辺の安全確認をすることができる。このように、車両用表示システム１Ａは、適切な車両１００周辺の確認を可能にすることができる。

図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

表示制御部８０は、検出部７０が後方移動体Ｖを死角範囲ＢＲおよび死角範囲ＢＬに存在することを検出した場合、リヤビューモニタ１４０に、リヤビューモニタ１４０の表示面において死角範囲ＢＲおよび死角範囲ＢＬを含めるように画角を変えて表示させてもよい。これにより、車両用表示システム１は、死角範囲ＢＲおよび死角範囲ＢＬに存在する後方移動体Ｖをいずれも確認することができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

表示制御部８０は、図６に示すフローチャートのステップＳ１１において、第一映像データ１１０Ａで後方移動体Ｖが複数検出された場合、所定条件を満たす後方移動体Ｖについて、ステップＳ１２、Ｓ１３の処理を行うようにしてもよい。例えば、表示制御部８０は、第一映像データ１１０Ａの死角範囲ＢＲ側と死角範囲ＢＬ側とで車両１００との距離が最も小さい後方移動体Ｖについて、ステップＳ１２、Ｓ１３の処理を行うようにしてもよい。これにより、車両用表示システム１は、複数検出された後方移動体Ｖの中から、例えば最も近接しているなど、より優先的に確認する必要がある後方移動体Ｖを確認することができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

表示制御部８０は、図６に示すフローチャートのステップＳ１１において、第一映像データ１１０Ａで後方移動体Ｖが検出されたか否かの判定に加えて、後方移動体Ｖと車両１００との距離、後方移動体Ｖと車両１００との相対速度、後方移動体Ｖの移動方向などの移動状況が所定条件を満たすか否かを判定してもよい。より詳しくは、例えば、表示制御部８０は、検出部７０で後方移動体Ｖと車両１００との距離が所定距離以内であると検出した場合、移動状況が所定条件を満たしたと判定しステップＳ１２、Ｓ１３の処理を行うようにしてもよい。ここで、後方移動体Ｖと車両１００との距離は、第一映像データ１１０Ａにおける後方移動体Ｖの映像の大きさと、認識辞書記憶部２００に記憶されている後方移動体Ｖの大きさとに基づき、算出することが可能である。また、例えば、表示制御部８０は、検出部７０で後方移動体Ｖと車両１００との相対速度が所定値以上であると検出した場合、移動状況が所定条件を満たしたと判定しステップＳ１２、Ｓ１３の処理を行うようにしてもよい。ここで、後方移動体Ｖと車両１００との相対速度は、フレームごとの第一映像データ１１０Ａにおける後方移動体Ｖの映像の大きさの変化に基づき、算出することが可能である。また、例えば、表示制御部８０は、検出部７０で後方移動体Ｖの移動方向が車両１００に近づく方向であると検出した場合、移動状況が所定条件を満たしたと判定しステップＳ１２、Ｓ１３の処理を行うようにしてもよい。表示制御部８０は、上記を複数組み合わせた判定条件で判定してもよい。これらにより、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

認識部７１は、後方移動体Ｖを検出する際、車両１００の前面と後面とを判別可能な認識辞書を用いて、車両１００の前面として認識された後方移動体Ｖのみを検出対象としてもよい。車両１００の後面が認識された場合は、対向車など反対方向を向いている車両であるため、検出対象から除外できる。

表示制御部８０は、図６に示すフローチャートのステップＳ１１、Ｓ１２における判定条件が、一定時間継続されたら、ステップＳ１３においてリヤビューモニタ１４０で死角範囲ＢＲまたは死角範囲ＢＬを含めた表示を行うものとしてもよい。これにより、車両用表示システム１は、不用意にリヤビューモニタ１４０に表示する映像が切り替わることを抑制することができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

表示制御部８０は、図６に示すフローチャートのステップＳ１１の前に、車両１００の現在位置に基づき、図６に示すフローチャートの処理を行うか否かを判定してもよい。例えば、表示制御部８０は、車両１００の現在位置を取得する現在地データ取得部と、地図情報を含む周辺状況を取得する周辺状況データ取得部とを有し、車両１００が繁華街など所定地点を走行している場合、図６に示すフローチャートの処理を行わないこととしてもよい。または、表示制御部８０は、現在地データ取得部と周辺状況データ取得部とを有し、車両１００が所定速度以上で走行している場合、図６に示すフローチャートの処理を行うこととしてもよい。

表示制御部８０は、拡張映像データ１１０Ｂ１または拡張映像データ１１０Ｂ２または拡張映像データ１１０Ｂ３または拡張映像データ１１０Ｂ４または拡張映像データ１１０Ｂ５を含む範囲を、所定透明度の半透明で着色して表示してもよい。これにより、車両用表示システム１は、リヤビューモニタ１４０の表示が拡張映像データ１１０Ｂを含んでいることを容易に確認することができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

表示制御部８０は、図６に示すフローチャートのステップＳ１１で検出した後方移動体Ｖが、死角範囲ＢＲや死角範囲ＢＬに近接する外側に存在している場合、リヤビューモニタ１４０に、その後方移動体Ｖの存在を表示してもよい。例えば、表示制御部８０は、死角範囲ＢＲや死角範囲ＢＬに近接する外側に存在する後方移動体Ｖの存在する方向や接近方向を矢印などのアイコンで表示したり、リヤビューモニタ１４０の周縁部を点滅させたりしてもよい。

１ 車両用表示システム
１０ 車両用表示制御装置
３０ 制御部
４０ 映像データ取得部
４１ 側後方映像データ取得部
４２ 後方映像データ取得部
５０ 切出部
６０ 特定部
７０ 検出部
７１ 認識部
８０ 表示制御部
１００ 車両
１０４ 右サイドミラー（側後方確認装置）
１０５ 左サイドミラー（側後方確認装置）
１１０ 後方カメラ
１１０Ａ 第一映像データ
１２０ 右側方カメラ（側後方カメラ）
１３０ 左側方カメラ（側後方カメラ）
１４０ リヤビューモニタ
１５０ 右サイドモニタ（側後方確認装置）
１６０ 左サイドモニタ（側後方確認装置）
２００ 認識辞書記憶部
ＡＣ 第一範囲
ＡＲ 第二範囲
ＡＬ 第二範囲
ＢＲ 死角範囲
ＢＬ 死角範囲
Ｖ 後方移動体

Claims (10)

1. 車両の後方に配置され、前記車両の側後方確認装置の死角を含む前記車両の後方を撮影する後方カメラからの映像データを取得する後方映像データ取得部と、
   前記後方映像データ取得部が取得した前記映像データの一部である第一範囲を切出す切出部と、
   前記映像データにおける、前記第一範囲の側方に位置し、前記側後方確認装置の死角に該当する死角範囲を特定する特定部と、
   前記映像データにおいて、前記死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出部と、
   前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記検出部で前記死角範囲に前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めた映像を表示させる表示制御部と
   を備えることを特徴とする車両用表示制御装置。
2. 前記検出部は、前記後方移動体の移動状況を検出し、
   前記表示制御部は、前記検出部で、前記死角範囲に前記後方移動体を検出し、かつ、前記移動状況が所定条件を満たす前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めて表示させる
   請求項１に記載の車両用表示制御装置。
3. 前記検出部は、前記後方移動体が前記車両に接近していること、または、前記後方移動体と前記車両との相対速度の少なくとも一方を検出し、
   前記表示制御部は、前記検出部で、前記死角範囲に前記後方移動体を検出し、かつ、前記車両に接近している前記後方移動体を検出した場合、または、前記死角範囲に前記後方移動体を検出し、かつ、前記相対速度が所定値以上の前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めて表示させる
   請求項２に記載の車両用表示制御装置。
4. 前記表示制御部は、前記検出部が前記後方移動体を検出した前記死角範囲が前記第一範囲の右側または左側である場合、前記リヤビューモニタに、前記後方移動体を検出した側の前記死角範囲を含めて表示させる
   請求項１または２に記載の車両用表示制御装置。
5. 前記表示制御部は、前記検出部が前記後方移動体を検出した前記死角範囲が前記第一範囲の右側および左側である場合、前記リヤビューモニタに、前記第一範囲の右側および左側の前記死角範囲を含めて表示させる
   請求項１または２に記載の車両用表示制御装置。
6. 前記表示制御部は、前記第一範囲の切出し範囲を変更することで、前記第一範囲に加えて前記死角範囲を含めた表示を行う
   請求項１から５のいずれか１項に記載の車両用表示制御装置。
7. 前記切出部は、前記死角範囲を含む第二範囲を切出し、
   前記表示制御部は、前記第一範囲に加えて前記第二範囲を含めた表示を行う
   請求項１から５のいずれか１項に記載の車両用表示制御装置。
8. 請求項１から７のいずれかに記載の車両用表示制御装置と、
   前記後方カメラ、前記リヤビューモニタのうち少なくともいずれかを備える
   ことを特徴とする車両用表示システム。
9. 車両の後方に配置され、前記車両の側後方確認装置の死角を含む前記車両の後方を撮影する後方カメラからの映像データを取得する後方映像データ取得ステップと、
   前記後方映像データ取得ステップが取得した前記映像データの一部である第一範囲を切出す切出ステップと、
   前記映像データにおいて、前記第一範囲の側方に位置し、前記側後方確認装置の死角に該当する死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出ステップと、
   前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記検出ステップで前記死角範囲に前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めた映像を表示させる表示制御ステップと
   を含む車両用表示制御方法。
10. 車両の後方に配置され、前記車両の側後方確認装置の死角を含む前記車両の後方を撮影する後方カメラからの映像データを取得する後方映像データ取得ステップと、
    前記後方映像データ取得ステップが取得した前記映像データの一部である第一範囲を切出す切出ステップと、
    前記映像データにおいて、前記第一範囲の側方に位置し、前記側後方確認装置の死角に該当する死角範囲に対して移動体認識を行い、後方移動体の存在を検出する検出ステップと、
    前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記検出ステップで前記死角範囲に前記後方移動体を検出した場合、前記リヤビューモニタに、前記第一範囲に加えて前記死角範囲を含めた映像を表示させる表示制御ステップと
    を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。

Images