JP2017163337A - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

Abstract

【課題】適切な車両周辺の確認を可能とすること。【解決手段】後方カメラ１１０からの第一映像データ１１０Ａの一部である第一範囲ＡＣと、第二範囲ＡＲ、第二範囲ＡＬとを切出す切出部５０と、第一映像データ１１０Ａにおける死角範囲ＢＲ、死角範囲ＢＬを特定する特定部６０と、第一映像データ１１０Ａにおいて、後方移動体Ｖの存在を検出する検出部７０と、後方移動体Ｖが死角範囲ＢＲ、死角範囲ＢＬに存在するか否かを判断する判断部８０と、第一範囲ＡＣとして切出された映像を、リヤビューモニタ１４０に表示させ、判断部８０で死角範囲ＢＲ、死角範囲ＢＬに後方移動体Ｖが存在すると判断された場合、第二範囲ＡＲ、第二範囲ＡＬとして切出された映像を右サイドモニタ１５０、左サイドモニタ１６０に表示させる表示制御部９０とを備える。【選択図】図３

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。

車両の後方を確認するルームミラーや左右サイドミラーに代わって、車両の後方周辺領域を撮影する後方カメラからの映像を表示したり、車両の側方周辺領域を撮影した側方カメラからの映像を表示したりする技術が知られている（例えば、特許文献１参照）。

特開２０１５−００９６４６号公報

ところで、車両のサイドミラーには、自車両が映り込むことで死角が存在する。左右サイドミラーに代わって側方カメラを用いる場合も、同様に死角が存在する。そのため、運転者は、死角に位置する後続車を含む後方移動体を確認することが困難である。そこで、適切な車両周辺の確認を可能にする技術が望まれている。

本発明は、上記に鑑みてなされたものであって、適切な車両周辺の確認を可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得部と、前記車両の側方に配置され、前記車両の後側方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得部と、前記後方映像データ取得部が取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切出す切出部と、前記第一映像データにおける、前記第一範囲の側方に位置し、前記車両の側方の映像を表示するサイドモニタの死角に該当する死角範囲を特定する特定部と、前記第一映像データにおいて、移動体認識を行い、後方移動体の存在を検出する検出部と、前記検出部で検出された前記後方移動体が前記死角範囲に存在するか否かを判断する判断部と、前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記判断部で前記死角範囲に前記後方移動体が存在すると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる表示制御部とを備えることを特徴とする。

本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記後方カメラ、前記側後方カメラ、前記リヤビューモニタ、前記サイドモニタの少なくともいずれかを備えることを特徴とする。

本発明に係る車両用表示制御方法は、車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、前記車両の側方に配置され、前記車両の後側方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、前記後方映像データ取得ステップが取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切出す切出ステップと、前記第一映像データにおいて、移動体認識を行い、後方移動体の存在を検出する検出ステップと、前記検出ステップで検出された前記後方移動体が、前記第一範囲の側方に位置し、前記車両の側方の映像を表示するサイドモニタの死角に該当する死角範囲に存在するか否かを判断する判断ステップと、前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記判断ステップで前記死角範囲に前記後方移動体が存在すると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる表示制御ステップとを含む。

本発明に係るプログラムは、車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、前記車両の側方に配置され、前記車両の後側方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、前記後方映像データ取得ステップが取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切出す切出ステップと、前記第一映像データにおいて、移動体認識を行い、後方移動体の存在を検出する検出ステップと、前記検出ステップで検出された前記後方移動体が、前記第一範囲の側方に位置し、前記車両の側方の映像を表示するサイドモニタの死角に該当する死角範囲に存在するか否かを判断する判断ステップと、前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記判断ステップで前記死角範囲に前記後方移動体が存在すると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。

本発明によれば、適切な車両周辺の確認を可能にすることができるという効果を奏する。

図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図３は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図４は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。 図５は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。 図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置の表示制御部における処理の流れを示すフローチャートである。 図７は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。 図８は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。 図９は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図１０は、第二実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。 図１１は、第二実施形態に係る車両用表示システムの後方カメラで撮影された映像データの他の例を示す図である。 図１２は、第二実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。 図１３は、第二実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。

以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
車両用表示システム１は、車両１００に搭載され、車両周辺を表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図３は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。

図１ないし図３に示すように、車両用表示システム１は、後方カメラ１１０と、右側方カメラ（側後方カメラ）１２０と、左側方カメラ（側後方カメラ）１３０と、リヤビューモニタ１４０と、右サイドモニタ１５０と、左サイドモニタ１６０と、認識辞書記憶部２００と、車両用表示制御装置１０とを有する。

後方カメラ１１０は、車両１００の後方に配置され、車両１００の後方を撮影する。後方カメラ１１０は、リヤビューモニタ１４０による確認範囲を含んだ範囲を撮影する。後方カメラ１１０は、右側方カメラ１２０および左側方カメラ１３０の死角を含んだ範囲を撮影する。後方カメラ１１０は、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。具体的には、後方カメラ１１０は、図４に示すような、第一映像データ１１０Ａを撮影している。図４は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。後方カメラ１１０は、リヤビューモニタ１４０に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ１４０を用いて車両１００の運転者が適切に後方を認識できるような範囲としての第一範囲ＡＣを切出してリヤビューモニタ１４０に表示する。第一映像データ１１０Ａは、リヤビューモニタ１４０による確認範囲である第一範囲ＡＣと、右サイドモニタ１５０および左サイドモニタ１６０による確認範囲である第二範囲ＡＲ、第二範囲ＡＬとを含む。第一範囲ＡＣと第二範囲ＡＲとは、一部が重複している。第一範囲ＡＣと第二範囲ＡＬとは、一部が重複している。第一映像データ１１０Ａは、第一範囲ＡＣの側方に右側方カメラ１２０の死角に該当する死角範囲ＢＲおよび左側方カメラ１３０の死角に該当する死角範囲ＢＬを含んでいる。本実施形態では、第一映像データ１１０Ａは、第一範囲ＡＣと第二範囲ＡＲと第二範囲ＡＬとの外側をさらに含んでいる。言い換えると、後方カメラ１１０は、通常時、リヤビューモニタ１４０や右サイドモニタ１５０および左サイドモニタ１６０に表示されない範囲を含んで撮影している。後方カメラ１１０は、撮影した第一映像データ１１０Ａを車両用表示制御装置１０の映像データ取得部４０の後方映像データ取得部４２へ出力する。

右側方カメラ１２０は、車両１００の右側方に配置され、車両１００の右側方を撮影する。右側方カメラ１２０は、右サイドモニタ１５０による確認範囲を撮影する。右側方カメラ１２０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。右側方カメラ１２０は、角度調節自在である。右側方カメラ１２０は、撮影した映像を車両用表示制御装置１０の映像データ取得部４０の側後方映像データ取得部４１へ出力する。

左側方カメラ１３０は、車両１００の左側方に配置され、車両１００の左側方を撮影する。左側方カメラ１３０は、左サイドモニタ１６０による確認範囲を撮影する。左側方カメラ１３０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。左側方カメラ１３０は、角度調節自在である。左側方カメラ１３０は、撮影した映像を車両用表示制御装置１０の映像データ取得部４０の側後方映像データ取得部４１へ出力する。

リヤビューモニタ１４０は、一例としては電子ルームミラーである。リヤビューモニタ１４０を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ１４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。リヤビューモニタ１４０は、車両用表示制御装置１０の表示制御部９０から出力された映像信号に基づき、車両１００の後方映像を表示する。具体的に、リヤビューモニタ１４０は、図５に示すような後方映像を表示する。図５は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。リヤビューモニタ１４０は、側方において、右サイドモニタ１５０および左サイドモニタ１６０の一部と重複して表示している。リヤビューモニタ１４０は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ１４０は、ウィンドシールド１０１の車幅方向の中央上部に配置されている。

右サイドモニタ１５０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドモニタ１５０は、車両用表示制御装置１０の表示制御部９０から出力された映像信号に基づき、車両１００の右側後方映像を表示する。具体的に、右サイドモニタ１５０は、図５に示すような右側後方映像を表示する。右サイドモニタ１５０は、車両１００の右側方の車体１００Ｒの映り込みにより後方視界が阻害される範囲がある。右サイドモニタ１５０は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ１５０は、ダッシュボード１０２の車幅方向の右側に配置されている。

左サイドモニタ１６０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含むディスプレイである。左サイドモニタ１６０は、車両用表示制御装置１０の表示制御部９０から出力された映像信号に基づき、車両１００の左側後方映像を表示する。具体的に、左サイドモニタ１６０は、図５に示すような左側後方映像を表示する。左サイドモニタ１６０は、車両１００の左側方の車体１００Ｌの映り込みにより後方視界が阻害される範囲がある。左サイドモニタ１６０は、運転者から視認容易な位置に配置されている。より詳しくは、左サイドモニタ１６０は、ダッシュボード１０２の車幅方向の左側に配置されている。

認識辞書記憶部２００は、例えば、四輪車、二輪車、人を含む移動体の正面視の形状、大きさ、色などのパターンを照合可能な認識辞書を記憶している。認識辞書記憶部２００は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

図３に戻って、車両用表示制御装置１０は、記憶部２０と、制御部３０とを有する。

記憶部２０は、車両用表示制御装置１０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部２０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

制御部３０は、例えば、ＣＰＵ（Central Processing Unit）などで構成された演算処理装置である。制御部３０は、映像データ取得部４０と、切出部５０と、特定部６０と、検出部７０と、判断部８０と、表示制御部９０とを含む。制御部３０は、記憶部２０に記憶されているプログラムに含まれる命令を実行する。

映像データ取得部４０は、車両１００の後方および側後方を撮影した映像を取得する。映像データ取得部４０が取得する映像データは、例えば、毎秒１２０フレームの画像が連続した映像データである。映像データ取得部４０は、側後方映像データ取得部４１と、後方映像データ取得部４２とを有する。側後方映像データ取得部４１は、右側方カメラ１２０および左側方カメラ１３０が出力した第二映像データを取得する。側後方映像データ取得部４１は、取得した第二映像データを切出部５０に出力する。後方映像データ取得部４２は、後方カメラ１１０が出力した第一映像データ１１０Ａを取得する。後方映像データ取得部４２は、取得した第一映像データ１１０Ａを切出部５０および検出部７０に出力する。

切出部５０は、第一映像データ１１０Ａから、第一映像データ１１０Ａの一部である第一範囲ＡＣを切出す。第一映像データ１１０Ａのどの範囲を第一範囲ＡＣとするかは、あらかじめ登録され記憶されている。本実施形態では、第一範囲ＡＣは、第一映像データ１１０Ａの中央部とする。切出部５０は、切出した後方映像データ１１０Ｃを特定部６０および表示制御部９０に出力する。

切出部５０は、第二映像データから、右サイドモニタ１５０および左サイドモニタ１６０に合わせた右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌを切出す。切出部５０は、切出した右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌを表示制御部９０に出力する。

特定部６０は、第一映像データ１１０Ａにおける、第一範囲ＡＣの側方に位置する第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定する。より詳しくは、特定部６０は、右側方カメラ１２０および左側方カメラ１３０の撮影向きや切出部５０により第二映像データから切出された右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌに一致またはほぼ一致する範囲として予め定められている範囲を、第二範囲ＡＲおよび第二範囲ＡＬとして特定する。また、特定部６０は、右側方カメラ１２０および左側方カメラ１３０の撮影向きや切出部５０により第二映像データから切出された右側後方映像データ１１０Ｒおよび左側後方映像データ１１０Ｌに基づいて予め定められている範囲を死角範囲ＢＲおよび死角範囲ＢＬとして特定する。特定部６０は、他の特定手法として、第二映像データと第一映像データ１１０Ａとに基づき、画像のマッチングを行って、図４に示すように、第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定してもよい。この場合において、第二映像データが切出部５０によって切出し処理が行われている場合は、左側後方映像データ１１０Ｌおよび右側後方映像データ１１０Ｒとの画像のマッチングを行う。特定部６０は、特定した第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとの情報を検出部７０に出力する。特定部６０の処理は、後方カメラ１１０または右側方カメラ１２０または左側方カメラ１３０が角度調節されたり交換されたりした場合に実行されるように制御部３０で制御される。

特定部６０は、リヤビューモニタ１４０に、図４に示すように、後方映像データ１１０Ｃとともに第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを示す枠を表示し、運転者などの操作によって設定するようにしてもよい。具体的には、運転者などが、右サイドモニタ１５０に表示された右側後方映像データ１１０Ｒおよび左サイドモニタ１６０に表示された左側後方映像データ１１０Ｌと、リヤビューモニタ１４０に表示された枠とが一致するように、枠を正しい位置に合わせる。このようにして、特定部６０は、第一映像データ１１０Ａにおける第二範囲ＡＲと第二範囲ＡＬと死角範囲ＢＲと死角範囲ＢＬとを特定してもよい。

検出部７０は、第一映像データ１１０Ａから移動体Ｖを検出する。検出部７０は、第一映像データ１１０Ａの全体に対して移動体を検出し、検出された移動体が死角範囲ＢＲまたは死角範囲ＢＬに存在するか判断してもよく、死角範囲ＢＲまたは死角範囲ＢＬに対して移動体の検出を行ってもよい。検出部７０は、第一映像データ１１０Ａまたは第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬにおいて、移動体認識を行い、後方移動体Ｖを認識する認識部７１を有する。認識部７１は、第一映像データ１１０Ａまたは第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに対して、認識辞書記憶部２００が記憶している認識辞書を用いたパターンマッチングを行い、後方移動体Ｖの存在を検出する。認識部８１Ａは、フレームごとの第一映像データ１１０Ａにおける後方移動体Ｖ１の大きさの変化に基づき、後方移動体Ｖ１が車両１００に近接しているか離接しているかを認識する。検出部７０は、検出結果を表示制御部９０に出力する。

判断部８０は、検出部７０で検出された後方移動体Ｖが死角範囲ＢＲまたは死角範囲ＢＬに存在するか否かを判断する。具体的には、図４に示す第一映像データ１１０Ａの場合、後方移動体Ｖ１が死角範囲ＢＬに存在すると判断される。

表示制御部９０は、通常時の通常表示処理として、後方映像データ１１０Ｃをリヤビューモニタ１４０に表示させる。表示制御部９０は、通常時の通常表示処理として、第一右側後方映像データ１１０Ｒを右サイドモニタ１５０に表示させる。言い換えると、表示制御部９０は、通常時は、右側方カメラ１２０で撮影された第二映像データに基づく第一右側後方映像データ１１０Ｒを右サイドモニタ１５０に表示させる。表示制御部９０は、通常時の通常表示処理として、第一左側後方映像データ１１０Ｌを左サイドモニタ１６０に表示させる。言い換えると、表示制御部９０は、通常時は、左側方カメラ１３０で撮影された第二映像データに基づく第一左側後方映像データ１１０Ｌを左サイドモニタ１６０に表示させる。

表示制御部９０は、毎フレームまたは所定フレームごとに、所定条件を満たすか否かを判定して、所定条件を満たす場合、右サイドモニタ１５０および左サイドモニタ１６０に死角範囲ＢＲまたは死角範囲ＢＬを含めて表示させる死角表示処理を行う。より詳しくは、表示制御部９０は、判断部８０で死角範囲ＢＲまたは死角範囲ＢＬに後方移動体Ｖが存在すると判断された場合、第一映像データ１１０Ａから切出された第二右側後方映像データ１１０Ｒ２（図７参照）、第二左側後方映像データ１１０Ｌ２（図７参照）を右サイドモニタ１５０および左サイドモニタ１６０に表示させる。表示制御部９０は、後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬから外れた場合、右サイドモニタ１５０および左サイドモニタ１６０を通常表示に戻す。

表示制御部９０は、後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬで検出された場合であっても、後方移動体Ｖが死角範囲ＢＲまたは死角範囲ＢＬに少ししか存在していない（少ししか映っていない）場合、右サイドモニタ１５０および左サイドモニタ１６０は、通常の表示のままとしてもよい。具体的には例えば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、後方移動体Ｖの全体が写った場合の面積の半分以下である場合、通常の表示のままとしてもよい。

次に、図６を用いて、表示制御部９０による死角表示処理の流れについて説明する。図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置の表示制御部における処理の流れを示すフローチャートである。

表示制御部９０は、車両１００の後方に後方移動体Ｖまたは後方移動体Ｖの一部分（以下、後方移動体Ｖとして説明する）の検出ありか否かを判定する（ステップＳ１１）。より詳しくは、表示制御部９０は、検出部７０で第一映像データ１１０Ａにおいて後方移動体Ｖが検出されたか否かを判定する。

表示制御部９０は、車両１００の後方に後方移動体Ｖが検出されていないと判定した場合（ステップＳ１１でＮｏ）、処理を終了する。

表示制御部９０は、車両１００の後方に後方移動体Ｖの検出ありと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

表示制御部９０は、検出した後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在するか否かを判定する（ステップＳ１２）。より詳しくは、表示制御部９０は、検出部７０で、第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在する後方移動体Ｖが検出されたか否かを判定する。

表示制御部９０は、検出した後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在していないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１１に戻って処理を繰り返す。

表示制御部９０は、検出した後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在すると判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。

表示制御部９０は、検出した後方移動体Ｖが車両１００に接近中であるか否かを判定する（ステップＳ１３）。より詳しくは、例えば、表示制御部９０は、検出部７０で後方移動体Ｖが車両１００に近接していると検出されたか否かを判定する。

表示制御部９０は、後方移動体Ｖが車両１００に接近中でないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１１に戻って処理を繰り返す。

表示制御部９０は、後方移動体Ｖが車両１００に接近中であると判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。

表示制御部９０は、車両１００の側方に移動体が存在するか否かを判定する（ステップＳ１４）。より詳しくは、表示制御部９０は、第二映像データにおける車体１００Ｒ、車体１００Ｌの映り込みを除いた部分と、第一映像データ１１０Ａの該当部分とを比較し、差異がある場合、車両１００の側方に移動体が存在すると判定する。このようにして、表示制御部９０は、右側方カメラ１２０または左側方カメラ１３０でしか撮影されず、後方カメラ１１０では撮影されない、車両１００の側方に存在する移動体を検出する。

表示制御部９０は、車両１００の側方に移動体が存在しないと判定した場合（ステップＳ１４でＮｏ）、処理を終了する。

表示制御部９０は、車両１００の側方に移動体が存在すると判定した場合（ステップＳ１４でＹｅｓ）、ステップＳ１５に進む。

表示制御部９０は、右サイドモニタ１５０および左サイドモニタ１６０に、第一映像データ１１０Ａから切出された第二右側後方映像データ１１０Ｒ２および第二左側後方映像データ１１０Ｌ２を表示させる（ステップＳ１５）。より詳しくは、表示制御部９０は、切出部５０に対して、第一映像データ１１０Ａの第一範囲ＡＣの側方に位置する第一範囲ＡＣおよび第二範囲ＡＲを第二右側後方映像データ１１０Ｒ２および第二左側後方映像データ１１０Ｌ２として切出させる。そして、表示制御部９０は、切出させた第二右側後方映像データ１１０Ｒ２および第二左側後方映像データ１１０Ｌ２を右サイドモニタ１５０および左サイドモニタ１６０に表示させる。

表示制御部９０は、後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲ外または死角範囲ＢＬ外であるか否かを判定する（ステップＳ１６）。より詳しくは、表示制御部９０は、検出部７０で後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲ外または死角範囲ＢＬ外であると検出されたか否かを判定する。

表示制御部９０は、後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲ外または死角範囲ＢＬ外でないと判定した場合（ステップＳ１６でＮｏ）、ステップＳ１４に戻って処理を繰り返す。

表示制御部９０は、後方移動体Ｖの位置が第一映像データ１１０Ａの死角範囲ＢＲ外または死角範囲ＢＬ外であると判定した場合（ステップＳ１６でＹｅｓ）、ステップＳ１７に進む。

表示制御部９０は、右サイドモニタ１５０および左サイドモニタ１６０を通常表示とする（ステップＳ１７）。より詳しくは、表示制御部９０は、右サイドモニタ１５０および左サイドモニタ１６０に、第一映像データ１１０Ａから切出された第二右側後方映像データ１１０Ｒ２、第二左側後方映像データ１１０Ｌ２を表示させる。

表示制御部９０は、検出した後方移動体Ｖが第一映像データ１１０Ａの死角範囲ＢＲまたは死角範囲ＢＬに存在するか否かの判定条件を、車両１００と後方移動体Ｖの距離によって変更してもよい。例えば、検出した後方移動体Ｖまでの距離が近い場合は、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の２５％以上であれば存在すると判断する。また、検出した後方移動体Ｖまでの距離が遠い場合は、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の７５％以上であれば存在すると判断する。車両１００と検出した後方移動体Ｖまでの距離は、第一映像データ１１０Ａから認識部７１による後方移動体Ｖを検出した際に、検出した後方移動体の輪郭に基づく接地位置を特定し、接地位置の第一映像データ１１０Ａにおける位置関係により求めることができる。具体的には、車両１００から後方移動体Ｖまでの距離が１００ｍ以上であれば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の７５％以上であれば存在すると判断する。また、車両１００から後方移動体Ｖまでの距離が５０ｍ以上１００ｍ未満であれば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の５０％以上であれば存在すると判断する。さらに、車両１００から後方移動体Ｖまでの距離が５０ｍ未満であれば、死角範囲ＢＲまたは死角範囲ＢＬに映る後方移動体Ｖの面積が、全体が映った場合の面積の２５％以上であれば存在すると判断する。

図４を用いて、表示制御部９０による死角表示処理の具体例を説明する。なお、後方移動体Ｖ１は、車両１００に接近中とする。表示制御部９０は、ステップＳ１１において、第一映像データ１１０Ａに後方移動体Ｖ１、後方移動体Ｖ２検出ありと判定する（ステップＳ１１でＹｅｓ）。そして、表示制御部９０は、後方移動体Ｖ１の位置が第一映像データ１１０Ａの死角範囲ＢＬに存在すると判定する（ステップＳ１２でＹｅｓ）。そして、後方移動体Ｖ１が接近中であると判定される（ステップＳ１３でＹｅｓ）。そして、車両１００の側方に移動体が存在しないと判定される（ステップＳ１４でＹｅｓ）。そして、ステップＳ１５において、表示制御部９０は、左サイドモニタ１６０に、第二左側後方映像データ１１０Ｌ２を表示させる。

具体的には、表示制御部９０は、図７に示すように、左サイドモニタ１６０に、後方移動体Ｖ１が映る第二左側後方映像データ１１０Ｌ２を表示させ、右サイドモニタ１５０に、第二右側後方映像データ１１０Ｒ２させる。図７は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。

または、表示制御部９０は、図８に示すように、左サイドモニタ１６０に、後方移動体Ｖ１が映る第二左側後方映像データ１１０Ｌ２を表示させ、右サイドモニタ１５０に、通常表示である、第一右側後方映像データ１１０Ｒを表示させてもよい。図８は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。

このようにして、車両用表示システム１は、表示制御部９０で、右側方カメラ１２０および左側方カメラ１３０の死角に後方移動体Ｖが検出された場合、右サイドモニタ１５０および左サイドモニタ１６０に対して、第二右側後方映像データ１１０Ｒ２、第二左側後方映像データ１１０Ｌ２を表示させる。

上述したように、本実施形態に係る車両用表示システム１は、右側方カメラ１２０および左側方カメラ１３０の死角に後方移動体Ｖが存在する場合、右サイドモニタ１５０および左サイドモニタ１６０に対して、第一映像データ１１０Ａから切出された第二右側後方映像データ１１０Ｒ２、第二左側後方映像データ１１０Ｌ２を表示させる。このように、車両用表示システム１は、後方移動体Ｖが右側方カメラ１２０および左側方カメラ１３０の死角に存在する場合であっても、右サイドモニタ１５０および左サイドモニタ１６０に後方移動体Ｖを表示することができる。これにより、車両用表示システム１は、後方移動体Ｖを適切に表示することができる。このため、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

［第二実施形態］
図９ないし図１３を参照しながら、本実施形態に係る車両用表示システムについて説明する。車両用表示システムは、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システムは、制御部における処理が車両用表示システム１の制御部３０における処理と異なる。

検出部は、後方移動体Ｖの移動方向を検出する。検出部は、フレームごとの、第一映像データ１１０における後方移動体Ｖの位置の変化に基づき、後方移動体Ｖの移動方向を検出する。

判断部は、検出された後方移動体Ｖが第一範囲ＡＣから死角範囲ＢＲまたは死角範囲ＢＬへ移動しているか否かを判断する。

表示制御部は、判断部で第一範囲ＡＣまたは第二範囲ＡＲまたは第二範囲ＡＬから、死角範囲ＢＲまたは死角範囲ＢＬへ後方移動体Ｖが移動していると判断された場合、第二右側後方映像データ１１０Ｒ３または第二左側後方映像データ１１０Ｌ３を右サイドモニタ１５０または左サイドモニタ１６０に表示させる。

図９を用いて、車両用表示システムの車両用表示制御装置における処理の流れについて説明する。図９は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。

表示制御部は、ステップＳ２１〜ステップＳ２７に示す処理を行う。ステップＳ２１、ステップＳ２３は、図６に示すフローチャートのステップＳ１１、ステップＳ１３と同様の処理であり、ステップＳ２４〜ステップＳ２７は、図６に示すフローチャートのステップＳ１４〜ステップＳ１７と同様の処理である。

表示制御部は、第一範囲ＡＣまたは第二範囲ＡＲまたは第二範囲ＡＬから、死角範囲ＢＲまたは死角範囲ＢＬへ後方移動体Ｖが移動しているか否かを判定する（ステップＳ２２）。より詳しくは、表示制御部は、検出部で第一範囲ＡＣまたは第二範囲ＡＲまたは第二範囲ＡＬから、死角範囲ＢＲまたは死角範囲ＢＬへ後方移動体Ｖが移動していると検出されたか否かを判定する。

表示制御部は、第一範囲ＡＣまたは第二範囲ＡＲまたは第二範囲ＡＬから、死角範囲ＢＲまたは死角範囲ＢＬへ後方移動体Ｖが移動していないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２１に戻って処理を繰り返す。

表示制御部は、第一範囲ＡＣまたは第二範囲ＡＲまたは第二範囲ＡＬから、死角範囲ＢＲまたは死角範囲ＢＬへ後方移動体Ｖが移動していると判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。

図１０、図１１を用いて、表示制御部による死角表示処理の具体例を説明する。図１０は、第二実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。図１１は、第二実施形態に係る車両用表示システムの後方カメラで撮影された映像データの他の例を示す図である。図１１は、図１０に示す状態より少し後の状態である。なお、後方移動体Ｖ３は、第一映像データ１１０Ａ２および第一映像データ１１０Ａ３に映っているように、第一範囲ＡＣから死角範囲ＢＬへ移動し、後方移動体Ｖ４は、車両１００から遠ざかっているものとする。表示制御部は、ステップＳ２１において、第一映像データ１１０Ａ２に後方移動体Ｖ３、Ｖ４検出ありと判定する（ステップＳ２１でＹｅｓ）。そして、表示制御部は、後方移動体Ｖ２が第一範囲ＡＣから死角範囲ＢＬへ移動していると判定される（ステップＳ２２でＹｅｓ）。そして、後方移動体Ｖ３が接近中であると判定される（ステップＳ２３でＹｅｓ）。そして、車両１００の側方に移動体が存在しないと判定される（ステップＳ２４でＹｅｓ）。そして、ステップＳ２５において、表示制御部は、左サイドモニタ１６０に、第二左側後方映像データ１１０Ｌ３を表示させる。

具体的には、表示制御部は、図１２に示すように、左サイドモニタ１６０に、後方移動体Ｖ３が映る第二左側後方映像データ１１０Ｌ３を表示させ、右サイドモニタ１５０に、第二右側後方映像データ１１０Ｒ３を表示させる。図１２は、第二実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。

または、表示制御部は、図１３に示すように、左サイドモニタ１６０に、後方移動体Ｖ３が映る第二左側後方映像データ１１０Ｌ３を表示させ、右サイドモニタ１５０に、通常表示である、第一右側後方映像データ１１０Ｒを表示させてもよい。図１３は、第二実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。

このようにして、車両用表示システム１は、表示制御部で、死角範囲ＢＲまたは死角範囲ＢＬへ移動する後方移動体Ｖが検出された場合、右サイドモニタ１５０および左サイドモニタ１６０に対して、第二右側後方映像データ１１０Ｒ３、第二左側後方映像データ１１０Ｌ３を表示させる。

上述したように、本実施形態に係る車両用表示システムは、死角範囲ＢＲまたは死角範囲ＢＬへ移動する後方移動体Ｖが検出された場合、右サイドモニタ１５０または左サイドモニタ１６０に対して、第一映像データ１１０Ａから切出された第二右側後方映像データ１１０Ｒ３、第二左側後方映像データ１１０Ｌ３を表示させる。これにより、車両用表示システム１は、後方移動体Ｖを適切に表示することができる。このため、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

表示制御部９０は、図６に示すフローチャートのステップＳ１１において、第一映像データ１１０Ａで後方移動体Ｖが複数検出された場合、所定条件を満たす後方移動体Ｖについて、ステップＳ１２以降の処理を行うようにしてもよい。より詳しくは、表示制御部９０は、第一映像データ１１０Ａで後方移動体Ｖが複数検出された場合、第一映像データ１１０Ａの死角範囲ＢＲ側と死角範囲ＢＬ側とで車両１００との距離が最も小さい各後方移動体Ｖについて、ステップＳ１２以降の処理を行うようにしてもよい。これにより、車両用表示システム１は、複数検出された後方移動体Ｖの中から、例えば最も近接しているなど、より優先的に確認する必要がある後方移動体Ｖを確認することができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

表示制御部９０は、図６に示すフローチャートのステップＳ１１〜Ｓ１３の判定に加えて、後方移動体Ｖと車両１００との相対速度が所定条件を満たすか否かを判定してもよい。例えば、表示制御部９０は、後方移動体Ｖが車両１００との相対速度が所定値以上の場合、ステップＳ１４以降の処理を行うようにしてもよい。ここで、後方移動体Ｖと車両１００との相対速度は、フレームごとの第一映像データ１１０Ａにおける後方移動体Ｖの映像の大きさの変化に基づき、算出することが可能である。これにより、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

認識部７１は、後方移動体Ｖを検出する際、車両１００の前面と後面とを判別可能な認識辞書を用いて、車両１００の前面として認識された後方移動体Ｖのみを検出対象としてもよい。車両１００の後面が認識された場合は、対向車など反対方向を向いている車両であるため、検出対象から除外できる。

さらに、表示制御部９０は、図６に示すフローチャートのステップＳ１１〜Ｓ１４、Ｓ１６における判定条件が、一定時間継続して成立したら、各ステップにおいてＹｅｓと判定してもよい。これにより、車両用表示システム１は、不用意に右サイドモニタ１５０および左サイドモニタ１６０に表示する映像が切り替わることを抑制することができる。このように、車両用表示システム１は、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

表示制御部９０は、図６に示すフローチャートのステップＳ１１の前に、車両１００の現在位置に基づき、図６に示すフローチャートの処理を行うか否かを判定してもよい。例えば、表示制御部９０は、車両１００の現在位置を取得する現在地データ取得部と、地図情報を含む周辺状況を取得する周辺状況データ取得部とを有し、車両１００が繁華街など所定地点を走行している場合、図６に示すフローチャートの処理を行わないこととしてもよい。または、表示制御部９０は、現在地データ取得部と周辺状況データ取得部とを有し、車両１００が所定速度以上で走行している場合、図６に示すフローチャートの処理を行うこととしたりしてもよい。

表示制御部９０は、右サイドモニタ１５０または左サイドモニタ１６０に、第二右側後方映像データ１１０Ｒ２または第二左側後方映像データ１１０Ｌ２を表示させる場合、全体または一部を、所定透明度で半透明に着色しても表示してもよい。これにより、車両用表示システム１は、右サイドモニタ１５０または左サイドモニタ１６０が、通常表示ではなく、第二右側後方映像データ１１０Ｒ２または第二左側後方映像データ１１０Ｌ２を表示していることを容易に確認することができる。このように、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。

１ 車両用表示システム
１０ 車両用表示制御装置
３０ 制御部
４０ 映像データ取得部
４１ 側後方映像データ取得部
４２ 後方映像データ取得部
５０ 切出部
６０ 特定部
７０ 検出部
７１ 認識部
８０ 判断部
９０ 表示制御部
１００ 車両
１１０ 後方カメラ
１１０Ａ 第一映像データ
１２０ 右側方カメラ（側後方カメラ）
１３０ 左側方カメラ（側後方カメラ）
１４０ リヤビューモニタ
１５０ 右サイドモニタ
１６０ 左サイドモニタ
２００ 認識辞書記憶部
ＡＣ 第一範囲
ＡＲ 第二範囲
ＡＬ 第二範囲
ＢＲ 死角範囲
ＢＬ 死角範囲
Ｖ 後方移動体

Claims (7)

1. 車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得部と、
   前記車両の側方に配置され、前記車両の後側方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得部と、
   前記後方映像データ取得部が取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切出す切出部と、
   前記第一映像データにおける、前記第一範囲の側方に位置し、前記車両の側方の映像を表示するサイドモニタの死角に該当する死角範囲を特定する特定部と、
   前記第一映像データにおいて、移動体認識を行い、後方移動体の存在を検出する検出部と、
   前記検出部で検出された前記後方移動体が前記死角範囲に存在するか否かを判断する判断部と、
   前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記判断部で前記死角範囲に前記後方移動体が存在すると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる表示制御部と
   を備えることを特徴とする車両用表示制御装置。
2. 前記検出部は、前記後方移動体の移動状況を検出し、
   前記判断部は、前記検出部で検出された前記後方移動体が前記死角範囲に存在し、かつ、検出した前記後方移動体の前記移動状況が所定条件を満たすか否かを判断し、
   前記表示制御部は、前記判断部で、前記検出部で検出された前記後方移動体が前記死角範囲に存在し、かつ、検出した前記後方移動体の前記移動状況が所定条件を満たすと判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる
   請求項１に記載の車両用表示制御装置。
3. 前記検出部は、前記後方移動体の移動方向を検出し、
   前記判断部は、検出された前記後方移動体が前記第一範囲から前記死角範囲へ移動しているか否かを判断し、
   前記表示制御部は、前記第一範囲として切出された映像を前記リヤビューモニタに表示させ、前記判断部で前記第一範囲から前記死角範囲へ前記後方移動体が移動していると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる
   請求項１または２に記載の車両用表示制御装置。
4. 前記検出部は、検出された前記後方移動体が前記車両に接近していることを検出し、
   前記判断部は、検出された前記後方移動体が前記車両に接近しているか否かを判断し、
   前記表示制御部は、前記判断部で前記後方移動体が前記車両に接近していると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる
   請求項１から３のいずれか一項に記載の車両用表示制御装置。
5. 請求項１から４のいずれか一項に記載の車両用表示制御装置と、
   前記後方カメラ、前記側後方カメラ、前記リヤビューモニタ、前記サイドモニタの少なくともいずれかを備える
   ことを特徴とする車両用表示システム。
6. 車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、
   前記車両の側方に配置され、前記車両の後側方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、
   前記後方映像データ取得ステップが取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切出す切出ステップと、
   前記第一映像データにおいて、移動体認識を行い、後方移動体の存在を検出する検出ステップと、
   前記検出ステップで検出された前記後方移動体が、前記第一範囲の側方に位置し、前記車両の側方の映像を表示するサイドモニタの死角に該当する死角範囲に存在するか否かを判断する判断ステップと、
   前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記判断ステップで前記死角範囲に前記後方移動体が存在すると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる表示制御ステップと
   を含む車両用表示制御方法。
7. 車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、
   前記車両の側方に配置され、前記車両の後側方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、
   前記後方映像データ取得ステップが取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切出す切出ステップと、
   前記第一映像データにおいて、移動体認識を行い、後方移動体の存在を検出する検出ステップと、
   前記検出ステップで検出された前記後方移動体が、前記第一範囲の側方に位置し、前記車両の側方の映像を表示するサイドモニタの死角に該当する死角範囲に存在するか否かを判断する判断ステップと、
   前記第一範囲として切出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させ、前記判断ステップで前記死角範囲に前記後方移動体が存在すると判断された場合、前記第二範囲として切出された映像を前記サイドモニタに表示させる表示制御ステップと
   を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。

Images