JP2018147055A - 情報報知装置、移動体及び情報報知システム - Google Patents

情報報知装置、移動体及び情報報知システム Download PDF

Info

Publication number
JP2018147055A
JP2018147055A JP2017038802A JP2017038802A JP2018147055A JP 2018147055 A JP2018147055 A JP 2018147055A JP 2017038802 A JP2017038802 A JP 2017038802A JP 2017038802 A JP2017038802 A JP 2017038802A JP 2018147055 A JP2018147055 A JP 2018147055A
Authority
JP
Japan
Prior art keywords
information
image
vehicle
moving body
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017038802A
Other languages
English (en)
Other versions
JP6599387B2 (ja
Inventor
吉野 仁
Hitoshi Yoshino
仁 吉野
山口 良
Makoto Yamaguchi
山口  良
潤一 中島
Junichi Nakajima
潤一 中島
真行 宮下
Masayuki Miyashita
真行 宮下
和馬 豊見本
Kazuma Tomimoto
和馬 豊見本
三上 学
Manabu Mikami
学 三上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2017038802A priority Critical patent/JP6599387B2/ja
Publication of JP2018147055A publication Critical patent/JP2018147055A/ja
Application granted granted Critical
Publication of JP6599387B2 publication Critical patent/JP6599387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】移動体と同じ方向へ移動する同方向移動体では検出できない対象物に関する対象物情報を、当該移動体の搭乗者に報知することを課題とする。
【解決手段】移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置において、前記移動体の移動経路に沿うように該移動体とは逆方向へ移動する逆方向移動体から、該逆方向移動体の周囲に存在する対象物の検出結果情報を取得する検出結果情報取得手段と、前記検出結果情報取得手段により取得した検出結果情報に対応する対象物に関する対象物情報を、前記移動体の搭乗者に報知する報知手段とを有する。
【選択図】図1

Description

本発明は、自動車等の移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置、移動体及び情報報知システムに関するものである。
特許文献1には、自車両のカメラで自車両前方を撮影して得られる撮像画像中における前方車両によって死角となっている部分に、前方車両のカメラで撮像された画像を重ね合わせ、前方車両を透過した合成画像を生成する車載画像処理装置が開示されている。この車載画像処理装置では、生成した合成画像を、フロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示させる。
前記特許文献1に開示の車載画像処理装置では、自車両が走行する道路(移動経路)上を自車両と同じ方向へ移動する前方車両から、当該前方車両のカメラで撮像された画像を受信して生成される合成画像を表示画面に表示させ、これにより前方車両による死角領域に存在する対象物を自車両の運転者に対して報知することができる。しかしながら、このように前方車両のカメラで撮像された画像を受信する方法では、前方車両のカメラによる撮像範囲内の対象物しか検出できない。すなわち、前方車両のカメラによる撮像範囲外に存在する対象物、例えば、自車両だけでなく前方車両でも死角になる場所(対向車両間、対向車両の奥側など)に存在する対象物については検出できない。そのため、そのような場所に存在する対象物に関する情報を、自車両の運転者等の搭乗者に認識させることができない。
本発明の一態様に係る情報報知装置は、移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置において、前記移動体の移動経路に沿うように該移動体とは逆方向へ移動する逆方向移動体から、該逆方向移動体の周囲に存在する対象物の検出結果情報を取得する検出結果情報取得手段と、前記検出結果情報取得手段により取得した検出結果情報に対応する対象物に関する対象物情報を、前記移動体の搭乗者に報知する報知手段とを有する。
前記情報報知装置において、前記報知手段は、前記搭乗者の聴覚を通じて前記対象物情報を報知する音出力手段を含むものであってもよい。
また、前記情報報知装置において、前記報知手段は、前記搭乗者の視覚を通じて前記対象物情報を報知する表示手段を含むものであってもよい。
また、前記情報報知装置において、前記検出結果情報には、前記対象物の位置情報が含まれており、前記表示手段は、前記移動体の周囲を示す地図画像上における前記位置情報に対応する画像部分に前記対象物を示す対象物画像を表示することにより、前記対象物情報を報知するものであってもよい。
また、前記情報報知装置において、前記検出結果情報には、前記対象物の位置情報が含まれており、
前記表示手段は、前記移動体のウィンドシールドから視認される移動体外部の視界中における前記位置情報に対応する視界部分に重ねて、又は、該視界を映し出す視界画像中における前記位置情報に対応する画像部分に重ねて、前記対象物を示す対象物画像を表示することにより、前記対象物情報を報知するものであってもよい。
また、前記情報報知装置において、前記検出結果情報には、前記逆方向移動体に搭載される撮像手段により該逆方向移動体の周囲に存在する対象物を撮像して得られる撮像画像が含まれており、前記表示手段は、前記撮像画像に基づいて生成される前記対象物画像を表示するものであってもよい。
また、前記情報報知装置において、前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界中における前記位置情報に対応する視界部分に重ねて、前記対象物画像を表示するものであってもよい。
また、前記情報報知装置において、前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像中における前記位置情報に対応する画像部分に前記対象物画像を重ねた合成画像を表示するものであってもよい。
また、前記情報報知装置において、前記検出結果情報取得手段は、移動通信網を介して前記検出結果情報を前記逆方向移動体から受信して取得するものであってもよい。
また、前記情報報知装置において、前記検出結果情報取得手段は、前記逆方向移動体との間の無線通信により前記検出結果情報を受信して取得するものであってもよい。
また、前記情報報知装置において、前記対象物は、前記移動体からの視界中の死角領域に存在する人又は軽車両であってもよい。
本発明の他の態様に係る移動体は、移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置を備えた移動体において、その情報報知装置として、前記情報報知装置を用いたものである。
ここでいう移動体には、乗用車、バス、トラック若しくは自動二輪車を含む自動車、線路上を走行する鉄道車両、航空機、船舶、産業用重機あるいは産業用ロボットなどが含まれる。
また、本発明の更に他の態様に係る情報報知システムは、移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置が、該移動体に設けられ、前記移動体の移動経路に沿うように該移動体とは逆方向へ移動する逆方向移動体の周囲に存在する対象物を検出する対象物検出手段が、該逆方向移動体に設けられた情報報知システムであって、その情報報知装置として、前記情報報知装置を用いたものである。
本発明によれば、移動体と同じ方向へ移動する同方向移動体では検出できない対象物に関する対象物情報を、当該移動体の搭乗者に報知することができる。
本発明の実施形態に係る表示システムの一例を示す説明図。 本発明の実施形態に係る表示システムの他の例を示す説明図。 本実施形態における表示装置を搭載する自車両の構成を示す模式図。 本実施形態における表示装置で用いるHUDの構成を示す説明図。 本実施形態の表示装置における画像処理装置の主要構成を示すハードウェアブロック図。 本実施形態における表示装置の機能ブロック図。 本実施形態における先行車両に搭載されるカメラの機能ブロック図。 本実施形態において、対向車線で渋滞している場合において、第一対向車両とその前に停止している第二対向車両との間を通って、歩行者が自車両の走行車線を横切ろうとしている例を示す説明図。 本実施形態の表示装置により対向車両撮像画像を表示してない状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 本実施形態の表示装置により対向車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 本実施形態の表示処理の流れを示すシーケンス図。 本実施形態における通信網を構成する基地局の機能ブロック図。 本実施形態の表示装置により対向車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の他の例を示す模式図。 変形例1において、対向車両の斜め後方を自転車が走行している例を示す説明図。 変形例1における表示装置により対向車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 変形例2において、自車両が対向車両とすれ違う際に、自車両から見て対向車両の反対側に自転車が自車両と同じ方向へ走行している例を示す説明図。 変形例2の他の例であって、片側二車線の道路において、左車線を走行する自車両の斜め後方を同方向へ移動する側方車両が右車線を走行し、その側方車両の後方をバイクが走行している例を示す説明図。 変形例2の他の例における表示装置により側方車両撮像画像を表示した状態において、自車両の後方ウィンドシールドを通じて運転者が視認する自車両後方の視界の一例を示す模式図。 変形例3における表示装置で用いるディスプレイ装置の構成を示す説明図。 変形例3における表示装置により自車両の前方ウィンドシールド上の表示画面に表示された合成画像の一例を示す模式図。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の実施形態に係る情報報知システムとしての表示システムの一例を示す説明図である。
本実施形態の表示システムは、移動体である自車両(乗用車、トラック、バスなど)40(1)に搭載される情報報知装置としての表示装置1と、自車両40(1)の移動経路である道路に沿うように自車両40(1)の対向車線を逆方向へ移動する逆方向移動体としての第一対向車両40(2)に搭載される対象物検出手段としての撮像手段であるカメラ50とを備える。なお、本実施形態では、移動体が自動車である場合について説明するが、本実施形態における移動体は、自動車のほか、線路上を走行する鉄道車両、航空機、船舶、産業用重機、産業用ロボットなどであってもよい。
本実施形態の表示システムにおいて、自車両40(1)上の表示装置1は、第一対向車両40(2)上のカメラ50で撮像した撮像画像のデータ(検出結果情報)を、通信網60を介して受信することができる。この通信網60は、撮像画像のデータを通信可能な通信網であれば特に制限はないが、広く普及しているセルラー方式の移動通信網であるのが好ましい。また、このような通信網60を利用せず、例えば、図2に示すように、自車両40(1)と第一対向車両40(2)との間の無線通信(車車間通信)によって、第一対向車両40(2)上のカメラ50で撮像した撮像画像のデータを自車両40(1)上の表示装置1が受信するようにしてもよい。
図3は、本実施形態における表示装置1を搭載する自車両40(1)の構成を示す模式図である。
図4は、本実施形態における表示装置1で用いる表示手段としてのヘッドアップディスプレイ(以下「HUD」という。)20の構成を示す説明図である。
本実施形態の表示装置1は、画像処理装置10とHUD20とに大別することができる。HUD20は、例えば自車両40(1)のダッシュボードに配置されたプロジェクタにより、自車両40(1)の前方ウィンドシールドであるフロントガラス42に画像を投射するものである。
HUD20は、主に、表示装置1の画像処理装置10において生成される画像を表示するための画像光(光束)を照射する光照射装置21、照射レンズ22、画像光の照射範囲を制御するための光学レンズ23、画像光の照射位置を制御するための反射ミラー24、画像を拡大するための拡大レンズ25で構成される。
光照射装置21が照射した画像光(光束)は、照射レンズ22及び光学レンズ23を介して反射ミラー24に照射される。反射ミラー24で反射した画像光は、拡大レンズ25で拡大されて、自車両40(1)のフロントガラス42に投射される。フロントガラス42に投射された画像光は、フロントガラス42の内壁面で反射され、自車両の運転者Pに向かう。したがって、本実施形態の表示装置1は、自車両のフロントガラス42を通じて視認される自車両前方の視界に重ねて、HUD20によって投射される画像(重畳画像)Gを表示することができる。運転者Pは、HUD20によって投射された画像Gを、自車両のフロントガラス42を通じて視認される自車両前方の視界に重ねた状態で、視認することができる。
投射される画像Gの表示範囲(画像光の照射範囲)は、光学レンズ23を光軸方向へ移動させることで制御することができる。また、画像Gの表示位置(画像光の照射位置)は、反射ミラー24の角度を変更することによって制御することができる。光学レンズ23の移動や反射ミラー24の角度変更は、画像処理装置10により所定の駆動部を制御することによって行うことができる。
図5は、本実施形態の表示装置1における画像処理装置10の主要構成を示すハードウェアブロック図である。
画像処理装置10のハードウェアは、主に、CPU10A、ROM10B、RAM10C、通信I/F10D、データI/F10Eから構成されている。CPU10Aは、ROM10Bに記憶されている各種プログラムを実行することにより、HUD20の駆動制御等の画像表示制御を実行したり、各種画像処理を実行したり、表示装置1の各機能を制御したりする。ROM10Bは、CPU10Aが表示装置1の各機能を制御するために実行する各種プログラムを記憶する。RAM10Cは、CPU10Aのワークエリアとして使用される。通信I/F10Dは、通信網60を介して、第一対向車両40(2)に搭載されるカメラ50等の外部機器との通信を行ったり、自車両40(1)のCAN(Controller Area Network)61を介して、自車両40(1)のナビゲーション装置、GPS装置や車速センサなどの各種車載センサとの通信を行ったりする。データI/F10Eは、HUD20との間の通信を行う。
図6は、自車両40(1)に搭載される表示装置1の機能ブロック図である。
表示装置1の画像処理装置10は、表示装置1の全体機能を制御する制御部11と、第一対向車両40(2)のカメラ50により第一対向車両40(2)の前方を撮像した対向車両撮像画像のデータを通信網60を介して受信する外部通信部12と、外部通信部12で受信した対向車両撮像画像のデータに基づき、自車両40(1)のフロントガラス42を通じて視認される自車両前方の視界に重ねてHUD20により表示させる画像(重畳画像)を生成する画像生成部13と、画像生成部13により生成された画像を表示するHUD20の制御を行う表示制御部14と、自車両40(1)に搭載されているGPS(Global Positioning System)装置43や各種車載センサ(車速センサ、加速度センサ、姿勢センサ、レーダー、温度センサなど)44からの情報を自車両40(1)のCAN61を介して受信する車内通信部15と、自車両40(1)の前方を撮像して自車両撮像画像を得る撮像部16とから構成される。
図7は、第一対向車両40(2)に搭載されるカメラ50の機能ブロック図である。
カメラ50は、カメラ50の全体機能を制御する制御部51と、撮像部53によって第一対向車両40(2)の前方を撮像した対向車両撮像画像のデータを通信網60より送信する外部通信部52と、第一対向車両40(2)の前方を撮像して対向車両撮像画像を得る撮像部53と、第一対向車両40(2)に搭載されているGPS装置43や各種車載センサ44からの情報を第一対向車両40(2)のCAN61を介して受信する車内通信部54とから構成される。
図8は、本実施形態において、対向車線で渋滞している場合に、第一対向車両40(2)とその前に停止している第二対向車両40(3)との間を通って、歩行者Wが自車両40(1)の走行車線を横切ろうとしている例を示す説明図である。
図9は、本実施形態の表示装置1により対向車両撮像画像を表示してない状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
図10は、本実施形態の表示装置1により対向車両撮像画像を表示した状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
図示の例において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界中には、図8に示すように、第二対向車両40(3)による死角領域(図8中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての歩行者Wが第二対向車両40(3)に隠れてしまい、図9に示すように、歩行者Wを視認することができない。そのため、自車両40(1)の運転者Pは、自車両40(1)の走行車線を横切ろうとしている歩行者Wの存在に気付かないまま自車両40(1)を走行させることになり、歩行者Wと接触するおそれがある。なお、死角領域Dに存在する対象物が自転車などの軽車両、自動二輪車(バイク)、自動車などである場合にも、同様のおそれがある。
ここで、第一対向車両40(2)に搭載されている対象物検出手段である撮像手段としてのカメラ50による撮像領域Eには、第二対向車両40(3)による死角領域Dが含まれ、そのカメラ50による撮像画像(対向車両撮像画像)には、自車両40(1)の走行車線を横切ろうとしている歩行者Wが映し出される。本実施形態においては、第一対向車両40(2)に搭載されているカメラ50によって撮像される対向車両撮像画像を自車両40(1)が受信する。そして、受信した対向車両撮像画像(対象物画像)を、HUD20により、図10に示すように、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(3)の側面に重ねて投射表示する。これにより、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wを認識することができ、歩行者Wの存在に気付かないまま自車両40(1)を走行させる事態が抑制される。特に、本実施形態では、運転者Pは、フロントガラス42から視線を外すことなく、死角領域Dに存在する歩行者Wを認識することができるので、歩行者Wの存在を迅速に認識することができ、上述した事態をより効果的に抑制することができる。
図11は、本実施形態の表示処理の流れを示すシーケンス図である。
本実施形態では、自車両40(1)において所定の処理開始条件が満たされることで、自車両40(1)に搭載される表示装置1の制御部11の制御の下、外部通信部12から通信網60を通じて、第一対向車両40(2)へ画像取得要求が送信される(S1)。
所定の処理開始条件は、例えば、第一対向車両40(2)から受信する対向車両撮像画像を常にHUD20により投射表示させる場合には、自車両40(1)のイグニッションをオンにするという条件、表示装置1の電源をオンにするという条件、シフトレバーをDポジションに操作するという条件などであってもよい。
また、所定の処理開始条件は、例えば、運転者Pの希望する期間だけ対向車両撮像画像を投射表示させる場合には、運転者Pによる処理開始操作を受け付けるという条件などであってもよい。
また、所定の処理開始条件は、例えば、予めシステム上で決められた状況(歩行者W等の対象物が死角領域Dに存在する状況)の時期だけ対向車両撮像画像を投射表示させる場合には、当該状況を検知したという条件などであってもよい。なお、このような状況の検知は、例えば、自車両40(1)に前方カメラを搭載し、その前方カメラで撮像された撮像画像に基づいて識別された歩行者Wが撮像画像から識別できなくなったことを判断するものであってもよい。この場合、歩行者Wが撮像画像から識別できなくなったときに、歩行者Wが死角領域Dに入ったことを把握することができる。
第一対向車両40(2)に搭載されるカメラ50の撮像部53は、例えば、第一対向車両40(2)のフロントガラス内壁に取り付けられたルームミラー付近に設置されている。第一対向車両40(2)に搭載されたカメラ50は、撮像部53により、第一対向車両40(2)のフロントガラスを通じて第一対向車両40(2)の前方を常時撮像している。自車両40(1)の外部通信部12から送信された画像取得要求が第一対向車両40(2)の外部通信部52に受信されると、カメラ50の制御部51は、撮像部53により撮像した撮像画像(対向車両撮像画像)を、外部通信部52から通信網60を通じて、自車両40(1)へ送信する処理を開始する(S2)。
ここで、自車両40(1)が第一対向車両40(2)から対向車両撮像画像を受信するためには、画像取得要求の送信先として第一対向車両40(2)を特定する必要がある。そのため、本実施形態では、以下の方法によって画像取得要求の送信先を特定する。
図12は、本実施形態における通信網60を構成する基地局65の機能ブロック図である。
本実施形態における通信網60は、セルラー方式の移動通信網である。そのため、自車両40(1)の外部通信部12は、移動局として、例えば、28GHz帯、5GHz帯、4.2GHz帯などの周波数帯を用いた無線通信により、自車両40(1)が属するセルを形成する基地局65と通信し、基地局65からバックホール回線を介して通信網60のコアネットワーク62に接続される。
本実施形態の基地局65は、主に、通信可能な移動局あるいは他の基地局との間で送受信されるデータを処理するためのデータ処理部66、各種データを記憶する記憶部67、セル内の各移動局と通信するための移動通信部68、通信網60のコアネットワーク62に接続された他の基地局あるいは管理装置等と通信するためのバックホール通信部69で構成される。本実施形態の基地局は、セル内のローカルデータセンターとして機能することができる。具体的には、例えば、位置情報を取得する機能(GPS装置43等)を備えている移動局に対しては、その移動局の現在位置を示す位置情報を当該移動局から受信し、これを記憶部67に記憶する。これにより、基地局65は、そのセル内に属する各移動局の位置情報をデータベースとして保持する。
自車両40(1)における表示装置1の制御部11は、外部通信部12から画像取得要求を送信する際、自車両40(1)に搭載されているGPS装置43から取得される自車両40(1)の位置情報に関連づけて画像取得要求を送信する。この画像取得要求が通信網60の基地局65に受信されると、基地局65のデータ処理部66は、記憶部67に記憶されているデータベースを参照し、受信した画像取得要求に関連づけられた自車両40(1)の位置情報から、自車両40(1)の前方エリア内の位置情報をもつ移動局であって、移動方向が自車両40(1)とは逆向きである移動局を特定し、これにより、自車両40(1)の移動経路に沿うように自車両40(1)とは逆方向へ移動する逆方向移動体である第一対向車両40(2)を特定する。
そして、データ処理部66は、特定した移動局すなわち第一対向車両40(2)の外部通信部52へ自車両40(1)からの画像取得要求を送信する。そして、この画像取得要求を受信した第一対向車両40(2)の制御部51は、その応答として、カメラ50の撮像部53により撮像した対向車両撮像画像を、第一対向車両40(2)に搭載されているGPS装置43から取得される第一対向車両40(2)の位置情報に関連づけて、外部通信部52から送信する処理を実行する。
このように基地局65がローカルデータセンターとして機能することで、同じセル内に属する移動局間における通信については、通信網60のコアネットワーク62を用いずに実現でき、通信網60のコアネットワーク62側の通信トラフィックや処理負荷を軽減することができる。したがって、本実施形態において、自車両40(1)と第一対向車両40(2)との間で行われる通信は、通信網60のコアネットワーク62側に通信トラフィックや処理負荷をかけることなく、実現することができる。
自車両40(1)の制御部11は、外部通信部12から対向車両撮像画像を第一対向車両40(2)の位置情報に関連づけて受信すると(S3)、対向車両撮像画像の視点を変換する視点変換処理を行う(S4)。この視点変換処理では、第一対向車両40(2)のカメラ50の撮像部53で撮像した対向車両撮像画像の視点位置を、自車両40(1)のフロントガラス42を通じて視認される運転者Pの視点位置に変換する。この視点変換処理により、第一対向車両40(2)の視界を映し出す対向車両撮像画像を、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
例えば、第一対向車両40(2)の位置情報と自車両40(1)の位置情報とから、第一対向車両40(2)の撮像部53の視点位置(対向車両撮像画像の視点位置)と自車両40(1)の視点位置(運転者Pの視点位置)との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、対向車両撮像画像の左右反転、画像中心の変更、画像拡大又は画像縮小などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、第一対向車両40(2)の位置情報だけでなく、第一対向車両40(2)の車両データや撮像部53の設定情報(撮像部53の設置高さや撮像方向のデータなど)、自車両40(1)の車両データや自車両40(1)の運転者Pの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。
また、視点変換処理は、このような位置情報を用いずに行うことも可能である。例えば、自車両40(1)に搭載の撮像部16で撮像した自車両撮像画像を、第一対向車両40(2)から受信した対向車両撮像画像と対比し、両画像に映し出されている被写体のマッチング処理を行う。そして、マッチングした被写体の相対位置関係を特定し、その相対位置関係に応じた視点変換パラメータを用いて、対向車両撮像画像の画像中心変更や画像拡大などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
次に、自車両40(1)の制御部11は、視点変換処理後の対向車両撮像画像から、第二対向車両40(3)による自車両40(1)の死角領域(図8中の斜線部分D)に対応する画像部分を抽出する死角領域抽出処理を行う(S5)。この死角領域抽出処理は、視点変換処理後の対向車両撮像画像(対象物画像)を、HUD20により、図10に示すように、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(3)の側面(死角領域)に重ねて投射表示する際、死角領域Dではない視界部分(第二対向車両40(3)の側面以外の視界部分)に対向車両撮像画像が投射表示されないようにするための処理である。
死角領域Dではない視界部分に先行車両撮像画像が投射表示されると、死角領域Dではない視界部分において、自車両40(1)の運転者Pが視認できている対象物に対向車両撮像画像が重なってしまい、その対象物が見えにくくなってしまう。特に、自車両40(1)のフロントガラス42上の中央領域は、自車両40(1)の進行方向前方の状況を運転者Pが察知するために重要な視界部分である。そのため、自車両40(1)のフロントガラス42上の中央領域については、運転者Pの視認性を確保することが特に重要であり、対向車両撮像画像を非表示にすることが望ましい場合がある。
本実施形態においては、死角領域抽出処理を行うことで、第二対向車両40(3)による死角領域Dだけに対向車両撮像画像が重ねて表示され、その死角領域D以外は対向車両撮像画像が表示されない。したがって、自車両40(1)のフロントガラス42上の中央領域については、対向車両撮像画像が表示されず、運転者Pの視認性を確保することができる。
本実施形態の死角領域抽出処理は、自車両40(1)に搭載の撮像部16によって自車両40(1)の前方を撮像した自車両撮像画像を解析して、自車両40(1)のフロントガラス42を通じて運転者Pに視認される視界中における第二対向車両40(3)による死角領域Dを特定する。自車両撮像画像は、運転者Pに視認される視界の一部又は全部を含むエリアが映し出されており、図9に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両40(3)を映し出す画像部分(死角領域Dの画像部分)を特定する。死角領域Dの画像部分を特定する方法については、特に制限はなく、例えば、自車両撮像画像中のエッジ部(輝度変化が大きい部分)を抽出するなどの方法を用いることができる。
その後、自車両40(1)の制御部11は、表示制御部14を介して、死角領域Dについて抽出した対向車両撮像画像の画像部分を、死角領域視界画像として、HUD20により、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(3)の側面に重なるように投射表示する(S6)。これにより、図10に示すように、第二対向車両40(3)によって死角となっていた歩行者Wを映し出す対向車両撮像画像の画像部分が、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(3)の側面に重ねて投射表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wを認識することができ、歩行者Wの存在に気付かずに自車両40(1)を走行させる事態が抑制される。特に、本実施形態では、運転者Pは、フロントガラス42から視線を外すことなく、死角領域Dに存在する歩行者Wを認識することができるので、歩行者Wを迅速に認識することができ、上述した事態をより効果的に抑制することができる。
なお、本実施形態では、死角領域抽出処理を実行して、第二対向車両40(3)による死角領域Dだけに対向車両撮像画像が重ねて表示しているが、死角領域抽出処理は必ずしも実行する必要はない。例えば、死角領域抽出処理を実行せず、視点変換処理後の対向車両撮像画像を、自車両40(1)のフロントガラス42上の予め決められた領域(横方向側部領域など)に投射表示するようにしてもよい。この場合でも、自車両40(1)のフロントガラス42上の中央領域については、対向車両撮像画像が表示されないので、運転者Pの視認性を確保することができる。
また、本実施形態では、死角領域Dに存在する対象物である歩行者Wを、視点変換処理後の対向車両撮像画像を投射することにより死角領域Dに重ねて表示したが、対象物を運転者Pに認知させることができる画像であれば、対向車両撮像画像に代えて、予め用意しておいたマーク画像などを死角領域Dに重ねて表示するようにしてもよい。このようなマーク画像を用いることは、対向車両撮像画像を死角領域Dに重ねて投射表示させる場合に対象物の視認性を十分に確保することが困難である場合に有効である。
具体例としては、例えば、上述した死角領域抽出処理により対向車両撮像画像から抽出した死角領域Dの画像部分内に歩行者Wが含まれているか否かの識別処理を行い、歩行者Wが含まれていることを識別したら、歩行者を示すマーク画像を、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(3)の側面に重ねて投射表示する。例えば、歩行者Wのマーク画像は、図13に示すような歩行者のマーク画像W’のように、歩行者Wの存在を認識しやすいように色、大きさ、形などが強調されたデザインであるのが好ましい。
また、本実施形態では、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)から視認される自車両外部の視界に重ねて対象物画像を表示する表示手段として、プロジェクタによりフロントガラス42に画像を投射するHUD20を用いているが、これに限られない。例えば、自車両40(1)の前方ウィンドシールド自体を透明又は半透明の透過型ディスプレイ(例えば、透明又は半透明の液晶ディスプレイ)で構成し、透過型ディスプレイ上に対象物画像を表示することで、透過型ディスプレイを通じて視認される自車両外部の視界に重ねて対象物画像を表示するものであってもよい。また、例えば、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)に透過型ディスプレイを重ねて配置し、透過型ディスプレイ上に対象物画像を表示することで、フロントガラス42及び透過型ディスプレイを通じて視認される自車両外部の視界に重ねて対象物画像を表示するものであってもよい。
また、本実施形態では、第一対向車両40(2)のカメラにより撮像した対向車両撮像画像(検出結果情報)に対応する対象物(歩行者W)に示す対象物画像を、HUD20によりフロントガラス42上に表示することで、運転者Pや他の搭乗者へ対象物の報知を行っているが、これに限られない。例えば、自車両40(1)に搭載されているカーナビゲーション装置により表示される地図画像上における対象物(歩行者W)の位置情報に対応する画像部分に対象物を示す対象物画像を表示することで、運転者Pや他の搭乗者へ対象物の報知を行ってもよい。対象物画像を表示させる地図画像は、カーナビゲーション装置のナビゲーション画面に表示される地図画像でもよいし、HUDによりフロントガラス42に投射される地図画像であってもよい。
また、本実施形態では、第一対向車両40(2)のカメラにより撮像した対向車両撮像画像(検出結果情報)に対応する対象物(歩行者W)に関する対象物情報を、対象物画像としてHUD20によりフロントガラス42上に表示し、運転者Pや他の搭乗者の視覚を通じて対象物情報を報知するものであった。しかしながら、対象物情報を報知する方法は、これに限らず、例えば、運転者Pや他の搭乗者の聴覚を通じて対象物情報を報知するものであってもよい。この報知には、例えば、自車両40(1)に搭載されているスピーカーから対象物(歩行者W)への注意を促すような警告音や警告音声などを出力するような音出力手段を用いることができる。
このような警告音や警告音声を出力することによる報知を行うタイミングは、例えば、予めシステム上で決められた状況(歩行者W等の対象物が死角領域Dに存在する状況)を検知したタイミングとすることができる。このような状況の検知は、例えば、自車両40(1)に前方カメラを搭載し、その前方カメラで撮像された撮像画像に基づいて識別された歩行者Wが撮像画像から識別できなくなったことを判断するものであってもよい。この場合、歩行者Wが撮像画像から識別できなくなったときに、歩行者Wが死角領域Dに入ったことを把握することができる。
〔変形例1〕
次に、本実施形態における一変形例(以下、本変形例を「変形例1」という。)について説明する。
上述した実施形態では、自車両40(1)のフロントガラス42を通じて視認される視界中の死角領域Dに存在する対象物の検出結果情報が、第一対向車両40(2)のカメラ50で撮像した対向車両撮像画像のデータであった。しかしながら、他の検出結果情報を用いてもよく、例えば、対向車両に搭載されている超音波センサやレーダーなどの対象物検出手段による検出結果情報であってもよい。
図14は、本変形例1において、対向車両40(4)の斜め後方を自転車40(5)が走行している例を示す説明図である。
図示の例は、対向車両40(4)が交差点を通過した後、自車両40(1)が対向車線を横切ってその交差点を右折しようとしている状況である。この状況において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界中には、図14に示すように、対向車両40(4)による死角領域(図14中の斜線部分D)が存在する。このとき、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての自転車40(5)が対向車両40(4)に隠れてしまい、自転車40(5)を視認することができない。そのため、自車両40(1)の運転者Pは、自転車40(5)の存在に気付かないまま、対向車両40(4)が交差点を通過した直後に対向車線を横切って自車両40(1)を右折させることになり、交差点内の自転車40(5)と接触するおそれがある。
ここで、対向車両40(4)には、対向車両40(4)の後方に存在する対象物を検出する超音波センサやレーダーなどの対象物検出手段50 ’が搭載されている。そのため、対向車両40(4)の斜め後方を走行している自転車40(5)は、対向車両40(4)の対象物検出手段50 ’によって検出される。
本変形例1において、対向車両40(4)の対象物検出手段50’が対象物である自転車40(5)を検出した場合、その検出結果を示す検出結果情報が対向車両40(4)から通信網60を通じて自車両40(1)へ送信される。この検出結果情報を受信した自車両40(1)の制御部11は、表示制御部14により、例えば、図15に示すように、対向車両40(4)による死角領域D(対向車両40(4)の側面)に重なるように、自転車40(5)の存在を知らせるマーク画像40(5)’を対象物画像として投射表示する。このマーク画像40(5)’は、自転車を模式的に表したものであるが、これに限られるものではない。
このようなマーク画像40(5)’が投射表示されることで、自車両40(1)の運転者Pは、対向車両40(4)による死角領域Dに自転車40(5)が存在することを迅速かつ直感的に認識することができる。その結果、自車両40(1)の運転者Pは、対向車両40(4)が交差点を通過した後に対向車線を横切って自車両40(1)を右折させる際には、あらかじめ自転車40(5)の存在を把握でき、交差点内の自転車40(5)と接触する事態を回避することができる。
〔変形例2〕
次に、本実施形態における他の変形例(以下、本変形例を「変形例2」という。)について説明する。
上述した実施形態や変形例1では、自車両40(1)のフロントガラス42を通じて視認される自車両前方の死角領域Dに存在する歩行者W、自転車40(5)等の対象物を示す対象物画像を、フロントガラス42を通じて視認される視界中の死角領域Dに重ねて表示する例であった。しかしながら、フロントガラス42のような前方のウィンドシールドに限らず、例えば、自車両40(1)のドアウィンドウ等の他のウィンドシールドを通じて視認される視界に重ねて、死角領域に存在する対象物を示す対象物画像を表示するようにしてもよい。
図16は、本変形例2において、自車両40(1)が対向車両40(6)とすれ違う際に、自車両40(1)から見て対向車両40(6)の反対側に自転車40(7)が自車両40(1)と同じ方向へ走行している例を示す説明図である。
図示の例において、自車両40(1)の右側ドアウィンドウを通じて運転者Pが視認する自車両右側方の視界中には、図16に示すように、対向車両40(6)による死角領域(図16中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての自転車40(7)が対向車両40(6)に隠れてしまい、自転車40(7)を視認することができない。そのため、自車両40(1)の運転者Pは、自転車40(7)の存在に気付かず、例えば、自転車40(7)が自車両40(1)の走行車線に飛び出してきたときの対処が遅れるなどのおそれがある。
本変形例2では、自車両40(1)のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域Dに存在する自転車40(7)を示す対象物画像を表示する。これにより、自車両40(1)の運転者Pは、対向車両40(6)の反対側を走行している自転車40(7)の存在に気付くことができ、自転車40(7)が自車両40(1)の走行車線に飛び出してきたとき等において迅速に対処することが可能となる。
なお、本変形例2において、自車両40(1)のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域に存在する対象物を示す対象物画像を表示する方法も、フロントガラス42に対象物画像を表示する方法と同様の方法を用いることができる。また、自車両側方の死角領域Dに存在する自転車40(7)の検出結果情報も、対向車両40(6)に搭載されるカメラ50の撮像画像のほか、対向車両40(6)に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果情報を用いることができる。
また、本変形例2では、前方ウィンドシールドとは別のウィンドシールドを通じて視認される視界に重ねて重畳画像を表示する例として、別のウィンドシールドがドアウィンドウである例を挙げたが、例えば、後方ウィンドシールドであってもよい。
具体例を挙げて説明すると、図17は、片側二車線の道路において、左車線を走行する自車両40(1)の斜め後方を同方向へ移動する同方向移動体としての側方車両40(8)が右車線を走行し、その側方車両40(8)の後方をバイクBが走行している状況の例である。この状況において、後方ウィンドシールド47を通じて視認される視界中には、側方車両40(8)による死角領域(図17中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pがルームミラー46に映し出される後方ウィンドシールド47を通じて視認する視界では、死角領域Dに存在する対象物としてのバイクBが側方車両40(8)に隠れてしまい、バイクBを視認することができない。そのため、自車両40(1)の運転者Pは、例えば、そのバイクBが自車両40(1)の前方に急な車線変更をしたとき、そのバイクBを事前に察知できていないため、自車両40(1)の操作を誤るおそれがある。
このような状況において、図18に示すように、自車両40(1)の後方ウィンドシールド47を通じて視認される自車両後方の視界に重ねて、自車両後方の死角領域Dに存在するバイクBを示す重畳画像を表示する。このような重畳画像は、例えば、対向車両40(2)に搭載された前方のカメラ50によって側方車両40(8)の後方を撮像した対向車両撮像画像を自車両40(1)で取得することにより得ることができる。このようなバイクBを示す重畳画像を、後方ウィンドシールド47を通じて視認される自車両後方の視界中の側方車両40(8)の側面に重ねて表示することにより、自車両40(1)の運転者Pは、例えば、バイクBが自車両40(1)の前方に急な車線変更をしたときでも、そのバイクBを事前に察知することが可能であり、自車両40(1)の操作を適切に行うことが可能となる。
自車両後方の死角領域Dに存在するバイクBを示す撮像画像(対象物情報)は、上述した方法(側方車両40(6)に搭載された後方カメラで撮像し、その側方車両撮像画像を自車両40(1)で取得する方法)に限られない。例えば、対向車線を走行する対向車両に搭載された後方カメラにより死角領域DのバイクBを撮像できる場合には、その後方カメラで撮像した対向車両撮像画像を自車両40(1)で取得してもよい。なお、ここで例示した対象物情報の取得方法は、自車両後方の死角領域Dに存在するバイクBに限らず、他の対象物についての対象物情報を取得する方法としても適用できる。
〔変形例3〕
次に、本実施形態における更に他の変形例(以下、本変形例を「変形例3」という。)について説明する。
上述した実施形態や変形例1〜2における表示手段は、フロントガラス42やドアウィンドウなどの光透過性ウィンドシールドを通じて視認される自車両40(1)の外部の視界に重ねて対象物画像を表示するHUD20であった。しかしながら、自車両40(1)に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両40(1)のウィンドシールド上に表示させるディスプレイ装置を備えている場合には、そのディスプレイ装置を表示手段として用い、視界画像に重畳画像を重ねた合成画像を生成して、その合成画像をウィンドシールド上に表示するようにしてもよい。
図19は、本変形例3における表示装置1で用いる表示手段としてのディスプレイ装置120の構成を示す説明図である。
本変形例3の表示装置1は、画像処理装置10とディスプレイ装置120とに大別することができる。画像処理装置10は、上述した実施形態と同様の構成及び動作でよい。自車両40(1)の前方ウィンドシールドは、上述した実施形態では光透過性を有するフロントガラス42であったが、本変形例3では、光不透過性の板状部材で構成されている。ディスプレイ装置120は、主に、この光不透過性である前方ウィンドシールド42’の内壁面に配置される表示画面121と、表示画面121に表示させる画像を生成する画像合成部122とから構成される。
ディスプレイ装置120は、自車両40(1)の前方を撮像する撮像部16から送られてくる自車両撮像画像が画像合成部122に入力されると、撮像部16で撮像した自車両撮像画像(自車両前方を撮像した画像)の視点位置を、自車両40(1)の運転者Pの視点位置に変換する視点変換処理を行い、視点変換処理後の自車両撮像画像(視界画像)を表示画面121へ出力する。これにより、前方ウィンドシールド42’上の表示画面121には、運転者Pがあたかも前方ウィンドシールド42’を透過して自車両40(1)の前方を視認しているのと同等の視界画像が、リアルタイム表示される。すなわち、本変形例3では、運転者Pは、前方ウィンドシールド42’上の表示画面121に表示される視界画像によって自車両40(1)の前方の視界を得ながら、自車両40(1)の操縦を行う。
本変形例3において、表示画面121に表示させる画像を生成する画像合成部122には、画像処理装置10の画像生成部13からの対象物画像(重畳画像)が入力される。この画像生成部13で生成される対象物画像は、上述した実施形態や変形例1などと同様のものを用いることができる。例えば、上述した実施形態のように、第一対向車両40(2)のカメラ50によって撮像した対向車両撮像画像を自車両40(1)で受信し、視点変換処理や死角領域抽出処理等を施した対向車両撮像画像(死角領域D内の歩行者Wを撮像した画像)を、画像処理装置10からディスプレイ装置120の画像合成部122へ入力する。また、上述した変形例1のように、対向車両40(4)に搭載されている超音波センサやレーダーなどの対象物検出手段50’が自転車40(5)の存在を検出した結果に応じたマーク画像40(5)’(自転車を模式的に表した画像)を、画像処理装置10からディスプレイ装置120の画像合成部122へ入力する。
ディスプレイ装置120の画像合成部122は、画像処理装置10から入力された対象物画像を、前方ウィンドシールド42’上の表示画面121に表示される視界画像に重ねた合成画像を生成し、その合成画像を表示画面121へ出力する。これにより、画像処理装置10から入力された対象物画像(歩行者Wを映し出す対向車両撮像画像や、自転車40(5)の存在を知らせるマーク画像)が、自車両40(1)の前方ウィンドシールド42’上の表示画面121に表示される視界画像に映し出されている第二対向車両40(3)の側面画像部分に重ねて表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wや自転車40(5)を認識することができ、適切な対処をとることが可能となる。
上述した実施形態では、自車両40(1)の前方の視界を、光透過性のフロントガラス42を通じて直接視認する構成であったため、運転者Pに提供される自車両前方の視界の内容を変更することはできない。これに対し、本変形例3においては、自車両40(1)の前方の視界を、光不透過性のウィンドシールド42’上の表示画面121に表示される視界画像によって運転者Pに提供する構成であるため、視界画像を画像処理することにより、自車両前方の視界の内容を変更した状態で運転者Pに提供することが可能である。
そこで、本変形例3においては、自車両前方の視界を映し出す視界画像(自車両撮像画像を視点変換処理したもの)を画像処理したものに、画像処理装置10から入力された対象物画像を重ねた合成画像を生成する。具体的には、画像合成部122は、自車両前方の視界を映し出す視界画像のレイヤーの下に、画像処理装置10から入力された対象物画像のレイヤーを重ねるとともに、視界画像レイヤーにおける第二対向車両40(3)の側面画像部分(死角領域Dに対応する画像部分)を半透明にして、対象物画像レイヤー上の対応する画像部分が第二対向車両40(3)の側面画像部分を透けて視認できる合成画像を生成する。
これにより、例えば、図20に示すように、第二対向車両40(3)によって死角となっていた歩行者Wを映し出す対向車両撮像画像の画像部分が第二対向車両40(3)の側面画像部分(半透明状態)を透過した状態の合成画像が、自車両40(1)の前方ウィンドシールド42’上の表示画面121に表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wを認識することができ、歩行者Wに気付かないまま自車両40(1)を走行させてしまう事態が抑制される。
なお、本変形例3では、自車両40(1)に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両40(1)のウィンドシールド上に表示させる表示手段として、自車両40(1)の光不透過性の前方ウィンドシールド42’上に表示画面121が配置されたディスプレイ装置120を用いているが、これに限られない。例えば、自車両40(1)の光不透過性の前方ウィンドシールド42’の内壁面にプロジェクタによって視界画像を投射するHUDを用いてもよい。また、例えば、自車両40(1)の前方ウィンドシールド自体をディスプレイ装置で構成してもよい。そのディスプレイ装置としては、例えば、透明又は半透明の透過型ディスプレイを採用してもよく、この場合、視界画像に対象物画像を重ねた合成画像を表示しない時期には、透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。また、例えば、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)に透過型ディスプレイを重ねて配置した構成を採用してもよく、この場合も、視界画像に対象物画像を重ねた合成画像を表示しない時期には、フロントガラス42及び透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。
なお、以上の実施形態及び変形例において、死角領域Dに存在する歩行者や自転車を検出して報知する場合について説明したが、本発明は、死角領域Dに存在する対象物が歩行者・自転車以外の場合にも同様に適用することができる。例えば、本発明は、死角領域Dに存在する対象物が自転車以外の軽車両、自動二輪車、自動車などの場合にも同様に適用することができる。また例えば、本発明は、死角領域Dに存在する対象物が対向車の後方を走行している自動二輪車、自動車などの場合にも同様に適用することができ、当該対向車の後方から無理な追い越しを行う可能性がある死角領域の自動二輪車、自動車などの存在を自車両の運転者などの搭乗者に報知することができる。
なお、本明細書で説明された情報報知装置、移動体及び情報報知システムの構成要素あるいは処理工程は、様々な手段によって実装することができる。例えば、これらの構成要素や処理工程は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよく、例えば、後述のハードウェアに所定のプログラムが読み込まれて実行されたり、後述のハードウェアに予め組み込まれた所定のプログラムが実行されたりすることにより、実現される。
ハードウェア実装については、実体(例えば、各種無線通信装置、Node B、端末、ハードディスクドライブ装置、又は、光ディスクドライブ装置)において構成要素や処理工程を実現するために用いられる処理ユニット等の手段は、1つ又は複数の、特定用途向けIC(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブル・ロジック・デバイス(PLD)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。
また、ファームウェア及び/又はソフトウェア実装については、上記構成要素を実現するために用いられる処理ユニット等の手段は、本明細書で説明された機能を実行するプログラム(例えば、プロシージャ、関数、モジュール、インストラクション、などのコード)で実装されてもよい。一般に、ファームウェア及び/又はソフトウェアのコードを明確に具体化する任意のコンピュータ/プロセッサ読み取り可能な媒体が、本明細書で説明された上記処理工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び/又はソフトウェアコードは、例えば制御装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び/又はソフトウェアコードは、例えば、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブルリードオンリーメモリ(PROM)、電気的消去可能PROM(EEPROM)、FLASHメモリ、フロッピー(登録商標)ディスク、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、1又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。
また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。
1 表示装置
10 画像処理装置
11 制御部
12 外部通信部
13 画像生成部
14 表示制御部
15 車内通信部
16 撮像部
20 HUD
40(1) 自車両
40(2) 第一対向車両
40(3) 第二対向車両
40(4) 対向車両
40(5) 自転車
40(6) 対向車両
40(7) 自転車
42 フロントガラス
42’ ウィンドシールド
43 GPS装置
44 各種車載センサ
50 カメラ
51 制御部
52 外部通信部
53 撮像部
54 車内通信部
50’ 対象物検出手段
60 通信網
65 基地局
66 データ処理部
67 記憶部
68 移動通信部
69 バックホール通信部
120 ディスプレイ装置
121 表示画面
122 画像合成部
D 死角領域
E 撮像領域
P 運転者
W 歩行者
特開2003−319383号公報

Claims (13)

  1. 移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置において、
    前記移動体の移動経路に沿うように該移動体とは逆方向へ移動する逆方向移動体から、該逆方向移動体の周囲に存在する対象物の検出結果情報を取得する検出結果情報取得手段と、
    前記検出結果情報取得手段により取得した検出結果情報に対応する対象物に関する対象物情報を、前記移動体の搭乗者に報知する報知手段とを有することを特徴とする情報報知装置。
  2. 請求項1の情報報知装置において、
    前記報知手段は、前記搭乗者の聴覚を通じて前記対象物情報を報知する音出力手段を含むことを特徴とする情報報知装置。
  3. 請求項1又は2の情報報知装置において、
    前記報知手段は、前記搭乗者の視覚を通じて前記対象物情報を報知する表示手段を含むことを特徴とする情報報知装置。
  4. 請求項3の情報報知装置において、
    前記検出結果情報には、前記対象物の位置情報が含まれており、
    前記表示手段は、前記移動体の周囲を示す地図画像上における前記位置情報に対応する画像部分に前記対象物を示す対象物画像を表示することにより、前記対象物情報を報知するものであることを特徴とする情報報知装置。
  5. 請求項3の情報報知装置において、
    前記検出結果情報には、前記対象物の位置情報が含まれており、
    前記表示手段は、前記移動体のウィンドシールドから視認される移動体外部の視界中における前記位置情報に対応する視界部分に重ねて、又は、該視界を映し出す視界画像中における前記位置情報に対応する画像部分に重ねて、前記対象物を示す対象物画像を表示することにより、前記対象物情報を報知するものであることを特徴とする情報報知装置。
  6. 請求項5の情報報知装置において、
    前記検出結果情報には、前記逆方向移動体に搭載される撮像手段により該逆方向移動体の周囲に存在する対象物を撮像して得られる撮像画像が含まれており、
    前記表示手段は、前記撮像画像に基づいて生成される前記対象物画像を表示することを特徴とする情報報知装置。
  7. 請求項5又は6の情報報知装置において、
    前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界中における前記位置情報に対応する視界部分に重ねて、前記対象物画像を表示するものであることを特徴とする情報報知装置。
  8. 請求項5又は6の情報報知装置において、
    前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像中における前記位置情報に対応する画像部分に前記対象物画像を重ねた合成画像を表示するものであることを特徴とする情報報知装置。
  9. 請求項1乃至8のいずれかの情報報知装置において、
    前記検出結果情報取得手段は、移動通信網を介して前記検出結果情報を前記逆方向移動体から受信して取得するものであることを特徴とする情報報知装置。
  10. 請求項1乃至8のいずれかの情報報知装置において、
    前記検出結果情報取得手段は、前記逆方向移動体との間の無線通信により前記検出結果情報を受信して取得するものであることを特徴とする情報報知装置。
  11. 請求項1乃至10のいずれかの情報報知装置において、
    前記対象物は、前記移動体からの視界中の死角領域に存在する人又は軽車両であることを特徴とする情報報知装置。
  12. 移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置を備えた移動体において、
    前記情報報知装置として、請求項1乃至11のいずれかの情報報知装置を用いたことを特徴とする移動体。
  13. 移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置が、該移動体に設けられ、
    前記移動体の移動経路に沿うように該移動体とは逆方向へ移動する逆方向移動体の周囲に存在する対象物を検出する対象物検出手段が、該逆方向移動体に設けられた情報報知システムであって、
    前記情報報知装置として、請求項1乃至11のいずれかの情報報知装置を用いたことを特徴とする情報報知システム。
JP2017038802A 2017-03-01 2017-03-01 情報報知装置、移動体及び情報報知システム Active JP6599387B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017038802A JP6599387B2 (ja) 2017-03-01 2017-03-01 情報報知装置、移動体及び情報報知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017038802A JP6599387B2 (ja) 2017-03-01 2017-03-01 情報報知装置、移動体及び情報報知システム

Publications (2)

Publication Number Publication Date
JP2018147055A true JP2018147055A (ja) 2018-09-20
JP6599387B2 JP6599387B2 (ja) 2019-10-30

Family

ID=63592140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038802A Active JP6599387B2 (ja) 2017-03-01 2017-03-01 情報報知装置、移動体及び情報報知システム

Country Status (1)

Country Link
JP (1) JP6599387B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6711982B1 (ja) * 2019-04-23 2020-06-17 Quon Technology株式会社 交通安全支援装置、携帯情報端末、及びプログラム
WO2021024798A1 (ja) * 2019-08-06 2021-02-11 パナソニックIpマネジメント株式会社 走行支援方法、道路撮影画像収集方法、および路側装置
JP2022026858A (ja) * 2020-07-31 2022-02-10 株式会社日立製作所 外界認識システム、および、外界認識方法
JP7057053B1 (ja) 2021-03-19 2022-04-19 三菱ロジスネクスト株式会社 荷役システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004114709A (ja) * 2002-09-20 2004-04-15 Equos Research Co Ltd 車載画像表示装置
JP2006113781A (ja) * 2004-10-14 2006-04-27 Alpine Electronics Inc 危険警報システム
JP2006215911A (ja) * 2005-02-04 2006-08-17 Sumitomo Electric Ind Ltd 接近移動体表示装置、システム及び方法
JP2007164549A (ja) * 2005-12-15 2007-06-28 Hitachi Ltd 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP2010267052A (ja) * 2009-05-14 2010-11-25 Denso Corp 車載表示装置
JP2013120574A (ja) * 2011-12-08 2013-06-17 Daimler Ag 車両用歩行者報知装置
US20130181823A1 (en) * 2010-09-15 2013-07-18 Continental Teve AG & Co., oHG Visual Driver Information and Warning System for a Driver of a Motor Vehicle
US20140019005A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Transparent display apparatus for displaying information of danger element, and method thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004114709A (ja) * 2002-09-20 2004-04-15 Equos Research Co Ltd 車載画像表示装置
JP2006113781A (ja) * 2004-10-14 2006-04-27 Alpine Electronics Inc 危険警報システム
JP2006215911A (ja) * 2005-02-04 2006-08-17 Sumitomo Electric Ind Ltd 接近移動体表示装置、システム及び方法
JP2007164549A (ja) * 2005-12-15 2007-06-28 Hitachi Ltd 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP2010267052A (ja) * 2009-05-14 2010-11-25 Denso Corp 車載表示装置
US20130181823A1 (en) * 2010-09-15 2013-07-18 Continental Teve AG & Co., oHG Visual Driver Information and Warning System for a Driver of a Motor Vehicle
JP2013120574A (ja) * 2011-12-08 2013-06-17 Daimler Ag 車両用歩行者報知装置
US20140019005A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Transparent display apparatus for displaying information of danger element, and method thereof

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741839B2 (en) 2019-04-23 2023-08-29 Quon Technology Ltd. Traffic safety assistance device, mobile information terminal, and program
WO2020217316A1 (ja) * 2019-04-23 2020-10-29 Quon Technology株式会社 交通安全支援装置、携帯情報端末、及びプログラム
JP6711982B1 (ja) * 2019-04-23 2020-06-17 Quon Technology株式会社 交通安全支援装置、携帯情報端末、及びプログラム
CN114175123B (zh) * 2019-08-06 2024-01-12 松下知识产权经营株式会社 行驶辅助方法、道路摄影图像收集方法以及路侧装置
CN114175123A (zh) * 2019-08-06 2022-03-11 松下知识产权经营株式会社 行驶辅助方法、道路摄影图像收集方法以及路侧装置
JP2021026554A (ja) * 2019-08-06 2021-02-22 パナソニックIpマネジメント株式会社 走行支援方法、道路撮影画像収集方法、および路側装置
WO2021024798A1 (ja) * 2019-08-06 2021-02-11 パナソニックIpマネジメント株式会社 走行支援方法、道路撮影画像収集方法、および路側装置
JP7445882B2 (ja) 2019-08-06 2024-03-08 パナソニックIpマネジメント株式会社 走行支援方法、道路撮影画像収集方法、および路側装置
US12067875B2 (en) 2019-08-06 2024-08-20 Panasonic Intellectual Property Management Co., Ltd. Travel assistance method, road captured image collection method, and roadside device
JP2022026858A (ja) * 2020-07-31 2022-02-10 株式会社日立製作所 外界認識システム、および、外界認識方法
JP7440367B2 (ja) 2020-07-31 2024-02-28 株式会社日立製作所 外界認識システム、および、外界認識方法
JP7057053B1 (ja) 2021-03-19 2022-04-19 三菱ロジスネクスト株式会社 荷役システム
JP2022144725A (ja) * 2021-03-19 2022-10-03 三菱ロジスネクスト株式会社 荷役システム

Also Published As

Publication number Publication date
JP6599387B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
RU2700635C1 (ru) Способ и устройство обнаружения мест для парковки
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
JP4807263B2 (ja) 車両用表示装置
WO2016186039A1 (ja) 自動車周辺情報表示システム
JP6798906B2 (ja) 基地局装置及び通信システム
WO2018105136A1 (ja) 車両周辺情報取得装置および車両
JP4517393B2 (ja) 運転支援装置
WO2017068694A1 (ja) 駐車支援方法及び駐車支援装置
US20190118705A1 (en) System and method for projecting trajectory path of an autonomous vehicle onto a road surface
JP4719590B2 (ja) 車載周辺状況提示装置
JPWO2018105135A1 (ja) 車両周辺情報取得装置および車両
JP6599387B2 (ja) 情報報知装置、移動体及び情報報知システム
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP5712119B2 (ja) 車両用歩行者報知装置
US11198398B2 (en) Display control device for vehicle, display control method for vehicle, and storage medium
JP5426900B2 (ja) 車載システム
JP2017091093A (ja) 情報表示装置
JP7006235B2 (ja) 表示制御装置、表示制御方法および車両
WO2014185042A1 (ja) 運転支援装置
JP6394440B2 (ja) 汚れ判定装置
JP2017111498A (ja) 運転支援装置
JP6599386B2 (ja) 表示装置及び移動体
JP2017126213A (ja) 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法
US20190161007A1 (en) Unilluminated vehicle indication based on communication
JP2018169945A (ja) 運転支援装置、運転支援方法及び運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191002

R150 Certificate of patent or registration of utility model

Ref document number: 6599387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250