JP2021103481A - 運転支援装置、運転支援方法及びプログラム - Google Patents

Abstract

【課題】車両等の移動体の運行状態、周囲の状態などに応じた適切な画像を生成して運転支援を可能にする。【解決手段】運転支援装置は、自己の移動体としての自車両１０に搭載された撮像部としてのカメラ２１Ａ〜２１Ｄにて自車両１０の周囲を撮影した自己画像と、他の撮像部としての他車両３０のカメラ３１にて撮影した他者画像とを取得する取得部１１と、自己画像及び他者画像を含む複数の画像を合成して視認用合成画像を生成する処理部としての合成部１２と、を備え、視認用合成画像を表示部１３に表示させる。【選択図】図１

Description

本開示は、運転を支援するための運転支援装置、運転支援方法及びプログラムに関する。

従来、自動車等の車両において、自車両が備える複数の車載カメラの撮像画像を、各画像を互いに独立して表示するのではなく、複数の車載カメラで撮像している領域全体が分かるように、一枚に合成した画像を表示する装置が知られている（例えば、特許文献１参照）。

特許第３２８６３０６号公報

車両等の移動体に搭載されたカメラにより撮影した撮像画像を用いた運転支援を行う場合、移動体の運行状態、周囲の状態などに応じた適切な画像の生成が求められている。

本開示は、上述した従来の事情に鑑みて案出され、車両等の移動体の運行状態、周囲の状態などに応じた適切な画像を生成して運転支援を行うことが可能な運転支援装置、運転支援方法及びプログラムを提供することを目的とする。

本開示は、一態様として、移動体の運転を支援するための運転支援装置であって、自己の移動体に搭載された撮像部にて前記移動体の周囲を撮影した自己画像と、他の撮像部にて撮影した他者画像とを取得する取得部と、前記自己画像及び前記他者画像を含む複数の画像を合成して視認用合成画像を生成する処理部と、を備える運転支援装置を提供する。

本開示は、一態様として、移動体の運転を支援するための運転支援装置における運転支援方法であって、自己の移動体に搭載された撮像部にて前記移動体の周囲を撮影した自己画像と、他の撮像部にて撮影した他者画像とを取得し、前記自己画像及び前記他者画像を含む複数の画像を合成して視認用合成画像を生成する、ステップを有する、運転支援方法を提供する。

本開示は、一態様として、コンピュータに、移動体の運転を支援するための運転支援方法であって、自己の移動体に搭載された撮像部にて前記移動体の周囲を撮影した自己画像と、他の撮像部にて撮影した他者画像とを取得するステップと、前記自己画像及び前記他者画像を含む複数の画像を合成して視認用合成画像を生成するステップと、を含む、運転支援方法の各ステップを、実行させるためのプログラムを提供する。

本開示によれば、車両等の移動体の運行状態、周囲の状態などに応じた適切な画像を生成して運転支援を行うことが可能となる。

実施の形態に係る運転支援装置の構成の一例を示すブロック図 実施の形態１に係る自車両及び他車両の位置関係と合成画像の例を示す図 実施の形態２に係る自車両及び他車両の位置関係と合成画像の例を示す図 実施の形態３に係る自車両及び他車両の位置関係と合成画像の例を示す図 実施の形態４に係る自車両及び他車両の位置関係と合成画像の例を示す図 実施の形態５に係る自車両及び他車両の位置関係と合成画像の例を示す図 視認用合成画像の生成処理の一例を示すフローチャート 他者画像の撮像画像を取得する画像取得動作の第１例を示すシーケンス図 他者画像の撮像画像を取得する画像取得動作の第２例を示すシーケンス図

（本開示に至った経緯）
上述したように、車両等の移動体に搭載されたカメラにより撮影した撮像画像を用いた運転支援を行う場合、移動体の運行状態、周囲の状態などに応じた適切な画像の生成が求められている。

特許文献１に記載されているような従来技術では、自車両の複数箇所（例えば前後左右の４か所）に設けたカメラによって撮影した車両周囲の撮像画像を合成し、例えば車両の上方から見たような鳥瞰画像を生成して表示することが可能である。

しかしながら、上記従来技術においては、自車両が備える車載カメラが撮影できる範囲の合成画像しか得られず、自車両の撮像範囲外の領域に関して、ユーザが画像を認識できない課題がある。自車両の撮像範囲外の領域は、例えば、障害物などの遮蔽物により死角となり撮影できない領域、また車載カメラの性能または車載カメラの画角に基づき、車載カメラの撮影範囲外の領域を含む。

そこで、本開示では、移動体の運行状態、周囲の状態などに応じた適切な画像の生成が可能であり、車両等の移動体に搭載されたカメラの撮像範囲外の領域についてもユーザが確認することができる運転支援装置の構成例を示す。

以下、添付図面を適宜参照しながら、本開示に係る運転支援装置、運転支援方法及びプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態の構成）
図１は、実施の形態に係る運転支援装置の構成の一例を示すブロック図である。本実施の形態では、移動体の一例としての車両に搭載されたカメラによって車両周囲の状況を捉えた画像を撮影し、この撮像画像を用いて画像合成を行う構成例について説明する。

第１車両としての自車両１０は、ユーザ自身が乗車して運転又は同乗している車両であり、自己の移動体に相当する。自車両１０は、自車両の周囲の状況を撮影する撮像部としてのカメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄを有する。複数のカメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄは、例えば車両の前後左右の車体に搭載され、車両外周の全周方向の領域を撮像範囲としてカバーしている。

自車両１０は、撮像画像を取得する取得部１１、取得した撮像画像の処理を行う処理部として画像合成処理を行う合成部１２、合成画像を表示する表示部１３を有する。取得部１１は、カメラインタフェース、通信インタフェース等を有し、これらのインタフェースの通信機能によって自車両の複数のカメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄにて撮影された撮像画像（自己画像）、及び他の撮像部にて撮影された撮像画像（他者画像）を取得する。

合成部１２は、プロセッサ及びメモリを有し、例えば、プロセッサがメモレージに保持された所定のプログラムを実行することにより、各種機能を実現する。合成部１２は、取得部１１にて取得した複数の撮像画像の合成処理を行い、視認用合成画像を生成する。プロセッサは、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）等を含んでよい。メモリは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含んでよい。ストレージは、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク装置、メモリカード等を含んでよい。

合成部１２は、合成処理により生成した視認用合成画像を表示部１３に出力して提供し、表示部１３において視認用合成画像を表示させる。

表示部１３は、合成部１２にて生成した自車両の周囲の状況に関する視認用合成画像を表示する。表示部１３は、例えばＡＲ−ＨＵＤ（Augmented Reality Head Up Display）、ＨＵＤ等の車両の前部に搭載されフロントウィンドウに投影表示する表示デバイス、車両のダッシュパネル等に搭載された有機ＥＬディスプレイ、液晶ディスプレイ等のディスプレイ装置などの各種表示装置により構成される。

第２車両としての他車両３０は、自車両以外の車両、例えば自車両１０の近くを走行又は停車している車両であり、他の移動体に相当する。他車両３０は、他車両の周囲の状況を撮影する撮像部としてのカメラ３１を有する。なお、カメラ３１は一つであってもよいし、複数であってもよい。カメラ３１は、例えば車両の車体に搭載され、車両外周の一部又は全周方向の領域を撮像範囲としてカバーしている。他車両３０は、自車両１０の取得部１１と通信を行い、カメラ３１にて撮影した撮像画像を伝送して他者画像として提供する。なお、他者画像を撮影する撮像部としては、他車両３０のカメラ３１に限らず、第１車両としての自車両１０が走行する道路又は駐車場に設置された関連設備に搭載される撮像部であってもよい。例えば、道路の交差点、道路脇、高架等に設置されたインフラのカメラ、道路沿いの建物に設置されたカメラ、駐車場に設置されたカメラなど、自車両以外の種々の位置に設けられたカメラを用いてもよい。

取得部１１と他車両３０のカメラ３１との間の画像伝送は、ＶｔｏＶ（Vehicle to Vehicle）通信、５Ｇのモバイル通信など、所定の通信帯域を持つ高速通信システムを用いて実現可能である。なお、他者画像を撮影する撮像部として、インフラのカメラを用いる場合、その他のカメラを用いる場合など、運転支援装置のシステム構成に対応して、ＶｔｏＩ（Vehicle to Infrastructure）通信、ＶｔｏＸ（Vehicle to X）通信など、各種通信システムを用いることが可能である。

自車両１０において、取得部１１は、自車両１０のカメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄにて撮影した自己画像の撮像画像を取得する。また、取得部１１は、所定の条件を満たす場面において、他車両３０のカメラ３１又は他の撮像部にて撮影した他者画像の撮像画像を取得する。合成部１２は、自車両１０において取得した自己画像の撮像画像を合成処理する。また、合成部１２は、他車両３０又は他の撮像部より取得した他者画像の撮像画像を、自己画像と併せて合成処理する。合成部１２は、合成処理後の視認用合成画像として、例えば自車両１０を含む撮像領域の上方から見下ろした鳥瞰画像を生成する。なお、鳥瞰画像に限らず、自車両１０の３６０度全周又は所定角度範囲の周囲のパノラマ画像、所定の視点位置から見た俯瞰画像など、種々の合成画像を生成してもよいし、鳥瞰画像と前方の視角範囲のパノラマ画像など、複数種類の画像を組み合わせた合成画像を生成してもよい。

表示部１３は、合成部１２にて生成した視認用合成画像を表示する。表示部１３として自車両１０のフロントウィンドウにＡＲ−ＨＵＤを備える場合、ＡＲ−ＨＵＤによりフロントウィンドウに視認用合成画像を表示し、ユーザの視点からフロントウィンドウを通して見える車両前方の視界の実像と重畳させる。表示部１３として車両のダッシュパネル等にディスプレイ装置を備える場合、ディスプレイ装置により視認用合成画像を表示し、自車両外部の撮像画像を含む周囲の状況を示す画像をユーザに提示する。表示部１３としては、他のＨＭＩ（Human Machine Interface）を用いてもよい。

なお、自車両１０は、表示部１３の他に、音、光などでユーザに通知する通知部を有してよい。合成部１２又は表示部１３は、周囲状況が所定の状態となった場合に通知部へ通知情報を送信し、通知部からユーザに所定の周囲状況を通知させる。通知部は、合成部１２にて生成した視認用合成画像に基づき、自車両１０の撮像範囲外にある車両、人物等の注意すべき所定の物体が存在する場合、所定の物体の存在を報知音、点灯などによってユーザに通知する。また、表示部１３が通知部の機能を包含し、視認用合成画像の表示において、画像中に他車両、人物等の注意すべき所定の物体が存在する場合に該当する領域を強調表示、特定の色表示、イラスト表示などの区別表示を行い、容易に認識可能にしてもよい。また、表示部１３の視認用合成画像の表示において、自車両表示についても特定の色表示、イラスト表示などの区別表示を行って容易に識別可能にする。

本実施の形態に係る運転支援装置は、自車両１０において、取得部１１及び合成部１２を備える。なお、取得部１１と合成部１２の少なくとも一方が自車両１０の外部に設けられてもよい。運転支援装置は、視認用合成画像を表示する表示部１３を備えていてもよい。また、運転支援装置は、視認用合成画像の画像中に所定の物体が存在する場合など、周囲状況が所定の状態となったことを通知する通知部を備えていてもよい。

以下に、本開示の実施の形態として、自己画像と他者画像とを含む合成画像を生成する場面の動作状態（シーン例）をいくつか例示する。

（実施の形態１）
図２は、実施の形態１に係る自車両及び他車両の位置関係と合成画像の例を示す図である。実施の形態１は、所定の条件を満たす場面に該当する自車両の状況として、見通しの悪い交差点や脇道からの進入口に向かう道路を走行している場面（交差点のシーン）における合成画像の生成例を示すものである。

実施の形態１の場面では、自車両である第１車両１０Ａは幅員が大きい幹線道路５１を走行している。第１車両１０Ａの前方には、幹線道路５１に接続された脇道５２の進入口５２Ａがあり、見通しの悪い交差点となっている。脇道５２からは、他車両である第２車両３０Ａが進入してきており、第２車両３０Ａの後ろには後続する他車両である第３車両３０Ｂが走行している。この場合、道路端の建物の壁、塀などによって、第２車両３０Ａの一部や第３車両３０Ｂの全部が第１車両１０Ａからの死角となり、第１車両１０Ａのカメラの撮像範囲１２０から外れた撮像範囲外となる。このため、第１車両１０Ａからは第３車両３０Ｂの撮影が困難であり、第１車両１０Ａの撮像画像には第３車両３０Ｂが含まれず、第１車両１０Ａにおいて第２車両３０Ａに後続している第３車両３０Ｂを認識できない。一方、第２車両３０Ａのカメラの撮像範囲１３０には、第２車両３０Ａと共に第３車両３０Ｂが入っており、第２車両３０Ａからは第３車両３０Ｂを撮影可能である。よって、第２車両３０Ａの撮像画像には第３車両３０Ｂが含まれている。

本実施の形態では、第１車両１０Ａの進行方向と第２車両３０Ａの進行方向とが交わる場合、第１車両１０Ａにおいて、第２車両３０Ａにて撮影した他者画像を取得し、自車両にて撮影した自己画像と取得した他者画像とを用いて、合成画像１００Ａを生成する。なお、他車両として第２車両３０Ａの代わりに第３車両３０Ｂを用い、第３車両３０Ｂにて撮影した他者画像を第３車両３０Ｂから取得して合成してもよい。第１車両１０Ａと第２車両３０Ａ又は第３車両３０Ｂとの間の画像伝送等の通信は、ＶｔｏＶ通信、５Ｇのモバイル通信、或いは無線ＬＡＮ等を用いたコンピュータネットワークのネットワーク通信などを用いてよい。撮像画像の伝送は、自車両の進行方向前方に進入してくる他車両を認識した際に第１車両１０Ａから第２車両３０Ａ又は第３車両３０Ｂに対して撮像画像を要求して他者画像として取得してもよいし、交差点に進入する際に第２車両３０Ａ又は第３車両３０Ｂから近傍の第１車両１０Ａへ撮像画像を送信してもよい。第１車両１０Ａ、第２車両３０Ａ、第３車両３０Ｂは、所定タイミングで周囲との通信を試みて通信が可能な場合に、接続可能な車両が自車の近傍に存在することをステータス情報として保持し、画像データ等の送受信を行ってもよい。なお、撮像画像の合成は、自車両と１つの他車両だけでなく、自車両と複数の他車両であってもよく、任意の複数の車両において取得した画像を合成してよい。

図２の例では、自車両の上方から見た鳥瞰画像の合成画像１００Ａを示している。合成画像１００Ａにおいて、自車両の第１車両１０Ａは例えば中央下部の位置に表示する。この合成画像１００Ａには、脇道５２から幹線道路５１に進入している第２車両３０Ａと共に、後続する第３車両３０Ｂの画像も含まれ、第１車両１０Ａの搭乗者（運転者、同乗者）は、自車両では撮影できない領域の車両、人物などの物体を認識できるようになる。これにより、自車両において、撮像範囲外からの他車両の接近を確認することができる。図示例では、撮像範囲外にある後続の第３車両を撮影した画像を合成表示し、自車両からは撮影できない車両等の存在を早期に認識できる。

また、表示部としてＡＲ−ＨＵＤを用いる場合、ＡＲ（Augmented Reality）技術によって自車両のフロントウィンドウにおいて視認用合成画像を重畳して表示する。これにより、第２車両に後続して撮像範囲外の死角から接近している第３車両を視認用合成画像に表示でき、ユーザは車両前方を見ながら視界の実像と共に第３車両の接近を認識できる。

（実施の形態２）
図３は、実施の形態２に係る自車両及び他車両の位置関係と合成画像の例を示す図である。実施の形態２は、所定の条件を満たす場面に該当する自車両の状況として、走行している道路の路肩に駐停車している車両がある場面（駐停車車両があるシーン）における合成画像の生成例を示すものである。

実施の形態２の場面では、自車両である第１車両１０Ａは道路５３を走行している。第１車両１０Ａの前方には、道路５３の路肩に他車両である第２車両３０Ａが駐停車していて、この第２車両３０Ａの陰に人物４０が立っていて道路５３に飛び出そうとしている。この場合、駐停車車両である第２車両３０Ａによって人物４０が死角となり、第２車両３０Ａの前方が第１車両１０Ａのカメラの撮像範囲１２０から外れた撮像範囲外となる。このため、第１車両１０Ａからは第２車両３０Ａの影の部分の人物４０などの撮影が困難であり、第１車両１０Ａにおいて人物４０を認識できない。一方、第２車両３０Ａのカメラの撮像範囲１３０には、第１車両１０Ａの死角となる前方領域が入っており、第２車両３０Ａからは人物４０を撮影可能である。よって、第２車両３０Ａの撮像画像には人物４０が含まれている。

本実施の形態では、第１車両１０Ａが走行する走行車線において第２車両３０Ａが停止中である場合、第１車両１０Ａにおいて、第２車両３０Ａにて撮影した他者画像を取得し、自車両にて撮影した自己画像と取得した他者画像とを用いて、合成画像１００Ｂを生成する。この場合、第１車両１０Ａから第２車両３０Ａに対して撮像画像を要求して他者画像として取得する。第２車両３０Ａは、受信機能のみアクティブとしたスリープ状態であり、第１車両１０Ａから要求を受けると、カメラを起動して撮影し、撮像画像を第１車両１０Ａへ送信した後、スリープ状態に戻る。或いは、第２車両３０Ａにおいて人物などの移動物体を検知し、移動物体等のイベント発生を検知したときにカメラを起動して撮影し、撮像画像を第１車両１０Ａへ送信してもよい。第２車両３０Ａは、イベント発生時にカメラにて撮影を行い、撮像画像の送信準備完了を第１車両１０Ａに通知し、第２車両３０Ａから第１車両１０Ａへ撮像画像を他者画像として送信する。或いは、第２車両３０Ａは、イベント検知信号を第１車両１０Ａに送信し、第１車両１０Ａからの要求に応じて撮像画像を第１車両１０Ａへ送信する。第１車両１０Ａと第２車両３０Ａとの間の画像伝送等の通信は、ＶｔｏＶ通信、５Ｇのモバイル通信、或いは無線ＬＡＮ等を用いたコンピュータネットワークのネットワーク通信などを用いてよい。第１車両１０Ａ、第２車両３０Ａは、所定タイミングで周囲との通信を試みて通信が可能な場合に、接続可能な車両が自車の近傍に存在することをステータス情報として保持し、画像データ等の送受信を行ってもよい。なお、撮像画像の合成は、自車両と１つの他車両だけでなく、自車両と複数の他車両であってもよく、任意の複数の車両において取得した画像を合成してよい。

図３の例では、自車両の上方から見た鳥瞰画像の合成画像１００Ｂを示している。合成画像１００Ｂにおいて、自車両の第１車両１０Ａは例えば中央下部の位置に表示する。この合成画像１００Ｂには、第２車両３０Ａの陰に存在している人物４０の画像も含まれ、第１車両１０Ａの搭乗者（運転者、同乗者）は、自車両では撮影できない領域の人物、自転車などの物体を認識できるようになる。これにより、第２車両３０Ａの影にある障害物の存在を事前に把握させることができ、駐停車車両の影からの人物、自転車などの飛び出しにも対処可能になる。

また、自車両に通知部を備える場合、人物などの移動物体の存在をユーザに通知し、撮像範囲外にある人物、自転車などの移動物体、又は注意すべき特徴的な物体を早期にユーザに認識させることができる。

（実施の形態３）
図４は、実施の形態３に係る自車両及び他車両の位置関係と合成画像の例を示す図である。実施の形態３は、所定の条件を満たす場面に該当する自車両の状況として、高速道路又はバイパス等の幹線道路に対して合流車線から合流する場面（合流のシーン）における合成画像の生成例を示すものである。

実施の形態３の場面では、自車両である第１車両１０Ａは高速道路の合流車線５４を走行している。高速道路の本線５５には、第１車線を他車両である第２車両３０Ａが走行し、隣の第２車線を別の他車両である第３車両３０Ｂが走行している。この場合、第２車両３０Ａ或いは高速道路の防音壁などによって、第３車両３０Ｂが第１車両１０Ａからの死角となり、第１車両１０Ａのカメラの撮像範囲１２０から外れた撮像範囲外となる。このため、第１車両１０Ａからは第３車両３０Ｂの撮影が困難であり、第１車両１０Ａの撮像画像には第３車両３０Ｂが含まれず、第１車両１０Ａにおいて本線５５の第２車線を走行している第３車両３０Ｂを認識できない。一方、第２車両３０Ａのカメラの撮像範囲１３０には、第２車両３０Ａと共に第３車両３０Ｂが入っており、第２車両３０Ａからは第３車両３０Ｂを撮影可能である。よって、第２車両３０Ａの撮像画像には第３車両３０Ｂが含まれている。

本実施の形態では、第１車両１０Ａの走行車線と第２車両３０Ａの走行車線とが合流する場合、第１車両１０Ａにおいて、第２車両３０Ａにて撮影した他者画像を取得し、自車両にて撮影した自己画像と取得した他者画像とを用いて、合成画像１００Ｃを生成する。なお、他車両として第２車両３０Ａの代わりに第３車両３０Ｂを用い、第３車両３０Ｂにて撮影した他者画像を第３車両３０Ｂから取得して合成してもよい。第１車両１０Ａと第２車両３０Ａ又は第３車両３０Ｂとの間の画像伝送等の通信は、実施の形態１と同様、ＶｔｏＶ通信、５Ｇのモバイル通信などを用いてよい。撮像画像の伝送は、自車両が合流する際に第１車両１０Ａから第２車両３０Ａ又は第３車両３０Ｂに対して撮像画像を要求して他者画像として取得してもよいし、合流点に近づいたときに第２車両３０Ａ又は第３車両３０Ｂから近傍の第１車両１０Ａへ撮像画像を送信してもよい。第１車両１０Ａ、第２車両３０Ａ、第３車両３０Ｂは、所定タイミングで周囲との通信を試みて通信が可能な場合に、接続可能な車両が自車の近傍に存在することをステータス情報として保持し、画像データ等の送受信を行ってもよい。なお、撮像画像の合成は、自車両と１つの他車両だけでなく、自車両と複数の他車両であってもよく、任意の複数の車両において取得した画像を合成してよい。

図４の例では、自車両の上方から見た鳥瞰画像の合成画像１００Ｃを示している。合成画像１００Ｃにおいて、自車両の第１車両１０Ａは例えば画像中央の位置に表示する。この合成画像１００Ｃには、高速道路の本線５５の第１車線を走行している第２車両３０Ａと共に、第２車線を走行している第３車両３０Ｂの画像も含まれ、第１車両１０Ａの搭乗者（運転者、同乗者）は、自車両では撮影できない領域の第３車両３０Ｂなどの物体の存在を認識できるようになる。これにより、撮像範囲外又は死角の領域まで確認可能な領域を拡大でき、より遠方、広範囲の車両を確認できるため、車両合流時の安全性をより高めることができる。

また、表示部としてＡＲ−ＨＵＤを用いる場合、自車両のフロントウィンドウにおいて視認用合成画像を重畳して表示する。これにより、第２車両とともに、撮像範囲外の死角領域に走行している第３車両を視認用合成画像に表示できるため、運転者及び搭乗者は車両前方を向いた状態で合成画像を視認でき、視界の実像と共に第３車両の接近を認識でき、より安全性を高めた状態でスムーズな合流が可能になる。

（実施の形態４）
図５は、実施の形態４に係る自車両及び他車両の位置関係と合成画像の例を示す図である。実施の形態４は、所定の条件を満たす場面に該当する自車両の状況として、走行している道路の前方に渋滞などのイベントが発生している場面（渋滞等のシーン）における合成画像の生成例を示すものである。

実施の形態４の場面では、自車両である第１車両１０Ａが走行している道路５６の前方に、他車両である第２車両３０Ａが先行して走行し、第２車両３０Ａの前方の路肩に別の他車両の駐車車両である第３車両３０Ｂが駐車している。駐車車両の第３車両３０Ｂによって、第２車両３０Ａ及び自車両の第１車両１０Ａ、並びに後続する車両が減速又は停止することになり、渋滞が発生する。この場合、第２車両３０Ａによって第３車両３０Ｂが死角となり、第２車両３０Ａの前方が第１車両１０Ａのカメラの撮像範囲１２０から外れた撮像範囲外となる。このため、第１車両１０Ａからは駐車車両の第３車両３０Ｂなどの撮影が困難であり、第１車両１０Ａにおいて進行方向前方の交通状況を認識できない。一方、第２車両３０Ａのカメラの撮像範囲１３０には、第１車両１０Ａの撮像範囲外となる前方領域が入っており、第２車両３０Ａからは第３車両３０Ｂを撮影可能である。よって、第２車両３０Ａの撮像画像には第３車両３０Ｂが含まれている。

本実施の形態では、第１車両１０Ａにおいて、第２車両３０Ａにて撮影した他者画像を取得し、自車両にて撮影した自己画像と取得した他者画像とを用いて、合成画像１００Ｄを生成する。この場合、第２車両３０Ａは、第１車両１０Ａの進行方向前方の車両とこの車両の対向方向にある第１車両１０Ａ前方の車両とを含む車両のうちの少なくとも一つの車両である。図示例においては、第２車両３０Ａが第１車両１０Ａの進行方向前方の車両となっている。撮像画像の伝送は、自車両の第１車両１０Ａから他車両の第２車両３０Ａに対して撮像画像を要求して他者画像として取得してもよいし、第２車両３０Ａが駐停車車両や渋滞等のイベント発生を検知したときに第２車両３０Ａから第１車両１０Ａへ撮像画像を送信してもよい。第１車両１０Ａ、第２車両３０Ａは、所定タイミングで周囲との通信を試みて通信が可能な場合に、接続可能な車両が自車の近傍に存在することをステータス情報として保持し、画像データ等の送受信を行ってもよい。なお、撮像画像の合成は、自車両と１つの他車両だけでなく、自車両と複数の他車両であってもよく、任意の複数の車両において取得した画像を合成してよい。

図５の例では、自車両の上方から見た鳥瞰画像の合成画像１００Ｄを示している。合成画像１００Ｄにおいて、自車両の第１車両１０Ａは例えば中央下部の位置に表示する。この合成画像１００Ｄには、第２車両３０Ａの前方に存在している駐車車両の第３車両３０Ｂの画像も含まれ、第１車両１０Ａの搭乗者（運転者、同乗者）は、自車両では撮影できない領域の駐車車両、渋滞、路面凍結、道路の凸凹、事故などのイベント発生、交通状況を認識できるようになる。これにより、第２車両３０Ａより前方の交通状況を広範囲に把握させることができる。

また、実施の形態４の応用例として、自車両が走行している道路の進行方向前方の他車両とこの車両の対向方向にある自車両前方の他車両とによって撮影した他者画像を取得し、これらの他者画像と自己画像とを合成して、より広範囲をカバーする合成画像を生成してもよい。すなわち、他車両である第２車両は、自車両である第１車両の進行方向前方の車両とこの車両の対向方向にある第１車両前方の車両とを含む車両のうちの少なくとも一つの車両であり、この第２車両にて撮影した撮像画像を他者画像として取得して合成する。この場合、例えば、各車両が撮影した画像をイベント情報を含むプローブ情報としてサーバ装置に送信し、サーバ装置にて広範囲の鳥瞰画像等の合成画像を生成して道路交通情報とともに蓄積し、自車両からの要求によってサーバ装置が合成画像を配信し、自車両にて合成画像を取得して表示する。或いは、サーバ装置に蓄積された広範囲の車両の撮像画像を用いて、自車両から所望の範囲の撮像画像を取得して合成画像を生成してもよい。また、サーバ装置を用いず、複数の車両間をリレー方式で撮像画像を転送し、複数の車両により撮影した撮像画像を取得して広範囲の合成画像を生成することも可能である。なお、応用例においては、自己画像との合成は必須ではなく、サーバ装置から、他者間の合成画像を取得し、自車両に表示する形態でもよい。また、サーバ装置から、他者間の合成画像を取得し表示する媒体は、自車両の表示装置に限らず、パソコン、スマートフォン、タブレット端末などを含むユーザの携帯端末に表示する形態であってもよい。

このような応用例によれば、多くの撮像画像を合成して広範囲を俯瞰する俯瞰画像の合成画像を表示することができ、例えば自車両の５ｋｍ先の道路に大きな穴が存在する、路面凍結が発生している、３ｋｍ先より渋滞が発生しているなど、さらに広範囲のイベント発生、現在の道路状況や交通状況を容易に認識することが可能になる。

（実施の形態５）
図６は、実施の形態５に係る自車両及び他車両の位置関係と合成画像の例を示す図である。実施の形態５は、所定の条件を満たす場面に該当する自車両の状況として、複数の駐車区画がある駐車場に駐車しているときに近くに駐車車両の他車両がある場面（駐車場のシーン）における合成画像の生成例を示すものである。

実施の形態５の場面では、自車両である第１車両１０Ａが駐車場５７に設けられた複数の駐車区画５８の一つに駐車していて、これから出庫中の状況である。或いは、第１車両１０Ａが駐車区画５８の一つに駐車するために入庫中の状況である。例えば、高速道路のサービスエリア、商業施設の駐車場などにおいてこのような場面に遭遇する。隣の駐車区画５８に他車両である第２車両３０Ａが駐車しており、この第２車両３０Ａの陰に人物４０が立っていて自車両方向に歩行しようとしている。なお、第２車両３０Ａは第１車両１０Ａの隣に限らず、近傍の駐車区画５８など、駐車場内のいずれかの位置に駐車していてもよい。この場合、駐車中の第２車両３０Ａによって人物４０が死角となり、第２車両３０Ａの前方が第１車両１０Ａのカメラの撮像範囲１２０から外れた撮像範囲外となる。このため、第１車両１０Ａからは第２車両３０Ａの影の部分の人物４０などの撮影が困難であり、第１車両１０Ａにおいて人物４０を認識できない。一方、第２車両３０Ａのカメラの撮像範囲１３０には、第１車両１０Ａの死角となる前方領域が入っており、第２車両３０Ａからは人物４０を撮影可能である。よって、第２車両３０Ａの撮像画像には人物４０が含まれている。

本実施の形態では、第１車両１０Ａが駐車場に入庫又は出庫中であり、第２車両３０Ａが駐車場内のいずれかの位置に駐車している場合、第１車両１０Ａにおいて、第２車両３０Ａにて撮影した他者画像を取得し、自車両にて撮影した自己画像と取得した他者画像とを用いて、合成画像１００Ｅを生成する。第１車両１０Ａと第２車両３０Ａとの間の画像伝送等の通信は、実施の形態２と同様、ＶｔｏＶ通信、５Ｇのモバイル通信、或いは無線ＬＡＮ等を用いたコンピュータネットワークのネットワーク通信などを用いてよい。撮像画像の伝送は、自車両が入庫又は出庫する際に第１車両１０Ａから第２車両３０Ａに対して撮像画像を要求して他者画像として取得してもよいし、第２車両３０Ａにおいて移動物体を検知したときに第２車両３０Ａから近傍の第１車両１０Ａへ撮像画像を送信してもよい。第１車両１０Ａ、第２車両３０Ａは、所定タイミングで周囲との通信を試みて通信が可能な場合に、接続可能な車両が自車の近傍に存在することをステータス情報として保持し、画像データ等の送受信を行ってもよい。なお、撮像画像の合成は、自車両と１つの他車両だけでなく、自車両と複数の他車両であってもよく、任意の複数の車両において取得した画像を合成してよい。

図６の例では、自車両の上方から見た鳥瞰画像の合成画像１００Ｅを示している。合成画像１００Ｅにおいて、自車両の第１車両１０Ａは例えば中央下部の位置に表示する。この合成画像１００Ｅには、第２車両３０Ａの陰に存在している人物４０の画像も含まれ、第１車両１０Ａの搭乗者（運転者、同乗者）は、自車両では撮影できない領域の人物などの物体を認識できるようになる。これにより、入出庫の発進時や走行時に第２車両３０Ａの影にある障害物の存在を事前に把握させることができ、駐車車両の影からの人物などの飛び出しにも対処可能になる。

また、自車両に通知部を備える場合、人物などの移動物体の存在をユーザに通知し、撮像範囲外にある人物、自転車などの物体を早期にユーザに認識させることができる。

以下に、自己画像と共に他者画像を用いた視認用合成画像の生成動作について、一例を挙げて具体的に説明する。

（合成画像の生成処理の一例）
図７は、視認用合成画像の生成処理の一例を示すフローチャートである。図７では、自車両１０の取得部１１及び合成部１２において合成画像を生成する例を示す。

自車両１０の取得部１１は、自車両に搭載されたカメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄから自己画像の撮像画像を取得する。また、取得部１１は、他車両３０と通信し、他車両３０のカメラ３１から他者画像の撮像画像を取得する。なお、道路の路肩、信号機、標識、案内板、歩道橋、高架などのインフラに設けられた他の撮像部と通信を行って他者画像の撮像画像を取得してもよい。このようにして、取得部１１は、自己画像に加えて他者画像の撮像画像を取得する（Ｓ１１）。

複数の撮像画像から鳥瞰画像等の合成画像を生成するには、例えば特許文献１等に記載された従来技術を用いて、複数の撮像画像の空間再構成、視点変換等の処理を行うことによって所望の視点から見た合成画像を生成できる。自車両のカメラのみの場合、各カメラの位置、撮像画像の画角は予めわかっており、出荷時の調整などによってカメラ間の相対位置、各カメラの撮像範囲は規定される。このため、合成画像を生成する際に複数の撮像画像における被写体の各画素を三次元空間上に再配置して合成することが可能になる。

一方、本実施の形態のように、自己画像に加えて他者画像を用いる場合、複数の撮像画像に共通して存在する特徴点を抽出し、特徴点の尤度に基づいて特徴点の三次元位置を整合させるように各画素を三次元空間上に再配置し、複数の撮像画像を合成する。

なお、準天頂衛星システム（ＱＺＳＳ：Quasi-Zenith Satellite System）などの高精度測位システム、或いはＬｉＤＡＲ（Light Detection and Ranging）を用いて、他車両及び自車両の複数の撮像部の相対位置を検出し、各撮像部の位置情報に基づいて合成画像を生成するようにしてもよい。

自車両１０の合成部１２は、合成する複数の撮像画像における特徴点を抽出する（Ｓ１２）。特徴点としては、道路の境界線、車線を示す白線や黄線、駐車区画を示す白線、ガードレールや防音壁等の道路周縁部の固定物などを用いればよい。

合成部１２は、取得した複数の撮像画像において抽出した特徴点の尤度に基づき、撮像画像の空間再構成処理を実行する（Ｓ１３）。この際、合成部１２は、特徴点の尤度に基づいて被写体の各画素と三次元座標系の点との対応関係を計算し、特徴点の三次元位置を整合させるように三次元空間上に再配置する。

続いて、合成部１２は、三次元空間上に再配置した各画素の画素情報を用いて、例えば自車両１０の垂直上方を視点位置とするように所定の視点位置への視点変換処理を行う（Ｓ１４）。そして、合成部１２は、視点変換後の撮像画像の各画素を合成し、自車両１０の真上から見下ろした鳥瞰画像の合成画像を生成する（Ｓ１５）。なお、視点位置は、自車両１０の真上の位置に限らず、斜め上方の位置などの所定の位置を設定可能であり、斜め上から見下ろした俯瞰画像などの所望の視点からの合成画像を生成できる。

このように、自己画像とともに他者画像の撮像画像を含む鳥瞰画像の合成画像を生成することにより、自車両の撮像範囲外の領域を含む広範囲の視認用合成画像を得ることができ、ユーザの視認範囲を拡大できる。

（他者画像の取得動作の第１例）
図８は、他者画像の撮像画像を取得する画像取得動作の第１例を示すシーケンス図である。第１例は、自車両から他の撮像部を有する他車両に対して他者画像を要求して取得する場合の動作例を示す。第１例では、自車両が他の撮像部にて撮像した他者画像を取得して合成画像を生成する際に、画像取得先の他車両が駐車中などでスリープ状態にある場合を想定する。このとき、他車両は、自己の撮像部にて撮像を停止し、撮像画像の合成処理、表示処理などを停止していて、撮像部及び制御部がスリープ状態になっている。

自車両１０の取得部１１は、所定の条件を満たす場面において、他者画像の画像要求を自己の通信エリア内に送信し、近傍に存在する他車両３０に対して画像要求を発信する（Ｓ２１）。他車両３０の制御部は、スリープ状態において近傍の車両から画像要求を受信すると（Ｓ３１）、起動して撮像部であるカメラ３１のスリープ状態を解除し（Ｓ３２）、画像要求が受信されない期間を計測する画像要求受信無タイマをスタートする（Ｓ３３）。そして、他車両３０の制御部は、カメラ３１にて周囲画像を撮像し（Ｓ３４）、画像要求を受けた自車両１０に対して撮像画像を画像送信する（Ｓ３５）。

自車両１０の取得部１１は、他車両３０から伝送されてきた他者画像の撮像画像について、画像受信処理を行って他者画像を取得する（Ｓ２２）。また、取得部１１は、自車両１０の撮像部であるカメラ２１Ａ〜２１Ｄからにて撮像した自己画像の撮像画像を取得する。自車両１０の合成部１２は、取得した自己画像と他者画像の撮像画像を用いて、図７にて示したような画像合成処理を実行し、鳥瞰画像の合成画像を生成する（Ｓ２３）。そして、自車両１０の表示部１３は、生成した合成画像の画像表示処理を実行し、鳥瞰画像の合成画像を表示する（Ｓ２４）。例えば、表示部１３としてＡＲ−ＨＵＤを用いる場合、ＡＲ技術によって自車両のフロントウィンドウにおいて合成画像を重畳して表示することにより、ユーザは車両前方の視界の実像と共に現在の車両周囲の状況を表す合成画像を視認して認識することができる。

他車両３０の制御部は、画像要求受信無タイマの値をモニタし、画像要求受信無タイマの値が所定の閾値を超えるかどうか判断する（Ｓ３６）。ここで、画像要求受信無タイマの値が所定の閾値を超えた場合、すなわち画像要求が受信されない期間が所定時間以上となった場合に、他車両３０の制御部は、スリープ状態移行処理を実行して撮像部及び制御部をスリープ状態に移行させる（Ｓ３７）。これにより、他車両３０は画像要求受信前の状態に戻り、スリープ状態で待機する。

このようにして、所定の場面において自車両から他車両に要求を送信して他者画像の撮像画像を取得し、自己画像及び他者画像を含む視認用合成画像を生成できる。

（他者画像の取得動作の第２例）
図９は、他者画像の撮像画像を取得する画像取得動作の第２例を示すシーケンス図である。第２例は、他車両において周辺の移動物体を検知し、スリープ状態から起動して自車両に対して他者画像を送信して取得させる場合の動作例を示す。第２例では、他車両が駐車中などでスリープ状態のときに移動物体の検知機能を有効にし、周囲画像を低周期で撮像している場合を想定する。

他車両３０の制御部は、スリープ状態においてカメラ３１によって低周期で周囲画像を撮像している（Ｓ４１）。ここで、他車両３０の制御部は、所定の条件を満たす場面として、自己に搭載されたセンサによって周辺の移動物体が検知されたかどうか判断する（Ｓ４２）。移動物体を検知するセンサとしては、振動センサ、加速度センサ、赤外線センサなどの種々のセンサを用いてよい。ここで、他車両３０の周辺において人物などの移動物体が検知された場合、他車両３０の制御部は、起動して撮像部であるカメラ３１のスリープ状態を解除し（Ｓ４３）、移動物体が検知されてからの期間を計測する移動物検知タイマをスタートする（Ｓ４４）。そして、他車両３０の制御部は、カメラ３１にて周囲画像を撮像し（Ｓ４５）、周囲の車両に対して接続要求を行って自己の通信エリア内に撮像画像を取得可能な車両が存在するか確認する。続いて他車両３０の制御部は、自己の近傍にある自車両１０に対して撮像画像を画像送信する（Ｓ４６）。

自車両１０の取得部１１は、他車両３０から伝送されてきた他者画像の撮像画像について、画像受信処理を行って他者画像を取得する（Ｓ５１）。また、取得部１１は、自車両１０の撮像部であるカメラ２１Ａ〜２１Ｄからにて撮像した自己画像の撮像画像を取得する。自車両１０の合成部１２は、取得した自己画像と他者画像の撮像画像を用いて、図７にて示したような画像合成処理を実行し、鳥瞰画像の合成画像を生成する（Ｓ５２）。そして、自車両１０の表示部１３は、生成した合成画像の画像表示処理を実行し、鳥瞰画像の合成画像を表示する（Ｓ５３）。

他車両３０の制御部は、画像送信処理に続いて、まだ周辺の移動物体が検知されているかを判断し（Ｓ４７）、移動物体の検知が継続している場合、ステップＳ４５に戻って周囲画像の撮像及び転送の処理を継続する。周辺に移動物体が検知されない場合、他車両３０の制御部は、移動物検知タイマの値をモニタし、移動物検知タイマの値が所定の閾値を超えるかどうか判断する（Ｓ４８）。ここで、移動物検知タイマの値が所定の閾値を超えた場合、すなわち移動物体を検知してから移動物体検知が継続せず、所定時間が経過した場合に、他車両３０の制御部は、スリープ状態移行処理を実行して撮像部及び制御部をスリープ状態に移行させる（Ｓ４９）。これにより、他車両３０は移動物体検知前の状態に戻り、スリープ状態で待機する。

このようにして、所定の場面において他車両から自車両に撮像画像を送信し、自車両にて他者画像の撮像画像を取得し、自己画像及び他者画像を含む視認用合成画像を生成できる。

なお、本実施の形態の運転支援装置を搭載する移動体としては、自動車、トラック等の車両に限らず、ドローン等の飛行体、その他の移動体にも適用可能である。

本実施の形態によれば、自己の移動体では撮影できない撮像範囲外（死角により撮像範囲外の領域含む）の領域に関して、他の撮像部にて撮影した撮像画像を取得し、自己の移動体にて撮影した撮像画像とともに画像合成して視認用合成画像を得ることができる。このため、自己の撮像範囲に限定されずに移動体の運行状態、周囲の状態などに応じた適切な画像の生成が可能であり、車両等の移動体に搭載されたカメラの撮像範囲外の領域についてもユーザが確認することができる。

以上のように、本実施の形態の運転支援装置、運転支援方法、及びプログラムは、車両等の移動体の運転を支援するための運転支援装置であり、例えばプロセッサ及びメモリを有してなる合成部１２等による処理部と、取得部１１とを含む。例えば、自車両１０において、取得部１１及び合成部１２を有する。取得部１１は、自己の移動体（自車両１０）に搭載された撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて移動体の周囲を撮影した自己画像と、他の撮像部（他車両３０のカメラ３１）にて撮影した他者画像とを取得する。処理部としての合成部１２は、自己画像及び他者画像を含む複数の画像を合成して視認用合成画像を生成する。これにより、自己画像の撮像範囲外についても、他者画像を取得して合成でき、視認用合成画像に示される範囲を拡大できる。例えば、視認用合成画像によって自己の移動体の撮像範囲外に存在する他の移動体、人物などの物体の存在を把握可能となる。したがって、車両等の移動体の運行状態、周囲の状態などに応じた適切な画像を生成して運転支援を行うことが可能となる。

また、処理部としての合成部１２は、視認用合成画像を生成する際、複数の自己画像を合成した第１の合成画像と、複数の他者画像を合成した第２の合成画像とを合成してよい。また、処理部としての合成部１２は、視認用合成画像を生成する際、複数の自己画像と、一つ又は複数の他者画像とのそれぞれの画像を合成してよい。また、処理部としての合成部１２は、視認用合成画像を生成する際、複数の自己画像を合成した第１の合成画像と、一つ又は複数の他者画像とを合成してよい。これらにより、状況に応じて自己画像と他者画像とを適切に合成して視認用合成画像を生成可能となる。

また、処理部としての合成部１２は、自己画像及び他者画像の各画像中の特徴点を抽出し、特徴点の尤度に基づいて自己画像及び他者画像を含む複数の画像を合成してよい。これにより、各画像中の特徴点の尤度に基づいて特徴点の三次元位置を整合させるように各画素を三次元空間上に再配置し、複数の撮像画像を合成することが可能になる。なお、自己の移動体の撮像部と他の撮像部のそれぞれの相対位置を検出し、各撮像部の位置情報に基づいて合成画像を生成してよい。これにより、各撮像部の位置情報に基づいて複数の撮像画像の各画素を三次元空間上に再配置し、複数の撮像画像を合成することが可能になる。

また、処理部としての合成部１２は、自己画像及び他者画像のそれぞれの画像における被写体の各画素を三次元空間上に再配置し、所定の視点位置への視点変換処理を行って複数の画像を合成し、視認用合成画像を生成してよい。これにより、視点変換処理を行った合成画像を生成し、例えば自己の移動体の真上から見下ろした鳥瞰画像、所定の視点位置から見た俯瞰画像などを表示してユーザが現在の周囲状況を容易に確認可能になる。

また、処理部としての合成部１２は、合成した画像を表示部１３に提供して表示部１３により視認用合成画像を表示させてよい。これにより、表示部１３に視認用合成画像を表示させてユーザにおいて現在の周囲状況を容易に確認可能にできる。なお、自己の移動体である自車両１０に表示部１３を備えることで、ユーザが現在の周囲状況を示す視認用合成画像を容易に確認できる。

また、表示部１３は、ＡＲ−ＨＵＤを含む表示装置であってよい。表示部１３としてＡＲ−ＨＵＤを用いることにより、ユーザは前方を向いた状態で周囲の実像と視認用合成画像とを視認することが可能になり、運転時の操作性及び視認性を向上できる。

また、処理部としての合成部１２は、視認用合成画像の画像中に所定の物体が存在する場合に通知情報を通知部に送信し、通知部により所定の物体の存在をユーザに通知させてよい。これにより、例えば音、光などでユーザに通知することによって、周囲に所定の物体が存在し、周囲状況が所定の状態となったことを知らせることが可能になる。なお、自己の移動体である自車両１０に通知部を備えることで、ユーザが現在の周囲状況を容易に認識できる。

また、自己の移動体は自車両１０であり、他の撮像部は、他の移動体である他車両３０に搭載される撮像部（カメラ３１）、又は自車両１０が走行する道路又は駐車場に設置された関連設備に搭載される撮像部であってよい。これにより、自車両の撮像範囲外についても、他車両又は関連設備のインフラの撮像部から他者画像を取得して合成でき、視認用合成画像によって自車両の撮像範囲外に存在する他車両、人物などの障害物の存在を把握可能となる。

また、自車両である第１車両１０Ａが、取得部１１及び処理部としての合成部１２と、視認用合成画像を表示する表示部１３とを有し、他車両である第２車両３０Ａが撮像部を有し、第１車両１０Ａの進行方向と第２車両３０Ａの進行方向とが交わる場合、第１車両の取得部１１は、第２車両から第２車両の撮像部（カメラ３１）にて撮像した他者画像を取得し、第１車両の処理部としての合成部１２は、第１車両に備える撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて撮像した自己画像と第２車両から取得した他者画像とを合成してよい。これにより、例えば交差点のシーンにおいて、自車両の撮像範囲外にある他車両を認識可能になり、撮像範囲外からの他車両の接近を確認できる。

また、自車両である第１車両１０Ａが、取得部１１及び処理部としての合成部１２と、視認用合成画像を表示する表示部１３とを有し、他車両である第２車両３０Ａが撮像部を有し、第１車両１０Ａが走行する走行車線において第２車両３０Ａが停止中である場合、第１車両の取得部１１は、第２車両から第２車両の撮像部（カメラ３１）にて撮像した他者画像を取得し、第１車両の処理部としての合成部１２は、第１車両に備える撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて撮像した自己画像と第２車両から取得した他者画像とを合成してよい。これにより、例えば駐停車車両があるシーンにおいて、自車両の撮像範囲外の死角にある物体を認識可能であり、他車両の陰にある人物等の障害物の存在を事前に把握させることができ、飛び出し等に対応可能になる。

また、自車両である第１車両１０Ａが、取得部１１及び処理部としての合成部１２と、視認用合成画像を表示する表示部１３とを有し、他車両である第２車両３０Ａが撮像部を有し、第１車両１０Ａの走行車線と第２車両３０Ａの走行車線とが合流する場合、第１車両の取得部１１は、第２車両から第２車両の撮像部（カメラ３１）にて撮像した他者画像を取得し、第１車両の処理部としての合成部１２は、第１車両に備える撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて撮像した自己画像と第２車両から取得した他者画像とを合成してよい。これにより、例えば合流のシーンにおいて、自車両にて確認可能な領域を拡大でき、撮像範囲外又は死角にある他車両を認識できるため、車両合流時の安全性をより高めることができる。

また、自車両である第１車両１０Ａが、取得部１１及び処理部としての合成部１２と、視認用合成画像を表示する表示部１３とを有し、他車両である第２車両３０Ａが撮像部を有し、第２車両３０Ａは、第１車両の進行方向前方の車両とこの車両の対向方向にある第１車両前方の車両とを含む車両のうちの少なくとも一つの車両であり、第１車両の取得部１１は、第２車両から第２車両の撮像部（カメラ３１）にて撮像した他者画像を取得し、第１車両の処理部としての合成部１２は、第１車両に備える撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて撮像した自己画像と第２車両から取得した他者画像とを合成してよい。これにより、例えば渋滞等のシーンにおいて、自車両の撮像範囲外にある他車両などの状況を認識可能になり、自車両では撮影できない領域の駐車車両、渋滞、路面凍結、道路の凸凹、事故などのイベント発生、交通状況を広範囲に把握させることが可能になる。

また、自車両である第１車両１０Ａが視認用合成画像を表示する表示部１３を有し、他車両である第２車両３０Ａが撮像部を有し、自車両及び他車両と通信可能なサーバ装置が取得部１１及び処理部としての合成部１２を有し、第２車両３０Ａは、第１車両の進行方向前方の車両とこの車両の対向方向にある第１車両前方の車両とを含む車両のうちの少なくとも一つの車両であり、サーバ装置の取得部１１は、第２車両から第２車両の撮像部（カメラ３１）にて撮像した他者画像を取得し、サーバ装置の処理部としての合成部１２は、第１車両に備える撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて撮像した自己画像と第２車両から取得した他者画像とを合成し、第１車両の表示部１３に視認用合成画像を送信してよい。これにより、多くの撮像画像を合成して広範囲を俯瞰する俯瞰画像の合成画像を表示することができ、例えば数ｋｍ先の道路状況など、さらに広範囲のイベント発生、現在の道路状況や交通状況を容易に認識することが可能になる。

また、自車両である第１車両１０Ａが、取得部１１及び処理部としての合成部１２と、視認用合成画像を表示する表示部１３とを有し、他車両である第２車両３０Ａが撮像部を有し、第１車両が駐車場に入庫又は出庫中であり、第２車両が駐車場内のいずれかの位置に駐車している場合、第１車両の取得部１１は、第２車両から第２車両の撮像部（カメラ３１）にて撮像した他者画像を取得し、第１車両の処理部としての合成部１２は、第１車両に備える撮像部（カメラ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ）にて撮像した自己画像と第２車両から取得した他者画像とを合成してよい。これにより、例えば駐車場のシーンにおいて、自車両では撮影できない領域の物体を認識可能であり、入出庫の発進時や走行時に他車両の影にある人物等の障害物の存在を事前に把握させることができ、駐車車両の影からの人物などの飛び出しにも対処可能になる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、車両等の移動体の運行状態、周囲の状態などに応じた適切な画像を生成して運転支援を行うことが可能となる効果を有し、車両等の移動体の運転を支援するための運転支援装置、運転支援方法及びプログラムとして有用である。

１０ 自車両
１０Ａ 第１車両
１１ 取得部
１２ 合成部
１３ 表示部
２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、３１ カメラ
３０ 他車両
３０Ａ 第２車両
３０Ｂ 第３車両
４０ 人物
５１ 幹線道路
５２ 脇道
５３、５６ 道路
５４ 合流車線
５５ 本線
５７ 駐車場
５８ 駐車区画
１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ 合成画像
１２０、１３０ 撮像範囲

Claims (18)

1. 移動体の運転を支援するための運転支援装置であって、
   自己の移動体に搭載された撮像部にて前記移動体の周囲を撮影した自己画像と、他の撮像部にて撮影した他者画像とを取得する取得部と、
   前記自己画像及び前記他者画像を含む複数の画像を合成して視認用合成画像を生成する処理部と、
   を備える運転支援装置。
2. 前記処理部は、前記視認用合成画像を生成する際、複数の前記自己画像を合成した第１の合成画像と、複数の前記他者画像を合成した第２の合成画像とを合成する、
   請求項１に記載の運転支援装置。
3. 前記処理部は、前記視認用合成画像を生成する際、複数の前記自己画像と、一つ又は複数の前記他者画像とのそれぞれの画像を合成する、
   請求項１に記載の運転支援装置。
4. 前記処理部は、前記視認用合成画像を生成する際、複数の前記自己画像を合成した第１の合成画像と、一つ又は複数の前記他者画像とを合成する、
   請求項１に記載の運転支援装置。
5. 前記処理部は、前記自己画像及び前記他者画像の各画像中の特徴点を抽出し、前記特徴点の尤度に基づいて前記自己画像及び前記他者画像を含む複数の画像を合成する、
   請求項１〜４のいずれか一項に記載の運転支援装置。
6. 前記処理部は、前記自己画像及び前記他者画像のそれぞれの画像における被写体の各画素を三次元空間上に再配置し、所定の視点位置への視点変換処理を行って複数の画像を合成し、前記視認用合成画像を生成する、
   請求項１〜５のいずれか一項に記載の運転支援装置。
7. 前記処理部は、前記合成した画像を表示部に提供して前記表示部により前記視認用合成画像を表示させる、
   請求項１〜６のいずれか一項に記載の運転支援装置。
8. 前記表示部は、ＡＲ−ＨＵＤ（Augmented Reality Head Up Display）を含む表示装置である、
   請求項７に記載の運転支援装置。
9. 前記処理部は、前記視認用合成画像の画像中に所定の物体が存在する場合に通知情報を通知部に送信し、前記通知部により前記所定の物体の存在をユーザに通知させる、
   請求項１〜８のいずれか一項に記載の運転支援装置。
10. 前記自己の移動体は自車両であり、
    前記他の撮像部は、他の移動体である他車両に搭載される撮像部、又は前記自車両が走行する道路又は駐車場に設置された関連設備に搭載される撮像部である、
    請求項１に記載の運転支援装置。
11. 前記自車両である第１車両が、前記取得部及び前記処理部と、前記視認用合成画像を表示する表示部とを有し、
    前記他車両である第２車両が撮像部を有し、
    前記第１車両の進行方向と前記第２車両の進行方向とが交わる場合、
    前記第１車両の取得部は、前記第２車両から前記第２車両の撮像部にて撮像した他者画像を取得し、
    前記第１車両の処理部は、前記第１車両に備える撮像部にて撮像した自己画像と前記第２車両から取得した他者画像とを合成する、
    請求項１０に記載の運転支援装置。
12. 前記自車両である第１車両が、前記取得部及び前記処理部と、前記視認用合成画像を表示する表示部とを有し、
    前記他車両である第２車両が撮像部を有し、
    前記第１車両が走行する走行車線において前記第２車両が停止中である場合、
    前記第１車両の取得部は、前記第２車両から前記第２車両の撮像部にて撮像した他者画像を取得し、
    前記第１車両の処理部は、前記第１車両に備える撮像部にて撮像した自己画像と前記第２車両から取得した他者画像とを合成する、
    請求項１０に記載の運転支援装置。
13. 前記自車両である第１車両が、前記取得部及び前記処理部と、前記視認用合成画像を表示する表示部とを有し、
    前記他車両である第２車両が撮像部を有し、
    前記第１車両の走行車線と前記第２車両の走行車線とが合流する場合、
    前記第１車両の取得部は、前記第２車両から前記第２車両の撮像部にて撮像した他者画像を取得し、
    前記第１車両の処理部は、前記第１車両に備える撮像部にて撮像した自己画像と前記第２車両から取得した他者画像とを合成する、
    請求項１０に記載の運転支援装置。
14. 前記自車両である第１車両が、前記取得部及び前記処理部と、前記視認用合成画像を表示する表示部とを有し、
    前記他車両である第２車両が撮像部を有し、
    前記第２車両は、前記第１車両の進行方向前方の車両とこの車両の対向方向にある前記第１車両前方の車両とを含む車両のうちの少なくとも一つの車両であり、
    前記第１車両の取得部は、前記第２車両から前記第２車両の撮像部にて撮像した他者画像を取得し、
    前記第１車両の処理部は、前記第１車両に備える撮像部にて撮像した自己画像と前記第２車両から取得した他者画像とを合成する、
    請求項１０に記載の運転支援装置。
15. 前記自車両である第１車両が前記視認用合成画像を表示する表示部を有し、
    前記他車両である第２車両が撮像部を有し、
    前記自車両及び前記他車両と通信可能なサーバ装置が前記取得部及び前記処理部を有し、
    前記第２車両は、前記第１車両の進行方向前方の車両とこの車両の対向方向にある前記第１車両前方の車両とを含む車両のうちの少なくとも一つの車両であり、
    前記サーバ装置の取得部は、前記第２車両から前記第２車両の撮像部にて撮像した他者画像を取得し、
    前記サーバ装置の処理部は、前記第１車両に備える撮像部にて撮像した自己画像と前記第２車両から取得した他者画像とを合成し、
    前記第１車両の表示部に前記視認用合成画像を送信する、
    請求項１０に記載の運転支援装置。
16. 前記自車両である第１車両が、前記取得部及び前記処理部と、前記視認用合成画像を表示する表示部とを有し、
    前記他車両である第２車両が撮像部を有し、
    前記第１車両が駐車場に入庫又は出庫中であり、前記第２車両が前記駐車場内のいずれかの位置に駐車している場合、
    前記第１車両の取得部は、前記第２車両から前記第２車両の撮像部にて撮像した他者画像を取得し、
    前記第１車両の処理部は、前記第１車両に備える撮像部にて撮像した自己画像と前記第２車両から取得した他者画像とを合成する、
    請求項１０に記載の運転支援装置。
17. 移動体の運転を支援するための運転支援装置における運転支援方法であって、
    自己の移動体に搭載された撮像部にて前記移動体の周囲を撮影した自己画像と、他の撮像部にて撮影した他者画像とを取得し、
    前記自己画像及び前記他者画像を含む複数の画像を合成して視認用合成画像を生成する、ステップを有する、
    運転支援方法。
18. コンピュータに、
    移動体の運転を支援するための運転支援方法であって、
    自己の移動体に搭載された撮像部にて前記移動体の周囲を撮影した自己画像と、他の撮像部にて撮影した他者画像とを取得するステップと、
    前記自己画像及び前記他者画像を含む複数の画像を合成して視認用合成画像を生成するステップと、を含む、
    運転支援方法の各ステップを、実行させるためのプログラム。

Images