JP2020052671A

JP2020052671A - 表示制御装置、車両、表示制御方法

Info

Publication number: JP2020052671A
Application number: JP2018180761A
Authority: JP
Inventors: 吉岡　健司; Kenji Yoshioka; 健司吉岡
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-09-26
Filing date: 2018-09-26
Publication date: 2020-04-02

Abstract

【課題】仮想視点を変更しても、障害物が正確に示される合成画像を生成する技術を提供する。【解決手段】指示受付部１１２は、仮想視点の変更の指示を受けつける。変換部１１６は、指示受付部１１２において受けつけた指示に応じて変更した別の仮想視点における第１変換画像と第２変換画像とを生成する。特定部１４０、決定部１４２、合成部１２０は、変換部１１６において生成した第１変換画像と第２変換画像であって、かつ別の仮想視点における第１変換画像と第２変換画像に対して、特定部１４０により第１の特徴点および第２の特徴点を特定し、決定部１４２により１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、合成部１２０により第１変換画像と第２変換画像とを合成することによって、合成画像を生成する。【選択図】図３

Description

本開示は、表示制御技術、特に撮像装置において撮像した画像を表示させる表示制御装置、車両、表示制御方法に関する。

車両用電子ミラーでは、車両の運転を支援するために車両の前後左右に撮像装置が取り付けられ、各撮像装置からの画像を合成して車両の周囲全体を表示した１つの画像データが生成される。複数の撮像装置で撮像した画像を合成する場合、各撮像装置は、撮像領域の一部が重複するように配置される。そのため、複数の画像を合成した合成位置では画像の継ぎ目が生じる。見やすい画像を提供するために、複数の撮像装置の画像を合成する場合に、仮想視点から見た画像への変換がなされる。

特開２０１０−１２８９５１号公報

投影面が路面である場合、仮想視点から見た画像に変換してから合成することによって、車両の周囲全体を表示した１つの画像データが生成される。しかしながら、ルームミラーを撮像装置と表示装置の組合せに置き換える場合、障害物の位置により、合成した画像における障害物の二重化、合成した画像から障害物が消失する死角が発生する。さらに、仮想視点を変更可能である場合、仮想視点の角度により二重化、死角が発生する。

本開示はこうした状況に鑑みなされたものであり、その目的は、仮想視点を変更しても、障害物が正確に示される合成画像を生成する技術を提供することにある。

上記課題を解決するために、本開示のある態様の表示制御装置は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像と第２画像との仮想視点を共通にする視点変換処理を実行することによって、第１画像から第１変換画像を生成するとともに、第２画像から第２変換画像を生成する変換部と、変換部において生成した第１変換画像から第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、変換部において生成した第２変換画像から第２変換画像に含まれる特徴点である第２特徴点を１以上特定する特定部と、特定部において特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定する決定部と、決定部において決定した１以上のペアをもとに、第１変換画像と第２変換画像とを合成することによって、第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、仮想視点の変更の指示を受けつける指示受付部とを備える。変換部は、指示受付部において受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成し、特定部、決定部、合成部は、変換部において生成した第１変換画像と第２変換画像であって、かつ別の仮想視点における第１変換画像と第２変換画像に対して、特定部により第１の特徴点および第２の特徴点を特定し、決定部により１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、合成部により第１変換画像と第２変換画像とを合成することによって第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。

本開示の別の態様は、車両である。この車両は、第１撮像装置と、第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置と、第１撮像装置と第２撮像装置とに接続される表示制御装置とを備える。表示制御装置は、第１撮像装置からの第１画像と、第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像と第２画像との仮想視点を共通にする視点変換処理を実行することによって、第１画像から第１変換画像を生成するとともに、第２画像から第２変換画像を生成する変換部と、変換部において生成した第１変換画像から第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、変換部において生成した第２変換画像から第２変換画像に含まれる特徴点である第２特徴点を１以上特定する特定部と、特定部において特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定する決定部と、決定部において決定した１以上のペアをもとに、第１変換画像と第２変換画像とを合成することによって、第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、仮想視点の変更の指示を受けつける指示受付部とを備える。変換部は、指示受付部において受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成し、特定部、決定部、合成部は、変換部において生成した第１変換画像と第２変換画像であって、かつ別の仮想視点における第１変換画像と第２変換画像に対して、特定部により第１の特徴点および第２の特徴点を特定し、決定部により１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、合成部により第１変換画像と第２変換画像とを合成することによって第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。

本開示のさらに別の態様は、表示制御方法である。この方法は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置からの第２画像とを受けつけるステップと、受けつけた第１画像と第２画像との仮想視点を共通にする視点変換処理を実行することによって、第１画像から第１変換画像を生成するとともに、第２画像から第２変換画像を生成するステップと、生成した第１変換画像から第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、生成した第２変換画像から第２変換画像に含まれる特徴点である第２特徴点を１以上特定するステップと、特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定するステップと、決定した１以上のペアをもとに、第１変換画像と第２変換画像とを合成することによって、第１合成画像を生成するステップと、生成した第１合成画像を出力するステップと、仮想視点の変更の指示を受けつけるステップと、受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成するステップと、生成した第１変換画像と第２変換画像であって、かつ別の仮想視点における第１変換画像と第２変換画像に対して、第１の特徴点および第２の特徴点を特定し、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、第１変換画像と第２変換画像とを合成することによって第２合成画像を生成するステップと、生成した第２合成画像を出力するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、仮想視点を変更しても、障害物が正確に示される合成画像を生成できる。

本実施の形態に係る車両の構成を示す図である。図２ａ−ｂは、図１の車両に搭載された撮像装置による撮像領域を示す図である。図１の表示制御装置の構成を示す図である。図３の変換部における仮想視点変換処理の概要を示す図である。図３の特定部から算出部における処理の概要を示す図である。図３の算出部における処理の概要を示す図である。図３の算出部における別の処理の概要を示す図である。図３の算出部におけるさらに別の処理の概要を示す図である。図９ａ−ｃは、図３の合成部における処理の概要を示す図である。図１０ａ−ｄは、図３の合成部における処理の別の概要を示す図である。図３の表示制御装置による合成画像の表示手順を示すフローチャートである。図３の表示制御装置による仮想視点の変更手順を示すフローチャートである。

本実施の形態を具体的に説明する前に、概要を述べる。本実施の形態は、車両に搭載された複数の撮像装置において撮像された映像を合成して表示装置に表示させる車両用電子ミラーの表示制御装置に関する。映像は複数の画像を時系列に並べることによって構成されるので、以下では画像として説明する。ここでは、車両の後側部分、左側部分、右側部分に撮像装置が搭載され、「３つ」の撮像装置により車両の後方が撮像されるとともに、車室の天井の前側部分にルームミラーサイズの表示装置が設置される。３つの撮像装置により撮像された画像は合成されてから、表示装置に設置される。その際、合成する画像の境界付近において障害物が二重に映される二重化が生じたり、本来存在する障害物が消えてしまう死角が生じたりする。

画像に対して仮想視点を変更することによって、運転者の好みのポジションによる後方確認が可能になる。例えば、視点を低くすると、これまでのルームミラーと同様の視野が確保され、運転者にとっての違和感が低減される。また、一方、視点を高くすると、ルームミラーよりも広い視野が確保され、運転者が視認可能な範囲が拡大する。しかしながら、仮想視点を変更可能である場合であっても、仮想視点の角度により二重化、死角が発生しうる。そのため、仮想視点を変更しても、障害物が正確に示されるように画像を合成することが求められる。

本実施の形態に係る表示制御装置は、３つの画像の仮想視点を共通にするように視点変換処理を実行することによって３つの仮想視点画像を生成するとともに、各仮想視点画像における特徴点を特定する。また、表示制御装置は、異なった仮想視点画像間における同一の特徴点をペアとして決定し、ペアとして決定された特徴点を合わせるように、３つの仮想視点画像を合成することによって、合成画像を生成する。合成画像では、異なった仮想視点画像間における同一の特徴点が合わされるので、二重化の発生が抑制される。また、合成画像では、障害物が特徴点として検出されているので、死角の発生が抑制される。さらに、表示制御装置は、運転者の操作あるいは車両信号を受けつけることにより、視点変換処理における仮想視点を変更する。その結果、仮想視点を変更した３つの仮想視点画像が生成される。表示制御装置は、このような３つの仮想視点画像に対しても前述の処理を実行して合成画像を生成する。その結果、仮想視点を変更しても、二重化および死角の発生が抑制される。以下、本実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。

図１は、車両１０００の構成を示す。車両１０００は、撮像装置１０と総称される第１撮像装置１０ａ、第２撮像装置１０ｂ、第３撮像装置１０ｃ、表示装置２０、表示制御装置１００を含む。図１の左側が車両１０００の前側部分を示し、図１の右側が車両１０００の後側部分を示し、図１の上側が車両１０００の右側部分を示し、図１の下側が車両１０００の左側部分を示す。つまり、車両１０００が前進する方向が前側と定義され、前側の反対が後側と定義される。また、前側を向いた運転者に対して右側と左側が定義される。以下では、車両１０００の前側部分と後側部分とを結ぶ方向を前後方向といい、車両１０００の左側部分と右側部分とを結ぶ方向を左右方向あるいは横方向ということもある。

第１撮像装置１０ａは、車両１０００の後側部分のリアガラス上部あるいはトランクフード付近に搭載されるリア撮像装置である。第２撮像装置１０ｂは、車両１０００の左側部分の左側ドア付近に搭載されるサイド撮像装置であり、第３撮像装置１０ｃは、車両１０００の右側部分の右側ドア付近に搭載されるサイド撮像装置である。そのため、第２撮像装置１０ｂと第３撮像装置１０ｃは、第１撮像装置１０ａの搭載位置から少なくとも横方向にずれた位置に搭載される。

図２ａ−ｂは、車両１０００に搭載された撮像装置１０による撮像領域１２を示す。第１撮像装置１０ａは、中央後方に広がる第１撮像領域１２ａにおいて画像（以下、「第１画像」という）を撮像する。第２撮像装置１０ｂは、左側後方に広がる第２撮像領域１２ｂにおいて画像（以下、「第２画像」という）を撮像する。第３撮像装置１０ｃは、右側後方に広がる第３撮像領域１２ｃにおいて画像（以下、「第３画像」という）を撮像する。第１撮像領域１２ａから第３撮像領域１２ｃは互いに異なるので、第１画像から第３画像も互いに異なる。第１撮像領域１２ａと第２撮像領域１２ｂの一部が重なり、第１撮像領域１２ａと第３撮像領域１２ｃの一部が重なる。そのため、第１画像と第２画像との一部には共通の対象物が映り、第１画像と第３画像との一部には共通の対象物が映る。また、各撮像装置１０の光学系の光学特性は異なっていてもよい。図１に戻る。

表示制御装置１００は、第１撮像装置１０ａから第３撮像装置１０ｃに接続される制御ユニットである。表示制御装置１００は、第１撮像装置１０ａからの第１画像、第２撮像装置１０ｂからの第２画像、第３撮像装置１０ｃからの第３画像を受けつける。表示制御装置１００は、これらの画像を合成することによって、合成された画像（以下、「合成画像」という）を生成する。表示装置２０は、これまでのルームミラーと同様に、車室の天井の前側部分に設置される。表示装置２０は、ルームミラーと同等のサイズを有する。表示装置２０は、表示制御装置１００に接続されており、表示制御装置１００において生成された合成画像を表示する。

表示制御装置１００において３つの画像を合成する際に投影面を変更することが可能である。投影面の変更により、撮像領域１２が実質的に変更されているといえる。図２ａでは、車両１０００の後方に、木である第１障害物１４ａが存在し、車両１０００と第１障害物１４ａとの間に、オートバイである第２障害物１４ｂが存在する。この状況において、第１障害物１４ａに投影面１６が合わされる。その結果、合成画像において１つの第１障害物１４ａが示される。しかしながら、第２障害物１４ｂは、第１撮像領域１２ａと第３撮像領域１２ｃとの間に配置されるので、死角に入ってしまう。その結果、合成画像において第２障害物１４ｂは示されない。

図２ｂにおける車両１０００、第１障害物１４ａ、第２障害物１４ｂの配置は図２ａと同一である。この状況において、第２障害物１４ｂに投影面１６は合わされる。その結果、合成画像において、第２障害物１４ｂが示されるが、第１障害物１４ａに対応した木が２つ示される。つまり、二重化が発生する。このような死角、二重化の発生を抑制し、自然な合成画像を生成するために、状況に応じて投影面１６の位置を調節することが必要になる。

図３は、表示制御装置１００の構成を示す。表示制御装置１００は、入力受付部１１０、指示受付部１１２、制御部１１４、変換部１１６、処理部１１８、合成部１２０、出力部１２２を含む。処理部１１８は、特定部１４０、決定部１４２、算出部１４４を含む。入力受付部１１０は、第１撮像装置１０ａからの第１画像と、第２撮像装置１０ｂからの第２画像と、第３撮像装置１０ｃからの第３画像とを順次受けつける。入力受付部１１０は、第１画像から第３画像を変換部１１６に出力する。

変換部１１６は、第１画像から第３画像を入力受付部１１０から受けつける。変換部１１６は、第１画像から第３画像のそれぞれに対して撮像装置１０の光学系の光学特性に応じた補正を実行してもよい。例えば、補正は、レンズの歪みに基づく修正、サイズおよび角度の調整のための補正、色調補正等を含む。変換部１１６は、第１画像から第３画像の仮想視点を共通にするように、第１画像から第３画像に対して仮想視点変換処理を実行する。各撮像装置１０の仮想地点を共通にすることにより、後述のように、合成画像を生成する際に違和感のない境界面が生成される。

図４は、変換部１１６における仮想視点変換処理の概要を示す。変換部１１６は、第１画像Ｐ（ｕ，ｖ）から視点の座標（Ｅｙｅｃｏｏｒｄｉｎａｔｅ）（Ｘｅ，Ｙｅ，Ｚｅ）への変換を次のように実行する。

ここで、ｆは第１撮像装置１０ａ（Ｅｙｅ）の焦点距離を示す。次に、変換部１１６は、視点の座標（Ｘｅ，Ｙｅ，Ｚｅ）から世界座標（Ｗｏｒｌｄｃｏｒｄｉｎａｔｅ）（Ｘｗ，Ｙｗ，Ｚｗ）への変換を次のように実行する。

ここで、Ｒｅｗは、視点の座標から世界座標への回転行列を示し、Ｔｅｗは、視点の座標から世界座標への平行移動ベクトルを示す。

変換部１１６は、世界座標（Ｘｗ，Ｙｗ，Ｚｗ）から仮想視点座標（Ｖｉｒｔｕａｌｖｉｅｗｐｏｉｎｔｃｏｏｒｄｉｎａｔｅｓ）（Ｘｅ’，Ｙｅ’，Ｚｅ’）への変換を次のように実行する。

ここで、Ｒｗｅ’は世界座標から仮想視点座標への回転行列を示し、Ｔｗｅ’は世界座標から仮想視点座標への平行移動ベクトルを示す。最後に、変換部１１６は、仮想視点座標（Ｘｅ’，Ｙｅ’，Ｚｅ’）から第１仮想視点画像Ｐ（ｕ’，ｖ’）への変換を次のように実行する。第１仮想視点画像Ｐ（ｕ’，ｖ’）は、仮想視点に変換した第１画像Ｐ（ｕ，ｖ）である。

ここで、ｆ’は、仮想視点の焦点距離である。例えば、表示装置２０の位置に仮想視点を設定することにより、本来異なる位置で撮像された画像であっても、表示装置２０の位置から撮影されたように示される。変換部１１６は、第２画像と第３画像に対しても、同様に仮想視点変換処理を実行することにより、第２画像から第２仮想視点画像を生成し、第３画像から第３仮想視点画像を生成する。仮想視点画像は変換画像と呼ばれてもよい。

処理部１１８、合成部１２０は、第１仮想視点画像から第３仮想視点画像を合成するための処理を実行する。ここでは、説明を明瞭にするために、第２仮想視点画像と第１仮想視点画像とを合成するための処理を中心に説明する。第１仮想視点画像と第３仮想視点画像とを合成する場合、ここでの第２仮想視点画像を「第１仮想視点画像」と読み替え、ここでの第１仮想視点画像を「第３仮想視点画像」と読み替えればよい。さらに、第２仮想視点画像と第１仮想視点画像とを合成した「第２仮合成画像」と、第１仮想視点画像と第３仮想視点画像を合成した「第１仮合成画像」とを合成することによって、合成画像が生成される。その際、ここでの第２仮想視点画像を「第２仮合成画像」と読み替え、ここでの第１仮想視点画像を「第１仮合成画像」と読み替えればよい。

特定部１４０は、第１仮想視点画像からこの第１仮想視点画像に含まれる特徴点である第１特徴点を１以上特定するとともに、第２仮想視点画像からこの第２仮想視点画像に含まれる特徴点である第２特徴点を１以上特定する。特徴点の抽出処理には、公知の画像認識技術が使用されればよく、例えば、画像から、当該画像に含まれる画素または画素の集合であって、その周囲と異なる色または形状等を有する画素あるいは画素の集合を発見する処理などにより実現されればよい。

図５は、特定部１４０から算出部１４４における処理の概要を示す。第２仮想視点画像２００ｂが紙面上の左側に配置され、第２仮想視点画像２００ｂに対して紙面上の右方向に所定の距離だけずらして第１仮想視点画像２００ａが配置される。ここで、第２仮想視点画像２００ｂと第１仮想視点画像２００ａとの外形は、撮像装置１０の光学系の光学特性に応じた補正により、矩形から歪んでいる。特徴点ｐは、特定部１４０が第２仮想視点画像２００ｂ上で決定した第２特徴点であり、特徴点ｑは、特定部１４０が第１仮想視点画像２００ａ上で決定した第１特徴点である。ここで、黒丸は第２仮想視点画像２００ｂ上で決定された第２特徴点を示し、黒三角は第１仮想視点画像２００ａ上で決定された第１特徴点を示す。図３に戻る。

決定部１４２は、１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点のペアを１以上決定する。ペアにされる１つの第１特徴点と１つの第２特徴点は、同一の物が撮像された点である。例えば、第１特徴点として発見した画素または画素の集合と、第２特徴点として発見した画素または画素の集合との色または形状を比較することによって、撮像された同一の物が発見される。この比較がマッチング処理に相当する。比較には、ＳＵＲＦ（Ｓｐｅｅｄ−ＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）、ＯＲＢ（ＯｒｉｅｎｔｅｄＦＡＳＴａｎｄＲｏｔａｔｅｄＢＲＩＥＦ）等による局所特徴量等が使用されてもよい。図５において、ペアと決定された第１特徴点と第２特徴点同士は線で結ばれている。例えば特徴点ｐと特徴点ｑがペアである。

算出部１４４は、決定部１４２により決定されたペアについて代表ベクトルを算出する。図５において、特徴点ｐと特徴点ｑ等を用いて代表ベクトルが算出される。算出部１４４は、特徴点ｐと特徴点ｑの中点ｍを求め、特徴点ｐから中点ｍに至るベクトルｕと、特徴点ｑから中点ｍに至るベクトルｖとを算出する。ここで、白丸は算出部１４４が求めた中点を示す。算出部１４４は、第２仮想視点画像２００ｂおよび第１仮想視点画像２００ａが分割された複数の第１部分画像２０２、第２部分画像２０４、第３部分画像２０６、第４部分画像２０８ごとに代表ベクトルを算出する。

算出部１４４は、例えば、当該部分画像に含まれる複数のベクトルｕの中間値を、ベクトルｕの代表ベクトルとし、当該部分画像に含まれる複数のベクトルｖの中間値を、ベクトルｖの代表ベクトルとする。ここで、ベクトルｕの代表ベクトルを第１代表ベクトルともいい、ベクトルｖの代表ベクトルを第２代表ベクトルともいう。中間値の代わりに、平均値等の他の統計値が使用されてもよい。

図６は、算出部１４４における処理の概要を示す。ベクトル２２０は、第１部分画像２０２に含まれるベクトルｕの代表ベクトルである。ベクトル２２２は、第１部分画像２０２に含まれるベクトルｖの代表ベクトルである。同様に、ベクトル２２４、ベクトル２２８、ベクトル２３２は、それぞれ第２部分画像２０４、第３部分画像２０６、第４部分画像２０８に含まれるベクトルｕの代表ベクトルである。ベクトル２２６、ベクトル２３０、ベクトル２３４は、それぞれ第２部分画像２０４、第３部分画像２０６、第４部分画像２０８に含まれるベクトルｖの代表ベクトルである。図３に戻る。

算出部１４４は、代表ベクトルに線形補間を実行することによって、個別ベクトルを算出する。図７は、算出部１４４における別の処理の概要を示す。これは図６のうちの第２部分画像２０４と第３部分画像２０６とを含む部分の拡大図である。算出部１４４は、第２部分画像２０４の中央画素列２０４ｃに代表ベクトルであるベクトル２２４を対応付け、第３部分画像２０６の中央画素列２０６ｃに代表ベクトルであるベクトル２２８を対応付ける。ここで、中央画素列２０４ｃとは、第２部分画像２０４に含まれる水平方向の画素列であり、第２部分画像２０４の垂直方向における中央に位置する画素列である。同様に、中央画素列２０６ｃとは、第３部分画像２０６に含まれる水平方向の画素列であり、第３部分画像２０６の垂直方向における中央に位置する画素列である。ここでは代表ベクトル終点のＹ座標を基準に対応付けている場合を説明しているが、代表ベクトル始点や代表ベクトル中点のＹ座標を基準に対応付けしてもかまわない。

算出部１４４は、中央画素列２０４ｃと中央画素列２０６ｃとの間における線形補間によって、中央画素列２０４ｃと中央画素列２０６ｃとの間の画素列の個別ベクトルを算出する。つまり、算出部１４４は、中央画素列２０４ｃのＹ座標をＹ１とし、中央画素列２０６ｃのＹ座標をＹ２とするとき、Ｙ座標がＹである画素列２１０の個別ベクトルｗを以下の式により求める。ここで、個別ベクトルｗ＝（ｗＸ，ｗＹ）、ベクトル２２４＝（Ｘ２２４，Ｙ２２４）、ベクトル２２８＝（Ｘ２２８，Ｙ２２８）とする。
ｗＸ＝Ｘ２２４＋｛（Ｙ−Ｙ１）／（Ｙ２−Ｙ１）｝×（Ｘ２２８−Ｘ２２４）
ｗＹ＝Ｙ２２４＋｛（Ｙ−Ｙ１）／（Ｙ２−Ｙ１）｝×（Ｙ２２８−Ｙ２２４）

図８は、算出部１４４におけるさらに別の処理の概要を示す。ここでは、図６と同じベクトル２２０〜ベクトル２３４に加えて、算出部１４４により算出された個別ベクトル２５０〜個別ベクトル２５６が示される。個別ベクトル２５０〜個別ベクトル２５６は、代表ベクトルの間の画素列ごとに算出される。図３に戻る。つまり、算出部１４４は、複数の部分画像ごとの第１代表ベクトルを補間することで第２仮想視点画像２００ｂに含まれる画素列ごとの第１個別ベクトルを算出する。また、算出部１４４は、複数の部分画像ごとの第２代表ベクトルを補間することで第１仮想視点画像２００ａに含まれる画素列ごとの第２個別ベクトルを算出する。

合成部１２０は、算出部１４４により算出された個別ベクトルを使用して、第１仮想視点画像２００ａと第２仮想視点画像２００ｂとを合成する。合成部１２０は、第２仮想視点画像２００ｂに含まれる画素列に対し第１個別ベクトルを用いて画素値を演算し、第１仮想視点画像２００ａに含まれる画素列に対し第２個別ベクトルを用いて画素値を演算する。また、合成部１２０は、第２仮想視点画像２００ｂおよび第１仮想視点画像２００ａを合成する。合成は、第２仮想視点画像２００ｂおよび第１仮想視点画像２００ａを境界線によって切断してつなぎ合わせることでなされる。

図９ａ−ｃは、合成部１２０における処理の概要を示す。合成部１２０は、境界線２６０を境界として、第２仮想視点画像２００ｂと第１仮想視点画像２００ａとを接合する。具体的には、合成部１２０は、境界線２６０の近傍の画素において、当該画素が属する画素列の個別ベクトルを用いて画素値の演算を実行する。境界線２６０の近傍の画素とは、境界線２６０から所定距離以内の範囲に含まれる画素である。合成部１２０は、図９ａに示すように、境界線２６０に隣接する画素２７０について、画素２７０を終点とする個別ベクトル２５０の始点に位置する画素２７２の画素値の演算を実行する。このとき、図９ｂに示すように、境界線２６０から遠ざかるにつれて個別ベクトル２５０の影響を弱めるようにして個別ベクトル２５０の始点に位置する画素２７２が算出されればよい。合成領域を境界線２６０からの所定画素距離Ｈ以内の範囲とした場合、境界線２６０からの画素距離Ｘの位置の画素２７０ｉにおける個別ベクトル２５０ｉの個別ベクトル２５０に対する影響度Ｖｔは次のように示される。
Ｖｔ＝（１−Ｘ／Ｈ）、（Ｘ＝０〜Ｈ）
したがって、合成部１２０は、影響度Ｖｔを個別ベクトル２５０に乗じて、個別ベクトル２５０ｉの始点に位置する画素２７２ｉを導出する。

図９ｂにおいて、画素２７０ｉの位置座標を（Ｘ２７０，Ｙ２７０）、個別ベクトル２５０を（ｗＸ２５０，ｗＹ２５０）とすると、画素２７２ｉの位置座標（Ｘ２７２，Ｙ２７２）は次のように求められる。
Ｘ２７２＝Ｘ２７０−ｗＸ２５０×Ｖｔ
Ｙ２７２＝Ｙ２７０−ｗＹ２５０×Ｖｔ
合成部１２０は、画素２７０、画素２７２におけるそれぞれの画素値に対し、画素２７２の画素値を、画素２７０の画素値に上書きする演算を行ってもよい。また、合成部１２０は、画素２７２の画素値と画素２７０の画素値との境界線２６０からの距離を加味した加重平均をとる演算を行ってもよいし、その他の演算を行ってもよい。

合成部１２０は、第２仮想視点画像２００ｂと第１仮想視点画像２００ａとのそれぞれの画素値を算出して、重複領域に対しては第２仮想視点画像２００ｂと第１仮想視点画像２００ａとの画素値を加重平均してもよい。具体的には、図９ｃに示すように、画素２７０ｊについて、画素２７０ｊを終点とする個別ベクトル２５０ｊの始点に位置する画素２７２ｊの画素値と、画素２７０ｊを終点とする個別ベクトル２５０ｋの始点に位置する画素２７２ｋの画素値とが加重平均される。ここで、画素２７２ｊは、第２仮想視点画像２００ｂ内に含まれ、画素２７２ｋは第１仮想視点画像２００ａ内に含まれる。

図９ｃにおける合成部１２０の処理は次のようにまとめられる。合成部１２０は、第１部分画像２０２〜第４部分画像２０８の各領域内の各画素（例えば画素２７０ｊ）に対し、個別ベクトル２５０ｊ（第１個別ベクトル）をもとに位置（例えば位置座標（Ｘ２７２，Ｙ２７２））を導出する。合成部１２０は、当該位置に基づいて第２仮想視点画像２００ｂ内の画素２７２ｊを参照する。同様に、合成部１２０は、第１部分画像２０２〜第４部分画像２０８の各領域内の各画素（例えば画素２７０ｊ）に対し、個別ベクトル２５０ｋ（第２個別ベクトル）をもとに位置を導出する。合成部１２０は、当該位置に基づいて第１仮想視点画像２００ａ内の画素２７２ｋを参照する。合成部１２０は、参照した画素２７２ｊ、画素２７２ｋのそれぞれの画素値を演算（例えば加重平均）することで第２仮想視点画像２００ｂおよび第１仮想視点画像２００ａを合成する。

前述のごとく、合成部１２０は、これまでと同様の処理を実行することによって、第１仮想視点画像２００ａと第３仮想視点画像２００ｃとを合成する。さらに、合成部１２０は、これらの合成結果を合成することによって、第１合成画像を生成する。

図１０ａ−ｄは、車両１０００に搭載された撮像装置１０による別の撮像領域１２を示す。処理部１１８と合成部１２０による合成は、図１０ａ−ｄに示される第１撮像領域１２ａから第３撮像領域１２ｃに相当する。図１０ａにおいては、車両１０００の後方に障害物１４が存在しない。この場合、投影面が所定の距離（５０ｍなど）に実質的に合わされる。図１０ｂにおいては、第３障害物１４ｃが第１撮像領域１２ａから第３撮像領域１２ｃを跨いで存在する。この場合、投影面が第３障害物１４ｃに実質的に合わされる。

図１０ｃにおいては、第２障害物１４ｂが第１撮像領域１２ａと第３撮像領域１２ｃを跨いで存在する。一方、第２撮像領域１２ｂには障害物１４が存在しない。この場合、右側において投影面が第２障害物１４ｂに合わされるが、左側において投影面が第２障害物１４ｂに合わされない。つまり、障害物１４の距離が左右で異なる場合、左右で投影面の位置が異なる。図１０ｄにおいては、第４障害物１４ｄの後方に第２障害物１４ｂが存在する。ここで、第２障害物１４ｂは第４障害物１４ｄよりも小さい。この場合、投影面は、後方の第２障害物１４ｂに合わされる。

表示装置２０には、運転者の指の動作を検出するためのセンサ（図示せず）が設けられる。センサは、指の移動方向と移動量とを検出する。センサは、タッチパネルであってもよいし、撮像装置であってもよい。センサの代わりに、スクロールボタン、ジョイスティックなどの操作装置（図示せず）が設けられてもよい。操作装置は、運転者による操作により、移動方向と移動量とを検出する。センサあるいは操作装置は、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）に接続され、移動方向と移動量の情報（以下、「移動指示」という）をＣＡＮに送信する。移動指示は、運転者による仮想視点の変更の指示に相当する。

指示受付部１１２は、ＣＡＮに接続される。指示受付部１１２は、ＣＡＮを介して移動指示を受けつける。移動指示に含まれる上下の移動方向の情報は、高さ方向に仮想視点を変更させる指示であり、移動指示に含まれる左右の移動方向の情報は、横方向に仮想視点を変更させる指示である。これらの指示は、前述のごとく、運転者である操作者による操作にしたがった指示である。指示受付部１１２は、移動指示を制御部１１４に出力する。

制御部１１４は、指示受付部１１２から移動指示を受けつけた場合、移動指示に含まれる移動方向および移動量をもとに、仮想視点の変更方向および変更量を特定する。例えば、移動方向および移動量と、変更方向および変更量の関係は、テーブルとして予め記憶されていればよい。ここで、移動方向が上向きであれば、仮想視点の位置は、現在の位置から上向きになるように変更される。制御部１１４は、仮想視点の変更方向および変更量によって、現在の仮想視点の位置を更新することによって、別の仮想視点を特定する。制御部１１４は、特定した別の仮想視点に関する情報を変換部１１６に出力する。

変換部１１６は、第１画像から第３画像を入力受付部１１０から受けつけるとともに、別の仮想視点に関する情報を制御部１１４から受けつける。変換部１１６は、第１画像から第３画像に対して、別の仮想視点への仮想視点変換処理を実行する。変換部１１６における処理はこれまでと同様であるので、ここでは説明を省略するが、変換部１１６は、別の仮想視点における第１仮想視点画像２００ａから第３仮想視点画像２００ｃを生成する。

特定部１４０、決定部１４２、算出部１４４、合成部１２０は、別の仮想視点における第１仮想視点画像２００ａから第３仮想視点画像２００ｃに対して、これまで説明した処理を実行することによって、別の仮想視点における第２合成画像を生成する。つまり、第２合成画像と第１合成画像とでは仮想視点が異なっている。このように仮想視点が、表示装置２０の位置とは異なった位置に変更されることによって、変更された位置から撮像したような第２合成画像の確認が可能になる。例えば、仮想地点を車両１０００のルーフより高い位置に変更させることによって、高い位置から見下ろした第２合成画像が取得されるので、車両１０００の後側部分の状況が広範囲で認識されやすくなる。

出力部１２２は、合成部１２０において第１合成画像２２０ａが生成された場合、第１合成画像２２０ａを表示装置２０に表示させる。また、出力部１２２は、合成部１２０において第２合成画像２２０ｂが生成された場合、第２合成画像２２０ｂを表示装置２０に表示させる。

以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅａｄＯｎｌＹＭｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

以上の構成による表示制御装置１００の動作を説明する。図１１は、表示制御装置１００による合成画像の表示手順を示すフローチャートである。入力受付部１１０は画像を受けつける（Ｓ１０）。変換部１１６は、画像に対して視点変換処理を実行する（Ｓ１２）。特定部１４０は、視点変換処理により生成された仮想視点画像２００から特徴点を特定する（Ｓ１４）。決定部１４２は特徴点のペアを決定する（Ｓ１６）。算出部１４４は、ペアをもとにベクトルを算出する（Ｓ１８）。合成部１２０は合成画像を生成する（Ｓ２０）。出力部１２２は合成画像を表示装置２０に表示させる（Ｓ２２）。

図１２は、表示制御装置１００による仮想視点の変更手順を示すフローチャートである。指示受付部１１２が移動指示を受けつけた場合（Ｓ１００のＹ）、制御部１１４は、変換部１１６に対して仮想視点を変更させる（Ｓ１０２）。指示受付部１１２が移動指示を受けつけない場合（Ｓ１００のＮ）、処理は終了される。

本実施の形態によれば、移動指示に応じた仮想視点に変換しながら、特徴点のペアをもとに画像を合成することによって合成画像を生成するので、仮想視点を変更しても、二重化および死角の発生を抑制できる。また、二重化および死角の発生が抑制されるので、障害物が正確に示される合成画像を生成できる。また、車両の死角となりうる側後方の状況が合成画像に示されるので、画角を拡大できる。また、特徴点を抽出し、同一の形状が存在する場合、その位置に投影面を合わせることにより、自然な合成画像を取得できる。また、高さ方向に仮想視点を変更させるので、高さ方向に異なった仮想視点からの合成画像を生成できる。また、横方向に仮想視点を変更させるので、横方向に異なった仮想視点からの合成画像を生成できる。また、操作者による操作にしたがって仮想視点を変更させるので、操作者による操作に応じた仮想視点からの合成画像を生成できる。

本開示の一態様の概要は、次の通りである。本開示のある態様の表示制御装置は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像と第２画像との仮想視点を共通にする視点変換処理を実行することによって、第１画像から第１変換画像を生成するとともに、第２画像から第２変換画像を生成する変換部と、変換部において生成した第１変換画像から第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、変換部において生成した第２変換画像から第２変換画像に含まれる特徴点である第２特徴点を１以上特定する特定部と、特定部において特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定する決定部と、決定部において決定した１以上のペアをもとに、第１変換画像と第２変換画像とを合成することによって、第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、仮想視点の変更の指示を受けつける指示受付部とを備える。変換部は、指示受付部において受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成し、特定部、決定部、合成部は、変換部において生成した第１変換画像と第２変換画像であって、かつ別の仮想視点における第１変換画像と第２変換画像に対して、特定部により第１の特徴点および第２の特徴点を特定し、決定部により１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、合成部により第１変換画像と第２変換画像とを合成することによって第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。

この態様によると、指示に応じた仮想視点に変換しながら、特徴点のペアをもとに画像を合成することによって合成画像を生成するので、仮想視点を変更しても、障害物が正確に示される合成画像を生成できる。

指示受付部は、高さ方向に仮想視点を変更させる指示を受けつける。この場合、高さ方向に仮想視点を変更させるので、高さ方向に異なった仮想視点からの合成画像を生成できる。

指示受付部は、横方向に仮想視点を変更させる指示を受けつける。この場合、横方向に仮想視点を変更させるので、横方向に異なった仮想視点からの合成画像を生成できる。

指示受付部は、操作者による操作にしたがった指示を受けつける。この場合、操作者による操作にしたがって仮想視点を変更させるので、操作者による操作に応じた仮想視点からの合成画像を生成できる。

指示受付部は、車両の進行方向にしたがった指示を受けつける。この場合、車両の進行方向にしたがって仮想視点を変更させるので、進行方向に応じた仮想視点からの合成画像を生成できる。

指示受付部は、車両に搭載された方向指示器によって示された方向にしたがった指示を受けつける。この場合、方向指示器によって示された方向にしたがって仮想視点を変更させるので、方向指示器によって示された方向に応じた仮想視点からの合成画像を生成できる。

以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

本実施の形態において、指示受付部１１２は、ＣＡＮを介して、運転者によって入力された移動指示を受けつける。しかしながらこれに限らず例えば、指示受付部１１２は、ＣＡＮを介して、車両１０００に搭載された方向指示器によって示された移動指示を受けつけてもよい。本変形例によれば、右左折、車線変換等で、車両１０００の横方向の状況を把握したい場合、車両の横方向に仮想位置を変更することによって、横方向において死角になりうる部分を明確に表示できる。また、車両の進行方向にしたがって仮想視点を変更させるので、進行方向に応じた仮想視点からの合成画像を生成できる。また、方向指示器によって示された方向にしたがって仮想視点を変更させるので、方向指示器によって示された方向に応じた仮想視点からの合成画像を生成できる。ここで、方向指示器によって示された移動指示ではなく、舵角情報、ギア情報が受けつけられてもよい。

１０撮像装置、１２撮像領域、１４障害物、１６投影面、２０表示装置、１００表示制御装置、１１０入力受付部、１１２指示受付部、１１４制御部、１１６変換部、１１８処理部、１２０合成部、１２２出力部、１４０特定部、１４２決定部、１４４算出部、１０００車両。

Claims

車両に搭載された第１撮像装置からの第１画像と、前記第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置からの第２画像とを受けつける入力受付部と、
前記入力受付部において受けつけた前記第１画像と前記第２画像との仮想視点を共通にする視点変換処理を実行することによって、前記第１画像から第１変換画像を生成するとともに、前記第２画像から第２変換画像を生成する変換部と、
前記変換部において生成した前記第１変換画像から前記第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、前記変換部において生成した前記第２変換画像から前記第２変換画像に含まれる特徴点である第２特徴点を１以上特定する特定部と、
前記特定部において特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定する決定部と、
前記決定部において決定した前記１以上のペアをもとに、前記第１変換画像と前記第２変換画像とを合成することによって、第１合成画像を生成する合成部と、
前記合成部において生成した前記第１合成画像を出力する出力部と、
仮想視点の変更の指示を受けつける指示受付部とを備え、
前記変換部は、前記指示受付部において受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成し、
前記特定部、前記決定部、前記合成部は、前記変換部において生成した前記第１変換画像と前記第２変換画像であって、かつ別の仮想視点における前記第１変換画像と前記第２変換画像に対して、前記特定部により第１の特徴点および第２の特徴点を特定し、前記決定部により１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、前記合成部により前記第１変換画像と前記第２変換画像とを合成することによって第２合成画像を生成し、
前記出力部は、前記合成部において生成した前記第２合成画像を出力する表示制御装置。
前記指示受付部は、高さ方向に仮想視点を変更させる指示を受けつける請求項１に記載の表示制御装置。
前記指示受付部は、横方向に仮想視点を変更させる指示を受けつける請求項１に記載の表示制御装置。
前記指示受付部は、操作者による操作にしたがった指示を受けつける請求項２または３に記載の表示制御装置。
前記指示受付部は、前記車両の進行方向にしたがった指示を受けつける請求項２に記載の表示制御装置。
前記指示受付部は、前記車両に搭載された方向指示器によって示された方向にしたがった指示を受けつける請求項３に記載の表示制御装置。
車両であって
第１撮像装置と、
前記第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置と、
前記第１撮像装置と前記第２撮像装置とに接続される表示制御装置とを備え、
前記表示制御装置は、
前記第１撮像装置からの第１画像と、前記第２撮像装置からの第２画像とを受けつける入力受付部と、
前記入力受付部において受けつけた前記第１画像と前記第２画像との仮想視点を共通にする視点変換処理を実行することによって、前記第１画像から第１変換画像を生成するとともに、前記第２画像から第２変換画像を生成する変換部と、
前記変換部において生成した前記第１変換画像から前記第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、前記変換部において生成した前記第２変換画像から前記第２変換画像に含まれる特徴点である第２特徴点を１以上特定する特定部と、
前記特定部において特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定する決定部と、
前記決定部において決定した前記１以上のペアをもとに、前記第１変換画像と前記第２変換画像とを合成することによって、第１合成画像を生成する合成部と、
前記合成部において生成した前記第１合成画像を出力する出力部と、
仮想視点の変更の指示を受けつける指示受付部とを備え、
前記変換部は、前記指示受付部において受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成し、
前記特定部、前記決定部、前記合成部は、前記変換部において生成した前記第１変換画像と前記第２変換画像であって、かつ別の仮想視点における前記第１変換画像と前記第２変換画像に対して、前記特定部により第１の特徴点および第２の特徴点を特定し、前記決定部により１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、前記合成部により前記第１変換画像と前記第２変換画像とを合成することによって第２合成画像を生成し、
前記出力部は、前記合成部において生成した前記第２合成画像を出力する車両。
車両に搭載された第１撮像装置からの第１画像と、前記第１撮像装置の搭載位置とは異なった位置に搭載された第２撮像装置からの第２画像とを受けつけるステップと、
受けつけた前記第１画像と前記第２画像との仮想視点を共通にする視点変換処理を実行することによって、前記第１画像から第１変換画像を生成するとともに、前記第２画像から第２変換画像を生成するステップと、
生成した前記第１変換画像から前記第１変換画像に含まれる特徴点である第１特徴点を１以上特定するとともに、生成した前記第２変換画像から前記第２変換画像に含まれる特徴点である第２特徴点を１以上特定するステップと、
特定した１以上の第１特徴点と１以上の第２特徴点から、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定するステップと、
決定した前記１以上のペアをもとに、前記第１変換画像と前記第２変換画像とを合成することによって、第１合成画像を生成するステップと、
生成した前記第１合成画像を出力するステップと、
仮想視点の変更の指示を受けつけるステップと、
受けつけた仮想視点の変更の指示に応じた別の仮想視点における第１変換画像と第２変換画像とを生成するステップと、
生成した前記第１変換画像と前記第２変換画像であって、かつ別の仮想視点における前記第１変換画像と前記第２変換画像に対して、第１の特徴点および第２の特徴点を特定し、１つの第１特徴点と１つの第２特徴点とのペアを１以上決定し、前記第１変換画像と前記第２変換画像とを合成することによって第２合成画像を生成するステップと、
生成した前記第２合成画像を出力するステップと、
を備える表示制御方法。