JP2019153138A - 画像作成装置 - Google Patents

Abstract

【課題】ドライバが違和感を覚えにくい鳥瞰画像を合成する技術を提供する。【解決手段】画像作成装置２０が備える鳥瞰作成部は、画像取得部により取得された撮像画像に基づいて、鳥瞰変換を行う。鳥瞰作成部が備える第一作成部は、Ｓ２７０で立体曲率を有し、かつ、撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に立体物領域を投影することにより立体鳥瞰画像を作成する。鳥瞰作成部が備える第二作成部はＳ１３０で、実空間上における車両が存在する路面を表した路面投影面に路面領域を投影することにより、路面領域を鳥瞰変換した画像である平面鳥瞰画像を作成する。鳥瞰作成部が備える画像合成部は、Ｓ２９０で第一作成部により作成された立体鳥瞰画像と第二作成部により作成された平面鳥瞰画像とを合成する。【選択図】図１

Description

本開示は、車両の周辺を撮像した撮像画像から鳥瞰画像を作成する画像作成装置に関する。

複数の車載カメラを用いて車両の周辺を撮像した画像を、車両の周囲を車両の上方の仮想カメラから映し出した鳥瞰画像に変換し、当該車両に備えられた表示装置に表示することによりドライバに提示し、安全な運転を支援するシステムが知られている。

撮像画像から鳥瞰画像への変換である鳥瞰変換は、撮像画像中のすべての点を路面上に存在する点であるとして座標変換する。このため、画像中に存在する立体物は路面から離れるほど遠くに存在するように認識される。その結果、撮像画像中の立体物の表示は、鳥瞰変換により車載カメラの位置を中心として伸びた形状に変換され、実際に車両を上からみた様子と鳥瞰画像とに相違が生じるため、ドライバに違和感を与える可能性があった。

これに対し、特許文献１には、立体物を表した画像である立体物画像をあらかじめ記憶し、立体物を検知した場合に、その立体物が検知された位置に対応する鳥瞰画像上の位置に、立体物画像を合成した合成画像を表示する技術が開示されている。この場合、立体物画像は鳥瞰変換後の鳥瞰画像に合成されるため、上述したような鳥瞰変換による伸びが生じず、上述した違和感は解消される。

特開２００７−２９５０４３号公報

しかしながら特許文献１に記載の方法では、合成画像において表示される立体物と実際に存在する立体物との形状及び色等が不一致となる可能性がある。そのような合成画像が表示されると、ドライバは、その形状及び色等の不一致に起因した違和感を覚える可能性があった。

本開示は、表示される立体物がドライバに違和感を与えることを抑制する技術を提供することを目的とする。

本開示の一態様は、画像作成装置（２０）であって、車両に搭載される。画像作成装置は、画像取得部（Ｓ１１０）と、鳥瞰作成部（Ｓ１２０〜Ｓ１６０）と、を備える。画像取得部は、当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像するように構成された撮像装置（１０）により撮像された画像である撮像画像を取得するように構成される。鳥瞰作成部は、画像取得部により取得された撮像画像に基づいて、撮像画像を車両の上方から見た画像である鳥瞰画像に変換する処理である鳥瞰変換を行うことにより鳥瞰画像を作成するように構成される。また、鳥瞰作成部は、輪郭抽出部（Ｓ１２０）と、領域判別部（Ｓ１２０）と、第一作成部（Ｓ２７０）と、第二作成部（Ｓ１３０）と、画像合成部（Ｓ２９０）と、を備える。輪郭抽出部は、画像取得部により取得された撮像画像において、撮像画像中の輝度及び色度に基づいて、撮像画像中に存在する物体の輪郭形状を抽出するように構成される。領域判別部は、輪郭抽出部により抽出された輪郭形状に基づいて、当該輪郭形状が表している領域を、立体物を表す領域である立体物領域であるか、立体物以外を表す路面領域であるかを判別するように構成される。第一作成部は、あらかじめ決められた曲率である立体曲率を有し、かつ、撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に投影することにより鳥瞰変換する処理である立体鳥瞰変換を、立体物領域に対して行い、立体鳥瞰画像を作成するように構成される。第二作成部は、実空間上における車両が存在する路面を表した、あらかじめ設定される仮想の平面である路面投影面に投影することにより鳥瞰変換する処理である平面鳥瞰変換を、路面領域に対して行い、平面鳥瞰画像を作成するように構成される。画像合成部は、第一作成部により作成された立体鳥瞰画像と第二作成部により作成された平面鳥瞰画像とを合成するように構成される。

このような構成によれば、鳥瞰画像において立体物の表示が伸びることを抑制することができ、立体物の伸びた表示がドライバに違和感を与えることを抑制することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像表示システムの構成を示すブロック図である。 自車において各構成が搭載される位置の例を表した図である。 画像表示処理を表したフローチャートである。 撮像画像に対して立体物検知を行った結果の例の図である。 平面鳥瞰処理における用いられる路面投影面の形状を表した図である。 全体鳥瞰画像を表した図である。 立体鳥瞰処理を表したフローチャートである。 立体物が映り込んだ前方鳥瞰画像１０１ａ及び後方鳥瞰画像１０１ｂの例を表した図である。 立体物が映り込んだ左鳥瞰画像１０１ｃ及び右鳥瞰画像１０１ｄの例を表した図である。 立体物が映り込んだ全体鳥瞰画像を表した図である。 重複範囲を表した図である。 立体鳥瞰処理における用いられる立体投影面の形状を表した図である。 立体鳥瞰処理において用いられる立体投影面の形状全体を表した図である。 立体鳥瞰処理により作成される立体鳥瞰画像を表した図である。 平面鳥瞰処理と立体鳥瞰処理とにより作成される像の形状の違いを表した図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
画像表示システム１は車両に搭載され、図１に示すように、フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ、右カメラ１０ｄ、画像作成装置２０及び表示装置３０を備える。なお、以下では、画像表示システム１を備える車両を自車という。

フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄはそれぞれあらかじめ決められた範囲である撮像範囲を撮像する撮像装置であり、それぞれ基本的な構成は同様である。以下では、フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄをそれぞれ区別しないときは、それぞれ撮像装置１０ともいう。

図２に示すように、フロントカメラ１０ａ及びリアカメラ１０ｂは、自車の前方部分及び自車の後方部分にそれぞれ搭載される。ここで、自車の前方部分とは、例えば、車両のフロントバンパー、自車のバックミラー付近及び自車のインストルメンタルパネル付近などをいう。また、自車の後方部分とは、例えば自車のリアバンパー及びハッチバックのバックドア付近などをいう。左カメラ１０ｃ及び右カメラ１０ｄは、自車の車体の前後方向の中央付近にそれぞれ搭載される。

フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄは、その光軸方向がそれぞれ、自車の前進方向、自車の後進方向、自車の前進方向に対して左側９０°の方向及び自車の前進方向に対して右側９０°の方向を向くように搭載される。

また、フロントカメラ１０ａ及びリアカメラ１０ｂはそれぞれ、例えば自車の前方及び後方の視野角１８０°程度の角度範囲を撮像する。左カメラ１０ｃ及び右カメラ１０ｄはそれぞれ、例えば自車の左側方及び右側方の視野角１８０°程度の範囲を撮像する。

フロントカメラ１０ａ及び左カメラ１０ｃ、左カメラ１０ｃ及びリアカメラ１０ｂ、リアカメラ１０ｂ及び右カメラ１０ｄ、右カメラ１０ｄ及びフロントカメラ１０ａの位置関係を以下では、隣り合う位置関係という。隣り合う位置関係にある撮像装置１０は、それぞれ、その撮像範囲が一部重なり合う位置に設置される。

表示装置３０は、自車の運転席からドライバが表示を視認できる位置に搭載され、画像作成装置２０から合成画像を取得して表示する。表示装置３０は例えば、自車のインストルメントパネルに設置されたディスプレイや自車に搭載されたカーナビゲーションシステムのディスプレイなどの周知の装置である。

画像作成装置２０は、ＣＰＵ２１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ２２）と、を有する周知のマイクロコンピュータを中心に構成される。画像作成装置２０の各種機能は、ＣＰＵ２１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２２がプログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像作成装置２０を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像作成装置２０は、ＣＰＵ２１がプログラムを実行することで実現されるが、この手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

［２．処理］
＜画像表示処理＞
次に、ＣＰＵ２１が実行する画像表示処理について、図３のフローチャートを用いて説明する。画像表示処理はシフトレバーが「Ｒ」の位置に設定されている場合に繰り返し実行される。ここでいう「Ｒ」の位置とは、リバースレンジであって、車両を後進させる際にシフトレバーを移動させる位置である。

Ｓ１１０で、ＣＰＵ２１は、各撮像装置１０、すなわち、フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄにより撮像された撮像画像を取得する。
Ｓ１２０で、ＣＰＵ２１は、Ｓ１１０で取得した各撮像画像それぞれにおいて立体物の検知を行う。ここでいう立体物とは、例えば街路樹やパイロンなど高さのある物をいい、歩行者などの人間も含む。また、立体物の検知は、例えば、Ｓ１１０で取得した各撮像画像に対してセマンティックセグメンテーションにより行われる。セマンティックセグメンテーションは、具体的には、図４に示すように撮像画像の画素ごとの輝度及び色度に基づいて領域分けを行い、領域分けにより分けられた領域の輪郭形状から、歩行者、街路樹などといった、その領域が表す物の種類を決定する。領域が表す物の種類は、機械学習により生成された学習データを元に決定される。なお、同一種類の物を表した領域が複数検知された場合、例えば、歩行者Ａ、歩行者Ｂといったように、領域ごとに分けて認識してもよい。そして領域が表す物の種類が立体物に分類される場合、立体物であると判定される。なお、立体物の検出方法はセマンティックセグメンテーションを用いた方法に限定されるものではなく、種々の方法により行ってもよい。

Ｓ１３０で、ＣＰＵ２１は、Ｓ１１０で平面鳥瞰処理を行う。
ここで平面鳥瞰処理は、取得された各撮像画像を平面鳥瞰変換し合成することにより全体鳥瞰画像１０３を作成する処理をいう。ここでいう、全体鳥瞰画像１０３は、自車の上方から自車の存在する路面を見下ろしたように変換された画像である。

平面鳥瞰変換は、具体的には、ＣＰＵ２１は図５に示すように自車の存在する平面に対応した面である路面投影面に仮想点Ｐｉから見たように鳥瞰変換することをいう。なお、仮想点Ｐｉは車両の上方に仮想的に設定される点である。

また、フロントカメラ１０ａにより撮像された撮像画像を平面鳥瞰変換した画像を前方鳥瞰画像１０３ａといい、リアカメラ１０ｂにより撮像された撮像画像を平面鳥瞰変換した画像を後方鳥瞰画像１０３ｂという。また、同様に、左カメラ１０ｃにより撮像された撮像画像を平面鳥瞰変換した画像を左鳥瞰画像１０３ｃといい、右カメラ１０ｄにより撮像された撮像画像を平面鳥瞰変換した画像を右鳥瞰画像１０３ｄという。なお、前方鳥瞰画像１０３ａ、後方鳥瞰画像１０３ｂ、左鳥瞰画像１０３ｃ及び右鳥瞰画像１０３ｄをそれぞれ個別鳥瞰画像ともいう。

そして、ＣＰＵ２１は、図６に示すように各撮像装置１０により撮像された撮像画像である前方鳥瞰画像１０３ａ、後方鳥瞰画像１０３ｂ、左鳥瞰画像１０３ｃ及び右鳥瞰画像１０３ｄを自車の位置に対して対応するように合成する。

Ｓ１４０で、ＣＰＵ２１は、Ｓ１２０での立体物検知により、各撮像画像のいずれかに立体物が表示されているか否かを判定する。
各撮像画像のいずれかに立体物が表示されているとＳ１４０で判定された場合、ＣＰＵ２１は、Ｓ１５０に処理を移行する。

Ｓ１５０で、ＣＰＵ２１は、立体鳥瞰処理を行う。
ここで立体鳥瞰処理は、撮像画像に映り込んだ立体物に関して、平面鳥瞰変換とは異なる鳥瞰変換を行い、立体物が鳥瞰画像において伸びて表示されることを抑制したうえで、全体鳥瞰画像と合成する処理をいう。

一方、撮像画像内に立体物が存在しないとＳ１４０で判定された場合、ＣＰＵ２１は、Ｓ１６０に処理を移行する。
Ｓ１６０で、ＣＰＵ２１は、Ｓ１３０又はＳ１５０にて作成された画像を表示装置３０に表示し、画像表示処理を終了する。また、作成された画像の一部、例えば、車両の周辺のあらかじめ決められた範囲内の画像を表示してもよい。

なお、Ｓ１１０での処理が画像取得部に相当し、Ｓ１２０からＳ１６０までの処理が鳥瞰作成部に相当し、Ｓ１２０での処理が輪郭抽出部と領域判別部に相当する。Ｓ１３０での処理が第二作成部及び全体合成部に相当する。
＜立体鳥瞰処理＞
次にＳ１５０でＣＰＵ２１が実行する立体鳥瞰処理について、図７のフローチャートを用いて説明する。

ここでは、Ｓ１３０での平面鳥瞰処理において、図８に示すような鳥瞰立体物３０１ｋ及び鳥瞰立体物３０１ｌが映り込んだ前方鳥瞰画像２０１ａ及び図９に示すような鳥瞰立体物３０１ｍが映り込んだ右鳥瞰画像２０１ｄが得られた場合を例として説明する。ここで、鳥瞰立体物とは、平面鳥瞰変換された立体物を表した範囲をいう。

また、上述した前方鳥瞰画像２０１ａ及び右鳥瞰画像２０１ｄが得られた結果、図１０に示す全体鳥瞰画像２０３が得られたとして説明する。ここで、全体鳥瞰画像２０３には、鳥瞰立体物３０１ｋに対応する鳥瞰立体物３０３ｋ及び鳥瞰立体物３０１ｍに対応する鳥瞰立体物３０３ｍが存在するとして説明する。

Ｓ２１０で、ＣＰＵ２１は、全体鳥瞰画像２０３のうち鳥瞰立体物を消去する。
ここで、鳥瞰立体物の消去は、例えば、Ｓ１２０で立体物であると判定された領域が平面鳥瞰変換された範囲を鳥瞰立体物であるとして消去することにより行われてもよい。

具体的には、図１０に示すように全体鳥瞰画像２０３に存在する鳥瞰立体物３０３ｋ、３０３ｍを消去する。
Ｓ２２０で、ＣＰＵ２１は、Ｓ２１０で消去された鳥瞰立体物のうち、いずれか１つを選択立体物として選択する。

具体的には、例えば、図１０に示す全体鳥瞰画像２０３に存在する鳥瞰立体物３０３ｋ、３０３ｍのうちいずれか１つを選択立体物として選択する。
Ｓ２３０で、ＣＰＵ２１は、Ｓ２２０で選択した選択立体物が、全体鳥瞰画像２０３において、重複範囲Ｒに存在するか否かを判定する。ここでいう重複範囲Ｒとは、図１１に示すように、個別鳥瞰画像同士が重複した範囲をいう。

例えば、鳥瞰立体物３０３ｍについては、重複範囲Ｒに含まれる鳥瞰立体物であると判定され、鳥瞰立体物３０３ｋについては、重複範囲Ｒに含まれない鳥瞰立体物であると判定される。

なお、鳥瞰立体物が重複範囲Ｒに含まれるか否かは、鳥瞰立体物に含まれる自車に最も近い点が重複範囲Ｒに含まれるか否かにより判定してもよく、鳥瞰立体物の重心位置が重複範囲Ｒに含まれるか否かにより判定してもよい。

ＣＰＵ２１は、Ｓ２３０で、全体鳥瞰画像２０３において、選択立体物が重複範囲Ｒに存在しないと判定された場合、Ｓ２４０に処理を移行する。
Ｓ２４０で、ＣＰＵ２１は、選択立体物に対応した立体物が撮像画像に映り込んでいる領域である立体物領域を撮像画像から抽出し、Ｓ２７０に処理を移行する。立体物領域の抽出は、例えば、撮像画像において、選択立体物と同一の種類の立体物が映り込んでいる範囲を、立体物領域として抽出することにより行われてもよい。なお、同一の種類の立体物が撮像画像において複数映り込んでいる場合には、立体物ごとに分けて認識した認識結果が表す選択立体物に対応した立体物領域を抽出してもよい。

また、全体鳥瞰画像２０３において合成された個別鳥瞰画像を逆変換し、選択立体物に対応した領域を立体物領域として抽出することにより行われてもよい。ここで逆変換とは、撮像画像から個別鳥瞰画像への変換である平面鳥瞰変換に対して、個別鳥瞰画像から撮像画像への変換をいう。

一方、ＣＰＵ２１は、Ｓ２３０で、選択立体物が全体鳥瞰画像２０３において、重複範囲Ｒに存在すると判定された場合には、Ｓ２５０に処理を移行する。
具体的には、鳥瞰立体物３０３ｍが選択立体物として選択された場合、選択立体物が全体鳥瞰画像２０３において、重複範囲Ｒに存在すると判定される。

Ｓ２５０で、選択立体物が撮像範囲に含まれる撮像画像のうち、いずれかの撮像画像を選択画像として選択する。
ここで、選択画像は、例えば、撮像画像に選択立体物が映り込んでいる位置が当該撮像画像の下端からより近い撮像画像が選択される。すなわち、映り込んでいる立体物との距離がより近い撮像装置１０により撮像された撮像画像を選択画像として選択する。

Ｓ２６０で、ＣＰＵ２１は、Ｓ２５０で選択した選択画像に選択立体物に対応した立体物が映り込んでいる領域である立体物領域を抽出領域として、選択画像から抽出領域を抽出し、Ｓ２７０に処理を移行する。選択画像からの抽出領域の抽出は、Ｓ２４０で行った、撮像画像からの立体物領域の抽出と同様に行われる。

Ｓ２７０で、ＣＰＵ２１は、Ｓ２４０又はＳ２６０で抽出された立体物領域又は抽出領域に基づいて、立体鳥瞰変換を行うことにより立体鳥瞰画像を作成する。
ここで、立体鳥瞰画像は、Ｓ２４０又はＳ２６０で抽出された立体物領域又は抽出領域を、図１２に示すようにあらかじめ決められた曲面を表した立体投影面Ｓｒに投影することにより作成される。また立体投影面Ｓｒは、図１３に示すようなあらかじめ決められた曲率である立体曲率を有し、かつ、撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の曲面である。

立体投影面Ｓｒは、原点位置が自車の中心位置と一致するように設定される。また、Ｘ軸方向が自車の車幅方向を表し、Ｙ軸方向が自車の進行方向を表し、Ｚ軸方向が自車の高さ方向を表す。

Ｓ２８０で、ＣＰＵ２１は、全体鳥瞰画像２０３中にＳ２２０で未選択の立体物が存在するか否か判定する。
ＣＰＵ２１は、Ｓ２８０で、全体鳥瞰画像２０３中にＳ２２０で未選択の立体物が存在すると判定した場合、Ｓ２２０に処理を移行し、以降の処理を行う。

すなわち、Ｓ２２０からＳ２８０までの処理は、全体鳥瞰画像２０３中に存在する立体物がすべて立体鳥瞰変換されるまで、繰り返し行われる。なお、Ｓ２２０で選択される立体物は、未選択の鳥瞰立体物から選択される。

一方、ＣＰＵ２１は、Ｓ２８０で、全体鳥瞰画像２０３中にＳ２２０で未選択の立体物が存在しない、すなわち、全体鳥瞰画像２０３中に存在する立体物をすべて選択したと判定した場合には、Ｓ２９０に処理を移行する。

Ｓ２９０で、ＣＰＵ２１は、全体鳥瞰画像２０３中の立体物が存在した位置に相当する位置に、Ｓ２７０で作成された立体鳥瞰画像を合成し、処理を終了する。なお、立体鳥瞰画像が複数存在する場合には、それぞれ全体鳥瞰画像２０３に合成する。

ここで、立体鳥瞰画像の合成は、例えば、図１４に示すように、Ｓ２１０において、消去した立体物を表示した範囲の最も自車に近い点に、立体鳥瞰画像の下端部分を一致させることにより行われてもよい。ただし、立体鳥瞰画像の合成は、このような方法に限定されるものではなく、例えば、全体鳥瞰画像２０３中の立体物が映り込んだ範囲の重心位置と、立体鳥瞰画像の重心位置とが一致するように合成されてもよい。

Ｓ２３０での処理が物体特定部に相当し、Ｓ２５０及びＳ２６０での処理が領域抽出部に相当し、Ｓ２７０での処理が第一作成部及び選択変換部に相当し、Ｓ２９０での処理が画像合成部及び合成実行部としての処理に相当する。

［３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１）上述した実施形態では、表示された立体鳥瞰画像により、ドライバが覚える違和感を抑制することができる。

すなわち、本実施形態では、立体鳥瞰画像は、撮像画像により撮像された立体物を元に作成される。このため、例えば、実際に存在する立体物と異なる色の立体物の鳥瞰画像が表示されることによりドライバに与える違和感を抑制することができる。

（２）また、本実施形態では、立体物が撮像画像に映り込んでいる領域である立体物領域は、平面鳥瞰変換とは異なる鳥瞰変換である立体鳥瞰変換が行われる。この立体鳥瞰変換が行われることにより、立体物が伸びて表示されることが抑制される。これにより、立体物が平面と同じ鳥瞰変換が行われた場合に比べ、ドライバに与える違和感を抑制することができる。

具体的には、図１５に示すように、立体物Ｍｉを路面投影面Ｓｃに投影した像Ｍｃと、実際に存在する立体物Ｍｉの形状とを比べると、像Ｍｃは、立体物Ｍｉに比べて伸び、特に、特に立体物の地面から遠い先端部分、立体物が歩行者であれば頭部に相当する部分がそれ以外の部分に比べ大きく伸びることがわかる。これに対して、立体投影面Ｓｒに投影した像Ｍｒは、像Ｍｃに比べ伸びも小さく、先端部分がそれ以外の部分に比べて大きく伸びることが抑制される。

立体物領域についてこのような立体鳥瞰変換がなされることにより、ドライバに与える違和感を抑制することができる。
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）上記実施形態では、セマンティックセグメンテーションにより、輪郭形状からその領域が表す立体物の種類まで判定するが、立体物であるか否かのみを判定してもよい。

（２）上記実施形態では、複数の撮像装置１０から撮像画像を取得するが、撮像装置１０の数は複数に限定されるものではなく、一つであってもよい。すなわち、一つの撮像画像に対して上述した鳥瞰変換を行ってもよい。

（３）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（４）上述した画像作成装置の他、当該画像作成装置を構成要素とするシステム、当該画像作成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像作成方法など、種々の形態で本開示を実現することもできる。

１…画像表示システム、１０…撮像装置、１０ａ…フロントカメラ、１０ｂ…リアカメラ、１０ｃ…左カメラ、１０ｄ…右カメラ、２０…画像作成装置、２１…ＣＰＵ、２２…メモリ、３０…表示装置、１０３、２０３…全体鳥瞰画像、１０３ａ…前方鳥瞰画像、１０３ｂ…後方鳥瞰画像、１０３ｃ…左鳥瞰画像、１０３ｄ…右鳥瞰画像、２０１ａ…前方鳥瞰画像、２０１ｄ…右鳥瞰画像、３０１ｋ、３０１ｌ、３０１ｍ…立体物、３０３ｋ、３０３ｍ…鳥瞰立体物、Ｐｉ…仮想点、Ｒ…重複範囲、Ｓｃ…路面投影面、Ｓｒ…立体投影面。

Claims (4)

1. 車両に搭載され、
   当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像するように構成された撮像装置（１０）により撮像された画像である撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
   前記画像取得部により取得された前記撮像画像に基づいて、前記撮像画像を前記車両の上方から見た画像である鳥瞰画像に変換する処理である鳥瞰変換を行うことにより鳥瞰画像を作成するように構成された鳥瞰作成部（Ｓ１２０〜Ｓ１６０）と、を備え、
   前記鳥瞰作成部は、
   前記画像取得部により取得された前記撮像画像において、前記撮像画像中の輝度及び色度に基づいて、前記撮像画像中に存在する物体の輪郭形状を抽出するように構成された輪郭抽出部（Ｓ１２０）と、
   前記輪郭抽出部により抽出された前記輪郭形状に基づいて、当該輪郭形状が表している領域を、立体物を表す領域である立体物領域であるか、立体物以外を表す路面領域であるかを判別するように構成された領域判別部（Ｓ１２０）と、
   あらかじめ決められた曲率である立体曲率を有し、かつ、前記撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に投影することにより鳥瞰変換する処理である立体鳥瞰変換を、前記立体物領域に対して行い、立体鳥瞰画像を作成するように構成された第一作成部（Ｓ２７０）と、
   実空間上における前記車両が存在する路面を表した、あらかじめ設定される仮想の平面である路面投影面に投影することにより鳥瞰変換する処理である平面鳥瞰変換を、前記路面領域に対して行い、平面鳥瞰画像を作成するように構成された第二作成部（Ｓ１３０）と、
   前記第一作成部により作成された前記立体鳥瞰画像と前記第二作成部により作成された前記平面鳥瞰画像とを合成するように構成された画像合成部（Ｓ２９０）と、
   を備える、画像作成装置（２０）。
2. 請求項１に記載の画像作成装置であって、
   前記画像取得部は、撮像範囲が互いに重なり合う重複範囲を有するように設置された複数の撮像装置から前記撮像画像を複数取得するように構成され、
   前記鳥瞰作成部は、前記画像取得部により取得された複数の前記撮像画像のそれぞれに対して前記平面鳥瞰変換を行うことにより個別鳥瞰画像を作成するように構成され、
   前記複数の個別鳥瞰画像を合成した全体鳥瞰画像を作成するように構成された全体合成部（Ｓ１３０）を更に備え、
   前記鳥瞰作成部は、
   前記画像取得部により取得された複数の前記撮像画像のそれぞれに対して前記平面鳥瞰変換を行うことにより個別鳥瞰画像を作成するように構成され、
   前記領域判別部は、前記撮像画像同士の前記重複範囲中に含まれる前記立体物を特定するように構成された物体特定部（Ｓ２３０）と、
   前記物体特定部により特定された前記重複範囲に映り込んでいる前記立体物が同一の立体物を表している場合、前記複数の撮像画像のうち、前記撮像画像の下端から距離がより近い位置に存在する前記立体物領域を抽出領域として抽出するように構成された領域抽出部（Ｓ２５０、Ｓ２６０）と、
   前記抽出領域に対して前記立体鳥瞰変換を行うことにより前記立体鳥瞰画像を作成するように構成された選択変換部（Ｓ２７０）と、を備え、
   前記画像合成部は、前記平面鳥瞰画像における前記抽出領域に相当する位置に前記選択変換部により作成された前記立体鳥瞰画像を合成するように構成された、画像作成装置。
3. 請求項１又は請求項２に記載の画像作成装置であって、
   前記画像合成部は、
   前記第二作成部により作成された前記平面鳥瞰画像の前記立体物領域の下端に相当する位置と、前記立体鳥瞰画像の下端とを一致させて合成するように構成された合成実行部（Ｓ２９０）を備える、画像作成装置。
4. 請求項１から請求項３までのいずれか１項に記載の画像作成装置であって、
   前記領域判別部は、セマンティックセグメンテーションを用いて立体物であるか否かを判定するように構成された、画像作成装置。

Images