JP2021150838A - 画像処理装置 - Google Patents

Abstract

【課題】起動時に違和感の少ない画像を生成することができる画像処理装置を提供する。【解決手段】画像処理装置は、画像生成部と、合成部と、起動時処理部と、を備える。前記画像生成部は、カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する。前記合成部は、前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する。前記起動時処理部は、起動時に、前記自車両表示領域を、前記撮影画像に含まれる色に対応する所定色に設定する。【選択図】図１

Description

本発明は、画像処理装置に関する。

従来、車両に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た車両の周辺を示す仮想視点画像を生成する画像処理技術が種々に開発されている（例えば特許文献１参照）。上述した仮想視点画像は、例えば車両の運転を支援するため等に用いられる。

特許文献１で開示されている画像処理装置では、仮想視点画像と自車両画像とを合成している。

特許第４５７９１３２号公報 特開２０１４−６８３０８号公報

自車両画像の見栄えを良くすること等を目的として、例えば特許文献２ではポリゴンモデルを用いて自車両画像が生成されている。

しかしながら、ポリゴンモデルを用いて自車両画像を生成する場合、画像処理装置の起動時に自車両画像の生成が完了するまで時間がかかってしまう。そして、自車両画像の生成が完了する前に生成する画像は、必然的に自車両画像が合成されていない画像になるため、違和感の多い画像になる可能性があった。

本発明は、上記課題に鑑みて、起動時に違和感の少ない画像を生成することができる画像処理装置を提供することを目的とする。

本発明の一局面に係る画像処理装置は、カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する合成部と、起動時に、前記自車両表示領域を、前記撮影画像に含まれる色に対応する所定色に設定する起動時処理部と、を備える構成（第１の構成）である。

上記第１の構成の画像処理装置において、前記所定色は、起動時に前記カメラによって撮影された前記撮影画像の自車両近傍領域の色である構成（第２の構成）であってもよい。

上記第１の構成の画像処理装置において、前記所定色は、前記撮影画像に映り込んでいる自車両ボディの色である構成（第３の構成）であってもよい。

上記第１の構成の画像処理装置において、前記所定色は、自車両停止時に前記カメラによって撮影された前記撮影画像の自車両近傍領域の色又は自車両停止時に前記カメラによって撮影された前記撮影画像の自車両近傍領域の色を補正した色である構成（第４の構成）であってもよい。

本発明の他の局面に係る画像処理装置は、カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する合成部と、起動時に前記自車両表示領域に図形を配置する起動時処理部と、を備え、前記図形は起動完了後に前記自車両画像によって全体を隠すことができる位置に配置される構成（第５の構成）である。

本発明の更に他の局面に係る画像処理装置は、カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する合成部と、起動時に、起動よりも前に予め記憶している事前記憶画像を前記自車両画像として前記合成部に提供する起動時処理部と、を備える構成（第６の構成）である。

上記第６の構成の画像処理装置において、前記事前記憶画像は、自車両ポリゴンモデルのレンダリング像をキャプチャした画像である構成（第７の構成）であってもよい。

本発明に係る画像処理装置によると、起動時に違和感の少ない画像を生成することができる。

車両周辺監視システムの構成を示すブロック図 ４つのカメラが配置された車両を示す模式図 画像生成部が仮想視点画像を生成する手法を説明するための図 画像処理装置の動作を示すフローチャート 仮想視点画像を示す模式図 第１実施形態での起動時処理で得られる画像を示す模式図 合成画像を示す模式図 第２実施形態での起動時処理で得られる画像を示す模式図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜システムの構成＞
図１は、本発明の実施の形態に係る車両周辺監視システムＳＹＳ１の構成を示すブロック図である。車両周辺監視システムＳＹＳ１は、車両ごとに搭載される。車両周辺監視システムＳＹＳ１は、当該システムを搭載する車両の周辺状況を監視する機能を有する。図１に示すように、車両監視システムＳＹＳ１は、画像処理システムＳＹＳ２と、表示装置３と、を備える。画像処理システムＳＹＳ２は、車両の周囲を撮影する撮影部１と、画像処理装置２とを備える。以下の説明では、画像処理装置２を搭載する車両を自車両と呼ぶ。

画像処理システムＳＹＳ２は、自車両の周辺を撮影して画像を生成し、生成した画像を表示装置３に出力する機能を有する。また、画像処理システムＳＹＳ２は、自車両の周辺を撮影して得られた画像に基づいて、検出対象を検出する機能も有する。本実施の形態では、検出対象には駐車枠が含まれる。なお、これは例示であり、検出対象には、移動体等が含まれてよい。検出した駐車枠情報は、例えば駐車支援等を行う運転支援装置（不図示）によって使用される。

撮影部１は、自車両に搭載される４つのカメラ１１〜１４を備える。すなわち、画像処理システムＳＹＳ２は、車両に搭載されるカメラ１１〜１４を備える。図２は、４つのカメラ１１〜１４が配置された車両４を示す模式図である。本実施の形態において、自車両４は自動車である。撮影部１が備えるカメラの数は例示であり、カメラの数は適宜変更されてよい。各カメラ１１〜１４は、有線又は無線で画像処理装置２に接続されており、撮影画像を画像処理装置２に送信する。

図２に示すように、カメラ１１は自車両４の前端に設けられる。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で自車両４の前後方向に沿っている。フロントカメラ１１は自車両４の前方向を撮影する。カメラ１４は自車両４の後端に設けられる。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で自車両４の前後方向に沿っている。バックカメラ１４は自車両４の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付け位置は、自車両４の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ１２は自車両４の左側ドアミラー４１に設けられる。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、左サイドカメラは、左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。左サイドカメラ１２の光軸１２ａは平面視で自車両４の左右方向に沿っている。左サイドカメラ１２は自車両４の左方向を撮影する。カメラ１３は自車両４の右側ドアミラー４２に設けられる。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、右サイドカメラは、右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。右サイドカメラ１３の光軸１３ａは平面視で自車両４の左右方向に沿っている。右サイドカメラ１３は自車両４の右方向を撮影する。

各カメラ１１〜１４のレンズとしては、例えば魚眼レンズが使用される。各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、４つのカメラ１１〜１４を利用することで、自車両４の水平方向における全周囲を撮影することが可能になっている。

画像処理装置２は、撮影部１によって撮影された撮影画像を取得して、当該撮影画像の処理を行う。また、画像処理装置２は、撮影画像を処理して得られた処理画像を表示装置３に出力する。また、画像処理装置２は、撮影画像を処理して、撮影画像中から検出対象（例えば駐車枠）を検出する。画像処理装置２は、自車両４の所定の位置に配置される。すなわち、画像処理装置２は、自車両において用いられる。画像処理装置２の詳細については後述する。

表示装置３は、例えばタッチパネル等の操作機能を有する液晶等のディスプレイを備え、画像処理システムＳＹＳ２による処理で得られた表示画像を表示する。表示装置３は、自車両４の乗員（代表的には運転者）がディスプレイの表示画面を視認できる位置に設けられる。例えば、表示装置３は、自車両４のインストルメントパネルに設置される。なお、表示装置３は、自車両４に搭載されるナビゲーション装置等の表示部であってもよい。

＜画像処理装置の構成＞
画像処理装置２は、ＥＣＵ（Electronic Control Unit）として構成される。図１に示すように、画像処理装置２は、画像生成部２１と、制御部２２と、合成部２３と、通信部２４と、記憶部２５と、を備える。

画像生成部２１は、撮影部１で撮影された撮影画像を処理して表示用画像を生成する。本実施の形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成されている。本実施の形態では、画像生成部２１は、自車両４に搭載されるカメラ１１〜１４による撮影画像に基づいて、仮想視点から見た自車両４の周辺を示す仮想視点画像を生成する。仮想視点画像を生成する手法の詳細については後述する。

仮想視点画像は、合成部２３によって自車両画像と合成された後、通信部２４によって表示装置３に出力され、表示装置３の表示画面に表示される。

制御部２２は、画像処理装置２の全体を制御する。制御部２２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。本実施の形態では、制御部２２は、画像制御部２２１と、表示制御部２２２と、起動時処理部２２３と、を備える。制御部２２が備えるこれらの各部は、例えばＲＯＭに格納されるプログラムに従ってＣＰＵが演算処理を行うことによって実現される機能である。

画像制御部２２１は、画像生成部２１によって実行される画像処理及び合成部２３によって実行される画像処理を制御する。例えば、画像制御部２２１は、画像生成部２１に対して、仮想視点画像を生成するために必要となる各種のパラメータ等の指示を行い、合成部２３に対して、合成画像を生成するために必要となる各種のパラメータ等の指示を行う。

表示制御部２２２は、主に画像処理装置２の処理によって得られた画像情報を表示装置３で表示させるための制御を行う。例えば、表示制御部２２２は、合成部２３で生成された合成画像を表示装置３に出力する際の制御を行う。

自車両画像生成部２２３は自車両画像を生成する。自車両画像生成部２２３の処理内容については後述する。

起動時処理部２２４は後述する第１〜第３実施形態それぞれで異なる処理を行う。起動時処理部２２４の処理内容については後述する。

通信部２４は、表示装置３との間で通信を行う。通信部２４は、例えば、合成部２３で生成された合成画像を表示装置３に出力する。また、通信部２４は、運転者等が表示装置３の操作を行った場合に操作部（タッチパネル等）から送信される信号を受信する。

記憶部２５は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２５は、例えば、ファームウェアとしてのプログラム、画像生成部２１が仮想視点画像を生成するための各種のデータを記憶する。

＜仮想視点画像の生成処理＞
画像生成部２１が、仮想視点から見た自車両４の周辺の様子を示す仮想視点画像を生成する手法について説明する。図３は、画像生成部２１が仮想視点画像を生成する手法を説明するための図である。画像生成部２１は、仮想視点画像の生成に仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。

フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及び、バックカメラ１４によって、自車両４の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１１〜Ｐ１４が同時に取得される。これら４つの撮影画像Ｐ１１〜Ｐ１４には、自車両４の全周囲のデータが含まれている。画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４を取得する。４つの撮影画像Ｐ１１〜Ｐ１４内のベタ塗り部分は、撮影画像に映り込んでいる自車両４のボディである。

画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４に含まれるデータ（画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心部（お椀の底部分）が自車両４の位置として定められている。撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部２５に記憶されている。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の値とに基づいて決定できる。なお、図２に示す斜線領域に対応する投影面ＴＳの領域では、２つのカメラからの撮影画像が投影される。図２に示す斜線領域に対応する投影面ＴＳの領域では、例えば２つのカメラからの撮影画像を所定の割合でブレンドすればよい。

次に、画像生成部２１は、画像制御部２２１の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、設定された仮想視点ＶＰに応じて投影面ＴＳにおける必要な領域を切り出す。これにより、任意の仮想視点ＶＰから見た仮想視点画像が生成される。

例えば、図３に示すように、視点位置を自車両４の真上、視線方向を直下とした仮想視点ＶＰａを想定した場合、自車両４及び自車両４の周辺を俯瞰する仮想視点画像（俯瞰画像）と、自車両４ の像と、を合成した合成画像ＣＰａを得ることができる。また、視点位置を自車両４の左後方、視線方向を自車両４の前方とした仮想視点ＶＰｂを想定した場合、自車両４の左後方から見た自車両４及び自車両４の周辺を示す仮想視点画像と、自車両４の像と、を合成した合成画像ＣＰｂを得ることができる。

なお、自車両画像生成部２２３は、仮想視点画像ＣＰ中に示す自車両４の像を、自車両４の三次元形状を示すポリゴンのモデル（自車両ポリゴンモデル）から生成する。自車両ポリゴンモデルは、投影面ＴＳが設定される仮想的な三次元空間において、自車両４が存在する位置として定められた位置（投影面ＴＳの中心部分）に配置される。

自車両画像生成部２２３は、仮想視点ＶＰに応じて、自車両ポリゴンモデルに関してレンダリングを行い、自車両画像として自車両ポリゴンモデルのレンダリング像を生成する。

＜画像処理装置の動作＞
図４は、画像処理装置２の動作を示すフローチャートである。自車両４のイグニッションスイッチ（電気自動車である場合はパワースイッチ）がオンになると、画像処理装置２に電源が投入されて画像処理装置２が起動し、画像処理装置２は図４に示すフロー動作を開始する。

まず、画像制御部２２１の指示に従って、画像生成部２１が、仮想視点から見た自車両４の周辺の様子を示す仮想視点画像を生成する画像生成処理を実行する（ステップＳ１０）。また、画像処理装置２の直後から自車両画像生成部２２３は、自車両ポリゴンモデルのレンダリング像を生成するために必要な処理を開始する。

次に、制御部２２は、自車両ポリゴンモデルのレンダリング像が生成されたか否かを確認する（ステップＳ２０）。

自車両ポリゴンモデルのレンダリング像が生成されていなければ、起動時処理部２２４が起動時処理を実行し（ステップＳ３０）、その後ステップＳ２０に戻る。

一方、自車両ポリゴンモデルのレンダリング像が生成されていれば、合成部２３は、仮想視点画像と、自車両ポリゴンモデルのレンダリング像とを合成する（ステップＳ４０）。ステップＳ４０の処理が終わると、ステップＳ２０に戻る。

＜第１実施形態＞
本実施形態では、ステップＳ３０において、起動時処理部２２４が、自車両表示領域を、カメラ１１〜１４によって撮影された撮影画像の少なくとも一つに含まれる色に対応する所定色に設定する。例えば、撮影画像に灰色の路面が多く映っている場合、所定色を灰色に設定する。

ここで、例えば図５に示す仮想視点画像Ｆ１が視点位置を自車両４の真上、視線方向を直下とした仮想視点を想定した場合の俯瞰画像である場合、仮想視点画像Ｆ１（＝図５中の網目部分）に映り込んでいる自車両４のボディを完全に囲む領域Ｒ１を、上記の自車両表示領域とすることができる。言い換えれば、自車両表示領域Ｒ１以外の領域は、仮想視点画像Ｆ１内の自車両４のボディが映り込んでいる領域を含まない。自車両表示領域Ｒ１は、領域Ｒ２（＝図５中の白の長方形枠部分）も囲んでいる。領域Ｒ２は、カメラ１１〜１４によって撮影された撮影画像の撮影領域外に該当する領域である。領域Ｒ２には、ステップＳ４０の処理によって自車両ポリゴンモデルのレンダリング像が配置される。

上述した所定色が例えば灰色である場合、ステップＳ３０の処理によって図６に示すように、領域Ｒ１を灰色で塗りつぶした画像と仮想視点画像Ｆ１とを合成した合成俯瞰画像が得られる。なお、合成俯瞰画像において、領域Ｒ１を灰色で塗りつぶした画像と仮想視点画像Ｆ１とが重複する領域は、仮想視点画像Ｆ１に対して領域Ｒ１を灰色で塗りつぶした画像を重ねている。言い換えれば、合成俯瞰画像において、領域Ｒ１を灰色で塗りつぶした画像と仮想視点画像Ｆ１とが重複する領域の画素データは、領域Ｒ１を灰色で塗りつぶした画像の画素データとなっている。ステップＳ４０の処理が終わるまでは、ステップＳ３０の処理で得られた画像を表示装置３に表示させるとよい。

上述した所定色は、カメラ１１〜１４によって撮影された撮影画像に含まれる色に対応するので、領域Ｒ１を仮想視点画像Ｆ１或いは自車両ポリゴンモデルのレンダリング像Ｆ２に対して目立たないようにすることできる。つまり、画像処理装置２は、起動時に違和感の少ない画像を生成することができる。

なお、ステップＳ４０の処理が終わると、図７に示す画像（＝ステップＳ４０の処理によって得られる合成画像）のように領域Ｒ１に自車両ポリゴンモデルのレンダリング像Ｆ２が配置される。図７に示す画像において、領域Ｒ１内の自車両ポリゴンモデルのレンダリング像Ｆ２が重なっていない領域は、上述した所定色であってもよく、上述した所定色でなくてもよい。自車両ポリゴンモデルのレンダリング像Ｆ２が存在するため、領域Ｒ１内の自車両ポリゴンモデルのレンダリング像Ｆ２が重なっていない領域は目立たないからである。

図６に示す画像又は図７に示す画像は単独で表示装置３に表示されてもよく、例えば自車両４のシフトレバーがバックのレンジであるときには、図６に示す画像又は図７に示す画像と、バックカメラ１４で撮影した撮影画像とが並んで表示装置３に表示されてもよい。

上述した所定色は、例えば、起動時にカメラ１１〜１４によって撮影された撮影画像の少なくとも一つの自車両近傍領域の色にすればよい。これにより、上述した所定色と仮想視点画像Ｆ１との境界が分かり難くなり、領域Ｒ１を仮想視点画像Ｆ１に対して目立たないようにすることできる。

なお、自車両近傍領域の色は通常単一色ではないため、例えば自車両近傍領域の平均的な色を自車両近傍領域の色としてもよく、自車両近傍領域内で最も画素数が多かった色を自車両近傍領域の色としてもよい。

また、上述した所定色は、例えば、カメラ１１〜１４によって撮影された撮影画像の少なくとも一つに映り込んでいる自車両ボディの色にしてもよい。これにより、ステップＳ３０の処理で得られる画像からステップＳ４０の処理で得られる画像に表示が切り替わる際の違和感を少なくすることができる。つまり、ステップＳ３０の処理で得られる画像を違和感の少ない画像にすることができる。

上述した所定色は、例えば、自車両４の停止時にカメラ１１〜１４によって撮影された撮影画像の少なくとも一つの自車両近傍領域の色にしてもよい。これにより、画像処理装置２の起動後に起動時処理部２２４が自車両近傍領域の色を把握しなくてすむため、起動時処理部２２４はより早くステップＳ３０の処理を終えることができる。

なお、自車両４が停止しているが自車両４のシフトレバーがパーキングのレンジでない場合には、自車両４の停止とみなさないようにしてもよい。自車両４のシフトレバーがパーキングのレンジでなければ、自車両４のイグニッションスイッチ（電気自動車である場合はパワースイッチ）がオフになる前に自車両４が再び動き出すことが想定されるからです。

また、自車両４の停止時と画像処理装置２の起動時とで自車両近傍領域の色が異なっている場合があるので、自車両４の停止時にカメラ１１〜１４によって撮影された撮影画像の少なくとも一つの自車両近傍領域の色を補正して、上述した所定色にしてもよい。例えば、自車両４の停止時が日中であり、画像処理装置２の起動時が夕方であれば、自車両４の停止時にカメラ１１〜１４によって撮影された撮影画像の少なくとも一つの自車両近傍領域の色を暗めに補正すればよい。

＜第２実施形態＞
本実施形態では、ステップＳ３０において、起動時処理部２２４が、自車両表示領域に図形を配置する。より詳細には、起動時処理部２２４は、上記の図形を画像処理装置２の起動完了後に自車両ポリゴンモデルのレンダリング像Ｆ２（図７参照）によって全体を隠すことができる位置に配置する。好ましくは、起動時処理部２２４は、上記の図形を、レンダリング像Ｆ２の表示範囲の境界を示し、かつレンダリング像Ｆ２によって当該図形の全体が隠される図形とする。

図８は、本実施形態での起動時処理で得られる画像を示す模式図である。図８に示す画像では、上述した図形を点線矩形Ｆ３にしている。点線矩形Ｆ３は、自車両ポリゴンモデルのレンダリング像Ｆ２（図７参照）が配置される領域の境界を示し、かつレンダリング像Ｆ２によって点線矩形Ｆ３全体が隠される図形である。点線矩形Ｆ３によってレンダリング像Ｆ２の出現と表示位置を仄めかしていることになるため、ステップＳ３０の処理で得られる画像からステップＳ４０の処理で得られる画像に表示が切り替わる際の違和感を少なくすることができる。つまり、ステップＳ３０の処理で得られる画像を違和感の少ない画像にすることができる。

＜第３実施形態＞
本実施形態では、ステップＳ３０において、起動時処理部２２４が、画像処理装置２の起動よりも前に記憶部２５が予め記憶している事前記憶画像を自車両画像として合成部２３に提供する。そして、ステップＳ４０に移行するまでの間、合成部２３は、上記の事前記憶画像と、仮想視点画像と、を合成するようにする。

これにより、ステップＳ３０の処理で得られる画像を、ステップＳ４０の処理で得られる画像に類似させることができるため、ステップＳ３０の処理で得られる画像からステップＳ４０の処理で得られる画像に表示が切り替わる際の違和感を少なくすることができる。つまり、ステップＳ３０の処理で得られる画像を違和感の少ない画像にすることができる。

なお、ステップＳ４０に移行することにより、自車両ポリゴンモデルのレンダリング像Ｆ２（図７参照）によって、例えば方向指示器の点滅、ドアの開閉等を表現することが可能になる。つまり、ステップＳ３０の処理で得られる画像からステップＳ４０の処理で得られる画像に表示を切り替えることで、より高度な表示が可能となる。

上述した事前記憶画像は、自車両ポリゴンモデルのレンダリング像Ｆ２（図７参照）をキャプチャした画像であることが好ましい。ステップＳ３０の処理で得られる画像と、ステップＳ４０の処理で得られる画像との類似度を高めることができるからである。レンダリング像Ｆ２を事前記憶画像とする場合は、イグニッションスイッチがオフされたタイミングで、その時点のレンダリング像Ｆ２を事前記憶画像として不揮発性メモリに記憶すればよい。これにより、前回のトリップ終了時のレンダリング像Ｆ２が事前記憶画像として記憶され、今回の起動時の自車両画像として使用される。あるいは、イグニッションスイッチがオンされている間、定期的にレンダリング像Ｆ２を不揮発性メモリに上書き保存するようにしてもよい。これによっても、前回のトリップ時におけるレンダリング像Ｆ２が事前記憶画像として記憶され、今回の起動時の自車両画像として使用される。

しかしながら、上述した事前記憶画像として、自車両４を表すイラスト画像等を用いても構わない。自車両４を表すイラスト画像等を用いた場合でも、ステップＳ３０の処理で得られる画像を違和感の少ない画像にすることができるからである。なお、この場合は、製品出荷前に予め自車両４を表すイラスト画像が記憶部２５に記憶される。

＜留意事項＞
本明細書における実施形態や実施例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。例えば、第１実施形態と第２実施形態とは組み合わせて実施することができる。

上述した第１実施形態及び第２実施形態では、ステップＳ３０の処理で得られる画像からステップＳ４０の処理で得られる画像に表示が切り替わったときに初めて自車両画像が出現することになる。この自車両画像がスムーズに現れるようにするため、ステップＳ４０に移行してから時間の経過に伴って自車両画像の透過度を１００％から徐々に低くし、最終的に自車両画像の透過度を零にするようにしてもよい。また、第３実施形態では、ステップＳ３０の処理で得られる画像からステップＳ４０の処理で得られる画像に表示が切り替わったときに自車両画像に変化が生じる可能性がある。この自車両画像の変化を目立たせなくするため、ステップＳ３０の処理で得られる自車両画像の透過度を１００％から零より大きい値まで徐々に低くしていき、ステップＳ４０の処理で得られる自車両画像で透過度を零としてもよい。

上述した実施形態では、俯瞰画像である仮想視点画像を用いて起動時処理部２２４が起動時処理を実行したが、仮想視点画像は俯瞰画像でなくてもよい。例えば、視点位置を自車両４の車室内とし、自車両４の車室内から車外を視るように設定された仮想視点での仮想視点画像を用いて起動時処理部２２４が起動時処理を実行してもよい。

２ 画像処理装置
４ 自車両
１１ フロントカメラ
１２ 左サイドカメラ
１３ 右サイドカメラ
１４ バックカメラ
２１ 画像生成部
２３ 合成部
２２４ 起動時処理部

Claims (7)

1. カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する画像生成部と、
   前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する合成部と、
   起動時に、前記自車両表示領域を、前記撮影画像に含まれる色に対応する所定色に設定する起動時処理部と、
   を備える、画像処理装置。
2. 前記所定色は、起動時に前記カメラによって撮影された前記撮影画像の自車両近傍領域の色である、請求項１に記載の画像処理装置。
3. 前記所定色は、前記撮影画像に映り込んでいる自車両ボディの色である、請求項１に記載の画像処理装置。
4. 前記所定色は、自車両停止時に前記カメラによって撮影された前記撮影画像の自車両近傍領域の色又は自車両停止時に前記カメラによって撮影された前記撮影画像の自車両近傍領域の色を補正した色である、請求項１に記載の画像処理装置。
5. カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する画像生成部と、
   前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する合成部と、
   起動時に前記自車両表示領域に図形を配置する起動時処理部と、
   を備え、
   前記図形は起動完了後に前記自車両画像によって全体を隠すことができる位置に配置される、画像処理装置。
6. カメラによって撮影された撮影画像に基づいて、仮想視点から見た自車両の周辺を示す仮想視点画像を生成する画像生成部と、
   前記仮想視点画像と、自車両表示領域に配置される自車両画像と、を合成する合成部と、
   起動時に、起動よりも前に予め記憶している事前記憶画像を前記自車両画像として前記合成部に提供する起動時処理部と、
   を備える、画像処理装置。
7. 前記事前記憶画像は、自車両ポリゴンモデルのレンダリング像をキャプチャした画像である、請求項６に記載の画像処理装置。

Images