JP2019074850A - 画像処理装置 - Google Patents

Abstract

【課題】境界線が表示画像の中心に近づくことを抑制できる画像処理装置を提供すること。【解決手段】画像処理装置３は車両に搭載される。画像処理装置は、画像取得ユニット２５と、境界線設定ユニット２９と、表示画像生成ユニット３１と、方向変化取得ユニット２７とを備える。表示画像生成ユニットは、複数の画像を、境界線を介して合成して表示画像を生成する。方向変化取得ユニットは、車両の直進方向からの変化方向、及び変化量を取得する。表示画像生成ユニットは、表示画像の表示範囲を、進行方向からの変化量が大きいほど、直進方向からの変化方向の側に設定する。境界線設定ユニットは、表示画像内の境界線のうち、変化方向の側に存在する境界線における少なくとも一部の位置を、変化量が大きいほど、変化方向の側に設定する。【選択図】図２

Description

本開示は画像処理装置に関する。

従来、以下のような画像処理装置が知られている。複数のカメラを用いて、車両の周囲を表す複数の画像を取得する。複数の画像を合成することで、車両のドライバの視点から見た表示画像を作成する。この画像処理装置は特許文献１に開示されている。

特許第６０１４４３３号公報

表示画像内には、合成に用いた複数の画像同士の境界線が存在する。車両の進行方向が変化する場合、表示画像の表示する範囲を、進行方向が変化する方向（以下では直進方向からの変化方向とする）の側に移動させることが考えられる。例えば、直進前進時、前方カメラによる撮像画像と側方カメラによる撮像画像との境界線を左右それぞれ直進方向に対して４５度の位置に設定した場合、それらの境界線の位置が常に一定であれば、表示画像の表示する範囲を、直進方向からの変化方向の側に移動させた場合、少なくとも一部の境界線の位置が、表示画面の中心に近づいてしまう。

境界線付近の画像は、合成される２つの画像それぞれの撮像位置(カメラの設置位置)の違いや変換により歪みや１つの物が２重になるなどユーザに違和感を生じさせることがある。境界線が表示画像の中心付近にあると、車両の乗員が表示画像によって周囲の物を認識することが困難になる。本開示は、境界線が表示画面の中心に近づくことを抑制できる画像処理装置を提供する。

本開示の一局面は、車両（３６）に搭載される画像処理装置（３）であって、前記車両の周囲を撮影する複数のカメラ（５、７、９、１１）を用いて、表示可能範囲（３７Ａ、３９Ａ、４３Ａ、４７Ａ）の一部が互いに重複している複数の画像（３７、３９、４３、４７）を取得する画像取得ユニット（２５）と、前記複数の画像に含まれる、表示可能範囲の一部が互いに重複している画像同士の境界線（５９、６１、６３、６５）を、表示可能範囲が重複している範囲（４１、４５、４９、５１）内で設定する境界線設定ユニット（２９）と、前記複数の画像の少なくとも一部の画像を、前記境界線を介して合成して、前記車両の車室内における視点（５３）から見た表示画像（６９）を生成する表示画像生成ユニット（３１）と、前記表示画像を出力する出力ユニット（３３）と、前記車両の直進方向（５７）からの変化方向（Ｘ）、及び前記直進方向からの変化量を取得する方向変化取得ユニット（２７）と、を備え、前記表示画像生成ユニットは、前記表示画像の表示範囲を、前記変化量が大きいほど、前記変化方向の側に設定するように構成され、前記境界線設定ユニットは、前記表示画像内の前記境界線のうち、少なくとも前記変化方向の側に存在する前記境界線における少なくとも一部の位置を、前記変化量が大きいほど、前記変化方向の側に設定するように構成された画像処理装置である。

本開示の一局面である画像処理装置は、表示画像の表示範囲を、直進方向からの変化量が大きいほど、直進方向からの変化方向の側に設定する。そのため、仮に、複数の画像に対する境界線の位置が常に一定であれば、直進方向からの変化量が大きいほど、一部の境界線の位置が表示画像の中心に近づいてしまう。

境界線付近の画像は、不明確で、ユーザに違和感を生じさせることがある。境界線が表示画像の中心付近にあると、車両の乗員が表示画像によって周囲の物標を認識することが困難になる。
本開示の一局面である画像処理装置は、表示画像内の境界線のうち、直進方向からの変化方向の側に存在する境界線における少なくとも一部の位置を、直進方向からの変化量が大きいほど、直進方向からの変化方向の側に設定する。そのため、進行方向が変化する場合でも、境界線の位置が表示画像の中心に近づいてしまうことを抑制できる。その結果、車両の乗員が表示画像によって周囲の物標を認識することが容易になる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

車載システム１及び画像処理装置３の構成を表すブロック図である。 画像処理装置３の機能的構成を表すブロック図である。 複数の画像及び境界線を表す鳥瞰図である。 画像処理装置３が実行する処理を表すフローチャートである。 視点５３、視線方向５５、表示範囲６７等の構成を表す鳥瞰図である。 表示画像６９の例を表す説明図である。 視点５３、視線方向５５、表示範囲６７等の構成を表す鳥瞰図である。 表示画像６９の例を表す説明図である。 境界線を設定する方法を表す説明図である。

本開示の例示的な実施形態を図面に基づき説明する。
＜第１実施形態＞
１．車載システム１及び画像処理装置３の構成
車載システム１及び画像処理装置３の構成を図１〜図３に基づき説明する。図１に示す車載システム１は車両に搭載されるシステムである。以下では車載システム１を搭載する車両を自車両とする。車載システム１は、画像処理装置３と、前方カメラ５と、右方カメラ７と、左方カメラ９と、後方カメラ１１を備える。画像処理装置３と各カメラ５、７、９、１１とは、ＬＶＤＳなどの画像伝送線を介して繋がり、各カメラ５、７、９、１１で撮像された画像データは随時、画像処理装置３へと送信される。また、車載システム１は、車載ＣＡＮ（登録商標）やＬＩＮなどの車載通信バスを介してシフトセンサ１３と、舵角センサ１５と、障害物センサ１６と繋がっており、ディスプレイ１７とは、画像伝送線を介して繋がっている。

画像処理装置３は、ＣＰＵ１９と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２１とする）と、を有するマイクロコンピュータを備える。画像処理装置３の各機能は、ＣＰＵ１９が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２１が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

画像処理装置３は、図２に示すように、表示方向決定ユニット２３と、画像取得ユニット２５と、方向変化取得ユニット２７と、境界線設定ユニット２９と、表示画像生成ユニット３１と、出力ユニット３３と、障害物検出ユニット３５と、を備える。

画像処理装置３に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

図３に示すように、前方カメラ５は自車両３６の周囲のうち、前方を撮影し、画像（以下では前方画像３７とする）を生成する。前方画像３７の表示可能範囲３７Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。
右方カメラ７は、自車両３６の周囲のうち、右方を撮影し、画像（以下では右方画像３９とする）を生成する。右方画像３９の表示可能範囲３９Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。表示可能範囲３７Ａの一部と、表示可能範囲３９Ａの一部とは重複している。重複している範囲を重複範囲４１とする。重複範囲４１は、例えば、９０度である。

左方カメラ９は、自車両３６の周囲のうち、左方を撮影し、画像（以下では左方画像４３とする）を生成する。左方画像４３の表示可能範囲４３Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。表示可能範囲４３Ａの一部と、表示可能範囲３７Ａの一部とは重複している。重複している範囲を重複範囲４５とする。重複範囲４５は、例えば、９０度である。

後方カメラ１１は、自車両３６の周囲のうち、後方を撮影し、画像（以下では後方画像４７とする）を生成する。後方画像４７の表示可能範囲４７Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。表示可能範囲４７Ａの一部と、表示可能範囲３９Ａの一部とは重複している。重複している範囲を重複範囲４９とする。重複範囲４９は、例えば、９０度である。

また、表示可能範囲４７Ａの一部と、表示可能範囲４３Ａの一部とは重複している。重複している範囲を重複範囲５１とする。重複範囲５１は、例えば、９０度である。
シフトセンサ１３は、自車両のシフトの状態を検出し、シフト情報を作成して、車載ＣＡＮへ送信する。シフト情報は、自車両のシフトの状態を表す情報である。シフトの状態として、例えば、前進、後退等が挙げられる。

舵角センサ１５は、自車両の舵角の方向と、舵角の量とを検出し、舵角情報として車載ＣＡＮへ送信する。舵角情報は、自車両の舵角の方向と、舵角の量とを表す情報である。舵角の方向は、自車両の直進方向からの変化方向に対応し、たとえば、直進時に対し右か左かや、右旋回時にさらに右旋回するのか左へ戻すのかを表す。舵角の量は、自車両の直進方向からの変化量に対応し、直進時に対しどれだけ旋回しているかを表し、角度で表される。

障害物センサ１６は、自車両の周囲に存在する障害物を検出し、例えば車両に対する障害物の位置や相対距離、相対速度などの障害物に関する情報を生成し、車載ＣＡＮへ送信する。障害物センサ１６として、例えば、ミリ波レーダ、ライダー等が挙げられる。
ディスプレイ１７は自車両の車室内に設けられており、例えばダッシュボード部やコンソール部、メータなどと並ぶインパネ部に設けられている。ディスプレイ１７は画像を表示可能である。ディスプレイ１７が表示する画像には、後述するマッピング後の仮想的なスクリーン又は合成した画像から切り出された表示画像やナビ画面、各種インジケータ、空調やオーディオなどの操作画面等が含まれる。
２．画像処理装置３が実行する処理
画像処理装置３が所定時間ごとに繰り返し実行する処理を図４〜図６に基づき説明する。図４のステップ１では、表示方向決定ユニット２３が、シフトセンサ１３からシフト情報を取得する。

ステップ２では、表示方向決定ユニット２３が、表示方向を決定する。表示方向とは、後述する表示画像により表示する方向である。表示方向には、前方と後方とがある。前記ステップ１で取得したシフト情報が表すシフトの状態が前進である場合、表示方向決定ユニット２３は、表示方向を前方とする。前記ステップ１で取得したシフト情報が表すシフトの状態が後退である場合、表示方向決定ユニット２３は、表示方向を後方とする。

ステップ３では、画像取得ユニット２５が、前方カメラ５、右方カメラ７、左方カメラ９、及び後方カメラ１１から、前方画像３７、右方画像３９、左方画像４３、及び後方画像４７を取得する。

ステップ４では、方向変化取得ユニット２７が、舵角センサ１５から舵角情報を取得する。
ステップ５では、表示画像生成ユニット３１が、図５に示すように、自車両３６の車室内に視点５３を設定する。自車両３６に対する視点５３の位置は常に一定である。また、表示画像生成ユニット３１は、視点５３を起点として、舵角情報に基づき視線方向５５を設定する。

前記ステップ２で決定した表示方向が前方である場合、自車両の直進方向５７は、自車両３６の前方となる。視線方向５５は、直進方向５７から、視点５３を軸として、舵角の方向Ｘに回転した方向である。直進方向５７が前方である場合、舵角の方向Ｘは、直進方向５７からの変化方向に対応する。

一方、前記ステップ２で決定した表示方向が後方である場合、直進方向５７は、自車両３６の後方となる。視線方向５５は、直進方向５７から、視点５３を軸として、舵角の方向Ｘの反対方向に回転した方向である。直進方向５７が後方である場合、舵角の方向Ｘの反対方向が、直進方向５７からの変化方向に対応する。

前記ステップ２で決定した表示方向が前方及び後方のいずれの場合でも、視線方向５５と直進方向５７とが成す角度Ｙは、舵角の量が大きいほど大きい。なお、舵角の方向Ｘ及び舵角の量は、前記ステップ４で取得した舵角情報に含まれる。角度Ｙと舵角の量との関係を規定するマップは、予めメモリ２１に記憶されている。表示画像生成ユニット３１は、このマップと舵角情報とを使用して、視線方向５５を設定する。なお、角度Ｙと舵角両との関係はマップではなく、所定の式から算出してもよい。

ステップ６では、境界線設定ユニット２９が境界線を設定する。この処理を図５に示す事例に基づき説明する。図５に示す事例では、前記ステップ２で決定した表示方向は前方であり、直進方向５７は前方である。また、図５に示す事例では、前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘは右方向である。直進方向５７からの変化方向は、舵角の方向Ｘである。

境界線設定ユニット２９は、重複範囲４１の中で境界線５９を設定し、重複範囲４５の中で境界線６１を設定する。境界線５９、６１は、後述する仮想スクリーンと、重複領域の４１、４５の内側の交点Ａ、Ｂを通る鉛直面とが交わる線である。ここで、重複領域４１、４５の内側の交点Ａ、Ｂとは、各カメラの撮像画像の内、表示に使用される画像領域すなわち表示可能範囲の枠線の交点のことである。境界線５９、６１は、前記ステップ２で決定した表示方向が前方である場合に、後述する表示画像に含まれる可能性がある境界線である。図５に示す事例において、境界線５９は、表示画像内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線である。

境界線設定ユニット２９は、境界線５９の少なくとも一部の位置を、舵角の量が大きいほど、舵角の方向Ｘの側に設定する。なお、舵角の方向Ｘ及び舵角の量は、前記ステップ４で取得した舵角情報に含まれる。境界線５９の一部の位置と舵角の量との関係を規定するマップは、予めメモリ２１に記憶されている。境界線設定ユニット２９は、このマップと舵角情報とを使用して、境界線５９の位置を設定する。境界線設定ユニット２９は、境界線６１の位置を、例えば、４５度の標準の位置に設定する。標準の位置は、予めメモリ２１に記憶されている。

図５に示す事例とは異なり、前記ステップ２で決定した表示方向が前方であり、前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが左方向である場合、境界線６１は、表示画像内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線である。この場合、境界線設定ユニット２９は、境界線６１の少なくとも一部の位置を、舵角の量が大きいほど、舵角の方向Ｘの側に設定する。また、境界線設定ユニット２９は、境界線５９の位置を、標準の位置に設定する。

図５に示す事例とは異なり、前記ステップ２で決定した表示方向が後方であり、前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが右方向である場合、境界線設定ユニット２９は、重複範囲４９の中で境界線６３を設定し、重複範囲５１の中で境界線６５を設定する。境界線６３、６５は、後述する仮想スクリーンと、重複領域の４９、５１の内側の交点を通る鉛直面とが交わる線である。境界線６３、６５は、前記ステップ２で決定した表示方向が後方である場合に、後述する表示画像に含まれる可能性がある境界線である。

前記ステップ２で決定した表示方向が後方である場合、直進方向５７からの変化方向は、舵角の方向Ｘの反対方向である。前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが右方向である場合、境界線６３が、表示画像内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線である。境界線設定ユニット２９は、境界線６３の少なくとも一部の位置を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する。また、境界線設定ユニット２９は、境界線６５の位置を、標準の位置に設定する。

図５に示す事例とは異なり、前記ステップ２で決定した表示方向が後方であり、前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが左方向である場合、境界線設定ユニット２９は、重複範囲４９の中で境界線６３を設定し、重複範囲５１の中で境界線６５を設定する。

前記ステップ２で決定した表示方向が後方である場合、直進方向５７からの変化方向は、舵角の方向Ｘの反対方向である。前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが左方向である場合、境界線６５が、表示画像内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線である。境界線設定ユニット２９は、境界線６５の少なくとも一部の位置を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する。また、境界線設定ユニット２９は、境界線６３の位置を、標準の位置に設定する。

ステップ７では、障害物検出ユニット３５が、障害物センサ１６から送信される障害物に関する情報を用いて、自車両の周囲に存在する障害物を検出する処理を行う。
ステップ８では、境界線設定ユニット２９が、前記ステップ７で検出した障害物が、視点５３から見て、前記ステップ６で設定した境界線付近にあるか否かを判断する。障害物が境界線上にある場合はステップ９に進み、障害物が境界線上にない場合はステップ１０に進む。

ステップ９では、境界線設定ユニット２９が、前記ステップ６で設定した境界線の位置を、前記ステップ７で検出した障害物を避けるように補正する。ここで、障害物を避けるように境界線の位置を補正する際には、舵角の方向Ｘを考慮し、舵角の方向Ｘと同じ方向へ避けるよう補正する。
ステップ１０では、表示画像生成ユニット３１が表示画像を以下のようにして生成する。表示画像生成ユニット３１は、３次元空間において自車両の周囲に仮想的なスクリーン(画像の投影面とも言う)を想定する。次に、表示画像生成ユニット３１は、前記ステップ３で取得した前方画像３７、右方画像３９、左方画像４３、及び後方画像４７を、上記の仮想的なスクリーンへ投影してマッピングを行う。

次に、表示画像生成ユニット３１は、マッピング後の仮想的なスクリーン又は各カメラから取得した画像を同一視点で合成した画像のうち、図５に示すように、視点５３から、表示範囲６７内に見える画像を表示画像６９とする。表示範囲６７は、視線方向５５を中心とし、一定の広がりを有する範囲である。表示範囲６７は、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定される。

すなわち、直進方向５７が前方である場合、表示範囲６７は、舵角の量が大きいほど、舵角の方向Ｘの側に設定される。また、直進方向５７が後方である場合、表示範囲６７は、舵角の量が大きいほど、舵角の方向Ｘの反対方向の側に設定される。

表示画像６９は、前方画像３７、右方画像３９、左方画像４３、及び後方画像４７の少なくとも一部の画像を、境界線を介して合成した画像である。表示画像６９の例を図６に示す。
図６に示す表示画像６９は、前記ステップ２で決定した表示方向は前方であり、前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが右方向である場合の表示画像６９である。この表示画像６９における表示範囲６７の位置は、舵角が０度である場合に比べて、右方向に設定されている。右方向は、この事例において、直進方向５７からの変化方向である。

表示画像６９では、前方抽出画像３７Ｂと、右方抽出画像３９Ｂとが、境界線５９を介して接合している。前方抽出画像３７Ｂは、前方画像３７のうち、境界線５９と境界線６１との間にある部分である。右方抽出画像３９Ｂは、右方画像３９のうち、境界線５９よりも、視点５３から見て右側にある部分である。

また、表示画像６９では、前方抽出画像３７Ｂと、左方抽出画像４３Ｂとが、境界線６１を介して接合している。左方抽出画像４３Ｂは、左方画像４３のうち、境界線６１よりも、視点５３から見て左側にある部分である。

前記ステップ６において、境界線５９の少なくとも一部の位置は、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定されている。境界線５９の少なくとも一部の位置を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する方法として、例えば、図６に示すように、舵角の量が大きいほど、境界線５９を、直進方向５７からの変化方向の側に大きく傾ける方法がある。この方法において、例えば、境界線５９の下端５９Ａの位置は、自車両に対して固定された位置とすることができる。自車両３６を表す枠に対して固定された軸であって、境界線５９から見て、舵角の方向Ｘとは反対方向にある軸７１を想定する。なお、軸７１は、右方画像３９の枠線の一部で、直進方向５７とほぼ平行である。軸７１と境界線５９とが成す角度θは、境界線５９を、直進方向５７からの変化方向の側に大きく傾けるほど大きくなる。

表示画像生成ユニット３１は、前記ステップ２で決定した表示方向が後方である場合や、前記ステップ４で取得した舵角情報に含まれる舵角の方向Ｘが左方向である場合でも、図６に示す表示画像６９の場合と同様に、表示画像を生成する。

ステップ１１では、出力ユニット３３が、前記ステップ１０で生成した表示画像をディスプレイ１７に出力する。ディスプレイ１７は表示画像を表示する。
３．画像処理装置３が奏する効果
（１Ａ）画像処理装置３は、表示範囲６７を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する。そのため、仮に、前方画像３７、右方画像３９、左方画像４３、及び後方画像４７に対する境界線の位置が常に一定であれば、舵角の量が大きいほど、一部の境界線の位置が表示画像の中心に近づいてしまう。

例えば、表示画像６９において、仮に、前方画像、右方画像に対する境界線の位置が常に一定であれば、表示範囲６７を舵角の方向Ｘの側に設定した場合、境界線１５９のように境界線の位置が表示画像６９の中心に近づいてしまう。

境界線付近の画像は、合成される２つの画像それぞれの撮像位置(カメラの設置位置)の違いや変換により歪みや１つの物が２重になるなどユーザに違和感を生じさせることがある。境界線が表示画像の中心付近にあると、自車両の乗員が表示画像によって周囲の物標を認識することが困難になる。
画像処理装置３は、表示画像内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線における少なくとも一部の位置を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する。そのため、視線方向５５が変化する場合でも、境界線の位置が表示画像の中心に近づいてしまうことを抑制できる。その結果、自車両の乗員が表示画像によって周囲の物標を認識することが容易になる。

（１Ｂ）画像処理装置３は、表示画像内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線を、舵角の量が大きいほど、直進方向５７からの変化方向の側に傾ける。よって、境界線が表示画面の中心に近づかないよう設定でき、ユーザの違和感を抑制できる。

（１Ｃ）画像処理装置３は、障害物センサ１６から送信される情報を基に障害物の位置を特定する。そして、画像処理装置３は、検出した障害物を避けて境界線を設定する。そのため、自車両の乗員が表示画像において障害物を認識することが容易になる。

（１Ｄ）画像処理装置３は、視点５３から視線方向５５を見た表示画像６９を生成する。また、画像処理装置３は、視線方向５５を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する。よって、視点５３の位置が一定である表示画像６９を得ることができる。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、視点５３の位置を一定とし、視線方向５５を舵角の方向Ｘに応じて変化させた。これに対し、これに対し、第２実施形態では、図７に示すように、視点方向５５を一定とし、視点５３の位置を、直進方向５７からの変化方向に応じて変化させる。視点５３の位置は、自車両の左右方向において変化する。視点５３の位置は、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定される。直進方向５７からの変化方向は、直進方向５７が前方である場合は、舵角の方向Ｘである。また、直進方向５７が後方である場合は、舵角の方向Ｘの反対方向である。

ステップ１０において、表示画像生成ユニット３１は、上記のように設定した視点５３から、表示範囲６７内に見える画像を表示画像６９とする。表示範囲６７は、固定された視線方向５５を中心とし、一定の広がりを有する範囲である。表示範囲６７は、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定される。
表示画像６９の例を図８に示す。この表示画像６９は、表示方向は前方であり、舵角の方向Ｘが左方向である場合の表示画像６９である。この表示画像６９における表示範囲６７の位置は、舵角が０度である場合に比べて、左方向に設定されている。左方向は、この事例において、直進方向５７からの変化方向である。
表示画像６９では、前方抽出画像３７Ｂと、右方抽出画像３９Ｂとが、境界線５９を介して接合している。また、表示画像６９では、前方抽出画像３７Ｂと、左方抽出画像４３Ｂとが、境界線６１を介して接合している。
境界線６１の少なくとも一部の位置は、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定されている。境界線６１の少なくとも一部の位置を、舵角の量が大きいほど、直進方向５７からの変化方向の側に設定する方法として、例えば、図８に示すように、舵角の量が大きいほど、境界線６１を、直進方向５７からの変化方向の側に大きく傾ける方法がある。この方法において、例えば、境界線６１の下端６１Ａの位置は、自車両３６に対して固定された位置とすることができる。自車両３６を表す枠に対して固定された軸であって、境界線６１から見て、舵角の方向Ｘとは反対方向にある軸７２を想定する。なお、軸７２は、左方画像４３の枠線の一部で、直進方向５７とほぼ平行である。軸７２と境界線６１とが成す角度δは、境界線６１を、直進方向５７からの変化方向の側に大きく傾けるほど大きくなる。

２．画像処理装置３が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）〜（１Ｃ）を奏し、さらに、以下の効果を奏する。

（２Ａ）画像処理装置３は、視点５３から視線方向５５を見た表示画像６９を生成する。また、画像処理装置３は、視点５３を、舵角の量が大きいほど、舵角の方向Ｘ側に設定する。視線方向５５が一定である表示画像６９を得ることができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）方向変化取得ユニット２７は、直進方向５７からの変化方向、及び直進方向５７からの変化量を、舵角以外のパラメータから算出してもよい。例えば、自車両のヨーレート、ウインカーの表示、ハザードの表示等から、直進方向５７からの変化方向、及び直進方向５７からの変化量を算出してもよい。

（２）前記ステップ６において境界線を設定する方法は、例えば、以下の方法であってもよい。図９は、直進方向が右方向に変化する前後における表示画像６９を表す。境界線５９は、表示画像６９内の境界線のうち、直進方向５７からの変化方向の側に存在する境界線である。境界線５９の一部である固定点５９Ｂの、表示範囲６７に対する位置は、直進方向５７が右方向に変化する前後において一定である。固定点５９Ｂは、例えば、下端５９Ａ以外の部分である。

（３）障害物検出ユニット３５は、障害物センサ１６からの情報ではなく、前方カメラ５、右方カメラ７、左方カメラ９、及び後方カメラ１１からの撮像画像の画像処理（画像認識）の結果を用いて障害物を検出してもよいし、障害物センサ１６からの情報と画像認識の結果を融合して障害物を検出してもよい。
実施形態１及び実施形態２を融合して、視点５３の位置及び視線方向５５の両方を舵角量に応じて変更し、表示画像を生成してもよい。
（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（５）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法、画像表示方法、運転支援方法等、種々の形態で本開示を実現することもできる。

３…画像処理装置、５…前方カメラ、７…右方カメラ、９…左方カメラ、１１…後方カメラ、１５…舵角センサ、１６…障害物センサ、２３…表示方向決定ユニット、２５…画像取得ユニット、２７…方向変化取得ユニット、２９…境界線設定ユニット、３１…表示画像生成ユニット、３３…出力ユニット、３６…自車両、３７…前方画像、３７Ａ、３９Ａ、４３Ａ、４７Ａ…表示可能範囲、３９…右方画像、４１、４５、４９、５１…重複範囲、４３…左方画像、４７…後方画像、５３…視点、５５…視線方向、５９、６１、６３、６５…境界線、６７…表示範囲、６９…表示画像

Claims (5)

1. 車両（３６）に搭載される画像処理装置（３）であって、
   前記車両の周囲を撮影する複数のカメラ（５、７、９、１１）を用いて、表示可能範囲（３７Ａ、３９Ａ、４３Ａ、４７Ａ）の一部が互いに重複している複数の画像（３７、３９、４３、４７）を取得する画像取得ユニット（２５）と、
   前記複数の画像に含まれる、表示可能範囲の一部が互いに重複している画像同士の境界線（５９、６１、６３、６５）を、表示可能範囲が重複している範囲（４１、４５、４９、５１）内で設定する境界線設定ユニット（２９）と、
   前記複数の画像の少なくとも一部の画像を、前記境界線を介して合成して、前記車両の車室内における視点（５３）から見た表示画像（６９）を生成する表示画像生成ユニット（３１）と、
   前記表示画像を出力する出力ユニット（３３）と、
   前記車両の直進方向（５７）からの変化方向（Ｘ）、及び前記直進方向からの変化量を取得する方向変化取得ユニット（２７）と、
   を備え、
   前記表示画像生成ユニットは、前記表示画像の表示範囲を、前記変化量が大きいほど、前記変化方向の側に設定するように構成され、
   前記境界線設定ユニットは、前記表示画像内の前記境界線のうち、少なくとも前記変化方向の側に存在する前記境界線における少なくとも一部の位置を、前記変化量が大きいほど、前記変化方向の側に設定するように構成された画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記境界線設定ユニットは、前記表示画像内の前記境界線のうち、前記変化方向の側に存在する前記境界線を、前記変化量が大きいほど、前記変化方向の側に傾けるように構成された画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   障害物を検出する障害物検出ユニット（３５）をさらに備え、
   前記境界線設定ユニットは、前記障害物検出ユニットで検出した前記障害物を避けて前記境界線を設定するように構成された画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置であって、
   前記表示画像生成ユニットは、前記視点から視線方向（５５）を見た表示画像を生成するように構成され、
   前記表示画像生成ユニットは、前記視線方向を、前記変化量が大きいほど、前記変化方向の側に設定するように構成された画像処理装置。
5. 請求項１〜３のいずれか１項に記載の画像処理装置であって、
   前記表示画像生成ユニットは、前記視点の位置を、前記変化量が大きいほど、前記変化方向の側に設定するように構成された画像処理装置。