JP2023062813A - 画像処理装置、システム及びプログラム - Google Patents

Abstract

【課題】撮影画像間における後方物体の表示を自然に切り替える。【解決手段】画像処理装置１０は、車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の車両側の一部に重ねることにより、合成画像を生成する合成部１４と、リア画像及びサイド画像から物体を検出する検出部１２と、物体の検出結果に基づいて、リア画像又はサイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部１３と、を備える。合成部１４は、対象物体があると判定された場合、リア画像中の対象物体とサイド画像中の対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する。【選択図】図１

Description

本発明は、画像処理装置、システム及びプログラムに関する。

従来、車両の後方及び左右の後側方を撮影し、それらを車両内部のディスプレイに表示する運転支援システムが利用されている。各カメラの撮影範囲が一部重なるため、後方の撮影画像と後側方の撮影画像とを合成する際、各画像を一部重ねる画像処理を施すことがある。

例えば、特許文献１では、１つの仮想的な視点から自車後方を表すように後方と後側方の各撮影画像が配置され、重なる画像部分がトリミングされる。このとき、各撮影画像の境界上に後方車両が位置すると、表示される後方車両が歪むことがある。このような歪みを避けるため、特許文献１では各撮影画像の境界を移動させることにより、後方車両が後方と後側方のいずれかの撮影画像側に位置させている。

特許第５５００８７７号公報

しかしながら、後方と後側方のカメラの位置の違いにより、同一の車両であっても後方の撮影画像と後側方の撮影画像とではそのサイズが異なる。各撮影画像の境界が移動したときに後方車両のサイズが急に変化するため、ドライバは後方車両の遠近感が分からなくなる可能性がある。また境界の移動が頻繁に生じると、後方車両も大きくなったり小さくなったりを繰り返すため、画面がちらつき、ドライバが違和感を覚える可能性もある。

本発明は、撮影画像間における後方物体の表示を自然に切り替えることを目的とする。

［１］車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から物体を検出する検出部と、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
画像処理装置。

上記［１］によれば、リア画像の対象物体の画像領域とサイド画像の対象物体の画像領域とが異なる透過率で透過処理される。透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像とサイド画像の対象物体のサイズの違いが認識されづらくなる。リア画像とサイド画像のいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。

［２］前記判定部は、前記対象領域から検出された前記物体の危険度を判定し、前記対象領域から検出され、かつ前記危険度が高い前記物体を前記対象物体として決定する
上記[１]に記載の画像処理装置。

上記［２］によれば、すべての対象物体ではなく危険度が高い後方物体をブレンド処理の対象とすることができる。合成画像を表示するまでの処理時間を減らすことができる。

［３］前記判定部は、前記対象領域から検出された前記物体の進行方向が前記車両の進行方向と同じか否かを判定し、前記対象領域から検出され、かつ前記進行方向が同じである前記物体を前記対象物体として決定する
上記[１]又は[２]に記載の画像処理装置。

上記［３］によれば、進行方向が同じであり、リア画像とサイド画像間を跨ぐ可能性のある後方物体をブレンド処理の対象とすることができる。

［４］前記判定部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があるか、又は前記対象物体が前記リア画像及び前記サイド画像の一方にのみあるかを判定し、
前記合成部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があると判定された場合、前記ブレンド処理において、
前記リア画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らし、
前記サイド画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やす
上記[１]～[３]のいずれかに記載の画像処理装置。

上記［４］によれば、リア画像及びサイド画像の両方に対象物体がある場合は、車両に近いほどサイド画像の対象物体が強く現れ、車両と反対側に近いほどリア画像の対象物体が強く現れる。よって、両方の対象物体を透過状態で表示することができる。

［５］前記合成部は、前記対象物体が前記リア画像及び前記サイド画像の一方にのみあると判定された場合、前記ブレンド処理において、
前記対象物体の画像領域を前記車両と反対側にｎ倍拡張した領域をブレンド領域として決定し、
前記リア画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やし、
前記サイド画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らす
上記[４]に記載の画像処理装置。

上記［５］によれば、リア画像及びサイド画像の一方のみに対象物体がある場合は、車両に近いほどリア画像の対象物体が強く現れ、車両と反対側に近いほどサイド画像の対象物体が強く現れる。また、ブレンド領域の拡張によって、撮影はされたが検出されなかった対象物体も透過処理対象となるように図ることができる。よって、検出された一方の対象物体だけでなく、検出されなかったが撮影されたであろう、もう一方の対象物体も、透過状態で表示することができる。

［６］前記合成部は、
前記合成画像における前記リア画像と前記サイド画像の境界線の位置を、前記ブレンド領域の水平方向中心に決定し、
前記境界線における前記リア画像及び前記サイド画像の透過率をそれぞれ５０％に設定する
上記［４］又は[５]に記載の画像処理装置。

上記［６］によれば、ブレンド領域の中心でリア画像とサイド画像を半分ずつ重ねることができ、ブレンド領域での対象物体の現れ方が偏らず、自然となる。

［７］車両後方の撮影画像を提供するシステムであって、
前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から物体を検出する検出部と、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
システム。

上記［７］によれば、リア画像の対象物体の画像領域とサイド画像の対象物体の画像領域とが異なる透過率で透過処理される。透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像とサイド画像の対象物体のサイズの違いが認識されづらくなる。リア画像とサイド画像のいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。

［８］コンピュータに、
車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の前記車両側の一部に重ねることにより、１つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から物体を検出するステップと、
前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定するステップと、
前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行するステップと、
を実行させるためのプログラム。

上記［８］によれば、リア画像の対象物体の画像領域とサイド画像の対象物体の画像領域とが異なる透過率で透過処理される。透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像とサイド画像の対象物体のサイズの違いが認識されづらくなる。リア画像とサイド画像のいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。

本発明によれば、撮影画像間における後方物体の表示を自然に切り替えることができる。

一実施形態の運転支援システムの構成を示すブロック図である。 車内での表示装置の配置例を示す図である。 合成処理を示すフローチャートである。 合成方法を説明する図である。 合成方法を説明する図である。 撮影画像間でサイズが異なる後方車両を説明する図である。 ブレンド処理の対象領域を示す図である。 物体の方向ベクトルを示す図である。 リア画像とサイド画像の両方に対象物体がある場合のブレンド処理を説明する図である。 リア画像とサイド画像の両方に対象物体がある場合のブレンド処理を説明する図である。 ブレンド処理された場合の合成画像の一例を示す図である。 リア画像とサイド画像の一方に対象物体がある場合のブレンド処理を説明する図である。 リア画像とサイド画像の一方に対象物体がある場合のブレンド処理を説明する図である。 ブレンド処理された場合の合成画像の一例を示す図である。 ブレンド処理された場合の合成画像の一例を示す図である。 ブレンド処理された場合の合成画像の一例を示す図である。

以下、本発明の画像処理装置、システム及びプログラムの実施の形態について、図面を参照して説明する。

図１は、一実施形態の運転支援システム１００の構成を示す。
運転支援システム１００は、車両に搭載され、当該車両の後方及び後側方の撮影画像を表示することによって、ドライバの運転を支援する。

図１に示すように、運転支援システム１００は、画像表示システム２５、３つのカメラ３Ｃ、３Ｌ及び３Ｒ、各種センサ４及び計測装置５等を備える。画像表示システム２５は、画像処理装置１０及び表示装置２０を備える。

カメラ３Ｃ、３Ｌ及び３Ｒは、それぞれ車両の後方、左の後側方及び右の後側方を連続的に撮影し、時系列の撮影画像を順次生成する。以下、後方の撮影画像をリア画像、後側方の撮影画像をサイド画像という。後方を撮影するカメラ３Ｃは、例えばナンバープレート付近に配置される。左右の後側方を撮影するカメラ３Ｌ及び３Ｒは、例えば左右のサイドミラーの位置にそれぞれ設けられる。

センサ４は、車両の状態を検出する。センサ４としては、例えば車速センサ、舵角センサ、ウィンカーセンサ等の車両に搭載された各種センサが挙げられる。運転支援システム１００は、これらセンサ４からの検出信号を車両の状態を示す情報として取得することができる。

計測装置５は、車両周辺の物体、例えば車両、人等の位置、方向、物体までの距離、物体の移動速度等を計測する。計測装置５としては、例えば超音波ソナー又はミリ波レーダー等が挙げられる。運転支援システム１００は、これら計測装置５から車両周辺の物体の計測情報を取得することができる。

（表示装置）
表示装置２０は、画像処理装置１０によって生成された合成画像を表示する。表示装置２０は、一般的な縦横比を有する車載用ディスプレイであってもよいし、縦に対する横の比率が長いルームミラー型のディスプレイであってもよい。

図２は、車両における表示装置２０の配置例を示す。
表示装置２０は、車両の室内のダッシュボード２１上か、又はフロントウインドウ２２の上部中央付近にインナーミラーに代えて設置される。図２において、表示装置２０は、横長の単一の液晶ディスプレイ等により構成され、これに１つの合成画像Ｊが表示される。

カメラ３Ｃ、３Ｌ及び３Ｒにより撮影された画像（映像）は合成され、表示装置２０には１つの合成画像Ｊが表示される。合成画像Ｊにおいて、左側にはカメラ３Ｌの撮影画像ＪＬが表示され、中央にはカメラ３Ｃの撮影画像ＪＣが表示され、右側にはカメラ３Ｒの撮影画像ＪＲが表示される。

なお、表示装置２０は、一列に連結された複数台のディスプレイにより構成されてもよい。この場合、１つの合成画像Ｊが分割され、各分割画像が各ディスプレイの表示領域に表示される。

（画像処理装置）
画像処理装置１０は、カメラ３Ｃにより撮影されたリア画像と、カメラ３Ｌ及び３Ｒにより撮影されたサイド画像とを１つの画像に合成する。

画像処理装置１０は、補正部１１、検出部１２、判定部１３、合成部１４及び表示制御部１５を備える。画像処理装置１０の各部の機能は、車両に搭載されるＥＣＵ（Electronic Control Unit）、マイクロコンピュータ等のコンピュータによりプログラムを読み取って実行されるソフトウェア処理により実現されてもよい。また画像処理装置１０の各部が、ＦＰＧＡ（field-programmable gate array）のようなハードウェアによって構成されてもよい。

補正部１１は、リア画像及びサイド画像に歪み補正、色補正等の補正処理を施す。

検出部１２は、補正処理後の各画像に含まれる物体を検出する。検出対象の物体としては、例えば車両、人、動物、ガードレール、又は建物等が挙げられる。検出方法は特に限定されないが、例えば深層学習（ディープラーニング）を用いた検出を行うことができる。

深層学習では、検出部１２は、車種や遠近感が異なる車両、人等の検出対象を様々な方向から撮影した複数の撮影画像を訓練データとして使用し、検出対象の物体の特徴を学習する。例えば、検出部１２は、バスや乗用車の特徴を学習し、これらと類似する特徴を有する画像部分を車両として検出することができる。車種ごとの特徴を学習することにより、車両の車種も判別することができる。このように、検出部１２は、物体の種別を検出することも可能である。

検出部１２は、検出した物体を囲む検出枠を画像中に設定することができる。本実施形態において、検出枠は四角形状であるが、検出枠のサイズが物体のサイズと略一致するのであれば、形状は四角形状に限られない。例えば、検出枠は物体の輪郭を縁取る形状であってもよいし、水平方向及び垂直方向のサイズが物体と同じ楕円形状等であってもよい。

判定部１３は、検出部１２の検出結果に基づいて、リア画像又はサイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する。判定部１３は、対象物体の危険度及び進行方向を判定することができる。判定部１３は、センサ４により検出される車両の状態又は計測装置５により計測された物体の位置や速度等の情報を、判定に使用することができる。

合成部１４は、補正処理後のリア画像及びサイド画像を合成して、１つの合成画像を生成する。

表示制御部１５は、合成部１４により生成された合成画像を表示装置２０により表示させる。

図３は、画像処理装置が合成画像を生成する合成処理を示す。この合成処理は、各カメラ３Ｃ、３Ｌ及び３Ｒにより生成された撮影画像が入力されるごとに繰り返される。

各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像及びサイド画像が撮影されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ１）。検出部１２は、補正処理後のリア画像及びサイド画像に含まれる物体及びその種別を検出し、物体の周囲に検出枠を設定する（ステップＳ２）。

また、合成部１４は、補正処理後のリア画像ＪＣを連結したサイド画像ＪＬ及びＪＲの中央部に重ねて合成画像Ｊを生成する（ステップＳ３）。

図４Ａ及び図４Ｂは、通常の合成方法を説明する。
図４Ａに示すように、カメラ３Ｃの撮影範囲６１Ｃは、カメラ３Ｌ及び３Ｒの撮影範囲６１Ｌ及び６１Ｒと一部が重複する。合成部１４は、車両５０の後方ｎ（ｍ）（例えば、ｎ＝１５）の合成面Ｌ３においてリア画像ＪＣ、サイド画像ＪＬ及びＪＲがシームレスに合成されるように、リア画像ＪＣ、サイド画像ＪＬ及びＪＲのトリミング範囲６２Ｃ、６２Ｌ及び６２Ｒ、パン、チルト及びロールを調整する。

合成部１４は、左右のサイド画像ＪＬ及びＪＲを車両５０側において連結し、その中央にリア画像ＪＣを重ねることにより、レイヤ構造の合成画像Ｊを生成する。合成部１４は、リア画像ＪＣの左右両側の端部Ｃｓを１００％の透過率で透過処理することにより、合成画像Ｊにおけるリア画像ＪＣの表示範囲６３Ｃを狭めて、サイド画像ＪＬ及びＪＲの表示範囲６３Ｌ及び６３Ｒを広げる。

合成部１４は、合成画像Ｊにおいてリア画像ＪＣの表示範囲６３Ｃを決定する境界線Ｌ１の位置を、リア画像ＪＣ中の後方車両５１の位置に応じて決定することができる。例えば、図４Ｂに示すように、後方車両５１が車両５０側に接近しつつ右の後側方の位置に移動した場合、合成部１４は、リア画像ＪＣから検出された後方車両５１の検出枠がリア画像ＪＣ中に含まれるように、境界線Ｌ１の位置を車両５０側に移動することができる。その結果、リア画像ＪＣにおいて透過処理する右側の端部Ｃｓの範囲を減らすことができる。

いずれのトリミング範囲６２Ｃ、６２Ｌ及び６２Ｒにもない領域は合成画像Ｊ上の死角となるが、上記のように境界線Ｌ１を移動してリア画像ＪＣの表示範囲６３Ｃを変更できる。これにより、合成画像Ｊの死角の位置をずらし、合成画像Ｊからの後方車両５１の消失を減らすことができる。

上記合成画像Ｊでは、リア画像ＪＣとサイド画像ＪＬ又はＪＲの境界線Ｌ１に物体が跨ると、後方の物体の表示が不自然になることがある。
図５は、物体が境界線Ｌ１に跨る場合の合成画像Ｊの例を示す。
図５に示すように、車両５０の隣の車線を走行する後側方車両５２が、リア画像ＪＣとサイド画像ＪＲのいずれにも含まれる。

リア画像ＪＣとサイド画像ＪＲの境界線Ｌ１に後側方車両５２が跨ると、リア画像ＪＣ上の後側方車両５２の左部分とサイド画像ＪＲ上の後側方車両５２の右部分とが境界線Ｌ１上で繋がる。しかし、カメラ位置の違いにより、リア画像ＪＣとサイド画像ＪＲとでは後側方車両５２のサイズが異なる。そのため、後側方車両５２のサイズが部分的に異なる不自然な合成画像Ｊとなってしまう。

このような部分的なサイズの違いは、後側方車両５２が境界線Ｌ１を超えて、リア画像ＪＣとサイド画像ＪＬ又はＪＲ間を移動するときに一時的に生じる。後側方車両５２が境界線Ｌ１を超えるたびにサイズの変化が一時的に生じるため、後側方車両５２がちらついて見え、遠近感も把握しづらくなる。

上記の不自然な表示を減らすため、合成部１４は合成時にブレンド処理を実行することができる。ブレンド処理は、リア画像ＪＣ中の物体とサイド画像ＪＬ又はＪＲ中の物体の各画像領域をそれぞれ異なる透過率で透過処理して重ねる処理である。これにより、各画像間における物体の表示を自然に切り替えることができる。ブレンド処理する物体（以下、対象物体という）は、判定部１３により判定することができる。

判定部１３は、合成画像Ｊのブレンド処理の対象領域に位置する物体の有無を判定する（ステップＳ４）。
図６Ａは、対象領域の一例を示す。
図６Ａに示すように、判定部１３は、検出部１２による物体の検出結果に基づいて、合成画像Ｊ上の対象領域８１に物体が位置するか否かを判定する。

対象領域８１は、合成画像Ｊ中の地平線の中央を始点として左右に延びる三角形状の領域である。合成画像Ｊ上の対象領域８１の位置とサイズは、一般的な車線の幅に基づいて予め決められていてもよいし、合成画像Ｊの解析によりその都度決定されてもよい。例えば、検出部１２によって合成画像Ｊから地平線の中央と車線を区切る白線とを検出し、その中央から車両５０の左側又は右側に延びる２本の白線によって囲まれる領域を対象領域８１とすることができる。

例えば、判定部１３は、検出部１２により設定された物体の検出枠７２の下辺の中心Ｐ１が対象領域８１内に位置する場合、当該物体が対象領域８１に位置すると判定する。図６Ａにおいては、３つの物体の中心Ｐ１～Ｐ３が対象領域８１に位置すると判定される。

対象領域８１に物体が位置する場合（ステップＳ４：ＹＥＳ）、判定部１３は当該物体の方向ベクトルを計算する。計算された方向ベクトルは、物体の進行方向を表す。判定部１３は、計算した方向ベクトルにより物体の進行方向が車両５０と同じか否かを判定する（ステップＳ５）。

判定部１３は、１フレーム前と現在のフレームの合成画像Ｊにおいて、物体の位置、つまり検出枠７２の中心Ｐ１の水平方向ｘ及び垂直方向ｙの位置座標（ｘ，ｙ）を求める。１フレーム前の中心Ｐ１の位置座標が（ｘ１，ｙ１）、現在の中心Ｐ１の位置座標が（ｘ２，ｙ２）であり、水平方向ｘに対してなす角度がθである場合、その方向ベクトルβ１は次式［１］のように計算できる。
β１＝（ｘ２－ｘ１）／ｃｏｓθ ［１］

図６Ｂは、図６Ａ中の各物体の方向ベクトルを示す。
車両５０の進行方向は合成画像Ｊの垂直方向ｙ下側である。判定部１３は、計算された方向ベクトルが垂直方向ｙから一定角度、例えば０～７０度の範囲内にある物体が、車両５０の進行方向と同じ物体であると決定する。図６Ｂにおいて、各中心Ｐ１～Ｐ３の方向ベクトルβ１～β３のうち、方向ベクトルβ１及びβ３を有する物体が車両５０と進行方向が同じ物体であると判定される。

対象領域８１から物体が検出されない場合（ステップＳ４：ＮＯ）、検出された場合でも物体の進行方向が車両５０と異なる場合（ステップＳ５：ＮＯ）、合成部１４は通常の透過処理を施す（ステップＳ６）。つまり、リア画像ＪＣの境界線Ｌ１より車両５０と反対側の端部Ｃｓが１００％の透過率で透過処理される。

一方、対象領域８１から物体が検出され（ステップＳ４：ＹＥＳ）、かつその進行方向が車両５０と同じである場合（ステップＳ５：ＹＥＳ）、当該物体はブレンド処理の対象物体の候補である。判定部１３は、ブレンド処理の対象物体の候補が１つか複数かを判定する（ステップＳ７）。候補が１つの場合（ステップＳ７：ＹＥＳ）、判定部１３は当該候補をブレンド処理の対象物体として決定する。

１つではなく、複数の対象物体の候補がある場合（ステップＳ７：ＮＯ）、判定部１３は各候補の危険度を判定する。判定部１３は、危険度が最も高い候補を対象物体として決定する（ステップＳ８）。判定部１３は、物体の危険度を、物体の車両５０への接近レベル又は種別によって判定することができる。

接近レベルは、物体から車両５０までの距離、到達時間又は移動速度によって判定することができる。距離、到達時間又は移動速度は、計測装置５によって計測することもできるし、判定部１３が合成画像Ｊ中の各物体の位置やサイズ等から解析することもできる。

判定部１３は、上記距離、到達時間又は移動速度を複数の閾値と比較することにより、危険度の高さを判定する。例えば、判定部１３は、移動速度が速いほど危険度も高く判定する。同様に距離又は到達時間が短いほど危険度も高くなる。

また、判定部１３は、検出部１２によって検出された対象物体の種別から、例えば人＞二輪車＞大型車両＞普通車両＞軽車両の順に危険度を高いと判定することができる。この順番はドライバに注意喚起が求められる順番として予め定められ、通常は人が最も危険度が高いと定められる。

次いで、判定部１３は、リア画像ＪＣとサイド画像ＪＬ又はＪＲの両方に同一の対象物体があるか否かを判定する（ステップＳ９）。例えば、サイド画像ＪＲに対象物体があると判定された場合、判定部１３は、リア画像ＪＣの対象領域８１に位置する物体の方向ベクトルを求める。判定部１３は、リア画像ＪＣ中の物体のうち、サイド画像ＪＲ中の対象物体の方向ベクトルとの差が閾値以下の方向ベクトルを有する物体を、対象物体と同一と判定することができる。

両方に同一の対象物体があると判定された場合（ステップＳ９：ＹＥＳ）、合成部１４は合成画像Jにブレンド処理を実行する。ブレンド処理において、合成部１４は、対象物体の画像領域をブレンド領域に決定し、当該ブレンド領域を各画像で異なる透過率で透過処理する（ステップＳ１０）。

図７Ａ及び図７Ｂは、対象物体のブレンド処理を説明する。
図７Ａに示すように、合成部１４は、対象物体の検出枠７２に対応するリア画像ＪＣの画像領域をブレンド領域８２Ｃとして決定する。また合成部１４はサイド画像ＪＲの検出枠７２の領域をブレンド領域８２Ｒとして決定する。合成部１４は、ブレンド領域８２Ｃ及び８２Ｒの水平方向ｘの中心線までリア画像ＪＣとサイド画像ＪＲの境界線Ｌ１を移動する。

図７Ｂに示すように、合成部１４は、リア画像ＪＣのブレンド領域８２Ｃのうち、境界線Ｌ１より車両５０側（左側）半分の領域を透過処理する。このとき、合成部１４は、車両５０側の左端における透過率ＦＣを１００％、境界線Ｌ１における透過率ＦＣを５０％に設定し、車両５０側から車両５０と反対側の境界線Ｌ１に向かうほど透過率ＦＣを減らす。なお、合成部１４は、ブレンド領域８２Ｃ以外の境界線Ｌ１より車両５０と反対側の端部Ｃｓの領域を、１００％の透過率で透過処理する。

また、合成部１４は、サイド画像ＪＲのブレンド領域８２Ｒを透過処理する。合成部１４は、車両５０側の左端における透過率ＦＲを０％、車両５０と反対側の右端における透過率ＦＲを１００％に設定し、車両５０側からその反対側に向かうほど透過率ＦＲを増やす。

図８は、ブレンド処理が実行された場合の合成画像Ｊの例を示す。
図８に示すように、合成画像Ｊの検出枠７２内では車両５０側に近いほどサイド画像ＪＲの対象物体が濃く現れ、境界線Ｌ１に向かうにつれて徐々にリア画像ＪＣの対象物体が現れる。対象物体の輪郭がぼやけるため、各画像のサイズの違いが視認されづらくなる。リア画像ＪＣとサイド画像ＪＲの両方の対象物体が表示されるため、いずれか一方の画像のみの表示に切り替わった際にも、サイズの変化によるちらつきが減る。

一方、対象物体がリア画像ＪＣとサイド画像ＪＬ又はＪＲの両方ではなく、いずれか一方にのみあると判定された場合（ステップＳ９：ＮＯ）、合成部１４は合成画像Jにブレンド処理を実行する。ブレンド処理において、合成部１４は、対象物体の画像領域をｎ倍拡張した領域をブレンド領域に決定し、当該ブレンド領域を各画像で異なる透過率で透過処理する（ステップＳ１１）。

図９Ａ及び図９Ｂは、対象物体のブレンド処理を説明する。
図９Ａに示すように、リア画像ＪＣでもサイド画像ＪＲでも物体は撮影されたが、サイド画像ＪＲでは物体として検出されず、リア画像ＪＣのみから物体が検出されて検出枠７２が設定されている。この場合、合成部１４は、検出枠７２の領域を水平方向ｘにおいて車両５０と反対側にｎ倍拡張した領域８３を、リア画像ＪＣのブレンド領域８３Ｃとして決定する。また合成部１４は、ブレンド領域８３Ｃの水平方向ｘの中心の位置までリア画像ＪＣとサイド画像ＪＲの境界線Ｌ１を移動する。合成部１４は、ブレンド領域８３Ｃと位置が同じサイド画像ＪＲの画像領域をブレンド領域８３Ｒとして決定する。

図９Ｂに示すように、合成部１４は、リア画像ＪＣのブレンド領域８３Ｃを透過処理する。このとき、合成部１４は、車両５０側の左端における透過率ＦＣを０％、境界線Ｌ１における透過率ＦＣを５０％、車両５０と反対側の右端における透過率ＦＣを１００％に設定し、車両５０側からその反対側に向かうにつれて透過率ＦＣを増やす。なお、合成部１４は、ブレンド領域８３Ｃ以外の境界線Ｌ１より車両５０と反対側の端部Ｃｓの領域を、１００％の透過率で透過処理する。

また、合成部１４は、サイド画像ＪＲのブレンド領域８３Ｒを透過処理する。合成部１４は、車両５０側の左端における透過率ＦＲを１００％、境界線Ｌ１における透過率ＦＲを５０％、車両５０と反対側の右端における透過率ＦＲを０％に設定し、車両５０側からその反対側に向かうほど透過率ＦＲを減らす。

このように、リア画像ＪＣとサイド画像ＪＬ又はＪＲの一方で対象物体が検出されない場合も、両方から検出された場合と同様に、ブレンド処理によって対象物体のちらつきを減らすことができる。リア画像ＪＣ及びサイド画像ＪＬ又はＪＲの一方のみに対象物体がある場合は、車両５０に近いほどリア画像ＪＣの対象物体が強く現れ、車両５０と反対側に近いほどサイド画像ＪＬ又はＪＲの対象物体が強く現れる。また、ブレンド領域の拡張によって検出されなかった対象物体も透過処理対象となるように図ることができる。よって、検出された一方の対象物体だけでなく、検出されなかったが撮影されたであろうもう一方の対象物体も、透過状態で表示することができる。

図１０Ａ～図１０Ｃは、ブレンド処理が実行された場合の合成画像Ｊの例を示す。
図１０Ａに示すように、リア画像ＪＣ中に後方車両５１の検出枠７２が含まれる場合、ブレンド処理は実行されない。図１０Ｂに示すように、車線変更により後方車両５１が境界線Ｌ１を跨ぐと、検出枠７２内がブレンド処理され、リア画像ＪＣとサイド画像ＪＲとにおいて後方車両５１が透過状態で表示される。さらに後方車両５１が近づき、図１０Ｃに示すように、境界線Ｌ１を超えて後方車両５１の全部がサイド画像ＪＲ側へ移動すると、ブレンド処理が解除される。

通常、後方車両５１がリア画像ＪＣからサイド画像ＪＲへ境界線Ｌ１を跨いで移動すると、後方車両５１のサイズが急に変化するため、ちらつきが生じる。しかし、ブレンド処理によれば、境界線Ｌ１って後方車両５１の輪郭がぼやけ、リア画像ＪＣとサイド画像ＪＲのサイズの違いが視認されづらくなるため、このようなちらつきが減る。

以上のように、本実施形態によれば、リア画像ＪＣ又はサイド画像ＪＬ，ＪＲの対象領域８１から検出された対象物体がある場合、ブレンド処理によってリア画像ＪＣの対象物体の画像領域とサイド画像ＪＬ又はＪＲの対象物体の画像領域とが異なる透過率で透過処理される。

透過処理された各画像領域が重ねられると、対象物体の輪郭がぼやけてリア画像ＪＣとサイド画像ＪＬ又はＪＲの対象物体のサイズの違いが認識されづらくなる。リア画像ＪＣとサイド画像ＪＬ又はＪＲのいずれの対象物体も表示されるので、いずれか一方のみに対象物体の表示が切り替わった場合でも、サイズが急に変化することがないため、ちらつきが減り違和感が少ない。よって撮影画像間における後方物体の表示を自然に切り替えることができる。

上記実施形態は本発明の好適な一例であり、これに限定されず、適宜変更可能である。
例えば、上述のように境界線Ｌ１の位置をブレンド領域の水平方向ｘの中心に移動し、境界線Ｌ１における透過率を５０％とすると、半分ずつリア画像ＪＣとサイド画像ＪＬ又はＪＲをブレンドすることができ、より自然な合成画像が得られて好ましい。しかし、ブレンド処理によって自然な合成画像Ｊが得られるのであれば、境界線Ｌ１の位置は水平方向ｘ中心に限られず、中心付近で中心から一定距離だけ離れていてもよい。また一定勾配で透過率を増減するのではなく、曲線状に透過率を増減してもよい。

１００ 運転支援システム
２５ 画像表示システム
１０ 画像処理装置
１２ 検出部
１３ 判定部
１４ 合成部
１５ 表示制御部
２０ 表示装置
３Ｃ、３Ｌ、３Ｒ カメラ

Claims (8)

1. 車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置であって、
   前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
   前記リア画像及び前記サイド画像から物体を検出する検出部と、
   前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
   前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
   画像処理装置。
2. 前記判定部は、前記対象領域から検出された前記物体の危険度を判定し、前記対象領域から検出され、かつ前記危険度が高い前記物体を前記対象物体として決定する
   請求項１に記載の画像処理装置。
3. 前記判定部は、前記対象領域から検出された前記物体の進行方向が前記車両の進行方向と同じか否かを判定し、前記対象領域から検出され、かつ前記進行方向が同じである前記物体を前記対象物体として決定する
   請求項１又は２に記載の画像処理装置。
4. 前記判定部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があるか、又は前記対象物体が前記リア画像及び前記サイド画像の一方にのみあるかを判定し、
   前記合成部は、前記リア画像及び前記サイド画像の両方に同一の前記対象物体があると判定された場合、前記ブレンド処理において、
   前記リア画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らし、
   前記サイド画像中の前記対象物体の画像領域をブレンド領域として決定し、前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やす
   請求項１～３のいずれか一項に記載の画像処理装置。
5. 前記合成部は、前記対象物体が前記リア画像及び前記サイド画像の一方にのみあると判定された場合、前記ブレンド処理において、
   前記対象物体の画像領域を前記車両と反対側にｎ倍拡張した領域をブレンド領域として決定し、
   前記リア画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど増やし、
   前記サイド画像中の前記ブレンド領域を透過処理し、その透過率を前記車両側から前記車両と反対側に向かうほど減らす
   請求項４に記載の画像処理装置。
6. 前記合成部は、
   前記合成画像における前記リア画像と前記サイド画像の境界線の位置を、前記ブレンド領域の水平方向中心に決定し、
   前記境界線における前記リア画像及び前記サイド画像の透過率をそれぞれ５０％に設定する
   請求項４又は５に記載の画像処理装置。
7. 車両後方の撮影画像を提供するシステムであって、
   前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
   前記合成画像を表示する表示装置と、を備え、
   前記画像処理装置は、
   前記車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の前記車両側の一部に重ねることにより、前記合成画像を生成する合成部と、
   前記リア画像及び前記サイド画像から物体を検出する検出部と、
   前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定する判定部と、を備え、
   前記合成部は、前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行する
   システム。
8. コンピュータに、
   車両の後方を撮影したリア画像を、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像の前記車両側の一部に重ねることにより、１つの合成画像を生成するステップと、
   前記リア画像及び前記サイド画像から物体を検出するステップと、
   前記物体の検出結果に基づいて、前記リア画像又は前記サイド画像のブレンド処理の対象領域から検出された対象物体の有無を判定するステップと、
   前記対象物体があると判定された場合、前記リア画像中の前記対象物体と前記サイド画像中の前記対象物体の各画像領域をそれぞれ異なる透過率で透過処理するブレンド処理を実行するステップと、
   を実行させるためのプログラム。
   
   

Images