JP2012222776A - 画像処理装置、画像処理方法、及び運転支援システム - Google Patents

Abstract

【課題】撮像画像内の不明確な表示物を、使用者に瞬時且つ正確に認識させることができる運転支援システムを提供する。
【解決手段】運転支援システム１は、カメラ３と記憶部５及びＣＰＵ６を有する処理装置４とモニタ２２とを備える。ＣＰＵ６は、カメラ３が撮像した動画像から生成した処理画像９を用いて障害物１１を検知し、障害物１１を検知したとき、当該処理画像９を処理対象画像１３として処理対象画像１３内に障害物１１を基準とした対象領域１６を設定する。ＣＰＵ６は、対象領域１６の直径Ｒが切り替え領域の直径Ｒｃ未満である場合には対象領域１６を拡大領域の大きさに拡大し、切り替え領域の直径Ｒｃ以上で拡大領域の直径Ｒｍ未満である場合には対象領域１６を所定の倍率で拡大して、拡大縮小画像１９を生成し、拡大縮小画像１９と処理対象画像１３とを合成して強調画像１４を生成し、モニタ２２に出力して表示させる。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及び運転支援システムに関する。

特開２００１−７１７９０号公報には、車両に設けられたディスプレイに車両の前方を撮影した撮影画像を表示して、車両の前方に存在する障害物をドライバに認識させる車両の表示装置が記載されている。この表示装置では、車両からの距離が所定値より長い位置に障害物が検出されたとき、ディスプレイには撮影画像内の当該障害物の画像部分をディスプレイ全体の大きさに拡大した拡大画像が表示される。同公報には、拡大画像を表示する際、拡大画像の一部に撮影画像全体を縮小した縮小画像を表示してもよいことが記載されている。

特開２００１−７１７９０号公報

上記従来の装置では、車両の遠方に障害物が検出されると、ディスプレイには障害物の拡大画像が表示され、車両前方の全体像を示す撮像画像は表示されないか或いは縮小して表示される。このため、使用者は、ディスプレイに表示された画像を通して拡大画像が撮影画像内のどの領域であるのかを即座に判断することができず、障害物が車両前方のうち何れの方向に存在するのかを瞬時に特定することができない。

そこで、本発明は、撮像画像内の不明確な表示物を、撮像画像内における相対的な状態を含めて使用者に瞬時且つ正確に認識させることを目的とする。

上記目的を達成すべく、本発明の第１の態様の画像処理装置は、領域設定手段と判定手段と画像生成手段と表示制御手段とを備える。

領域設定手段は、所定の基準形状に相似する対象領域を処理対象画像内に設定する。判定手段は、領域設定手段が設定した対象領域の大きさが基準形状に相似する所定の拡大領域の大きさ未満であるか否かを判定する。画像生成手段は、対象領域の大きさが拡大領域の大きさ未満であると判定手段が判定したとき、対象領域を拡大領域の大きさに拡大して拡大画像を生成する拡大処理を実行し、処理対象画像内に対象領域を基準として拡大画像が表示されるように処理対象画像と拡大画像とを合成して表示画像を生成する。表示制御手段は、画像生成手段が生成した表示画像を表示手段に表示させる。

また、本発明の画像処理方法は、所定の基準形状に相似する対象領域を処理対象画像内に設定し、設定した対象領域の大きさが基準形状に相似する所定の拡大領域の大きさ未満であるか否かを判定し、対象領域の大きさが拡大領域の大きさ未満であると判定したとき、対象領域を拡大領域の大きさに拡大して拡大画像を生成する拡大処理を実行し、処理対象画像内に対象領域を基準として拡大画像が表示されるように処理対象画像と拡大画像とを合成して表示画像を生成し、生成した表示画像を表示手段に表示させる。

上記構成及び方法では、処理対象画像内に対象領域が設定され、設定された対象領域の大きさが所定の拡大領域の大きさ未満であるとき、対象領域を拡大領域の大きさに拡大して拡大画像を生成する拡大処理が実行される。拡大処理が実行されると、処理対象画像の一部の領域に拡大画像が合成されて表示画像が生成され、生成された表示画像が表示手段に表示される。対象領域は、使用者からの指示に従って設定されてもよく、使用者の意思に関わらず所定の条件に従って設定されてもよい。

このため、拡大領域を適切な大きさに設定することによって、拡大領域未満の大きさである小さく不明確な対象領域を適切な一定の大きさに拡大して拡大画像を生成し、生成した拡大画像を処理対象画像の一部に表示することができる。従って、使用者は、処理対象画像では不明確な対象領域内の表示物の実体を瞬時且つ正確に認識することができる。また、拡大画像は処理対象画像の一部に表示されるので、例えば処理対象画像が１つの物体を異なる距離から撮像した複数の画像であり、当該物体を基準として対象領域が設定される場合には、使用者は、各表示画像の拡大画像を除く画像内の表示物を比較することによって、当該物体の前後方向の位置を推定することができる。

また、処理対象画像の対象領域を中心部に含む領域に拡大画像を合成することによって、拡大画像を対象領域と周囲との位置関係を保持して表示することができる。また、処理対象画像の対象領域を含まない領域に拡大画像を合成することによって、例えば処理対象画像内の対象領域を指示して拡大画像を表示するなど、拡大画像を処理対象画像内の対象領域と同時に表示することができる。従って、使用者は、拡大画像が処理対象画像内の何れの領域の画像を拡大したものであるのか（対象領域が処理対象画像内の何れの領域であるのか）を即座に判断することができ、処理対象画像が撮像手段によって撮像されたものである場合には、撮像手段からの拡大画像内の表示物が存在する方向を特定することができる。

また、処理対象画像内に設定された対象領域のうち、拡大領域未満の大きさの対象領域のみが拡大して表示される。このため、例えば、処理対象画像が遠方から接近してくる１つの物体を撮像した動画像を構成する画像（静止画像）であり、当該物体を基準として対象領域が設定される場合には、撮像された画像に物体が小さく不明確に表示されている間は、モニタ等の表示手段には一定の大きさに拡大された物体の画像が撮像された画像の一部に合成された表示画像が表示され、撮像された画像に物体が比較的大きく明確に表示されると、表示手段には撮像された画像のみが表示される。従って、使用者は、表示画像を通して、物体を瞬時に発見してその実体を相対的な位置や動きを推定しながら確実に認識した上で、物体の相対的な位置や動きを正確に認識することができる。

本発明の第２の態様の画像処理装置は、領域設定手段と第１判定手段と第２判定手段と画像生成手段と表示制御手段とを備える。

領域設定手段は、所定の基準形状に相似する対象領域を処理対象画像内に設定する。第１判定手段は、領域設定手段が設定した対象領域の大きさが基準形状に相似する所定の拡大領域の大きさ未満であるか否かを判定する。第２判定手段は、拡大領域の大きさ未満であると第１判定手段によって判定された対象領域の大きさと、基準形状に相似し且つ拡大領域以下の大きさを有する所定の切り替え領域の大きさとを比較し、対象領域の大きさが切り替え領域の大きさ未満であるとき、第１実行条件が成立したと判定し、対象領域の大きさが切り替え領域の大きさ以上であるとき、第２実行条件が成立したと判定する。画像生成手段は、第１実行条件が成立したと第２判定手段が判定したとき、対象領域を拡大領域の大きさに拡大して第１の拡大画像を生成する第１の拡大処理を実行し、処理対象画像内に対象領域を基準として第１の拡大画像が表示されるように処理対象画像と第１の拡大画像とを合成して表示画像を生成し、第２実行条件が成立したと第２判定手段が判定したとき、対象領域を所定の倍率で拡大して第２の拡大画像を生成する第２の拡大処理を実行し、処理対象画像内に対象領域を基準として第２の拡大画像が表示されるように処理対象画像と第２の拡大画像とを合成して表示画像を生成する。表示制御手段は、画像生成手段が生成した表示画像を表示手段に表示させる。

上記構成では、対象領域の大きさが所定の切り替え領域の大きさ未満であるとき、第１の拡大処理が実行され、処理対象画像内の一部の領域に第１の拡大画像が合成されて生成された表示画像が表示手段に表示される。また、対象領域の大きさが切り替え領域の大きさ以上で拡大領域の大きさ未満であるとき、対象領域を所定の倍率で拡大して第２の拡大画像を生成する第２の拡大処理が実行され、処理対象画像内の一部の領域に第２の拡大画像が合成されて生成された表示画像が表示手段に表示される。

このため、切り替え領域を適切な大きさに設定することによって、切り替え領域未満の大きさである非常に小さく不明確な対象領域を適切な一定の大きさに拡大して第１の拡大画像を生成し、切り替え領域以上で拡大領域未満の大きさである比較的小さく不明確な対象領域を所定の倍率で拡大して第２の拡大画像を生成して、生成した第１の拡大画像及び第２の拡大画像を処理対象画像の一部に表示することができる。また、第２の拡大画像は対象領域の大きさによって大きさが異なるので、使用者は、第２の拡大画像の大きさから対象領域の大きさを推定することができ、例えば処理対象画像が１つの物体を異なる距離から撮像した複数の画像であり、当該物体を基準として対象領域が設定される場合には、当該物体の前後方向の位置を認識することができる。

また、例えば処理対象画像が遠方から接近してくる１つの物体を撮像した動画像を構成する画像であり、当該物体を基準として対象領域が設定される場合には、撮像された画像に物体が非常に小さく不明確に表示されている間は、表示手段には一定の大きさに拡大された物体の画像が撮像された画像の一部に合成された表示画像が表示され、撮像された画像に物体が比較的小さく不明確に表示されている間は、表示手段にはその大きさに応じた大きさに拡大された物体の画像が撮像された画像の一部に合成された表示画像が表示され、撮像された画像に物体が比較的大きく明確に表示されると、表示手段には撮像された画像のみが表示される。従って、使用者は、表示画像を通して、物体を瞬時に発見してその実体を相対的な位置や動きを推定しながら確実に認識し、物体の前後方向の動きを認識した上で、物体の相対的な位置や動きを正確に認識することができる。

また、切り替え領域を所定の倍率で拡大すると拡大領域の大きさになるように所定の倍率、拡大領域及び切り替え領域を設定することによって、拡大領域未満の大きさの対象領域を常に拡大領域以上の大きさに拡大し、第２の拡大画像を常に第１の拡大画像よりも大きく生成することができる。従って、例えば処理対象画像が１つの物体を異なる距離から撮像した複数の画像であり当該物体を基準として設定された対象領域に対して第１の拡大処理と第２の拡大処理とを実行する場合であっても、使用者は、表示画像を通して当該物体の前後方向の位置を誤解することなく認識することができる。

また、上記第２の態様の画像処理装置において、第２判定手段は、対象領域の大きさと切り替え領域の大きさとの比較の結果に関わらず、処理対象画像の明度が所定の閾値未満である場合には第１実行条件が成立したと判定し、処理対象画像の明度が閾値以上である場合には第２実行条件が成立したと判定してもよい。

上記構成では、対象領域の大きさと切り替え領域の大きさとの比較の結果に関わらず、処理対象画像の明度が閾値未満であるときに第１の拡大処理が実行され、処理対象画像の明度が閾値以上であるときに第２の拡大処理が実行される。このため、例えば、処理対象画像が夜間の画像のように暗く全体的に表示物が不明確な場合には、拡大領域未満の大きさの対象領域を一定の大きさに拡大し、昼間の画像のように明るく全体的に表示物が明確な場合には、拡大領域未満の大きさの対象領域を所定の倍率で拡大することができる。従って、使用者は、処理対象画像が全体的に表示物が不明確な場合であっても、対象領域内の表示物を適切な一定の大きさに拡大された画像によって確実に認識することができる。

また、上記第１の態様及び第２の態様の画像処理装置では、画像生成手段は、拡大処理を実行するとき、処理対象画像内に表示された全ての領域が表示画像内に表示されるように、対象領域の周縁に隣接する第２対象領域を処理対象画像内に設定し、第２対象領域を縮小して縮小画像を生成する縮小処理を実行し、処理対象画像と拡大画像と縮小画像とを合成して表示画像を生成してもよい。

上記構成では、第１の拡大処理又は第２の拡大処理を実行するとき、対象領域の周縁に隣接する第２対象領域を縮小して縮小画像を生成する縮小処理が実行され、第１の拡大画像又は第２の拡大画像の周縁の領域に縮小画像が合成されて表示画像が生成される。このため、使用者は、対象領域内の表示物を処理対象画像内の全ての領域の表示物とともに認識することができる。

また、上記第１の態様及び第２の態様の画像処理装置において、画像生成手段は、対象領域の大きさに関わらず、対象領域と対象領域を除く領域との間で輝度及び明度の少なくとも一方を変化させて明暗差をつけてもよい。

上記構成では、第１の拡大処理又は第２の拡大処理が実行されるか否かに関わらず、対象領域と対象領域を除く領域との間に明暗差がつけられる。このため、対象領域内の表示物を周囲の領域の表示物よりも鮮明に表示することができ、使用者は、対象領域内の表示物を更に容易且つ確実に認識することができる。また、対象領域の大きさに関わらず対象領域と対象領域を除く領域との間に明暗差をつけることができるので、使用者は、拡大領域以上の大きさの対象領域内の表示物も瞬時且つ確実に認識することができる。

本発明の運転支援システムは、上記第１の態様又は第２の態様の画像処理装置と撮像手段と障害物検知手段とを備える。

撮像手段は、車両の周囲の動画像を撮像する。障害物検知手段は、車両の周囲に存在する障害物を検知する。処理対象画像は、撮像手段が撮像した動画像を構成する静止画像である。領域設定手段は、障害物検知手段が検知した障害物を基準として対象領域を設定する。

上記構成では、車両の周囲を撮像した動画像を構成する静止画像を処理対象画像として各静止画像内に障害物を基準として対象領域が設定される。このため、存在する位置や固有の大きさなどによって撮像された動画像では明確に表示されないような障害物を拡大して表示することができる。従って、使用者は、車両の周囲に存在する障害物を確実に認識することができる。

また、対象領域の大きさに応じて第１の拡大処理及び第２の拡大処理の何れか一方が選択され実行される場合、例えば、後方から追い上げてくるオートバイが障害物として検知されると、オートバイが車両から十分に離れている間は、表示手段には一定の大きさに拡大されたオートバイの画像が撮像された画像の一部に合成された表示画像が表示され、オートバイが車両に少し近づくと、表示手段には撮像された画像に表示される大きさに応じた大きさに拡大されたオートバイの画像が撮像された画像の一部に合成された表示画像が表示され、オートバイが更に車両に近づくと、表示手段には撮像された画像のみが表示される。従って、使用者は、表示画像を通して、オートバイを瞬時に発見し、オートバイが自車に対してどのような動きをしているかを認識した上で、オートバイの相対的な位置や動きを正確に認識することができる。

また、動画像の明度に応じて第１の拡大処理及び第２の拡大処理の何れか一方が選択され実行される場合、例えば、撮像された画像が薄暮時や夜間の画像ように暗く不明確な場合には、障害物は一定の大きさに拡大して表示され、撮像された画像が昼間の画像のように明るく明確な場合には、障害物はその大きさに応じて変化する大きさで表示される。従って、使用者は、薄暮時や夜間等であっても障害物を確実に認識することができる。

本発明によれば、撮像画像内の不明確な表示物を、撮像画像内における相対的な状態を含めて使用者に瞬時且つ正確に認識させることができる。

第１実施形態の運転支援システムの構成図である。 第１実施形態の第１の拡大処理及び第２の拡大処理における拡大倍率及び縮小倍率を示す概念図である。 第１実施形態の強調画像生成処理における処理対象画像及び強調画像の一部を示す図である。 第１実施形態の強調画像生成処理を示すフローチャートである。 第２実施形態の強調画像生成処理における強調画像の一部を示す図である。 第２実施形態の強調画像生成処理を示すフローチャートである。

以下、本発明の第１実施形態の運転支援システムについて、図面を参照して説明する。図１は、第１実施形態の運転支援システムの構成図である。図２は、第１実施形態の第１の拡大処理及び第２の拡大処理における拡大倍率及び縮小倍率を示す概念図である。図３（ａ）は、第１実施形態の強調画像生成処理における処理対象画像の一部を示す図であり、図３（ｂ）は、第１実施形態の強調画像生成処理における強調画像の一部を示す図である。図４は、第１実施形態の強調画像生成処理を示すフローチャートである。

図１に示すように、本実施形態の運転支援システム１は、カメラ３と処理装置４とモニタ２２とを備え、車両２に設けられる。

カメラ３は、ＣＣＤ（Charge Coupled Device）センサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を有し、車両２の後部、右部及び左部にそれぞれ設けられる。カメラ３は、車両２の後方、右側方及び左側方の動画像を撮像し、撮像した動画像を構成する静止画像をデジタル変換して処理装置４に順次出力する。すなわち、カメラ３は、車両２の周囲の動画像を撮像する撮像手段として機能する。

処理装置４は、記憶部５とＣＰＵ（Central Processing Unit）６とを有する。記憶部５は、例えばＲＡＭ（Random Access Memory）などの記録媒体によって構成され、ＣＰＵ６が各種処理を実行するための各種プログラムや各種データや各種フラグが記憶されている。各種プログラムには、ＣＰＵ６が障害物検知処理を実行するための障害物検知処理実行プログラム、及び強調画像生成処理を実行するための強調画像生成処理実行プログラムが含まれる。各種フラグには、オン状態又はオフ状態に設定される障害物検知フラグ及び条件成立フラグが含まれる。また、記憶部５は、各種画像や各種情報などが読み書き自在に記憶される記憶領域を有する。障害物検知処理及び強調画像生成処理を実行するＣＰＵ６は、受信部７、処理画像生成部８、障害物検知部１０、強調画像生成部１２及び表示制御部２１として機能する。

受信部７は、カメラ３から３方向の静止画像を順次入力して記憶部５に記憶する。

処理画像生成部８は、記憶部５に記憶された静止画像の中から同一時刻に撮像された３方向の静止画像を抽出し、抽出した３つの静止画像を合成することによって処理画像９を生成して記憶部５に記憶する。

障害物検知部１０は、処理画像生成部８によって処理画像９が生成されたとき、処理画像生成部８が生成した処理画像９を用いて車両２に接近する物体を障害物１１として検知する障害物検知処理を実行する。まず、障害物検知部１０は、時間的に連続する２つの処理画像９間において、ブロックマッチングにより処理画像９内の動きベクトルを検出して移動物体を検知する。具体的には、障害物検知部１０は、記憶部５から時刻ｔの処理画像９及び時刻ｔ−Δｔの処理画像９を読み出し、これらの処理画像９内に処理領域及び車両領域を設定する。処理領域は、所定の大きさ及び形状を有し、処理画像９内の車両や歩行者等が通行する可能性のある道路等が表示される所定の領域に設定される。車両領域は、所定の大きさ及び形状を有し、処理画像９内の車両２の近傍である所定の領域に設定される。処理画像９内に処理領域及び車両領域を設定した障害物検知部１０は、時刻ｔ−Δｔの処理画像９内に設定した処理領域を小さい領域（ブロック）に分割し、時刻ｔの処理画像９内に設定した処理領域を探索して分割した各ブロックに最も類似する領域（類似領域）を検出し、各ブロックと各類似領域との位置座標から各ブロックの動きベクトルを算出する。これにより、処理画像９内に設定した処理領域内の物体の中から移動物体を検知することができる。

移動物体を検知した障害物検知部１０は、全ての動きベクトルの中から車両領域へ向かう向きの動きベクトルを抽出する。これにより、全ての移動物体の中から車両２に接近する物体、つまり障害物１１を抽出することができる。障害物検知部１０は、車両領域へ向かう向きの動きベクトルを抽出したとき、障害物１１が存在すると判断し、抽出した動きベクトルに基づいて障害物１１の情報を設定して当該障害物１１を検知した処理画像９に対応させて記憶部５に記憶するとともに、記憶部５に記憶された障害物検知フラグをオン状態に設定する。すなわち、障害物検知部１０は、車両２の周囲に存在する障害物１１を検知する障害物検知手段として機能する。

強調画像生成部１２は、対象領域設定部１５と判定部１７と強調処理部１８とを含み、障害物１１が検知されたとき、障害物１１が検知された処理画像９を処理対象画像１３として強調画像１４を生成する強調画像生成処理を実行する。

対象領域設定部１５は、障害物検知部１０によって検知された障害物１１を基準として、処理対象画像１３内に対象領域１６を設定する。具体的には、対象領域設定部１５は、記憶部５の障害物検知フラグがオン状態であるか否かを判定し、障害物検知フラグがオン状態である場合、記憶部５から障害物１１が検知された処理画像９（処理対象画像１３）及び障害物１１の情報を読み出す。対象領域設定部１５は、障害物１１の情報に基づいて、処理対象画像１３において障害物１１のエッジを検出し、障害物１１の中心座標（ｘ，ｙ）及び最大直径Ｒを算出する。対象領域設定部１５は、処理対象画像１３内に、中心が障害物１１の中心座標（ｘ，ｙ）であり直径が障害物１１の最大直径Ｒである円形（基準形状）の領域を対象領域１６として設定する。障害物１１が処理対象画像１３内に複数存在する場合には、対象領域設定部１５は、各障害物１１に対して対象領域１６を設定し、各対象領域１６の中心座標（ｘ，ｙ）から各対象領域１６間の長さＬを算出する。すなわち、対象領域設定部１５は、障害物検知部１０が検知した障害物１１を基準として対象領域１６を処理対象画像１３内に設定する領域設定手段として機能する。

判定部１７は、第１判定部と第２判定部と第３判定部と第４判定部とを含む。第１判定部は、処理対象画像１３内に対象領域１６が設定されたとき、設定された全ての対象領域１６の中から対象領域１６を１つ抽出し、抽出した対象領域１６の直径Ｒが円形の所定の拡大領域の直径Ｒｍ未満であるか否かを判定する。対象領域１６の直径Ｒが拡大領域の直径Ｒｍ未満である場合には、第１判定部は、当該対象領域１６に対して実行条件が成立したと判定して記憶部５の条件成立フラグをオン状態に設定する。すなわち、第１判定部は、対象領域１６の大きさが拡大領域の大きさ未満であるか否かを判定する第１判定手段として機能する。

第２判定部は、第１判定部によって実行条件が成立したと判定されたとき、当該対象領域１６の直径Ｒが円形の所定の切り替え領域の直径Ｒｃ未満であるか否かを判定する。切り替え領域の直径Ｒｃは、拡大領域の直径Ｒｍを後述する所定の拡大倍率で除した値に設定される。第２判定部は、対象領域１６の直径Ｒが、切り替え領域の直径Ｒｃ未満である場合には、当該対象領域１６に対して第１実行条件が成立したと判定し、切り替え領域の直径Ｒｃ以上である場合には、当該対象領域１６に対して第２実行条件が成立したと判定する。すなわち、第２判定部は、拡大領域の大きさ未満である対象領域１６の大きさが、切り替え領域の大きさ未満であるときには第１実行条件が成立したと判定し、切り替え領域の大きさ以上であるときには第２実行条件が成立したと判定する第２判定手段として機能する。

第３判定部は、第２判定部によって第１実行条件又は第２実行条件が成立したと判定されたとき、又は第１判定部によって対象領域１６の直径Ｒが拡大領域の直径Ｒｍ以上であると判定されたとき、未抽出の対象領域１６が存在しないか否かを判定する。

第４判定部は、第３判定部によって未抽出の対象領域１６が存在しないと判定されたとき、実行条件が成立したと判定された対象領域１６が１つであるか否かを判定する。実行条件が成立したと判定された対象領域１６が複数である場合には、第４判定部は、対象領域設定部１５が算出した対象領域１６間の長さＬに基づいて、実行条件が成立したと判定された対象領域１６間の長さＬが全て所定値Ｌｃ以上であるか否かを判定する。少なくとも１つの対象領域１６間の長さＬが所定値Ｌｃ未満である場合には、第４判定部は、実行条件が成立したと判定された全ての対象領域１６に対して中止条件が成立したと判定し、条件成立フラグをオフ状態に設定する。

強調処理部１８は、対象領域１６が周囲の領域よりも高い輝度及び明度となるように、対象領域１６を除く領域の輝度及び明度を所定の割合に減少させるコントラスト調整処理を実行する。コントラスト調整処理を実行した強調処理部１８は、条件成立フラグがオン状態であるか否かを判定し、条件成立フラグがオン状態である場合、拡大処理を実行する。拡大処理において、強調処理部１８は、第１実行条件が成立したと判定された対象領域１６に対して第１の拡大処理を実行して拡大縮小画像１９を生成し、第２実行条件が成立したと判定された対象領域１６に対して第２の拡大処理を実行して拡大縮小画像１９を生成して、生成した拡大縮小画像１９と処理対象画像１３とを合成する。

第１の拡大処理では、強調処理部１９は、処理対象画像１３内に、中心が対象領域１６の中心座標（ｘ，ｙ）であり直径が所定の長さＲｘである第１の円を設定し、設定した第１の円と対象領域１６の外周とによって区画される領域を第２対象領域２０として設定する。第１の円の直径Ｒｘは、拡大領域の直径Ｒｍを超えて設定される。強調処理部１８は、対象領域１６の直径Ｒ及び拡大領域の直径Ｒｍから拡大倍率を算出し、第２対象領域２４の径方向の長さＲｘ−Ｒ、及び第１の円の直径Ｒｘと拡大領域の直径Ｒｍとの差Ｒｘ−Ｒｍから縮小倍率を算出する。拡大倍率及び縮小倍率を算出した強調処理部１８は、図２に示すように、算出した拡大倍率及び縮小倍率に基づいて、径方向の長さに応じて連続的に変化する拡大縮小倍率を設定して、設定した拡大縮小倍率で対象領域１６を拡大及び第２対象領域２０を縮小して拡大縮小画像１９を生成する。

第２の拡大処理では、拡大処理部１８は、処理対象画像１３内に、中心が対象領域１６の中心座標（ｘ，ｙ）であり直径が当該対象領域１６の直径Ｒに所定数ｋを乗じた長さｋ・Ｒである第２の円を設定し、設定した第２の円と対象領域１６の外周とによって区画される領域を第２対象領域２０として設定する。所定数ｋは、第２の円の直径ｋ・Ｒが拡大領域の直径Ｒｍに所定の拡大倍率を乗じた値を超えて設定される。拡大処理部１８は、所定の拡大倍率及び縮小倍率に基づいて、第１の拡大処理と同様に、径方向の長さに応じて連続的に変化する拡大縮小倍率を設定して、設定した拡大縮小倍率で対象領域１６を拡大及び第２対象領域２０を縮小して拡大縮小画像１９を生成する。

拡大縮小画像１９と処理対象画像１３とを合成する際、強調処理部１８は、処理対象画像１３内の中心が対象領域１６の中心座標（ｘ，ｙ）であり大きさが拡大縮小画像１９である領域を拡大縮小画像１９を合成する領域として設定し、拡大縮小画像１９を処理対象画像１３内に設定した領域に合成する。

強調処理部１８は、拡大処理を実行したとき、拡大処理によって生成した拡大縮小画像１９と処理対象画像１３とを合成した画像を強調画像１４として記憶部５に記憶するとともに、障害物検知フラグ及び条件成立フラグをオフ状態に設定する。一方、条件成立フラグがオフ状態であり拡大処理を実行しないときには、コントラスト調整処理によって生成された画像を強調画像１４として記憶部５に記憶するとともに、障害物検知フラグをオフ状態に設定する。すなわち、強調処理部１８は、対象領域１６の大きさに関わらず対象領域１６と対象領域１６を除く領域との間で明暗差をつけ、切り替え領域未満の大きさの対象領域１６を拡大領域の大きさに拡大する第１の拡大処理、及び切り替え領域以上で拡大領域未満の大きさの対象領域１６を所定の拡大倍率で拡大する第２の拡大処理を実行して強調画像１４を生成する画像生成手段として機能する。なお、強調画像生成処理における処理対象画像１３及び強調画像１４は、図３に示すとおりである。

表示制御部２１は、障害物１１が検知されて強調画像１４が生成されたときには、強調画像１４を表示画像として記憶部５から読み出し、障害物１１が検知されずに強調画像１４が生成されないときには、処理画像９を表示画像として記憶部５から読み出して、それぞれ読み出した表示画像をモニタ２２に順次出力する。すなわち、表示制御部２１は、モニタ２２に強調画像１４又は処理画像９を表示させる表示制御手段として機能する。

モニタ２２は、例えば車両２に搭載されたカーナビゲーションシステムの表示装置であり、表示制御部２１から入力した表示画像を表示する。

次に、第１実施形態におけるＣＰＵ６が実行する強調画像生成処理について、図４を参照して説明する。本処理は、車両２のイグニッションキーがＯＮ状態のとき、所定時間ごとに繰り返して実行される。

本処理が開始されると、対象領域設定部１５は、記憶部５の障害物検知フラグがオン状態であるか否かを判定する（ステップＳ１）。

障害物検知フラグがオン状態である場合（ステップＳ１：ＹＥＳ）、対象領域設定部１５は、処理対象画像１３内に対象領域１６を設定する（ステップＳ２）。障害物１１が処理対象画像１３内に複数存在する場合には、対象領域設定部１５は、各障害物１１に対して対象領域１６を設定し、各対象領域１６間の長さＬを算出する。

次に、判定部（第１判定部）１７は、設定された全ての対象領域１６の中から対象領域１６を１つ抽出する（ステップＳ３）。

判定部１７は、抽出した対象領域１６の直径Ｒが拡大領域の直径Ｒｍ未満であるか否かを判定する（ステップＳ４）。

対象領域１６の直径Ｒが拡大領域の直径Ｒｍ未満である場合（ステップＳ４：ＹＥＳ）には、判定部（第１判定部）１７は、実行条件が成立したと判定して条件成立フラグをオン状態に設定する（ステップＳ５）。

次に、判定部（第２判定部）１７は、当該対象領域１６の直径Ｒが切り替え領域の直径Ｒｃ未満であるか否かを判定する（ステップＳ６）。

対象領域１６の直径Ｒが切り替え領域の直径Ｒｃ未満である場合（ステップＳ６：ＹＥＳ）には、判定部（第２判定部）１７は、第１実行条件が成立したと判定する（ステップＳ７）。

一方、対象領域１６の直径Ｒが切り替え領域の直径Ｒｃ以上である場合（ステップＳ６：ＮＯ）には、判定部（第２判定部）１７は、第２実行条件が成立したと判定する（ステップＳ８）。

次に、判定部（第３判定部）１７は、未抽出の対象領域１６が存在しないか否かを判定する（ステップＳ９）。

未抽出の対象領域１６が存在する場合（ステップＳ９：ＮＯ）には、判定部１７は未抽出の対象領域１６の中から対象領域１６を１つ抽出して各種実行条件が成立するか否かを判定すること（ステップＳ３〜Ｓ８）を繰り返す。

未抽出の対象領域１６が存在しない場合（ステップＳ９：ＹＥＳ）には、判定部（第４判定部）１７は、実行条件が成立したと判定された対象領域１６が１つであるか否かを判定する（ステップＳ１０）。

実行条件が成立したと判定された対象領域１６が複数である場合（ステップＳ１０：ＮＯ）には、判定部（第４判定部）１７は、実行条件が成立したと判定された対象領域１６間の長さＬが全て所定値Ｌｃ以上であるか否かを判定する（ステップＳ１１）。

少なくとも１つの対象領域１６間の長さが所定値Ｌｃ未満である場合（ステップＳ１１：ＮＯ）には、判定部（第４判定部）１７は、中止条件が成立したと判定して条件成立フラグをオフ状態に設定する（ステップＳ１２）。

次に、強調処理部１８は、コントラスト調整処理を実行する（ステップＳ１３）。

コントラスト調整処理を実行した強調処理部１８は、条件成立フラグがオン状態であるか否かを判定する（ステップＳ１４）。

条件成立フラグがオン状態である場合（ステップＳ１４：ＹＥＳ）には、強調処理部１８は、拡大処理を実行する（ステップＳ１５）。拡大処理を実行すると、強調処理部１８は、拡大処理によって生成された画像を強調画像１４として記憶部５に記憶するとともに、障害物検知フラグ及び条件成立フラグをオフ状態に設定して本処理を終了する。

一方、条件成立フラグがオフ状態である場合（ステップＳ１４：ＮＯ）には、強調処理部１８は、コントラスト調整処理によって生成された画像を強調画像１４として記憶部５に記憶するとともに、障害物検知フラグをオフ状態に設定して本処理を終了する。

また、障害物検知フラグがオフ状態である場合（ステップＳ１：ＮＯ）には、障害物１１が検知されていないと判断して本処理を終了する。

このように、本実施形態の運転支援システム１によれば、切り替え領域未満の大きさの対象領域１６は拡大領域の大きさに拡大され、切り替え領域以上で拡大領域未満の大きさの対象領域１６は所定の倍率で拡大領域以上の大きさに拡大され、それぞれ拡大されて生成された拡大縮小画像１９は中心位置が対象領域１６の中心位置と一致する領域に表示される。このため、使用者は、カメラ３によって撮像された動画像では不明確な障害物１１の実体を、モニタ２２に表示される表示画像では周囲に対する位置関係とともに瞬時且つ正確に認識することができる。

また、対象領域１６を除く領域の輝度及び明度を減少させて、全ての対象領域１６と対象領域１６を除く領域との間に明暗差がつけられるので、使用者は、障害物１１をその大きさに関わらず容易且つ確実に認識することができる。

また、撮像された動画像において障害物１１が非常に小さく不明確に表示されている間は、モニタ２２には障害物１１が拡大領域の大きさに拡大されて輝度及び明度が調整された強調画像１４が表示され、動画像において障害物１１が比較的小さく不明確に表示されている間は、モニタ２２には障害物１１がその大きさに応じた大きさに拡大されて輝度及び明度が調整された強調画像１４が表示され、動画像において障害物１１が比較的大きく明確に表示されている間は、モニタ２２には障害物１１は拡大されずに輝度及び明度が調整された強調画像１４が表示される。このため、例えば、障害物１１が後方から車両２に接近する場合であっても、使用者は、モニタ２２を通して、障害物１１を瞬時に発見し、その動きを容易且つ正確に認識することができる。

また、切り替え領域以上で拡大領域未満の大きさの対象領域１６は拡大領域以上の大きさに拡大して表示されるので、１つの対象領域１６に対して第１の拡大処理及び第２の拡大処理が実行される場合であっても、使用者は、障害物１１の前後方向の位置を誤解することなく認識することができる。

また、対象領域１６の周縁の第２対象領域２０が縮小され、撮像された動画像に表示された全ての表示物が強調画像１４に表示されるので、使用者は、障害物１１を周囲の全ての表示物とともに認識することができる。

なお、カメラ３の数及び設置場所は、上記に限定されず、例えば１台を後部に設置するなどであってもよい。

また、障害物検知部１０が障害物１１を検知する方法は、上記に限定されず、画像差分方式などの他の画像を用いた検知方法であってもよく、画像を用いない超音波による検知方法やミリ波レーダによる検知方法などであってもよい。

また、対象領域１６、拡大領域及び切り替え領域の形状である基準形状は、円形に限定されず、矩形などであってもよい。

また、表示制御部２１は、障害物１１が検知されて強調画像１４が生成された場合にのみ生成された強調画像１４をモニタ２２に出力して表示させてもよい。

また、障害物１１の検知を音などによって使用者に報知する手段を備え、強調画像１４の表示と同時に音による報知を実行してもよい。

また、モニタ２２は、上記に限定されず、ウインドシールドディスプレイなどであってもよい。

また、コントラスト調整処理は、対象領域１６の大きさに関わらず実行されることに限定されず、例えば、拡大処理が実行されない場合や昼間等で画像の明度が高い場合にのみ実行されてもよい。

また、コントラスト調整処理において、強調処理部１８は、対象領域１６を除く領域の輝度及び明度を減少させるのではなく、対象領域１６の輝度及び明度を増加させてもよく、両者を同時に行ってもよい。また、輝度及び明度の何れか一方のみの調整であってもよい。

また、対象領域１６に対する処理は、対象領域１６の大きさに応じて選択されることに限定されず、例えば、障害物１１の相対速度などに応じて選択されてもよい。また、処理対象画像１３内に設定された対象領域１６毎に選択されることに限定されず、処理対象画像１３の明度や使用者のよそ見度などに応じて、処理対象画像１３内の全ての対象領域１６に対して１つの処理を選択してもよい。

ここで、処理対象画像１３の明度に応じて処理対象画像１３内の全ての対象領域１６に対して１つの処理を選択する場合の強調画像生成処理における判定部１７の処理について説明する。判定部１７は、第１判定部と第３判定部と第４判定部と第５判定部とを有する。第５判定部は、第４判定部によって対象領域１６は１つであると判定されたとき、又は中止条件が成立したと判定されたとき、処理対象画像１３の明度が閾値未満であるか否かを判定する。第５判定部は、処理対象画像１３の明度が閾値未満である場合には、実行条件が成立したと判定された全ての対象領域１６に対して第１実行条件が成立したと判定し、処理対象画像１３の明度が閾値以上である場合には、実行条件が成立したと判定された全ての対象領域１６に対して第２実行条件が成立したと判定する。このように、処理対象画像１３の明度に応じて対象領域１６に対する処理を選択すると、処理対象画像１３の明度が閾値未満である場合には、対象領域１６は拡大領域の大きさに拡大して表示される強調画像１４が生成される。このため、使用者は、撮像された動画像が暗くて不鮮明である場合であっても、表示画像を通して障害物１１を確実に認識することができる。

次に、本発明の第２実施形態の運転支援システムについて、図面を参照して説明する。図５は、第２実施形態の強調画像生成処理における強調画像の一部を示す図である。図６は、第２実施形態の強調画像生成処理を示すフローチャートである。本実施形態は、強調画像１４が、枠線処理と吹き出し拡大処理とによって生成される点で、上記第１実施形態と相違する。なお、上記第１実施形態と同様の構成には、同一の符号を付してその詳細な説明を省略する。

対象領域設定部１５は、処理対象画像１３内に、中心が障害物１１の中心座標（ｘ，ｙ）であり幅が障害物１１の最大直径Ｒである矩形（基準形状）の領域を対象領域１６として設定する。

判定部１７は、第１判定部と第３判定部と第６判定部とを含む。第１判定部は、対象領域１６の幅Ｒと拡大領域の幅Ｒｍとによって対象領域１６と拡大領域との大きさを比較する。

第６判定部は、第３判定部によって未抽出の対象領域１６が存在しないと判定されたとき、処理対象画像１３内に実行条件が成立したと判定された全ての対象領域１６に対応する空き領域が存在するか否かを判定する。空き領域とは、拡大領域と同一の大きさを有し、対象領域１６が設定されていない領域をいう。第６判定部は、処理対象画像１３を拡大領域の大きさの領域に分割し、分割した各領域内に対象領域１６が含まれるか否かを判定して、各領域の中から対象領域１６が含まれない領域を空き領域として検出する。空き領域を検出した第６判定部は、所定の条件に従って、検出した空き領域の中から実行条件が成立したと判定された対象領域１６に対応する空き領域をそれぞれ検出する。実行条件が成立したと判定された少なくとも１つの対象領域１６に対応する空き領域が検出されない場合には、第６判定部は、実行条件が成立したと判定された全ての対象領域１６に対して中止条件が成立したと判定し、条件成立フラグをオフ状態に設定する。

強調処理部１８は、全ての対象領域１６に対して各対象領域１６を囲む線（枠線）２３を付する枠線処理を実行する。枠線処理を実行した強調処理部１８は、条件成立フラグがオン状態であるか否かを判定し、条件成立フラグがオン状態である場合、吹き出し拡大処理を実行する。吹き出し拡大処理において、強調処理部１８は、実行条件が成立したと判定された対象領域１６を拡大領域の大きさに拡大して拡大画像２４を生成し、判定部１７によって検出された各対象領域１６に対応する空き領域を各拡大画像２４を合成する領域として設定し、拡大画像２４を処理対象画像１３内に設定した領域に合成する。拡大画像２４と処理対象画像１３とを合成した強調処理部１８は、対象領域１６と拡大画像２４との対応関係を明確にするために、拡大画像２４に一部が突出した枠線２５を付し、枠線２５の突出部の先端を対象領域１６上に配置する。

強調処理部１８は、吹き出し拡大処理を実行したとき、吹き出し拡大処理によって生成した拡大画像２４と処理対象画像１３とを合成した画像を強調画像１４として記憶部５に記憶するとともに、障害物検知フラグ及び条件成立フラグをオフ状態に設定する。一方、条件成立フラグがオフ状態であり吹き出し拡大処理を実行しないときには、枠線処理によって生成された画像を強調画像１４として記憶部５に記憶するとともに、障害物検知フラグをオフ状態に設定する。なお、本実施形態の強調画像生成処理における強調画像１４は、図６に示すとおりである。

次に、第２実施形態におけるＣＰＵ６が実行する強調画像生成処理について、図６を参照して説明する。

本処理が開始されると、対象領域設定部１５は、記憶部５の障害物検知フラグがオン状態であるか否かを判定する（ステップＳ２１）。

障害物検知フラグがオン状態である場合（ステップＳ２１：ＹＥＳ）、対象領域設定部１５は、処理対象画像１３内に対象領域１６を設定する（ステップＳ２２）。障害物１１が処理対象画像１３内に複数存在する場合には、対象領域設定部１５は、各障害物１１に対して対象領域１６を設定する。

次に、判定部（第１判定部）１７は、設定された全ての対象領域１６の中から対象領域１６を１つ抽出する（ステップＳ２３）。

判定部（第１判定部）１７は、抽出した対象領域１６の幅Ｒが拡大領域の幅Ｒｍ未満であるか否かを判定する（ステップＳ２４）。

対象領域１６の幅Ｒが拡大領域の幅Ｒｍ未満である場合（ステップＳ２４：ＹＥＳ）には、判定部（第１判定部）１７は、実行条件が成立したと判定して条件成立フラグをオン状態に設定する（ステップＳ２５）。

次に、判定部（第３判定部）１７は、未抽出の対象領域１６が存在しないか否かを判定する（ステップＳ２６）。

未抽出の対象領域１６が存在する場合（ステップＳ２６：ＮＯ）には、判定部１７は、未抽出の対象領域１６の中から対象領域１６を１つ抽出して実行条件が成立するか否かを判定すること（ステップＳ２３〜Ｓ２５）を繰り返す。

未抽出の対象領域１６が存在しない場合（ステップＳ２６：ＹＥＳ）には、判定部（第６判定部）１７は、処理対象画像１３内に実行条件が成立したと判定された対象領域１６に対応する空き領域が存在するか否かを判定する（ステップＳ２７）。

少なくとも１つの対象領域１６に対応する空き領域が検出されない場合には、判定部（第６判定部）１７は、実行条件が成立したと判定された全ての対象領域１６に対して中止条件が成立したと判定し、条件成立フラグをオフ状態に設定する（ステップＳ２８）
次に、強調処理部１８は、枠線処理を実行する（ステップＳ２９）。

枠線処理を実行した強調処理部１８は、条件成立フラグがオン状態であるか否かを判定する（ステップＳ３０）。

条件成立フラグがオン状態である場合（ステップＳ３０：ＹＥＳ）には、強調処理部１８は、吹き出し拡大処理を実行し（ステップＳ３１）、本処理を終了する。

また、条件成立フラグがオフ状態である場合（ステップＳ３０：ＮＯ）、及び障害物検知フラグがオフ状態である場合（ステップＳ２１：ＮＯ）には、本処理を終了する。

このように、本実施形態の運転支援システムによれば、拡大領域未満の大きさの対象領域１６は拡大領域の大きさに拡大され、拡大されて生成された拡大画像２４は対象領域１６と重複しない領域に対象領域１６を指示して表示されるので、使用者は、障害物１１をその原状とともに瞬時且つ正確に認識することができる。

また、全ての対象領域１６に枠線を付するので、障害物１１をその大きさに関わらず容易且つ確実に認識することができる。

上記実施形態は、本発明の一例であり、本発明を逸脱しない範囲において変更可能である。

本発明は、各種画像処理に幅広く適用可能である。

１：運転支援システム
２：車両
３：カメラ（撮像手段）
４：処理装置
５：記憶部
６：ＣＰＵ（Central Processing Unit）
７：受信部
８：処理画像生成部
９：処理画像
１０：障害物検知部（障害物検知手段）
１１：障害物
１２：強調画像生成部
１３：処理対象画像
１４：強調画像
１５：対象領域設定部（領域設定手段）
１６：対象領域
１７：判定部（判定手段、第１判定手段、第２判定手段）
１８：強調処理部（画像生成手段）
１９：拡大縮小画像
２０：第２対象領域
２１：表示制御部（表示制御手段）
２２：モニタ
２３：枠線
２４：拡大画像
２５：枠線

Claims (7)

1. 所定の基準形状に相似する対象領域を処理対象画像内に設定する領域設定手段と、
   前記領域設定手段が設定した対象領域の大きさが前記基準形状に相似する所定の拡大領域の大きさ未満であるか否かを判定する判定手段と、
   前記対象領域の大きさが前記拡大領域の大きさ未満であると前記判定手段が判定したとき、前記対象領域を前記拡大領域の大きさに拡大して拡大画像を生成する拡大処理を実行し、前記処理対象画像内に前記対象領域を基準として前記拡大画像が表示されるように前記処理対象画像と前記拡大画像とを合成して表示画像を生成する画像生成手段と、
   前記画像生成手段が生成した表示画像を表示手段に表示させる表示制御手段と、を備える
   ことを特徴とする画像処理装置。
2. 所定の基準形状に相似する対象領域を処理対象画像内に設定する領域設定手段と、
   前記領域設定手段が設定した対象領域の大きさが前記基準形状に相似する所定の拡大領域の大きさ未満であるか否かを判定する第１判定手段と、
   前記拡大領域の大きさ未満であると前記第１判定手段によって判定された前記対象領域の大きさと、前記基準形状に相似し且つ前記拡大領域以下の大きさを有する所定の切り替え領域の大きさとを比較し、前記対象領域の大きさが前記切り替え領域の大きさ未満であるとき、第１実行条件が成立したと判定し、前記対象領域の大きさが前記切り替え領域の大きさ以上であるとき、第２実行条件が成立したと判定する第２判定手段と、
   前記第１実行条件が成立したと前記第２判定手段が判定したとき、前記対象領域を前記拡大領域の大きさに拡大して第１の拡大画像を生成する第１の拡大処理を実行し、前記処理対象画像内に前記対象領域を基準として前記第１の拡大画像が表示されるように前記処理対象画像と前記第１の拡大画像とを合成して表示画像を生成し、前記第２実行条件が成立したと前記第２判定手段が判定したとき、前記対象領域を所定の倍率で拡大して第２の拡大画像を生成する第２の拡大処理を実行し、前記処理対象画像内に前記対象領域を基準として前記第２の拡大画像が表示されるように前記処理対象画像と前記第２の拡大画像とを合成して表示画像を生成する画像生成手段と、
   前記画像生成手段が生成した表示画像を表示手段に表示させる表示制御手段と、を備える
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第２判定手段は、前記対象領域の大きさと前記切り替え領域の大きさとの比較の結果に関わらず、前記処理対象画像の明度が所定の閾値未満である場合には前記第１実行条件が成立したと判定し、前記処理対象画像の明度が前記閾値以上である場合には前記第２実行条件が成立したと判定する
   ことを特徴とする画像処理装置。
4. 請求項１〜請求項３に記載の画像処理装置であって、
   前記画像生成手段は、前記拡大処理を実行するとき、前記処理対象画像内に表示された全ての領域が前記表示画像内に表示されるように、前記対象領域の周縁に隣接する第２対象領域を前記処理対象画像内に設定し、前記第２対象領域を縮小して縮小画像を生成する縮小処理を実行し、前記処理対象画像と前記拡大画像と前記縮小画像とを合成して前記表示画像を生成する
   ことを特徴とする画像処理装置。
5. 請求項１〜請求項４に記載の画像処理装置であって、
   前記画像生成手段は、前記対象領域の大きさに関わらず、前記対象領域と前記対象領域を除く領域との間で輝度及び明度の少なくとも一方を変化させて明暗差をつける
   ことを特徴とする画像処理装置。
6. 所定の基準形状に相似する対象領域を処理対象画像内に設定し、
   前記設定した対象領域の大きさが前記基準形状に相似する所定の拡大領域の大きさ未満であるか否かを判定し、
   前記対象領域の大きさが前記拡大領域の大きさ未満であると判定したとき、前記対象領域を前記拡大領域の大きさに拡大して拡大画像を生成する拡大処理を実行し、前記処理対象画像内に前記対象領域を基準として前記拡大画像が表示されるように前記処理対象画像と前記拡大画像とを合成して表示画像を生成し、
   前記生成した表示画像を表示手段に表示させる
   ことを特徴とする画像処理方法。
7. 請求項１〜請求項５の何れかに記載の画像処理装置を備えた運転支援システムであって、
   車両の周囲の動画像を撮像する撮像手段と、
   前記車両の周囲に存在する障害物を検知する障害物検知手段と、を備え、
   前記処理対象画像は、前記撮像手段が撮像した動画像を構成する静止画像であり、
   前記領域設定手段は、前記障害物検知手段が検知した障害物を基準として前記対象領域を設定する
   ことを特徴とする運転支援システム。

Images