JP2010124300A - 画像処理装置およびこれを用いたリヤビューカメラシステム - Google Patents

Abstract

【課題】乗員に違和感を与えることなく、かつ、車両後方の奥行き方向全体の状況を認識し易くすることができる画像処理装置を提供する。
【解決手段】車両（Ａ）に搭載された障害物検出手段９が車両（Ａ）から所定距離内で障害物を検出したときは、リヤビューカメラ１により撮像された画像に対して画像処理部３が俯瞰変換処理を行い、俯瞰画像をモニタ５に表示させ、一方、障害物検出手段９が車両（Ａ）から所定距離内で障害物を検出しないときは、リヤビューの画像をモニタ５に表示させる。
【選択図】図１

Description

本発明は、画像処理装置およびこれを用いたリヤビューカメラシステムに関し、詳細には、乗員に違和感を与えることなく、かつ、車両後方の奥行き方向全体の位置関係を容易に認識することができる画像処理装置およびこれを用いたリヤビューカメラシステムに関する発明である。

従来から、自動車の運転操作を支援する装置として、車両後部に取り付けられたリヤビューカメラによって車両後方の背景を撮像し、この撮像画像をモニタ画面に表示するリヤビューカメラシステムが知られている。

さらに、リヤビューカメラで撮像した撮像画像に対して画像処理を行い、実際のカメラ視点よりも上方の仮想視点から俯瞰した画像や、歪みを抑制した画像をモニタに表示することにより、車両と障害物との距離をより把握しやすくするための技術が提案されている。

このように、リヤビューカメラで撮像された画像を俯瞰画像に変換しモニタに表示するものとしては、例えば特許文献１に提案されているようなものがある。

すなわち、特許文献１に提案されている技術によれば、自車両に設けられたリヤビューカメラにより車両後方の背景を撮像し、さらに、自車両に設けられたソナーに基づき自車両から障害物までの相対距離を取得する。

そして、自車両から障害物までの相対距離に基づいて投影面を生成し、撮像画像の画像データを投影することにより俯瞰画像データを生成して俯瞰画像をモニタに表示する技術が提案されている。なお、この俯瞰画像の表示は、シフトポジションをリバースに切り替える際に行われている。
特開２００７−１８０８０３号公報

しかし、上述のように、俯瞰画像は、鉛直方向上方の仮想視点から車両を見下ろしたように視点変換を行った画像であるため、実際に乗員が車両後方を目視した場合とでは視点が大きく異なる画像である。

このため、上述した特許文献１に提案されている技術によれば、車両を後退させるためにシフトポジションをリバースに切り替える際に、乗員が目視した場合とは異なる俯瞰画像がモニタに表示されるため、乗員に違和感を与える虞がある。

また、上述した特許文献１に提案されている技術によれば、モニタに表示される俯瞰画像は車両後方の奥行き方向の領域が制限された画像であるため、車両後方の奥行き方向の全体、すなわち奥行き方向に位置する目標物（例えば、駐車領域や車止めなど）の様子がモニタに表示されていないため、奥行き方向全体の状況（様子）を十分に把握できないという問題がある。

本発明は上記事情に鑑みなされたものであり、運転者に違和感を与えることなく、かつ、車両後方の奥行き方向全体の状況を認識し易くすることができる画像処理装置およびこれを用いたリヤビューカメラシステムを提供することを目的とするものである。

本発明に係る画像処理装置は、車両に搭載された障害物検出手段が車両から所定距離内で壁、フェンス、他の自動車、車止め（タイヤ止め）や縁石などを含む障害物を検出したときは、画像処理装置に設けられたスイッチが視点変換処理部を選択するように切り替えられることによって、撮像画像に対して俯瞰変換処理を行った画像がモニタに出力される。一方、所定距離内で障害物を検出しないときは、スイッチがスルー処理部を選択するように切り替えられることによって、リヤビューの画像がモニタに出力されるものである。

すなわち、本発明に係る画像処理装置は、入力された撮像画像に対して画像処理を行い、所定のモニタに出力する画像処理装置において、前記画像処理装置が設けられた車両に搭載された障害物検出手段が、前記車両から所定距離内で障害物を検出したときは前記撮像画像に対して俯瞰変換処理を行なった画像を出力する視点変換処理部と、前記所定距離内で障害物を検出しないときはリヤビューの画像を出力するスルー処理部と、前記視点変換処理部と前記スルー処理部とを択一的に切り替えるスイッチと、を備えていることを特徴とする。

ここで、リヤビューの画像とは、撮像画像に対して、視点の方向は同じ向きのまま、歪みを補正する処理や明るさを調節する処理等を施した画像、もしくは、これらの処理を行わない撮像画像そのものを意味する。

このように構成された本発明に係る画像処理装置によれば、車両から所定距離内に障害物が存在する場合、すなわち車両と障害物との距離間隔を正確に把握したい場合にのみ俯瞰画像がモニタに表示され、それ以外の場合、すなわち何の障害物もなく自由に車両を動かすことができる場合にはリヤビューの画像がモニタに表示されることになる。

このリヤビューの画像は、俯瞰画像のように乗員の目視した背景画像と視点が大きく異なるというものではないため、乗員に違和感を与えることがない。

さらに、リヤビューの画像は俯瞰画像のように奥行き方向に制限がなく、車両後方の奥行き方向を遠くまで映すことができるため、奥行き方向全体の状況（様子）を認識し易い。

また、車両から所定距離内に障害物が存在することが検出された場合、すなわち車両と障害物との距離間隔を正確に把握したい場合にはモニタの表示が俯瞰画像に切り替えられるため、車両と障害物との距離間隔を正確に認識することができる。

そして、車両が障害物に近づくことにより、リヤビューの画像から俯瞰画像に表示が切り替わるように構成されているため、車両が障害物に近づいたことを視覚的な変化として運転者に対して強く印象付けることができ、運転者の注意の意識を高めることができる。

さらに、視点変換処理部とスルー処理部との切り替えを、簡単な構成により実現させることができる。

また、本発明に係る画像処理装置において、前記所定距離を任意に設定することができる距離設定部を備え、前記障害物検出手段は、前記障害物を検出する前記所定距離を変更することが可能であり、前記障害物検出手段の前記所定距離を、前記距離設定部により設定された前記所定距離に変更するような構成とすることが好ましい。

このように構成された本発明に係る画像処理装置によれば、俯瞰変換処理を行った画像を出力するか又はスルーの画像を出力するかの判断の基準となる車両と障害物との間の距離を、乗員が距離設定部に任意の距離を入力することで任意に設定できるため、乗員の個人差に対応することができる。

さらに、本発明に係るリヤビューカメラシステムは、上記のような本発明に係る画像処理装置に加えて、車両周辺を撮像するカメラおよび画像処理装置から出力された画像を表示するモニタを備えている。

すなわち、本発明に係るリヤビューカメラシステムは、画像処理装置と、前記画像処理装置に入力する画像を撮像するカメラと、前記画像処理装置から出力された画像を表示するモニタと、を備えていることを特徴とする。

このように構成された本発明に係るリヤビューカメラシステムによれば、車両から所定距離内に障害物が存在する場合にのみ俯瞰画像がモニタに表示され、それ以外の場合にはリヤビューの画像がモニタに表示されるため、乗員に違和感を与えることがなく、かつ、
車両後方の奥行き方向を遠くまで、奥行き方向全体の状況（様子）を認識し易くすることができる。

本発明に係る画像処理装置およびこれを用いたリヤビューカメラシステムによれば、乗員に違和感を与えることなく、かつ、車両後方の奥行き方向全体の状況を認識し易くすることができる。

以下、図面に基づいて本発明の最良の実施形態としての画像処理装置１００を備えたリヤビューカメラシステム２００について説明する。

図１は、本実施形態の画像処理装置１００およびリヤビューカメラシステム２００の構成を示す機能ブロック図である。

図１に示すように、リヤビューカメラシステム２００は、車両の後部（例えば、ナンバープレート上部、リヤウイング部）に取り付けられたリヤビューカメラ１、ビデオデコーダー２、各種画像処理を行う画像処理装置１００、ビデオエンコーダー４、画像を表示するモニタ５を備えている。

また、画像処理装置１００には外部メモリ６が接続され、視点変換テーブルが格納されたＲＯＭ１０と、画像データを格納するためのＲＡＭ１１、１２とが設けられている。

そして、画像処理装置１００は画像処理部３とマイクロコンピュータ１５とを有している。この画像処理部３には、撮像画像に対して俯瞰変換処理を行った画像を出力する視点変換処理部７と、リヤビューの画像を出力するスルー処理部８とが設けられ、また、視点変換処理部７とスルー処理部８とを択一的に切り替えるスイッチＳＷ１、ＳＷ２とが設けられている。

さらに、リヤビューカメラシステム２００は、車両のリヤバンパーの中央部に取り付けられ車両の後方に存在する障害物を検出するバック超音波センサーなどの障害物検出手段９と、信号をＡ／Ｄ変換する機能やバッファ機能等を有するセンサーインターフェース１４とが備えられている。

また、画像処理装置１００に設けられたマイクロコンピュータ１５は、車両ネットワークであるＣＡＮ１６により車両と接続され、車両内の他の機器と、車両のリバース信号やスピード情報、測距情報等の信号の通信を行う。

そして、マイクロコンピュータ１５は、シリアル通信ライン１３により画像処理部３に接続されている。

また、障害物検出手段９には、障害物を検出する範囲を設定するための距離設定部１７が設けられている。

次に、本実施形態のリヤビューカメラシステム２００による、運転操作の支援を行うための処理手順について説明する。

図２は、図１のリヤビューカメラ１が車両後方を撮像する状態を示す説明図であり、図３は、図２のリヤビューカメラ１による撮像画像を俯瞰変換処理する場合の仮想視点を説明するための説明図である。

図２に示すように、リヤビューカメラ１は車両Ａの後方の背景画像を撮像し、このときの撮像画像には、リヤカメラ映像領域Ｄ１の領域内が写る。

この撮像画像のデータは、ＮＴＳＣ方式でビデオデコーダー２に取り込まれ、画像処理部３に接続された外部メモリ６のＲＡＭ１１に記憶される。

また、障害物検出手段９は、障害物検出領域Ｄ２の領域内について、障害物が存在するか否かを検出する。

この障害物検出領域Ｄ２の奥行き方向の検出距離Ｌ１は、距離設定部１７により任意に設定することが可能であり、例えば、Ｌ１＝１．５ｍと設定することができる。また、この場合の障害物検出領域Ｄ２の鉛直方向の検出距離Ｌ２は、例えば、Ｌ２＝０．７ｍであるとする。

このように設定された障害物検出領域Ｄ２の領域内において、車止め、他車、縁石やポール等の障害物が存在しない場合には、障害物検出手段９は障害物を検出せず、この障害物を検出していないことは、センサーインターフェース１４を介してマイクロコンピュータ１５に入力され、マイクロコンピュータ１５は、スイッチＳＷ１、ＳＷ２がスルー処理部８を選択するように切り替える。

なお、スイッチＳＷ１、ＳＷ２を、デフォルトでスルー処理部８を選択した状態としておいてもよい。

そして、ＲＡＭ１１に記憶された撮像画像のデータは、スルー処理部８において例えば歪みの補正等が行われる。その後、ビデオエンコーダー４に出力され、ＮＴＳＣフォーマットに変換されてモニタ５に表示される。

すなわち、障害物検出領域Ｄ２の領域内に障害物が存在しない場合には、図２に示すリヤカメラ映像領域Ｄ１の領域内が映された画像であって、視点の方向は撮像画像と同じ向きのまま、歪みを補正する処理や明るさを調節する処理等を施した画像、もしくは、これらの処理を行わない撮像画像そのままの画像（これらを「リヤビューの画像」という）がモニタ５に表示される。

一方、障害物検出領域Ｄ２の領域内に障害物が存在する場合には、障害物検出手段９により検出され、障害物検出手段９からアナログ信号等が出力される。
なお、このとき障害物の検出を乗員にわかりやすくするために、警報が鳴るように構成されていても良い。

そして、この出力されたアナログ信号等はセンサーインターフェース１４に取り込まれ、マイクロコンピュータ１５を介してシリアル通信ライン１３により画像処理部３に送られ、画像処理部３内のスイッチＳＷ１、ＳＷ２は視点変換処理部７を選択するように切り替えられる。

このように視点変換処理部７が選択されると、外部メモリ６のＲＡＭ１１に記憶された撮像画像のデータについて、各画素毎にＲＯＭ１０に格納された視点変換テーブルにしたがって俯瞰変換処理が行われ、視点変換（俯瞰変換）された後のデータがＲＡＭ１２に記憶される。

そして、ＲＡＭ１２に記憶された俯瞰変換処理後の画像データはビデオエンコーダー４に出力され、ＮＴＳＣフォーマットに変換されてモニタ５に表示される。

すなわち、障害物検出領域Ｄ２の領域内に障害物が存在する場合には、俯瞰画像がモニタ５に表示される。この俯瞰画像は、図３に示すように、例えば車両から奥行き方向に１ｍ、路面から高さ方向に３ｍの所に位置する仮想リヤビューカメラ１’から見下ろして撮像した画像であり、領域Ｄ１’の領域内が映る。

なお、この領域Ｄ１’の奥行き方向の距離は、例えば、図３に示すように、車両後方の奥行き方向およそ３ｍであり、図２に示すリヤカメラ映像領域Ｄ１の奥行き方向の距離と比べ短い距離となる。

このように構成された本実施例に係る画像処理装置１００を備えたリヤビューカメラシステム２００によれば、車両Ａから所定距離内である障害物検出領域Ｄ２の範囲内に障害物が存在しない場合には、リヤビューの画像がモニタ５に表示されることになる。

このリヤビューの画像は、乗員の目視した背景画像と視点が大きく異なるというものではないため、乗員に違和感を与えることがない。

さらに、このときモニタ５には、図２に示すように、リヤカメラ映像領域Ｄ１の領域内が撮像された画像が表示されるため、車両後方の奥行き方向を遠くまで映すことができる。 このため、奥行き方向全体の状況（様子）を認識し易く、運転者等の乗員に安心感を与えることができる。

そして、車両Ａが後退することにより、車両Ａから所定距離内（障害物検出領域Ｄ２の領域内）に障害物が存在する場合には、モニタ５に表示される画像は、リヤビューの画像から俯瞰画像に表示が切り替わるように構成されている。このため、車両Ａが障害物に近づいたことを視覚的な変化として運転者に対して強く印象付けることができ、運転者の注意の意識を高めることができる。

また、このように所定距離内に障害物が存在する場合、すなわち車両Ａと障害物との距離間隔を正確に把握したい場合には俯瞰画像がモニタ５に表示されるため、車両Ａと障害物との距離間隔を正確に認識することができる。

さらに、このように構成された本実施例に係る画像処理装置１００を備えたリヤビューカメラシステム２００によれば、視点変換処理部７とスルー処理部８との切り替えを、シリアル通信ライン１３から出力される信号により切り替えられるスイッチを用いているため、簡単な構成により実現させることができる。

また、俯瞰変換処理を行うか否かの判断の基準となる車両Ａと障害物との間の距離（障害物検出領域Ｄ２の奥行き方向の検出距離Ｌ１）を、距離設定部１７により乗員が任意に設定できるため、乗員の個人差に対応することができる。

本実施形態の画像処理装置１００およびリヤビューカメラシステム２００の構成を示す機能ブロック図である。 図１のリヤビューカメラ１が車両Ａの後方を撮像する状態を示す説明図である。 図２のリヤビューカメラ１による撮像画像を俯瞰変換処理する場合の仮想視点を説明するための説明図である。

符号の説明

１ リヤビューカメラ
２ ビデオデコーダー
３ 画像処理部
４ ビデオエンコーダー
５ モニタ
６ 外部メモリ
７ 視点変換処理部
８ スルー処理部
９ 障害物検出手段
１０ ＲＯＭ
１１ ＲＡＭ
１２ ＲＡＭ
１３ シリアル通信ライン
１４ センサーインターフェース
１５ マイクロコンピュータ
１６ ＣＡＮ
１７ 距離設定部
１００ 画像処理装置
２００ リヤビューカメラシステム
ＳＷ１、ＳＷ２ スイッチ

Claims (3)

1. 入力された撮像画像に対して画像処理を行い、所定のモニタに出力する画像処理装置において、
   前記画像処理装置が設けられた車両に搭載された障害物検出手段が、前記車両から所定距離内で障害物を検出したときは前記撮像画像に対して俯瞰変換処理を行なった画像を出力する視点変換処理部と、前記所定距離内で障害物を検出しないときはリヤビューの画像を出力するスルー処理部と、前記視点変換処理部と前記スルー処理部とを択一的に切り替えるスイッチと、を備えていることを特徴とする画像処理装置。
2. 前記所定距離を任意に設定することができる距離設定部を備え、
   前記障害物検出手段は、前記障害物を検出する前記所定距離を変更することが可能であり、
   前記障害物検出手段の前記所定距離を、前記距離設定部により設定された前記所定距離に変更することを特徴とする請求項１に記載の画像処理装置。
3. 請求項１または２のいずれかに記載の画像処理装置と、前記画像処理装置に入力する画像を撮像するカメラと、前記画像処理装置から出力された画像を表示するモニタと、を備えたリヤビューカメラシステム。

Images