JP2005167528A - 車両周囲画像変換装置 - Google Patents

Abstract

【課題】画像提示の遅延を低減できる車両周囲画像変換装置を提供する。
【解決手段】車両に設置され、車両の周囲を撮像する複数のカメラ１ａ、１ｂと、カメラ１ａ、１ｂから出力される画像信号１０ａ、１０ｂを変換するＣＰＵ２と、カメラ１ａ、１ｂの数に対応して設けた入力バッファ３ａ、３ｂと、書き込みアドレスを格納するパターンメモリ４と、２面を有する出力バッファ５とを備え、ＣＰＵ２は、カメラ１ａ、１ｂに対して同期信号２０を出力し、カメラ１ａ、１ｂは、ＣＰＵ２から出力される同期信号２０をトリガに、ＣＰＵ２に対して画像信号１０ａ、１０ｂを出力し、ＣＰＵ２は、カメラ１ａ、１ｂからの画像信号１０ａ、１０ｂの出力にタイミングを合わせ、書き込みアドレスを用いて画像信号１０ａ、１０ｂに対応する画像データの出力バッファ５への書き込みを開始する。
【選択図】 図１

Description

本発明は、運転者の視界を補助するための運転支援システム等における車両周囲画像変換装置に関するものである。

車両の後進による車庫入れや幅寄せ、見通しの良くない交差点やＴ字路に車両を進入させる（頭出し）等の場面において、運転者の視界を補助するための運転支援システムにおける車両周囲画像変換装置が提供されている（下記特許文献１参照）。
車両周囲画像変換装置に備えられた電子式のカメラで撮像する箇所としては、リアビュー（車両後方）やブラインドコーナービュー（車両前方左右方向）等が挙げられる。運転者に対して複数方向の画像を同時に提供する必要性が増えている。このため、運転支援システムでは、複数のカメラを用いて車両の周囲の環境画像を撮像し、モニタの１画面に複数の画像をレイアウトして並べて表示させ、運転者に提示する用途が増えている。
以下、従来の車両周囲画像変換装置の構成および動作について説明する。例えばカメラで撮像する画像画像データの解像度と、運転者に提示するモニタの解像度をＶＧＡ（Video Graphics Array）（６４０×４８０画素）サイズを例として説明する。また、以下では、提示データ更新を１フレーム単位で処理する場合を例として説明する。
従来の車両周囲画像変換装置では、画像信号がカメラから伝送されてくる速度と、ＣＰＵ（中央演算処理装置）のアドレス変換処理（画像データの読み出し元である入力バッファの読み出しアドレスを用いた入力バッファからの画像データの読み出しアドレス変換処理と、画像データの書き込み先である出力バッファの書き込みアドレスを用いた出力バッファへの画像データの書き込みアドレス変換処理）の速度との差異を吸収するために、カメラとＣＰＵとの間には入力バッファが設けられている。入力バッファは、カメラ１台につき２面構成となっており、そのサイズは、カメラの解像度に対応し、６４０×４８０画素分のアドレス空間を備えている。これは、カメラから伝送される１フレーム分の画像データを入力バッファの１面に格納し終えると、ＣＰＵは、画像信号を格納した面をアドレス変換処理に当て、もう片面を次のフレームの画像データの受信に備えるということを繰り返すためである。ＣＰＵは、アドレス変換処理に当てられた２系統の入力バッファ内の画像データをパターンメモリに格納される入力バッファの読み出しアドレスに従って読み出しアドレス変換処理を行い、出力バッファに格納する。
複数のカメラから取得した画像をモニタの１画面に収まるように複数の画像をレイアウトして並べて提示する場合、カメラから伝送される画像信号の一部を間引きするアドレス変換処理を行い、表示することが一般的に行われる。すなわち、ＶＧＡサイズのカメラの２系統の画像信号は、間引きされ、モニタに表示されることが一般的である。なお、運転者に提示する画像のちらつきを防ぐため、ＣＰＵは、出力バッファへ１フレーム分の提示データのアドレス変換処理が完了した後、入力バッファの面切り替えに同期したタイミングでモニタに表示する。

特開平１１−３２８３６８号公報

しかしながら、上記の従来技術では、画像データの提示データ更新を１フレーム単位で処理する場合、アドレス変換処理を行うため、入力バッファにおいて１フレーム分、画像データを提示するタイミングを入力バッファの面の切り替えに同期させるとすると、出力バッファにおいて更に１フレーム分の、計２フレーム遅延することになる。これをテレビの画像信号方式であるＮＴＳＣ（National Television System Committee）（フレームレート２９．９７ｆｐｓ）を例に換算すると、画像変換装置の入出力遅延時間は６６ｍｓとなる。これは例えば、本画像変換装置にて相対時速３６ｋｍで動く物体を確認する場合、実在の位置と６６ｃｍずれて表示されることになる。本画像変換装置を、駐車や幅寄せ等の低速領域で使用する場合は多少の遅延が許容できるが、見通しの悪い交差点やＴ字路への進入や車両どうしのすり抜け、あるいは合流等の高速領域の場面で使用する場合は、安全面において不十分である。また、発進時、「実際の車両は動いているのにモニタ内画像は止まっている」、停車時、「実際の車両は止まっているのにモニタ内画像は動いている」という実際の車両の動きとモニタ内の画像の不一致が運転者に不快感を与える。このように画像提示の遅延は、車ならではの重要な問題点となる。
本発明は、以上の課題を解決し、その目的は、画像提示の遅延を低減できる車両周囲画像変換装置を提供することにある。

上記課題を解決するために、本発明は、車両に設置され、その周囲を撮像する単数あるいは複数のカメラから出力される画像信号を変換する画像変換部と、カメラの数に対応して設けた入力バッファと、書き込みアドレスを格納するパターンメモリと、２面を有する出力バッファとを備え、画像変換部は、カメラに対して同期信号を出力し、カメラは、画像変換部から出力される同期信号をトリガに、画像変換部に対して画像信号を出力し、画像変換部は、カメラからの画像信号の出力にタイミングを合わせ、書き込みアドレスを用いて画像信号を出力バッファに書き込む処理を開始するという構成になっている。

本発明によれば、画像提示の遅延を低減できる車両周囲画像変換装置を提供することができる。

以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図２は、本発明の実施の形態の車両周囲画像変換装置を説明するための図で、（ａ）は見通しの悪いＴ字路における自車両および他車両を上から見た図、（ｂ）は（ａ）の場合に自車両の車両周囲画像変換装置が備えるモニタが運転者に提示する画像の一例を示す図である。
すなわち、図２（ａ）に示すように、見通しの悪いＴ字路において、道路に自車両を進入させる場合に、図２（ｂ）に示すように、自車両の前方左右方向の近距離の状況であるブラインドコーナービューをレイアウトして、モニタに提示している様子を示す。図２（ａ）は、図２（ｂ）の画像を提示するタイミングでの車両状況を上から見た図である。
図２（ａ）において、１１は自車両、１２ａは自車両１１を基準として左方向から直進する他車両、１２ｂは自車両１１を基準として右方向から直進する他車両、１３ａは自車両１１の前方左に設置された１個のカメラ（ここでは図示省略。左カメラと称す）により撮像される撮像範囲、１３ｂは自車両１１の前方右に設置された１個のカメラ（ここでは図示省略。右カメラと称す）により撮像される撮像範囲である。
図２（ｂ）において、１４ａは左カメラにより撮像された自車両１１の左方向の画像、１４ｂは右カメラにより撮像された自車両１１の右方向の画像、１２ａ′は撮像された他車両１２ａの画像、１２ｂ′は撮像された他車両１２ｂの画像、１５は左右のブラインドコーナービューをモニタ上で区分けする仕切り線（マスク画像）である。

以下、車両周囲画像変換装置に接続するカメラを２台（すなわち、ＣＰＵに入力される画像信号が２系統）、カメラで撮像する画像データの解像度と、運転者に提示するモニタの解像度をＶＧＡ（６４０×４８０画素）サイズ、画像データの提示データ更新を１フレーム単位とする場合を例として、本発明の実施の形態の車両周囲画像変換装置の構成および動作について図面を用いて説明する。
図１は、本発明の実施の形態の車両周囲画像変換装置の構成を示す図である。
図１において、１ａ、１ｂは車両の周囲の所定位置に設置され、車両の周囲を撮像する電子式のカメラ、２はＣＰＵ（中央演算処理装置）、３ａ、３ｂは入力バッファ、４はパターンメモリ、５は出力バッファ、６はモニタ、１０ａ、１０ｂは画像信号、２０は同期信号、５０は提示データである。

カメラ１ａ、１ｂはＣＰＵ２から送出される同期信号２０をトリガとして１フレームの画像信号１０ａ、１０ｂの送信を開始する。例えば、カメラ１ａ、１ｂとＣＰＵ２間の画像伝送方式がＮＴＳＣの場合、ＣＰＵ２は、１フレーム分の時間間隔、すなわち３３ｍｓ単位で同期信号２０を送出することになる。
ＣＰＵ２は、同期信号２０の送出、アドレス変換処理を制御する。また、カメラ１ａ、１ｂの解像度（６４０×４８０画素）に対応する画素カウンタ（図示省略）を備えている。
入力バッファ３ａ、３ｂはそれぞれ、画像データを環状に格納するリングバッファから構成され、１カメラにつき１面構成となっており、そのサイズは、カメラ１ａ、１ｂの解像度に対応し、カメラ１系統に対して６４０×４８０画素分のアドレス空間を備えている。すなわち、カメラ１ａ、１ｂから伝送される１フレーム分の画像データを入力バッファ３ａ、３ｂの１面に格納し終えると、ＣＰＵ２は、次フレームの画像データを入力バッファ３０３の先頭番地から上書きして格納するように制御する。これは、到達した画像データを順次アドレス変換処理（書き込みアドレス変換処理）をしているため、例えば１フレーム３３ｍｓといった長期間画像データを保存しておく必要がないといったことから、１面構成となっている。
出力バッファ５は、モニタ６の解像度に対応するアドレス空間（６４０×４８０画素）を備えるものを２面有している。一方の面は、書き込み処理後の提示データ５０の格納用、もう一方の面は、モニタ６への出力処理用である。
パターンメモリ４は、カメラ１ａ、１ｂの数（すなわち、レイアウトの数）に対応する領域（あるいは面）を持ち、かつ、それぞれの領域は、モニタ６の解像度に対応するアドレス空間（６４０×４８０画素）を備えている。

図３は、パターンメモリ４のメモリマップの一例を示す図である。
図３において、４１は第１カメラ対応アドレス領域、４２は第２カメラ対応アドレス領域、４３は入力バッファ読み出しアドレス領域、４４は出力バッファ書き込みアドレス領域、４０１は第１画像データ対応入力バッファ読み出しアドレス領域、４０２は第１画像データ対応出力バッファ書き込みアドレス領域、４０３は第２画像データ対応入力バッファ読み出しアドレス領域、４０４は第２画像データ対応出力バッファ書き込みアドレス領域、４５ａ、４５ｂはポインタである。
例えば、図２（ｂ）に示したような２台のカメラ１ａ、１ｂで撮像した画像を並べてモニタ６に表示する場合、パターンメモリ４内の領域は、カメラ１ａの画像信号１０ａに対応するアドレス領域４１と、カメラ１ｂの画像信号１０ｂに対応するアドレス領域４２の２つに分割されている。また、１画素の画像データ（以下、画素データと称す）を複数アドレスに書き込むことに対応するため、車両周囲画像変換装置に入力される画素の画像データ順に前詰めして、読み出し元である入力バッファ３ａ、３ｂの読み出しアドレスがアドレス領域４３に、書き込み先である出力バッファ５の書き込みアドレスがアドレス領域４４に格納されている。すなわち、パターンメモリ４のアドレス変換マップは、入力バッファ３ａ、３ｂの読み出しアドレスと、出力バッファ５の書き込みアドレスの双方を備え、そのアドレス空間は、出力バッファ５のアドレス空間に準じる。また、アドレス領域４１、４２毎にポインタ４５ａ、４５ｂを備えており、複数の画像信号に対して個別にアドレス変換処理ができるようになっている。

図４は、アドレス変換処理におけるデータの流れを示す図である。
図４において、１６はバスである。
ＣＰＵ２は、同期信号（図１の２０）を送出後、アドレス変換処理対象となる画素データの入力バッファ読み出しアドレスをパターンメモリ４から読み出す（１）（図４では丸付き数字で示す）。入力された入力バッファ３ａ、３ｂ内にある画素データがアドレス変換の対象であった場合、ＣＰＵ２は、入力バッファ３ａ、３ｂから該画素データを取り出す（２）。その後、ＣＰＵ２は、パターンメモリ４から、出力バッファ書き込みアドレスを読み出し（３）、それに従って出力バッファ５の該当するアドレスに該画素データの書き込みを行う（４）。これをアドレス変換処理と称し、前者を読み出しアドレス変換処理、後者を書き込みアドレス変換処理と称す。

図５は、本実施の形態の車両周囲画像変換装置の動作を示す概念図である。
図５に示すように、２系統の画像信号は、同期して１画素ずつ一定の周期でＣＰＵ２に伝送される。ＣＰＵ２は、パターンメモリ４のアドレス変換マップを参照し、先頭の画像データが送達されたタイミングで、該当するもののみ出力バッファ５に順次書き込みを行う。ここで、図５に示すように１画素の画像データを複数アドレスにマッピングする処理に時間がかかったとしても、１フレーム分の画像データを一時的に入力バッファ３ａ、３ｂに格納していること、ＣＰＵ２の処理速度が画像データ伝送速度より十分速いことにより、問題はない。また、画像のちらつきを防ぐため、図１に示したように出力バッファ５をダブルバッファの構成にしたため、入出力遅延は出力バッファ５での１フレームのみとなる。なお、本実施の形態は、カメラの数、またモニタ６に表示するカメラ画像のレイアウトによらず、対応が可能である。
前述したようにカメラ１ａ、１ｂから出力される２系統の画像データ１０ａ、１０ｂに対応する第１画像データ、第２画像データは、同期信号（図１の２０）に同期して、１画素ずつ一定の周期で伝送される。ＣＰＵ２は、順次送達される第１画像データ、第２画像データにタイミングを合わせ、パターンメモリ４に従って出力バッファ５の第１書き込みアドレスに対してそれぞれの画像データを書き込む。すなわち、パターンメモリ４には、同期信号２０に同期して読み出しが開始され、第１、第２画像データの出力順に読み出し可能な出力バッファ５の第１、第２書き込みアドレスに格納されており、第１、第２画像データが出力される毎にパターンメモリ４から読み出される出力バッファ５の第１、第２書き込みアドレスに、第１、第２画像データが格納される。
すなわち、例えば、第１画像データから出力されたデータ（１２）は、パターンメモリ４に格納されている出力バッファ５への書き込みアドレス（０４）に基づいて出力バッファ５の書き込みアドレス（０４）に格納される。一方、同時刻に出力された第２画像データの出力データ（ＡＢ）は、パターンメモリ４に格納された出力バッファ５への書き込みアドレスに基づき、間引きされる。
また、第１画像データの出力データ（４９）は、パターンメモリ４に格納されている出力バッファ５への書き込みアドレスに基づき、間引きされる。一方、同時刻に出力された第２画像データの出力データ（０８）は、パターンメモリ４に格納された出力バッファ５への書き込みアドレス（０５）に基づいて出力用メモリ４の書き込みアドレス（０５）に格納される。
また、第１画像データの出力データ（６Ａ）は、パターンメモリ４に格納されている出力バッファ５への書き込みアドレス（０２）（０３）に基づいて出力バッファ５の書き込みアドレス（０２）（０３）に格納される。一方、同時刻に出力された第２画像データの出力データ（４５）は、パターンメモリ４に格納された出力バッファ５への書き込みアドレスに基づき、間引きされる。
さらに、第１画像データの出力データ（３８）は、パターンメモリ４に格納されている出力バッファ５への書き込みアドレス（０６）に基づき、出力バッファ５の書き込みアドレス（０６）に格納される。一方、同時刻に出力された第２画像データの出力データ（５Ｂ）は、パターンメモリ４に格納された出力バッファ５への書き込みアドレス（０１）（０７）（０８）に基づいて出力用バッファ５のアドレス（０１）（０７）（０８）に格納される。
このような操作を繰り返して１フレーム分の第１、第２画像データの伝送を完了し、次いで、２フレーム目の第１、第２画像データの伝送を引き続き行う。
以下、本実施の形態の車両周囲画像変換装置の動作の詳細をフローチャートを用いて説明する。
図６は、本実施の形態の車両周囲画像変換装置の動作を示すメインルーチンのフローチャートであり、図７は、サブルーチンのフローチャートである。
ＣＰＵ２は、一定周期間隔の同期信号２０をカメラ１ａ、１ｂに対して送信しつづける。例えば、画像伝送方式としてＮＴＳＣを用いた場合は、１フレーム分の時間間隔である３３ｍｓ周期でトリガ信号である同期信号２０を送出することになる。また、後に説明する画素カウンタ、およびアドレスポインタＮ１、Ｎ２（図３の４５ａ、４５ｂ）を同期信号２０の送出のタイミングで０にリセットし、画素カウンタによる制御を開始する（Ｓ６０１）。
ここで、複数カメラの同期をとる理由は２つある。１つ目は、カメラが複数あったとしても同時刻の情報を運転者に提示することができることである。２つ目は、ＣＰＵ２が書き込みアドレス変換処理をする際に、出力した同期信号２０に同期して複数のパターンメモリ４の情報を先頭番地から読みにいけばよいため、ＣＰＵ２の負荷が低減することである。
画素カウンタは、第１画像データ（図１のカメラ１ａからの画像信号１０ａに対応する画像データ。以下、同じ）および第２画像データ（図１のカメラ１ｂからの画像信号１０ｂに対応する画像データ。以下、同じ）の受信タイミングと出力バッファ５への書き込みタイミングを一致させる目的で備えられ、画素カウンタのカウントアップのタイミングでそれぞれのアドレス変換対象画素データは、それぞれのパターンメモリ４に格納される出力バッファ５の書き込みアドレス（出力バッファ書き込みアドレス）へ書き込まれる。画像伝送方式としてＮＴＳＣを用いた場合は、画像データに多重して伝送される水平同期信号をトリガにカウントアップを行う。あるいは、１フレームの伝送周期３３ｍｓ内でカメラ出力解像度分の画像データが送信されるため、カメラ出力解像度がＶＧＡサイズ（６４０×４８０画素）の場合は１０７ｎｓ単位でカウントアップさせてもよい。
ＣＰＵ２は、画素カウンタのカウント値が変化したかどうかを判定する（Ｓ６０２）。画素カウンタのカウント値が変化しない場合は、Ｓ６０２の前に戻る。
Ｓ６０２において、画素カウンタのカウント値が変化したこと、すなわち、画像データが到達したことを検知すると、まず、第１画像データの入力バッファ３ａの読み出しアドレス（入力バッファ読み出しアドレス）Ｎ１番地（初期値Ｎ１＝０）をパターンメモリから読み出す（Ｓ６０３）。

次に、サブルーチンＳＵＢ００を呼び出す（Ｓ６０４）。
図７に示すサブルーチンＳＵＢ００に進み、Ｓ６０３において読み出した入力バッファ読み出しアドレスと画素カウンタの値が一致したかどうか、すなわち、該画素データがアドレス変換対象であるかどうかを判定する。つまり、アドレス変換の対象となる１画素分の画像データが入力バッファ３ａに到達しているかどうかを判定する（Ｓ７０１）。
Ｓ７０１において、Ｓ６０３で読み出した入力バッファ読み出しアドレスと画素カウンタの値が一致したとき、すなわち、該画素データがアドレス変換対象であった場合、出力バッファ書き込みアドレスＮ１＝０を読み出し、該画素データをパターンメモリ４に従って該当する出力バッファ５に格納する（Ｓ７０２）。
次に、アドレスポインタＮ１（Ｎｘ）に１を加算し、第１画像データの入力バッファ読み出しアドレスＮ１＝１をパターンメモリから読み出す（Ｓ７０３）。 次に、Ｓ７０３において読み出した入力バッファ読み出しアドレスが１つ前のＮ１＝０と同じかどうかを判定する。すなわち、画素データが複数アドレスにマッピングするかどうかを判定する（Ｓ７０４）。
次に、Ｓ７０３において読み出した入力バッファ読み出しアドレスが１つ前のＮ１＝０と同じ場合、すなわち、画素データが複数アドレスにマッピングする場合は、Ｓ７０２の前に戻り、再度、出力バッファ書き込みアドレスＮ１＝１を読み出し、該画素データをパターンメモリ４に従って該当する出力バッファ５に格納する（Ｓ７０２）。
この書き込み操作は、画素データが上記条件に合致する間行われ、合致しない場合、すなわち、アドレス変換対象データがＣＰＵ２に到達していない場合は、サブルーチンＳＵＢ００のループを抜け、メインルーチンのＳ６０４の後に戻る（Ｓ７０４の判定がＮｏの場合）。

次に、ＣＰＵ２は、第２画像データのアドレス変換処理を前記第１画像データと同様に行う（Ｓ６０５、Ｓ６０６）。すなわち、第２画像データの入力バッファ３ｂの読み出しアドレス（入力バッファ読み出しアドレス）Ｎ２番地（初期値Ｎ２＝０）をパターンメモリから読み出し（Ｓ６０５）、次に、サブルーチンＳＵＢ００を呼び出す（Ｓ６０６）。
ＣＰＵ２は、上記動作を１フレーム分繰り返し、カウンタ値が６４０×４８０−１と一致したかどうか、すなわち、カメラから１フレーム分の画像信号が到達したかどうかを判定する（Ｓ６０７）。
Ｓ６０７において、カウンタ値が６４０×４８０−１と一致しない場合は、Ｓ６０２の前に戻る。
Ｓ６０７において、カウンタ値が６４０×４８０−１と一致したことを検知すると、出力バッファ５には運転者に提示する画像が全て格納されているので、出力バッファ５のバンクを切り替え、次のフレームの画像データを新たな面に書き込む。また、書き込みが完了した出力バッファ５のバンクは、運転者に提示するための処理にまわす（Ｓ６０８）。なお、出力バッファ５を２面とした理由は、運転者に提示する画像のちらつきを抑えるためである。

図８は、提示データ更新を１フレーム単位、アドレス変換処理を画素データ単位で行う場合における車両周囲画像変換装置の入出力タイミングチャートの一例である。
同期信号２０をトリガにカメラ１ａ、１ｂは、１フレームの画像データをＣＰＵ２に対して伝送するわけだが、実際はモニタ６に提示しない情報部である垂直ブランキング信号部を含む、ＮＴＳＣデコードされたディジタル画像信号をアドレス変換処理していくわけだが、パターンメモリ４の内容によって１フレームの処理時間が異なる場合が出てくる。カメラ１ａ、１ｂから最も遅く到達するｉ（６４０×４８０−１）番目の画素データを複数アドレス（最大６４０×４８０アドレス）に書き込む場合と、それをどこにも書き込まない場合の差等である。しかし、実際に運転者に画像を見せる場合、１画素を４アドレス（２倍ズーム）や９アドレス（３倍ズーム）にマッピングすることが限界と思われる。したがって、入出力遅延の観点から最も条件の悪いレイアウトのパターンメモリ４であったとしても垂直ブランキング時間内、すなわち、次フレームの画像データがＣＰＵ２に伝送されるまでにアドレス変換処理は完了する。
なお、画像データのモニタ６への出力のトリガは、同期信号２０、次フレームの画像データに多重される垂直同期信号とし、あるいは全画像データの格納完了をトリガとして非同期で行うことができ、それを固定して使用しても、選択して使用してもかまわない。

以上説明したように、本実施の形態の車両周囲画像変換装置は、車両に設置され、車両の周囲を撮像する複数のカメラ１ａ、１ｂ（単数でも可）と、カメラ１ａ、１ｂから出力される画像信号１０ａ、１０ｂを変換するＣＰＵ２と、カメラ１ａ、１ｂの数に対応して設けた入力バッファ３ａ、３ｂと、書き込みアドレスを格納するパターンメモリ４と、２面を有する出力バッファ５とを備えている。ＣＰＵ２は、カメラ１ａ、１ｂに対して同期信号２０を出力する。カメラ１ａ、１ｂは、ＣＰＵ２から出力される同期信号２０をトリガに、ＣＰＵ２に対して画像信号１０ａ、１０ｂを出力する。そして、ＣＰＵ２は、カメラ１ａ、１ｂからの画像信号１０ａ、１０ｂの出力にタイミングを合わせ、書き込みアドレスを用いて画像信号１０ａ、１０ｂに対応する画像データの出力バッファ５への書き込み（書き込みアドレス変換処理）を開始する。
このように、車両の周囲に設置された複数（単数でも可）の同期出力用カメラ１ａ、１ｂの画像信号１０ａ、１０ｂに対して、書き込みアドレス変換処理を行うこと、および運転者提示用パターンメモリ４の工夫された構成により、車両周囲画像変換装置における入出力遅延を低減させ、車両周囲の環境画像をリアルタイムに近い情報として提示することができ、安全運転を支援することができる。なお、例えば視点変換を行う際のように、画像の一部をズーム表示する必要がある場合等、１画素を複数のアドレスにマッピングするアドレス変換処理に対しても入出力遅延を低減させることが可能であり、具体的には、２フレーム（６６ｍｓ）の入出力遅延を最良で半分の１フレーム（３３ｍｓ）に低減することができる。
また、入力バッファ３ａ、３ｂとして、画像データを環状に格納するリングバッファを用いている。これにより、例えば１画素の画像データ信号をズーム等を行うために複数のアドレスにマッピングするようなアドレス変換処理に時間がかかった場合でも、画像データを環状に記録するリングバッファにより、カメラ１ａ、１ｂから伝送される画像データを一時的に格納していること、および前述のようにＣＰＵ２によるアドレス変換処理速度が、画像データのフレームレートより十分速いことから、車両周囲画像変換装置の入出力遅延が増大することはない。また、従来、前述のように１台のカメラに対して２面必要だったメモリを１面のみにすることができるので、メモリ容量を低減することができる。
また、パターンメモリ４は、ＣＰＵ２に出力される画像データの順に、すなわち、書き込みアドレス変換処理を行う順に、画像データの読み出し元である入力バッファ３ａ、３ｂの読み出しアドレスと、画像データの書き込み先である出力バッファ５の書き込みアドレスの双方を格納している。これにより、カメラ１ａ、１ｂから順次伝送される画像データに対して、リアルタイムで書き込みアドレス変換処理を行うことができる。
また、カメラ１ａ、１ｂを複数備え、パターンメモリ４は、カメラ１ａ、１ｂの数に対応する領域（あるいは面）を有し、書き込みアドレス変換処理の際にカメラ１ａ、１ｂが出力する画像信号１０ａ、１０ｂに応じて、パターンメモリ４の領域（面）を切り替えるようになっている。このようにパターンメモリ４が運転者に提示するレイアウトに応じてカメラ１ａ、１ｂの数量分の領域を備えることにより、運転者のニーズ、あるいは嗜好に合わせた画像を組み合わせてモニタ６に提示することができる。
また、書き込みアドレス変換処理の結果を、出力バッファ５の片面毎に書き込むようになっている。これにより、運転者に提示するモニタ６の画像のちらつきを抑制することができる。
また、全信号のアドレス変換処理が終了した後、書き込みアドレス変換処理の結果を、任意の出力トリガによりに出力し、運転者に提示することが可能である。この出力トリガは、車両周囲画像変換装置内部の周波数源により生成してもよいし、画像信号に多重される同期信号を用いてもよい。さらに、この出力トリガを選択して使用することも可能である。このような構成により、複数の出力トリガに対応してモニタ６への提示処理を行うことができるので、アドレス変換処理にかかる時間に応じて運転者に提示するタイミングを可変にすることができる。
なお、図１のＣＰＵ２が特許請求の範囲における画像変換部に、図３の出力バッファ書き込みアドレス４４が書き込みアドレスに、図１のモニタ６が表示器に相当する。
さらに以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。例えば、提示データ更新は、フレーム単位（６４０×４８０画素）のみでなくフィールド単位（６４０×２４０画素）で行うことも可能である。また、本アドレス変換処理は、画素データ単位だけでなくラスタ単位（６４０×１）、あるいは複数の画素データをまとめて行うことも可能である。また、パターンメモリ４は、レイアウトに応じて複数備えることができる。また、あらゆる解像度のカメラ、およびモニタに対応が可能である。

本発明の実施の形態の車両周囲画像変換装置の構成を示す図である。 （ａ）は本発明の実施の形態の車両周囲画像変換装置において、見通しの悪いＴ字路における自車両および他車両を上から見た図、（ｂ）は（ａ）の場合に自車両の車両周囲画像変換装置が備えるモニタが運転者に提示する画像の一例を示す図である。 本発明の実施の形態の車両周囲画像変換装置におけるパターンメモリのメモリマップの一例を示す図である。 本発明の実施の形態の車両周囲画像変換装置のアドレス変換処理におけるデータの流れを示す図である。 本発明の実施の形態の車両周囲画像変換装置の動作を示す概念図である。 本発明の実施の形態の車両周囲画像変換装置の動作を示すメインルーチンのフローチャートである。 本発明の実施の形態の車両周囲画像変換装置の動作を示すサブルーチンのフローチャートである。 本発明の実施の形態の車両周囲画像変換装置の入出力タイミングチャートの一例を示す図である。

符号の説明

１ａ、１ｂ…カメラ ２…ＣＰＵ
３ａ、３ｂ…入力バッファ ４…パターンメモリ
５…出力バッファ ６…モニタ
１０ａ、１０ｂ…画像信号 １１…自車両
１２ａ、１２ｂ…他車両 １２ａ′、１２ｂ′…他車両の画像
１３ａ、１３ｂ…撮像範囲 １４ａ、１４ｂ…画像
１５…仕切り線 １６…バス
２０…同期信号 ４５ａ、４５ｂ…ポインタ
５０…提示データ
４１…第１カメラ対応アドレス領域 ４２…第２カメラ対応アドレス領域
４３…入力バッファ読み出しアドレス領域
４４…出力バッファ書き込みアドレス領域
４０１…第１画像データ対応入力バッファ読み出しアドレス領域
４０２…第１画像データ対応出力バッファ書き込みアドレス領域
４０３…第２画像データ対応入力バッファ読み出しアドレス領域
４０４…第２画像データ対応出力バッファ書き込みアドレス領域

Claims (9)

1. 車両に設置され、前記車両の周囲を撮像する単数あるいは複数のカメラと、
   前記カメラから出力される画像信号を変換する画像変換部と、
   前記カメラの数に対応して設けた入力バッファと、
   書き込みアドレスを格納するパターンメモリと、
   ２面を有する出力バッファとを備え、
   前記画像変換部は、前記カメラに対して同期信号を出力し、
   前記カメラは、前記画像変換部から出力される前記同期信号をトリガに、前記画像変換部に対して前記画像信号を出力し、
   前記画像変換部は、前記カメラからの前記画像信号の出力にタイミングを合わせ、前記書き込みアドレスを用いて前記画像信号を前記出力バッファに書き込む書き込みアドレス変換処理を開始することを特徴とする車両周囲画像変換装置。
2. 前記入力バッファとして、前記画像信号を環状に格納するリングバッファを用いることを特徴とする請求項１記載の車両周囲画像変換装置。
3. 前記パターンメモリは、前記書き込みアドレス変換処理を行う順に、前記入力バッファの読み出しアドレスと、前記出力バッファの前記書き込みアドレスの双方を格納していることを特徴とする請求項１または２記載の車両周囲画像変換装置。
4. 前記カメラを複数備え、
   前記パターンメモリは、前記カメラの数に対応する領域を有し、
   前記書き込みアドレス変換処理の際に前記カメラが出力する前記画像信号に応じて、前記パターンメモリの前記領域を切り替えることを特徴とする請求項１ないし３のいずれか記載の車両周囲画像変換装置。
5. 前記書き込みアドレス変換処理の結果を、前記出力バッファの片面毎に書き込むことを特徴とする請求項１ないし４のいずれか記載の車両周囲画像変換装置。
6. 前記書き込みアドレス変換処理の結果を、出力トリガにより表示器に出力することを特徴とする請求項１ないし５のいずれか記載の車両周囲画像変換装置。
7. 前記出力トリガを、前記車両周囲画像変換装置内部の周波数源により生成することを特徴とする請求項６記載の車両周囲画像変換装置。
8. 前記出力トリガとして前記画像信号に多重される同期信号を用いることを特徴とする請求項６記載の車両周囲画像変換装置。
9. 前記出力トリガを選択して使用可能なことを特徴とする請求項６ないし８のいずれか記載の車両周囲画像変換装置。

Images