JP2010171766A - 画像処理装置 - Google Patents

Abstract

【構成】カメラＣ＿１〜Ｃ＿４は、自動車に設けられて斜め下方向の被写界を捉える。メモリ制御回路１２は、カメラＣ＿１〜Ｃ＿４から繰り返し出力される被写界像Ｐ＿１〜Ｐ＿４を、ＳＤＲＡＭ１４を利用して鳥瞰画像ＢＥＶ＿１〜ＢＥＶ４に変換する。ＣＰＵ２０は、カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係を繰り返し変更し、メモリ制御回路１２の負荷が基準値を上回るか否かを位相変更処理と並列して繰り返し判別する。判別結果が否定的な結果から肯定的な結果に更新されると、メモリ制御回路１２の画像変換特性がＣＰＵ２０によって変更される。判別結果が否定的な結果から肯定的な結果に更新されることなく既定期間が経過すると、メモリ制御回路１２の画像変換特性がＣＰＵ２０によって確定される。
【効果】鳥瞰画像の再現性が自動車毎に適正化される。
【選択図】図１

Description

この発明は、画像処理装置に関し、特に、移動体に設けられて斜め下方向の被写界を捉える複数のカメラから繰り返し出力される被写界像を鳥瞰画像に変換する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、複数のカメラが車両に設置され、車両上方を視点とする画像つまり鳥瞰画像がこれらのカメラの出力に基づいて作成される。作成された鳥瞰画像は、モニタ画面に表示される。車両の四隅には、４つのコーナーセンサがそれぞれ設置される。車両に近接する障害物がこれらのコーナーセンサのいずれか１つによって検知されると、障害物を検知したコーナーセンサの設置位置に対応して既定のマークがモニタ画面に表示される。これによって、運転者は、モニタ画面を通して障害物の存在を認識することができる。

また、同様の装置が平成１９年１２月４日付けで提出された特願２００７−３１３１０３号に開示されている。この装置によれば、一旦画像メモリに蓄えられた入力画像は、ＬＵＴに従って読み出され、かつ合成される。合成画像は、フレームメモリに一旦保存されることなく出力される。

特開２００７−１８０６２２号公報

しかし、鳥瞰画像を作成するときの負荷は、複数のカメラから出力される元画像の位相関係や元画像を鳥瞰画像に変換するときの変換特性によって相違するし、さらには複数のカメラの設置状況によっても相違する。そして、鳥瞰画像を作成するときの負荷が過大になると、鳥瞰画像の再現性の低下を引き起こす。

また、上述の先行出願に係る装置では、外部カメラから入力される画像を蓄えるメモリの読み出し能力が高くなければならない。たとえば、ランダムアクセス性に優れた高速なＳＲＡＭを複数個用い、画像メモリを構成するなどしなければならない。一般に、高価な高速ＳＲＡＭを複数個用いることは製品価格を高めるため、比較的安価なＳＤＲＡＭを用いることが好ましいし、さらには消費電力が低い製品を作ることが好ましい。また、より安価にするためには、そのＳＤＲＡＭの個数を必要最小限に留める必要がある。

それゆえに、この発明の主たる目的は、鳥瞰画像の再現性を移動体毎に適正化できる、画像処理装置を提供することである。

この発明に従う画像処理装置（図１の１０参照）は、移動体（図２の１００参照）に設けられて斜め下方向の被写界を捉える複数のカメラ（図１のＣ＿１〜Ｃ＿４参照）から繰り返し出力される被写界像を鳥瞰画像に変換する変換手段（図１の１２参照）、複数のカメラから出力される被写界像の位相関係を繰り返し変更する位相変更手段（図１１〜図１２のＳ１５，Ｓ１７，Ｓ３３参照）、変換手段の負荷が基準を上回るか否かを位相変更手段の変更処理と並列して繰り返し判別する判別手段（図１１〜図１２のＳ２１〜Ｓ２７参照）、判別手段の判別結果が否定的な結果から肯定的な結果に更新されたとき変換手段の変換特性を変更する特性変更手段（図１２のＳ３７参照）、および判別手段の判別結果が否定的な結果から肯定的な結果に更新されることなく既定期間が経過したとき変換手段の変換特性を確定させる確定手段（図１２のＳ３５参照）を備える。

変換手段は、移動体に設けられて斜め下方向の被写界を捉える複数のカメラから繰り返し出力される被写界像を鳥瞰画像に変換する。複数のカメラから出力される被写界像の位相関係は、位相変更手段によって繰り返し変更される。判別手段は、変換手段の負荷が基準を上回るか否かを、位相変更手段の変更処理と並列して繰り返し判別する。判別手段の判別結果が否定的な結果から肯定的な結果に更新されると、変換手段の変換特性が特性変更手段によって変更される。

このように、複数のカメラから出力される被写界像の位相関係は繰り返し変更され、変換手段の負荷はこのような位相変更処理と並列して繰り返し判別される。変換手段の変換特性は、既定期間が経過する前に変換手段の負荷が基準を上回ったとき、別の変換特性に変更される。変換手段の負荷が基準を上回ることなく既定期間が経過すると、変換特性が確定される。これによって、鳥瞰画像の再現性が移動体毎に適正化される。

好ましくは、位相変更手段は第１周期で位相変更処理を実行し、判別手段は第１周期よりも短い第２周期で判別処理を実行し、既定期間は第１周期に相当する期間よりも長い。

好ましくは、変換手段は複数のカメラから出力された被写界像をメモリ（図１の１４参照）に書き込む書き込み手段（図６の３２ａ〜３２ｄ，３４参照）を含み、変換手段および判別手段はそれぞれ書込み手段によってメモリに格納された被写界像に注目して変換処理および判別処理を実行する。

好ましくは、位相変更手段は、複数のカメラを停止する停止手段（図１３のＳ５１参照）、および複数のカメラを互いに異なるタイミングで起動する起動手段（図１３のＳ５３〜Ｓ５９参照）を含む。

好ましくは、変換手段によって変換された鳥瞰画像を移動体の操作者に向けて表示する表示手段（図１の１８参照）がさらに備えられる。

好ましくは、変換手段の変換特性を定義するパラメータは鳥瞰画像の解像度および／またはフレームレートを含む。

この発明に従う画像処理装置（図１の１０参照）は、移動体（図２の１００参照）に設けられて斜め下方向の被写界を捉える複数のカメラ（図１のＣ＿１〜Ｃ＿４参照）から繰り返し出力される被写界像を鳥瞰画像に変換する変換手段（図１の１２参照）、複数のカメラから出力される被写界像の位相関係を変換手段の負荷が最大となる位相関係に設定する設定手段（図１５のＳ６１参照）、および変換手段の負荷が基準を上回るか否かを設定手段の設定処理に関連して繰り返し判別する判別手段（図１５〜図１６のＳ２１〜Ｓ２７参照）を備え、変換手段の負荷が計測期間において常に負荷を超えないと判断される場合に変換手段の変換特性を確定する。

このように、複数のカメラから出力される被写界像の位相関係は変換手段の負荷が最大となる位相関係に設定され、変換手段の負荷はこのような位相設定処理と並列して繰り返し判別される。変換手段の変換特性は、既定期間が経過する前に変換手段の負荷が基準を上回ったとき、別の変換特性に変更される。変換手段の負荷が基準を上回ることなく既定期間が経過すると、変換特性が確定される。これによって、鳥瞰画像の再現性がそれぞれの移動体の表示画面毎に適正化される。

この発明によれば、複数のカメラから出力される被写界像の位相関係は、繰り返し変更されるか、或いは変換手段の負荷が最大となる位相関係に設定される。変換手段の負荷はこのような位相変更処理または位相設定処理に関連して繰り返し判別される。変換手段の変換特性は、既定期間が経過する前に変換手段の負荷が基準を上回ったとき、別の変換特性に変更される。変換手段の負荷が基準を上回ることなく既定期間が経過すると、変換特性が確定される。これによって、鳥瞰画像の再現性がそれぞれの移動体の表示画面毎に適正化される。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の構成を示すブロック図である。 （Ａ）は自動車の正面を眺めた状態を示す図解図であり、（Ｂ）は自動車の右側面を眺めた状態を示す図解図であり、（Ｃ）は自動車の背面を眺めた状態を示す図解図であり、（Ｄ）は自動車の左側面を眺めた状態を示す図解図である。 自動車に取り付けられたカメラＣ＿１〜Ｃ＿４によって捉えられる視野の一例を示す図解図である。 複数のカメラによって生成された複数の被写界像に基づく全周鳥瞰画像の一例を示す図解図である。 表示装置によって表示される操縦支援画像の一例を示す図解図である。 図１実施例に適用されるメモリ制御回路の構成の一例を示すブロック図である。 図１実施例のＣＰＵによって参照されるテーブルの一例を示す図解図である。 （Ａ）は図１実施例のカメラＣ＿１〜Ｃ＿４によってそれぞれ参照される垂直同期信号Ｖｓｙｎｃ＿１〜Ｖｓｙｎｃ＿４の位相関係の一例を示すタイミング図であり、（Ｂ）は図１実施例のカメラＣ＿１〜Ｃ＿４によってそれぞれ参照される垂直同期信号Ｖｓｙｎｃ＿１〜Ｖｓｙｎｃ＿４の位相関係の他の一例を示すタイミング図であり、（Ｃ）は図１実施例のカメラＣ＿１〜Ｃ＿４によってそれぞれ参照される垂直同期信号Ｖｓｙｎｃ＿１〜Ｖｓｙｎｃ＿４の位相関係のその他の一例を示すタイミング図である。 図１実施例に適用されるＣＰＵの動作の一部を示すタイミング図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 他の実施例に適用されるメモリ制御回路の構成の一例を示すブロック図である。 他の実施例に適用されるＣＰＵの動作の一部を示すタイミング図である。 他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

図１に示すこの実施例の操縦支援装置（画像処理装置）１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１は水平同期信号Ｈｓｙｎｃ＿１および垂直同期信号Ｖｓｙｎｃ＿１に応答して被写界像Ｐ＿１を繰り返し生成し、カメラＣ＿２は水平同期信号Ｈｓｙｎｃ＿２および垂直同期信号Ｖｓｙｎｃ＿２に応答して被写界像Ｐ＿２を繰り返し生成する。また、カメラＣ＿３は水平同期信号Ｈｓｙｎｃ＿３および垂直同期信号Ｖｓｙｎｃ＿３に応答して被写界像Ｐ＿３を繰り返し生成し、カメラＣ＿４は水平同期信号Ｈｓｙｎｃ＿４および垂直同期信号Ｖｓｙｎｃ＿４に応答して被写界像Ｐ＿４を繰り返し生成する。

被写界像Ｐ＿１は水平同期信号Ｈｓｙｎｃ＿１および垂直同期信号Ｖｓｙｎｃ＿１とともにメモリ制御回路１２に与えられ、被写界像Ｐ＿２は水平同期信号Ｈｓｙｎｃ＿２および垂直同期信号Ｖｓｙｎｃ＿２とともにメモリ制御回路１２に与えられる。また、被写界像Ｐ＿３は水平同期信号Ｈｓｙｎｃ＿３および垂直同期信号Ｖｓｙｎｃ＿３とともにメモリ制御回路１２に与えられ、被写界像Ｐ＿４は水平同期信号Ｈｓｙｎｃ＿４および垂直同期信号Ｖｓｙｎｃ＿４とともにメモリ制御回路１２に与えられる。

メモリ制御回路１２は、水平同期信号Ｈｓｙｎｃ＿１および垂直同期信号Ｖｓｙｎｃ＿１に応答して被写界像Ｐ＿１をＳＤＲＡＭ１４のメモリエリアＦ＿１に書き込み、水平同期信号Ｈｓｙｎｃ＿２および垂直同期信号Ｖｓｙｎｃ＿２に応答して被写界像Ｐ＿２をＳＤＲＡＭ１４のメモリエリアＦ＿２に書き込む。メモリ制御回路１２はまた、水平同期信号Ｈｓｙｎｃ＿３および垂直同期信号Ｖｓｙｎｃ＿３に応答して被写界像Ｐ＿３をＳＤＲＡＭ１４のメモリエリアＦ＿３に書き込み、水平同期信号Ｈｓｙｎｃ＿４および垂直同期信号Ｖｓｙｎｃ＿４に応答して被写界像Ｐ＿４をＳＤＲＡＭ１４のメモリエリアＦ＿４に書き込む。

図２（Ａ）〜図２（Ｄ）を参照して、操縦支援装置１０は、地面を走行する自動車１００に搭載される。具体的には、カメラＣ＿１は、自動車１００の前方斜め下を向く姿勢で、自動車１００の前部のほぼ中央に設置される。カメラＣ＿２は、自動車１００の右斜め下を向く姿勢で、自動車１００の右側の幅方向ほぼ中央でかつ高さ方向上側に設置される。カメラＣ＿３は、自動車１００の後方斜め下を向く姿勢で、自動車１００の後部の幅方向ほぼ中央でかつ高さ方向上側に設置される。カメラＣ＿４は、自動車１００の左斜め下を向く姿勢で、自動車１００の左側の幅方向ほぼ中央でかつ高さ方向上側に設置される。

自動車１００とその周辺の地面とを鳥瞰した状態を図３に示す。図３によれば、カメラＣ＿１は自動車１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は自動車１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は自動車１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は自動車１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。

図１に戻って、メモリ制御回路１２に設けられたルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３は、互いに異なる変換特性を有する。つまり、ルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３は被写界像Ｐ＿１〜Ｐ＿４を後述する鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換するために（カメラＣ＿１〜Ｃ＿４が同一機種である場合は）共通の歪み補正曲線を有するものの、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿１〜ＢＥＶ＿４の解像度はルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３の間で相違する。したがって、メモリ制御回路１２の負荷は、ルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３のいずれを参照するかによって異なる。

より具体的には、ルックアップテーブルＬＵＴ＿１を参照して作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は高解像度を有し、ルックアップテーブルＬＵＴ＿２を参照して作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は中解像度を有し、そしてルックアップテーブルＬＵＴ＿３を参照して作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は低解像度を有する。この結果、メモリ制御回路１２の負荷は、ルックアップテーブルＬＵＴ＿１を参照する場合に最大となり、ルックアップテーブルＬＵＴ＿３を参照する場合に最低となる。

なお、ここでは説明を簡単にするため解像度が高い場合にメモリ負荷が大となるようにしているが、実際は、歪補正および鳥瞰変換を行った場合のメモリ負荷は入力画像の読み出しのランダム性に依存する。即ち、ＳＤＲＡＭのバースト読み出しを有効に利用できないランダム読み出しが多い表示画像（ＬＵＴ）ほどメモリ負荷が最大となる。このメモリ負荷の大小の判定は容易には判定できないため、以下では、簡単のため、解像度が高い場合にメモリ負荷が大として説明する。

なお、ルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３の歪み補正曲線は、カメラＣ＿１〜Ｃ＿４を自動車１００に装着した後のキャリブレーション作業によって調整される。

電源が投入されたとき、ＣＰＵ２０は、制御プログラムに従い決定されレジスタＲＧＳＴに指定登録されるＬＵＴ識別子に対応するルックアップテーブルを参照ＬＵＴとして選択する。出荷段階では、ルックアップテーブルＬＵＴ＿１を識別するＬＵＴ識別子がレジスタＲＧＳＴに登録される。後述する初期化操作が行われると、自動車１００に適するルックアップテーブルがルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３の中から特定される。レジスタＲＧＳＴに登録されたＬＵＴ識別子は、特定されたルックアップテーブルのＬＵＴ識別子によって更新される。

メモリ制御回路１２は、参照ＬＵＴを利用して、メモリエリアＦ＿１に格納された被写界像Ｐ＿１の一部を鳥瞰画像ＢＥＶ＿１に変換し、メモリエリアＦ＿２に格納された被写界像Ｐ＿２の一部を鳥瞰画像ＢＥＶ＿２に変換し、メモリエリアＦ＿３に格納された被写界像Ｐ＿３の一部を鳥瞰画像ＢＥＶ＿３に変換し、そしてメモリエリアＦ＿４に格納された被写界像Ｐ＿４の一部を鳥瞰画像ＢＥＶ＿４に変換する。

図４を参照して、鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１の一部を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２の一部を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３の一部を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４の一部を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。

こうして変換された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、バッファ１６に一旦格納された後、自動車１００の運転席に設置された表示装置１８に与えられる。表示装置１８は、与えられた鳥瞰画像ＢＥＶ＿１〜ＢＥＶ４をモニタ画面に表示し、かつ自動車１００の上部を模したグラフィック画像Ｇ１を表示画像に多重する。この結果、図６に示す操縦支援画像が完成する。上述のように、モニタ画面に表示された操縦支援画像の解像度は、ルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３のいずれが参照ＬＵＴとされたかによって相違する。

メモリ制御回路１２は、図６に示すように構成される。書き込みアドレス生成回路３２ａは、カメラＣ＿１から与えられた水平同期信号Ｈｓｙｎｃ＿１および垂直同期信号Ｖｓｙｎｃ＿１に基づいて書き込みアドレスを生成し、生成された書き込みアドレスを調停回路３４に与える。調停回路３４は、カメラＣ＿１から出力された被写界像Ｐ＿１を、書き込みアドレス生成回路３２ａから与えられた書き込みアドレスを参照してメモリエリアＦ＿１に書き込む。

書き込みアドレス生成回路３２ｂは、カメラＣ＿２から与えられた水平同期信号Ｈｓｙｎｃ＿２および垂直同期信号Ｖｓｙｎｃ＿２に基づいて書き込みアドレスを生成し、生成された書き込みアドレスを調停回路３４に与える。調停回路３４は、カメラＣ＿２から出力された被写界像Ｐ＿２を、書き込みアドレス生成回路３２ｂから与えられた書き込みアドレスを参照してメモリエリアＦ＿２に書き込む。

書き込みアドレス生成回路３２ｃは、カメラＣ＿３から与えられた水平同期信号Ｈｓｙｎｃ＿３および垂直同期信号Ｖｓｙｎｃ＿３に基づいて書き込みアドレスを生成し、生成された書き込みアドレスを調停回路３４に与える。調停回路３４は、カメラＣ＿３から出力された被写界像Ｐ＿３を、書き込みアドレス生成回路３２ｃから与えられた書き込みアドレスを参照してメモリエリアＦ＿３に書き込む。

書き込みアドレス生成回路３２ｄは、カメラＣ＿４から与えられた水平同期信号Ｈｓｙｎｃ＿４および垂直同期信号Ｖｓｙｎｃ＿４に基づいて書き込みアドレスを生成し、生成された書き込みアドレスを調停回路３４に与える。調停回路３４は、カメラＣ＿４から出力された被写界像Ｐ＿４を、書き込みアドレス生成回路３２ｄから与えられた書き込みアドレスを参照してメモリエリアＦ＿４に書き込む。

画像変換回路３６に設けられた表示アドレス生成回路３８は、回路内で生成する水平同期信号Ｈｓｙｎｃ＿５および垂直同期信号Ｖｓｙｎｃ＿５に基づいて、表示アドレスを生成する。読み出しアドレス生成回路４０は、ルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３の１つを参照ＬＵＴとしてみなし、表示アドレス生成回路３８から出力される参照ＬＵＴ読み出しアドレスで指定されるアドレスを参照ＬＵＴから読み出し、この参照ＬＵＴから読み出したＳＤＲＡＭ１４に対する読み出しアドレスを調停回路３４に与える。

調停回路３４は、与えられた読み出しアドレスを参照してメモリエリアＦ＿１〜Ｆ＿４から被写界像Ｐ＿１〜Ｐ＿４の一部を読み出す。これによって、被写界像Ｐ＿１〜Ｐ＿４が鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換される。変換された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、バッファ１６に向けて出力される。

カメラＣ＿１〜Ｃ＿４からＳＤＲＡＭ１４へのアクセス動作ならびに表示装置１６からＳＤＲＡＭ１４へのアクセス動作は、調停回路３４によって選択的に実行される。したがって、メモリ制御回路１２の負荷は、カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係，被写界像Ｐ＿１〜Ｐ＿４を鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換するときの変換特性，カメラＣ＿１〜Ｃ＿４の設置状況つまり被写界像Ｐ＿１〜Ｐ＿４の歪みの程度などによって相違する。そして、メモリ制御回路１２の負荷の増大は、操縦支援画像の再現性の低下を引き起こす。このように、カメラの種類、カメラ設置位置や表示する変換画像が変わるとメモリ制御回路の負荷が変化する。また、非同期カメラを使用する場合は、各カメラ間の入力映像の同期の位相が常に変動するため、これに合わせてメモリ制御回路の負荷も変動する。

そこで、この実施例では、互いに異なる変換特性を有するルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３を準備するとともに、図７に示す起動タイミングテーブルＴＢＬを準備し、キー入力装置２０によって初期設定操作を受け付けたときに以下に述べる要領で参照ＬＵＴを確定するようにしている。

まずルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３のいずれか１つを選択すべき旨の命令が読み出しアドレス生成回路３８に与えられる。読み出しアドレス生成回路３８は、所望のルックアップテーブルを参照ＬＵＴとして決定し、参照ＬＵＴを利用して表示アドレスに対応する読み出しアドレスを生成する。

続いて、図７に示す起動タイミングテーブルＴＢＬを形成する複数のカラムのいずれか１つが指定される。図７によれば、起動タイミングテーブルはタイミング情報ＡＣＴ＿２〜ＡＣＴ＿４が各々に記述されたＰｍａｘ個のカラムを有する。タイミング情報ＡＣＴ＿２は、カメラＣ＿１を起動してからカメラＣ＿２を起動するまでの時間差（＝＋α１，＋α２，＋α３，…＋αｍａｘ）を示す。タイミング情報ＡＣＴ＿３は、カメラＣ＿１を起動してからカメラＣ＿３を起動するまでの時間差（＝＋β１，＋β２，＋β３，…＋βｍａｘ）を示す。タイミング情報ＡＣＴ＿４は、カメラＣ＿１を起動してからカメラＣ＿４を起動するまでの時間差（＝＋γ１，＋γ２，＋γ３，…＋γｍａｘ）を示す。

カラム指定が完了すると、カメラＣ＿１〜Ｃ＿４が一旦停止され、その後にカメラＣ＿１が速やかに起動される。カメラＣ＿２は指定カラムのタイミング情報ＡＣＴ＿２に従うタイミングで起動され、カメラＣ＿３は指定カラムのタイミング情報ＡＣＴ＿３に従うタイミングで起動され、そしてカメラＣ＿４は指定カラムのタイミング情報ＡＣＴ＿４に従うタイミングで起動される。このようなカメラＣ＿１〜Ｃ＿４の再起動によって、カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係が指定カラムに対応する位相関係に調整される。

たとえば、ＰＴＮ＝１に対応するカラムが指定されたときは図８（Ａ）に示す垂直同期信号Ｖｓｙｎｃ＿１〜Ｖｓｙｎｃ＿４に対応する位相関係が確立され、ＰＴＮ＝２に対応するカラムが指定されたときは図８（Ｂ）に示す垂直同期信号Ｖｓｙｎｃ＿１〜Ｖｓｙｎｃ＿４に対応する位相関係が確立され、そしてＰＴＮ＝３に対応するカラムが指定されたときは図８（Ｃ）に示す垂直同期信号Ｖｓｙｎｃ＿１〜Ｖｓｙｎｃ＿４に対応する位相関係が確立される。なお、メモリ制御回路１２の負荷は、垂直同期信号Ｖｓｙｎｃ＿１〜Ｃｓｙｎｃ＿４の位相が完全に一致したときに最大となる場合が多い。

位相関係の調整が完了すると、タイマＴＭ１およびタイマＴＭ２のリセット＆スタートを実行する。タイマＴＭ１は時間Ｔ１の測定を開始し、タイマＴＭ２は時間Ｔ２の測定を開始する。ここで、時間Ｔ１は時間Ｔ２よりも長く、好ましくは時間Ｔ１は時間Ｔ２の整数倍に相当する。

図９を参照して、タイマＴＭ２にタイムアウトが発生すると、バッファ１６に残存する鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４のデータ量を参照してメモリ制御回路１２の負荷が算出され、算出された負荷の大きさが判別される。算出された負荷の大きさが基準値ＲＥＦ以下であれば、タイマＴＭ１にタイムアウトが発生しない限り、タイマＴＭ２のリセット＆スタートが実行され、時間Ｔ２が経過する毎にメモリ制御回路１２の負荷が判別される。

タイマＴＭ１にタイムアウトが発生するまでメモリ制御回路１２の負荷が基準値ＲＥＦ以下を維持すれば、起動タイミングテーブルＴＢＬを形成する他のカラムが指定される。カメラＣ＿１〜Ｃ＿４は新たに指定されたカラムに記述されたタイミング情報ＡＣＴ＿２〜ＡＣＴ＿４に従うタイミングで再起動され、これによってカメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係が変更される。上述したメモリ制御回路１２の負荷判別は、変更後の位相関係に対応して時間Ｔ２毎に実行される。

起動タイミングテーブルＴＢＬ上のいずれかのカラムに対応して、メモリ制御回路１２の負荷の大きさが基準値ＲＥＦを上回ると、現時点の参照ＬＵＴは自動車１００に適しないとみなされ、参照ＬＵＴが他のルックアップテーブルに変更される。上述したメモリ制御回路１２の負荷判別は、変更後の参照ＬＵＴに対応して改めて実行される。

メモリ制御回路１２の負荷の大きさが“Ｔ１＊Ｐｍａｘ”に相当する期間にわたって基準値ＲＥＦ以下であれば、現時点の参照ＬＵＴが自動車１００に適するルックアップテーブルとみなされ、現時点の参照ＬＵＴを識別するＬＵＴ識別子がレジスタＲＧＳＴに登録される。

このように、カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係は繰り返し変更され、メモリ制御回路１２の負荷はこのような位相変更処理と並列して繰り返し判別される。参照ＬＵＴは、“Ｔ１＊Ｐｍａｘ”に相当する期間が経過する前にメモリ制御回路１２の負荷が基準値ＲＥＦを上回ったとき、別のルックアップテーブルに変更される。メモリ制御回路１２の負荷が基準値ＲＥＦを上回ることなく“Ｔ１＊Ｐｍａｘ”に相当する期間が経過すると、参照ＬＵＴが確定される。これによって、操縦支援画像の再現性が自動車１００毎に適正化される。

ＣＰＵ２０は、具体的には図１０〜図１３に示す画像再現処理を含む複数の処理を実行する。なお、これらの処理に対応する制御プログラムは、フラッシュメモリ２４に記憶される。

図１０を参照して、ステップＳ１では、レジスタＲＧＳＴに登録されたＬＵＴ識別子を検出し、検出されたＬＵＴ識別子に対応するルックアップテーブルの選択を読み出しアドレス生成回路３８に命令する。読み出しアドレス生成回路３８は、所望のルックアップテーブルを参照ＬＵＴとし、参照ＬＵＴを利用して表示アドレスを読み出しアドレスに変換する。ステップＳ３ではカメラＣ＿１〜Ｃ＿４を起動し、ステップＳ５では表示装置１８を起動する。

この結果、被写界像Ｐ＿１〜Ｐ＿４がカメラＣ＿１〜Ｃ＿４からそれぞれ出力され、出力された被写界像Ｐ＿１〜Ｐ＿４がメモリ制御回路１２によって鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に変換される。表示装置１８には、変換された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に基づく操縦支援画像が表示される。キー入力装置２２上で初期設定操作が行われると、ステップＳ７でＹＥＳと判別し、ステップＳ９でＬＵＴ確定処理を実行する。ＬＵＴ確定処理が完了すると、ステップＳ７に戻る。

ステップＳ９のＬＵＴ確定処理は、図１１〜図１３に示すサブルーチンに従って実行される。まずステップＳ１１で変数Ｔを“１”に設定し、ステップＳ１３でルックアップテーブルＬＵＴ＿Ｔの選択を読み出しアドレス生成回路３８に命令する。読み出しアドレス生成回路３８は、所望のルックアップテーブルを参照ＬＵＴとして利用し、表示アドレスを読み出しアドレスに変換する。

ステップＳ１５では変数ＰＴＮを“１”に設定し、ステップＳ１７では位相設定処理を実行する。カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係は、変数ＰＴＮに対応する位相関係に調整される。位相関係の調整が完了すると、ステップＳ１９でタイマＴＭ１のリセット＆スタートを実行し、さらにステップＳ２１でタイマＴＭ２のリセット＆スタートを実行する。タイマＴＭ１は時間Ｔ１の測定を開始し、タイマＴＭ２は時間Ｔ２の測定を開始する。

タイマＴＭ２にタイムアウトが発生すると、ステップＳ２３からステップＳ２５に進み、バッファ１６に残存する鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４のデータ量を参照してメモリ制御回路１２の負荷を算出する。ステップＳ２７では、算出された負荷の大きさが基準値ＲＥＦを上回るか否かを判別し、ＮＯであればステップＳ２９に進む一方、ＹＥＳであればステップＳ３７に進む。

ステップＳ２９ではタイマＴＭ１にタイムアウトが発生したか否かを判別し、ステップＳ３１では変数ＰＴＮが最大値Ｐｍａｘに達したか否かを判別する。ステップＳ２９でＮＯであれば、ステップＳ２１に戻る。ステップＳ２９でＹＥＳである一方、ステップＳ３１でＮＯであれば、ステップＳ３３で変数ＰＴＮをインクリメントしてからステップＳ１７に戻る。ステップＳ２９およびＳ３１のいずれもＹＥＳであれば、ステップＳ３５に進み、ルックアップテーブルＬＵＴ＿Ｔの識別子をレジスタＲＧＳＴ１に登録する。こうして参照ＬＵＴが確定すると、上階層のルーチンに復帰する。

ステップＳ３７では変数Ｔをインクリメントし、ステップＳ３９ではインクリメントされた変数Ｔが所定値Ｔｔｈを上回るか否かを判別する。所定値Ｔｔｈは、負荷の基準値ＲＥＦの設定レベルにもよるが、負荷の基準値ＲＥＦが一度でも基準値ＲＥＦを上回ると映像に乱れが生じるような設定にした場合はＴｔｈを“０”とする。ここでＮＯであればステップＳ１３に戻る一方、ＹＥＳであればステップＳ４１でエラー処理を実行してから上階層のルーチンに復帰する。

図１１に示すステップＳ１７の位相設定処理は、図１３に示すサブルーチンに従って実行される。まずステップＳ５１でカメラＣ＿１〜Ｃ＿４を停止し、ステップＳ５３でカメラＣ＿１を起動する。ステップＳ５５では、起動タイミングテーブルＴＢＬのＰＴＮ番目のカラムに記述されたタイミング情報ＡＣＴ＿２に従うタイミングでカメラＣ＿２を起動する。ステップＳ５７では、起動タイミングテーブルＴＢＬのＰＴＮ番目のカラムに記述されたタイミング情報ＡＣＴ＿３に従うタイミングでカメラＣ＿３を起動する。ステップＳ５９では、起動タイミングテーブルＴＢＬのＰＴＮ番目のカラムに記述されたタイミング情報ＡＣＴ＿４に従うタイミングでカメラＣ＿４を起動する。ステップＳ５９の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４は、自動車１００（移動体）に設けられて斜め下方向の被写界を捉える。メモリ制御回路１２は、カメラＣ＿１〜Ｃ＿４から繰り返し出力される被写界像Ｐ＿１〜Ｐ＿４を、ＳＤＲＡＭ１４を利用して鳥瞰画像ＢＥＶ＿１〜ＢＥＶ４に変換する。ＣＰＵ２０は、カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係を繰り返し変更し(S15, S17, S33)、メモリ制御回路１２の負荷が基準値ＲＥＦを上回るか否かを位相変更処理と並列して繰り返し判別する(S21~S27)。判別結果が否定的な結果から肯定的な結果に更新されると、参照ＬＵＴつまりメモリ制御回路１２の変換特性がＣＰＵ２０によって変更される(S37)。判別結果が否定的な結果から肯定的な結果に更新されることなく既定期間（＝Ｔ１＊Ｐｍａｘ）が経過すると、参照ＬＵＴがＣＰＵ２０によって確定される(S35)。

このように、カメラＣ＿１〜Ｃ＿４から出力される被写界像Ｐ＿１〜Ｐ＿４の位相関係は繰り返し変更され、メモリ制御回路１２の負荷はこのような位相変更処理と並列して繰り返し判別される。参照ＬＵＴは、既定期間が経過する前にメモリ制御回路１２の負荷が基準値ＲＥＦを上回ったとき、別のルックアップテーブルに変更される。メモリ制御回路１２の負荷が基準値ＲＥＦを上回ることなく既定期間が経過すると、参照ＬＵＴが確定される。これによって、鳥瞰画像の再現性が自動車１００毎に適正化される。

なお、この実施例では、メモリ制御回路１２にルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３を設けるようにしているが（図６参照）、ルックアップテーブルＬＵＴ＿１〜ＬＵＴ＿３はＳＤＲＡＭ１４に格納するようにしてもよい。この場合、メモリ制御回路１２は、好ましくは、図１４に示すように構成される。

図１４を参照して、ＬＵＴ読み出しアドレス生成回路４０は、表示アドレス生成回路３６によって生成された表示アドレスに対応するＬＵＴアドレスを生成する。調停回路３４は、参照ＬＵＴを形成するＬＵＴデータのうち生成されたＬＵＴアドレスに対応する一部のＬＵＴデータをＳＤＲＡＭ１４から読み出し、読み出された一部のＬＵＴデータを読み出しアドレス生成回路３８に与える。読み出しアドレス生成回路３８は、調停回路３８から与えられたＬＵＴデータを参照して、表示アドレスに対応する読み出しアドレスを生成する。調停回路３４は、生成された読み出しアドレスを参照して、メモリエリアＦ＿１〜Ｆ＿４に格納された被写界像Ｐ＿１〜Ｐ＿４の一部を読み出す。

また、この実施例では、被写界像Ｐ＿１〜Ｐ＿４の位相関係を繰り返し変更するようにしているが（図１１〜図１２のステップＳ１５，Ｓ１７，Ｓ３３参照）、メモリ制御回路１２の負荷が最大となる位相関係に対応するタイミング情報ＡＣＴ＿２〜ＡＣＴ＿４を出荷段階でフラッシュメモリ２４に保存しておき、このタイミング情報ＡＣＴ＿２〜ＡＣＴ＿４に対応する位相関係でメモリ制御回路１２の負荷を判別するようにしてもよい。この場合、好ましくは、図１１〜図１３に示すＬＵＴ確定処理に代えて図１５〜図１７に示すＬＵＴ確定処理が実行される。

ただし、図１５〜図１６に示す処理は、図１１に示すステップＳ１５の処理および図１２に示すステップＳ３１〜Ｓ３３の処理が省略される点、およびステップＳ６１の位相設定処理において図１７に示すサブルーチンにジャンプする点を除き、図１１〜図１３に示す処理と同じである。

また、図１７に示す処理は、ステップＳ７１においてフラッシュメモリ２４に保存されたタイミング情報ＡＣＴ＿２に従うタイミングでカメラＣ＿２を起動し、ステップＳ７３においてフラッシュメモリ２４に保存されたタイミング情報ＡＣＴ＿３に従うタイミングでカメラＣ＿３を起動し、ステップＳ７５においてフラッシュメモリ２４に保存されたタイミング情報ＡＣＴ＿４に従うタイミングでカメラＣ＿４を起動する点を除き、図１３に示す処理と同じである。

さらに、この実施例では、メモリ制御回路１２の画像変換特性を変更するにあたって鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の解像度に注目したが、解像度に代えて或いは解像度とともに鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４のレイアウトに注目してもよい。すなわち、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の画面上の表示範囲を小さくするなどのレイアウト変更を施し、ＳＤＲＡＭからなるべくランダムアクセスを伴う画像の読み出しを少なくするように変更してもよい。

１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
１２ …メモリ制御回路
１４ …ＳＤＲＡＭ
１８ …表示装置
２０ …ＣＰＵ
２４ …フラッシュメモリ
１００ …自動車

Claims (7)

1. 移動体に設けられて斜め下方向の被写界を捉える複数のカメラから繰り返し出力される被写界像を鳥瞰画像に変換する変換手段、
   前記複数のカメラから出力される被写界像の位相関係を繰り返し変更する位相変更手段、
   前記変換手段の負荷が基準を上回るか否かを前記位相変更手段の変更処理と並列して繰り返し判別する判別手段、
   前記判別手段の判別結果が否定的な結果から肯定的な結果に更新されたとき前記変換手段の変換特性を変更する特性変更手段、および
   前記判別手段の判別結果が否定的な結果から肯定的な結果に更新されることなく既定期間が経過したとき前記変換手段の変換特性を確定させる確定手段を備える、画像処理装置。
2. 前記位相変更手段は第１周期で位相変更処理を実行し、
   前記判別手段は前記第１周期よりも短い第２周期で判別処理を実行し、
   前記既定期間は前記第１周期に相当する期間よりも長い、請求項１記載の画像処理装置。
3. 前記変換手段は前記複数のカメラから出力された被写界像をメモリに書き込む書き込み手段を含み、
   前記変換手段および前記判別手段はそれぞれ前記書込み手段によって前記メモリに格納された被写界像に注目して変換処理および判別処理を実行する、請求項１または２記載の画像処理装置。
4. 前記位相変更手段は、前記複数のカメラを停止する停止手段、および前記複数のカメラを互いに異なるタイミングで起動する起動手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記変換手段によって変換された鳥瞰画像を前記移動体の操作者に向けて表示する表示手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記変換手段の変換特性を定義するパラメータは前記鳥瞰画像の解像度および／またはフレームレートを含む、請求項１ないし５のいずれかに記載の画像処理装置。
7. 移動体に設けられて斜め下方向の被写界を捉える複数のカメラから繰り返し出力される被写界像を鳥瞰画像に変換する変換手段、
   前記複数のカメラから出力される被写界像の位相関係を前記変換手段の負荷が最大となる位相関係に設定する設定手段、および
   前記変換手段の負荷が基準を上回るか否かを前記設定手段の設定処理に関連して繰り返し判別する判別手段を備え、
   前記変換手段の負荷が計測期間において常に負荷を超えないと判断される場合に前記変換手段の変換特性を確定する、画像処理装置。

Images